KR102161949B1 - Integrated parking management method and system using vehicle number plate recognition technology using neural network - Google Patents
Integrated parking management method and system using vehicle number plate recognition technology using neural network Download PDFInfo
- Publication number
- KR102161949B1 KR102161949B1 KR1020200079198A KR20200079198A KR102161949B1 KR 102161949 B1 KR102161949 B1 KR 102161949B1 KR 1020200079198 A KR1020200079198 A KR 1020200079198A KR 20200079198 A KR20200079198 A KR 20200079198A KR 102161949 B1 KR102161949 B1 KR 102161949B1
- Authority
- KR
- South Korea
- Prior art keywords
- output
- vehicle
- feature map
- license plate
- character
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 38
- 238000007726 management method Methods 0.000 title claims abstract description 36
- 238000005516 engineering process Methods 0.000 title claims abstract description 26
- 238000005070 sampling Methods 0.000 claims abstract description 32
- 230000014509 gene expression Effects 0.000 claims abstract description 17
- 238000004891 communication Methods 0.000 claims abstract description 16
- 210000002569 neuron Anatomy 0.000 claims description 38
- 210000004205 output neuron Anatomy 0.000 claims description 28
- 210000002364 input neuron Anatomy 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 239000013585 weight reducing agent Substances 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 description 48
- 238000010586 diagram Methods 0.000 description 24
- 238000011176 pooling Methods 0.000 description 15
- 239000000284 extract Substances 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000012797 qualification Methods 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06K9/00825—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G06K2209/15—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q2240/00—Transportation facility access, e.g. fares, tolls or parking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Multimedia (AREA)
- Operations Research (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Devices For Checking Fares Or Tickets At Control Points (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 신경망을 이용한 차량 번호판 인식 기술이 적용된 통합 주차 관리 방법 및 시스템에 관한 것으로, 상세하게는 자동차 번호판 문자 인식의 성능을 높을 수 있는 신경망을 이용한 차량 번호판 인식 기술이 적용된 통합 주차 관리 방법 및 시스템에 관한 것이다.The present invention relates to an integrated parking management method and system to which vehicle license plate recognition technology using a neural network is applied, and in detail, an integrated parking management method and system to which vehicle license plate recognition technology using a neural network that can increase the performance of vehicle license plate character recognition is applied. It is about.
차량의 번호판 인식은 속도위반, 불법 주차, 주차 관제 등 다양한 목적으로 이용된다. Vehicle license plate recognition is used for various purposes such as speed violation, illegal parking, and parking control.
움직이는 차량의 번호판의 인식 방법은 다음과 같다. 첫 번째로 움직이는 차량의 영상을 획득한다. 두 번째로 획득된 영상에서 번호판 영역을 추출한다. 마지막으로, 추출된 번호판 영역에서 문자 인식을 통해 차량의 번호판이 인식된다. The method of recognizing the license plate of a moving vehicle is as follows. First, an image of a moving vehicle is acquired. The license plate area is extracted from the second acquired image. Finally, the license plate of the vehicle is recognized through character recognition in the extracted license plate area.
하지만, 움직이는 차량의 영상을 획득할 때, 차량에 부착된 번호판의 기울어짐, 훼손, 또는, 햇빛과 같은 조명의 영향으로 차량의 영상 왜곡이 발생할 수 있다. 또한, 해외 번호판 중 문자와 번호 부분이 플라스틱 재질로 구현되는 경우가 있다. 문자와 번호 부분이 플라스틱 재질로 구현될 때, 문자와 번호 부분은 번호판과 높이 차이가 발생하며, 높이 차이로 인해 카메라의 촬영 각도에 따른 번호와 문자 인식의 문제가 발생하는 문제점도 있을 수 있다. However, when an image of a moving vehicle is acquired, the license plate attached to the vehicle may be tilted or damaged, or an image distortion of the vehicle may occur due to the influence of lighting such as sunlight. In addition, there are cases in which letters and numbers among overseas license plates are made of plastic. When the letters and numbers are made of a plastic material, a height difference between the letters and numbers occurs from the license plate, and a problem of recognizing numbers and characters according to the shooting angle of the camera may occur due to the difference in height.
상기와 같은 문제점들을 개선하기 위한 새로운 번호판 인식 방법이 요구된다. There is a need for a new license plate recognition method to improve the above problems.
본 발명이 이루고자 하는 기술적인 과제는 차량의 번호판 영역에서 인식된 문자 영역에서 추출된 피처맵들을 CNN(Convolutional Neural Network) 알고리즘에 같이 적용하는 차량 번호판 인식 기술이 이용된 통합 주차 관리 방법 및 시스템을 제공하는 것이다. The technical problem to be achieved by the present invention is to provide an integrated parking management method and system using a vehicle license plate recognition technology that applies feature maps extracted from a character region recognized in a vehicle license plate region to a Convolutional Neural Network (CNN) algorithm. Is to do.
본 발명의 실시 예에 따른 차량의 번호판의 문자를 인식하기 위해 프로세서, 메모리, 카메라, 및 통신 모듈을 포함하는 차량 번호 인식기에 의해 수행되는 신경망을 이용한 차량 번호판 인식 기술이 적용된 통합 주차 관리 방법은 상기 프로세서는 루프 코일에 의해 차량의 진입이 인식될 때, 카메라에 의해 촬영된 차량의 번호판 영역을 포함하는 이미지를 상기 카메라로부터 수신하는 단계, 상기 프로세서는 상기 차량의 번호판 영역에서 분류된 문자 영역을 포함하는 이미지를 수신하는 단계, 상기 프로세서는 상기 수신된 이미지에 대해 제1컨볼루션 연산을 수행하여 제1출력 피처 맵을 출력하는 단계, 상기 프로세서는 상기 출력된 제1출력 피처 맵에 대해 샘플링을 적용하여 제2출력 피처 맵을 출력하는 단계, 상기 프로세서는 상기 제2출력 피처 맵에 대해 제2컨볼루션 연산을 수행하여 제3출력 피처 맵을 출력하는 단계, 상기 프로세서는 상기 출력된 제3출력 피처 맵에 대해 샘플링을 적용하여 제4출력 피처 맵을 출력하는 단계, 상기 프로세서는 상기 출력된 제4출력 피처 맵과, 상기 문자의 특징을 수치로 표현한 것으로 정의되며, 상기 문자 영역을 일정 영역들로 나누고 각 영역에 포함된 문자의 픽셀 개수이거나, 상기 문자의 높이를 따라 여러 개로 그려진 수평 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합이거나, 폭에 따라 여러 개로 그려진 수직 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합으로 정의될 수 있는 미리 설정된 피처 맵을 완전히 연결하는 풀리 커넥티드 레이어(fully connected layer)를 이용하여 상기 분류된 문자 영역에서 문자를 인식하는 단계, 및 상기 프로세서는 상기 인식된 문자를 주차 관제 서버로 전송하는 단계를 포함한다. 상기 주차 관제 서버는 상기 차량의 운전자가 상기 차량의 주차 요금을 납부할 수 있도록 상기 인식된 문자에 따라 주차 요금을 계산하고, 출구 무인 요금 정산기로 상기 계산된 차량의 주차 요금을 전송한다. The integrated parking management method to which the vehicle license plate recognition technology is applied using a neural network performed by a vehicle number recognizer including a processor, a memory, a camera, and a communication module in order to recognize characters on the license plate of a vehicle according to an embodiment of the present invention is described above. When the entrance of the vehicle is recognized by the roof coil, the processor receives an image including a license plate area of the vehicle photographed by the camera from the camera, the processor includes a character area classified in the license plate area of the vehicle Receiving an image to perform, the processor performing a first convolution operation on the received image to output a first output feature map, the processor applying sampling to the output first output feature map Outputting a second output feature map, wherein the processor performs a second convolution operation on the second output feature map to output a third output feature map, wherein the processor performs a second output feature map Applying sampling to the map and outputting a fourth output feature map, the processor is defined as a numerical expression of the outputted fourth output feature map and the character characteristics, and the character region as predetermined regions The number of pixels of the character included in each area after being divided, white pixels located on horizontal lines drawn in multiple lines along the height of the character, or the sum of black pixels, or white pixels located in vertical lines drawn in multiple lines depending on the width Recognizing a character in the classified character area using a fully connected layer that completely connects a preset feature map that can be defined as a sum of fields or black pixels, and the processor recognizes the character And transmitting the text to the parking control server. The parking control server calculates a parking fee according to the recognized character so that the driver of the vehicle can pay the parking fee of the vehicle, and transmits the calculated parking fee of the vehicle to an exit unmanned fee calculator.
상기 프로세서는 상기 문자 영역에 해당할 수 있는 데이터들에 대해 CNN 알고리즘 중 컨볼루션 연산들과 샘플링 연산들을 수행하여 출력된 제5출력 피처 맵과, 제2미리 설정된 피처 맵을 완전히 연결하는 제2풀리 커넥티드 레이어를 적용하여 도출된 결과 값들에 대해 상기 도출된 결과 값들의 차이와 임계값을 비교하여 혼동 가능성이 있는 문자들끼리 서로 분류하는 단계, 상기 프로세서는 상기 분류된 문자들에 따라 상기 제2미리 설정된 피처 맵을 재설정하여 제3미리 설정된 피처 맵으로 정의하는 단계, 및 상기 프로세서는 상기 혼동 가능성이 있는 문자들 중 어느 하나에 대해 상기 CNN 알고리즘을 적용하여 출력된 제6출력 피처 맵과, 상기 제3미리 설정된 피처 맵을 완전히 연결하는 제3풀리 커넥티드 레이어를 적용하여 문자를 인식하는 단계를 포함한다.The processor is a second pulley for completely connecting a fifth output feature map output by performing convolution operations and sampling operations among CNN algorithms for data that may correspond to the character region and a second preset feature map. Classifying characters that may be confusing with each other by comparing the difference between the derived result values and a threshold value with respect to the result values derived by applying the connected layer, and the processor classifying the second characters according to the classified characters. Resetting a preset feature map to define a third preset feature map, and the processor includes a sixth output feature map output by applying the CNN algorithm to any one of the confusing characters, and the And recognizing a character by applying a third pulley connected layer that completely connects the third preset feature map.
상기 제2풀리 커넥티드 레이어에 입력되는 상기 제5출력 피처 맵의 개수와 상기 제3풀리 커넥티드 레이어에 입력되는 상기 제6출력 피처 맵의 개수는 서로 다르며, 상기 제2풀리 커넥티드 레이어에 입력되는 상기 제2미리 설정된 피처맵의 개수와 상기 제3풀리 커넥티드 레이어에 입력되는 상기 제3미리 설정된 피처맵의 개수는 서로 다르다. The number of the fifth output feature map input to the second pulley connected layer and the number of the sixth output feature map input to the third pulley connected layer are different from each other, and input to the second pulley connected layer The number of second preset feature maps to be set and the number of third preset feature maps input to the third pulley connected layer are different from each other.
상기 풀리 커넥티드 레이어는 입력 레이어(input layer), 은닉 레이어(hidden layer), 및 출력 레이어(output layer)를 포함한다. The fully connected layer includes an input layer, a hidden layer, and an output layer.
상기 은닉 레이어는 복수의 은닉 뉴런들(neurons)을 포함한다. The hidden layer includes a plurality of hidden neurons.
상기 미리 설정된 피처 맵의 특징들의 개수가 m(m은 2이상의 자연수)개이고, 상기 출력된 제4출력 피처 맵의 특징들의 개수가 n개(n은 2이상의 자연수)일 때, 상기 복수의 은닉 뉴런들 중 j번째(j는 자연수) 은닉 뉴런의 입력 값()은 다음의 수학식으로 표현된다. When the number of features of the preset feature map is m (m is a natural number of 2 or more), and the number of features of the output fourth output feature map is n (n is a natural number of 2 or more), the plurality of hidden neurons Among them, the input value of the hidden neuron (j is a natural number) ( ) Is expressed by the following equation.
[수학식][Equation]
상기 복수의 은닉 뉴런들 중 j번째(j는 자연수) 은닉 뉴런의 출력 값()은 다음의 수학식으로 표현된다. The output value of the j-th (j is a natural number) hidden neuron among the plurality of hidden neurons ( ) Is expressed by the following equation.
[수학식][Equation]
상기 는 상기 a번째 특징에 대한 j번째 가중치를, 상기 는 상기 미리 설정된 피처 맵의 특징들 중 a번째 특징을, 상기 는 상기 c번째 결과 값에 대한 j번째 가중치를, 상기 는 상기 출력된 제4출력 피처 맵의 특징들 중 c번째 결과 값을, 상기 는 j번째 오프셋(offset)을, 상기 함수 f()는 시그모이드(sigmoid) 함수를 나타낸다. remind Is the j-th weight for the a-th feature, Is the a-th feature among the features of the preset feature map, Is the j-th weight for the c-th result value, Is the c-th result value among the features of the outputted fourth output feature map, Denotes the j-th offset, and the function f() denotes a sigmoid function.
상기 출력 레이어는 복수의 출력 뉴런들을 포함한다. The output layer includes a plurality of output neurons.
상기 복수의 출력 뉴런들 중 k번째(k는 자연수) 출력 뉴런의 입력 값()은 다음의 수학식으로 표현된다. The input value of the k-th (k is a natural number) output neuron among the plurality of output neurons ( ) Is expressed by the following equation.
[수학식][Equation]
상기 복수의 출력 뉴런들 중 k번째(k는 자연수) 출력 뉴런의 출력 값()은 다음의 수학식으로 표현된다. The output value of the k-th (k is a natural number) output neuron among the plurality of output neurons ( ) Is expressed by the following equation.
[수학식][Equation]
상기 는 상기 j번째 은닉 뉴런의 출력 값에 대한 k번째 가중치를, 상기 는 상기 j번째 은닉 뉴런의 출력 값을, 상기 는 k번째 오프셋을, 상기 함수 f()는 시그모이드(sigmoid) 함수를 나타낸다.remind Is the k-th weight for the output value of the j-th hidden neuron, Is the output value of the j-th hidden neuron, Denotes the k-th offset, and the function f() denotes a sigmoid function.
상기 i번째 입력 뉴런의 출력 값에 대한 j번째 가중치의 오차인 상기 는 다음의 수학식으로 표현된다. The error of the j-th weight with respect to the output value of the i-th input neuron Is expressed by the following equation.
[수학식][Equation]
상기 는 상수로, 기존의 가중치를 줄이기 위해 가중치 감소 비율을, 상기는 가중치를 어느 정도로 업데이트할 것인지 결정하는 학습율을 나타낸다. remind Is a constant, the weight reduction ratio to reduce the existing weight, Denotes a learning rate that determines how much to update the weights.
상기 j번째 은닉 뉴런의 출력 값에 대한 k번째 가중치의 오차인 상기 는 다음의 수학식으로 표현된다. The error of the k-th weight with respect to the output value of the j-th hidden neuron Is expressed by the following equation.
[수학식][Equation]
상기 는 상수로, 기존의 가중치를 줄이기 위해 가중치 감소 비율을, 상기는 가중치를 어느 정도로 업데이트할 것인지 결정하는 학습율을, 상기 는 복수의 출력 뉴런들 중 k번째 뉴런의 에러를, 상기 f'(zk)는 를 나타낸다.remind Is a constant, the weight reduction ratio to reduce the existing weight, Is the learning rate that determines how much to update the weights, Is the error of the k-th neuron among the plurality of output neurons, and f'(z k ) is Represents.
본 발명의 실시 예에 따른 출구 무인 정산 시스템은 차량의 진입을 인식하는 루프 코일, 및 상기 차량의 번호판을 촬영하고 촬영된 차량 번호판 이미지에서 차량의 번호판을 인식하는 차량 번호 인식기를 포함한다. An exit unmanned settlement system according to an embodiment of the present invention includes a roof coil for recognizing the entry of the vehicle, and a vehicle number recognizer for photographing the vehicle license plate and recognizing the vehicle license plate from the captured vehicle license plate image.
상기 차량 번호 인식기는 상기 차량의 번호판을 촬영하는 카메라, 주차 관제 서버로 상기 인식된 차량의 번호를 송신하는 통신 모듈, 및 신경망을 이용한 차량 번호판 인식 기술에 관한 명령들을 저장하는 메모리, 및 상기 명령들을 실행하는 프로세서를 포함한다.The vehicle number recognizer includes a camera for photographing the license plate of the vehicle, a communication module for transmitting the recognized vehicle number to a parking control server, and a memory for storing instructions related to vehicle license plate recognition technology using a neural network, and the commands. Includes a running processor.
상기 명령들은 상기 카메라에 의해 촬영된 번호판에서 처리된 분류된 문자 영역을 포함하는 이미지를 수신하며, 상기 수신된 이미지에 대해 제1컨볼루션 연산을 수행하여 제1출력 피처 맵을 출력하며, 상기 출력된 제1출력 피처 맵에 대해 샘플링을 적용하여 제2출력 피처 맵을 출력하며, 상기 제2출력 피처 맵에 대해 제2컨볼루션 연산을 수행하여 제3출력 피처 맵을 출력하며, 상기 출력된 제3출력 피처 맵에 대해 샘플링을 적용하여 제4출력 피처 맵을 출력하며, 상기 출력된 제4출력 피처 맵과, 상기 문자의 특징을 수치로 표현한 것으로 정의되며, 상기 문자 영역을 일정 영역들로 나누고 각 영역에 포함된 문자의 픽셀 개수이거나, 상기 문자의 높이를 따라 여러 개로 그려진 수평 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합이거나, 폭에 따라 여러 개로 그려진 수직 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합으로 정의될 수 있는 미리 설정된 피처 맵을 완전히 연결하는 풀리 커넥티드 레이어를 이용하여 상기 분류된 문자 영역에서 문자를 인식하며, 상기 인식된 문자를 상기 차량의 주차 요금을 계산하기 위한 주차 관제 서버로 전송하도록 구현된다. 상기 주차 관제 서버는 상기 주차 요금을 계산하기 위한 출구 무인 요금 정산기로 상기 계산된 차량의 주차 요금을 전송한다. The commands receive an image including a classified character area processed in a license plate photographed by the camera, perform a first convolution operation on the received image, and output a first output feature map, and the output Sampling is applied to the first output feature map to output a second output feature map, a second convolution operation is performed on the second output feature map to output a third output feature map, and the output 3) Sampling is applied to the output feature map to output a fourth output feature map, and is defined as a numerical expression of the output fourth output feature map and the character characteristics, and the character area is divided into certain areas. The number of pixels of a character included in each area, white pixels located on multiple horizontal lines drawn along the height of the character, or the sum of black pixels, or white pixels located on vertical lines drawn multiple along the width , Or by using a fully connected layer that fully connects a preset feature map that can be defined as a sum of black pixels, recognizes a character in the classified character area, and calculates the parking fee of the vehicle using the recognized character. It is implemented to transmit to the parking control server for. The parking control server transmits the calculated parking fee of the vehicle to an exit unmanned fee calculator for calculating the parking fee.
본 발명의 실시 예에 따른 사전 무인 정산 시스템은 차량의 진입을 인식하는 루프 코일, 상기 차량의 번호판을 촬영하고 촬영된 차량 번호판 이미지에서 차량의 번호판을 인식하는 차량 번호 인식기, 및 상기 차량의 출차하기 전에 미리 상기 차량의 운전자가 주차 요금을 결제하는 무인 요금 정산기를 포함한다. The pre-unmanned settlement system according to an embodiment of the present invention includes a roof coil that recognizes the entry of the vehicle, a vehicle number recognizer that photographs the vehicle license plate and recognizes the vehicle license plate from the captured vehicle license plate image, and unloads the vehicle. And an unmanned fare adjuster for the driver of the vehicle to pay the parking fee beforehand.
상기 차량 번호 인식기는 상기 차량의 번호판을 촬영하는 카메라, 주차 관제 서버로 상기 인식된 차량의 번호를 송신하는 통신 모듈, 신경망을 이용한 차량 번호판 인식 기술에 관한 명령들을 저장하는 메모리, 및 상기 명령들을 실행하는 프로세서를 포함한다. The vehicle number recognizer includes a camera that photographs the license plate of the vehicle, a communication module that transmits the recognized vehicle number to a parking control server, a memory that stores instructions for vehicle license plate recognition technology using a neural network, and executes the commands. It includes a processor that does.
상기 명령들은 상기 카메라에 의해 촬영된 번호판에서 처리된 분류된 문자 영역을 포함하는 이미지를 수신하며, 상기 수신된 이미지에 대해 제1컨볼루션 연산을 수행하여 제1출력 피처 맵을 출력하며, 상기 출력된 제1출력 피처 맵에 대해 샘플링을 적용하여 제2출력 피처 맵을 출력하며, 상기 제2출력 피처 맵에 대해 제2컨볼루션 연산을 수행하여 제3출력 피처 맵을 출력하며, 상기 출력된 제3출력 피처 맵에 대해 샘플링을 적용하여 제4출력 피처 맵을 출력하며, 상기 출력된 제4출력 피처 맵과, 상기 문자의 특징을 수치로 표현한 것으로 정의되며, 상기 문자 영역을 일정 영역들로 나누고 각 영역에 포함된 문자의 픽셀 개수이거나, 상기 문자의 높이를 따라 여러 개로 그려진 수평 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합이거나, 폭에 따라 여러 개로 그려진 수직 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합으로 정의될 수 있는 미리 설정된 피처 맵을 완전히 연결하는 풀리 커넥티드 레이어를 이용하여 상기 분류된 문자 영역에서 문자를 인식하며, 상기 인식된 문자를 상기 차량의 주차 요금을 계산하기 위한 주차 관제 서버로 전송하도록 구현된다. 상기 주차 관제 서버는 상기 주차 요금을 계산하기 위한 무인 요금 정산기로 상기 계산된 차량의 주차 요금을 전송한다. The commands receive an image including a classified character area processed in a license plate photographed by the camera, perform a first convolution operation on the received image, and output a first output feature map, and the output Sampling is applied to the first output feature map to output a second output feature map, a second convolution operation is performed on the second output feature map to output a third output feature map, and the output 3) Sampling is applied to the output feature map to output a fourth output feature map, and is defined as a numerical expression of the output fourth output feature map and the character characteristics, and the character area is divided into certain areas. The number of pixels of a character included in each area, white pixels located on multiple horizontal lines drawn along the height of the character, or the sum of black pixels, or white pixels located on vertical lines drawn multiple along the width , Or by using a fully connected layer that fully connects a preset feature map that can be defined as a sum of black pixels, recognizes a character in the classified character area, and calculates the parking fee of the vehicle using the recognized character. It is implemented to transmit to the parking control server for. The parking control server transmits the calculated parking fee of the vehicle to an unmanned fee calculator for calculating the parking fee.
본 발명의 실시 예에 따른 유인 정산 시스템은 차량의 진입을 인식하는 루프 코일, 상기 차량의 번호판을 촬영하고 촬영된 차량 번호판 이미지에서 차량의 번호판을 인식하는 차량 번호 인식기, 및 주차 관제 서버로부터 상기 차량의 주차 요금을 전송받는 주차 관리 부스를 포함한다. The manned settlement system according to an embodiment of the present invention includes a roof coil that recognizes the entry of the vehicle, a vehicle number recognizer that photographs the vehicle license plate and recognizes the vehicle license plate from the photographed vehicle license plate image, and the vehicle from the parking control server. Includes a parking management booth to receive the transfer of parking fees.
상기 차량 번호 인식기는 상기 차량의 번호판을 촬영하는 카메라, 상기 주차 관제 서버로 상기 인식된 차량의 번호를 송신하는 통신 모듈, 신경망을 이용한 차량 번호판 인식 기술에 관한 명령들을 저장하는 메모리, 및 상기 명령들을 실행하는 프로세서를 포함한다. The vehicle number recognizer includes a camera that photographs the license plate of the vehicle, a communication module that transmits the recognized vehicle number to the parking control server, a memory for storing instructions related to vehicle license plate recognition technology using a neural network, and the commands. Includes a running processor.
상기 명령들은 상기 카메라에 의해 촬영된 번호판에서 처리된 분류된 문자 영역을 포함하는 이미지를 수신하며, 상기 수신된 이미지에 대해 제1컨볼루션 연산을 수행하여 제1출력 피처 맵을 출력하며, 상기 출력된 제1출력 피처 맵에 대해 샘플링을 적용하여 제2출력 피처 맵을 출력하며, 상기 제2출력 피처 맵에 대해 제2컨볼루션 연산을 수행하여 제3출력 피처 맵을 출력하며, 상기 출력된 제3출력 피처 맵에 대해 샘플링을 적용하여 제4출력 피처 맵을 출력하며, 상기 출력된 제4출력 피처 맵과, 상기 문자의 특징을 수치로 표현한 것으로 정의되며, 상기 문자 영역을 일정 영역들로 나누고 각 영역에 포함된 문자의 픽셀 개수이거나, 상기 문자의 높이를 따라 여러 개로 그려진 수평 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합이거나, 폭에 따라 여러 개로 그려진 수직 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합으로 정의될 수 있는 미리 설정된 피처 맵을 완전히 연결하는 풀리 커넥티드 레이어를 이용하여 상기 분류된 문자 영역에서 문자를 인식하며, 상기 인식된 문자를 상기 차량의 주차 요금을 계산하기 위한 주차 관제 서버로 전송하도록 구현된다. 상기 주차 관제 서버는 상기 계산된 차량의 주차 요금을 상기 주차 요금을 계산할 수 있는 주차 관리 부스의 PC로 전송한다. The commands receive an image including a classified character area processed in a license plate photographed by the camera, perform a first convolution operation on the received image, and output a first output feature map, and the output Sampling is applied to the first output feature map to output a second output feature map, a second convolution operation is performed on the second output feature map to output a third output feature map, and the output 3) Sampling is applied to the output feature map to output a fourth output feature map, and is defined as a numerical expression of the output fourth output feature map and the character characteristics, and the character area is divided into certain areas. The number of pixels of a character included in each area, white pixels located on multiple horizontal lines drawn along the height of the character, or the sum of black pixels, or white pixels located on vertical lines drawn multiple along the width , Or by using a fully connected layer that fully connects a preset feature map that can be defined as a sum of black pixels, recognizes a character in the classified character area, and calculates the parking fee of the vehicle using the recognized character. It is implemented to transmit to the parking control server for. The parking control server transmits the calculated parking fee of the vehicle to a PC of a parking management booth capable of calculating the parking fee.
본 발명의 실시 예에 따른 출입 통제 시스템은 차량의 진입을 인식하는 루프 코일, 및 상기 차량의 번호판을 촬영하고 촬영된 차량 번호판 이미지에서 차량의 번호판을 인식하는 차량 번호 인식기를 포함한다. An access control system according to an embodiment of the present invention includes a loop coil for recognizing the entry of a vehicle, and a vehicle number recognizer for photographing the vehicle license plate and recognizing the vehicle license plate from the captured vehicle license plate image.
상기 차량 번호 인식기는 상기 차량의 번호판을 촬영하는 카메라, 주차 관제 서버로 상기 인식된 차량의 번호를 송신하는 통신 모듈, 신경망을 이용한 차량 번호판 인식 기술에 관한 명령들을 저장하는 메모리, 및 상기 명령들을 실행하는 프로세서를 포함한다. The vehicle number recognizer includes a camera that photographs the license plate of the vehicle, a communication module that transmits the recognized vehicle number to a parking control server, a memory that stores instructions for vehicle license plate recognition technology using a neural network, and executes the commands. It includes a processor that does.
상기 명령들은 상기 카메라에 의해 촬영된 번호판에서 처리된 분류된 문자 영역을 포함하는 이미지를 수신하며, 상기 수신된 이미지에 대해 제1컨볼루션 연산을 수행하여 제1출력 피처 맵을 출력하며, 상기 출력된 제1출력 피처 맵에 대해 샘플링을 적용하여 제2출력 피처 맵을 출력하며, 상기 제2출력 피처 맵에 대해 제2컨볼루션 연산을 수행하여 제3출력 피처 맵을 출력하며, 상기 출력된 제3출력 피처 맵에 대해 샘플링을 적용하여 제4출력 피처 맵을 출력하며, 상기 출력된 제4출력 피처 맵과, 상기 문자의 특징을 수치로 표현한 것으로 정의되며, 상기 문자 영역을 일정 영역들로 나누고 각 영역에 포함된 문자의 픽셀 개수이거나, 상기 문자의 높이를 따라 여러 개로 그려진 수평 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합이거나, 폭에 따라 여러 개로 그려진 수직 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합으로 정의될 수 있는 미리 설정된 피처 맵을 완전히 연결하는 풀리 커넥티드 레이어를 이용하여 상기 분류된 문자 영역에서 문자를 인식하도록 구현된다. The commands receive an image including a classified character area processed in a license plate photographed by the camera, perform a first convolution operation on the received image, and output a first output feature map, and the output Sampling is applied to the first output feature map to output a second output feature map, a second convolution operation is performed on the second output feature map to output a third output feature map, and the output 3) Sampling is applied to the output feature map to output a fourth output feature map, and is defined as a numerical expression of the output fourth output feature map and the character characteristics, and the character area is divided into certain areas. The number of pixels of a character included in each area, white pixels located on multiple horizontal lines drawn along the height of the character, or the sum of black pixels, or white pixels located on vertical lines drawn multiple along the width Or, it is implemented to recognize a character in the classified character area using a fully connected layer that completely connects a preset feature map that may be defined as a sum of black pixels.
본 발명의 실시 예에 따른 차량 번호 인식기는 차량의 번호판을 촬영하는 카메라, 신경망을 이용한 차량 번호판 인식 기술에 관한 명령들을 저장하는 메모리, 상기 신경망을 이용한 차량 번호판 인식 기술을 이용하여 인식된 차량의 번호를 주차 관제 서버로 전송하는 통신 모듈, 및 상기 명령들을 실행하는 프로세서를 포함한다. The vehicle number recognizer according to an embodiment of the present invention includes a camera for photographing a license plate of a vehicle, a memory for storing instructions related to a vehicle license plate recognition technology using a neural network, and a vehicle number recognized using the vehicle license plate recognition technology using the neural network. And a communication module for transmitting to the parking control server, and a processor for executing the instructions.
상기 명령들은 상기 카메라에 의해 촬영된 번호판에서 처리된 분류된 문자 영역을 포함하는 이미지를 수신하며, 상기 수신된 이미지에 대해 제1컨볼루션 연산을 수행하여 제1출력 피처 맵을 출력하며, 상기 출력된 제1출력 피처 맵에 대해 샘플링을 적용하여 제2출력 피처 맵을 출력하며, 상기 제2출력 피처 맵에 대해 제2컨볼루션 연산을 수행하여 제3출력 피처 맵을 출력하며, 상기 출력된 제3출력 피처 맵에 대해 샘플링을 적용하여 제4출력 피처 맵을 출력하며, 상기 출력된 제4출력 피처 맵과, 상기 문자의 특징을 수치로 표현한 것으로 정의되며, 상기 문자 영역을 일정 영역들로 나누고 각 영역에 포함된 문자의 픽셀 개수이거나, 상기 문자의 높이를 따라 여러 개로 그려진 수평 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합이거나, 폭에 따라 여러 개로 그려진 수직 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합으로 정의될 수 있는 미리 설정된 피처 맵을 완전히 연결하는 풀리 커넥티드 레이어를 이용하여 상기 분류된 문자 영역에서 문자를 인식하도록 구현된다. The commands receive an image including a classified character area processed in a license plate photographed by the camera, perform a first convolution operation on the received image, and output a first output feature map, and the output Sampling is applied to the first output feature map to output a second output feature map, a second convolution operation is performed on the second output feature map to output a third output feature map, and the output 3) Sampling is applied to the output feature map to output a fourth output feature map, and is defined as a numerical expression of the output fourth output feature map and the character characteristics, and the character area is divided into certain areas. The number of pixels of a character included in each area, white pixels located on multiple horizontal lines drawn along the height of the character, or the sum of black pixels, or white pixels located on vertical lines drawn multiple along the width Or, it is implemented to recognize a character in the classified character area using a fully connected layer that completely connects a preset feature map that may be defined as a sum of black pixels.
본 발명의 실시 예에 따른 통합 주차 관리 시스템은 VPN 단말기를 포함하는 출구 무인 정산 시스템, 및 네트워크를 통해 상기 VPN 단말기와 통신하기 위한 주차 관제 서버를 포함하는 서버 시스템을 포함한다. An integrated parking management system according to an embodiment of the present invention includes an unattended exit settlement system including a VPN terminal, and a server system including a parking control server for communicating with the VPN terminal through a network.
상기 출구 무인 정산 시스템은 차량의 진입을 인식하는 루프 코일, 및 상기 차량의 번호판을 촬영하고 촬영된 차량 번호판 이미지에서 차량의 번호판을 인식하는 차량 번호 인식기를 포함한다. The unmanned exit settlement system includes a roof coil for recognizing the entry of the vehicle, and a vehicle number recognizer for photographing the vehicle license plate and recognizing the vehicle license plate from the captured vehicle license plate image.
상기 차량 번호 인식기는 상기 차량의 번호판을 촬영하는 카메라, 주차 관제 서버로 상기 인식된 차량의 번호를 송신하는 통신 모듈, 신경망을 이용한 차량 번호판 인식 기술에 관한 명령들을 저장하는 메모리, 및 상기 명령들을 실행하는 프로세서를 포함한다. The vehicle number recognizer includes a camera that photographs the license plate of the vehicle, a communication module that transmits the recognized vehicle number to a parking control server, a memory that stores instructions for vehicle license plate recognition technology using a neural network, and executes the commands. It includes a processor that does.
상기 명령들은 상기 카메라에 의해 촬영된 번호판에서 처리된 분류된 문자 영역을 포함하는 이미지를 수신하며, 상기 수신된 이미지에 대해 제1컨볼루션 연산을 수행하여 제1출력 피처 맵을 출력하며, 상기 출력된 제1출력 피처 맵에 대해 샘플링을 적용하여 제2출력 피처 맵을 출력하며, 상기 제2출력 피처 맵에 대해 제2컨볼루션 연산을 수행하여 제3출력 피처 맵을 출력하며, 상기 출력된 제3출력 피처 맵에 대해 샘플링을 적용하여 제4출력 피처 맵을 출력하며, 상기 출력된 제4출력 피처 맵과, 상기 문자의 특징을 수치로 표현한 것으로 정의되며, 상기 문자 영역을 일정 영역들로 나누고 각 영역에 포함된 문자의 픽셀 개수이거나, 상기 문자의 높이를 따라 여러 개로 그려진 수평 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합이거나, 폭에 따라 여러 개로 그려진 수직 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합으로 정의될 수 있는 미리 설정된 피처 맵을 완전히 연결하는 풀리 커넥티드 레이어를 이용하여 상기 분류된 문자 영역에서 문자를 인식하도록 구현된다. The commands receive an image including a classified character area processed in a license plate photographed by the camera, perform a first convolution operation on the received image, and output a first output feature map, and the output Sampling is applied to the first output feature map to output a second output feature map, a second convolution operation is performed on the second output feature map to output a third output feature map, and the output 3) Sampling is applied to the output feature map to output a fourth output feature map, and is defined as a numerical expression of the output fourth output feature map and the character characteristics, and the character area is divided into certain areas. The number of pixels of a character included in each area, white pixels located on multiple horizontal lines drawn along the height of the character, or the sum of black pixels, or white pixels located on vertical lines drawn multiple along the width Or, it is implemented to recognize a character in the classified character area using a fully connected layer that completely connects a preset feature map that may be defined as a sum of black pixels.
상기 주차 관제 서버는 상기 인식된 차량의 번호를 네트워크를 통해 상기 차량 번호 인식기로부터 수신한다. The parking control server receives the recognized vehicle number from the vehicle number recognizer through a network.
본 발명의 실시 예에 신경망을 이용한 통합 주차 관리 방법 및 시스템은 차량의 번호판 영역에서 인식된 문자 영역에서 추출된 피처맵들을 CNN(Convolutional Neural Network) 알고리즘에 같이 적용하여 차량 번호판을 인식함으로써 보다 정확하게 차량 번호판을 인식할 수 있어 주차 관리의 효율성을 높일 수 있다는 효과가 있다. In an embodiment of the present invention, the integrated parking management method and system using a neural network recognizes the vehicle license plate more accurately by applying the feature maps extracted from the character region recognized in the license plate region of the vehicle together with the CNN (Convolutional Neural Network) algorithm. It has the effect of increasing the efficiency of parking management by being able to recognize license plates.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 출구 무인 정산 시스템의 블록도를 나타낸다.
도 2는 본 발명의 다른 실시 예에 따른 사전 무인 정산 시스템의 블록도를 나타낸다.
도 3은 본 발명의 또 다른 실시 예에 따른 유인 정산 시스템의 블록도를 나타낸다.
도 4는 본 발명의 또 다른 실시 예에 따른 출입 통제 시스템의 블록도를 나타낸다.
도 5는 도 1 내지 도 4에 도시된 시스템이 통합된 통합 주차 관리 시스템의 블록도를 나타낸다.
도 6은 도 1 내지 도 5 중 어느 하나의 도면에 도시된 차량 번호 인식기의 내부 블록도를 나타낸다.
도 7은 도 1에 도시된 시스템에서 차량의 주차장 진입 동작을 설명하기 위한 흐름도를 나타낸다.
도 8은 도 1에 도시된 시스템에서 차량의 주차장 진출 동작을 설명하기 위한 흐름도를 나타낸다.
도 9는 도 7, 또는 도 8의 차량 번호판 인식 동작을 설명하기 위한 흐름도를 나타낸다.
도 10은 도 6에 도시된 차량 번호 인식기의 동작을 설명하기 위해 차량 번호 인식기의 프로세서에 의해 처리된 이미지들을 나타낸다.
도 11은 도 6에 도시된 차량 번호 인식기의 동작을 설명하기 위해 차량 번호 인식기의 프로세서에 의해 처리된 다른 이미지들을 나타낸다.
도 12는 도 6에 도시된 프로세서에 의해 처리되는 CNN 알고리즘의 블록도를 나타낸다.
도 13은 도 12에 도시된 입력 피처 맵과 출력 피처 맵 사이의 관계를 설명하기 위한 블록도를 나타낸다.
도 14는 도 6에 도시된 프로세서에 의해 처리되는 신경망 알고리즘의 블록도의 일 실시 예를 나타낸다.
도 15는 도 6에 도시된 프로세서에 의해 처리되는 신경망 알고리즘의 블록도의 다른 실시 예를 나타낸다.
도 16은 도 6에 도시된 프로세서에 의해 처리되는 신경망 알고리즘의 블록도의 또 다른 실시 예를 나타낸다.
도 17은 도 6에 도시된 신경망 알고리즘의 학습에 따른 과적합 왜곡의 그래프를 나타낸다.
도 18은 도 17에 도시된 과적합 왜곡의 문제점을 해소하기 위한 그래프를 나타낸다.
도 19는 도 6에 도시된 프로세서에 의해 처리되는 신경망 알고리즘의 블록도의 또 다른 실시 예를 나타낸다.
도 20은 혼동가능성이 있는 숫자들의 차이를 나타내는 이미지들이다. A detailed description of each drawing is provided in order to more fully understand the drawings cited in the detailed description of the present invention.
1 is a block diagram of an unattended exit settlement system according to an embodiment of the present invention.
2 is a block diagram of a pre-unmanned settlement system according to another embodiment of the present invention.
3 is a block diagram of a manned settlement system according to another embodiment of the present invention.
4 is a block diagram of an access control system according to another embodiment of the present invention.
5 shows a block diagram of an integrated parking management system in which the systems shown in FIGS. 1 to 4 are integrated.
6 is a block diagram showing an interior of the vehicle number recognizer shown in any one of FIGS. 1 to 5.
7 is a flowchart illustrating an operation of a vehicle entering a parking lot in the system shown in FIG. 1.
8 is a flowchart illustrating an operation of entering a parking lot of a vehicle in the system shown in FIG. 1.
9 is a flowchart illustrating a vehicle license plate recognition operation of FIG. 7 or 8.
10 shows images processed by a processor of the vehicle number recognizer to describe the operation of the vehicle number recognizer shown in FIG. 6.
11 shows different images processed by the processor of the vehicle number recognizer to illustrate the operation of the vehicle number recognizer shown in FIG. 6.
12 shows a block diagram of a CNN algorithm processed by the processor shown in FIG. 6.
FIG. 13 is a block diagram illustrating a relationship between an input feature map and an output feature map shown in FIG. 12.
14 shows an embodiment of a block diagram of a neural network algorithm processed by the processor shown in FIG. 6.
15 shows another embodiment of a block diagram of a neural network algorithm processed by the processor shown in FIG. 6.
16 shows another embodiment of a block diagram of a neural network algorithm processed by the processor shown in FIG. 6.
17 shows a graph of overfit distortion according to learning of the neural network algorithm shown in FIG. 6.
18 shows a graph for solving the problem of overfit distortion shown in FIG. 17.
FIG. 19 shows another embodiment of a block diagram of a neural network algorithm processed by the processor shown in FIG. 6.
20 are images showing differences between numbers that may be confusing.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.Specific structural or functional descriptions of the embodiments according to the concept of the present invention disclosed in the present specification are exemplified only for the purpose of describing the embodiments according to the concept of the present invention, and the embodiments according to the concept of the present invention are It may be implemented in various forms and is not limited to the embodiments described herein.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.Since the embodiments according to the concept of the present invention can apply various changes and have various forms, the embodiments will be illustrated in the drawings and described in detail in the present specification. However, this is not intended to limit the embodiments according to the concept of the present invention to specific disclosed forms, and includes all changes, equivalents, or substitutes included in the spirit and scope of the present invention.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various elements, but the elements should not be limited by the terms. The terms are only for the purpose of distinguishing one component from other components, for example, without departing from the scope of the rights according to the concept of the present invention, the first component may be referred to as the second component, and similarly The second component may also be referred to as a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being "connected" or "connected" to another component, it is understood that it may be directly connected or connected to the other component, but other components may exist in the middle. Should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle. Other expressions describing the relationship between components, such as "between" and "just between" or "adjacent to" and "directly adjacent to" should be interpreted as well.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in this specification are used only to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present specification, terms such as "comprise" or "have" are intended to designate that the described feature, number, step, action, component, part, or combination thereof is present, but one or more other features or numbers It is to be understood that the possibility of addition or presence of, steps, actions, components, parts, or combinations thereof is not preliminarily excluded.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this specification. Does not.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail by describing a preferred embodiment of the present invention with reference to the accompanying drawings.
도 1은 본 발명의 일 실시 예에 따른 출구 무인 정산 시스템의 블록도를 나타낸다. 1 is a block diagram of an unattended exit settlement system according to an embodiment of the present invention.
도 1을 참고하면, 출구 무인 정산 시스템(100)은 차량이 주차를 위해 주차장으로 진입하거나, 차량이 주차장에서 진출하는 사람에 의해 운영되지 않는 주차 관리 시스템이다. 출구 무인 정산 시스템(100)은 차량의 번호판 영역에서 인식된 문자 영역에서 추출된 피처맵들을 CNN(Convolutional Neural Network) 알고리즘에 같이 적용한 번호 인식 방법이 적용된 시스템이다. 출구 무인 정산 시스템(100)은 차량의 번호판 영역에서 인식된 문자 영역에서 추출된 피처맵들을 CNN(Convolutional Neural Network) 알고리즘에 같이 적용함으로써 차량의 번호판 인식률을 높일 수 있고, 이에 주차 관리의 효율성이 증대되는 시스템이다. Referring to FIG. 1, the unmanned
출구 무인 정산 시스템(100)은 제1차단기(10)와 제1차량 번호 인식기(20)를 포함한다. 실시 예에 따라 출구 무인 정산 시스템(100)은 제2차단기(11), 제2차량 번호 인식기(30), 경차 판별 센서(40), 4면 촬영 카메라(50), 제3차량 번호 인식기(60), 출구 무인 요금 정산기(70), 출차 주의등(80), 또는 루프 코일(90)을 더 포함할 수 있다. 출구 무인 정산 시스템(100)에 포함된 각 구성요소들(10, 11, 20, 30, 40, 50, 60, 70, 80, 90)은 무선, 또는 유선으로 네트워크로 연결된다. The unmanned
제1차단기(10)는 차량이 허가 없이 주차장으로 진입하는 것을 방지하는데 이용된다. 제2차단기(11)는 차량이 허가 없이 주차장에서 진출하는 것을 방지하는데 이용된다. The
제1차량 번호 인식기(20), 제2차량 번호 인식기(30), 또는 제3차량 번호 인식기(60)는 차량의 번호판을 촬영하고 촬영된 차량 번호판 이미지에서 차량의 번호판을 인식하고, 인식된 차량의 번호를 네트워크를 통해 주차 관제 서버(미도시)로 전송한다. 제1차량 번호 인식기(20)는 진입하는 차량의 전면의 차량 번호판을 촬영한다. 제2차량 번호 인식기(30)는 진입하는 차량의 후면의 차량의 번호판을 촬영한다. 제3차량 번호 인식기(60)는 진출하는 차량의 전면의 차량 번호판을 촬영한다. The first
제1차량 번호 인식기(20), 제2차량 번호 인식기(30), 또는 제3차량 번호 인식기(60)의 자세한 구성 및 동작에 대해서는 도 6에서 상세하게 설명될 것이다. A detailed configuration and operation of the first
경차 판별 센서(40)는 빛을 쏘아 차량이 경차인지 여부를 판단한다. 경차 판별 센서(40)는 레이저 스캐너로 구현될 수 있다. The compact
4면 촬영 카메라(50)는 차량의 4면을 촬영할 수 있다. 4면 촬영 카메라(50)는 촬영된 차량의 4면의 이미지를 처리하는 프로세서(미도시)와, 처리된 이미지를 저장하는 메모리(미도시)를 더 포함할 수 있다. 실시 예에 따라 상기 프로세서와 상기 메모리는 NVR(Network Video Network)로 구현될 수 있다. The four-sided photographing
출구 무인 요금 정산기(70)는 네트워크를 통해 상기 주차 관제 서버로부터 차량의 주차 요금을 수신한다. The exit
출차 주의등(80)은 차량이 출차할 때, 출차 중임이 표시된다. When the vehicle leaves the vehicle, the
루프 코일(90)은 차량의 진입을 인식한다. The
도 2는 본 발명의 다른 실시 예에 따른 사전 무인 정산 시스템의 블록도를 나타낸다. 2 is a block diagram of a pre-unmanned settlement system according to another embodiment of the present invention.
도 2를 참고하면, 사전 무인 정산 시스템(110)은 도 1에 도시된 출구 무인 정산 시스템(100)과 유사하다. 다만, 도 1에 도시된 출구 무인 정산 시스템(100)은 차량이 출차할 때, 차량의 운전자가 출구 무인 요금 정산기(70)에서 주차 요금을 카드, 또는 현금으로 계산하지만, 사전 무인 정산 시스템(110)은 차량의 운전자가 출차하기 전에 외부에 설치된 별도의 무인 요금 정산기(79)에서 미리 주차 요금을 카드, 또는 현금으로 계산한다는 점에서 차이가 있다. 사전 무인 정산 시스템(110)은 차량의 번호판 영역에서 인식된 문자 영역에서 추출된 피처맵들을 CNN(Convolutional Neural Network) 알고리즘에 같이 적용한 번호 인식 방법이 적용된 시스템이다. 사전 무인 정산 시스템(110)은 차량의 번호판 영역에서 인식된 문자 영역에서 추출된 피처맵들을 CNN(Convolutional Neural Network) 알고리즘에 같이 적용함으로써 차량의 번호판 인식률을 높일 수 있고, 이에 주차 관리의 효율성이 증대되는 시스템이다. Referring to FIG. 2, the
사전 무인 정산 시스템(110)은 복수의 차단기들(12, 13), 복수의 차량 번호 인식기들(21, 31, 및 61), 경차 판별 센서(41), 4면 촬영 카메라(51), 출구 무인 요금 정산기(71), 출차 주의등(81), 또는 루프 코일(91)을 포함할 수 있다. 실시 예에 따라 사전 무인 정산 시스템(110)은 출구 무인 요금 정산기(71)를 포함하지 않을 수 있으며, 대신에 외부에 설치된 별도의 무인 요금 정산기(79)를 포함할 수 있다. 사전 무인 정산 시스템(110)에 포함된 각 구성요소들(12, 13, 21, 31, 41, 51, 61, 71, 81, 91)은 무선, 또는 유선으로 네트워크로 연결된다. 또한, 사전 무인 정산 시스템(110)에 포함된 각 구성요소들(12, 13, 21, 31, 41, 51, 61, 71, 81, 91)은 도 1에 도시된 출구 무인 정산 시스템(100)에 포함된 각 구성요소들(10, 11, 20, 30, 40, 50, 60, 70, 80, 90)의 동작과 유사하므로, 이에 대한 자세한 설명은 생략한다. The
도 3은 본 발명의 또 다른 실시 예에 따른 유인 정산 시스템의 블록도를 나타낸다. 3 is a block diagram of a manned settlement system according to another embodiment of the present invention.
도 3을 참고하면, 유인 정산 시스템(120)은 도 1에 도시된 출구 무인 정산 시스템(100)과 유사하다. 다만, 도 1에 도시된 출구 무인 정산 시스템(100)은 출구 무인 요금 정산기(70)에서 주차 요금이 계산되나, 유인 정산 시스템(120)은 주차 정산원(75)이 직접 주차 요금을 받는다는 점에서 차이가 있다. 유인 정산 시스템(120)은 차량의 번호판 영역에서 인식된 문자 영역에서 추출된 피처맵들을 CNN(Convolutional Neural Network) 알고리즘에 같이 적용한 번호 인식 방법이 적용된 시스템이다. 유인 정산 시스템(120)은 차량의 번호판 영역에서 인식된 문자 영역에서 추출된 피처맵들을 CNN(Convolutional Neural Network) 알고리즘에 같이 적용함으로써 차량의 번호판 인식률을 높일 수 있고, 이에 주차 관리의 효율성이 증대되는 시스템이다. Referring to FIG. 3, the manned
유인 무인 정산 시스템(120)은 복수의 차단기들(14, 15), 복수의 차량 번호 인식기들(22, 32, 및 62), 경차 판별 센서(42), 4면 촬영 카메라(52), 출차 주의등(82), 또는 루프 코일(92)을 포함할 수 있다. 또한, 유인 무인 정산 시스템(120)은 도 1에 도시된 출구 무인 요금 정산기(70) 대신에 주차 정산원(75)이 들어갈 수 있는 주차 관리 부스(72)를 포함한다. 주차 관리 부스(72)는 주차 요금을 직접 계산할 수 있는 PC(74)와 모니터(73)를 포함한다. 실시 예에 따라 상기 PC는 주차 요금을 직접 계산하지 않고, 네트워크를 통해 주차 관제 서버(미도시)로부터 주차 요금을 수신할 수 있다. 주차 정산원(75)은 모니터(73)에 표시된 주차 요금에 따라 차량의 운전자에게 주차 요금을 받을 수 있다. 유인 정산 시스템(120)에 포함된 각 구성요소들(14, 15, 22, 32, 42, 52, 62, 72, 82, 92)은 무선, 또는 유선으로 네트워크로 연결된다. 또한, 유인 정산 시스템(120)에 포함된 각 구성요소들(14, 15, 22, 32, 42, 52, 62, 72, 82, 92)은 도 1에 도시된 출구 무인 정산 시스템(100)에 포함된 각 구성요소들(10, 11, 20, 30, 40, 50, 60, 70, 80, 90)의 동작과 유사하므로, 이에 대한 자세한 설명은 생략한다. The manned
도 4는 본 발명의 또 다른 실시 예에 따른 출입 통제 시스템의 블록도를 나타낸다. 4 is a block diagram of an access control system according to another embodiment of the present invention.
도 4를 참고하면, 출입 통제 시스템(130)은 도 1에 도시된 출구 무인 정산 시스템(100)과 유사하다. 다만, 도 1에 도시된 출구 무인 정산 시스템(100)은 출차할 때, 주차 요금이 발생하나, 출입 통제 시스템(130)은 주차 요금 대신에 적법한 권한을 가진 차량만이 주차장에 진입할 수 있다는 점에서 차이가 있다. 출입 통제 시스템(130)은 차량의 번호판 영역에서 인식된 문자 영역에서 추출된 피처맵들을 CNN(Convolutional Neural Network) 알고리즘에 같이 이용한 번호 인식 방법이 적용된 시스템이다. 출입 통제 시스템(130)은 차량의 번호판 영역에서 인식된 문자 영역에서 추출된 피처맵들을 CNN(Convolutional Neural Network) 알고리즘에 같이 적용함으로써 차량의 번호판 인식률을 높일 수 있고, 이에 주차 관리의 효율성이 증대되는 시스템이다. Referring to FIG. 4, the
출입 통제 시스템(130)은 복수의 차단기들(16, 17)와 복수의 차량 번호 인식기들(23, 33, 및 63)을 포함할 수 있다. 실시 예에 따라 출입 통제 시스템(130)은 경차 판별 센서(43), 4면 촬영 카메라(53), 출차 주의등(83), 또는 루프 코일(93)을 더 포함할 수 있다. 다만, 실시 예에 따라 출입 통제 시스템(130)은 도 1에 도시된 출구 무인 요금 정산기(70) 대신에 차량이 적법한 권한을 가진 차량인지 판단할 수 있는 단말기(76)를 포함할 수 있다. 차량의 운전자가 적법한 권한을 가졌음을 의미하는 카드 등을 단말기(76)에 다가갈 때, 단말기(76)는 상기 카드가 적법할 경우, 차단기(16, 또는 17)을 열도록 제어할 수 있다. The
출입 통제 시스템(130)에 포함된 각 구성요소들(16, 17, 23, 33, 43, 53, 63, 73, 83, 93)은 무선, 또는 유선으로 네트워크로 연결된다. 또한, 출입 통제 시스템(130)에 포함된 각 구성요소들(16, 17, 23, 33, 43, 53, 63, 83, 93)은 도 1에 도시된 출구 무인 정산 시스템(100)에 포함된 각 구성요소들(10, 11, 20, 30, 40, 50, 60, 70, 80, 90)의 동작과 유사하므로, 이에 대한 자세한 설명은 생략한다. Each of the components (16, 17, 23, 33, 43, 53, 63, 73, 83, 93) included in the
도 5는 도 1 내지 도 4에 도시된 시스템이 통합된 통합 주차 관리 시스템의 블록도를 나타낸다. 5 shows a block diagram of an integrated parking management system in which the systems shown in FIGS. 1 to 4 are integrated.
도 1 내지 도 5를 참고하면, 통합 주차 관리 시스템(200)은 복수의 서로 다른 시스템들(예컨대, 출구 무인 정산 시스템(100), 사전 무인 정산 시스템(110), 유인 정산 시스템(120), 및 출입 통제 시스템(130))로부터 네트워크를 통해 전송되는 차량의 번호를 통해 주차 요금을 계산하거나, 적법한 권한이 있는지를 판단할 수 있는 서버 시스템(140)을 포함한다. 통합 주차 관리 시스템(200)은 도 1 내지 도 3에 도시된 출구 무인 정산 시스템(100), 사전 무인 정산 시스템(110), 유인 정산 시스템(120), 출입 통제 시스템(130), 및 서버 시스템(140)을 포함할 수 있다. 실시 예에 따라 통합 주차 관리 시스템(200)은 서버 시스템(140)과, 도 1 내지 도 3에 도시된 출구 무인 정산 시스템(100), 사전 무인 정산 시스템(110), 유인 정산 시스템(120), 및 출입 통제 시스템(130) 중 어느 하나를 포함할 수 있다. 도 5에서는 통합 주차 관리 시스템(200)은 출구 무인 정산 시스템(100), 사전 무인 정산 시스템(110), 유인 정산 시스템(120), 출입 통제 시스템(130), 및 서버 시스템(140)을 포함하는 것으로 도시되었나, 실시 예에 따라 통합 주차 관리 시스템(200)은 더 많은 시스템들을 포함할 수 있다. 예컨대, 통합 주차 관리 시스템(200)은 서로 다른 지역에 위치한 다수의 출구 무인 정산 시스템들을 포함하거나, 서로 다른 지역에 위치에 위치한 다수의 사전 무인 정산 시스템들을 포함하거나, 이들을 모두 포함할 수 있다. 1 to 5, the integrated
통합 주차 관리 시스템(200)에 포함된 출구 무인 정산 시스템(100), 사전 무인 정산 시스템(110), 유인 정산 시스템(120), 출입 통제 시스템(130), 및 서버 시스템(140)은 네트워크(201)를 통해 서로 통신이 가능하다. 네트워크(201)는 VPN(Virtual Private Network)일 수 있다. 출구 무인 정산 시스템(100), 사전 무인 정산 시스템(110), 유인 정산 시스템(120), 출입 통제 시스템(130), 및 서버 시스템(140) 각각은 서로 통신을 위해 VPN 단말기(201, 203, 205, 207, 및 209)를 이용할 수 있다. VPN 단말기(201, 203, 205, 207, 또는 209)는 각 시스템이 네트워크를 통해 서로 연결되는데 이용된다. The
서버 시스템(140)은 제5VPN 단말기(209), 스위치(141), 주차 관제 서버(143), 데이터베이스(145), 웹할인 서버(147), 복수의 클라이언트들(151-1~151-N, N은 자연수)을 포함한다.The server system 140 includes a 5th VPN terminal 209, a switch 141, a parking control server 143, a database 145, a web discount server 147, a plurality of clients 151-1 to 151-N, N is a natural number).
제5VPN 단말기(209)는 출구 무인 정산 시스템(100), 사전 무인 정산 시스템(110), 유인 정산 시스템(120), 또는 출입 통제 시스템(130)의 VPN 단말기(201,203, 205, 또는 207)로부터 차량의 입구 위치 정보, 차량의 입차 정보, 및 차량 번호에 관한 정보를 수신한다. 제5VPN 단말기(209)는 스위치(141)를 통해 주차 관제 서버(143)로 상기 차량의 입구 위치 정보, 상기 차량의 입차 정보, 및 상기 차량 번호에 관한 정보를 전달한다. The fifth VPN terminal 209 is a vehicle from the
데이터베이스(145)는 상기 차량의 입구 위치 정보, 상기 차량의 입차 정보, 및 상기 차량 번호에 관한 정보를 저장할 수 있다. The database 145 may store entrance location information of the vehicle, entry information of the vehicle, and information on the vehicle number.
웹할인 서버(147)는 차량의 정보에 따라 주차 요금의 할인을 결정한다. 예컨대, 웹할인 서버(147)는 차량의 정기 등록된 차량일 경우, 상기 차량에 대해 할인된 주차 요금을 적용한다. The web discount server 147 determines a discount of a parking fee according to vehicle information. For example, the web discount server 147 applies a discounted parking fee to the vehicle if it is a vehicle registered regularly.
실시 예에 따라, 서버 시스템(140)은 비대면 자격확인 서버(149)를 더 포함할 수 있다. 비대면 자격확인 서버(149)는 상기 차량 번호에 관한 정보를 수신하고, 상기 차량이 경차, 친환경차량, 장애인, 또는 국가유공자 등과 같은 법정 할인 대상 차량인지 여부를 결정하기 위해 행정정보공동이용센터 시스템(미도시)에 상기 차량 번호에 관한 정보와, 상기 차량이 법정 할인 대상 차량인지 여부를 요청한다. 상기 요청에 따라 비대면 자격확인 서버(149)는 상기 행정정보공동이용센터 시스템으로부터 상기 차량이 법정 할인 대상 차량인지 여부를 나타내는 정보를 수신하고, 상기 차량이 법정 할인 대상 차량에 해당할 때, 상기 차량에 대해 할인된 주차 요금을 적용한다. According to an embodiment, the server system 140 may further include a non-face-to-face qualification verification server 149. The non-face-to-face qualification verification server 149 receives information on the vehicle number and determines whether the vehicle is a vehicle subject to legal discounts such as a light vehicle, an eco-friendly vehicle, a disabled person, or a person of national merit, etc. Information on the vehicle number and whether the vehicle is a legal discount target vehicle are requested from (not shown). According to the request, the non-face-to-face qualification verification server 149 receives information indicating whether the vehicle is a vehicle subject to legal discount from the administrative information joint use center system, and when the vehicle corresponds to a vehicle subject to legal discount, the Discounted parking fees apply for vehicles.
주차 관제 서버(143)는 차량의 주차 요금을 결정하고, 네트워크(201)를 통해 시스템(100, 110, 120, 또는, 130)으로 상기 차량의 주차 요금에 관한 정보를 전송한다. The parking control server 143 determines the parking fee of the vehicle, and transmits information on the parking fee of the vehicle to the
복수의 클라이언트들(151-1~151-N)은 서로 다른 시스템들(100, 110, 120, 및 130)을 실시간으로 모니터링하는데 이용된다. 스위치(141)는 복수의 클라이언트들(151-1~151-N) 중 어느 하나로 시스템(100, 110, 120, 또는 130)을 통해 출력되는 정보(예컨대, 실시간 주차장 화면 정보)를 전송하는데 이용될 수 있다. The plurality of clients 151-1 to 151-N are used to monitor
도 6은 도 1 내지 도 5 중 어느 하나의 도면에 도시된 차량 번호 인식기의 내부 블록도를 나타낸다. 6 is a block diagram showing an interior of the vehicle number recognizer shown in any one of FIGS. 1 to 5.
도 6을 참고하면, 차량 번호 인식기(300)는 차량이 주차장으로 진입하거나, 차량이 주차장에서 출차할 때, 차량의 번호를 인식하는데 이용된다. 도 1 내지 도 5에서 도시된 차량 번호 인식기들의 구조와 동작은 도 6에 도시된 차량 번호 인식기(300)의 구조와 동작이 같다. 따라서 대표적으로 도 6에 도시된 차량 번호 인식기(300)를 설명한다. Referring to FIG. 6, the
차량 번호 인식기(300)는 프로세서(310), 메모리(320), 카메라(330), 및 통신 모듈(340)을 포함한다. 프로세서(310)는 메모리(320)에 저장된 차량 번호 인식 방법에 관한 명령들을 실행한다. 카메라(330)는 차량의 번호판 영역을 촬영하고, 촬영된 차량 번호판 이미지를 프로세서(310)로 전달한다. 프로세서(310)는 차량 번호판 이미지에 대해 차량의 번호판 영역에서 인식된 문자 영역에서 추출된 피처맵들을 CNN(Convolutional Neural Network) 알고리즘에 같이 적용하여 차량의 번호를 인식한다. 차량의 번호판 영역에서 인식된 문자 영역에서 추출된 피처맵들을 CNN(Convolutional Neural Network) 알고리즘에 같이 적용한 차량 번호판 인식 기술은 뒤에서 자세히 설명될 것이다. The
도 7은 도 1에 도시된 시스템에서 차량의 주차장 진입 동작을 설명하기 위한 흐름도를 나타낸다. 도 7에서는 도 1에 도시된 출구 무인 정산 시스템을 예를 들어 설명하였으나, 도 7에서 설명하는 차량의 주차장 진입 동작은 도 2 내지 도 4에 도시된 사전 무인 정산 시스템, 유인 정산 시스템, 및 출입 통제 시스템에서도 동일, 또는 유사하게 적용될 수 있다. 7 is a flowchart illustrating an operation of a vehicle entering a parking lot in the system shown in FIG. 1. In FIG. 7, the unmanned exit settlement system shown in FIG. 1 has been described as an example, but the operation of entering the parking lot of the vehicle described in FIG. 7 is a pre-unmanned settlement system, a manned settlement system, and access control as shown in FIGS. The same or similar can be applied to the system.
도 1, 도 5 및 도 7을 참고하면, 차량이 주차장 입구의 바닥에 설치된 루프 코일(90)을 지나가면, 루프 코일(90)은 차량의 진입을 인식한다(S1001). Referring to FIGS. 1, 5 and 7, when the vehicle passes through the
루프 코일(90)이 차량의 진입을 인식함에 따라 제1차량 번호 인식기(20)과 제2차량 번호 인식기(30)는 각각 차량의 전면과 후면의 차량 번호판을 촬영하고, 촬영된 차량 번호판 이미지에서 차량의 번호판을 인식한다(S1002). As the
제1차량 번호 인식기(20)과 제2차량 번호 인식기(30)에서 인식된 차량의 번호를 네트워크(201)를 통해 주차 관제 서버(143)로 전송한다(S1003). The vehicle number recognized by the first
제1차량 번호 인식기(20)과 제2차량 번호 인식기(30)는 차량의 번호를 인식하고, 제1차단기(10)를 열도록 제1차단기(10)를 제어한다(S1004). 차량 번호 인식기(20, 또는 30)의 제어에 따라 제1차단기(10)가 열리고, 차량이 진입한다. The first
도 8은 도 1에 도시된 시스템에서 차량의 주차장 진출 동작을 설명하기 위한 흐름도를 나타낸다. 도 8에서 설명하는 차량의 주차장 진출 동작은 도 2 내지 도 4에 도시된 사전 무인 정산 시스템, 유인 정산 시스템, 및 출입 통제 시스템에서도 동일, 또는 유사하게 적용될 수 있다. 8 is a flowchart illustrating an operation of entering a parking lot of a vehicle in the system shown in FIG. 1. The operation of entering the parking lot of the vehicle described in FIG. 8 may be applied in the same or similar manner to the pre-unmanned settlement system, the manned settlement system, and the access control system shown in FIGS.
도 1, 도 5, 및 도 8을 참고하면, 차량이 주차장 출구의 바닥에 설치된 루프 코일(90)을 지나가면, 루프 코일(90)은 차량의 진출을 인식한다(S2001). 1, 5, and 8, when the vehicle passes through the
루프 코일(90)이 차량의 진출을 인식함에 따라 제3차량 번호 인식기(60)는 각각 차량의 전면의 차량 번호판을 촬영하고, 촬영된 차량 번호판 이미지에서 차량의 번호판을 인식한다(S2002).As the
제3차량 번호 인식기(60)에서 인식된 차량의 번호를 네트워크(201)를 통해 주차 관제 서버(143)로 전송한다(S2003).The vehicle number recognized by the third
주차 관제 서버(143)는 제1차량 번호 인식기(20)과 제2차량 번호 인식기(30)에서 전송된 차량의 번호과 제3차량 번호 인식기(60)에서 전송된 차량의 번호를 매칭하고, 주차 요금을 계산한다(S2004). 이 때, 웹할인 서버(147)는 차량의 정보에 따라 주차 요금의 할인을 결정할 수 있다. 웹할인 서버(147)에서 결정된 할인에 따라 주차 관제 서버(143)는 최종 주차 요금을 계산할 수 있다. The parking control server 143 matches the vehicle number transmitted from the first
주차 관제 서버(143)는 계산된 주차 요금을 출구 무인 요금 정산기(70)로 전송한다(S2005).The parking control server 143 transmits the calculated parking fee to the exit unmanned fee calculator 70 (S2005).
출구 무인 요금 정산기(70)는 디스플레이(미도시)를 포함한다. 상기 디스플레이에는 주차 요금이 표시되고, 출구 무인 요금 정산기(70)는 차량의 운전자가 카드, 또는 현금으로 주차 요금을 정산할 때까지 대기한다(S2006).The exit
차량의 운전자가 주차 요금을 정산하면, 출구 무인 요금 정산기(70)는 주차 관제 서버(143)로 정산이 처리되었음을 의미하는 이벤트 신호를 전송한다(S2007). When the driver of the vehicle calculates the parking fee, the exit
주차 요금이 정산된 후, 출구 무인 요금 정산기(70)는 제2차단기(11)를 열도록 제2차단기(11)를 제어한다(S2008). 출구 무인 요금 정산기(70)의 제어에 따라 제2차단기(11)가 열리고, 차량이 진입한다. After the parking fee is settled, the exit
도 9는 도 7, 또는 도 8의 차량 번호판 인식 동작을 설명하기 위한 흐름도를 나타낸다. 도 9에서 설명하는 차량 번호판 인식 동작은 도 2 내지 도 4에 도시된 사전 무인 정산 시스템, 유인 정산 시스템, 및 출입 통제 시스템에서도 동일, 또는 유사하게 적용될 수 있다. 9 is a flowchart illustrating a vehicle license plate recognition operation of FIG. 7 or 8. The vehicle license plate recognition operation described in FIG. 9 may be applied in the same or similar manner to the pre-unmanned settlement system, the manned settlement system, and the access control system shown in FIGS. 2 to 4.
도 6에 도시된 프로세서(310)는 제1차량 번호 인식기(20), 제2차량 번호 인식기(30), 및 제3차량 번호 인식기(60)에 공통적으로 구현될 수 있는 프로세서를 의미한다. 아래에서 설명되는 프로세서(310), 카메라(330)의 동작은 제1차량 번호 인식기(20), 제2차량 번호 인식기(30), 및 제3차량 번호 인식기(60)의 동작으로 이해해야할 것이다. The
도 10은 도 6에 도시된 차량 번호 인식기의 동작을 설명하기 위해 차량 번호 인식기의 프로세서에 의해 처리된 이미지들을 나타낸다. 또한, 상기 프로세서의 동작은 도 6에 도시된 차량 번호 인식기에 포함된 메모리에 저장된 명령들을 의미한다. 10 shows images processed by a processor of the vehicle number recognizer to describe the operation of the vehicle number recognizer shown in FIG. 6. Further, the operation of the processor refers to instructions stored in a memory included in the vehicle number recognizer shown in FIG. 6.
도 1, 도 6, 도 9, 및 도 10을 참고하면, 차량 번호 인식기(300)에 포함된 카메라(330)는 차량의 번호판을 촬영한다(S4001). 1, 6, 9, and 10, a
프로세서(310)는 카메라(330)에 의해 촬영된 차량 번호판 이미지를 이진화한다(S4003). 상기 차량 번호판 이미지를 이진화하는 구체적인 알고리즘은 다음과 같다. The
프로세서(310)는 차량 번호판 이미지에 DoG(Difference of Gaussian) 필터를 적용하여 텍스트 획 후보들의 수평 경계점들을 추출하고 수평 획 경계점 지도(Horizontal Stroke Boundary Map)을 생성한다. 도 10의 (b)는 수평 획 경계점 지도의 이미지를 나타낸다. 프로세서(310)는 수평 경계점 연결선의 수직방향 누적을 통해 텍스트 획 사이의 픽셀을 그룹핑하여 세그멘트(segment) 이미지를 생성한다. 도 10의 (c)는 세그먼트 이미지를 나타낸다. 프로세서(310)는 상기 세그멘트 이미지에서 각각의 텍스트가 서로 다른 색깔을 갖도록 컬러 이미지를 생성한다. 도 10의 (d)는 상기 컬러 이미지를 나타낸다. 실시 예에 따라 상기 컬러 이미지 생성 동작은 생략될 수 있다. 프로세서(310)는 상기 컬러 이미지를 흑백 이미지로 변환한다. 도 10의 (a)는 흑백 이미지를 나타낸다. The
도 9를 참고하면, 프로세서(310)는 문자 덩어리 분석(character blob analysis)을 수행한다. 프로세서(310)는 픽셀 덩어리들을 각각 인덱싱하여 픽셀 덩어리들의 위치 정보와 사이즈 정보를 계산하고, 인덱싱된 픽셀 덩어리들을 해석하여 번호판 후보 문자들을 추출한다(S4004). Referring to FIG. 9, the
프로세서(310)는 상기 추출된 번호판 후보 문자들에 따라 차량의 번호판 영역을 추출하고 잘라낸다(S4005). 프로세서(310)는 잘라낸 차량의 번호판 영역을 그레이스케일 이미지(grayscale image)로 변환한다. The
프로세서(310)는 상기 잘라낸 번호판 영역의 선명도를 추정한다(S4006). 프로세서(310)는 선명도를 추정하고, 번호판 크기의 정규화와 기울기를 보정한다(S4007). 프로세서(310)는 선명도를 계산하고, 계산된 선명도가 일정값보다 큰지 판단한다(S4008). 프로세서(310)는 상기 계산된 선명도가 일정값보다 클 때, 선명도를 감소시킨다(S4009). 프로세서(310)는 상기 계산된 선명도가 일정값보다 작을 때, 상기 차량의 번호판 영역의 이미지를 향상시킨다(S4010). The
프로세서(310)는 차량의 번호판 영역이 포함된 이미지에서 번호판 타입을 선택한다(S4011). 상기 번호판 타입은 싱글 라인(single line) 번호판, 또는 더블 라인(double line) 번호판으로 나눠질 수 있다. 또한, 상기 번호판 타입은 지명명이 포함되는지 여부로 분류될 수 있다. 프로세서(310)는 분류된 번호판 영역에서 문자 영역을 분류한다(S4012). The
도 11은 도 6에 도시된 차량 번호 인식기의 동작을 설명하기 위해 차량 번호 인식기의 프로세서에 의해 처리된 다른 이미지들을 나타낸다. 구체적으로 도 11은 잘못된 문자 영역의 분류를 나타내는 이미지들이다. 분류된 번호판 영역에서 문자 영역의 분류 동작은 중요하다. 분류 동작이 잘못되면, 잘못된 문자로 인식될 수 있다. 11 shows different images processed by the processor of the vehicle number recognizer to illustrate the operation of the vehicle number recognizer shown in FIG. 6. Specifically, FIG. 11 is an image showing classification of an incorrect character area. In the classified license plate area, the classification operation of the character area is important. If the classification operation is wrong, it may be recognized as an incorrect character.
프로세서(310)는 분류된 문자 영역에서 미리 설정된 피처 맵을 추출한다(S4013). 상기 미리 설정된 피처 맵은 문자의 특징을 수치로 표현한 것으로 정의된다. 상기 미리 설정된 피처 맵은 ANN 구조 신경망 알고리즘에서 입력으로 이용된다. 예컨대, 상기 미리 설정된 피처 맵은 문자 영역을 일정 영역들로 나누고 각 영역에 포함된 문자의 픽셀 개수로 정의될 수 있다. 또한, 상기 미리 설정된 피처 맵은 문자의 높이를 따라 여러 개로 그려진 수평 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합으로 정의될 수 있다. 또한, 상기 미리 설정된 피처 맵은 폭에 따라 여러 개로 그려진 수직 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합으로 정의될 수 있다.
프로세서(310)는 분류된 문자 영역에서 CNN 알고리즘을 수행하여 CNN 피처 맵을 출력한다(S4014). The
The
프로세서(310)는 차량의 번호판 영역에서 인식된 문자 영역에서 추출된 피처맵들을 CNN(Convolutional Neural Network) 알고리즘에 같이 적용하여 차량 번호판을 인식한다(S4015). 즉, 프로세서(310)는 미리 설정된 피처 맵과 CNN 알고리즘을 통해 출력된 CNN 피처 맵을 입력으로 CNN 알고리즘을 적용하여 차량 번호판을 인식한다. 차량의 번호판 영역에서 인식된 문자 영역에서 추출된 피처맵들을 CNN(Convolutional Neural Network) 알고리즘에 같이 적용한 것에 대해서는 뒤에서 자세히 설명될 것이다. The
프로세서(310)는 문자열을 인식하고, 문자들의 종류 및 배치 규칙에 따라 오인식 여부를 판단하고, 최종 번호판 문자열 인식 결과를 출력한다(S4016). The
도 12는 도 6에 도시된 프로세서에 의해 처리되는 CNN 알고리즘의 블록도를 나타낸다. 12 shows a block diagram of a CNN algorithm processed by the processor shown in FIG. 6.
도 6, 도 9, 및 12를 참고하면, CNN(Convolutional Neural Network)는 딥 러닝(deep learning) 알고리즘으로, 이미지를 분석하는데 주로 이용된다. 6, 9, and 12, a convolutional neural network (CNN) is a deep learning algorithm and is mainly used to analyze an image.
CNN 알고리즘은 제1컨볼루션 레이어(convolution layer), 제1맥스 풀링 레이어(max pooling layer), 제2컨볼루션 레이어(convolution layer), 제2맥스 풀링 레이어(max pooling layer), 및 풀리 커넥티드 레이어(fully connected layer)를 포함한다. The CNN algorithm includes a first convolution layer, a first max pooling layer, a second convolution layer, a second max pooling layer, and a fully connected layer. Includes (fully connected layer).
프로세서(310)는 제1컨볼루션 레이어의 동작을 수행한다. 제1컨볼루션 레이어에서 동작은 아래와 같다. The
프로세서(310)는 하나의 인식된 문자 영역을 포함하는 이미지를 수신한다. 상기 하나의 인식된 문자 영역을 포함하는 이미지에는 하나의 숫자, 하나의 영문자, 또는 하나의 한글이 포함된다. 상기 이미지는 0, 또는 1을 가지는 픽셀값들로 구성된다. 상기 이미지는 (가로 사이즈, 세로 사이즈, 채널의 수)로 표현된다. 이미지가 이진화될 때, 채널의 수는 1이다. 예컨대, 도 12에 도시된 이미지는 (28, 28, 1)로 표현될 수 있다. The
프로세서(310)는 상기 수신된 이미지와 제1필터에 대해 컨볼루션 연산을 수행하여 제1컨볼루션 결과 값들을 출력한다. 상기 수신된 이미지는 입력 피처 맵(input feature map)으로 호칭될 수 있다. 상기 제1컨볼루션 결과 값들은 제1출력 피처 맵(output feature map)으로 호칭될 수 있다. 상기 제1필터는 매트릭스 형태로 구현되며, 상기 수신된 이미지에서 에지(edge)를 검출하거나 상기 수신된 이미지를 선명화하는데 이용된다. 각각의 목적에 따라 상기 매트릭스에 이용되는 정수는 다양할 수 있다. 상기 제1필터는 커널(kernel)이라고 호칭될 수 있다. 상기 제1필터는 (필터의 가로 사이즈, 필터의 세로 사이즈, 필터 채널의 수) x (필터의 개수)로 표현될 수 있다. 예컨대, 도 12에 도시된 제1필터는 (5, 5, 1) x 16으로 표현될 수 있다. The
상기 컨볼루션 연산은 상기 수신된 이미지와 상기 제1필터의 컨볼루션을 의미한다. 이 때, 상기 제1필터에 가중치(weight)가 곱해질 수 있다. 컨볼루션 연산의 결과인 제1출력 피처 맵은 (가로 크기, 세로 크기, 필터의 개수)로 표현될 수 있다. The convolution operation means convolution of the received image and the first filter. In this case, a weight may be multiplied by the first filter. The first output feature map resulting from the convolution operation may be expressed as (horizontal size, vertical size, number of filters).
도 12에 도시된 상기 수신된 이미지인 입력 피처 맵이 (28, 28, 1)이고, 제1필터가 (5, 5, 1) x 16일 때, 제1출력 피처 맵은 (24, 24, 16)으로 표현될 수 있다. When the input feature map that is the received image shown in FIG. 12 is (28, 28, 1) and the first filter is (5, 5, 1) x 16, the first output feature map is (24, 24, It can be expressed as 16).
도 13은 도 12에 도시된 입력 피처 맵과 출력 피처 맵 사이의 관계를 설명하기 위한 블록도를 나타낸다. FIG. 13 is a block diagram illustrating a relationship between an input feature map and an output feature map shown in FIG. 12.
도 6, 도 9, 도 12 및 13을 참고하면, 입력 피처 맵이 (l-1)이고, 출력 피처 맵이 (l)이고, 필터 뱅크 w을 이용한 컨볼루션 연산은 다음의 수학식과 같다. 6, 9, 12, and 13, an input feature map is (l-1), an output feature map is (l), and a convolution operation using the filter bank w is as follows.
[수학식 1] [Equation 1]
상기 는 k번째 피처 맵의 c번째 필터의 u행, v열에 위치한 뉴런의 가중치를, 상기는 입력 피처 맵(l-1)의 c 피처 맵의 (i+u)행, (j+v)열에 있는 뉴런의 출력을, 상기는 l층의 k번째 피처 맵의 바이어스를, 상기는 출력 피처 맵(l)의 k번째 출력 피처 맵에서 i행, j열에 위치한 뉴런의 출력을 의미한다. 상기 fc는 입력 피처 맵의 채널 개수, 상기 k는 필터 뱅크의 인덱스를, 상기 c는 입력 피처 맵의 인덱스를. 상기 u와 v는 필터의 가로, 세로 인덱스를 의미한다. remind Is the weight of neurons located in row u and column v of the c-th filter of the k-th feature map, Is the output of the neuron in the (i+u) row, (j+v) column of the c feature map of the input feature map (l-1), Is the bias of the k-th feature map of the l layer, Denotes the output of neurons located in row i and column j in the k-th output feature map of the output feature map (l). Wherein fc is the number of channels of the input feature map, k is the index of the filter bank, and c is the index of the input feature map. The u and v denote the horizontal and vertical indexes of the filter.
예컨대, 상기 제1맥스 풀링 레이어의 출력인 제2출력 피처 맵(12, 12, 16)이 입력 피처 맵(l-1)이고, 제2컨볼루션 레이어의 출력인 제3출력 피처 맵(10, 10, 24)이 출력 피처 맵(l)일 수 있다. 이 때, 제3필터((3, 3, 16) x 24)의 뱅크는 w일 수 있다. For example, the second output feature map (12, 12, 16) that is the output of the first max pooling layer is the input feature map (l-1), and the third output feature map (10, which is the output of the second convolution layer) 10, 24) may be the output feature map (l). In this case, the bank of the third filter (3, 3, 16) x 24 may be w.
도 12를 참고하면, 프로세서(310)는 제1맥스 풀링 레이어의 동작을 수행한다. 제1맥스 풀링 레이어에서 동작은 제1컨볼루션 레이어의 결과값인 제1출력 피처 맵에 제2필터를 적용하여 제2출력 피처 맵을 출력하는 것을 의미한다. 제2필터는 (필터의 가로 사이즈, 필터의 세로 사이즈)로 표현될 수 있다. 예컨대, 도 12에 도시된 제2필터는 (2, 2)로 표현될 수 있다. Referring to FIG. 12, the
도 12에 도시된 제1출력 피처 맵이 (24, 24, 16)이고, 제2필터가 (2, 2)일 때, 제2출력 피처 맵은 (12, 12, 16)으로 표현될 수 있다. When the first output feature map shown in FIG. 12 is (24, 24, 16) and the second filter is (2, 2), the second output feature map may be expressed as (12, 12, 16). .
제1맥스 풀링 레이어에서의 연산은 아래의 수학식과 같이 표현될 수 있다. The operation in the first max pooling layer may be expressed as the following equation.
[수학식 2][Equation 2]
여기서, 상기 m과 상기 n은 각각 필터의 가로와 세로의 크기를 나타내며, 상기 s와 상기 t는 입력 피처 맵의 샘플링 영역 인덱스를 나타낸다. Here, m and n denote the horizontal and vertical dimensions of the filter, respectively, and s and t denote the sampling area index of the input feature map.
프로세서(310)는 제2컨볼루션 레이어의 동작을 수행한다. 제2컨볼루션 레이어에서 동작은 제1컨볼루션 레이어에서의 동작과 유사하다. 즉, 프로세서(310)는 제1맥스 풀링 레이어의 출력인 제2출력 피처 맵과 제3필터를 컨볼루션하여 제3출력 피처 맵을 출력한다. 상기 제3필터는 상기 제1필터와 다른 필터일 수 있다. 도 12에 도시된 상기 수신된 이미지인 제2출력 피처 맵이 (12, 12, 16)이고, 제3필터가 (3, 3, 16) x 24일 때, 제3출력 피처 맵은 (10, 10, 24)으로 표현될 수 있다. The
프로세서(310)는 제2맥스 풀링 레이어의 동작을 수행한다. 제2맥스 풀링 레이어에서 동작은 아래와 같다. 제2맥스 풀링 레이어에서 동작은 제1맥스 풀링 레이어에서의 동작과 유사하다. 즉, 프로세서(310)는 제2컨볼루션 레이어의 출력인 제3출력 피처 맵에 제4필터를 적용하여 제4출력 피처 맵을 출력한다. 상기 제4필터는 상기 제2필터와 다른 필터일 수 있다. 도 12에 도시된 제3출력 피처 맵이 (10, 10, 24)이고, 제4필터가 (2, 2)일 때, 제4출력 피처 맵은 (5, 5, 24)으로 표현될 수 있다. The
프로세서(310)는 풀리 커넥티드 레이어의 동작을 수행한다. 풀리 커넥티드 레이어에서 동작은 아래와 같다. 풀리 커넥티드 레이어는 복수의 풀리 커넥티드 레이어들을 포함한다. 제1풀리 커넉티드 레이어와 제2풀리 커넥티드 레이어 각각은 (입력 뉴런의 개수, 출력 뉴런의 개수)로 표현된다. 제1풀리 커넥티드 레이어에서 입력 뉴런의 개수는 600개이며, 제1풀리 커넥티드 레이어에서 출력 뉴런의 개수는 200개일 수 있다. 제1풀리 커넥티드 레이어의 입력 뉴런은 제4출력 피처 맵(5, 5, 24)에서 도출된다. 제1풀리 커넥티드 레이어의 j번째 출력 뉴런()은 다음의 수학식과 같이 표현될 수 있다. The
[수학식 3][Equation 3]
또한, 제2풀리 커넥티드 레이어에서 입력 뉴런의 개수는 제1풀리 커넥티드 레이어의 출력 뉴런의 개수인 200개이며, 제2풀리 커넥티드 레이어의 출력 뉴런의 개수인 10개일 수 있다. 제2풀리 커넥티트 레이어의 k번째 뉴런의 가중 합의 입력값 z와 출력 값은 O은 아래의 수학식과 같이 표현될 수 있다. In addition, the number of input neurons in the second pulley-connected layer may be 200, which is the number of output neurons in the first pulley-connected layer, and 10, which is the number of output neurons in the second pulley-connected layer. An input value z and an output value of the sum of the weights of the k-th neuron of the second pulley connect layer may be expressed by the following equation.
[수학식 4][Equation 4]
프로세서(310)는 복수의 서로 다른 이미지들을 수신하여 CNN 알고리즘인 제1컨볼루션 레이어, 제1맥스 풀링 레이어, 제2컨볼루션 레이어, 제2맥스 풀링 레이어, 및 풀리 커넥티드 레이어의 동작들을 반복하여 CNN 알고리즘을 학습시킨다. 학습에 따라 풀리 커넥티드 레이어의 가중치와 컨볼루션 레이어들의 필터 가중치가 업데이트된다. The
도 14는 도 6에 도시된 프로세서에 의해 처리되는 신경망 알고리즘의 블록도의 일 실시 예를 나타낸다. 도 15는 도 6에 도시된 프로세서에 의해 처리되는 신경망 알고리즘의 블록도의 다른 실시 예를 나타낸다. 도 16은 도 6에 도시된 프로세서에 의해 처리되는 신경망 알고리즘의 블록도의 또 다른 실시 예를 나타낸다. 14 shows an embodiment of a block diagram of a neural network algorithm processed by the processor shown in FIG. 6. 15 shows another embodiment of a block diagram of a neural network algorithm processed by the processor shown in FIG. 6. 16 shows another embodiment of a block diagram of a neural network algorithm processed by the processor shown in FIG. 6.
도 6, 및 도 14 내지 16을 참고하면, 프로세서(310)는 하나의 인식된 문자 영역을 포함하는 이미지를 수신한다. 프로세서(310)는 상기 수신된 이미지에 대해 제1컨볼루션 연산을 수행하여 제1출력 피처 맵을 출력한다. 6 and 14 to 16, the
프로세서(310)는 상기 제1출력 피처 맵에 대해 샘플링을 적용하여 제2출력 피처 맵을 출력한다. 즉, 프로세서(310)는 제1맥스 풀링 레이어의 동작을 수행한다.The
프로세서(310)는 상기 출력된 제2출력 피처 맵에 대해 제2컨볼루션 연산을 수행하여 제3출력 피처 맵을 출력한다. The
프로세서(310)는 상기 출력된 제3출력 피처 맵에 대해 샘플링을 적용하여 제4출력 피처 맵을 출력한다. 즉, 프로세서(310)는 제2맥스 풀링 레이어의 동작을 수행한다.The
프로세서(310)는 상기 출력된 제4출력 피처 맵과, 미리 설정된 피처 맵을 완전히 연결하는 풀리 커넥티드 레이어(fully connected layer)를 이용하여 상기 하나의 인식된 문자 영역에서 문자를 인식한다. The
상기 풀리 커넥티드 레이어는 입력 레이어(input layer), 은닉 레이어(hidden layer), 및 출력 레이어(output layer)를 포함한다. The fully connected layer includes an input layer, a hidden layer, and an output layer.
상기 은닉 레이어는 복수의 은닉 뉴런들(neurons)을 포함한다. 상기 은닉 레이어는 (은닉 레이어의 입력 뉴런의 개수, 은닉 레이어의 출력 뉴런의 개수)로 표현될 수 있다. 상기 출력 레이어는 (출력 레이어의 입력 뉴런의 개수, 출력 레이어의 출력 뉴런의 개수)로 표현될 수 있다. 예컨대, 도 15에 도시된 은닉 레이어의 (840, 60)는 은닉 레이어의 입력 뉴런의 개수가 840개이고, 은닉 레이어의 출력 뉴런의 개수가 60개임을 의미한다. 또한, 도 15에 도시된 출력 레이어의 (60, 10)는 출력 레이어의 입력 뉴런의 개수가 60개이며, 출력 레이어의 출력 뉴런의 개수가 10개임을 의미한다. The hidden layer includes a plurality of hidden neurons. The hidden layer may be expressed as (the number of input neurons of the hidden layer and the number of output neurons of the hidden layer). The output layer may be expressed as (the number of input neurons in the output layer and the number of output neurons in the output layer). For example, (840, 60) of the hidden layer shown in FIG. 15 means that the number of input neurons of the hidden layer is 840 and the number of output neurons of the hidden layer is 60. Further, (60, 10) of the output layer shown in FIG. 15 means that the number of input neurons of the output layer is 60 and the number of output neurons of the output layer is 10.
상기 미리 설정된 피처 맵의 특징들의 개수가 m(m은 2이상의 자연수)개이고, 상기 출력된 제4출력 피처 맵의 특징들의 개수가 n개(n은 2이상의 자연수)일 때, 상기 복수의 은닉 뉴런들 중 j번째(j는 자연수) 은닉 뉴런의 입력 값()은 다음의 수학식으로 표현된다. When the number of features of the preset feature map is m (m is a natural number of 2 or more), and the number of features of the output fourth output feature map is n (n is a natural number of 2 or more), the plurality of hidden neurons Among them, the input value of the hidden neuron (j is a natural number) ( ) Is expressed by the following equation.
[수학식 5][Equation 5]
상기 복수의 은닉 뉴런들 중 j번째(j는 자연수) 은닉 뉴런의 출력 값()은 다음의 수학식으로 표현된다. The output value of the j-th (j is a natural number) hidden neuron among the plurality of hidden neurons ( ) Is expressed by the following equation.
[수학식 6][Equation 6]
상기 는 상기 a번째 특징에 대한 j번째 가중치를, 상기 는 상기 미리 설정된 피처 맵의 특징들 중 a번째 특징을, 상기 는 상기 c번째 결과 값에 대한 j번째 가중치를, 상기 는 상기 출력된 제4출력 피처 맵의 특징들 중 c번째 결과 값을, 상기 는 j번째 오프셋(offset)을, 상기 함수 f()는 시그모이드(sigmoid) 함수를 나타낸다.remind Is the j-th weight for the a-th feature, Is the a-th feature among the features of the preset feature map, Is the j-th weight for the c-th result value, Is the c-th result value among the features of the outputted fourth output feature map, Denotes the j-th offset, and the function f() denotes a sigmoid function.
상기 미리 설정된 피처 맵의 특징들끼리만 서로 연결되며, 상기 출력된 제4출력 피처의 특징들끼리만 서로 연결된다. Only features of the preset feature map are connected to each other, and only features of the output fourth output feature are connected to each other.
상기 출력 레이어는 복수의 출력 뉴런들을 포함하며, 상기 복수의 출력 뉴런들 중 k번째(k는 자연수) 출력 뉴런의 입력 값()은 다음의 수학식으로 표현된다. The output layer includes a plurality of output neurons, and an input value of the output neuron (k is a natural number) among the plurality of output neurons ( ) Is expressed by the following equation.
[수학식 7][Equation 7]
상기 복수의 출력 뉴런들 중 k번째(k는 자연수) 출력 뉴런의 출력 값()은 다음의 수학식으로 표현된다. The output value of the k-th (k is a natural number) output neuron among the plurality of output neurons ( ) Is expressed by the following equation.
[수학식 8][Equation 8]
상기 는 상기 j번째 은닉 뉴런의 출력 값에 대한 k번째 가중치를, 상기 는 상기 j번째 은닉 뉴런의 출력 값을, 상기 는 k번째 오프셋을 나타낸다. remind Is the k-th weight for the output value of the j-th hidden neuron, Is the output value of the j-th hidden neuron, Represents the k-th offset.
복수의 출력 뉴런들 중 k번째 뉴런의 에러 와 10개의 뉴런들의 전체 에러 E는 다음의 수학식들로 표현된다. The error of the k-th neuron among the plurality of output neurons The total error E of and 10 neurons is expressed by the following equations.
[수학식 9][Equation 9]
상기 는 입력 샘플 이미지에 대한 기대되는 출력 값이고, 상기 는 실제 출력 값을 나타낸다. remind Is the expected output value for the input sample image, where Represents the actual output value.
[수학식 10][Equation 10]
상기 E는 10개의 뉴런들의 전체 에러를 나타낸다. E represents the total error of 10 neurons.
프로세서(310)는 출력된 제4출력 피처 맵과, 미리 설정된 피처 맵을 완전히 연결하는 풀리 커넥티드 레이어(fully connected layer)에서도 전체 에러(E)를 줄이기 위해 가중치(W)를 업데이트한다. The
j번째 은닉 뉴런의 출력 값에 대한 k번째 가중치의 오차와, 상기 i번째 입력 뉴런의 출력 값에 대한 j번째 가중치의 오차는 에러 역전파(error backpropagation) 알고리즘으로 계산될 수 있다. 에러 역전판 알고리즘은 다음의 수학식들로 표현된다. 종래의 CNN 알고리즘에서는 에러 역전파 알고리즘이 이용되지 않았다. An error of the k-th weight with respect to the output value of the j-th hidden neuron and the error of the j-th weight with respect to the output value of the i-th input neuron may be calculated by an error backpropagation algorithm. The error inversion plate algorithm is expressed by the following equations. In the conventional CNN algorithm, the error backpropagation algorithm was not used.
[수학식 11][Equation 11]
[수학식 12][Equation 12]
상기 는 상기 j번째 은닉 뉴런의 출력 값에 대한 k번째 가중치의 오차를, 상기 는 상기 i번째 입력 뉴런의 출력 값에 대한 j번째 가중치의 오차를 나타낸다. 상기 은 학습율을, 상기 f'(zk)는 를 나타낸다.remind Is the error of the k-th weight with respect to the output value of the j-th hidden neuron, Denotes an error of the j-th weight with respect to the output value of the i-th input neuron. remind Is the learning rate, and f'(z k ) is Represents.
프로세서(310)는 은닉 레이어와 출력 레이어에서 가중치들의 오차를 계산하고, 아래의 수학식을 이용하여 기존의 가중치들을 업데이트한다. The
[수학식 13][Equation 13]
상기 는 모멘템으로 가중치를 업데이트할 때, 기존의 업데이트 방향으로 관성이 유지되도록하는 상수이다.remind Is a constant that keeps the inertia in the existing update direction when updating the weight with the momentum.
신경망을 이용한 통합 주차 관리 시스템(200)은 차량의 번호판 영역에서 인식된 문자 영역에서 추출된 피처맵들을 CNN(Convolutional Neural Network) 알고리즘에 같이 적용하여 차량 번호판을 인식함으로써 CNN 알고리즘만을 이용하여 차량 번호판을 인식하는 것보다 정확하게 차량 번호판을 인식할 수 있다는 장점이 있다. The integrated
도 17은 도 6에 도시된 신경망 알고리즘의 학습에 따른 과적합 왜곡의 그래프를 나타낸다. 17 shows a graph of overfit distortion according to learning of the neural network algorithm shown in FIG. 6.
도 17을 참고하면, 가중치들을 업데이트하기 위해 반복적으로 신경망 알고리즘을 학습시킬 때, 도 17에 도시된 바와 같이 결정면이 왜곡될 수 있다. 특히, 결정면의 근처의 샘플들의 분류 능력이 떨어질 수 있다. 가중치들을 과도하게 업데이트하여 분류 능력이 떨어지는 현상을 오버-피팅(over-fitting) 또는 과적합이라 한다.Referring to FIG. 17, when a neural network algorithm is repeatedly trained to update weights, a crystal plane may be distorted as shown in FIG. 17. In particular, the ability to classify samples in the vicinity of the crystal plane may deteriorate. A phenomenon in which the classification ability is deteriorated by excessively updating the weights is called over-fitting or overfitting.
도 18은 도 17에 도시된 과적합 왜곡의 문제점을 해소하기 위한 그래프를 나타낸다. 도 18의 X축은 반복 학습의 횟수를 의미하며, Y축은 정확도를 나타낸다. 18 shows a graph for solving the problem of overfit distortion shown in FIG. 17. The X-axis of FIG. 18 indicates the number of repetitive learning, and the Y-axis indicates accuracy.
도 6과 도 18을 참고하면, 반복 학습의 횟수가 증가할수록 객체 분류의 정확도가 증가하지 않는다. 반복 학습의 횟수가 과다하게 수행될 때, 오버-피팅의 문제가 발생할 수 있다. 반복 학습의 횟수가 너무 적게 수행될 때, 정확도가 떨어지는 언더-피팅(under-fitting)의 문제가 발생할 수 있다. Referring to FIGS. 6 and 18, the accuracy of object classification does not increase as the number of repetitive learning increases. When the number of repetitive learning is excessively performed, a problem of over-fitting may occur. When the number of iterative learning is performed too little, a problem of under-fitting, which is less accurate, may occur.
오버-피팅의 문제를 해결하기 위해 프로세서(310)는 아래와 같은 수학식들을 적용한다. To solve the over-fitting problem, the
[수학식 14][Equation 14]
상기 는 상기 i번째 입력 뉴런의 출력 값에 대한 j번째 가중치의 오차를 , 상기 는 상수로, 기존의 가중치를 줄이기 위해 가중치 감소 비율을, 상기는 가중치를 어느 정도로 업데이트할 것인지 결정하는 학습율을 나타낸다. 상기 는 상기 i번째 입력 뉴런의 출력 값에 대한 j번째 가중치를 나타낸다. remind Is the error of the j-th weight with respect to the output value of the i-th input neuron, Is a constant, the weight reduction ratio to reduce the existing weight, Denotes a learning rate that determines how much to update the weights. remind Represents the j-th weight for the output value of the i-th input neuron.
[수학식 15][Equation 15]
상기 는 상기 j번째 은닉 뉴런의 출력 값에 대한 k번째 가중치의 오차를, 상기 는 상수로, 기존의 가중치를 줄이기 위해 가중치 감소 비율을, 상기는 가중치를 어느 정도로 업데이트할 것인지 결정하는 학습율을, 상기 는 복수의 출력 뉴런들 중 k번째 뉴런의 에러를 나타낸다. 상기 는 상기 j번째 은닉 뉴런의 출력 값에 대한 k번째 가중치를 나타낸다. remind Is the error of the k-th weight with respect to the output value of the j-th hidden neuron, Is a constant, the weight reduction ratio to reduce the existing weight, Is the learning rate that determines how much to update the weights, Represents the error of the k-th neuron among the plurality of output neurons. remind Represents the k-th weight for the output value of the j-th hidden neuron.
상기 수학식 14와 수학식 15는 상기 수학식 11과 수학식 12와는 다르다. 상기 수학식 14와 수학식 15를 이용하여 가중치를 업데이트할 때, 큰 가중치에 대해 가중치를 어느 정도 감소시킴으로써 오버-피팅의 문제를 해결할 수 있다.
도 19는 도 6에 도시된 프로세서에 의해 처리되는 신경망 알고리즘의 블록도의 또 다른 실시 예를 나타낸다. FIG. 19 shows another embodiment of a block diagram of a neural network algorithm processed by the processor shown in FIG. 6.
도 6과 도 19를 참고하면, 프로세서(310)는 상기 출력된 제4출력 피처 맵과 상기 미리 설정된 피처 맵을 완전히 연결하는 풀리 커넥티드 레이어를 이용하여 출력된 결과 값들의 차이와 임계값을 비교하여 상기 출력된 결과 값들을 통해 기대되는 문자가 아닌 다른 문자로 인식하는 혼동 가능성이 있는지를 판단한다. 도 15에서 도시된 분류기에 의해 혼동 가능성이 판단된다. 예컨대, 숫자 3과 8은 주변 빛의 영향이나, 카메라의 촬영 각도 때문에 혼동 가능성이 있을 수 있다. 숫자 3을 포함하는 이미지에서 인식을 통해 기대되는 문자는 3이지만, 다른 문자 8로 인식될 수 있다. 반대로, 기대되는 문자가 8일 때, 다른 문자 3으로 인식될 수도 있다. 6 and 19, the
숫자 3을 포함하는 이미지에 대해 상기 출력 피처 맵과 상기 미리 설정된 피처 맵을 완전히 연결하는 풀리 커넥티드 레이어를 적용하여 도출된 결과 값들은 숫자 3일 확률이 0.7, 숫자 8일 확률이 0.6일 수 있다. 상기 도출된 결과 값들(예컨대, 0.7과 0.6)의 차이(0.1)는 상기 임계값(예컨대, 0.2)보다 작을 때, 다른 문자로의 혼동 가능성이 있다고 판단될 수 있다. 따라서 상기 풀리 커넥티드 레이어를 적용하여 도출된 결과 값들을 통해 기대되는 숫자 3이 아닌 다른 숫자 8로의 혼동 가능성이 있다고 판단될 수 있다.For the image including the
프로세서(310)는 상기 출력된 결과 값들을 통해 상기 기대되는 문자가 아닌 다른 문자로 인식하는 혼동 가능성이 있다고 판단될 때, 상기 미리 설정된 피처 맵을 재설정하여 제2미리 설정된 피처 맵으로 정의한다. 이 때, 상기 미리 설정된 피처 맵은 제1미리 설정된 피처 맵으로 호칭될 수 있다. When it is determined through the output result values that there is a possibility of confusion in recognizing a character other than the expected character, the
상기 재설정은 혼동 가능성이 있는 문자들을 명확히 구별하기 위해 미리 설정된 피처 맵의 개수를 증가시키는 것을 의미한다. 혼동 가능성이 있는 문자들(예컨대, 3과 8)에서 서로 구별 문자의 특징(예컨대, 대칭성, 또는 선의 연결 여부)을 나타낼 수 있는 피처 맵(예컨대, 문자 가운데를 기준으로 왼쪽 어느 하나의 픽셀과 오른쪽 하나의 픽셀이 서로 대응하는지 여부, 또는 검은 픽셀이 계속 연결되는지 여부)이 추가될 수 있다. The resetting means increasing the number of preset feature maps to clearly distinguish characters that may be confusing. Feature maps (e.g., one pixel on the left and one pixel on the right, based on the center of the character) that can indicate the characteristics of the characters (e.g., symmetry, or whether lines are connected) that can be distinguished from each other in potentially confusing characters (e.g., 3 and 8). Whether one pixel corresponds to each other, or whether black pixels are continuously connected) may be added.
상기 제1미리 설정된 피처 맵과 상기 제2미리 설정된 피처 맵은 ANN 구조 신경망에서 입력으로 이용된다. 예컨대, 상기 제1, 2미리 설정된 피처 맵은 문자 영역을 일정 영역들로 나누고 각 영역에 포함된 문자의 픽셀 개수로 정의될 수 있다. 또한, 상기 제1, 2미리 설정된 피처 맵은 문자의 높이를 따라 여러 개로 그려진 수평 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합으로 정의될 수 있다. 또한, 상기 제1, 2미리 설정된 피처 맵 폭에 따라 여러 개로 그려진 수직 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합으로 정의될 수 있다. 다만, 상기 제2미리 설정된 피처 맵은 상기 제1미리 설정된 피처 맵과 달리 혼동 가능성이 있는 문자들을 명확히 구분하기 위해 설정된다는 점에서 다르다. The first preset feature map and the second preset feature map are used as inputs in an ANN structured neural network. For example, the first and second preset feature maps may divide a character area into predetermined areas and be defined as the number of pixels of characters included in each area. In addition, the first and second preset feature maps may be defined as the sum of white pixels or black pixels positioned on horizontal lines drawn in multiple numbers along the height of a character. In addition, it may be defined as a sum of white pixels or black pixels positioned on vertical lines drawn in multiple numbers according to the first and second preset feature map widths. However, the second preset feature map is different from the first preset feature map in that it is set to clearly distinguish characters that may be confusing.
도 20은 혼동가능성이 있는 숫자들의 차이를 나타내는 이미지들이다. 20 are images showing differences between numbers that may be confusing.
도 20을 참고하면, 숫자 8은 빨간 선을 중심으로 대칭이며, 숫자 3은 빨간 선을 중심으로 대칭이지 않다. 상기 제2미리 설정된 피처 맵은 이러한 숫자의 대칭성을 판단할 수 있도록 설정될 수 있다. Referring to FIG. 20, the
또한, 도 20을 참고하면, 숫자 8의 왼쪽 사각형 부분은 검은색 픽셀들이 연결되어 있으나, 숫자 3의 왼쪽 사각형 부분은 검은색 픽셀들이 서로 연결되어 있지 않다. 실시 예에 따라 상기 제2미리 설정된 피처 맵은 이러한 픽셀의 연결성을 판단할 수 있도록 설정될 수 있다. In addition, referring to FIG. 20, black pixels are connected to the left square of the
프로세서(310)는 상기 분류된 문자 영역을 포함하는 이미지에 대해 상기 CNN 알고리즘을 재적용하여 출력된 제5출력 피처 맵과, 상기 제2미리 설정된 피처 맵을 완전히 연결하는 제2풀리 커넥티드 레이어를 적용하여 문자를 인식한다. 상기 출력된 제4출력 피처 맵과 상기 제1미리 설정된 피처 맵을 완전히 연결하는 풀리 커넥티드 레이어는 제1풀리 커넥티드 레이어로 호칭될 수 있다. The
상기 혼동 가능성이 있는 문자들을 명확히 인식하기 위해 상기 제2풀리 커넥티드 레이어를 적용하는 동작을 수행한다. 상기 적용된 CNN 알고리즘은 상기 제4출력 피처 맵의 출력 과정에서 이용된 가중치들과 같다. In order to clearly recognize the potentially confusing characters, an operation of applying the second pulley connected layer is performed. The applied CNN algorithm is the same as the weights used in the process of outputting the fourth output feature map.
상기 제1풀리 커넥티드 레이어에 입력되는 상기 제4출력 피처 맵의 개수와 상기 제2풀리 커넥티드 레이어에 입력되는 상기 제5출력 피처 맵의 개수는 서로 다르다. 예컨대, 상기 제4출력 피처 맵의 개수가 상기 제5출력 피처 맵의 개수보다 많을 수 있다. 상기 제4출력 피처 맵의 개수가 n개일 때, 상기 제5출력 피처 맵의 개수는 q(q는 n보다 작은 자연수)개일 수 있다. The number of the fourth output feature maps input to the first pulley connected layer and the number of fifth output feature maps input to the second pulley connected layer are different from each other. For example, the number of the fourth output feature map may be greater than the number of the fifth output feature map. When the number of the fourth output feature maps is n, the number of the fifth output feature maps may be q (q is a natural number less than n).
상기 제1풀리 커넥티드 레이어에 입력되는 상기 제1미리 설정된 피처 맵의 개수와 상기 제2풀리 커넥티드 레이어에 입력되는 상기 제2미리 설정된 피처 맵의 개수는 서로 다르다. 예컨대, 상기 제1미리 설정된 피처 맵의 개수가 상기 제2미리 설정된 피처 맵의 개수보다 적을 수 있다. 상기 제1미리 설정된 피처 맵의 개수가 m개일 때, 상기 제2미리 설정된 피처 맵의 개수는 p(p는 m보다 큰 자연수)개일 수 있다. 상기 제2미리 설정된 피처 맵의 개수를 상기 제1미리 설정된 피처 맵의 개수보다 많게 함으로써 혼동 가능성이 있는 문자들을 명확히 구분할 수 있다. 즉, 상기 제2미리 설정된 피처 맵의 개수를 증가시킴으로써 상기 제1미리 설정된 피처 맵보다 문자의 특징을 보다 많이 추출할 수 있다. The number of first preset feature maps input to the first pulley connected layer and the number of second preset feature maps input to the second pulley connected layer are different from each other. For example, the number of first preset feature maps may be smaller than the number of second preset feature maps. When the number of first preset feature maps is m, the number of second preset feature maps may be p (p is a natural number greater than m). By making the number of the second preset feature maps greater than the number of the first preset feature maps, characters that may be confused can be clearly identified. That is, by increasing the number of the second preset feature maps, more character features can be extracted than the first preset feature map.
상기 제4출력 피처 맵의 개수와 상기 제1미리 설정된 피처 맵의 개수의 합과 상기 제5출력 피처 맵의 개수와 상기 제2미리 설정된 피처 맵의 개수는 같다. The sum of the number of the fourth output feature map and the number of the first preset feature map, the number of the fifth output feature map and the number of the second preset feature map are the same.
상기 제1풀리 커넥티드 레이어의 은닉 레이어와 출력 레이어에서 가중치들과 상기 제2풀리 커넥티드 레이어의 은닉 레이어와 출력 레이어에서 가중치들은 같다. Weights in the hidden layer and the output layer of the first pulley-connected layer and the weights in the hidden layer and the output layer of the second pulley-connected layer are the same.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.Although the present invention has been described with reference to the exemplary embodiment shown in the drawings, this is only exemplary, and those of ordinary skill in the art will appreciate that various modifications and other equivalent embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention should be determined by the technical idea of the attached registration claims.
100: 출구 무인 정산 시스템; 110: 사전 무인 정산 시스템;
10: 제1차단기; 120: 유인 정산 시스템;
11: 제2차단기; 130: 출입 통제 시스템;
20: 제1차량 번호 인식기; 140: 서버 시스템;
30: 제2차량 번호 인식기; 200: 통합 주차 관리 시스템;
40: 경차 판별 센서;
50: 4면 촬영 카메라;
60: 제3차량 번호 인식기;
70: 출금 무인 요금 정산기;
80: 출차 주의등;
90: 루프 코일; 100: unattended exit settlement system; 110: advance unmanned settlement system;
10: first circuit breaker; 120: manned settlement system;
11: second breaker; 130: access control system;
20: a first vehicle number recognizer; 140: server system;
30: second vehicle number recognizer; 200: integrated parking management system;
40: light vehicle discrimination sensor;
50: four-sided camera;
60: third vehicle number recognizer;
70: unmanned withdrawal fee calculator;
80: exit warning light;
90: loop coil;
Claims (9)
상기 프로세서는 루프 코일에 의해 차량의 진입이 인식될 때, 카메라에 의해 촬영된 차량의 번호판 영역을 포함하는 이미지를 상기 카메라로부터 수신하는 단계;
상기 프로세서는 상기 차량의 번호판 영역에서 분류된 문자 영역을 포함하는 이미지를 수신하는 단계;
상기 프로세서는 상기 수신된 이미지에 대해 제1컨볼루션 연산을 수행하여 제1출력 피처 맵을 출력하는 단계;
상기 프로세서는 상기 출력된 제1출력 피처 맵에 대해 샘플링을 적용하여 제2출력 피처 맵을 출력하는 단계;
상기 프로세서는 상기 제2출력 피처 맵에 대해 제2컨볼루션 연산을 수행하여 제3출력 피처 맵을 출력하는 단계;
상기 프로세서는 상기 출력된 제3출력 피처 맵에 대해 샘플링을 적용하여 제4출력 피처 맵을 출력하는 단계;
상기 프로세서는 상기 출력된 제4출력 피처 맵과, 상기 문자의 특징을 수치로 표현한 것으로 정의되며, 상기 문자 영역을 일정 영역들로 나누고 각 영역에 포함된 문자의 픽셀 개수이거나, 상기 문자의 높이를 따라 여러 개로 그려진 수평 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합이거나, 폭에 따라 여러 개로 그려진 수직 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합으로 정의될 수 있는 미리 설정된 피처 맵을 완전히 연결하는 풀리 커넥티드 레이어(fully connected layer)를 이용하여 상기 분류된 문자 영역에서 문자를 인식하는 단계; 및
상기 프로세서는 상기 인식된 문자를 주차 관제 서버로 전송하는 단계를 포함하며,
상기 주차 관제 서버는 상기 차량의 운전자가 상기 차량의 주차 요금을 납부할 수 있도록 상기 인식된 문자에 따라 주차 요금을 계산하고, 출구 무인 요금 정산기로 상기 계산된 차량의 주차 요금을 전송하는 신경망을 이용한 차량 번호판 인식 기술이 적용된 통합 주차 관리 방법An integrated parking management method to which vehicle license plate recognition technology is applied using a neural network performed by a vehicle number recognizer including a processor, a memory, a camera, and a communication module in order to recognize characters on the vehicle license plate,
The processor, when the entrance of the vehicle is recognized by the roof coil, receiving an image including the license plate area of the vehicle photographed by the camera from the camera;
Receiving, by the processor, an image including a text area classified in a license plate area of the vehicle;
The processor performing a first convolution operation on the received image to output a first output feature map;
The processor outputting a second output feature map by applying sampling to the output first output feature map;
The processor performing a second convolution operation on the second output feature map to output a third output feature map;
The processor outputting a fourth output feature map by applying sampling to the outputted third output feature map;
The processor is defined as a numerical expression of the outputted fourth output feature map and characteristics of the character, and divides the character area into predetermined areas and determines the number of pixels of characters included in each area, or the height of the character. A preset feature map that can be defined as the sum of white pixels or black pixels located on multiple horizontal lines, or white pixels located on multiple vertical lines or black pixels depending on the width. Recognizing a character in the classified character area using a fully connected layer that is fully connected; And
The processor includes the step of transmitting the recognized character to the parking control server,
The parking control server uses a neural network to calculate a parking fee according to the recognized character so that the driver of the vehicle can pay the parking fee of the vehicle, and transmit the calculated parking fee of the vehicle to an exit unmanned fee calculator. Integrated parking management method with license plate recognition technology applied
입력 레이어(input layer), 은닉 레이어(hidden layer), 및 출력 레이어(output layer)를 포함하며,
상기 은닉 레이어는 복수의 은닉 뉴런들(neurons)을 포함하며,
상기 미리 설정된 피처 맵의 특징들의 개수가 m(m은 2이상의 자연수)개이고, 상기 출력된 제4출력 피처 맵의 특징들의 개수가 n개(n은 2이상의 자연수)일 때,
상기 복수의 은닉 뉴런들 중 j번째(j는 자연수) 은닉 뉴런의 입력 값()은 다음의 수학식으로 표현되며,
[수학식]
상기 복수의 은닉 뉴런들 중 j번째(j는 자연수) 은닉 뉴런의 출력 값()은 다음의 수학식으로 표현되며,
[수학식]
상기 는 상기 a번째 특징에 대한 j번째 가중치를, 상기 는 상기 미리 설정된 피처들 중 a번째 특징을, 상기 는 상기 c번째 결과 값에 대한 j번째 가중치를, 상기 는 상기 출력된 제4출력 피처 맵의 특징들 중 c번째 결과 값을, 상기 는 j번째 오프셋(offset)을, 상기 함수 f()는 시그모이드(sigmoid) 함수를 나타내는 신경망을 이용한 차량 번호판 인식 기술이 적용된 통합 주차 관리 방법.The method of claim 1, wherein the fully connected layer,
Includes an input layer, a hidden layer, and an output layer,
The hidden layer includes a plurality of hidden neurons (neurons),
When the number of features of the preset feature map is m (m is a natural number of 2 or more), and the number of features of the output fourth output feature map is n (n is a natural number of 2 or more),
The input value of the j-th (j is a natural number) hidden neuron among the plurality of hidden neurons ( ) Is expressed by the following equation,
[Equation]
The output value of the j-th (j is a natural number) hidden neuron among the plurality of hidden neurons ( ) Is expressed by the following equation,
[Equation]
remind Is the j-th weight for the a-th feature, Is the a-th feature among the preset features, Is the j-th weight for the c-th result value, Is the c-th result value among the features of the outputted fourth output feature map, Denotes the j-th offset, and the function f() denotes a sigmoid function.
상기 출력 레이어는 복수의 출력 뉴런들을 포함하며,
상기 복수의 출력 뉴런들 중 k번째(k는 자연수) 출력 뉴런의 입력 값()은 다음의 수학식으로 표현되며,
[수학식]
상기 복수의 출력 뉴런들 중 k번째(k는 자연수) 출력 뉴런의 출력 값()은 다음의 수학식으로 표현되며,
[수학식]
상기 는 상기 j번째 은닉 뉴런의 출력 값에 대한 k번째 가중치를, 상기 는 상기 j번째 은닉 뉴런의 출력 값을, 상기 는 k번째 오프셋을, 상기 함수 f()는 시그모이드(sigmoid) 함수를 나타내는 신경망을 이용한 차량 번호판 인식 기술이 적용된 통합 주차 관리 방법.The method of claim 2,
The output layer includes a plurality of output neurons,
The input value of the k-th (k is a natural number) output neuron among the plurality of output neurons ( ) Is expressed by the following equation,
[Equation]
The output value of the k-th (k is a natural number) output neuron among the plurality of output neurons ( ) Is expressed by the following equation,
[Equation]
remind Is the k-th weight for the output value of the j-th hidden neuron, Is the output value of the j-th hidden neuron, Is a k-th offset, and the function f() is a sigmoid function. An integrated parking management method to which vehicle license plate recognition technology is applied using a neural network.
상기 i번째 입력 뉴런의 출력 값에 대한 j번째 가중치의 오차인 상기 는 다음의 수학식으로 표현되며,
[수학식]
상기 는 상수로, 기존의 가중치를 줄이기 위해 가중치 감소 비율을, 상기는 가중치를 어느 정도로 업데이트할 것인지 결정하는 학습율을 나타내며,
상기 j번째 은닉 뉴런의 출력 값에 대한 k번째 가중치의 오차인 상기 는 다음의 수학식으로 표현되며,
[수학식]
상기 는 상수로, 기존의 가중치를 줄이기 위해 가중치 감소 비율을, 상기는 가중치를 어느 정도로 업데이트할 것인지 결정하는 학습율을, 상기 는 복수의 출력 뉴런들 중 k번째 뉴런의 에러를, 상기 f'(zk)는 를 나타내는 신경망을 이용한 차량 번호판 인식 기술이 적용된 통합 주차 관리 방법.The method of claim 3,
The error of the j-th weight with respect to the output value of the i-th input neuron Is expressed by the following equation,
[Equation]
remind Is a constant, the weight reduction ratio to reduce the existing weight, Represents the learning rate that determines how much to update the weights,
The error of the k-th weight with respect to the output value of the j-th hidden neuron Is expressed by the following equation,
[Equation]
remind Is a constant, the weight reduction ratio to reduce the existing weight, Is the learning rate that determines how much to update the weights, Is the error of the k-th neuron among the plurality of output neurons, and f'(z k ) is An integrated parking management method applied with vehicle license plate recognition technology using a neural network representing
상기 차량의 번호판을 촬영하고 촬영된 차량 번호판 이미지에서 차량의 번호판을 인식하는 차량 번호 인식기를 포함하며,
상기 차량 번호 인식기는,
상기 차량의 번호판을 촬영하는 카메라;
주차 관제 서버로 상기 인식된 차량의 번호를 송신하는 통신 모듈;
신경망을 이용한 차량 번호판 인식 기술에 관한 명령들을 저장하는 메모리; 및
상기 명령들을 실행하는 프로세서를 포함하며,
상기 명령들은,
상기 카메라에 의해 촬영된 번호판에서 처리된 분류된 문자 영역을 포함하는 이미지를 수신하며, 상기 수신된 이미지에 대해 제1컨볼루션 연산을 수행하여 제1출력 피처 맵을 출력하며, 상기 출력된 제1출력 피처 맵에 대해 샘플링을 적용하여 제2출력 피처 맵을 출력하며, 상기 제2출력 피처 맵에 대해 제2컨볼루션 연산을 수행하여 제3출력 피처 맵을 출력하며, 상기 출력된 제3출력 피처 맵에 대해 샘플링을 적용하여 제4출력 피처 맵을 출력하며, 상기 출력된 제4출력 피처 맵과, 미리 설정된 피처 맵을 완전히 연결하는 풀리 커넥티드 레이어를 이용하여 상기 분류된 문자 영역에서 문자를 인식하며, 상기 인식된 문자를 상기 차량의 주차 요금을 계산하기 위한 주차 관제 서버로 전송하도록 구현되며,
상기 주차 관제 서버는 상기 주차 요금을 계산하기 위한 출구 무인 요금 정산기로 상기 계산된 차량의 주차 요금을 전송하는 출구 무인 정산 시스템.A roof coil that recognizes the vehicle's entry; And
A vehicle number recognizer for photographing the license plate of the vehicle and recognizing the vehicle license plate from the photographed vehicle license plate image,
The vehicle number recognizer,
A camera for photographing the license plate of the vehicle;
A communication module for transmitting the recognized vehicle number to the parking control server;
A memory for storing instructions related to vehicle license plate recognition technology using a neural network; And
And a processor that executes the instructions,
The above commands are:
Receives an image including the classified text area processed by the license plate photographed by the camera, performs a first convolution operation on the received image to output a first output feature map, and outputs the first Sampling is applied to the output feature map to output a second output feature map, a second convolution operation is performed on the second output feature map to output a third output feature map, and the output third output feature Sampling is applied to the map to output a fourth output feature map, and characters are recognized in the classified text area using a fully connected layer that completely connects the output fourth output feature map and a preset feature map. And, it is implemented to transmit the recognized text to a parking control server for calculating the parking fee of the vehicle,
The parking control server is an exit unmanned settlement system for transmitting the calculated parking fee of the vehicle to an exit unmanned fee calculator for calculating the parking fee.
상기 차량의 번호판을 촬영하고 촬영된 차량 번호판 이미지에서 차량의 번호판을 인식하는 차량 번호 인식기; 및
상기 차량의 출차하기 전에 미리 상기 차량의 운전자가 주차 요금을 결제하는 무인 요금 정산기를 포함하며,
상기 차량 번호 인식기는,
상기 차량의 번호판을 촬영하는 카메라;
주차 관제 서버로 상기 인식된 차량의 번호를 송신하는 통신 모듈;
신경망을 이용한 차량 번호판 인식 기술에 관한 명령들을 저장하는 메모리; 및
상기 명령들을 실행하는 프로세서를 포함하며,
상기 명령들은,
상기 카메라에 의해 촬영된 번호판에서 분류된 문자 영역을 포함하는 이미지를 수신하며, 상기 수신된 이미지에 대해 제1컨볼루션 연산을 수행하여 제1출력 피처 맵을 출력하며, 상기 출력된 제1출력 피처 맵에 대해 샘플링을 적용하여 제2출력 피처 맵을 출력하며, 상기 제2출력 피처 맵에 대해 제2컨볼루션 연산을 수행하여 제3출력 피처 맵을 출력하며, 상기 출력된 제3출력 피처 맵에 대해 샘플링을 적용하여 제4출력 피처 맵을 출력하며, 상기 출력된 제4출력 피처 맵과, 상기 문자의 특징을 수치로 표현한 것으로 정의되며, 상기 문자 영역을 일정 영역들로 나누고 각 영역에 포함된 문자의 픽셀 개수이거나, 상기 문자의 높이를 따라 여러 개로 그려진 수평 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합이거나, 폭에 따라 여러 개로 그려진 수직 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합으로 정의될 수 있는 미리 설정된 피처 맵을 완전히 연결하는 풀리 커넥티드 레이어를 이용하여 상기 분류된 문자 영역에서 문자를 인식하며, 상기 인식된 문자를 상기 차량의 주차 요금을 계산하기 위한 주차 관제 서버로 전송하도록 구현되며,
상기 주차 관제 서버는 상기 주차 요금을 계산하기 위한 무인 요금 정산기로 상기 계산된 차량의 주차 요금을 전송하는 사전 무인 정산 시스템.A roof coil that recognizes the vehicle's entry;
A vehicle number recognizer that photographs the license plate of the vehicle and recognizes the license plate of the vehicle from the photographed vehicle license plate image; And
And an unmanned fare calculator for the driver of the vehicle to pay the parking fee in advance before leaving the vehicle,
The vehicle number recognizer,
A camera for photographing the license plate of the vehicle;
A communication module for transmitting the recognized vehicle number to the parking control server;
A memory for storing instructions related to vehicle license plate recognition technology using a neural network; And
And a processor that executes the instructions,
The above commands are:
Receives an image including a character area classified in the license plate photographed by the camera, performs a first convolution operation on the received image to output a first output feature map, and outputs the first output feature Sampling is applied to the map to output a second output feature map, and a second convolution operation is performed on the second output feature map to output a third output feature map, and the outputted third output feature map The fourth output feature map is output by applying sampling, and is defined as a numerical expression of the outputted fourth output feature map and the character characteristics, and the character area is divided into certain areas and included in each area. It is the number of pixels of a character, white pixels located on multiple horizontal lines drawn along the height of the character, or the sum of black pixels, or white pixels located on multiple vertical lines drawn along the width, or black pixels. Recognizes characters in the classified character area using a fully connected layer that fully connects a preset feature map that can be defined as a sum, and uses the recognized characters as a parking control server for calculating the parking fee of the vehicle. Is implemented to transmit,
The parking control server transmits the calculated parking fee of the vehicle to an unmanned fee calculator for calculating the parking fee.
상기 차량의 번호판을 촬영하고 촬영된 차량 번호판 이미지에서 차량의 번호판을 인식하는 차량 번호 인식기; 및
주차 관제 서버로부터 상기 차량의 주차 요금을 전송받는 주차 관리 부스를 포함하며,
상기 차량 번호 인식기는,
상기 차량의 번호판을 촬영하는 카메라;
상기 주차 관제 서버로 상기 인식된 차량의 번호를 송신하는 통신 모듈;
신경망을 이용한 차량 번호판 인식 기술에 관한 명령들을 저장하는 메모리; 및
상기 명령들을 실행하는 프로세서를 포함하며,
상기 명령들은,
상기 카메라에 의해 촬영된 번호판에서 처리된 분류된 문자 영역을 포함하는 이미지를 수신하며, 상기 수신된 이미지에 대해 제1컨볼루션 연산을 수행하여 제1출력 피처 맵을 출력하며, 상기 출력된 제1출력 피처 맵에 대해 샘플링을 적용하여 제2출력 피처 맵을 출력하며, 상기 제2출력 피처 맵에 대해 제2컨볼루션 연산을 수행하여 제3출력 피처 맵을 출력하며, 상기 출력된 제3출력 피처 맵에 대해 샘플링을 적용하여 제4출력 피처 맵을 출력하며, 상기 출력된 제4출력 피처 맵과, 상기 문자의 특징을 수치로 표현한 것으로 정의되며, 상기 문자 영역을 일정 영역들로 나누고 각 영역에 포함된 문자의 픽셀 개수이거나, 상기 문자의 높이를 따라 여러 개로 그려진 수평 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합이거나, 폭에 따라 여러 개로 그려진 수직 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합으로 정의될 수 있는 미리 설정된 피처 맵을 완전히 연결하는 풀리 커넥티드 레이어를 이용하여 상기 분류된 문자 영역에서 문자를 인식하며, 상기 인식된 문자를 상기 차량의 주차 요금을 계산하기 위한 주차 관제 서버로 전송하도록 구현되며,
상기 주차 관제 서버는 상기 계산된 차량의 주차 요금을 상기 주차 요금을 계산할 수 있는 주차 관리 부스의 PC로 전송하는 유인 정산 시스템.A roof coil that recognizes the vehicle's entry;
A vehicle number recognizer that photographs the license plate of the vehicle and recognizes the license plate of the vehicle from the photographed vehicle license plate image; And
It includes a parking management booth that receives the parking fee of the vehicle from the parking control server,
The vehicle number recognizer,
A camera for photographing the license plate of the vehicle;
A communication module for transmitting the recognized vehicle number to the parking control server;
A memory for storing instructions related to vehicle license plate recognition technology using a neural network; And
And a processor that executes the instructions,
The above commands are:
Receives an image including the classified text area processed by the license plate photographed by the camera, performs a first convolution operation on the received image to output a first output feature map, and outputs the first Sampling is applied to the output feature map to output a second output feature map, a second convolution operation is performed on the second output feature map to output a third output feature map, and the output third output feature Sampling is applied to the map to output a fourth output feature map. It is defined as a numerical expression of the outputted fourth output feature map and the character characteristics. The character area is divided into certain areas, and each area is It is the number of pixels of the included character, white pixels located on multiple horizontal lines drawn along the height of the character, or the sum of black pixels, white pixels located on multiple vertical lines drawn along the width, or black It recognizes characters in the text region the classification using a pulley, connected layer to fully connect the preset feature map can be defined as the sum of the pixels, and parking for calculating a parking fee for the vehicle to the recognized character It is implemented to transmit to the control server,
The parking control server manned settlement system for transmitting the calculated parking fee of the vehicle to a PC of a parking management booth capable of calculating the parking fee.
신경망을 이용한 차량 번호판 인식 기술에 관한 명령들을 저장하는 메모리;
상기 신경망을 이용한 차량 번호판 인식 기술을 이용하여 인식된 차량의 번호를 주차 관제 서버로 전송하는 통신 모듈; 및
상기 명령들을 실행하는 프로세서를 포함하며,
상기 명령들은,
상기 카메라에 의해 촬영된 번호판에서 처리된 분류된 문자 영역을 포함하는 이미지를 수신하며, 상기 수신된 이미지에 대해 제1컨볼루션 연산을 수행하여 제1출력 피처 맵을 출력하며, 상기 출력된 제1출력 피처 맵에 대해 샘플링을 적용하여 제2출력 피처 맵을 출력하며, 상기 제2출력 피처 맵에 대해 제2컨볼루션 연산을 수행하여 제3출력 피처 맵을 출력하며, 상기 출력된 제3출력 피처 맵에 대해 샘플링을 적용하여 제4출력 피처 맵을 출력하며, 상기 출력된 제4출력 피처 맵과, 상기 문자의 특징을 수치로 표현한 것으로 정의되며, 상기 문자 영역을 일정 영역들로 나누고 각 영역에 포함된 문자의 픽셀 개수이거나, 상기 문자의 높이를 따라 여러 개로 그려진 수평 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합이거나, 폭에 따라 여러 개로 그려진 수직 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합으로 정의될 수 있는 미리 설정된 피처 맵을 완전히 연결하는 풀리 커넥티드 레이어를 이용하여 상기 분류된 문자 영역에서 문자를 인식하도록 구현되는 차량 번호 인식기.A camera for photographing the license plate of the vehicle;
A memory for storing instructions related to vehicle license plate recognition technology using a neural network;
A communication module for transmitting the number of the vehicle recognized using the vehicle license plate recognition technology using the neural network to a parking control server; And
And a processor that executes the instructions,
The above commands are:
Receives an image including the classified text area processed by the license plate photographed by the camera, performs a first convolution operation on the received image to output a first output feature map, and outputs the first Sampling is applied to the output feature map to output a second output feature map, a second convolution operation is performed on the second output feature map to output a third output feature map, and the output third output feature Sampling is applied to the map to output a fourth output feature map. It is defined as a numerical expression of the outputted fourth output feature map and the character characteristics. The character area is divided into certain areas, and each area is It is the number of pixels of the included character, white pixels located on multiple horizontal lines drawn along the height of the character, or the sum of black pixels, white pixels located on multiple vertical lines drawn along the width, or black A vehicle number recognizer implemented to recognize a character in the classified character region by using a fully connected layer that completely connects a preset feature map that can be defined as a sum of pixels.
상기 차량의 번호판을 촬영하고 촬영된 차량 번호판 이미지에서 차량의 번호판을 인식하는 차량 번호 인식기를 포함하며,
상기 차량 번호 인식기는,
상기 차량의 번호판을 촬영하는 카메라;
주차 관제 서버로 상기 인식된 차량의 번호를 송신하는 통신 모듈;
신경망을 이용한 차량 번호판 인식 기술에 관한 명령들을 저장하는 메모리; 및
상기 명령들을 실행하는 프로세서를 포함하며,
상기 명령들은,
상기 카메라에 의해 촬영된 번호판에서 처리된 분류된 문자 영역을 포함하는 이미지를 수신하며, 상기 수신된 이미지에 대해 제1컨볼루션 연산을 수행하여 제1출력 피처 맵을 출력하며, 상기 출력된 제1출력 피처 맵에 대해 샘플링을 적용하여 제2출력 피처 맵을 출력하며, 상기 제2출력 피처 맵에 대해 제2컨볼루션 연산을 수행하여 제3출력 피처 맵을 출력하며, 상기 출력된 제3출력 피처 맵에 대해 샘플링을 적용하여 제4출력 피처 맵을 출력하며, 상기 출력된 제4출력 피처 맵과, 상기 문자의 특징을 수치로 표현한 것으로 정의되며, 상기 문자 영역을 일정 영역들로 나누고 각 영역에 포함된 문자의 픽셀 개수이거나, 상기 문자의 높이를 따라 여러 개로 그려진 수평 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합이거나, 폭에 따라 여러 개로 그려진 수직 선들에 위치하는 흰 픽셀들, 또는 검은 픽셀들의 합으로 정의될 수 있는 미리 설정된 피처 맵을 완전히 연결하는 풀리 커넥티드 레이어를 이용하여 상기 분류된 문자 영역에서 문자를 인식하며, 상기 인식된 문자를 상기 차량의 운전자가 적법한 권한을 가진 차량인지 판단할 수 있는 단말기로 전송하도록 구현되는 출입 통제 시스템.A roof coil that recognizes the vehicle's entry; And
A vehicle number recognizer for photographing the license plate of the vehicle and recognizing the vehicle license plate from the photographed vehicle license plate image,
The vehicle number recognizer,
A camera for photographing the license plate of the vehicle;
A communication module for transmitting the recognized vehicle number to the parking control server;
A memory for storing instructions related to vehicle license plate recognition technology using a neural network; And
And a processor that executes the instructions,
The above commands are:
Receives an image including the classified text area processed by the license plate photographed by the camera, performs a first convolution operation on the received image to output a first output feature map, and outputs the first Sampling is applied to the output feature map to output a second output feature map, a second convolution operation is performed on the second output feature map to output a third output feature map, and the output third output feature Sampling is applied to the map to output a fourth output feature map. It is defined as a numerical expression of the outputted fourth output feature map and the character characteristics. The character area is divided into certain areas, and each area is It is the number of pixels of the included character, white pixels located on multiple horizontal lines drawn along the height of the character, or the sum of black pixels, white pixels located on multiple vertical lines drawn along the width, or black A character is recognized in the classified character area using a fully connected layer that completely connects a preset feature map that can be defined as a sum of pixels, and whether the recognized character is a vehicle with the proper authority Access control system implemented to transmit to a terminal that can be determined.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200079198A KR102161949B1 (en) | 2020-06-29 | 2020-06-29 | Integrated parking management method and system using vehicle number plate recognition technology using neural network |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200079198A KR102161949B1 (en) | 2020-06-29 | 2020-06-29 | Integrated parking management method and system using vehicle number plate recognition technology using neural network |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102161949B1 true KR102161949B1 (en) | 2020-10-06 |
Family
ID=72826283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200079198A KR102161949B1 (en) | 2020-06-29 | 2020-06-29 | Integrated parking management method and system using vehicle number plate recognition technology using neural network |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102161949B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102368122B1 (en) | 2021-08-31 | 2022-02-25 | 이홍기 | Method and system for recognizing vehicle number by using deep learning image recognition-based vehicle detection and tracking technology |
KR102405960B1 (en) * | 2021-08-02 | 2022-06-08 | 주식회사 바이오커넥트 | Server and method for managing home-care medical diagnosis data |
KR102407315B1 (en) | 2021-09-30 | 2022-06-13 | 주식회사 라온에이치씨 | A parking control system based on a hybrid method of license plate and vehicle recognition and a parking control method using the same |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101848019B1 (en) * | 2016-12-27 | 2018-04-11 | 아주대학교산학협력단 | Method and Apparatus for Detecting Vehicle License Plate by Detecting Vehicle Area |
KR101970442B1 (en) * | 2018-12-04 | 2019-04-19 | 주식회사 넥스파시스템 | Illegal parking enforcement system Using Fast R-CNN based on Vehicle detection |
KR101986592B1 (en) * | 2019-04-22 | 2019-06-10 | 주식회사 펜타게이트 | Recognition method of license plate number using anchor box and cnn and apparatus using thereof |
KR101999985B1 (en) | 2016-03-10 | 2019-07-15 | 주식회사한맥아이피에스 | Method and system for recognizing vehicle license plate |
US20200034647A1 (en) * | 2018-07-27 | 2020-01-30 | JENOPTIK Traffic Solutions UK Ltd | Method and apparatus for recognizing a license plate of a vehicle |
KR102116797B1 (en) * | 2018-06-14 | 2020-05-29 | 주식회사 메인시스 | Parking access system and control method thereof |
KR102122560B1 (en) * | 2018-11-22 | 2020-06-12 | 삼성생명보험주식회사 | Method to update character recognition model |
US20200193232A1 (en) * | 2016-12-23 | 2020-06-18 | Shenzhen Institute Of Advanced Technology | License plate recognition method, device thereof, and user equipment |
-
2020
- 2020-06-29 KR KR1020200079198A patent/KR102161949B1/en active IP Right Grant
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101999985B1 (en) | 2016-03-10 | 2019-07-15 | 주식회사한맥아이피에스 | Method and system for recognizing vehicle license plate |
US20200193232A1 (en) * | 2016-12-23 | 2020-06-18 | Shenzhen Institute Of Advanced Technology | License plate recognition method, device thereof, and user equipment |
KR101848019B1 (en) * | 2016-12-27 | 2018-04-11 | 아주대학교산학협력단 | Method and Apparatus for Detecting Vehicle License Plate by Detecting Vehicle Area |
KR102116797B1 (en) * | 2018-06-14 | 2020-05-29 | 주식회사 메인시스 | Parking access system and control method thereof |
US20200034647A1 (en) * | 2018-07-27 | 2020-01-30 | JENOPTIK Traffic Solutions UK Ltd | Method and apparatus for recognizing a license plate of a vehicle |
KR102122560B1 (en) * | 2018-11-22 | 2020-06-12 | 삼성생명보험주식회사 | Method to update character recognition model |
KR101970442B1 (en) * | 2018-12-04 | 2019-04-19 | 주식회사 넥스파시스템 | Illegal parking enforcement system Using Fast R-CNN based on Vehicle detection |
KR101986592B1 (en) * | 2019-04-22 | 2019-06-10 | 주식회사 펜타게이트 | Recognition method of license plate number using anchor box and cnn and apparatus using thereof |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102405960B1 (en) * | 2021-08-02 | 2022-06-08 | 주식회사 바이오커넥트 | Server and method for managing home-care medical diagnosis data |
KR102368122B1 (en) | 2021-08-31 | 2022-02-25 | 이홍기 | Method and system for recognizing vehicle number by using deep learning image recognition-based vehicle detection and tracking technology |
KR102407315B1 (en) | 2021-09-30 | 2022-06-13 | 주식회사 라온에이치씨 | A parking control system based on a hybrid method of license plate and vehicle recognition and a parking control method using the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102161949B1 (en) | Integrated parking management method and system using vehicle number plate recognition technology using neural network | |
Gnanaprakash et al. | Automatic number plate recognition using deep learning | |
Anagnostopoulos et al. | A license plate-recognition algorithm for intelligent transportation system applications | |
US20210110180A1 (en) | Method and apparatus for traffic sign detection, electronic device and computer storage medium | |
Mao et al. | Preceding vehicle detection using histograms of oriented gradients | |
Loce et al. | Computer vision and imaging in intelligent transportation systems | |
KR102194890B1 (en) | Unmanned enforcement and road crime prevention method and system applied with vehicle license plate recognition technology using neural network | |
CN112115761B (en) | Countermeasure sample generation method for detecting vulnerability of visual perception system of automatic driving automobile | |
CN111931683B (en) | Image recognition method, device and computer readable storage medium | |
Asthana et al. | Vehicle number plate recognition using multiple layer back propagation neural networks | |
CN111242046B (en) | Ground traffic sign recognition method based on image retrieval | |
KR102157990B1 (en) | Method and system for recognizing vehicle number plate using neural network | |
Barreto et al. | Using synthetic images for deep learning recognition process on automatic license plate recognition | |
Wong et al. | Vehicle classification using convolutional neural network for electronic toll collection | |
Mozumder et al. | An hybrid edge algorithm for vehicle license plate detection | |
KR102161948B1 (en) | Parking guidance system applied with vehicle license plate recognition technology using neural network and method of providing parking vehicle location information thereof | |
KR102157989B1 (en) | Illegal parking control method and system by using neural network | |
Yazdian et al. | Automatic Ontario license plate recognition using local normalization and intelligent character classification | |
Nguwi et al. | Number plate recognition in noisy image | |
Ahmad et al. | A Review of Automatic Number Plate Recognition | |
Jain et al. | Number plate detection using drone surveillance | |
Huu et al. | Proposing WPOD-NET combining SVM system for detecting car number plate | |
US11769313B2 (en) | Counterfeit image detection | |
Al Awaimri et al. | Automatic number plate recognition system for Oman | |
Vrtagić et al. | Video Data Extraction and Processing for Investigation of Vehicles' Impact on the Asphalt Deformation Through the Prism of Computational Algorithms. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |