KR20220092165A - Method and system for providing parking convenience service using deep learning video recognition technology - Google Patents
Method and system for providing parking convenience service using deep learning video recognition technology Download PDFInfo
- Publication number
- KR20220092165A KR20220092165A KR1020200183657A KR20200183657A KR20220092165A KR 20220092165 A KR20220092165 A KR 20220092165A KR 1020200183657 A KR1020200183657 A KR 1020200183657A KR 20200183657 A KR20200183657 A KR 20200183657A KR 20220092165 A KR20220092165 A KR 20220092165A
- Authority
- KR
- South Korea
- Prior art keywords
- parking
- deep learning
- information
- analysis server
- image
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 47
- 238000005516 engineering process Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000010191 image analysis Methods 0.000 claims abstract description 56
- 238000013136 deep learning model Methods 0.000 claims abstract description 54
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000011156 evaluation Methods 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 12
- 238000009434 installation Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000003703 image analysis method Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
- G08G1/144—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces on portable or mobile units, e.g. personal digital assistant [PDA]
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
- G08G1/146—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
- G08G1/148—Management of a network of parking areas
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Signal Processing (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Operations Research (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명의 실시예는 주차장 진입 시 여유 주차공간에 대한 정보 제공과 주차 위치에 대한 자동 알림을 제공할 수 있는 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 방법 및 시스템에 관한 것이다.An embodiment of the present invention relates to a parking convenience service providing method and system using a deep learning image recognition technology that can provide information on a free parking space and automatic notification of a parking location when entering a parking lot.
자동차의 수의 급격한 증가에 따라 주차난이 심각해지고 있으며, 이러한 주차 문제가 사회적 이슈가 되고 있다.With the rapid increase in the number of cars, parking difficulties are getting serious, and this parking problem has become a social issue.
또한, 운전자는 차량의 주차를 위하여 자신이 위치한 지역 부근의 주차장 정보 또는 가고자 하는 목적지의 주차장 정보를 해당 주차장에 직접 방문을 하거나 전화 등의 수단을 이용하여 접할 수밖에 없다.In addition, for the purpose of parking the vehicle, the driver has no choice but to directly visit the parking lot or use a means such as a phone call to obtain information about parking lots near his/her location or parking lot information of a destination he wants to go to.
따라서, 운전자가 원하는 주차장 정보를 보다 효율적이고 신속하게 제공할 수 있는 장치 또는 시스템의 개발이 시급한 상황이다.Therefore, there is an urgent need to develop a device or system capable of providing parking lot information desired by a driver more efficiently and quickly.
또한, 종래의 주차장에서 제공되는 주차 여유 면수는, 주차장 입구에 설치된 센서를 이용하거나, 각 주차 면에 센서를 탑재하거나, 또는 주차장을 촬영하고 촬영된 영상을 분석하여 주차 면수를 관리하는 방식을 사용하였다.In addition, the number of parking spaces provided in the conventional parking lot uses a sensor installed at the entrance of the parking lot, a sensor is mounted on each parking surface, or a method of managing the number of parking spaces by shooting a parking lot and analyzing the captured image did.
하지만, 이러한 종래의 방법은 비용이 많이 드는 문제점이 있으며, 주차장의 다양한 정보를 사용자에게 신속하게 정확하게 전달하여 줄 수 없다는 문제점이 있다.However, this conventional method has a problem in that it costs a lot, and there is a problem in that it is not possible to quickly and accurately deliver various information of a parking lot to a user.
또한, 대규모의 실내주차장 이용 시 여유 주차공간을 파악하는데 어려움을 느끼고, 주차 이후 일정시간 경과 후 주차위치의 망각으로 불편을 겪는 사례가 빈번하며, 대형 할인매장, 주상복합단지, 복층 주차장 등 주차공간이 많고 복잡한 곳일수록 주차 전후의 유도 서비스에 대한 요구가 높아지고 있는 실정이다.In addition, when using a large-scale indoor parking lot, it is difficult to identify a free parking space, and there are frequent cases of inconvenience due to forgetting the parking location after a certain period of time after parking. The more complex the place, the higher the demand for guidance services before and after parking.
본 발명은 전술한 문제를 해결하기 위해 안출된 것으로서, 주차 서비스를 위해 고가의 주차관제 장비가 필요한 종래 기술에 비해 본 발명은 영상 촬영 장비만으로 보다 유용한 서비스를 제공하고자 한다.The present invention has been devised to solve the above-described problem, and the present invention intends to provide a more useful service only with an image capturing device compared to the prior art that requires expensive parking control equipment for a parking service.
보다 상세하게 설명하면, 종래 기술에 따른 주차관제 방법 및 시스템은 고가의 인프라장비(센서, 관제센터 등) 설치를 통해 주차 서비스를 제공하고, 층수 별 주차 여유공간 안내 등 다소 부정확한 서비스를 제공하고 있는데 반하여, 본 발명은 주차장에 설치된 영상감시 디바이스(CCTV 카메라와 전송장치)만으로 관련 서비스의 제공이 가능하고, 주차면 서비스까지 가능한 보다 품질 높은 서비스를 제공하고자 한다.More specifically, the parking control method and system according to the prior art provides a parking service through the installation of expensive infrastructure equipment (sensor, control center, etc.) On the other hand, the present invention intends to provide a higher quality service that can provide related services only with video monitoring devices (CCTV camera and transmission device) installed in a parking lot, and even a parking surface service.
또한, 본 발명은 실내 주차 시 여유 주차면과 주차 위치를 알려주는 주차유도 기능에 대한 사용자 요구를 AI 기반 영상인식 기술과 모바일 어플리케이션(App) 기술을 통해 문제를 해결하고자 한다.In addition, the present invention intends to solve the problem of the user's request for a parking guidance function that informs a parking space and a parking location when parking indoors through AI-based image recognition technology and mobile application (App) technology.
또한, 본 발명은 대형 주차장의 주차유도 서비스를 AI(딥러닝) 영상 판독 기술과 앱 서비스 기술을 활용한 방법 및 시스템을 통해 해결하고, 영상촬영, 영상자동인식 딥러닝 기술, DB, 어플리케이션(APP) 개발 등의 IT 기술을 융합하여 주차편의 서비스를 제공하고자 한다.In addition, the present invention solves the parking guidance service of a large parking lot through a method and system using AI (deep learning) image reading technology and app service technology, and image shooting, image automatic recognition deep learning technology, DB, application (APP) ) to provide convenient parking service by convergence of IT technologies such as development.
전술한 문제를 해결하기 위한 본 발명의 실시예에 따른 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 시스템은 딥러닝 모델을 이용해 주차장에 설치된 CCTV 카메라에서 촬영된 CCTV 영상으로부터 차량의 번호판 정보와 빈 주차면 번호를 추출하고, 상기 추출된 정보를 분석하여, 사용자의 차량의 주차위치 정보와 차량이 주차 가능한 여유 주차면 정보를 생성하는 영상 분석 서버; 및 상기 영상 분석 서버로부터 상기 주차위치 정보와 상기 여유 주차면 정보를 수신하여 사용자 단말로 제공하는 서비스 제공 서버;를 포함하여 구성된다.The parking convenience service providing system using a deep learning image recognition technology according to an embodiment of the present invention for solving the above-described problem is a vehicle's license plate information and blank from a CCTV image taken from a CCTV camera installed in a parking lot using a deep learning model. an image analysis server that extracts a parking surface number, analyzes the extracted information, and generates parking location information of the user's vehicle and free parking surface information in which the vehicle can be parked; and a service providing server that receives the parking location information and the free parking surface information from the image analysis server and provides it to a user terminal.
본 발명의 다른 일실시예에 따르면, 상기 영상 분석 서버는 상기 CCTV 영상으로부터 복수개의 차량의 번호판의 문자, 주차면 표기 문자 또는 주차구역 표기 문자를 추출할 수 있다.According to another embodiment of the present invention, the image analysis server may extract the characters of the license plate of a plurality of vehicles, the characters of the parking surface or the characters of the parking area from the CCTV image.
본 발명의 다른 일실시예에 따르면, 상기 영상 분석 서버는 데이터 셋(data set)을 이용해 학습하여 딥러닝 모델을 구성하고, 상기 딥러닝 모델의 학습을 위하여 상기 CCTV 영상의 분류와 라벨링(labeling)을 수행할 수 있다.According to another embodiment of the present invention, the image analysis server configures a deep learning model by learning using a data set, and classification and labeling of the CCTV image for learning the deep learning model can be performed.
본 발명의 다른 일실시예에 따르면, 상기 영상 분석 서버는 분류에 사용할 학습 데이터와 테스트 데이터로 이루어진 데이터 셋(data set)을 구성하고, 상기 데이터 셋을 이용한 학습의 성능을 평가하고, 상기 학습에 사용할 딥러닝 모델을 결정하고, 상기 결정된 딥러닝 모델을 수정하거나 새로운 딥러닝 알고리즘을 추가하여 딥러닝 모델을 구성할 수 있다.According to another embodiment of the present invention, the image analysis server configures a data set consisting of learning data and test data to be used for classification, evaluates the performance of learning using the data set, and A deep learning model to be used may be determined, and a deep learning model may be configured by modifying the determined deep learning model or adding a new deep learning algorithm.
본 발명의 다른 일실시예에 따르면, 상기 영상 분석 서버는 상기 딥러닝 모델을 이용해 학습, 평가 및 환경 설정을 반복하여 상기 딥러닝 모델을 구성할 수 있다.According to another embodiment of the present invention, the image analysis server may configure the deep learning model by repeating learning, evaluation, and environment setting using the deep learning model.
본 발명의 다른 일실시예에 따르면, 상기 서비스 제공 서버는 상기 사용자 단말로 어플리케이션(application)의 다운로드 및 설치를 제공하고, 상기 어플리케이션을 통해 표시되는 주차장 지도를 통해 상기 주차위치 정보와 상기 여유 주차면 정보를 제공할 수 있다.According to another embodiment of the present invention, the service providing server provides download and installation of an application to the user terminal, and the parking location information and the free parking surface through the parking lot map displayed through the application information can be provided.
본 발명의 일실시예에 따른 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 방법은 영상 분석 서버가 상기 구성된 딥러닝 모델을 이용해 주차장에 설치된 CCTV 카메라에서 촬영된 CCTV 영상으로부터 차량의 번호판 정보와 빈 주차면 번호를 추출하는 정보 추출 단계; 상기 영상 분석 서버가 상기 추출된 정보를 분석하여, 사용자의 차량의 주차위치 정보와 차량이 주차 가능한 여유 주차면 정보를 생성하는 정보 생성 단계; 및 서비스 제공 서버가 상기 영상 분석 서버로부터 상기 주차위치 정보와 상기 여유 주차면 정보를 수신하여 사용자 단말로 제공하는 정보 제공 단계;를 포함한다.The parking convenience service providing method using the deep learning image recognition technology according to an embodiment of the present invention is a method for providing a parking convenience service using the deep learning model configured above by the image analysis server from the CCTV image taken from the CCTV camera installed in the parking lot, the vehicle's license plate information and blank Information extraction step of extracting the parking surface number; an information generation step of generating, by the image analysis server, the extracted information, parking location information of the user's vehicle and information on a free parking surface in which the vehicle can be parked; and a service providing server receiving the parking location information and the free parking surface information from the image analysis server and providing the information to the user terminal.
본 발명의 다른 일실시예에 따르면, 상기 정보추출 단계는 상기 영상 분석 서버가 상기 CCTV 영상으로부터 복수개의 차량의 번호판의 문자, 주차면 표기 문자 또는 주차구역 표기 문자를 추출할 수 있다.According to another embodiment of the present invention, in the step of extracting the information, the image analysis server may extract the characters of the license plates of a plurality of vehicles, the characters of the parking surface or the characters of the parking area from the CCTV image.
본 발명의 다른 일실시예에 따르면, 상기 정보추출 단계의 이전에, 영상 분석 서버가 데이터 셋(data set)을 이용해 학습하여 딥러닝 모델을 구성하는 딥러닝 학습 단계;를 더 포함할 수 있다.According to another embodiment of the present invention, before the information extraction step, the image analysis server learns using a data set to construct a deep learning model; it may further include a deep learning learning step.
본 발명의 다른 일실시예에 따르면, 상기 딥러닝 학습 단계는 상기 영상 분석 서버가 상기 딥러닝 모델의 학습을 위하여 상기 CCTV 영상의 분류와 라벨링(labeling)을 수행할 수 있다.According to another embodiment of the present invention, in the deep learning learning step, the image analysis server may perform classification and labeling of the CCTV image for learning the deep learning model.
본 발명의 다른 일실시예에 따르면, 상기 딥러닝 학습 단계는, 상기 영상 분석 서버가 분류에 사용할 학습 데이터와 테스트 데이터로 이루어진 데이터 셋(data set)을 구성하는 단계; 상기 영상 분석 서버가 상기 데이터 셋을 이용한 학습의 성능을 평가하여 상기 학습에 사용할 딥러닝 모델을 결정하는 단계; 및 상기 영상 분석 서버가 상기 딥러닝 모델을 수정하거나 새로운 딥러닝 알고리즘을 추가하여 딥러닝 모델을 구성하는 @.According to another embodiment of the present invention, the deep learning learning step comprises the steps of: configuring, by the image analysis server, a data set consisting of training data and test data to be used for classification; determining, by the image analysis server, a deep learning model to be used for the learning by evaluating the performance of learning using the data set; And @ where the image analysis server configures a deep learning model by modifying the deep learning model or adding a new deep learning algorithm.
본 발명의 다른 일실시예에 따르면, 상기 딥러닝 학습 단계는 상기 영상 분석 서버가 상기 딥러닝 모델을 이용해 학습, 평가 및 환경 설정을 반복하여 상기 딥러닝 모델을 구성할 수 있다.According to another embodiment of the present invention, in the deep learning learning step, the image analysis server may configure the deep learning model by repeating learning, evaluation, and environment setting using the deep learning model.
본 발명의 다른 일실시예에 따르면, 상기 정보 제공 단계는 상기 서비스 제공 서버가 상기 사용자 단말로 어플리케이션(application)의 다운로드 및 설치를 제공하는 단계; 및 상기 서비스 제공 서버가 상기 어플리케이션을 통해 표시되는 주차장 지도를 통해 상기 주차위치 정보와 상기 여유 주차면 정보를 제공하는 단계;를 포함할 수 있다.According to another embodiment of the present invention, the information providing step includes: providing, by the service providing server, downloading and installation of an application to the user terminal; and providing, by the service providing server, the parking location information and the free parking surface information through the parking lot map displayed through the application.
본 발명에 따르면 주차 서비스를 위해 고가의 주차관제 장비가 필요한 기존 서비스에 비해 영상 촬영 장비만으로 보다 유용한 서비스를 제공할 수 있다.According to the present invention, it is possible to provide a more useful service only with the video recording equipment compared to the existing service that requires expensive parking control equipment for the parking service.
보다 상세하게 설명하면, 종래 기술에 따른 주차관제 방법 및 시스템은 고가의 인프라장비(센서, 관제센터 등) 설치를 통해 주차 서비스를 제공하고, 층수 별 주차 여유공간 안내 등 다소 부정확한 서비스를 제공하고 있는데 반하여, 본 발명은 주차장에 설치된 영상감시 디바이스(CCTV 카메라와 전송장치)만으로 관련 서비스의 제공이 가능하고, 주차면 서비스까지 가능한 보다 품질 높은 서비스를 제공할 수 있다.More specifically, the parking control method and system according to the prior art provides a parking service through the installation of expensive infrastructure equipment (sensor, control center, etc.) On the other hand, the present invention can provide related services only with video monitoring devices (CCTV cameras and transmission devices) installed in the parking lot, and can provide a higher quality service that can even serve as a parking surface.
또한, 본 발명에 따르면 실내 주차 시 여유 주차면과 주차 위치를 알려주는 주차유도 기능에 대한 사용자 요구를 AI 기반 영상인식 기술과 모바일 어플리케이션(App) 기술을 통해 문제를 해결할 수 있다.In addition, according to the present invention, it is possible to solve the user's request for the parking guidance function that informs the parking space and the parking location when parking indoors through AI-based image recognition technology and mobile application (App) technology.
또한, 본 발명에 따르면 대형 주차장의 주차유도 서비스를 AI(딥러닝) 영상 판독 기술과 앱 서비스 기술을 활용한 방법 및 시스템을 통해 해결하고, 영상촬영, 영상자동인식 딥러닝 기술, DB, 어플리케이션(APP) 개발 등의 IT 기술을 융합하여 주차편의 서비스를 제공할 수 있다.In addition, according to the present invention, the parking guidance service of a large parking lot is solved through a method and system using AI (deep learning) image reading technology and app service technology, and image shooting, image automatic recognition deep learning technology, DB, application ( By converging IT technologies such as APP) development, parking convenience services can be provided.
또한, 기존에 주차공간에 CCTV가 설치되어 있는 경우에 관련 CCTV 이미지를 전송 받아, 해당 주차편의 서비스를 제공해주는 등의 부가적인 서비스로의 확장도 가능해진다. In addition, when CCTV is installed in an existing parking space, it is possible to receive a related CCTV image and expand it to additional services such as providing a corresponding parking convenient service.
또한, 본 발명을 통해 사용자 입장에서는 보유하고 있는 스마트폰상에 복잡한 주차장 진입과 동시에 빈 주차공간에 대한 안내가 제공되며, 동시에 주차장 소유업체 입장에서는 주차편의를 위한 차별화된 서비스 제공이 가능하고 소유 매장의 상품 홍보, 전시 등 부가적인 서비스로도 확장할 수 있는 기반이 된다.In addition, through the present invention, from the user's point of view, a guide to an empty parking space is provided at the same time as entering a complex parking lot on the smartphone he has, and at the same time, from the point of view of the parking lot owner, it is possible to provide a differentiated service for parking convenience and It serves as a basis for expansion into additional services such as product promotion and exhibitions.
도 1은 본 발명의 일실시예에 따른 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 시스템의 개념도이다.
도 2a,2b는 본 발명의 일실시예에 따른 딥러닝 모델을 이용한 영상 분석 방법을 설명하기 위한 도면이며, 도 2c 내지 2e는 본 발명의 일실시예에 따른 학습용 차량 번호판 등의 이미지에 대한 라벨링 툴을 통한 라벨링 작업으로 데이터셋을 제작하기 워한 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 4 내지 도 9는 본 발명의 일실시예에 따른 사용자 단말의 어플리케이션(application)을 통한 차량의 주차위치 정보와 차량이 주차 가능한 여유 주차면 정보를 제공하는 방법을 설명하기 위한 도면이다.1 is a conceptual diagram of a parking convenience service providing system using a deep learning image recognition technology according to an embodiment of the present invention.
2a and 2b are diagrams for explaining an image analysis method using a deep learning model according to an embodiment of the present invention, and FIGS. 2c to 2e are labels for images such as license plates for learning according to an embodiment of the present invention. It is a diagram to explain the method of creating a dataset by labeling through a tool.
3 is a flowchart illustrating a method of providing a convenient parking service using a deep learning image recognition technology according to an embodiment of the present invention.
4 to 9 are diagrams for explaining a method of providing parking location information of a vehicle and information on a free parking surface in which a vehicle can be parked through an application of a user terminal according to an embodiment of the present invention.
이하에서는 첨부한 도면을 참조하여 바람직한 본 발명의 일실시예에 대해서 상세히 설명한다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.Hereinafter, an exemplary embodiment of the present invention will be described in detail with reference to the accompanying drawings. However, in describing the embodiment, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, a detailed description thereof will be omitted. In addition, the size of each component in the drawings may be exaggerated for explanation, and does not mean the size actually applied.
도 1은 본 발명의 일실시예에 따른 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 시스템의 개념도이고, 도 2는 본 발명의 일실시예에 따른 딥러닝 모델을 이용한 영상 분석 방법을 설명하기 위한 도면이다.1 is a conceptual diagram of a parking convenience service providing system using a deep learning image recognition technology according to an embodiment of the present invention, and FIG. 2 is an image analysis method using a deep learning model according to an embodiment of the present invention. is a drawing for
이후부터는 도 1 및 도 2를 참조하여 본 발명의 일실시예에 따른 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 시스템의 구성을 설명하기로 한다.Hereinafter, a configuration of a parking convenience service providing system using a deep learning image recognition technology according to an embodiment of the present invention will be described with reference to FIGS. 1 and 2 .
도 1을 참조하면 본 발명의 일실시예에 따른 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 시스템은 영상 분석 서버(110) 서비스 제공 서버(120)를 포함하여 구성된다.Referring to FIG. 1 , a parking convenience service providing system using a deep learning image recognition technology according to an embodiment of the present invention is configured to include an
사용자가 차량을 이용해 주차 서비스를 이용하면, 주차장에 설치된 CCTV 카메라(101)가 주차장의 CCTV 영상을 촬영한다. 즉, CCTV 카메라(101)가 주차시설의 영상 정보를 수집 및 전송하여, 상기 영상 분석 서버(110)가 상기 CCTV 영상을 수신한다.When a user uses a parking service using a vehicle, the
상기 영상 분석 서버(110)는 딥러닝 모델을 이용해 주차장에 설치된 CCTV 카메라(101)에서 촬영된 CCTV 영상으로부터 차량의 번호판 정보와 빈 주차면 번호를 추출한다.The
이때, 상기 영상 분석 서버(110)는 상기 CCTV 영상으로부터 복수개의 차량의 번호판의 문자, 주차면 표기 문자 또는 주차구역 표기 문자를 추출할 수 있다.In this case, the
상기 영상 분석 서버(110)는 이와 같은 영상 분석을 위하여, 데이터 셋(data set)을 이용해 학습하여 딥러닝 모델을 구성할 수 있으며, 보다 구체적으로, 상기 딥러닝 모델의 학습을 위하여 차량 종류별로 상기 CCTV 영상의 분류와 라벨링(labeling)을 수행할 수 있다.The
이와 같은 상기 영상 분석 서버(110)의 학습시에는, 분류에 사용할 학습 데이터와 테스트 데이터로 이루어진 데이터 셋(data set)을 구성하고, 상기 데이터 셋을 이용한 학습의 성능을 평가하고, 상기 학습에 사용할 딥러닝 모델을 결정하며, 상기 결정된 딥러닝 모델을 수정하거나 새로운 딥러닝 알고리즘을 추가하여 딥러닝 모델을 구성할 수 있다.During the learning of the
보다 상세하게 설명하면, 상기 영상 분석 서버(110)는 분류 문제를 위해 사용할 원본 데이터 셋을 학습 데이터 셋과 테스트 데이터 셋으로 구성하고, 인식 문제의 성능평가를 위한 정확도 등의 성능 평가 척도를 통해 성능을 평가할 수 있다.More specifically, the
또한 도 2a 내지 2d를 참조하면 수집되는 영상자료 분석을 통해 차량정보(차량번호판), 주차구역 정보를 추출하는 딥러닝 모델을 구축하는 과정으로서, 상기 영상 분석 서버(110)는 이미지 분류(Image Classification) 모델로서 Lenet, AlexNet, ZFNet, GooleNet, VGNet 또는 ResNet 모델을 사용할 수 있으며, 오브젝트 감지(Object Detection) 모델로는 FCN, R-CNN, Fast RCNN 또는 Faster RCNN 모델을 사용할 수 있으며, 번호판과 주차면 번호의 문자 정보 추출을 위한 딥러닝 학습 모델 설정 및 구현함으로써, 최종 검토된 딥러닝 모델에 대해 영상 분석 서버(110)에서 셋업 수행하여 라벨링된 이미지 데이터셋 기반 학습(Training)과 평가(Evaluation)를 반복하여 최적의 환경(Configuration) 설정을 통해 학습모델을 구축한다.In addition, referring to FIGS. 2A to 2D , it is a process of constructing a deep learning model that extracts vehicle information (license plate) and parking area information through analysis of collected image data, wherein the
이와 같이, 상기 영상 분석 서버(110)는 상기와 같이 구성되는 딥러닝 모델을 이용해 학습, 평가 및 환경 설정을 반복하여 상기 딥러닝 모델을 구성함으로써, 보다 정확도 높은 정보의 추출과 분석이 가능하다.In this way, the
상기 영상 분석 서버(110)는 이와 같이 추출된 정보를 분석하여 사용자의 차량의 주차위치 정보와 차량이 주차 가능한 여유 주차면 정보를 생성한다.The
그뿐만 아니라, 본 발명의 일실시예에 따르면, 상기 영상 분석 서버(110)가 CCTV 수집 영상에 대한 테스트 및 성능 평가 수행을 하며, 주기적으로 전송되는 복수 차량의 CCTV 수집영상을 대상으로 관련정보 추출 수행 및 정확도에 대한 평가 시행을 통해, 주차차량 영상의 전송, 수집, 분석, 번호추출 단계 수행에 따른 성능 검증을 할 수 있다.In addition, according to an embodiment of the present invention, the
상기 서비스 제공 서버(120)는 상기 영상 분석 서버로부터 상기 주차위치 정보와 상기 여유 주차면 정보를 수신하여 사용자 단말(130)로 제공한다.The
보다 구체적으로, 상기 서비스 제공 서버(120)는 스마트 단말로 구성되는 상기 사용자 단말로 어플리케이션(application)의 다운로드 및 설치를 제공할 수 있으며, 상기 어플리케이션을 통해 표시되는 주차장 지도를 통해 상기 주차위치 정보와 상기 여유 주차면 정보를 제공할 수 있다.More specifically, the
이와 같이, 본 발명의 일실시예에 따르면 사용자에게 여유 주차면과 사용자 차량의 주차 위치를 스마트 단말용 어플리케이션을 통해 제공할 수 있다. 보다 구체적으로, 사용자 본인의 차량 영상인식과 주차 위치에 대한 정보를 등록된 스마트 단말에 전송하도록 하고, 비어 있는 주차면에 마킹된 주차면 번호를 인식하여 여유 주차면 정보를 스마트 단말에 전송하도록 할 수 있다.As described above, according to an embodiment of the present invention, it is possible to provide the user with a spare parking surface and a parking position of the user's vehicle through an application for a smart terminal. More specifically, the user's own vehicle image recognition and information on the parking location are transmitted to the registered smart terminal, and the parking surface number marked on the empty parking surface is recognized to transmit the free parking surface information to the smart terminal. can
그 뿐만 아니라, 본 발명의 일실시예에 따르면 차량정보(차량번호, 차종 등), 사용자 정보(회원정보, 스마트폰 번호 등), 주차장정보(주차장명, 주차장 내부지도 등) 등 관련 데이터베이스(125)를 구축할 수 있으며, 지능형 주차 관련 시장에 대한 분석과 이를 바탕으로 스마트 단말을 보유하고 있는 사용자와 CCTV가 설치되어 있는 주차장 간에 보다 편리한 주차관련 서비스를 제공할 수 있다.In addition, according to an embodiment of the present invention,
이와 같이, 본 발명에 따르면 실내 주차 시 여유 주차면과 주차 위치를 알려주는 주차유도 기능에 대한 사용자 요구를 AI 기반 영상인식 기술과 모바일 어플리케이션(App) 기술을 통해 문제를 해결할 수 있다.As described above, according to the present invention, the user's request for a parking guidance function that informs a parking space and a parking location when parking indoors can be solved through AI-based image recognition technology and mobile application (App) technology.
또한, 본 발명에 따르면 대형 주차장의 주차유도 서비스를 AI(딥러닝) 영상 판독 기술과 앱 서비스 기술을 활용한 방법 및 시스템을 통해 해결하고, 영상촬영, 영상자동인식 딥러닝 기술, DB, 어플리케이션(APP) 개발 등의 IT 기술을 융합하여 주차편의 서비스를 제공할 수 있다.In addition, according to the present invention, the parking guidance service of a large parking lot is solved through a method and system using AI (deep learning) image reading technology and app service technology, and image shooting, image automatic recognition deep learning technology, DB, application ( By converging IT technologies such as APP) development, parking convenience services can be provided.
도 2c 내지 2e는 수집된 이미지 데이터셋을 라벨링 툴을 활용하여 라벨링(Labeling)을 수행하여 딥러닝 모델이 해당 이미지에서 대상 물체(차량 번호판, 주차구역번호)를 인식할 수 있게 라벨링 작업을 수행하는 도면이다. 라벨링 작업은 해당 이미지의 추출 대상 영역에 대해 Bounding Box 를 설정하고, 관련 오브젝트의 카테고리(Category)를 지정하여 설정한다. 라벨링 수행한 결과물은 라벨링 툴의 종류에 따라 “XML” 또는 “Json”이라는 파일유형으로 관련 정보를 저장한다.Figures 2c to 2e perform labeling using a labeling tool on the collected image dataset, so that the deep learning model can recognize the target object (vehicle license plate, parking area number) in the image. It is a drawing. In the labeling operation, the Bounding Box is set for the extraction target area of the image, and the category of the related object is designated and set. The result of labeling is saved as a file type of “XML” or “Json” according to the type of labeling tool.
도 3은 본 발명의 일실시예에 따른 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 방법을 설명하기 위한 흐름도이고, 도 4 내지 도 9는 본 발명의 일실시예에 따른 사용자 단말의 어플리케이션(application)을 통한 차량의 주차위치 정보와 차량이 주차 가능한 여유 주차면 정보를 제공하는 방법을 설명하기 위한 도면이다.3 is a flowchart for explaining a method of providing a convenient parking service using a deep learning image recognition technology according to an embodiment of the present invention, and FIGS. 4 to 9 are an application of a user terminal according to an embodiment of the present invention ( It is a diagram for explaining a method of providing parking location information of a vehicle through application) and information on a free parking surface in which the vehicle can be parked.
이후부터는 도 3 내지 도 9를 참조하여 본 발명의 일실시예에 따른 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 방법을 설명하기로 한다.Hereinafter, a method of providing a parking convenience service using a deep learning image recognition technology according to an embodiment of the present invention will be described with reference to FIGS. 3 to 9 .
먼저, 영상 분석 서버가 데이터 셋(data set)을 이용해 학습하여 딥러닝 모델을 구성한다(S310).First, the image analysis server configures a deep learning model by learning using a data set (S310).
이때, 영상 분석 서버는 학습 대상이 되는 이미지 데이터셋과 라벨링 정보를 반복적으로 학습하여 학습 모델을 구성한다.In this case, the image analysis server constructs a learning model by repeatedly learning the image dataset and labeling information to be learned.
보다 구체적으로, 상기 영상 분석 서버는 상기 영상 분석 서버가 분류에 사용할 학습 데이터와 테스트 데이터로 이루어진 데이터 셋(data set)을 구성하고, 상기 영상 분석 서버가 상기 데이터 셋을 이용한 학습의 성능을 평가하여 상기 학습에 사용할 딥러닝 모델을 결정한 후, 상기 영상 분석 서버가 상기 딥러닝 모델을 수정하거나 새로운 딥러닝 알고리즘을 추가하여 딥러닝 모델을 구성할 수 있다.More specifically, the image analysis server configures a data set consisting of training data and test data to be used by the image analysis server for classification, and the image analysis server evaluates the learning performance using the data set. After determining the deep learning model to be used for the learning, the image analysis server may modify the deep learning model or add a new deep learning algorithm to configure the deep learning model.
그뿐만 아니라, 상기 영상 분석 서버는 상기 영상 분석 서버가 상기 딥러닝 모델을 이용해 학습, 평가 및 환경 설정을 반복하여 상기 딥러닝 모델을 구성할 수 있다.In addition, the image analysis server may configure the deep learning model by repeating learning, evaluation, and environment setting by the image analysis server using the deep learning model.
이후, 상기 영상 분석 서버가 주차장에 설치된 CCTV 카메라로부터 촬영된 CCTV 영상을 수신하는데, 고해상도의 CCTV가 아닌 일반 해상도의 CCTV에서 추출된 영상의 경우 딥러닝 모델에서 인식하기 용이한 구조로의 해상도 변환을 위해 영상 변환 프로그램을 통해 고해상도 이미지로 변환 처리하는 절차를 거친다(S320).After that, the video analysis server receives the CCTV image taken from the CCTV camera installed in the parking lot, and in the case of an image extracted from a CCTV of normal resolution rather than a high-resolution CCTV, the resolution conversion into a structure that is easy to recognize in the deep learning model is performed. For this purpose, a process of converting the image into a high-resolution image through an image conversion program is performed (S320).
이후, 상기 영상 분석 서버는 상기 구성된 딥러닝 모델을 이용해 주차장에 설치된 CCTV 카메라에서 촬영된 CCTV 영상으로부터 차량의 번호판 정보와 빈 주차면 번호를 추출한다(S330).Thereafter, the image analysis server extracts the license plate information and the empty parking surface number of the vehicle from the CCTV image taken by the CCTV camera installed in the parking lot using the configured deep learning model (S330).
이때, 상기 영상 분석 서버는 상기 CCTV 영상으로부터 복수개의 차량의 번호판의 문자, 주차면 표기 문자 또는 주차구역 표기 문자를 추출할 수 있다.In this case, the image analysis server may extract the characters of the license plates of the plurality of vehicles, the characters of the parking surface or the characters of the parking area from the CCTV image.
이후에는, 상기 영상 분석 서버가 상기 추출된 정보를 분석하여, 사용자의 차량의 주차위치 정보와 차량이 주차 가능한 여유 주차면 정보를 생성한다(S340).Thereafter, the image analysis server analyzes the extracted information to generate parking location information of the user's vehicle and information on a free parking surface in which the vehicle can be parked (S340).
또한, 상기 영상 분석 서버가 상기 주차위치 정보와 상기 여유 주차면 정보를 사용자 단말로 제공한다(S350).In addition, the image analysis server provides the parking location information and the free parking surface information to the user terminal (S350).
이때, 보다 구체적으로, 도 4에 도시된 바와 같이 상기 서비스 제공 서버가 상기 사용자 단말로 어플리케이션(application)의 다운로드 및 설치를 제공하여 사용자가 로그인 하면, 상기 서비스 제공 서버가 상기 어플리케이션을 통해 표시되는 주차장 지도를 통해 상기 주차위치 정보와 상기 여유 주차면 정보를 제공할 수 있다.At this time, more specifically, as shown in FIG. 4 , when the service providing server provides download and installation of an application to the user terminal and the user logs in, the service providing server is a parking lot displayed through the application It is possible to provide the parking location information and the free parking surface information through a map.
도 5 및 도 6을 참조하면, 상기 서비스 제공 서버는 어플리케이션을 통해 사용자 단말로 사용자의 차량의 주차위치 정보로서 층과 구역의 정보를 제공하되, 주차장 지도를 통해 보다 편리하고 직관적으로 차량의 주차위치 정보를 제공할 수 있다.5 and 6, the service providing server provides the information of the floor and area as the parking location information of the user's vehicle to the user terminal through the application, but more conveniently and intuitively through the parking lot map the parking location of the vehicle information can be provided.
또한, 도 7 및 도 8을 참조하면, 상기 서비스 제공 서버는 어플리케이션을 통해 여유 주차면 정보로서 여유 주차면의 수, 층 그리고 구역의 정보를 제공하며, 이때 도 9에서와 같이 주차장 지도를 통해 보다 편리하고 직관적으로 여유 주차면 정보를 제공할 수 있다.In addition, referring to FIGS. 7 and 8 , the service providing server provides information on the number of free parking surfaces, floors, and areas as spare parking surface information through the application, and at this time, more through the parking lot map as in FIG. 9 . It can provide information about free parking space conveniently and intuitively.
이와 같이, 본 발명의 일실시예에 따르면 사용자에게 여유 주차면과 사용자 차량의 주차 위치를 스마트 단말용 어플리케이션을 통해 제공할 수 있다. 보다 구체적으로, 사용자 본인의 차량 영상인식과 주차 위치에 대한 정보를 등록된 스마트 단말에 전송하도록 하고, 비어 있는 주차면에 마킹된 주차면 번호를 인식하여 여유 주차면 정보를 스마트 단말에 전송하도록 할 수 있다.As described above, according to an embodiment of the present invention, it is possible to provide the user with a spare parking surface and a parking position of the user's vehicle through an application for a smart terminal. More specifically, the user's own vehicle image recognition and information on the parking location are transmitted to the registered smart terminal, and the parking surface number marked on the empty parking surface is recognized to transmit the free parking surface information to the smart terminal. can
이와 같이, 본 발명에 따르면 실내 주차 시 여유 주차면과 주차 위치를 알려주는 주차유도 기능에 대한 사용자 요구를 AI 기반 영상인식 기술과 모바일 어플리케이션(App) 기술을 통해 문제를 해결할 수 있다.As described above, according to the present invention, the user's request for a parking guidance function that informs a parking space and a parking location when parking indoors can be solved through AI-based image recognition technology and mobile application (App) technology.
전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시예에 국한되어 정해져서는 안 되며, 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.In the detailed description of the present invention as described above, specific embodiments have been described. However, various modifications are possible without departing from the scope of the present invention. The technical spirit of the present invention should not be limited to the above-described embodiments of the present invention, and should be defined by the claims as well as the claims and equivalents.
101: CCTV 카메라
110: 영상 분석 서버
120: 서비스 제공 서버
125: 데이터베이스
130: 사용자 단말101: CCTV camera
110: video analysis server
120: service providing server
125: database
130: user terminal
Claims (13)
상기 영상 분석 서버로부터 상기 주차위치 정보와 상기 여유 주차면 정보를 수신하여 사용자 단말로 제공하는 서비스 제공 서버;
를 포함하는 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 시스템.
By using a deep learning model, the license plate information and empty parking surface number of the vehicle are extracted from the CCTV image taken by the CCTV camera installed in the parking lot, and the extracted information is analyzed, the user's vehicle parking location information and the vehicle's parking space an image analysis server that generates parking surface information; and
a service providing server for receiving the parking location information and the free parking surface information from the image analysis server and providing it to a user terminal;
A parking convenience service providing system using deep learning image recognition technology, including
상기 영상 분석 서버는,
상기 CCTV 영상으로부터 복수개의 차량의 번호판의 문자, 주차면 표기 문자 또는 주차구역 표기 문자를 추출하는 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 시스템.
The method according to claim 1,
The video analysis server,
A parking convenience service providing system using a deep learning image recognition technology to extract the characters of the license plates of a plurality of vehicles, the characters of the parking surface or the characters of the parking area from the CCTV image.
상기 영상 분석 서버는,
데이터 셋(data set)을 이용해 학습하여 딥러닝 모델을 구성하고,
상기 딥러닝 모델의 학습을 위하여 상기 CCTV 영상의 분류와 라벨링(labeling)을 수행하는 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 시스템.
The method according to claim 1,
The video analysis server,
Construct a deep learning model by learning using a data set,
A parking convenience service providing system using deep learning image recognition technology to perform classification and labeling of the CCTV images for learning the deep learning model.
상기 영상 분석 서버는,
분류에 사용할 학습 데이터와 테스트 데이터로 이루어진 데이터 셋(data set)을 구성하고,
상기 데이터 셋을 이용한 학습의 성능을 평가하고,
상기 학습에 사용할 딥러닝 모델을 결정하고,
상기 결정된 딥러닝 모델을 수정하거나 새로운 딥러닝 알고리즘을 추가하여 딥러닝 모델을 구성하는 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 시스템.
The method according to claim 1,
The video analysis server,
Configure a data set consisting of training data and test data to be used for classification,
Evaluate the performance of learning using the data set,
determining a deep learning model to be used for the training;
A parking convenience service providing system using deep learning image recognition technology that configures a deep learning model by modifying the determined deep learning model or adding a new deep learning algorithm.
상기 영상 분석 서버는,
상기 딥러닝 모델을 이용해 학습, 평가 및 환경 설정을 반복하여 상기 딥러닝 모델을 구성하는 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 시스템.
The method according to claim 1,
The video analysis server,
A parking convenience service providing system using a deep learning image recognition technology that constructs the deep learning model by repeating learning, evaluation and environment setting using the deep learning model.
상기 서비스 제공 서버는,
상기 사용자 단말로 어플리케이션(application)의 다운로드 및 설치를 제공하고,
상기 어플리케이션을 통해 표시되는 주차장 지도를 통해 상기 주차위치 정보와 상기 여유 주차면 정보를 제공하는 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 시스템.
The method according to claim 1,
The service providing server,
To provide the download and installation of the application (application) to the user terminal,
A parking convenience service providing system using a deep learning image recognition technology that provides the parking location information and the free parking surface information through the parking lot map displayed through the application.
상기 영상 분석 서버가 상기 추출된 정보를 분석하여, 사용자의 차량의 주차위치 정보와 차량이 주차 가능한 여유 주차면 정보를 생성하는 정보 생성 단계; 및
서비스 제공 서버가 상기 영상 분석 서버로부터 상기 주차위치 정보와 상기 여유 주차면 정보를 수신하여 사용자 단말로 제공하는 정보 제공 단계;
를 포함하는 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 방법.
An information extraction step of extracting, by the image analysis server, the license plate information and the empty parking surface number from the CCTV image taken from the CCTV camera installed in the parking lot using the configured deep learning model;
an information generation step of generating, by the image analysis server, the extracted information, parking location information of the user's vehicle and information on a free parking surface in which the vehicle can be parked; and
an information providing step of a service providing server receiving the parking location information and the free parking surface information from the image analysis server and providing it to a user terminal;
A method of providing convenient parking service using deep learning image recognition technology, including
상기 정보추출 단계는,
상기 영상 분석 서버가 상기 CCTV 영상으로부터 복수개의 차량의 번호판의 문자, 주차면 표기 문자 또는 주차구역 표기 문자를 추출하는 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 방법.
8. The method of claim 7,
The information extraction step is
A parking convenience service providing method using a deep learning image recognition technology in which the image analysis server extracts the number plate characters, parking surface marking characters, or parking area marking characters from the CCTV image.
상기 정보추출 단계의 이전에,
영상 분석 서버가 데이터 셋(data set)을 이용해 학습하여 딥러닝 모델을 구성하는 딥러닝 학습 단계;
를 더 포함하는 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 방법.
8. The method of claim 7,
Before the information extraction step,
A deep learning learning step in which the image analysis server learns using a data set to configure a deep learning model;
A method of providing convenient parking service using deep learning image recognition technology that further includes.
상기 딥러닝 학습 단계는,
상기 영상 분석 서버가 상기 딥러닝 모델의 학습을 위하여 상기 CCTV 영상의 분류와 라벨링(labeling)을 수행하는 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 방법.
10. The method of claim 9,
The deep learning learning step is,
A parking convenience service providing method using a deep learning image recognition technology in which the image analysis server performs classification and labeling of the CCTV image for learning of the deep learning model.
상기 딥러닝 학습 단계는,
상기 영상 분석 서버가 분류에 사용할 학습 데이터와 테스트 데이터로 이루어진 데이터 셋(data set)을 구성하는 단계;
상기 영상 분석 서버가 상기 데이터 셋을 이용한 학습의 성능을 평가하여 상기 학습에 사용할 딥러닝 모델을 결정하는 단계; 및
상기 영상 분석 서버가 상기 딥러닝 모델을 수정하거나 새로운 딥러닝 알고리즘을 추가하여 딥러닝 모델을 구성하는 단계;
를 포함하는 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 방법.
10. The method of claim 9,
The deep learning learning step is,
configuring, by the image analysis server, a data set comprising training data and test data to be used for classification;
determining, by the image analysis server, a deep learning model to be used for the learning by evaluating the performance of learning using the data set; and
configuring, by the image analysis server, a deep learning model by modifying the deep learning model or adding a new deep learning algorithm;
A method of providing convenient parking service using deep learning image recognition technology, including
상기 딥러닝 학습 단계는,
상기 영상 분석 서버가 상기 딥러닝 모델을 이용해 학습, 평가 및 환경 설정을 반복하여 상기 딥러닝 모델을 구성하는 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 방법.
10. The method of claim 9,
The deep learning learning step is,
A parking convenience service providing method using a deep learning image recognition technology in which the image analysis server repeats learning, evaluation and environment setting using the deep learning model to configure the deep learning model.
상기 정보 제공 단계는,
상기 서비스 제공 서버가 상기 사용자 단말로 어플리케이션(application)의 다운로드 및 설치를 제공하는 단계; 및
상기 서비스 제공 서버가 상기 어플리케이션을 통해 표시되는 주차장 지도를 통해 상기 주차위치 정보와 상기 여유 주차면 정보를 제공하는 단계;
를 포함하는 딥러닝 영상인식 기술을 활용한 주차편의 서비스 제공 방법.
8. The method of claim 7,
The information providing step is
providing, by the service providing server, downloading and installation of an application to the user terminal; and
providing, by the service providing server, the parking location information and the free parking surface information through the parking lot map displayed through the application;
A method of providing convenient parking service using deep learning image recognition technology, including
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200183657A KR102636107B1 (en) | 2020-12-24 | 2020-12-24 | Method and system for providing parking convenience service using deep learning video recognition technology |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200183657A KR102636107B1 (en) | 2020-12-24 | 2020-12-24 | Method and system for providing parking convenience service using deep learning video recognition technology |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220092165A true KR20220092165A (en) | 2022-07-01 |
| KR102636107B1 KR102636107B1 (en) | 2024-02-08 |
Family
ID=82396641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200183657A KR102636107B1 (en) | 2020-12-24 | 2020-12-24 | Method and system for providing parking convenience service using deep learning video recognition technology |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102636107B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240080003A (en) | 2022-11-29 | 2024-06-05 | 주식회사 신라이앤씨 | Parking area recognition performance improvement system and method based on deep learning |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110105124A (en) * | 2010-03-18 | 2011-09-26 | 주식회사 제노프릭스 | Integrated system for parking guidance and parking lot management |
| KR101848019B1 (en) * | 2016-12-27 | 2018-04-11 | 아주대학교산학협력단 | Method and Apparatus for Detecting Vehicle License Plate by Detecting Vehicle Area |
| KR20190046616A (en) * | 2017-10-25 | 2019-05-07 | 주식회사 지엠케이정보통신 | Parking management system using intelligent image analysis and management method thereof |
| KR20190134018A (en) * | 2018-05-24 | 2019-12-04 | (주)이지정보기술 | Parking control method and system using intelligent CCTV with deep learning based image processing technology |
-
2020
- 2020-12-24 KR KR1020200183657A patent/KR102636107B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110105124A (en) * | 2010-03-18 | 2011-09-26 | 주식회사 제노프릭스 | Integrated system for parking guidance and parking lot management |
| KR101848019B1 (en) * | 2016-12-27 | 2018-04-11 | 아주대학교산학협력단 | Method and Apparatus for Detecting Vehicle License Plate by Detecting Vehicle Area |
| KR20190046616A (en) * | 2017-10-25 | 2019-05-07 | 주식회사 지엠케이정보통신 | Parking management system using intelligent image analysis and management method thereof |
| KR20190134018A (en) * | 2018-05-24 | 2019-12-04 | (주)이지정보기술 | Parking control method and system using intelligent CCTV with deep learning based image processing technology |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240080003A (en) | 2022-11-29 | 2024-06-05 | 주식회사 신라이앤씨 | Parking area recognition performance improvement system and method based on deep learning |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102636107B1 (en) | 2024-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019223586A1 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
| CN109509365B (en) | Vehicle information error correction method and system and handheld mobile terminal device | |
| CN110942663B (en) | Monitoring distribution guiding method and system for parking lot | |
| CN110853391A (en) | Intelligent shared parking system | |
| US20150063646A1 (en) | On-street parking management methods and systems for identifying a vehicle via a camera and mobile communications devices | |
| CN108230720A (en) | Parking management method and device | |
| CN111951600B (en) | Parking space and vehicle identification information automatic matching method and parking system | |
| JP2018180618A (en) | Parking place, parking place management system, and parking place management method | |
| KR20210090624A (en) | Data distribution systems, sensor devices and servers | |
| US20210403053A1 (en) | Method for calling a vehicle to user's current location | |
| CN115049057A (en) | Model deployment method and device, electronic equipment and storage medium | |
| Salma et al. | Smart parking guidance system using 360o camera and haar-cascade classifier on iot system | |
| KR20220092165A (en) | Method and system for providing parking convenience service using deep learning video recognition technology | |
| CN115063746A (en) | Vehicle warehousing management method and device, computer equipment and storage medium | |
| CN108597040B (en) | Parking fee charging method, device, system and computer readable storage medium | |
| CN109903308B (en) | Method and device for acquiring information | |
| CN117558154A (en) | Data sharing method based on identification analysis, intelligent parking and vehicle taking management method | |
| CN108847052B (en) | Parking position determining method, device, system and computer readable medium | |
| KR102064776B1 (en) | Vehicle database management system for manless parking lot and method thereof | |
| CN110779533B (en) | Navigation method, system and electronic equipment | |
| KR20130025052A (en) | Performance evaluation system and method for bus information system | |
| CN111627242B (en) | Fusion positioning method for parking spaces in indoor parking garage | |
| CN111275006A (en) | Information interaction method, device and system, mobile device and electronic device | |
| KR102650518B1 (en) | System for providing resident checking service using car number | |
| CN106530793B (en) | A kind of car searching method and seek vehicle system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |