KR102435119B1 - Machine learning-based parking support device and method - Google Patents
Machine learning-based parking support device and method Download PDFInfo
- Publication number
- KR102435119B1 KR102435119B1 KR1020200073156A KR20200073156A KR102435119B1 KR 102435119 B1 KR102435119 B1 KR 102435119B1 KR 1020200073156 A KR1020200073156 A KR 1020200073156A KR 20200073156 A KR20200073156 A KR 20200073156A KR 102435119 B1 KR102435119 B1 KR 102435119B1
- Authority
- KR
- South Korea
- Prior art keywords
- parking
- driver
- information
- parking lot
- vehicle
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
- G08G1/146—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 머신 러닝에 기반하여 동작하는 주차 지원 장치를 제공한다. 본 발명은 실시 예에 따른 주차 지원 장치는 프로세서 및 메모리를 포함한다. 메모리는 프로세서에 의해 실행 가능한 명령어들을 저장한다. 프로세서는 명령어들을 실행함으로써, 주차장에 들어오는 타겟 차량에 대한 차량 정보와 타겟 차량의 운전자에 대한 운전자 정보에 기초하여, 타겟 차량을 주차하기 위한 최소 공간에 대한 정보를 획득하고, 최소 공간에 대한 정보에 기초하여, 주차장 내의 빈 주차 공간들 중 최소 공간 보다 큰 후보 주차 공간들에 대한 정보를 획득하고, 후보 주차 공간들에 대한 정보를 포함하는 입력 데이터를 제 1 머신 러닝(machine learning) 모델에 입력하여 제 1 머신 러닝 모델의 출력 데이터로부터 주차 공간들 각각에 대한 운전자의 선호도를 획득하고, 선호도에 기초하여, 주차 공간들 중 운전자에게 추천하기 위한 최종 주차 공간을 선택한다.The present invention provides a parking assistance device that operates based on machine learning. A parking assistance apparatus according to an embodiment of the present invention includes a processor and a memory. The memory stores instructions executable by the processor. By executing the instructions, the processor obtains information on the minimum space for parking the target vehicle based on vehicle information on the target vehicle entering the parking lot and driver information on the driver of the target vehicle, and includes information on the minimum space. Based on the obtained information on candidate parking spaces larger than the minimum space among empty parking spaces in the parking lot, input data including information on the candidate parking spaces is input to the first machine learning model, A driver's preference for each of the parking spaces is obtained from the output data of the first machine learning model, and a final parking space for recommendation to the driver among the parking spaces is selected based on the preference.
Description
본 발명은 주차 지원 장치에 관한 것으로, 좀 더 상세하게는 머신 러닝에 기반하여 동작하는 주차 지원 장치에 관한 것이다.The present invention relates to a parking assistance apparatus, and more particularly, to a parking assistance apparatus operating based on machine learning.
최근 차량 보급률이 급증하면서, 주차장 수와 주차장의 규모 또한 크게 확대되었다. 주차장의 규모가 커짐에 따라, 운전자가 주차 공간을 한 눈에 파악할 수 없게 되었음은 물론이고, 운전자가 주차 공간을 찾기 위해 주차장을 헤매는 시간이 늘어나게 되었다. With the recent rapid increase in vehicle penetration, the number of parking lots and the size of the parking lots have also greatly expanded. As the size of the parking lot increases, the driver is unable to identify the parking space at a glance, and the time the driver wanders through the parking lot to find a parking space increases.
이에 따라, 대형 마트나 쇼핑몰에서는 LED 등(Light Emitting Diode Lamp)을 이용하여 빈 공간을 표시해주거나, 빈 공간의 위치를 알려주는 서비스들을 제공하고 있다. 그러나, 이러한 서비스들은 차량의 크기(구체적으로, 차량의 바운딩 박스(Bounding Box))를 고려하지 않고 단순히 빈 공간만을 지시해주는 것이어서, 지시된 빈 공간에 운전자의 차량이 들어가지 못하는 상황이 빈번하게 발생한다. 또한, 기존 시스템들은 트렁크를 열 공간이 확보되어야 한다거나, 마트 입구에 가까워야 한다는 운전자의 선호도를 고려하지 않으므로, 결국에는 운전자가 다시 자신이 원하는 주차 공간을 찾아야 되는 문제가 발생한다.Accordingly, large marts and shopping malls provide services for displaying empty spaces using LEDs (Light Emitting Diode Lamps) or notifying the location of empty spaces. However, since these services simply indicate an empty space without considering the size of the vehicle (specifically, the vehicle's bounding box), a situation in which the driver's vehicle cannot enter the indicated empty space frequently occurs. do. In addition, the existing systems do not take into account the driver's preference for having a space to open the trunk or being close to the entrance of a mart, resulting in a problem that the driver has to find a desired parking space again.
본 발명은 상술된 기술적 과제를 해결하기 위한 것으로써, 본 발명의 목적은 주차장의 상황이 실시간으로 반영되는 디지털 트윈을 구축하고, 이를 이용하여 운전자의 취향에 맞으면서 주차장의 효율을 높일 수 있는 주차 공간을 추천해주는 머신 러닝 기반 주차 지원 장치 및 방법을 제공하는 데 있다.The present invention is to solve the above-described technical problem, and an object of the present invention is to build a digital twin in which the situation of the parking lot is reflected in real time, and by using it, it is possible to increase the efficiency of the parking lot while meeting the taste of the driver. It is to provide a machine learning-based parking assistance device and method that recommends a space.
본 발명의 실시 예에 따른 주차 지원 장치는 프로세서 및 메모리를 포함할 수 있다. 메모리는 프로세서에 의해 실행 가능한 명령어들을 저장할 수 있다. 프로세서는 명령어들을 실행함으로써, 주차장에 들어오는 타겟 차량에 대한 차량 정보와 타겟 차량의 운전자에 대한 운전자 정보에 기초하여, 타겟 차량을 주차하기 위한 최소 공간에 대한 정보를 획득하고, 최소 공간에 대한 정보에 기초하여, 주차장 내의 빈 주차 공간들 중 최소 공간 보다 큰 후보 주차 공간들에 대한 정보를 획득하고, 후보 주차 공간들에 대한 정보를 포함하는 입력 데이터를 제 1 머신 러닝(machine learning) 모델에 입력하여 제 1 머신 러닝 모델의 출력 데이터로부터 주차 공간들 각각에 대한 운전자의 선호도를 획득하고, 선호도에 기초하여, 주차 공간들 중 운전자에게 추천하기 위한 최종 주차 공간을 선택할 수 있다. The parking assistance apparatus according to an embodiment of the present invention may include a processor and a memory. The memory may store instructions executable by the processor. By executing the instructions, the processor obtains information on the minimum space for parking the target vehicle, based on the vehicle information on the target vehicle entering the parking lot and the driver information on the driver of the target vehicle, and includes information on the minimum space. Based on the obtained information on candidate parking spaces larger than the minimum space among the empty parking spaces in the parking lot, input data including information on the candidate parking spaces is input to the first machine learning model, A driver's preference for each of the parking spaces may be obtained from the output data of the first machine learning model, and a final parking space to be recommended to the driver among the parking spaces may be selected based on the preference.
본 발명의 일 실시 예에 따른 주차장 내의 주차 공간을 추천해주는 주차 지원 방법은, 주차 지원 장치에 의해, 주차장에 위치하는 입출력 장치로부터 수신되는 주차장에 대한 정보에 기초하여, 주차장에 대응하는 구조를 갖고 주차장의 상황이 실시간으로 반영되는 가상 주차장을 구축하는 단계, 주차 지원 장치에 의해, 가상 주차장으로부터 주차장 내의 빈 주차 공간들 중 훈련 차량의 최소 공간보다 큰 후보 주차 공간들에 대한 정보를 획득하는 단계, 후보 주차 공간들에 대한 정보를 포함하는 훈련 데이터에 주차 공간들 각각에 대한 훈련 차량의 훈련 운전자의 훈련 선호도를 라벨링하고, 타겟 주차 공간에 대한 입력 데이터가 수신되는 경우 타겟 주차 공간에 대한 타겟 운전자의 선호도를 출력하도록 라벨링된 훈련 데이터를 이용하여 머신 러닝 모델을 훈련시키는 단계, 및 머신 러닝 모델의 출력 데이터에 기초하여, 주차 공간들 중 최종 주차 공간을 추천할 수 있다.The parking support method for recommending a parking space in a parking lot according to an embodiment of the present invention has a structure corresponding to the parking lot based on the information about the parking lot received from the input/output device located in the parking lot by the parking support device Building a virtual parking lot in which the situation of the parking lot is reflected in real time, by the parking assistance device, obtaining information about candidate parking spaces larger than the minimum space of the training vehicle among the empty parking spaces in the parking lot from the virtual parking lot; A training preference of a training driver of the training vehicle for each of the parking spaces is labeled in training data including information on candidate parking spaces, and when input data for the target parking space is received, the target driver's training the machine learning model using the labeled training data to output a preference, and based on the output data of the machine learning model, it is possible to recommend a final parking space among parking spaces.
본 발명의 일 실시 예에 따른 주차장 내의 주차 공간을 추천해주는 주차 지원 방법은, 주차장에 위치하는 입출력 장치에 의해, 주차장에 들어오는 타겟 차량에 대한 차량 정보 및 타겟 차량의 운전자에 대한 운전자 정보를 획득하는 단계, 주차 지원 장치에 의해, 주차장 내의 빈 주차 공간들 중 타겟 차량을 주차하기 위한 최소 공간보다 큰 후보 주차 공간들을 선정하는 단계, 및 주차 지원 장치에 의해, 후보 주차 공간들에 대한 정보를 포함하는 입력 데이터를 머신 러닝 모델에 입력하여 후보 주차 공간들 각각에 대한 운전자의 선호도를 획득하고, 운전자의 선호도에 기초하여 후보 주차 공간들 중 최종 주차 공간을 결정하는 단계를 포함할 수 있다.A parking support method for recommending a parking space in a parking lot according to an embodiment of the present invention, by an input/output device located in the parking lot, obtains vehicle information on a target vehicle entering the parking lot and driver information on the driver of the target vehicle selecting, by the parking assistance device, candidate parking spaces larger than the minimum space for parking the target vehicle among empty parking spaces in the parking lot, and by the parking assistance device, including information on candidate parking spaces inputting the input data into the machine learning model to obtain a driver's preference for each of the candidate parking spaces, and determining a final parking space among the candidate parking spaces based on the driver's preference.
본 발명은 주차장의 상황이 실시간으로 반영되는 디지털 트윈을 구축할 수 있다. 본 발명은 운전자 정보, 차량 정보 등을 고려하여 차량의 바운딩 박스를 결정할 수 있다. 본 발명은 차량의 바운딩 박스, 운전자 정보, 차량 정보 등에 기초하여 학습된 머신 러닝 모델 및 회귀 분석 모델을 디지털 트윈 상에서 실행하여, 운전자의 취향에 맞으면서 주차장의 효율을 높일 수 있는 주차 공간을 최종적으로 선택할 수 있다.The present invention can build a digital twin in which the situation of the parking lot is reflected in real time. The present invention may determine a vehicle's bounding box in consideration of driver information, vehicle information, and the like. The present invention executes a machine learning model and a regression analysis model learned based on the vehicle's bounding box, driver information, vehicle information, etc. on a digital twin to finally create a parking space that can improve the efficiency of the parking lot while meeting the driver's taste You can choose.
또한, 본 발명은 디지털 트윈을 이용하여 운전자에게 주차 공간의 위치를 안내해줄 수 있다. 따라서, 운전자는 넓은 주차장에서도, 자신의 취향에 맞는 주차 공간을 보다 쉽게 찾을 수 있다. In addition, the present invention can guide the driver to the location of a parking space using a digital twin. Accordingly, the driver can more easily find a parking space suitable for his/her taste, even in a large parking lot.
도 1은 본 발명의 일 실시 예에 따른 머신 러닝 기반 주차 지원 시스템을 도시하는 블록도이다.
도 2는 본 발명의 다른 실시 예에 따른 머신 러닝 기반 주차 지원 시스템을 도시하는 블록도이다.
도 3은 도 1의 주차 공간 분석 서버(200)에서 가상 주차장 모델을 구축하는 동작을 설명하기 위한 흐름도이다.
도 4는 도 1의 디지털 트윈 구축부(220)에 의해 생성된 가상 주차장을 보여주는 개념도이다.
도 5는 도 1의 주차 공간 분석 서버(200)에서 후보 주차 공간들을 선정하는 동작을 설명하기 위한 흐름도이다.
도 6은 도 1의 주차 지원 시스템(10)이 차량에 대한 정보를 수집하는 방법을 설명하기 위한 개념도이다.
도 7은 운전자의 승하차 동작에 따른 차량의 바운딩 박스를 설명하기 위한 개념도이다.
도 8은 운전자의 승하차 동작에 따른 차량의 바운딩 박스를 설명하기 위한 개념도이다.
도 9는 도 1의 최종 결정부(250)의 구성을 설명하기 위한 블록도이다.
도 10은 도 9의 선호도 계산부(251)의 머신 러닝을 설명하기 위한 개념도이다.
도 11은 도 9의 선호도 계산부(251)의 동작을 설명하기 위한 흐름도이다.
도 12는 도 9의 효율 개선도 계산부(252)의 동작을 설명하기 위한 흐름도이다.
도 13은 도 1의 주차 지원 시스템(10)에 의해 제공되는 주차 공간에 대한 정보를 보여주는 개념도이다.
도 14는 본 발명의 실시 예에 따른 주차 지원 장치의 구성을 보여주는 블록도이다.1 is a block diagram illustrating a machine learning-based parking assistance system according to an embodiment of the present invention.
2 is a block diagram illustrating a machine learning-based parking assistance system according to another embodiment of the present invention.
FIG. 3 is a flowchart for explaining the operation of building a virtual parking lot model in the parking
4 is a conceptual diagram illustrating a virtual parking lot created by the digital
5 is a flowchart illustrating an operation of selecting candidate parking spaces in the parking
FIG. 6 is a conceptual diagram for explaining a method in which the parking assistance system 10 of FIG. 1 collects information about a vehicle.
7 is a conceptual diagram for explaining a bounding box of a vehicle according to a driver's getting on and off.
8 is a conceptual diagram for explaining a bounding box of a vehicle according to a driver's getting on and off.
FIG. 9 is a block diagram for explaining the configuration of the
FIG. 10 is a conceptual diagram for explaining machine learning of the
11 is a flowchart for explaining the operation of the
12 is a flowchart for explaining the operation of the efficiency
13 is a conceptual diagram showing information on a parking space provided by the parking assistance system 10 of FIG. 1 .
14 is a block diagram illustrating a configuration of a parking assistance apparatus according to an embodiment of the present invention.
이하에서, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다.Hereinafter, embodiments of the present invention will be described clearly and in detail to the extent that those skilled in the art can easily practice the present invention.
본 명세서에서, “가상 주차장”은 실제 주차장을 가상화한 디지털 트윈일 수 있다. 본 명세서에서, 실제 주차장은 현실 세계의 주차장을 의미하고, 가상 주차장은 실제 주차장과 동일한 구조를 가지고 있으며 실제 주차장의 상황이 실시간으로 반영되는 가상 세계의 주차장을 의미한다. “실제 주차장의 구조”는 실제 주차장이 보유하는 주차 면수, 주차 면의 크기, 실제 주차장의 층 수, 실제 주차장의 모양 등을 의미한다. “실제 주차장의 상황”은 실제 주차장에서 차량들의 위치, 차량들의 종류, 보행자들의 위치, 사용가능한 주차 공간 등을 의미한다. 가상 주차장에는 실제 주차장에 주차된 차량들에 대응하는 차량 아이콘들이 실제 주차장에 주차된 대로 배치될 수 있다. 가상 주차장은 3D 형태의 디지털 트윈일 수 있으나, 본 발명은 이에 한정되지 않는다. In this specification, a “virtual parking lot” may be a digital twin virtualizing an actual parking lot. In this specification, the real parking lot means a parking lot in the real world, and the virtual parking lot has the same structure as the real parking lot and means a parking lot in the virtual world in which the situation of the actual parking lot is reflected in real time. “Structure of the actual parking lot” refers to the number of parking areas possessed by the actual parking lot, the size of the parking area, the number of floors in the actual parking lot, and the shape of the actual parking lot. “Actual parking lot situation” means the location of vehicles in the actual parking lot, types of vehicles, location of pedestrians, available parking space, etc. In the virtual parking lot, vehicle icons corresponding to vehicles parked in the actual parking lot may be arranged as they are parked in the actual parking lot. The virtual parking lot may be a 3D digital twin, but the present invention is not limited thereto.
본 명세서에서, “타겟 차량”은 주차를 위해 실제 주차장에 들어오는 차량일 수 있다. 본 발명은 이에 한정되지 않고, 타겟 차량은 본 발명으로부터 주차 지원 서비스를 받는 대상일 수 있다. In the present specification, a “target vehicle” may be a vehicle entering an actual parking lot for parking. The present invention is not limited thereto, and the target vehicle may be a target receiving a parking assistance service from the present invention.
본 명세서에서, “운전자 정보”는 운전자, 운전자의 상황, 주차 공간에 대한 운전자의 선호도, 운전자의 승하차 동작, 운전자의 과거 주차 이력, 운전자의 과거 운전 이력 등에 관한 정보를 포함할 수 있다. 구체적으로, 운전자에 대한 정보는 운전자의 성별, 운전자의 나이, 운전자의 키 등에 대한 정보일 수 있다. 운전자의 상황에 대한 정보는 운전자가 현재 아기를 데리고 있어 유모차가 내릴 수 있을 정도의 주차 공간이 필요하다거나, 트렁크를 열 수 있을 정도의 주차 공간이 필요하다거나, 다리를 다쳐 마트 입구와 가까운 곳에 주차를 해야한다는 것과 유사한 정보일 수 있다. 운전자의 선호도에 대한 정보는 운전자가 어느 곳에 위치하는 주차 공간을 선호하는지, 어느 정도 크기의 주차 공간을 선호하는지 등에 대한 정보일 수 있다. 운전자의 승하차 동작에 대한 정보는 운전자가 차량에 승차 또는 하차할 때, 차량의 도어들 중 어떤 도어를 어느정도 여는지에 대한 정보일 수 있다. 이하 명세서에서, 운전자는 차량을 실제로 운전하는 사람뿐만 아니라 차량에 탑승한 사람을 의미할 수 있다.As used herein, “driver information” may include information about the driver, the driver's situation, the driver's preference for a parking space, the driver's getting on and off, the driver's past parking history, the driver's past driving history, and the like. Specifically, the information about the driver may be information about the driver's gender, the driver's age, the driver's height, and the like. Information on the driver's situation is that the driver is currently carrying a baby, so there is enough parking space for a stroller to get off, a parking space large enough to open the trunk, or a place close to the mart entrance due to a leg injury. It could be information similar to having to park. The information on the driver's preference may be information on whether the driver prefers a parking space located in a location, a parking space of what size, and the like. The information on the driver's getting on and off operation may be information on which door of the vehicle is opened to some extent when the driver gets on or off the vehicle. In the following specification, a driver may mean not only a person who actually drives the vehicle but also a person who rides the vehicle.
본 명세서에서, “차량 정보”는 차량의 종류, 차량의 크기, 차량의 특수한 기능 또는 구조, 차량의 바운딩 박스 등에 대한 정보일 수 있다. 바운딩 박스는 3D 객체의 형태를 모두 포함할 수 있는 최소 크기의 박스를 의미한다. 본 명세서에서 차량의 바운딩 박스는 차량의 최소 공간으로 표현될 수도 있다.In this specification, “vehicle information” may be information about a type of vehicle, a size of the vehicle, a special function or structure of the vehicle, a bounding box of the vehicle, and the like. The bounding box refers to a box with a minimum size that can include all shapes of 3D objects. In the present specification, the bounding box of the vehicle may be expressed as the minimum space of the vehicle.
본 명세서에서, “주차장 정보”는 실제 주차장의 구조, 실제 주차장의 상황, 가상 주차장 모델 등에 대한 정보를 포함할 수 있다. 실제 주차장의 구조에 대한 정보는 실제 주차장의 주차 공간, 기둥, 차량, 타겟 장소의 입구, 실제 주차장의 입구와 출구 등 실제 주차장의 구성물 및 구조물들의 모양 및 위치 등에 대한 정보일 수 있다. “타겟 장소”는 운전자가 타겟 차량을 주차한 후 가고자 하는 목적지(예로서, 쇼핑몰, 병원 등)일 수 있다. 실제 주차장의 상황에 대한 정보는 현재 빈 주차 공간들, 현재 이동 중인 차량들, 현재 주차 중인 차량들 등에 대한 정보일 수 있다. In this specification, "parking lot information" may include information about the structure of the actual parking lot, the situation of the actual parking lot, a virtual parking lot model, and the like. The information on the structure of the actual parking lot may be information about the shape and location of the actual parking lot's components and structures, such as the parking space of the actual parking lot, pillars, vehicles, the entrance of the target location, and the entrance and exit of the actual parking lot. The “target location” may be a destination (eg, a shopping mall, a hospital, etc.) to which the driver wants to go after parking the target vehicle. The information on the actual parking lot situation may be information on currently empty parking spaces, vehicles currently moving, vehicles currently parked, and the like.
도 1은 본 발명의 일 실시 예에 따른 머신 러닝 기반 주차 지원 시스템을 도시하는 블록도이다.1 is a block diagram illustrating a machine learning-based parking assistance system according to an embodiment of the present invention.
주차 지원 시스템(10)은 실제 주차장에 기반하는 가상 주차장을 구축할 수 있다. 주차 지원 시스템(10)은 클라우드(cloud) 환경에서 가상 주차장을 구축할 수 있다. 가상 주차장은 실제 주차장의 구조 및 상황 등이 반영된 레이아웃 형태로 구축될 수 있다. 따라서, 사용자들은 하나 이상의 서버를 통해 주차 지원 시스템(10) 상의 가상 주차장에 접근할 수 있다. 다만, 본 발명은 이에 한정되지 않고, 주차 지원 시스템(10)은 자체적인 서버를 이용하여 가상 주차장을 구축할 수도 있다. The parking assistance system 10 may build a virtual parking lot based on an actual parking lot. The parking assistance system 10 may build a virtual parking lot in a cloud environment. The virtual parking lot may be constructed in the form of a layout in which the structure and situation of the actual parking lot are reflected. Accordingly, users may access the virtual parking lot on the parking assistance system 10 via one or more servers. However, the present invention is not limited thereto, and the parking support system 10 may build a virtual parking lot using its own server.
주차 지원 시스템(10)은 입출력 장치(100), 주차 공간 분석 서버(200) 및 진단 정보 DB(300)를 포함할 수 있다. 다만, 본 발명은 이에 한정되지 않고, 주차 지원 시스템(10)은 도 1에 도시되지 않은 구성을 더 포함하거나, 도 1에 도시된 구성들 중 일부(예로서, 입출력 장치(100))를 포함하지 않을 수도 있다. 주차 지원 시스템(10)은 임베디드 보드, 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, PDA, 랩톱, 차량, 미디어 플레이어, 마이크로 서버, GPS 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치로 구현될 수 있으나, 이에 제한되지 않는다. 주차 지원 시스템(10)이 컴퓨팅 장치로 구현되는 경우, 진단 정보 DB(300)는 컴퓨팅 장치 내의 메모리로 구현될 수도 있다. 본 명세서에서 주차 지원 장치는 주차 공간 분석 서버(200) 및 진단 정보 DB(300)를 포함하는 장치 및/또는 시스템을 의미한다. 주차 지원 장치는 주차 지원 시스템(10)에서 제공하는 동작들 및 서비스를 제공할 수 있다. The parking assistance system 10 may include an input/
주차 공간 분석 서버(200)는 입출력 장치(100)를 통해, 운전자 정보, 차량 정보 및 주차장 정보를 획득할 수 있다. 주차 공간 분석 서버(200)는 운전자 정보, 차량 정보 및 주차장 정보에 기초하여, 운전자에게 주차 공간을 추천해줄 수 있다. 다만, 본 발명은 이에 한정되지 않고, 주차 공간 분석 서버(200)는 운전자 정보, 차량 정보 및 주차장 정보를 입출력 장치(100) 및/또는 진단 정보 DB(300)로부터 획득할 수도 있다. 예로서, 사용자는 사전에 운전자 정보, 차량 정보 및 주차장 정보를 진단 정보 DB(300)에 입력할 수 있다. 주차 공간 분석 서버(200)는 진단 정보 DB(300)로부터 사전에 입력된 운전자 정보, 차량 정보 및 주차장 정보를 획득할 수 있다. 주차 공간 분석 서버(200)는 실시간 운전자 정보, 차량 정보 및 주차장 정보를 입출력 장치(100)로부터 획득할 수 있다. 도 1을 참조하여서는, 무선 단말, 카메라, 자동차만 표시되었지만, 본 발명은 이에 한정되지 않는다. 입출력 장치(100)는 주차장 또는 차량에 대한 정보를 수집하기 위한 다양한 카메라, 차량 감지 센서(예로서, CARDET), DBU(Data Base Unit), SIU(Sensor Interface Unit), 유무선 통신 장치 등 중 적어도 하나를 포함할 수 있다. The parking
구체적으로, 운전자는 자신의 무선 단말을 통해, 차량 정보 및/또는 운전자 정보를 입력할 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 주차 공간 분석 서버(200)는 운전자로부터 정보를 입력 받는 과정 없이, 이미지 및/또는 영상 인식을 통해 상기 정보들을 도출할 수 있다. Specifically, the driver may input vehicle information and/or driver information through his/her wireless terminal. However, the present invention is not limited thereto, and the parking
주차 공간 분석 서버(200)는 주차장에 설치된 센서(예로서, 카메라, CCTV)로부터 수신되는 이미지 또는 동영상을 분석하여, 차량 정보, 운전자 정보 및 주차장 정보를 획득할 수 있다. 이 때, 주차 공간 분석 서버(200)는 이미지 또는 동영상을 분석하기 위해, 컨볼루션 신경망들(convolutional neural networks, CNN)을 이용할 수 있다. 주차 공간 분석 서버(200)는 주차장이 촬영된 이미지 또는 동영상을 실시간으로 입력 받을 수 있고, 이를 이용하여 실제 주차장의 구조에 대한 정보를 획득하고 가상 주차장을 구축할 수 있다. 또한, 주차 공간 분석 서버(200)는 주차장에 들어오는 타겟 차량 및/또는 운전자가 촬영된 이미지 또는 동영상을 실시간으로 입력 받을 수 있고, 이에 기초하여 타겟 차량 및/또는 운전자를 분석할 수 있다. The parking
뿐만 아니라, 주차 공간 분석 서버(200)는 위에서 언급된 방법 외의 다양한 방법으로 차량 정보, 운전자 정보 및 주차장 정보를 획득할 수 있다.In addition, the parking
주차 공간 분석 서버(200)는 인터페이스(210), 디지털 트윈 구축부(220), 센싱 정보 분석부(230), 후보 선정부(240), 최종 결정부(250), 주차 유도 가시화부(260) 및 제어부(270)를 포함할 수 있다. 본 명세서에서 “~부” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 주차 공간 분석 서버(200)가 전자 장치로 구현되는 경우, 전자 장치 내의 프로세서는 구성들(220~270) 각각의 동작을 제공할 수 있다. 이 경우, 프로세서는 구성들(220~270) 각각의 동작을 제공하도록 프로그램될 수 있다. The parking
주차 공간 분석 서버(200)는 인터페이스(210)를 통해 입출력 장치(100)와 통신할 수 있다. 주차 공간 분석 서버(200)는 인터페이스(210)를 통해 입출력 장치(100)로부터 차량 정보, 운전자 정보 및 주차장 정보를 수신할 수 있다. The parking
디지털 트윈 구축부(220)는 인터페이스(210)를 통해 입력되는 정보에 기초하여, 실제 주차장이 반영된 레이아웃을 구성할 수 있다. “실제 주차장이 반영된 레이아웃”은 실제 주차장에 포함된 구성들에 대응하는 아이콘들이 주차 공간 분석 서버(200) 상에 생성된 가상 주차장에 실제 주차장의 구조대로 배치된 것을 의미한다.The digital
디지털 트윈 구축부(220)는 인터페이스(210)를 통해 입력되는 정보에 기초하여, 자동으로 레이아웃을 생성할 수 있다. 진단 정보 DB(300)는 실제 주차장의 구조물, 구성들에 대응하는 아이콘들에 대한 정보를 저장할 수 있다. 디지털 트윈 구축부(220)는 인터페이스(210)를 통해 입력되는 정보와 진단 정보 DB(300)에 저장된 정보에 기초하여, 실제 주차장의 구조에 따라 가상 주차장에 아이콘들을 배치할 수 있다. 본 발명은 이에 한정되지 않고, 사용자가 화면에 표시된 아이콘들을 클릭(click) 또는 드래그(drag)하여, 주차 공간 분석 서버(200) 상에 레이아웃을 생성할 수도 있다. 이 경우, 주차 공간 분석 서버(200)는 인터페이스(210)로부터 실제 주차장에 관한 정보를 수신하는 과정 없이 사용자에 의해 형성된 레이아웃으로부터 실제 주차장에 관한 정보를 획득할 수도 있다. The digital
주차 공간 분석 서버(200)는 디지털 트윈 구축부(220)에서 생성된 가상 주차장 모델에 대한 정보를 진단 정보 DB(300)에 저장할 수 있다. 주차 공간 분석 서버(200)는 필요한 경우, 진단 정보 DB(300)로부터 가상 주차장 모델에 대한 정보를 획득할 수 있다. 가상 주차장 모델에 대한 정보는 진단 정보 DB(300)의 주차장 정보가 저장되는 섹션에 저장될 수 있다.The parking
센싱 정보 분석부(230)는 인터페이스(210)를 통해 입력되는 센싱 정보를 분석하여, 디지털 트윈 구축부(220)에 의해 생성된 가상 주차장에 실제 주차장의 상황을 실시간으로 반영할 수 있다. 또한, 센싱 정보 분석부(230)는 인터페이스(210)를 통해 입력되는 센싱 정보를 분석하여, 운전자에게 주차 공간을 추천하기 위해 필요한 정보를 생성할 수 있다. The sensing
센싱 정보 분석부(230)는 영상 분석 알고리즘을 이용하여 입출력 장치(100)에 의해 촬영된 이미지 및/또는 영상을 분석할 수 있다. 예로서, 센싱 정보 분석부(230)는 주차장이 촬영된 이미지 및/또는 영상을 영상 분석 알고리즘에 입력하여, 주차장 내의 빈 주차 공간의 위치, 모양 등에 대한 주차장 정보를 획득할 수 있다. 다른 예로서, 센싱 정보 분석부(230)는 타겟 차량이 촬영된 이미지 및/또는 영상을 영상 분석 알고리즘에 입력하여, 타겟 차량의 종류, 타겟 차량의 크기 등에 대한 차량 정보, 운전자의 성별 등에 대한 운전자 정보를 획득할 수도 있다. 센싱 정보 분석부(230)에서 이용되는 영상 분석 알고리즘은 컨볼루션 신경망에 기반하는 알고리즘일 수 있으나, 이에 한정되지는 않는다. The
센싱 정보 분석부(230)는 이미지를 분석하여 일부 정보를 획득하고, 일부 정보를 이용하여 진단 정보 DB(300)로부터 나머지 정보를 획득할 수도 있다. 예로서, 센싱 정보 분석부(230)는 이미지를 분석하여 타겟 차량에 대한 정보를 획득하고, 진단 정보 DB(300)에서 타겟 차량의 운전자에 대한 정보를 획득할 수 있다. The
센싱 정보 분석부(230)는 입출력 장치(100)에 의해 촬영된 이미지 또는 영상을 분석하여 타겟 차량의 바운딩 박스에 대한 정보를 생성할 수 있다. 구체적으로, 센싱 정보 분석부(230)는 운전자의 승하차 동작에 따른 타겟 차량의 바운딩 박스에 대한 정보를 생성할 수 있다. 다만 본 발명은 이에 한정되지 않고, 센싱 정보 분석부(230)는 입출력 장치(100)에 의해 촬영된 이미지 또는 영상을 분석하여 진단 정보 DB(300)로부터 타겟 차량의 차종과 이에 대응하는 타겟 차량의 바운딩 박스에 대한 정보를 획득할 수도 있다. The
바운딩 박스는 3D 객체의 형태를 모두 포함할 수 있는 최소 크기의 박스를 의미한다. 운전자의 승하차 동작에 대응하는 차량의 바운딩 박스는 운전자의 승하차 동작에 의해 조작된 차량의 3D 형태를 모두 포함할 수 있는 바운딩 박스를 의미할 수 있다. 운전자의 승하차 동작은 운전자가 차량에 승차 또는 하차 할 때, 차량의 도어들(예로서, 양측 도어들, 트렁크 도어) 중 어느 도어를 어느 정도 여는지를 나타낼 수 있다. 즉, 운전자의 승하차 동작에 대응하는 차량의 바운딩 박스는 운전자의 승하차 동작에 의해 하나 이상의 도어가 최대로 열린 상태의 차량의 바운딩 박스를 의미한다. 따라서, 차량은 운전자의 승하차 동작에 따라 다양한 크기의 바운딩 박스들을 가질 수 있다.The bounding box refers to a box with a minimum size that can include all shapes of 3D objects. The vehicle's bounding box corresponding to the driver's getting on and off may mean a bounding box that may include all 3D shapes of the vehicle manipulated by the driver's getting on and off. The driver's getting on and off operation may indicate to what extent the driver opens any of the doors of the vehicle (eg, both doors and the trunk door) when the driver gets in or out of the vehicle. That is, the vehicle's bounding box corresponding to the driver's getting on and off means the vehicle's bounding box in a state in which one or more doors are maximally opened by the driver's getting on and off. Accordingly, the vehicle may have bounding boxes of various sizes according to the driver's getting on and off.
센싱 정보 분석부(230)는 영상 분석 알고리즘(예로서, 컨볼루션 신경망 알고리즘)을 통해 이미지에서 벡터들을 추출하고, 벡터들을 조합하여 바운딩 박스를 생성할 수 있다. 여기에서 생성된 바운딩 박스는 직육면체일 수 있으나, 이에 제한되지 않으며 다양한 형태일 수 있다. 주차 공간 분석 서버(200)는 센싱 정보 분석부(230)에서 생성된 바운딩 박스에 대한 정보를 진단 정보 DB(300)에 저장할 수 있다. The
후보 선정부(240)는 주차장 정보, 운전자 정보 및 차량 정보에 기초하여, 주차장의 빈 주차 공간들 중 후보 주차 공간들을 선정할 수 있다. 후보 선정부(240)는 진단 정보 DB(300)에 저장된 주차장 정보 및/또는 디지털 트윈 구축부(220)에서 생성된 가상 주차장 모델로부터 빈 주차 공간들에 대한 정보를 획득할 수 있다. The
후보 선정부(240)는 운전자 정보 및 차량 정보에 기초하여, 센싱 정보 분석부(230)에서 생성된 타겟 차량의 바운딩 박스들 중 최종 바운딩 박스를 선정할 수 있다. 후보 선정부(240)는 빈 주차 공간들 중 최종 바운딩 박스보다 큰 주차 공간들을 후보 주차 공간들로 선정할 수 있다. 구체적으로, 후보 선정부(240)는 운전자의 하나 이상의 승하차 동작들 중 하나의 승하차 동작을 선택하고, 선택된 승하차 동작에 대응하는 바운딩 박스를 최종 바운딩 박스로 선정할 수 있다. The
후보 선정부(240)는 운전자의 취향 및 타겟 차량의 바운딩 박스들에 대한 정보를 포함하는 입력 데이터를 머신 러닝 모델에 입력하여, 머신 러닝의 출력 데이터로부터 운전자의 취향 및/또는 운전자의 상황에 맞는 최종 바운딩 박스를 도출할 수 있다. 예로서, 운전자가 트렁크를 열어야 하는 상황인 경우, 최종 바운딩 박스는 트렁크가 열릴 수 있을 정도의 공간을 포함하는 박스일 수 있다. 다른 예로서, 운전자가 타겟 차량에 혼자 탑승해 있는 경우, 최종 바운딩 박스는 운전자가 내릴 수 있을 정도의 공간을 포함하는 박스일 수 있다. 동승자가 보조석에 탑승해 있는 경우, 최종 바운딩 박스는 운전자와 동승자 모두가 내릴 수 있을 정도의 공간을 포함하는 박스일 수 있다. 다만, 본 발명은 이에 한정되지 않고, 후보 선정부(240)는 머신 러닝 모델이 아닌 사용자의 선택이나 일반적인 알고리즘 모델을 이용하여, 최종 바운딩 박스를 결정할 수도 있다. The
최종 결정부(250)는 차량 정보, 운전자 정보 및 주차장 정보에 기초하여, 후보 주차 공간들 각각에 대한 운전자의 선호도를 예측할 수 있다. 최종 결정부(250)는 머신 러닝 모델에 후보 주차 공간들에 대한 정보를 입력하고, 머신 러닝 모델로부터 후보 주차 공간들 각각에 대한 운전자의 선호도를 획득할 수 있다. 머신 러닝 모델에 관하여는 도 9 및 도 10을 참조하여 자세하게 설명된다. The
최종 결정부(250)는 차량 정보, 운전자 정보 및 주차장 정보에 기초하여, 후보 주차 공간에 차량이 주차되는 것에 따른 주차장의 효율 변화를 예측할 수 있다. 주차장의 효율은 주차장에서 이동중인 차량(즉, 주차되지 않은 차량)이 주차되거나, 주차장을 나가기까지 소요되는 시간과 관련된다. 주차장의 효율에 관하여는 도 9를 참조하여 자세하게 설명된다. 최종 결정부(250)는 회귀 분석 모델을 이용하여, 빈 주차 공간들과 주차장의 효율 사이의 상관 관계를 분석할 수 있다. 최종 결정부(250)는 빈 주차 공간들과 주차장의 효율 사이의 상관 관계에 기초하여, 후보 주차 공간들 각각에 대한 효율 개선도를 예측할 수 있다. 효율 개선도는 후보 주차 공간에 차량이 주차되는 경우, 주차장의 효율성이 어느정도 개선되는지를 나타낼 수 있다. The
최종 결정부(250)는 후보 주차 공간들 각각에 대한 운전자의 선호도와 효율 개선도에 기초하여, 후보 주차 공간들 중 최종 주차 공간을 결정할 수 있다. 최종 주차 공간은 운전자의 취향에 맞으면서 주차장의 효율성을 높이는 주차 공간일 수 있다.The
주차 유도 가시화부(260)는 후보 선정부(240)에서 결정된 최종 바운딩 박스, 최종 결정부(250)에서 선택된 주차 공간에 대한 정보를 가시화할 수 있다. 구체적으로, 주차 유도 가시화부(260)는 최종 바운딩 박스의 모양, 최종 주차 공간의 모양, 위치 및 타겟 차량의 현재 위치로부터 최종 주차 공간까지의 경로 등을 가시화할 수 있다. 주차 공간 분석 서버(200)는 주차 유도 가시화부(260)를 이용하여, 운전자에게 최종 주차 공간으로 가는 경로를 안내해주는 네비게이션 기능을 제공할 수 있다. The parking
제어부(270)는 주차 공간 분석 서버(200)가 필요로 하는 경우, 진단 정보 DB(300)에 저장된 정보들을 읽어올 수 있다. 또한, 제어부(270)는 주차 공간 분석 서버(200)에서 생성된 정보들이 진단 정보 DB(300)에 저장되도록 진단 정보 DB(300)를 제어할 수 있다. The
운전자는 주차 유도 가시화부(260)에 의해 제공되는 정보에 기초하여, 주차 지원 시스템(10)이 추천하는 주차 공간에 대해 동의할지 여부를 결정할 수 있다. 운전자가 동의하지 않는 경우, 주차 공간 분석 서버(200)는 주차 공간을 재탐색하여, 새로운 주차 공간을 추천할 수도 있다. 이 과정에서, 주차 공간 분석 서버(200)는 머신 러닝 모델들을 학습시킬 수 있다. The driver may determine whether to agree on a parking space recommended by the parking assistance system 10 based on the information provided by the parking
주차 공간 분석 서버(200)는 입출력 장치(100)를 통해 학습 정보를 수신할 수 있다. 학습 정보는 주차 공간 분석 서버(200)가 추천한 주차 공간에 대한 운전자의 피드백일 수 있다. 구체적으로, 운전자의 피드백은 운전자가 실제로 차량을 주차한 주차 공간, 주차 공간 분석 서버(200)가 추천한 주차 공간에 대한 운전자의 만족도 등을 포함할 수 있다. 제어부(270)는 학습 정보에 기초하여 센싱 정보 분석부(230), 후보 선정부(240) 및 최종 결정부(250) 각각의 머신 러닝 모델이 학습되도록, 센싱 정보 분석부(230), 후보 선정부(240) 및 최종 결정부(250)를 제어할 수 있다. The parking
즉, 주차 지원 시스템(10)은 주차장에 설치된 센서로부터 데이터를 수집하여, 주차장의 상황이 실시간으로 반영되는 가상 주차장을 구축할 수 있다. 주차 지원 시스템(10)은 운전자의 취향이 반영된 차량의 바운딩 박스를 결정할 수 있다. 주차 지원 시스템(10)은 차량의 바운딩 박스, 운전자 정보, 차량 정보 등에 기초하여 학습된 머신 러닝 모델을 이용하여, 운전자의 취향에 맞는 주차 공간을 선택할 수 있다. 본 발명은 회귀 분석 모델을 이용하여, 운전자의 취향에 맞으면서 주차장의 효율을 높일 수 있는 주차 공간을 최종적으로 추천할 수 있다.That is, the parking support system 10 may collect data from sensors installed in the parking lot to build a virtual parking lot in which the situation of the parking lot is reflected in real time. The parking assistance system 10 may determine a bounding box of the vehicle in which the driver's taste is reflected. The parking assistance system 10 may use a machine learning model learned based on the vehicle's bounding box, driver information, vehicle information, and the like, to select a parking space suitable for the driver's taste. The present invention can finally recommend a parking space that can improve the efficiency of a parking lot while meeting the driver's taste by using a regression analysis model.
또한, 본 발명은 디지털 트윈을 이용하여 운전자에게 주차 공간의 위치를 안내해줄 수 있다. 따라서, 운전자는 넓은 주차장에서도, 자신의 취향에 맞는 주차 공간을 보다 쉽게 찾을 수 있다. In addition, the present invention can guide the driver to the location of a parking space using a digital twin. Accordingly, the driver can more easily find a parking space suitable for his/her taste, even in a large parking lot.
도 2는 본 발명의 다른 실시 예에 따른 머신 러닝 기반 주차 지원 시스템을 도시하는 블록도이다. 2 is a block diagram illustrating a machine learning-based parking assistance system according to another embodiment of the present invention.
도 2는 도 1의 주차 공간 분석 서버(200)의 일 실시 예에 따른 동작을 설명하기 위한 흐름도이다. 2 is a flowchart for explaining the operation of the parking
S110 동작에서, 주차 공간 분석 서버(200)는 주차장 정보에 기초하여 실제 주차장이 반영된 가상 주차장을 구축할 수 있다. 주차 공간 분석 서버(200)는 수신되는 정보에 기초하여, 자동 및/또는 수동으로 레이아웃을 생성할 수 있다. In operation S110, the parking
S120 동작에서, 주차 공간 분석 서버(200)는 입출력 장치(100)로부터 수신되는 센싱 정보를 분석할 수 있다. 주차 공간 분석 서버(200)는 센싱 정보를 분석하여, 운전자에게 최적의 주차 공간을 추천하기 위해 필요한 정보를 생성할 수 있다. In operation S120 , the parking
S130 동작에서, 주차 공간 분석 서버(200)는 센싱 정보 및/또는 진단 정보 DB(300)에 저장된 정보를 이용하여, 타겟 차량의 바운딩 박스들을 생성할 수 있다. 이 과정에서, 타겟 차량이 촬영된 이미지가 입력 데이터로서 이용되는 경우, 주차 공간 분석 서버(200)는 영상 분석 알고리즘(예로서, 컨볼루션 신경망)을 이용하여 타겟 차량의 바운딩 박스들을 계산할 수 있다. 주차 공간 분석 서버(200)는 타겟 차량의 바운딩 박스들 중 운전자의 취향에 맞는 최종 바운딩 박스를 결정할 수 있다.In operation S130 , the parking
S140 동작에서, 주차 공간 분석 서버(200)는 최종 바운딩 박스 및 주차장 정보에 기초하여, 빈 주차 공간들 중 최종 바운딩 박스보다 큰 주차 공간들을 후보 주차 공간들로 선정할 수 있다. In operation S140, the parking
S150 동작에서, 주차 공간 분석 서버(200)는 머신 러닝 모델에 기초하여, 후보 주차 공간들 각각에 대한 운전자의 선호도를 예측할 수 있다. In operation S150, the parking
S160 동작에서, 주차 공간 분석 서버(200)는 회귀 분석 모델에 기초하여, 후보 주차 공간들 각각에 대한 효율 개선도를 예측할 수 있다. S160 동작은 S150 동작보다 먼저 수행되거나 동시에 수행될 수도 있다. In operation S160, the parking
S170 동작에서, 주차 공간 분석 서버(200)는 후보 주차 공간들 각각에 대한 운전자의 선호도 및 효율 개선도에 기초하여, 후보 주차 공간들 중 최종 주차 공간을 결정할 수 있다. In operation S170 , the parking
S180 동작에서, 주차 공간 분석 서버(200)는 최종 주차 공간에 대한 정보를 가시화하여 운전자에게 제공할 수 있다. In operation S180, the parking
S190 동작에서, 주차 공간 분석 서버(200)는 주차 공간 분석 서버(200)에 의해 추천된 주차 공간에 대한 운전자의 피드백을 수신할 수 있다. 주차 공간 분석 서버(200)는 운전자가 실제로 선택한 주차 공간에 대한 정보를 이용하여, 머신 러닝 모델을 업데이트시킬 수 있다. In operation S190 , the parking
도 3은 도 1의 주차 공간 분석 서버(200)에서 가상 주차장 모델을 구축하는 동작을 설명하기 위한 흐름도이다. FIG. 3 is a flowchart for explaining the operation of building a virtual parking lot model in the parking
S210 동작에서, 주차 공간 분석 서버(200)는 입출력 장치(100) 및/또는 진단 정보 DB(300)로부터 수신되는 정보를 통해, 실제 주차장의 구조를 인식할 수 있다. 실제 주차장의 구조는 기둥, 통로 및 주차 공간의 모양과 위치, 주차장의 층 수 등을 의미한다. In operation S210 , the parking
S220 동작에서, 주차 공간 분석 서버(200)는 인식된 실제 주차장의 구조대로, 3D 디지털 트윈을 자동으로 생성할 수 있다. 다만, 본 발명은 이에 한정되지 않고, 주차 공간 분석 서버(200)는 2D 디지털 트윈을 생성할 수도 있으며, 사용자가 아이콘을 클릭 또는 드래그하는 방식을 이용하여 자동으로 생성된 디지털 트윈을 보정할 수도 있다.In operation S220, the parking
S230 동작에서, 주차 공간 분석 서버(200)는 입출력 장치(100)와 통신하여, 실시간으로 실제 주차장의 상황을 인식할 수 있다. 따라서, 주차 공간 분석 서버(200)는 실제 주차장의 상황이 실시간으로 반영되도록 디지털 트윈을 업데이트할 수 있다.In operation S230, the parking
도 4는 도 1의 디지털 트윈 구축부(220)에 의해 생성된 가상 주차장을 보여주는 개념도이다. 4 is a conceptual diagram illustrating a virtual parking lot created by the digital
도 4에 도시된 가상 주차장은 3D 형태의 디지털 트윈일 수 있다. 디지털 트윈 구축부(220)는 음영, 그림자 등의 효과를 이용하여, 가상 주차장을 3D 형태로 표현할 수 있다. 도 4에 도시된 가상 주차장은 실제 주차장의 구조와 대응하는 구조를 가질 수 있다. 가상 주차장은 실제 주차장의 주차 공간, 기둥, 차량, 쇼핑몰의 입구, 실제 주차장의 입구와 출구 등 실제 주차장의 구성물 및 구조물들의 모양 및 위치가 표시될 수 있다. 예로서, 도 4에 도시된 격자무늬의 박스는 실제 주차장의 기둥과 대응할 수 있다. 도 4에 도시된 가상 주차장에는 실제 주차장의 주차 공간들, 차량들과 대응하는 위치에 주차 공간들, 차량들이 배치될 수 있다. 다만, 도 4에 도시된 가상 주차장의 디자인은 실시 예에 불과하며, 본 발명은 다양한 디자인의 가상 주차장을 구축할 수 있다. The virtual parking lot shown in FIG. 4 may be a 3D digital twin. The digital
도 5는 도 1의 주차 공간 분석 서버(200)에서 후보 주차 공간들을 선정하는 동작을 설명하기 위한 흐름도이다. 5 is a flowchart illustrating an operation of selecting candidate parking spaces in the parking
S310 동작에서, 주차 공간 분석 서버(200)는 도 1의 입출력 장치(100)로부터 타겟 차량이 촬영된 이미지 및/또는 영상을 수신할 수 있다. 주차 공간 분석 서버(200)는 타겟 차량이 촬영된 이미지 및/또는 영상을 분석하여, 타겟 차량 및 운전자에 대한 정보를 획득할 수 있다.In operation S310 , the parking
S320 동작에서, 주차 공간 분석 서버(200)는 획득된 정보에 기초하여, 운전자의 승하차 동작에 따른 타겟 차량의 바운딩 박스에 대한 정보를 생성할 수 있다. In operation S320 , the parking
S330 동작에서, 주차 공간 분석 서버(200)는 S320 동작에서 생성된 타겟 차량의 바운딩 박스들 중 운전자의 취향에 맞는 최종 바운딩 박스를 선정할 수 있다.In operation S330, the parking
S340 동작에서, 주차 공간 분석 서버(200)는 진단 정보 DB(300)에 저장된 주차장 정보 및/또는 디지털 트윈 구축부(220)에서 생성된 가상 주차장 모델로부터 빈 주차 공간들에 대한 정보를 획득할 수 있다.In operation S340, the parking
S350 동작에서, 주차 공간 분석 서버(200)는 빈 주차 공간들 중 최종 바운딩 박스보다 큰 주차 공간들을 후보 주차 공간들로 선정할 수 있다.In operation S350, the parking
도 6은 도 1의 주차 지원 시스템(10)이 차량에 대한 정보를 수집하는 방법을 설명하기 위한 개념도이다. FIG. 6 is a conceptual diagram for explaining a method in which the parking assistance system 10 of FIG. 1 collects information about a vehicle.
도 6에 도시된 카메라는 도 1의 입출력 장치(100)에 해당할 수 있다. 카메라는 실제 주차장 입구의 업다운 바에 설치될 수 있다. 다만, 본 발명은 이에 한정되지 않고, 카메라는 실제 주차장으로 들어오는 차량을 촬영할 수 있는 위치에 설치될 수 있다. The camera shown in FIG. 6 may correspond to the input/
카메라는 차량을 촬영할 수 있다. 카메라는 차량이 촬영된 이미지 및/또는 동영상을 생성할 수 있다. 카메라는 차량이 촬영된 이미지 및/또는 동영상을 도 1의 주차 공간 분석 서버(200)로 전송할 수 있다. 주차 공간 분석 서버(200)는 카메라로부터 수신되는 이미지 및/또는 동영상에 기초하여, 차량의 바운딩 박스 및/또는 최적의 주차 공간을 도출할 수 있다.The camera may photograph the vehicle. The camera may generate an image and/or a video in which the vehicle is captured. The camera may transmit an image and/or video captured by the vehicle to the parking
다만, 본 발명은 이에 한정되지 않으며, 도 1의 입출력 장치(100) 중 센서는 실제 주차장으로 들어오는 차량을 스캔하여, 차량의 형태를 3D로 나타내는 데이터를 생성할 수 있다. 주차 공간 분석 서버(200)는 센서로부터 수신되는 데이터에 기초하여, 차량의 형태를 3D로 인식할 수 있다. 주차 공간 분석 서버(200)는 이에 기초하여, 차량의 바운딩 박스 및/또는 최적의 주차 공간을 도출할 수 있다.However, the present invention is not limited thereto, and the sensor of the input/
도 7 및 도 8은 운전자의 승하차 동작에 따른 차량의 바운딩 박스를 설명하기 위한 개념도이다.7 and 8 are conceptual views for explaining a bounding box of a vehicle according to a driver's getting on and off.
도 1을 참조하여 설명된 것처럼, 주차 지원 시스템(10)에 의해, 차량에 대해 다양한 크기의 바운딩 박스가 생성될 수 있다. 구체적으로, 주차 지원 시스템(10)은 운전자의 승하차 동작에 따라 다양한 크기의 바운딩 박스들을 생성할 수 있다. 이 때, 주차 지원 시스템(10)은 운전자 정보 및 차량 정보에 기초하여, 운전자의 승하차 동작에 따른 차량의 바운딩 박스들 중 최종 바운딩 박스를 결정할 수 있다. As described with reference to FIG. 1 , by the parking assistance system 10 , bounding boxes of various sizes may be created for the vehicle. Specifically, the parking assistance system 10 may generate bounding boxes of various sizes according to the driver's getting on and off. In this case, the parking assistance system 10 may determine a final bounding box from among the vehicle's bounding boxes according to the driver's getting on and off based on the driver information and the vehicle information.
예로서, 운전자가 몸집이 왜소하거나, 승하차시 차량의 도어를 조금만 열어도 되고 트렁크를 열지 않아도 되는 경우, 주차 지원 시스템(10)은 도 7에 도시된 것처럼, 최종 바운딩 박스를 보다 작은 크기를 갖는 박스로 결정할 수 있다. 다른 예로서, 운전자가 몸이 불편하거나, 승하차시 차량의 도어를 많이 열고 트렁크도 여는 경우, 주차 지원 시스템(10)은 도 8에 도시된 것처럼, 최종 바운딩 박스를 보다 큰 크기를 갖는 박스로 결정할 수 있다. 다만, 본 발명은 이에 한정되지 않고, 후보 선정부(240)는 보다 다양한 조건을 고려하여 최종 바운딩 박스를 결정할 수 있다. For example, when the driver is small in stature or when getting on and off the vehicle, the parking assistance system 10 may have a smaller size of the final bounding box, as shown in FIG. box can be determined. As another example, when the driver is unwell or opens the vehicle's door a lot and opens the trunk when getting on and off, the parking assistance system 10 determines the final bounding box as a box having a larger size, as shown in FIG. 8 . can However, the present invention is not limited thereto, and the
도 9는 도 1의 최종 결정부(250)의 구성을 설명하기 위한 블록도이다. FIG. 9 is a block diagram for explaining the configuration of the
최종 결정부(250)는 선호도 계산부(251), 효율 개선도 계산부(252) 및 선택 회로(253)를 포함할 수 있다. The
선호도 계산부(251)는 차량 정보, 운전자 정보 및 주차장 정보에 기초하여, 후보 주차 공간들 각각에 대한 운전자의 선호도를 예측할 수 있다. 선호도 계산부(251)는 머신 러닝 모델에 후보 주차 공간들에 대한 정보를 입력하고, 머신 러닝 모델로부터 후보 주차 공간들 각각에 대한 운전자의 선호도를 획득할 수 있다. 선호도 계산부(251)에서 이용되는 머신 러닝 모델은 컨볼루션 신경망 모델과 서포트 벡터 머신(Support Vector Machine)이 결합된 모델일 수 있으나, 본 발명은 이에 한정되지 않는다. The
선호도 계산부(251)는 훈련 데이터를 이용하여 머신 러닝 모델을 학습시킬 수 있다. 다만, 본 발명은 이에 한정되지 않고, 선호도 계산부(251)의 머신 러닝 모델은 도 1의 제어부(270) 또는 주차 공간 분석 서버(200)의 나머지 다른 구성의 제어에 의해 학습될 수도 있다. The
선호도 계산부(251)는 차량 정보 및 운전자 정보에 기초하여 훈련 데이터를 생성할 수 있다. 선호도 계산부(251)는 차량 정보, 운전자 정보 및 주차장 정보에 기초하여, 후보 주차 공간에 대한 정보를 포함하는 데이터에 후보 주차 공간에 대한 운전자의 선호도를 라벨링할 수 있다. 선호도 계산부(251)는 차량 정보에 나타나는 차량들 간의 유사도, 운전자 정보에 나타나는 운전자들 간의 유사도 및 주차장 정보에 나타나는 주차장들 간의 유사도, 주차 공간들 간의 유사도에 기초하여, 특정 주차 공간에 대한 특정 운전자의 선호도를 예측할 수 있다. The
예로서, 선호도 계산부(251)가 특정 후보 주차 공간에 대한 제 1 운전자의 선호도를 아는 경우, 선호도 계산부(251)는 제 1 운전자와 제 2 운전자 간의 유사도, 제 1 운전자의 제 1 차량과 제 2 운전자의 제 2 차량 간의 유사도에 기초하여, 특정 후보 주차 공간에 대한 제 2 운전자의 선호도를 예측할 수 있다. 예로서, 제 1 운전자 및 제 2 운전자가 유사하고 제 1 차량 및 제 2 차량이 유사한 경우, 특정 후보 주차 공간에 대한 제 2 운전자의 선호도는 특정 후보 주차 공간에 대한 제 1 운전자의 선호도에 근사한 값으로 예측될 수 있다. 제 1 운전자 및 제 2 운전자가 상이하고 제 1 차량 및 제 2 차량이 상이한 경우, 특정 후보 주차 공간에 대한 제 2 운전자의 선호도는 특정 후보 주차 공간에 대한 제 1 운전자의 선호도와 차이가 큰 값으로 예측될 수 있다. 이하 설명들에서, 운전자들 간의 유사도는 운전자들의 신체적 조건, 운전자들의 주차 공간에 대한 취향 및 운전자들의 승하차시 동작들이 어느 정도로 유사한지를 의미한다. 차량들 간의 유사도는 차량들의 종류, 차량들의 크기, 차량들의 구조가 어느 정도로 유사한지를 의미한다. For example, when the
다른 예로서, 선호도 계산부(251)가 제 1 주차 공간에 대한 특정 운전자의 선호도를 아는 경우, 선호도 계산부(251)는 제 1 주차 공간과 특정 후보 주차 공간에 대한 유사도에 기초하여, 특정 후보 주차 공간에 대한 특정 운전자의 선호도를 예측할 수 있다. As another example, when the
선호도 계산부(251)는 후보 주차 공간에 대한 정보를 포함하는 데이터에 예측되는 선호도를 라벨링할 수 있다. 선호도 계산부(251)는 라벨링된 데이터를 머신 러닝 모델에 입력하여 머신 러닝 모델을 훈련시킬 수 있다. The
효율 개선도 계산부(252)는 차량 정보, 운전자 정보 및 주차장 정보에 기초하여, 후보 주차 공간에 차량이 주차되는 것에 따른 주차장의 효율성 변화를 예측할 수 있다. The efficiency
효율 개선도 계산부(252)는 입출력 장치(100)로부터 주차장에서 이동중인 차량들에 대한 정보를 수신할 수 있다. 효율 개선도 계산부(252)는 특정 시간 동안 주차장이 촬영된 영상 또는 특정 시간 동안 일정 시간 간격마다 주차장이 촬영된 이미지를 수신할 수 있다. 주차장에서 이동중인 차량은 주차장에 주차되어 있지 않은 차량을 의미할 수 있다. 예로서, 주차장에서 이동중인 차량은 주차 공간을 찾는 중이거나, 주차장을 나가기 위해 이동 중인 차량일 수 있다. The
효율 개선도 계산부(252)는 입출력 장치(100)로부터 수신된 이미지 또는 영상에 기초하여, 주차장에서 이동중인 차량들의 운행 시간들을 계산할 수 있다. 운행 시간은 주차장에 들어온 차량이 주차될 때까지 걸리는 시간, 주차 완료된 차량이 주차장을 나갈 때까지 걸리는 시간 등 이동 중인 차량이 목적을 완료할 때까지 소요되는 시간을 의미할 수 있다. The efficiency
효율 개선도 계산부(252)는 운행 시간들의 총 합과 이동중인 차량들의 총 개수에 기초하여, 주차장의 효율을 계산할 수 있다. 주차장의 효율이 높다는 것은 운행 시간들의 총 합을 이동중인 차량들의 총 개수로 나눈 값이 작다는 것을 의미할 수 있다. 주차장의 효율이 낮다는 것은 운행 시간들의 총 합을 이동중인 차량들의 총 개수로 나눈 값이 크다는 것을 의미할 수 있다. The efficiency
효율 개선도 계산부(252)는 시간별 주차장 이미지와 주차장의 효율 간의 상관 관계를 분석할 수 있다. 주차장 이미지는 주차장이 촬영된 이미지를 의미한다. 효율 개선도 계산부(252)는 주차장 이미지로부터 빈 주차 공간들에 대한 정보를 획득할 수 있다. 즉, 효율 개선도 계산부(252)는 계산의 단순화를 위해 회귀 분석 모델을 이용하여, 빈 주차 공간들과 주차장의 효율 간의 상관 관계를 분석할 수 있다. The efficiency
효율 개선도 계산부(252)는 빈 주차 공간들과 주차장의 효율 간의 상관 관계에 기초하여, 후보 주차 공간들 각각에 대한 효율 개선도를 예측할 수 있다. 특정 후보 공간에 차량이 주차되는 경우 주차장의 효율이 어느 정도 개선되는지에 따라, 특정 후보 공간의 효율 개선도가 결정될 수 있다. 특정 후보 공간에 차량이 주차됨에 따라 주차장의 효율이 보다 높아지는 경우, 특정 후보 공간의 효율 개선도는 보다 높은 값으로 결정될 수 있다. 특정 후보 공간에 차량이 주차됨에 따라 주차장의 효율이 보다 낮아지는 경우, 특정 후보 공간의 효율 개선도는 보다 낮은 값으로 결정될 수 있다. The efficiency
선택 회로(253)는 선호도 계산부(251)로부터 후보 주차 공간들 각각에 대한 운전자의 선호도에 대한 정보를 수신할 수 있다. 선택 회로(253)는 효율 개선도 계산부(252)로부터 후보 주차 공간들 각각에 대한 효율 개선도에 대한 정보를 수신할 수 있다. 선택 회로(253)는 운전자의 선호도 및 효율 개선도에 가중치를 부여하고, 가중치 합에 기초하여 최종 주차 공간을 결정할 수 있다. 가중치 합은 아래의 [수학식 1]에 의해 계산될 수 있다.The
운전자의 선호도에 대한 정보를 수신할 수 있다. 선택 회로(253)는 효율 개선도 계산부(252)로부터 후보 주차 공간들 각각에 대한 효율 개선도에 대한 정보를 수신할 수 있다. 선택 회로(253)는 운전자의 선호도 및 효율 개선도에 가중치를 부여하고, 가중치 합에 기초하여 최종 주차 공간을 결정할 수 있다. 가중치 합은 아래의 [수학식 1]에 의해 계산될 수 있다.It is possible to receive information about the driver's preference. The
[수학식 1][Equation 1]
가중치 합=m*운전자의 선호도+n*효율 개선도Sum of weights = m * driver preference + n * efficiency improvement
[수학식 1]에서, m은 운전자 선호도에 적용되는 가중치이고, n은 효율 개선도에 적용되는 가중치이다. In [Equation 1], m is a weight applied to driver preference, and n is a weight applied to efficiency improvement.
선택 회로(253)는 후보 주차 공간들 중 가장 큰 가중치 합을 갖는 후보 주차 공간을 최종 주차 공간으로 결정할 수 있다. The
도 10은 도 9의 선호도 계산부(251)의 머신 러닝을 설명하기 위한 개념도이다. FIG. 10 is a conceptual diagram for explaining machine learning of the
도 10을 참조하여서는, 도 9의 선호도 계산부(251)의 머신 러닝 모델이 컨볼루션 신경망 모델과 서포트 벡터 머신이 결합된 것으로 설명되지만 본 발명은 이에 한정되지는 않는다. 또한, 본 발명은 도 10에 도시된 컨볼루션 계층(convolution), 풀링 계층(pool) 및 히든 레이어(hidden layer)의 개수로 한정되지 않는다. Referring to FIG. 10 , the machine learning model of the
주차 공간 분석 서버(200)는 컨볼루션 신경망 모델을 사용할 수 있다. 컨볼루션 신경망 모델은 RCNN, Fast R-CNN, Faster R-CNN, YOLO 모델 등 중 하나일 수 있다. 컨볼루션 신경망 모델은 2D 또는 3D 형태의 데이터를 입력 데이터로 입력받을 수 있다. The parking
선호도 계산부(251)는 차량 정보, 운전자 정보 및 주차장 정보에 기초하여 입력 데이터를 생성할 수 있다. 입력 데이터는 후보 주차 공간들에 대한 정보를 포함할 수 있다. The
예로서, 입력 데이터가 2D 형태인 경우, 입력 데이터 중 임의의 행 데이터가 나타내는 후보 주차 공간과 나머지 행 데이터가 나타내는 후보 주차 공간은 상이할 수 있다. 입력 데이터 중 임의의 행 데이터는 상기 행 데이터가 나타내는 후보 주차 공간으로부터 운전자가 주차 후 이동하는 타겟 장소의 입구까지의 거리, 주차장의 입구로부터 후보 주차 공간까지의 층 수, 주차장의 입구로부터 후보 주차 공간까지의 운행 거리, 주차장의 입구로부터 후보 주차 공간까지의 회전 횟수, 후보 주차 공간 주위에 있는 구조물이나 차량까지의 거리, 후보 주차 공간으로부터 주차장의 출구까지의 층 수, 후보 주차 공간으로부터 주차장의 출구까지의 운행 거리, 후보 주차 공간으로부터 주차장의 출구까지의 회전 횟수, 타겟 차량에 탑승한 사람의 수, 타겟 차량에 실린 화물의 양 및 운전자가 주차 후 이용하고자 하는 서비스의 종류 등에 대한 정보를 포함할 수 있다. 다만, 본 발명은 이에 한정되지 않고, 입력 데이터 중 임의의 열 데이터가 나타내는 후보 주차 공간과 나머지 열 데이터가 나타내는 후보 주차 공간이 상이할 수도 있다.For example, when the input data is in a 2D form, a candidate parking space indicated by any row data among the input data may be different from a candidate parking space indicated by the remaining row data. Arbitrary row data among the input data includes the distance from the candidate parking space indicated by the row data to the entrance of the target place to which the driver moves after parking, the number of floors from the entrance of the parking lot to the candidate parking space, and the candidate parking space from the entrance of the parking lot. distance traveled, number of turns from the entrance of the parking lot to the candidate parking space, the distance to structures or vehicles around the candidate parking space, the number of floors from the candidate parking space to the exit of the parking lot, from the candidate parking space to the exit of the parking lot may include information on the distance traveled, the number of turns from the candidate parking space to the exit of the parking lot, the number of people in the target vehicle, the amount of cargo loaded in the target vehicle, and the type of service the driver intends to use after parking. have. However, the present invention is not limited thereto, and the candidate parking space indicated by any column data among the input data may be different from the candidate parking space indicated by the remaining column data.
다른 예로서, 입력 데이터가 3D 형태인 경우, 입력 데이터 중 상이한 좌표값(X, Y)을 갖는 데이터는 각각 상이한 후보 주차 공간을 나타낼 수 있다. 이 경우, 입력 데이터 중 Z축 데이터는 상기 Z축 데이터가 나타내는 후보 주차 공간에 대한 정보를 포함할 수 있다.As another example, when the input data is in a 3D form, data having different coordinate values (X, Y) among the input data may represent different candidate parking spaces. In this case, the Z-axis data among the input data may include information on a candidate parking space indicated by the Z-axis data.
주차 공간 분석 서버(200)는 서포트 벡터 머신을 사용할 수 있다. 도 10에 도시된 것처럼, 서포트 벡터 머신은 히든 레이어를 포함할 수 있다. 히든 레이어는 다수의 레이어들로 구성될 수 있다. The parking
서포트 벡터 머신은 컨볼루션 신경망 모델의 출력 데이터를 입력 데이터로 입력 받을 수 있다. 서포트 벡터 머신은 후보 주차 공간들 각각에 대한 운전자의 선호도를 나타내는 출력 데이터를 출력할 수 있다. The support vector machine may receive the output data of the convolutional neural network model as input data. The support vector machine may output output data representing the driver's preference for each of the candidate parking spaces.
도 11은 도 9의 선호도 계산부(251)의 동작을 설명하기 위한 흐름도이다. 11 is a flowchart for explaining the operation of the
S410 동작 내지 S430 동작에서, 선호도 계산부(251)는 후보 주차 공간들 각각에 대한 운전자의 선호도를 계산하기 위한 선행 동작으로 머신 러닝 모델을 학습시킬 수 있다. S440 동작 내지 S450 동작에서, 선호도 계산부(251)는 학습된 머신 러닝 모델을 이용하여, 후보 주차 공간들 각각에 대한 운전자의 선호도를 계산할 수 있다. In operations S410 to S430, the
S410 동작에서, 선호도 계산부(251)는 후보 주차 공간들에 대한 정보에 기초하여 입력 데이터를 생성할 수 있다. In operation S410 , the
S420 동작에서, 선호도 계산부(251)는 운전자 정보, 차량 정보 및 주차장 정보에 기초하여, 입력 데이터를 예측되는 운전자의 선호도로 라벨링할 수 있다. 선호도 계산부(251)는 운전자들 사이의 유사도, 차량들 사이의 유사도 및 주차 공간들 사이의 유사도에 따라, 입력 데이터에 라벨링되는 운전자의 선호도를 결정할 수 있다. 라벨링된 입력 데이터는 훈련 데이터로 이용될 수 있다. In operation S420 , the
S430 동작에서, 선호도 계산부(251)는 훈련 데이터를 머신 러닝에 입력시켜, 머신 러닝을 학습시킬 수 있다. In operation S430, the
S440 동작에서, 선호도 계산부(251)는 후보 주차 공간들에 대한 정보를 수신할 수 있다. 선호도 계산부(251)는 후보 주차 공간들에 대한 정보에 기초하여 입력 데이터를 생성할 수 있다.In operation S440 , the
S450 동작에서, 선호도 계산부(251)는 입력 데이터를 학습된 머신 러닝에 입력할 수 있다. 머신 러닝은 입력 데이터에 포함된 후보 주차 공간들 각각에 대한 운전자들의 선호도를 출력할 수 있다. In operation S450, the
도 12는 도 9의 효율 개선도 계산부(252)의 동작을 설명하기 위한 흐름도이다. 12 is a flowchart for explaining the operation of the efficiency
S510 동작에서, 효율 개선도 계산부(252)는 도 1의 입출력 장치(100)로부터 주차장이 시간별로 촬영된 주차장 이미지를 수신할 수 있다. 효율 개선도 계산부(252)는 주차장 이미지로부터 시간별 빈 주차 공간들에 대한 정보 및/또는 차량이 주차된 주차 공간들에 대한 정보를 획득할 수 있다. In operation S510 , the efficiency
S520 동작에서, 효율 개선도 계산부(252)는 시간별 주차장의 효율을 계산할 수 있다. In operation S520, the efficiency
S530 동작에서, 효율 개선도 계산부(252)는 시간별 주차장 이미지 및 시간별 주차장의 효율을 회귀 분석 모델에 입력하여, 빈 주차 공간들과 주차장의 효율 사이의 상관 관계를 분석할 수 있다. 다만, 본 발명은 이에 한정되지 않고, 효율 개선도 계산부(252)는 차량이 주차된 주차 공간들과 주차장의 효율 사이의 상관 관계를 분석할 수도 있다. In operation S530, the
S540 동작에서, 효율 개선도 계산부(252)는 분석된 상관 관계에 기초하여, 후보 주차 공간들 각각의 효율 개선도를 계산할 수 있다. In operation S540 , the efficiency
도 13은 도 1의 주차 지원 시스템(10)에 의해 제공되는 주차 공간에 대한 정보를 보여주는 개념도이다. 13 is a conceptual diagram showing information on a parking space provided by the parking assistance system 10 of FIG. 1 .
도 1의 주차 공간 분석 서버(200)는 최적의 주차 공간에 대한 정보를 가시화할 수 있다. 주차 지원 시스템(10)은 가시화된 최적의 주차 공간에 대한 정보를 입출력 장치(100)를 통해 운전자에게 제공할 수 있다. 예로서, 가시화된 최적의 주차 공간에 대한 정보는 운전자의 스마트 폰, 차량의 네비게이션, 차량의 CID(Center Information Display) 등에 표시될 수 있다. The parking
가시화된 최적의 주차 공간에 대한 정보는 도 13에 도시된 것과 같은 형태일 수 있다. 구체적으로, 가시화된 최적의 주차 공간에 대한 정보는 타겟 차량 번호, 타겟 차량의 종류, 운전자의 고객 번호, 타겟 차량의 입차 시간, 주차 공간 분석 서버(200)가 추천하는 주차 공간의 위치, 주차 공간으로 가는 경로, 바운딩 박스(주차 공간 분석 서버(200)에서 결정된 최종 바운딩 박스 또는 주차 공간에서 확보되는 최대 크기의 바운딩 박스) 등에 대한 정보를 포함할 수 있다. 다만, 본 발명은 이에 한정되지 않고, 주차 공간 분석 서버(200)는 최적의 주차 공간에 대한 정보를 다양한 형태로 가시화할 수 있다.The information on the visualized optimal parking space may be in the form shown in FIG. 13 . Specifically, the information on the visualized optimal parking space includes the target vehicle number, the type of the target vehicle, the driver's customer number, the entry time of the target vehicle, the location of the parking space recommended by the parking
도 14는 본 발명의 실시 예에 따른 주차 지원 장치의 구성을 보여주는 블록도이다. 14 is a block diagram illustrating a configuration of a parking assistance apparatus according to an embodiment of the present invention.
주차 지원 장치(1000)는 통신부(1100), 메모리(1200) 및 프로세서(1300)를 포함할 수 있다. 주차 지원 장치(1000)는 임베디드 보드, 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 차량, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치로 구현될 수 있으나, 이에 제한되지 않는다. The
통신부(1100)는 주차 지원 장치(1000)가 다른 전자 장치(예로서, 도 1의 입출력 장치(100))와 통신을 하게 하는 하나 이상의 구성 요소를 포함할 수 있다. 통신부(1100)는, 근거리 통신부(미도시), 이동 통신부(미도시), 방송 수신부(미도시)를 포함할 수 있다. 근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. 방송 수신부는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 통신부(1100)는 방송 수신부를 포함하지 않을 수도 있다.The
메모리(1200)는 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 주차 지원 장치(1000)로 입력되거나 주차 지원 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다. 메모리(1200)는 도 1의 진단 정보 DB(300)에 저장된 정보를 저장할 수 있다. The
메모리(1200)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.The
프로세서(1300)는 통상적으로, 주차 지원 장치(1000)의 전반적인 동작을 제어할 수 있다. 프로세서(1300)는 메모리(1200)에 저장된 프로그램들을 실행함으로써, 도 1의 주차 지원 시스템(10)의 동작들을 수행하거나, 주차 지원 시스템(10)에 의해 제공되는 서비스들을 제공할 수 있다. The
상술된 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함할 것이다. 따라서, 본 발명의 범위는 상술된 실시 예들에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.The above are specific embodiments for carrying out the present invention. The present invention will include not only the above-described embodiments, but also simple design changes or easily changeable embodiments. In addition, the present invention will include techniques that can be easily modified and implemented using the embodiments. Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be defined by the claims described below as well as the claims and equivalents of the present invention.
Claims (21)
상기 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리를 포함하고,
상기 프로세서는 상기 명령어들을 실행함으로써,
주차장에 들어오는 타겟 차량에 대한 차량 정보와 상기 타겟 차량의 운전자에 대한 운전자 정보에 기초하여, 상기 타겟 차량을 주차하기 위한 최소 공간에 대한 정보를 획득하고,
상기 최소 공간에 대한 정보에 기초하여, 상기 주차장 내의 빈 주차 공간들 중 상기 최소 공간 보다 큰 후보 주차 공간들에 대한 정보를 획득하고,
상기 후보 주차 공간들에 대한 상기 정보를 포함하는 입력 데이터를 제 1 머신 러닝(machine learning) 모델에 입력하여 상기 제 1 머신 러닝 모델의 출력 데이터로부터 상기 주차 공간들 각각에 대한 상기 운전자의 선호도를 획득하고,
상기 선호도에 기초하여, 상기 주차 공간들 중 상기 운전자에게 추천하기 위한 최종 주차 공간을 선택하되,
상기 메모리는 상기 차량 정보 및 상기 운전자 정보를 저장하고,
상기 프로세서는 상기 주차장에 위치하는 센서로부터 수신되는 상기 타겟 차량이 촬영된 이미지 또는 영상을 분석하여 분석 결과를 생성하고, 상기 메모리에서 상기 분석 결과에 대응하는 상기 차량 정보 및 상기 운전자 정보를 획득하고,
상기 분석 결과는 상기 차량의 크기 또는 상기 차량의 종류에 대한 정보를 포함하고,
상기 운전자 정보는 상기 운전자의 승하차 동작에 대한 정보를 포함하고,
상기 차량 정보는 상기 운전자의 상기 승하차 동작에 따른 상기 최소 공간에 대한 정보를 포함하고,
상기 운전자의 상기 승하차 동작에 따른 상기 최소 공간은 상기 운전자의 상기 승하차 동작에 의해 상기 타겟 차량의 하나 이상의 도어(door)가 열렸을 때 상기 타겟 차량의 3D 형태를 모두 포함하는 최소 크기의 공간인 주차 지원 장치. processor; and
a memory for storing instructions executable by the processor;
The processor by executing the instructions,
Based on the vehicle information on the target vehicle entering the parking lot and the driver information on the driver of the target vehicle, information on the minimum space for parking the target vehicle is obtained,
Based on the information on the minimum space, obtain information on candidate parking spaces larger than the minimum space among empty parking spaces in the parking lot,
Input data including the information on the candidate parking spaces to a first machine learning model to obtain the driver's preference for each of the parking spaces from the output data of the first machine learning model do,
Selecting a final parking space to recommend to the driver from among the parking spaces based on the preference,
The memory stores the vehicle information and the driver information,
The processor generates an analysis result by analyzing the image or image captured by the target vehicle received from the sensor located in the parking lot, and obtains the vehicle information and the driver information corresponding to the analysis result in the memory,
The analysis result includes information about the size of the vehicle or the type of the vehicle,
The driver information includes information about the driver's getting on and off operation,
The vehicle information includes information on the minimum space according to the getting on and off operation of the driver,
The minimum space according to the driver's getting on and off operation is a space of the minimum size including all 3D shapes of the target vehicle when one or more doors of the target vehicle are opened by the driver's getting on and off. Device.
상기 프로세서는 상기 이미지 또는 상기 영상을 CNN(Convolution Neural Network) 모델에 입력하여 상기 분석 결과를 생성하는 주차 지원 장치.The method according to claim 1,
The processor is a parking assistance device for generating the analysis result by inputting the image or the image to a CNN (Convolution Neural Network) model.
상기 운전자 정보는 상기 운전자의 승하차 동작에 대한 정보를 포함하고,
상기 차량 정보는 상기 운전자의 상기 승하차 동작에 따른 상기 최소 공간에 대한 정보를 포함하고,
상기 운전자의 상기 승하차 동작은 상기 운전자가 승차 또는 하차시 차량의 도어들 중 어떤 도어를 어느 정도 여는지를 나타내고,
상기 최소 공간은 상기 운전자가 상기 승하차 동작을 수행하기 위한 최소 크기의 주차 공간을 나타내는 주차 지원 장치.The method according to claim 1,
The driver information includes information about the driver's getting on and off,
The vehicle information includes information on the minimum space according to the getting on and off operation of the driver,
The getting on and off operation of the driver indicates to what extent the driver opens any of the doors of the vehicle when getting on or off the vehicle,
The minimum space is a parking assisting device indicating a parking space of a minimum size for the driver to perform the getting on and off operation.
상기 프로세서는
상기 차량 정보 및 상기 운전자 정보를 포함하는 입력 데이터를 제 2 머신 러닝 모델에 입력하여, 상기 후보 주차 공간들에 대한 정보를 획득하고,
상기 제 2 머신 러닝 모델은 훈련 차량 정보 및 훈련 운전자 정보에 기초하여, 빈 주차 공간들 중 상기 훈련 차량의 최소 공간보다 크고 상기 훈련 운전자의 선호도에 맞는 주차 공간들을 선정하도록 훈련된 주차 지원 장치. 4. The method of claim 3,
the processor
input data including the vehicle information and the driver information into a second machine learning model to obtain information on the candidate parking spaces;
and the second machine learning model is trained to select, from among empty parking spaces, parking spaces that are larger than the minimum space of the training vehicle and fit the preference of the training driver, based on the training vehicle information and the training driver information.
상기 프로세서는
상기 주차장에 위치한 센서로부터 수신되는 상기 주차장에 관한 주차장 정보에 기초하여, 상기 주차장의 구조와 동일한 구조를 갖고 상기 주차장의 상황이 반영되는 가상 주차장 모델을 생성하고,
상기 가상 주차장 모델 상에서, 상기 제 1 머신 러닝 모델을 실행하는 주차 지원 장치.The method according to claim 1,
the processor
Based on the parking lot information about the parking lot received from the sensor located in the parking lot, a virtual parking model having the same structure as that of the parking lot and reflecting the situation of the parking lot is generated,
On the virtual parking lot model, the parking assistance device for executing the first machine learning model.
상기 프로세서는
상기 가상 주차장 모델에서 수행되는 시뮬레이션을 통해, 상기 후보 주차 공간들에 대한 상기 정보를 획득하고, 상기 운전자의 선호도에 맞는 상기 주차 공간을 선택하는 주차 지원 장치.6. The method of claim 5,
the processor
A parking assisting device for obtaining the information on the candidate parking spaces through a simulation performed in the virtual parking lot model, and selecting the parking space suitable for the driver's preference.
상기 입력 데이터는 상기 주차 공간들로부터 상기 운전자가 주차 후 이동하는 타겟 장소의 입구까지의 거리,
상기 주차장의 입구로부터 상기 주차 공간들까지의 층 수,
상기 주차장의 상기 입구로부터 상기 주차 공간들까지의 운행 거리,
상기 주차장의 상기 입구로부터 상기 주차 공간들까지의 회전 횟수,
상기 주차 공간들 주위에 있는 구조물이나 차량까지의 거리,
상기 주차 공간들로부터 상기 주차장의 출구까지의 층 수,
상기 주차 공간들로부터 상기 주차장의 상기 출구까지의 운행 거리,
상기 주차 공간들로부터 상기 주차장의 상기 출구까지의 회전 횟수,
상기 타겟 차량에 탑승한 사람의 수,
상기 타겟 차량에 실린 화물의 양 및
상기 운전자가 주차 후 이용하고자 하는 서비스의 종류 중 적어도 하나를 포함하는 주차 지원 장치.6. The method of claim 5,
The input data is the distance from the parking spaces to the entrance of the target place to which the driver moves after parking,
the number of floors from the entrance of the parking lot to the parking spaces,
the driving distance from the entrance of the parking lot to the parking spaces;
the number of turns from the entrance of the parking lot to the parking spaces,
distance to structures or vehicles around the parking spaces;
the number of floors from the parking spaces to the exit of the parking lot,
the distance traveled from the parking spaces to the exit of the parking lot;
the number of turns from the parking spaces to the exit of the parking lot,
the number of people in the target vehicle;
the amount of cargo loaded in the target vehicle and
A parking assistance device including at least one of the types of services that the driver intends to use after parking.
상기 프로세서는
상기 주차 공간들 각각에 대한 훈련용 선호도를 예측하고, 상기 입력 데이터에 상기 훈련용 선호도를 라벨링(labeling)하고,
상기 라벨링된 입력 데이터를 상기 제 1 머신 러닝에 입력하여, 상기 제 1 머신 러닝을 학습시키는 주차 지원 장치.8. The method of claim 7,
the processor
Predicting training preference for each of the parking spaces, labeling the training preference in the input data,
A parking assistance device for learning the first machine learning by inputting the labeled input data to the first machine learning.
상기 차량 정보는 상기 타겟 차량과 상이한 하나 이상의 차량에 대한 정보를 더 포함하고,
상기 운전자 정보는 상기 운전자와 상이한 하나 이상의 운전자에 대한 정보를 더 포함하고,
상기 주차장 정보는 상기 주차 공간들에 대한 정보를 더 포함하고,
상기 프로세서는 타겟 차량과 상기 하나 이상의 차량 사이의 유사도, 상기 운전자 및 상기 하나 이상의 운전자 사이의 유사도 및 상기 주차 공간들 사이의 유사도에 기초하여 상기 훈련용 선호도를 결정하는 주차 지원 장치.9. The method of claim 8,
The vehicle information further includes information about one or more vehicles different from the target vehicle,
The driver information further includes information about one or more drivers different from the driver,
The parking lot information further includes information about the parking spaces,
and the processor determines the training preference based on a similarity between a target vehicle and the one or more vehicles, a similarity between the driver and the one or more drivers, and a similarity between the parking spaces.
상기 프로세서는
상기 입력 데이터와 관련되는 상기 타겟 차량, 상기 운전자 및 상기 주차 공간들이 비교 데이터와 관련되는 비교 차량, 비교 운전자 및 비교 주차 공간들과 유사할수록, 상기 비교 데이터에 라벨링된 비교 선호도와 상기 훈련용 선호도 사이의 차이가 감소하도록 상기 훈련용 선호도를 결정하는 주차 지원 장치.10. The method of claim 9,
the processor
The more the target vehicle, driver and parking spaces associated with the input data are similar to the comparison vehicle, comparison driver and comparison parking spaces associated with the comparison data, the more between the comparison preference labeled in the comparison data and the training preference. A parking assistance device for determining the training preference so that the difference in .
상기 제 1 머신 러닝 모델은 CNN 모델과 SVM(Support Vector Machine) 모델이 결합된 머신 러닝 모델이고, 상기 주차 공간들 각각에 대한 상기 운전자의 상기 선호도를 출력하는 주차 지원 장치. The method according to claim 1,
The first machine learning model is a machine learning model in which a CNN model and a support vector machine (SVM) model are combined, and the parking assistance apparatus outputs the driver's preference for each of the parking spaces.
상기 프로세서는
상기 주차장의 주차 상황과 주차장의 효율 사이의 상관 관계에 기초하여, 상기 후보 주차 공간들 각각에 대한 효율 개선도를 획득하고,
상기 선호도와 상기 효율 개선도에 기초하여, 상기 최종 주차 공간을 선택하되,
상기 주차장의 상기 효율은 특정 시간 동안 상기 주차장에서 이동 중인 차량들 각각이 주차되거나 상기 주차장을 나가는데까지 소요되는 운행 시간의 총 합을 상기 이동 중인 차량들의 개수로 나눈 값이 작을수록 높아지는 주차 지원 장치.The method according to claim 1,
the processor
Based on the correlation between the parking situation of the parking lot and the efficiency of the parking lot, obtain an efficiency improvement degree for each of the candidate parking spaces,
Selecting the final parking space based on the preference and the efficiency improvement,
The efficiency of the parking lot increases as a value obtained by dividing the total of the driving time required for each of the vehicles moving in the parking lot to be parked or to leave the parking lot for a specific time by the number of the moving vehicles is smaller.
상기 프로세서는
상기 주차장이 상기 특정 시간 동안 시간별로 촬영된 이미지로부터 상기 주차 상황에 대한 정보를 획득하고,
상기 이미지와 상기 효율을 회귀 분석 모델에 입력하여, 상기 상관 관계를 분석하는 주차 지원 장치.13. The method of claim 12,
the processor
The parking lot acquires information about the parking situation from the images taken by time for the specific time,
A parking assistance device for analyzing the correlation by inputting the image and the efficiency into a regression analysis model.
상기 프로세서는
상기 선호도와 상기 효율 개선도 각각에 가중치를 부여하고, [수학식]에 의해 계산되는 가중치 합에 기초하여 상기 최종 주차 공간을 선택하는 주차 지원 장치.
[수학식]
상기 가중치 합= m * 상기 선호도 + n * 상기 효율 개선도
(m은 운전자 선호도에 적용되는 가중치 상수이고, n은 효율 개선도에 적용되는 가중치 상수)13. The method of claim 12,
the processor
A parking assisting device that assigns a weight to each of the preference and the efficiency improvement, and selects the final parking space based on a weighted sum calculated by [Equation].
[Equation]
The weight sum = m * the preference + n * the efficiency improvement
(m is a weighting constant applied to driver preference, n is a weighting constant applied to efficiency improvement)
주차 지원 장치에 의해, 상기 주차장에 위치하는 입출력 장치로부터 수신되는 상기 주차장에 대한 정보에 기초하여, 상기 주차장에 대응하는 구조를 갖고 상기 주차장의 상황이 실시간으로 반영되는 가상 주차장을 구축하는 단계;
상기 주차 지원 장치에 의해, 상기 가상 주차장으로부터 상기 주차장 내의 빈 주차 공간들 중 훈련 차량의 최소 공간보다 큰 후보 주차 공간들에 대한 정보를 획득하는 단계;
상기 후보 주차 공간들에 대한 정보를 포함하는 훈련 데이터에 상기 주차 공간들 각각에 대한 상기 훈련 차량의 훈련 운전자의 훈련 선호도를 라벨링하고, 타겟 주차 공간에 대한 입력 데이터가 수신되는 경우 상기 타겟 주차 공간에 대한 타겟 운전자의 선호도를 출력하도록 상기 라벨링된 훈련 데이터를 이용하여 머신 러닝 모델을 훈련시키는 단계; 및
상기 머신 러닝 모델의 출력 데이터에 기초하여, 상기 주차 공간들 중 최종 주차 공간을 추천하되,
상기 최소 공간은 상기 훈련 운전자의 승하차 동작에 따라 조작된 상기 훈련 차량의 3D 형태를 모두 포함하는 최소 크기의 공간인 주차 지원 방법. In the parking support method for recommending a parking space in the parking lot,
Based on the information about the parking lot received from the input/output device located in the parking lot by the parking support device, constructing a virtual parking lot having a structure corresponding to the parking lot and reflecting the situation of the parking lot in real time;
obtaining, by the parking assistance device, information on candidate parking spaces larger than a minimum space of a training vehicle among empty parking spaces in the parking lot from the virtual parking lot;
A training preference of a training driver of the training vehicle for each of the parking spaces is labeled in training data including information on the candidate parking spaces, and when input data for a target parking space is received, the target parking space training a machine learning model using the labeled training data to output a target driver's preference for and
Recommend a final parking space among the parking spaces based on the output data of the machine learning model,
The minimum space is a parking assistance method that is a space of a minimum size including all 3D shapes of the training vehicle operated according to the getting on and off operation of the training driver.
상기 주차장에 위치하는 입출력 장치에 의해, 상기 주차장에 들어오는 타겟 차량에 대한 차량 정보 및 상기 타겟 차량의 운전자에 대한 운전자 정보를 획득하는 단계;
주차 지원 장치에 의해, 상기 주차장 내의 빈 주차 공간들 중 상기 타겟 차량을 주차하기 위한 최소 공간보다 큰 후보 주차 공간들을 선정하는 단계; 및
상기 주차 지원 장치에 의해, 상기 후보 주차 공간들에 대한 정보를 포함하는 입력 데이터를 머신 러닝 모델에 입력하여 상기 후보 주차 공간들 각각에 대한 상기 운전자의 선호도를 획득하고, 상기 운전자의 선호도에 기초하여 상기 후보 주차 공간들 중 최종 주차 공간을 결정하는 단계를 포함하되,
상기 차량 정보는 상기 타겟 차량의 종류, 상기 타겟 차량의 크기 및 상기 타겟 차량의 모양 중 적어도 하나에 대한 정보를 포함하고,
상기 운전자 정보는 상기 운전자의 성별, 상기 운전자의 키, 상기 운전자의 무게, 상기 운전자의 과거 주차 이력, 상기 운전자의 주차 공간에 대한 선호도 및 상기 운전자의 승하차 동작 중 적어도 하나에 대한 정보를 포함하되, 상기 후보 주차 공간들을 선정하는 단계는:
상기 입출력 장치로부터 수신되는 상기 타겟 차량이 촬영된 이미지 또는 영상을 분석하여, 상기 운전자의 승하차 동작에 대응하는 상기 최소 공간에 대한 정보를 획득하는 단계; 및
상기 최소 공간에 대한 상기 정보에 기초하여, 상기 후보 주차 공간들을 선정하는 단계를 포함하되,
상기 최소 공간은 상기 운전자의 상기 승하차 동작에 의해 조작된 상기 타겟 차량의 3D 형태를 모두 포함하는 최소 크기의 공간인 주차 지원 방법. In the parking support method for recommending a parking space in the parking lot,
obtaining, by an input/output device located in the parking lot, vehicle information on a target vehicle entering the parking lot and driver information on a driver of the target vehicle;
selecting, by a parking assisting device, candidate parking spaces larger than a minimum space for parking the target vehicle among empty parking spaces in the parking lot; and
By the parking assistance device, input data including information on the candidate parking spaces is input to a machine learning model to obtain the driver's preference for each of the candidate parking spaces, and based on the driver's preference determining a final parking space among the candidate parking spaces;
The vehicle information includes information on at least one of a type of the target vehicle, a size of the target vehicle, and a shape of the target vehicle,
The driver information includes information on at least one of the driver's gender, the driver's height, the driver's weight, the driver's past parking history, the driver's preference for a parking space, and the driver's getting on and off, The step of selecting the candidate parking spaces includes:
analyzing the image or image captured by the target vehicle received from the input/output device to obtain information on the minimum space corresponding to the driver's getting on and off; and
Selecting the candidate parking spaces based on the information about the minimum space,
The minimum space is a space of a minimum size including all 3D shapes of the target vehicle manipulated by the driver's getting on and off.
상기 최종 주차 공간을 결정하는 단계는:
상기 빈 주차 공간들과 상기 주차장의 효율 사이의 상관 관계에 기초하여, 상기 후보 주차 공간들 각각에 대한 효율 개선도를 획득하는 단계; 및
상기 선호도와 상기 효율 개선도를 조합하여 상기 주차 공간들 각각에 대한 최종 점수를 산출하고, 상기 최종 점수에 기초하여 상기 최종 주차 공간을 선택하는 단계를 포함하되,
상기 주차장의 상기 효율은 특정 시간 동안, 상기 주차장에서 이동 중인 차량들 각각이 주차되거나 상기 주차장을 나가는데까지 소요되는 운행 시간의 총 합을 상기 이동 중인 차량들의 개수로 나눈 값이 작을수록 높아지는 주차 지원 방법.17. The method of claim 16,
The step of determining the final parking space includes:
obtaining an efficiency improvement degree for each of the candidate parking spaces based on a correlation between the empty parking spaces and the efficiency of the parking lot; and
calculating a final score for each of the parking spaces by combining the preference and the efficiency improvement, and selecting the final parking space based on the final score,
The efficiency of the parking lot increases as a value obtained by dividing the total of the driving time required for each of the vehicles moving in the parking lot to be parked or to leave the parking lot by the number of moving vehicles for a specific time is smaller. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200073156A KR102435119B1 (en) | 2020-06-16 | 2020-06-16 | Machine learning-based parking support device and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200073156A KR102435119B1 (en) | 2020-06-16 | 2020-06-16 | Machine learning-based parking support device and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210155657A KR20210155657A (en) | 2021-12-23 |
| KR102435119B1 true KR102435119B1 (en) | 2022-08-23 |
Family
ID=79175934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200073156A KR102435119B1 (en) | 2020-06-16 | 2020-06-16 | Machine learning-based parking support device and method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102435119B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023153767A1 (en) * | 2022-02-11 | 2023-08-17 | 엘지전자 주식회사 | Digital twin-based charging station control system |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007230502A (en) * | 2006-03-03 | 2007-09-13 | Fujitsu Ten Ltd | Parking assistance device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3002630C (en) * | 2015-10-22 | 2023-01-10 | Nissan Motor Co., Ltd. | Parking support method and parking support device |
| KR20190134018A (en) * | 2018-05-24 | 2019-12-04 | (주)이지정보기술 | Parking control method and system using intelligent CCTV with deep learning based image processing technology |
-
2020
- 2020-06-16 KR KR1020200073156A patent/KR102435119B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007230502A (en) * | 2006-03-03 | 2007-09-13 | Fujitsu Ten Ltd | Parking assistance device |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210155657A (en) | 2021-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109964271B (en) | Apparatus and method for providing response message to voice input of user | |
| KR102255273B1 (en) | Apparatus and method for generating map data of cleaning space | |
| KR102043588B1 (en) | System and method for presenting media contents in autonomous vehicles | |
| US9177475B2 (en) | Driver behavior based parking availability prediction system and method | |
| US11604069B2 (en) | Localizing transportation requests utilizing an image based transportation request interface | |
| US20190279345A1 (en) | Method for correcting image by device and device therefor | |
| US20170192637A1 (en) | Interactive map informational lens | |
| CN109643166A (en) | The control based on gesture of autonomous vehicle | |
| US20140266805A1 (en) | Personalized parking assistant | |
| US20140285361A1 (en) | Personalized parking assistant | |
| KR20180055708A (en) | Device and method for image processing | |
| US20160195405A1 (en) | Learning and predictive navigation system | |
| US11153426B2 (en) | Electronic device and control method thereof | |
| Delikostidis et al. | Overcoming challenges in developing more usable pedestrian navigation systems | |
| KR20180074568A (en) | Device and method for estimating information about a lane | |
| KR20190117837A (en) | Device and method for providing response message to user input | |
| KR102273192B1 (en) | Artificial intelligence refrigerator and operating method thereof | |
| KR20180072525A (en) | An electronic device for navigation guide and method for controlling the electronic device thereof | |
| CN115038936A (en) | System and method for scene aware interaction | |
| US11164000B2 (en) | Method and mobile terminal for providing information based on image | |
| KR20190140519A (en) | Electronic apparatus and controlling method thereof | |
| US20200005145A1 (en) | Artificial intelligence device for controlling external device | |
| CN110059646A (en) | The method and Target Searching Method of training action plan model | |
| US20210089943A1 (en) | Artificial intelligence server | |
| CN112948686A (en) | Position recommendation processing method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |