KR20200068045A - Around view monitoring system and method for detecting parking line with deep learning - Google Patents

Around view monitoring system and method for detecting parking line with deep learning Download PDF

Info

Publication number
KR20200068045A
KR20200068045A KR1020180147212A KR20180147212A KR20200068045A KR 20200068045 A KR20200068045 A KR 20200068045A KR 1020180147212 A KR1020180147212 A KR 1020180147212A KR 20180147212 A KR20180147212 A KR 20180147212A KR 20200068045 A KR20200068045 A KR 20200068045A
Authority
KR
South Korea
Prior art keywords
line
parking line
parking
corner
avm
Prior art date
Application number
KR1020180147212A
Other languages
Korean (ko)
Other versions
KR102133020B1 (en
Inventor
윤형석
김성록
Original Assignee
(주)캠시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)캠시스 filed Critical (주)캠시스
Priority to KR1020180147212A priority Critical patent/KR102133020B1/en
Publication of KR20200068045A publication Critical patent/KR20200068045A/en
Application granted granted Critical
Publication of KR102133020B1 publication Critical patent/KR102133020B1/en

Links

Images

Classifications

    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G06K9/4633—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Disclosed are an around view monitoring (AVM) system and a parking line detection method using deep learning. The AVM system comprises: an image processing unit generating an AVM image in a top view form by using photographed images generated by a plurality of cameras; a parking line detection unit detecting a parking line using a corner point of a baseline and a parking line detected using each of a plurality of detection techniques previously designated for the AVM image; and an output unit outputting the AVM image overlaid with a parking line guideline corresponding to the parking line. The AVM system of the present invention can quickly and accurately detect the parking line, detect the parking line even when an obstacle exists inside the parking area, and overlay and display the parking line guideline to the AVM image, so that a driver can precisely recognize a parking target area.

Description

어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법{Around view monitoring system and method for detecting parking line with deep learning}Around view monitoring system and method for detecting parking line with deep learning}

본 발명은 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법에 관한 것이다. The present invention relates to a parking line detection method using an around view monitoring system and deep learning.

어라운드 뷰 모니터링(AVM, Around View Monitoring) 시스템은 차량의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 영상을 기초로 중복 영역이 자연스럽게 보이도록 보정 처리하여 자동차의 주변환경을 탑뷰(Top View) 형태의 AVM 영상으로 화면상에 표시한다. 운전자는 표시된 AVM 영상을 참조하여 자동차의 주변 상황을 정확하게 인식할 수 있고, 사이드 미러나 백미러를 보지 않고도 편리하게 주차할 수 있다.The Around View Monitoring (AVM) system captures the surrounding environment through cameras installed on the front, rear, left, and right sides of the vehicle, and corrects the overlapping area to appear naturally based on the captured image. The surrounding environment is displayed on the screen as a top view AVM image. The driver can accurately recognize the surroundings of the vehicle by referring to the displayed AVM image, and can conveniently park without looking in the side mirror or rearview mirror.

도 1에는 AVM 시스템의 개념이 개략적으로 도시되어 있다.1 schematically illustrates the concept of an AVM system.

도 1의 (a)와 (b)에 도시된 바와 같이, 차량의 전후방, 좌우측면에는 각각 카메라(10, 20, 30, 40)가 설치된다. 카메라들(10, 20, 30, 40) 각각은 차량의 전후방 및 좌우측면의 영상(A, B, C, D)를 촬영하고, 촬영된 영상을 차량을 위에서 내려다보는 탑뷰 형태의 AVM 영상으로 재구성하여 차량에 장착된 디스플레이 장치에 출력한다.1(a) and 1(b), cameras 10, 20, 30, and 40 are installed on front, rear, and left and right sides of the vehicle, respectively. Each of the cameras 10, 20, 30, and 40 captures the images A, B, C, and D of the front, rear, and left and right sides of the vehicle, and reconstructs the captured image into a top view AVM image looking down at the vehicle. And outputs it to the display device mounted on the vehicle.

최근에는 주차장의 주차 가능 영역을 인식하기 위해 카메라를 이용하여 주차선을 인식하는 기술이 활발하게 개발되고 있으며, 주된 개발 방식으로 허프 변환(hough transform)을 이용하는 방식과 템플릿 매칭을 이용하는 방식 등이 있다. Recently, a technology for recognizing a parking line using a camera has been actively developed to recognize a parking area of a parking lot, and there are a method of using a hough transform and a method of template matching as a main development method. .

그러나 허프 변환을 이용하는 방식은 단순 계산으로 주차선의 검출이 가능한 장점은 있으나, 특정의 주위 환경에서는 주차선이 효과적으로 검출되지 못하는 문제점이 있다. However, the method using the Hough transform has the advantage of being able to detect the parking line by simple calculation, but there is a problem that the parking line cannot be effectively detected in a specific surrounding environment.

또한, 템플릿 매칭을 이용하는 방식은 주위 환경에 상관없이 주차선의 검출이 가능한 장점은 있으나, 검출 속도가 매우 느린 문제점이 있다. In addition, the method using template matching has an advantage in that parking lines can be detected regardless of the surrounding environment, but there is a problem in that the detection speed is very slow.

한국공개특허 제10-2017-0124299호(2017.11.10자 공개)Korean Patent Publication No. 10-2017-0124299 (released on November 10, 2017)

J. S. Lee and S. C. Kee, "Empty Parking Space Detection Method using Around View Monitoring System", in Institute of Control, Robotics and Systems, vol. 23, no. 6, pp. 455-461, 2017J. S. Lee and S. C. Kee, "Empty Parking Space Detection Method using Around View Monitoring System", in Institute of Control, Robotics and Systems, vol. 23, no. 6, pp. 455-461, 2017 J. K. Suhr and H. G. Jung, "Automatic parking space detection and tracking for underground and indoor environments," IEEE Transactions on Industrial Electronics, vol. 63, no. 9, pp. 5687-5698, 2016J. K. Suhr and H. G. Jung, "Automatic parking space detection and tracking for underground and indoor environments," IEEE Transactions on Industrial Electronics, vol. 63, no. 9, pp. 5687-5698, 2016 M. Fan, Z. Hu, K. Hamada, and H. Chen, "Line Filter-Based Parking Slot Detection for Intelligent Parking Assistance System," in Proceedings of SAE-China Congress 2014: Selected Papers, 2015, pp. 175-181M. Fan, Z. Hu, K. Hamada, and H. Chen, "Line Filter-Based Parking Slot Detection for Intelligent Parking Assistance System," in Proceedings of SAE-China Congress 2014: Selected Papers, 2015, pp. 175-181 L. Zhang, J. Huang, X. Li, L. Xiong. "Vision-Based Parking-Slot Detection: A DCNN_Based Approach and a Large-Scale Benchmark Dataset," IEEE Transactions on Image Processing, vol. 27, no. 11, pp.5350-5364, 2018L. Zhang, J. Huang, X. Li, L. Xiong. "Vision-Based Parking-Slot Detection: A DCNN_Based Approach and a Large-Scale Benchmark Dataset," IEEE Transactions on Image Processing, vol. 27, no. 11, pp.5350-5364, 2018

본 발명은 신속하고 정확하게 주차선을 검출할 수 있고, 주차 구역 내부에 장애물이 존재하는 경우에도 주차선의 검출이 가능한 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법을 제공하기 위한 것이다. The present invention is to provide a parking line detection method using deep learning and an around view monitoring system capable of quickly and accurately detecting a parking line and detecting a parking line even when an obstacle exists inside the parking area.

본 발명은 검출된 주차선에 대응되는 주차선 가이드라인을 생성 및 표시하여 운전자가 주차 대상 영역을 명확히 인식할 수 있도록 하는 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법을 제공하기 위한 것이다. The present invention is to provide a parking line detecting method using deep learning and an around view monitoring system that enables a driver to clearly recognize a parking target area by generating and displaying a parking line guideline corresponding to the detected parking line.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.Objects other than the present invention will be easily understood through the following description.

본 발명의 일 측면에 따르면, 복수의 카메라에서 생성된 촬영 영상을 이용하여 탑뷰 형태의 AVM 영상을 생성하는 영상 처리부; 상기 AVM 영상을 대상으로 미리 지정된 복수의 검출 기법 각각을 독립적으로 이용하여 검출된 베이스라인과 주차선의 코너점을 이용하여 주차선을 검출하는 주차선 검출 유닛; 및 상기 주차선에 상응하는 주차선 가이드라인이 오버레이된 AVM 영상을 출력하는 출력부를 포함하는 AVM 시스템이 제공된다.According to an aspect of the present invention, an image processing unit generating an AVM image in a top view form using a captured image generated by a plurality of cameras; A parking line detection unit that detects a parking line using a corner point of a baseline and a parking line that are independently detected by using each of a plurality of detection techniques previously specified for the AVM image; And an output unit for outputting an AVM image overlaid with a parking line guideline corresponding to the parking line.

상기 주차선 검출 유닛은, 상기 AVM 영상에 라인 필터를 적용하여 중첩 피처맵을 생성하고, 상기 중첩 피처맵을 대상으로 허프 변환을 적용하여 주차선의 베이스라인을 결정하며, 상기 베이스라인에 미리 지정된 각도로 연결되는 직선을 검출하여 상기 베이스라인과 상기 직선의 교점을 주차선의 코너점으로 검출하는 제1 코너 검출부; 미리 저장된 주차선 데이터셋을 이용하여 딥러닝 기법으로 미리 학습된 물체 검출 모델을 상기 AVM 영상에 적용하여 주차선의 코너점을 검출하는 제2 코너 검출부; 상기 제1 코너 검출부에 의해 검출된 코너점과 상기 제2 코너 검출부에 의해 검출된 코너점을 대조하여 동일한 위치에 존재하는 코너점만을 유효한 코너점으로 선정하는 검증부; 및 상기 베이스라인과 상기 유효한 코너점을 기준하여 주차선을 결정하는 주차선 검출부를 포함할 수 있다. The parking line detection unit generates a superimposed feature map by applying a line filter to the AVM image, determines a baseline of the parking line by applying a Huff transform to the superimposed feature map, and a predetermined angle to the baseline A first corner detector configured to detect a straight line connected to and detect an intersection of the base line and the straight line as a corner point of the parking line; A second corner detection unit that detects a corner point of the parking line by applying an object detection model previously learned by a deep learning technique to the AVM image using a previously stored parking line data set; A verification unit that selects only a corner point existing in the same position as a valid corner point by comparing the corner point detected by the first corner detection unit and the corner point detected by the second corner detection unit; And a parking line detection unit that determines a parking line based on the base line and the effective corner point.

상기 제1 코너 검출부는 허프 변환되어 검출된 직선들 각각의 길이와 직선을 구성하는 픽셀의 밀도를 이용하여 산출한 산출값이 가장 큰 직선을 베이스라인으로 결정할 수 있다. The first corner detection unit may determine the straight line having the largest calculated value using the length of each of the straight lines detected by Huff conversion and the density of pixels constituting the straight line as a baseline.

상기 주차선 검출부는 허프 변환되어 검출된 직선들 중 상기 유효한 코너점에서 상기 베이스라인과 미리 지정된 각도로 연결되는 직선을 주차선을 형성하는 사이드라인으로 결정하고, 상기 베이스라인과 상기 사이드라인을 이용하여 주차선을 결정할 수 있다. The parking line detection unit determines a straight line connected to the base line at a predetermined angle from the effective corner point among the straight lines detected by Huff conversion as a side line forming a parking line, and uses the base line and the side line. To determine the parking line.

본 발명의 다른 측면에 따르면, 주차선을 검출하기 위한 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은, (a) AVM 영상에 라인 필터를 적용하여 중첩 피처맵을 생성하는 단계; (b) 상기 중첩 피처맵을 대상으로 허프 변환을 적용하여 주차선의 베이스라인을 결정하고, 상기 베이스라인에 미리 지정된 각도로 연결되는 직선을 검출하여 상기 베이스라인과 상기 직선의 교점을 주차선의 코너점으로 검출하는 단계; (c) 미리 저장된 주차선 데이터셋을 이용하여 딥러닝 기법으로 미리 학습된 물체 검출 모델을 상기 AVM 영상에 적용하여 주차선의 코너점을 검출하는 단계; (d) 상기 단계 (b)에서 검출된 코너점과 상기 단계 (d)에서 검출된 코너점을 대조하여 동일한 위치에 존재하는 코너점만을 유효한 코너점으로 선정하는 단계; 및 (e) 상기 베이스라인과 상기 유효한 코너점을 기준하여 주차선을 결정하는 단계를 포함하는 컴퓨터-판독가능 매체에 저장된 컴퓨터프로그램이 제공된다. According to another aspect of the present invention, a computer program stored in a computer-readable medium for detecting a parking line, the computer program causing the computer to perform the following steps, the steps comprising: (a) AVM image Generating an overlapping feature map by applying a line filter; (b) Applying a Hough transform to the overlapped feature map to determine the baseline of the parking line, and detecting a straight line connected at a predetermined angle to the baseline to cross the intersection of the baseline and the straight line to the corner point of the parking line Detecting by; (c) detecting a corner point of a parking line by applying a previously learned object detection model to the AVM image using a deep learning technique using a previously stored parking line dataset; (d) comparing the corner points detected in step (b) with the corner points detected in step (d) to select only corner points present in the same position as valid corner points; And (e) determining a parking line based on the baseline and the effective corner point.

상기 베이스라인은 상기 중첩 피처맵이 허프 변환되어 검출된 직선들 중 직선 길이와 직선을 구성하는 픽셀의 밀도를 이용하여 산출한 산출값이 가장 큰 직선일 수 있다. The baseline may be a straight line having the largest calculated value using the length of the straight line and the density of pixels constituting the straight line among the straight lines detected by the Huff transform of the overlapped feature map.

상기 단계 (e)에서, 허프 변환되어 검출된 직선들 중 상기 유효한 코너점에서 상기 베이스라인과 미리 지정된 각도로 연결되는 직선이 주차선을 형성하는 사이드라인으로 결정되고, 상기 베이스라인과 상기 사이드라인을 이용하여 주차선이 결정되는 것일 수 있다. In the step (e), a straight line connected to the base line at a predetermined angle from the effective corner point among the straight lines detected by Huff conversion is determined as a side line forming a parking line, and the base line and the side line are determined. The parking line may be determined using.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features, and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.

본 발명의 실시예에 따르면, 신속하고 정확하게 주차선을 검출할 수 있고, 주차 구역 내부에 장애물이 존재하는 경우에도 주차선의 검출이 가능한 효과가 있다.According to an embodiment of the present invention, it is possible to quickly and accurately detect a parking line, and it is possible to detect a parking line even when an obstacle exists inside the parking area.

또한 차량 내부에 구비된 디스플레이 장치에 AVM 영상과 중첩되어 주차선 가이드라인이 표시되도록 하여 운전자가 주차 대상 영역을 명확히 인식할 수 있도록 하는 효과도 있다.There is also an effect of overlapping the AVM image on the display device provided inside the vehicle so that the parking line guideline is displayed so that the driver can clearly recognize the parking target area.

도 1은 AVM 시스템의 개념을 개략적으로 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 AVM 시스템의 블록 구성도.
도 3 및 도 4는 본 발명의 일 실시예에 따른 제1 코너 검출부의 동작을 설명하기 위한 도면.
도 5는 본 발명의 일 실시예에 따른 제2 코너 검출부의 딥러닝 이유를 설명하기 위한 도면.
도 6은 본 발명의 일 실시예에 따른 AVM 시스템의 실제 실험 결과를 나타내는 도면.
도 7은 본 발명의 일 실시예에 따른 딥러닝을 이용한 주차선 검출 방법을 나타낸 순서도.1 schematically illustrates the concept of an AVM system.
2 is a block diagram of an AVM system according to an embodiment of the present invention.
3 and 4 are views for explaining the operation of the first corner detection unit according to an embodiment of the present invention.
5 is a view for explaining a deep learning reason of the second corner detection unit according to an embodiment of the present invention.
6 is a view showing the actual experimental results of the AVM system according to an embodiment of the present invention.
7 is a flowchart illustrating a parking line detection method using deep learning according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The present invention can be applied to various changes and can have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When an element is said to be "connected" to or "connected" to another component, it is understood that other components may be directly connected to or connected to the other component, but may exist in the middle. It should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that no other component exists in the middle.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from other components.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used herein are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this specification, terms such as “include” or “have” are intended to indicate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, and that one or more other features are present. It should be understood that the existence or addition possibilities of fields or numbers, steps, operations, components, parts or combinations thereof are not excluded in advance.

또한, 명세서에 기재된 "…부", "…유닛", "…모듈", "…기" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In addition, terms such as “…unit”, “…unit”, “…module”, and “…group” described in the specification mean a unit that processes at least one function or operation, which is hardware or software or hardware and software. It can be implemented as a combination of.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. In addition, in the description with reference to the accompanying drawings, the same components, regardless of reference numerals, are assigned the same or related reference numerals, and redundant description thereof will be omitted. In the description of the present invention, when it is determined that detailed descriptions of related known technologies may unnecessarily obscure the subject matter of the present invention, detailed descriptions thereof will be omitted.

도 2는 본 발명의 일 실시예에 따른 AVM 시스템의 블록 구성도이고, 도 3 및 도 4는 본 발명의 일 실시예에 따른 제1 코너 검출부의 동작을 설명하기 위한 도면이다. 도 5는 본 발명의 일 실시예에 따른 제2 코너 검출부의 딥러닝 이유를 설명하기 위한 도면이고, 도 6은 본 발명의 일 실시예에 따른 AVM 시스템의 실제 실험 결과를 나타내는 도면이다.2 is a block diagram of an AVM system according to an embodiment of the present invention, and FIGS. 3 and 4 are views for explaining the operation of the first corner detection unit according to an embodiment of the present invention. 5 is a diagram for explaining a deep learning reason of a second corner detection unit according to an embodiment of the present invention, and FIG. 6 is a view showing actual experimental results of the AVM system according to an embodiment of the present invention.

도 2를 참조하면, AVM 시스템은 카메라 유닛(200), 영상 처리부(210), 오버레이부(220), 출력부(230) 및 주차선 검출 유닛(240)을 포함할 수 있다.Referring to FIG. 2, the AVM system may include a camera unit 200, an image processing unit 210, an overlay unit 220, an output unit 230, and a parking line detection unit 240.

카메라 유닛(200)은 4개 이상의 AVM 시스템용 카메라를 포함한다. 각 카메라는 차량 주변의 영상을 획득할 수 있도록 차량의 전후좌우에 각각 설치되며, 예를 들어 어안렌즈(fish eye lens)를 포함하는 광각 카메라로 구현될 수 있다. 여기서, 광각 카메라는 단순한 광학기구뿐 아니라, 광학 신호를 전기적 신호로 변환하는 이미지 센서 등의 전기적 장치를 더 포함할 수 있다. The camera unit 200 includes four or more cameras for AVM systems. Each camera is installed on the front and rear and right and left of the vehicle so as to obtain an image around the vehicle, and may be implemented as, for example, a wide-angle camera including a fish eye lens. Here, the wide-angle camera may further include an electrical device such as an image sensor that converts an optical signal into an electrical signal, as well as a simple optical device.

영상 처리부(210)는 카메라 유닛(200)에서 입력되는 복수의 촬영 영상을 하나의 AVM 영상으로 변환할 수 있다. 여기서, AVM 영상이란 차량의 전후좌우에서 획득된 촬영 영상이 지면에 수직한 탑뷰 형태의 영상으로 합성되어 한 화면으로 보여지는 영상이다. The image processing unit 210 may convert a plurality of captured images input from the camera unit 200 into a single AVM image. Here, the AVM image is an image that is captured in front, rear, left, and right of a vehicle and is synthesized as a top-view image perpendicular to the ground and displayed on one screen.

이때, 차량의 전후좌우에 각각 설치된 카메라들의 위치, 지향 방향 및 지면과의 거리가 다르기 때문에, 영상 처리부(210)는 영상 처리를 통해 촬영 영상들 각각의 왜곡을 보정하여 AVM 영상을 생성할 수 있다. 이를 위해, 영상 처리부(210)는 예를 들어 촬영 영상의 휘도 및 색상 편차에 대한 보정, 어안렌즈에의 렌즈 왜곡 보상, 원근감에 대한 편차 보상, 시점 변환 등을 통해 복수의 촬영 영상을 하나의 AVM 영상으로 변환할 수 있을 것이다. AVM 영상 내에는 AVM 시스템이 설치된 차량의 기등록된 사이즈를 이용하여 생성된 가상의 차량이 함께 표시될 수 있을 것이다(도 1의 (b) 참조). At this time, since the positions of the cameras installed in the front, rear, left, and right of the vehicle are different from each other, and the distance from the ground, the image processing unit 210 may generate AVM images by correcting distortion of each of the captured images through image processing. . To this end, the image processing unit 210 may, for example, correct a luminance and color deviation of a captured image, compensate for lens distortion to a fish-eye lens, compensate for a deviation in perspective, and convert a plurality of captured images into one AVM. You will be able to convert it to video. In the AVM image, a virtual vehicle generated using a pre-registered size of a vehicle on which the AVM system is installed may be displayed together (see (b) of FIG. 1 ).

오버레이부(220)는 영상 처리부(210)에서 생성된 AVM 영상에 후술될 주차선 검출 유닛(240)에서 검출한 주차선에 대응되는 주차선 가이드라인이 오버레이되어 표시되도록 처리할 수 있다.The overlay unit 220 may process the AVM image generated by the image processing unit 210 so that the parking line guideline corresponding to the parking line detected by the parking line detection unit 240 to be described later is overlaid and displayed.

주차선 가이드라인이 오버레이된 AVM 영상은 예를 들어 차량에 구비된 디스플레이 장치인 출력부(230)를 통해 출력될 수 있다. 물론, 검출된 주차선이 존재하지 않는 경우에는 주차선 가이드라인이 오버레이되지 않은 AVM 영상이 출력부(230)를 통해 출력될 수 있음은 당연하다. The AVM image overlaid with the parking line guideline may be output through, for example, the output unit 230 which is a display device provided in the vehicle. Of course, when the detected parking line does not exist, it is natural that the AVM image in which the parking line guideline is not overlaid may be output through the output unit 230.

주차선 검출 유닛(240)은 제1 코너 검출부(231), 제2 코너 검출부(233), 검증부(235), 학습 DB(237) 및 주차선 검출부(239)를 포함할 수 있다.The parking line detection unit 240 may include a first corner detection unit 231, a second corner detection unit 233, a verification unit 235, a learning DB 237, and a parking line detection unit 239.

제1 코너 검출부(241)는 미리 지정된 제1 검출 기법을 이용하여 주차선의 베이스라인(baseline)과 코너점을 검출한다. 여기서, 미리 지정된 제1 검출 기법은 라인 필터(line filter)와 허프 변환(hough transform)을 이용하는 기법일 수 있다.The first corner detection unit 241 detects a baseline and a corner point of the parking line using a first predetermined detection technique. Here, the predetermined first detection technique may be a technique using a line filter and a hough transform.

우선, 제1 코너 검출부(241)는 라인 필터를 이용하여 주차선을 검출한다. 일반적으로 주차선이 운전자의 인식력을 높이기 위해 일정한 두께를 가지는 밝은 색의 라인으로 제작되지만, 본 실시예의 제1 코너 검출부(241)는 다양한 환경에서 보다 효과적으로 주차선이 검출될 수 있도록 하기 위해 종래의 소벨(Sobel) 필터나 캐니(canny) 필터와 같은 에지 검출 필터에 비해 상대적으로 조명 변화 및 그림자에 강한 특성을 가지는 라인 필터를 적용한다.First, the first corner detector 241 detects a parking line using a line filter. In general, the parking line is made of a light colored line having a certain thickness to increase the driver's perception, but the first corner detection unit 241 of this embodiment is conventional to enable the parking line to be detected more effectively in various environments. Compared to edge detection filters, such as Sobel filters or canny filters, line filters with relatively strong changes in lighting and shadows are applied.

라인 필터는 {-1, …, -1, 0, 1, …, 1} 형태의 마스크 구조를 가지고 있으며, AVM 영상을 대상으로 X방향과 Y방향으로 각각 라인 필터로 연산하면 주차선이 시작하는 부분(즉, 상대적으로 밝아지는 영역)이 상승 에지(edge)를 가지고, 주차선이 끝나는 부분(즉, 상대적으로 어두워지는 영역)은 하강 에지를 가지는 것으로 인식된다. 이러한 특징을 이용하여 역으로 한번 더 연산하면 주차선의 중심 위치에서 가장 높은 반응값이 나타나는 특성이 있다. The line filter is {-1,… , -1, 0, 1,… , 1} has a mask structure, and when the AVM image is calculated with a line filter in the X and Y directions, respectively, the part where the parking line starts (ie, the area that becomes relatively bright) has a rising edge. In addition, it is recognized that the part where the parking line ends (that is, a region that is relatively dark) has a falling edge. Using this feature, once again, there is a characteristic that the highest response value appears at the center position of the parking line.

참고로, 도 3의 (b)는 차량이 주차선 내에 주차된 상황의 AVM 영상(도 3의 (a) 참조)에 대해 라인 필터로 X방향 연산한 피처맵(feature map)을 나타낸 것이고, 도 3의 (c)는 동일한 AVM 영상에 대해 라인 필터로 Y방향 연산한 피처맵을 나타내며, 도 3의 (d)는 두 방향을 중첩하여 이진화한 결과의 중첩 피처맵을 나타낸다.For reference, FIG. 3(b) shows a feature map calculated in the X direction with a line filter for an AVM image (see FIG. 3(a)) of a situation in which a vehicle is parked in a parking line. Fig. 3(c) shows the feature map calculated in the Y direction with the line filter for the same AVM image, and Fig. 3(d) shows the overlapped feature map of the result of binarizing the two directions.

도 3에 예시된 각각의 피처맵을 참조할 때, 주위 값보다 상대적으로 밝은 값을 가지는 부분(예를 들어, 주차선, 식물 등)이 상대적으로 큰 피처(feature)을 가짐을 확인할 수 있다. 또한, 각각의 피처맵을 참조할 때 주차선은 직선의 형태를 가지도록 표시됨도 확인할 수 있다. When referring to each feature map illustrated in FIG. 3, it can be seen that a portion (for example, a parking line, a plant, etc.) having a relatively bright value than surrounding values has a relatively large feature. Also, when referring to each feature map, it can be also seen that the parking line is displayed to have a straight line shape.

제1 코너 검출부(241)는 라인 필터로 연산된 중첩 피처맵(도 3의 (d) 참조)을 대상으로 허프 변환을 실시한다. 허프 변환은 영상에서 일반적인 직선, 곡선, 원과 같은 특징을 찾는데 일반적으로 이용되는 것으로, 이에 대한 구체적인 설명은 생략한다. The first corner detection unit 241 performs Hough transformation on an overlapped feature map (see FIG. 3D) calculated with a line filter. The Hough transform is generally used to find features such as straight lines, curves, and circles in an image, and detailed descriptions thereof are omitted.

중첩 피처맵을 대상으로 허프 변환을 실시하면, 도 4의 (a)에 예시된 바와 같이, 중첩 피처맵에서 직선의 형태로 표시되던 주차선 뿐 아니라 그 이외의 큰 피처를 가지는 부분들도 직선의 형태로 검출된다. When the Hough transformation is performed on the overlapped feature map, as illustrated in FIG. 4(a), the parking line displayed in the form of a straight line in the overlapped feature map, as well as parts having other large features, may be linearly formed. It is detected in the form.

이때, 제1 코너 검출부(241)가 주차선의 검출을 목적으로 함을 고려할 때, 주차선 이외의 선들은 불필요한 것들로서 제거될 필요가 있다. At this time, considering that the first corner detection unit 241 is for the purpose of detecting the parking line, lines other than the parking line need to be removed as unnecessary.

이를 위해, 제1 코너 검출부(241)는 주차선만을 선택적으로 검출할 수 있도록 하기 위해. 검출된 선의 길이와 선이 가지는 픽셀의 밀도를 이용하여 산출한 산출값이 가장 큰 값을 가지는 선을 베이스라인으로 선정한다. 이때, 계산된 선의 길이와 픽셀의 밀도 각각에 대해 가중치를 부여하여 합산하는 등 베이스라인의 선정을 위해 각 선에 대한 산출값을 산출하고, 산출값의 우열을 결정하는 방법은 다양할 수 있다. To this end, the first corner detector 241 can selectively detect only the parking line. The line having the largest calculated value using the length of the detected line and the density of the pixels in the line is selected as a baseline. At this time, there are various methods for calculating the calculated values for each line and determining the superiority of the calculated values for the selection of the baseline, such as adding weights to each of the calculated line length and pixel density.

즉, 제1 코너 검출부(241)는 허프 변환에 의해 검출된 선들 각각에 대해 선의 길이 및 선을 구성하는 픽셀의 밀도를 계산한 후, 가장 큰 값을 가지는 선을 베이스라인으로 선정한다(도 4의 (b)의 녹색 원 참조).That is, the first corner detector 241 calculates the length of the line and the density of the pixels constituting the line for each of the lines detected by the Hough transform, and then selects the line having the largest value as a baseline (FIG. 4) (B) see the green circle).

이후, 제1 코너 검출부(241)는 선정된 베이스라인을 기준으로 주차 영역의 코너점을 검출한다. 일반적으로 허프 변환은 두 점을 기준하여 선을 검출하기 때문에, 각각의 두 점들을 이용하여 각 직선의 방정식이 계산될 수 있다. Thereafter, the first corner detection unit 241 detects a corner point of the parking area based on the selected baseline. In general, since the Hough transform detects a line based on two points, the equation of each straight line can be calculated using each of the two points.

따라서, 제1 코너 검출부(241)는 베이스라인의 직선 방정식으로 기울기를 계산한 후, 허프 변환의 결과로 추출된 직선의 기울기들과의 각도 차이를 계산하고, 베이스라인의 기울기와 직각을 가지는 선이 존재하면 해당 교점의 위치를 주차선의 코너점으로 검출될 수 있다(도 4의 (c)의 노란색 원들 참조). 이때, 검출된 코너점들은 베이스라인 상에 위치된다. 여기서, 주차선을 구획하는 사이드라인이 베이스라인에 수직 또는 임의의 경사각을 가지도록 연결되는 경우라면 해당 경사각을 가지는 선을 검출하여 코너점을 검출할 수 있음은 당연하다. Therefore, the first corner detector 241 calculates the slope using the linear equation of the baseline, calculates the angle difference between the slopes of the straight line extracted as a result of the Huff transform, and has a line perpendicular to the slope of the baseline. If present, the location of the intersection can be detected as a corner point of the parking line (see yellow circles in FIG. 4(c)). At this time, the detected corner points are located on the baseline. Here, it is natural that a corner point may be detected by detecting a line having a corresponding inclination angle when the sideline dividing the parking line is connected to the baseline to have a vertical or arbitrary inclination angle.

그러나, 허프 변환의 경우 다양한 선들이 검출되기 때문에 잘못된 위치가 코너점으로 검출될 수 있는 문제점이 있어, 본 실시예에 따른 주차선 검출 유닛(240)은 제2 코너 검출부(243)와 검증부(245)를 이용하여 정확한 코너점의 검출을 위한 검증을 실시하는 특징이 있다. 참고로, 도 4의 (c)에는 노란색 원으로 표시된 4개의 지점이 코너점으로 검출되었으나, 왼쪽으로부터 두번째 위치는 코너점으로 잘못 검출된 경우이다. However, in the case of the Hough conversion, since various lines are detected, there is a problem in that the wrong position can be detected as a corner point. The parking line detection unit 240 according to the present embodiment includes a second corner detection unit 243 and a verification unit ( 245) is used to perform verification for the detection of an accurate corner point. For reference, in FIG. 4(c), four points indicated by yellow circles are detected as corner points, but the second position from the left is a case where the corner points are incorrectly detected.

제2 코너 검출부(243)는 학습된 물체 검출 모델(object detection model)을 이용하는 미리 지정된 제2 검출 기법을 이용하여 AVM 영상에서 주차선의 코너점을 검출한다. 여기서, 물체 검출 모델은 예를 들어 YOLO(You Only Look Once) v2 모델, R-CNN(Regions with Convolutional Neural Networks, Region based Convolutional Neural Networks) 모델, fast R-CNN 모델 등일 수 있다. The second corner detector 243 detects a corner point of the parking line in the AVM image using a second predetermined detection technique using a learned object detection model. Here, the object detection model may be, for example, a You Only Look Once (YOLO) v2 model, Regions with Convolutional Neural Networks (R-CNN), Region based Convolutional Neural Networks (R-CNN) model, fast R-CNN model, or the like.

일반적으로, YOLOv2 등의 물체 검출 모델은 주차장의 화살표 노면 표시를 주차선의 코너점으로 오검출할 수 있고(도 5의 (a) 참조), 또는 노면에 반사된 빛이 실제의 주차선과 이어져 주차선의 코너점으로 오검출하는 사례(도 5의 (b) 참조)가 빈번하게 발생된다. In general, an object detection model such as YOLOv2 may incorrectly detect an arrow road marking of the parking lot as a corner point of the parking line (see FIG. 5(a)), or the light reflected on the road surface connects with the actual parking line, and The case of incorrect detection as a corner point (refer to (b) of FIG. 5) frequently occurs.

검출 정확도를 향상시키기 위해, 제2 코너 검출부(243)는 적용할 물체 검출 모델을 학습 DB(237)에 저장된 주차선 데이터셋을 이용하여 딥러닝(deep learning) 기법으로 미리 학습시켜 주차선의 코너점 검출에 이용할 수 있다. 학습 DB(237)에 미리 저장되는 주차선 데이터셋은 예를 들어 논문 "Vision-Based Parking-Slot Detection: A DCNN_Based Approach and a Large-Scale Benchmark Dataset"에서 공개된 9,827장의 영상으로 구성된 트레이닝 데이터셋과 2,338장의 영상으로 구성된 테스트 데이터셋일 수 있다. In order to improve detection accuracy, the second corner detection unit 243 pre-trains the object detection model to be applied by using a deep learning technique using the parking line dataset stored in the learning DB 237, so that the corner point of the parking line is detected. Can be used for detection. The parking line dataset stored in advance in the learning DB 237 is, for example, a training dataset consisting of 9,827 images published in the article "Vision-Based Parking-Slot Detection: A DCNN_Based Approach and a Large-Scale Benchmark Dataset" It may be a test data set consisting of 2,338 images.

그러나, 제2 코너 검출부(243)가 미리 학습시킨 물체 검출 모델을 이용하여 주차선의 코너점을 검출하더라도 그 검출 정확도가 완벽할 수는 없다. 이는 앞서 설명한 제1 코너 검출부(241)가 라인 필터와 허프 변환을 이용하는 제1 검출 기법에 의해 주차선의 코너점을 검출하더라도 그 검출 정확도가 완벽할 수 없는 것과 마찬가지이다. However, even if the second corner detection unit 243 detects a corner point of the parking line using an object detection model previously learned, the detection accuracy cannot be perfect. This is the same as if the first corner detection unit 241 described above detects the corner point of the parking line by the first detection technique using the line filter and the Hough transform, and the detection accuracy cannot be perfect.

따라서, 본 실시예에 따른 주차선 검출 유닛(240)은 후술되는 검증부(245)를 이용하여 제1 코너 검출부(241)가 이용하는 제1 검출 기법의 단점과 제2 코너 검출부(243)가 이용하는 제2 검출 기법의 단점이 서로 보완되어 보다 정확하게 주차선의 코너점들이 검출될 수 있도록 처리하는 특징이 있다.Therefore, the parking line detection unit 240 according to the present embodiment uses the second corner detection unit 243 and the disadvantages of the first detection technique used by the first corner detection unit 241 using the verification unit 245 described below. The disadvantages of the second detection technique are complemented with each other, so that the corner points of the parking line can be detected more accurately.

검증부(245)는 제1 코너 검출부(241)에 의해 검출된 코너점들과 제2 코너 검출부(243)에 의해 검출된 코너점들을 대조하여 동일한 위치에 존재하는 코너점들만을 유효한 코너점으로 선정한다. The verification unit 245 compares the corner points detected by the first corner detection unit 241 and the corner points detected by the second corner detection unit 243, and only the corner points present in the same position are valid corner points. Select.

주차선 검출부(249)는 제1 코너 검출부(241)에 의해 결정된 베이스라인과, 검증부(245)에 의해 선정된 유효한 코너점을 기준하여 주차선을 결정한다. 이때, 유효한 코너점과 제1 코너 검출부(241)에 의한 허프 변환에서 검출된 선을 이용하여 베이스라인에 미리 지정된 각도(예를 들어 수직 또는 사선 방향)로 연결되는 주차선(즉, 사이드라인)이 결정될 수도 있다(도 4의 (d) 참조). The parking line detection unit 249 determines the parking line based on the baseline determined by the first corner detection unit 241 and a valid corner point selected by the verification unit 245. At this time, a parking line (ie, a side line) connected to a base line at a predetermined angle (for example, a vertical or diagonal direction) using a valid corner point and a line detected in the Huff transformation by the first corner detector 241. This may be determined (see FIG. 4(d)).

주차선 검출부(249)는 결정한 주차선에 상응하는 주차선 가이드라인을 오버레이부(220)로 제공하여, 주차선 가이드라인이 오버레이된 AVM 영상이 출력부(230)를 통해 출력되도록 할 수 있다. The parking line detection unit 249 may provide a parking line guideline corresponding to the determined parking line to the overlay unit 220 so that the AVM image overlaid with the parking line guideline is output through the output unit 230.

도 6에는 본 발명자가 차량에 카메라 4대를 설치하여 AVM 환경을 구축한 후 야외 주차장에서 주차선 검출 성능을 실험한 실험 결과가 도시되어 있다. 이때, 입력되는 AVM 영상의 크기는 520x688을 이용하였고, 전체 알고리즘은 인텔사의 i7-7700 3.60GHz의 CPU 환경과, NVIDIA사의 RTX2070의 그래픽 카드를 탑재한 Desktop 환경에서 실시되었다. FIG. 6 shows the experimental results of the inventor installing the four cameras in the vehicle and constructing the AVM environment, and then testing the parking line detection performance in the outdoor parking lot. At this time, the size of the input AVM image was 520x688, and the entire algorithm was performed in a Intel i7-7700 3.60GHz CPU environment and a desktop environment equipped with NVIDIA's RTX2070 graphics card.

실험 결과, 도 6에 예시된 바와 같이 효과적으로 주차선이 검출되는 것을 입증하였다. 이해의 편의를 위해, 실험 결과에서 베이스라인은 빨간색 선으로 표시하였고, 주차선의 코너점은 파란색 원 형태로 표시하였고, 베이스라인과 코너점을 기준하여 검출한 사이드라인은 초록색 선으로 표시하였다. 실험 결과를 참조할 때, 본 실시예에 따른 주차선 검출 유닛(240)은 차량의 위치와 상관없이 주차선을 검출할 수 있을 뿐 아니라, 장애물이 있는 경우에도 주차선을 검출할 수 있음을 확인할 수 있다.As a result of the experiment, it was proved that the parking line was effectively detected as illustrated in FIG. 6. For ease of understanding, in the experiment results, the baseline was marked with a red line, the corner point of the parking line was marked with a blue circle, and the sidelines detected based on the baseline and corner points were marked with a green line. When referring to the experimental results, it is confirmed that the parking line detection unit 240 according to the present embodiment can not only detect the parking line regardless of the position of the vehicle, but also detect the parking line even when there is an obstacle. Can be.

도 7은 본 발명의 일 실시예에 따른 딥러닝을 이용한 주차선 검출 방법을 나타낸 순서도이다.7 is a flowchart illustrating a parking line detection method using deep learning according to an embodiment of the present invention.

도 7을 참조하면, 단계 710에서 주차선 검출 유닛(240)은 복수의 카메라에서 생성된 촬영 영상이 탑뷰 형태로 합성된 AVM 영상을 입력받는다.Referring to FIG. 7, in step 710, the parking line detection unit 240 receives an AVM image in which a captured image generated by a plurality of cameras is synthesized in a top view form.

단계 720에서, 주차선 검출 유닛(240)은 미리 지정된 복수의 검출 기법을 각각 이용하여 각 검출 기법에 따른 주차선의 코너점을 검출한다. In step 720, the parking line detection unit 240 detects a corner point of the parking line according to each detection technique by using a plurality of detection techniques previously specified.

예를 들어 제1 검출 기법은 라인 필터와 허프 변환을 이용하여 주차선의 베이스라인과 코너점을 검출하는 기법일 수 있다. For example, the first detection technique may be a technique of detecting a baseline and a corner point of a parking line using a line filter and a Hough transform.

즉, 라인 필터를 이용하여 AVM 영상을 X방향과 Y 방향으로 각각 연산하고, 두 방향의 연산 결과를 중첩한 중첩 피처맵을 생성한 후, 중첩 피처맵을 대상으로 허프 변환을 실시하여 검출된 직선들 중 선의 길이와 선이 가지는 픽셀의 밀도가 가장 큰 선을 베이스라인으로 선정한다. That is, the AVM image is computed in the X and Y directions respectively using a line filter, an overlapped feature map is generated by superimposing the results of the two directions, and a straight line detected by performing Hough transformation on the overlapped feature map. The line with the highest line length and the pixel density of the line is selected as the baseline.

이어서, 베이스라인의 직선 방정식의 기울기와 미리 지정된 각도(예를 들어, 직교 또는 미리 지정된 경사각)로 연결되는 직선을 검출하고 해당 직선과의 교점을 주차선의 코너점으로 검출한다. Subsequently, a straight line connected to the slope of the linear equation of the baseline and a predetermined angle (for example, an orthogonal angle or a predetermined slope angle) is detected, and an intersection with the straight line is detected as a corner point of the parking line.

또한 제2 검출 기법은 딥러닝 기법으로 학습된 물체 검출 모델을 이용하여 AVM 영상 내의 주차선의 코너점을 검출하는 기법일 수 있다. 여기서, YOLOv2 모델 등의 물체 검출 모델은 오검출 확률을 감소시키기 위해 학습 DB(237)에 미리 저장된 주차선 데이터셋을 이용하여 딥러닝 방식으로 미리 학습될 수 있다. 학습된 물체 검출 모델을 이용하여 주차선의 코너점을 검출하는 실제적인 방식은 당업자에게 자명한 사항이므로 이에 대한 설명은 생략한다. Also, the second detection technique may be a technique of detecting a corner point of a parking line in an AVM image using an object detection model trained by a deep learning technique. Here, an object detection model such as a YOLOv2 model may be pre-learned by a deep learning method using a parking line dataset previously stored in the learning DB 237 to reduce the probability of false detection. Since the practical method of detecting the corner point of the parking line using the learned object detection model is obvious to a person skilled in the art, a description thereof will be omitted.

단계 730에서 주차선 검출 유닛(240)은 미리 지정된 복수의 검출 기법 각각에서 검출된 주차선의 코너점을 대조하여 동일한 위치에 존재하는 코너점들만을 유효한 코너점으로 선정한다. 이는, 주차선의 코너점을 검출하기 위해 이용되는 복수의 검출 기법 각각이 단점을 가지고 있기 때문에, 각 검출 기법의 단점들이 서로 보완되어 보다 정확하게 주차선의 코너점들이 검출될 수 있도록 처리하기 위한 것이다. In step 730, the parking line detection unit 240 compares the corner points of the parking line detected in each of a plurality of predetermined detection techniques to select only the corner points present in the same position as valid corner points. This is because each of the plurality of detection techniques used to detect the corner point of the parking line has a disadvantage, and the disadvantages of each detection technique are complemented with each other so that the corner points of the parking line can be detected more accurately.

단계 740에서 주차선 검출 유닛(240)은 단계 720에서 결정된 베이스라인과 단계 730에서 선정된 유효한 코너점들을 기준하여 주차선을 결정한다. 이때, 유효한 코너점과 전술한 허프 변환에서 검출된 선을 이용하여 베이스라인에 수직 또는 사선 방향으로 연결되는 주차선(즉, 사이드라인)이 결정될 수도 있을 것이며, 결정된 주차선에 대응되는 주차선 가이드라인이 AVM 영상에 오버레이되어 출력부(230)를 통해 출력될 수 있을 것이다.In step 740, the parking line detection unit 240 determines the parking line based on the baseline determined in step 720 and the valid corner points selected in step 730. At this time, a parking line (ie, a side line) connected to the base line in a vertical or diagonal direction may be determined using a valid corner point and a line detected in the aforementioned Hough transformation, and a parking line guide corresponding to the determined parking line The line may be overlaid on the AVM image and output through the output unit 230.

전술한 바와 같이, 본 실시예에 따른 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법은 주차선을 신속하고 정확하게 검출할 수 있고, 주차 구역 내부에 장애물이 존재하는 경우에도 주차선의 검출이 가능하며, 주차선 가이드라인을 AVM 영상에 오버레이하여 표시함으로써 운전자가 주차 대상 영역을 명확히 인식할 수 있도록 하는 특징이 있다. As described above, the parking line detection method using the around view monitoring system and deep learning according to the present embodiment can quickly and accurately detect the parking line and detect the parking line even when an obstacle exists inside the parking area. The parking line guideline is overlaid and displayed on the AVM image, so that the driver can clearly recognize the parking target area.

상술한 딥러닝을 이용한 주차선 검출 방법은 디지털 처리 장치에 내장된 소프트웨어 프로그램, 애플리케이션 등으로 구현되어 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 당연하다. 상기 프로그램 등을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. It is natural that the above-described method for detecting a parking line using deep learning may be implemented as an automated procedure according to a time series sequence as it is implemented as a software program or application built into a digital processing device. The codes and code segments constituting the program and the like can be easily inferred by a computer programmer in the field. In addition, the program is stored in a computer readable media, and read and executed by a computer to implement the method.

상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to embodiments of the present invention, those skilled in the art variously modify and change the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. You can understand that you can.

10, 20, 30, 40 : 카메라 200 : 카메라 유닛
210 : 영상 처리부 220 : 오버레이부
230 : 출력부 240 : 주차선 검출 유닛
241 : 제1 코너 검출부 243 : 제2 코너 검출부
245 : 검증부 247 : 학습 DB
249 : 주차선 검출부10, 20, 30, 40: Camera 200: Camera unit
210: image processing unit 220: overlay unit
230: output unit 240: parking line detection unit
241: first corner detector 243: second corner detector
245: verification unit 247: learning DB
249: Parking line detection unit

Claims (7)

복수의 카메라에서 생성된 촬영 영상을 이용하여 탑뷰 형태의 AVM 영상을 생성하는 영상 처리부;
상기 AVM 영상을 대상으로 미리 지정된 복수의 검출 기법 각각을 독립적으로 이용하여 검출된 베이스라인과 주차선의 코너점을 이용하여 주차선을 검출하는 주차선 검출 유닛; 및
상기 주차선에 상응하는 주차선 가이드라인이 오버레이된 AVM 영상을 출력하는 출력부를 포함하는 AVM 시스템.
An image processing unit generating an AVM image in a top view form by using captured images generated by a plurality of cameras;
A parking line detection unit that detects a parking line using a corner point of the baseline and the parking line, which are independently detected by using each of a plurality of predefined detection techniques for the AVM image; And
An AVM system including an output unit for outputting an AVM image overlaid with a parking line guideline corresponding to the parking line.
제1항에 있어서,
상기 주차선 검출 유닛은,
상기 AVM 영상에 라인 필터를 적용하여 중첩 피처맵을 생성하고, 상기 중첩 피처맵을 대상으로 허프 변환을 적용하여 주차선의 베이스라인을 결정하며, 상기 베이스라인에 미리 지정된 각도로 연결되는 직선을 검출하여 상기 베이스라인과 상기 직선의 교점을 주차선의 코너점으로 검출하는 제1 코너 검출부;
미리 저장된 주차선 데이터셋을 이용하여 딥러닝 기법으로 미리 학습된 물체 검출 모델을 상기 AVM 영상에 적용하여 주차선의 코너점을 검출하는 제2 코너 검출부;
상기 제1 코너 검출부에 의해 검출된 코너점과 상기 제2 코너 검출부에 의해 검출된 코너점을 대조하여 동일한 위치에 존재하는 코너점만을 유효한 코너점으로 선정하는 검증부; 및
상기 베이스라인과 상기 유효한 코너점을 기준하여 주차선을 결정하는 주차선 검출부를 포함하는 것을 특징으로 하는 AVM 시스템.
According to claim 1,
The parking line detection unit,
A line filter is applied to the AVM image to generate an overlapping feature map, a Huff transform is applied to the overlapping feature map to determine a baseline of the parking line, and a straight line connected at a predetermined angle to the baseline is detected. A first corner detection unit detecting an intersection of the base line and the straight line as a corner point of the parking line;
A second corner detection unit that detects a corner point of the parking line by applying an object detection model previously learned by a deep learning technique to the AVM image using a previously stored parking line data set;
A verification unit that selects a corner point existing in the same position as a valid corner point by comparing the corner point detected by the first corner detection unit and the corner point detected by the second corner detection unit; And
And a parking line detector configured to determine a parking line based on the baseline and the effective corner point.
제2항에 있어서,
상기 제1 코너 검출부는 허프 변환되어 검출된 직선들 각각의 길이와 직선을 구성하는 픽셀의 밀도를 이용하여 산출한 산출값이 가장 큰 직선을 베이스라인으로 결정하는 것을 특징으로 하는 AVM 시스템.
According to claim 2,
The first corner detection unit AVM system, characterized in that for determining the straight line having the largest calculated value using the length of each of the detected Huff transformed and the density of the pixels constituting the straight line as a baseline.
제2항에 있어서,
상기 주차선 검출부는 허프 변환되어 검출된 직선들 중 상기 유효한 코너점에서 상기 베이스라인과 미리 지정된 각도로 연결되는 직선을 주차선을 형성하는 사이드라인으로 결정하고, 상기 베이스라인과 상기 사이드라인을 이용하여 주차선을 결정하는 것을 특징으로 하는 AVM 시스템.
According to claim 2,
The parking line detection unit determines a straight line connected to the base line at a predetermined angle from the effective corner point among the straight lines detected by Huff conversion as a side line forming a parking line, and uses the base line and the side line. AVM system characterized in that to determine the parking line.
주차선을 검출하기 위한 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은,
(a) AVM 영상에 라인 필터를 적용하여 중첩 피처맵을 생성하는 단계;
(b) 상기 중첩 피처맵을 대상으로 허프 변환을 적용하여 주차선의 베이스라인을 결정하고, 상기 베이스라인에 미리 지정된 각도로 연결되는 직선을 검출하여 상기 베이스라인과 상기 직선의 교점을 주차선의 코너점으로 검출하는 단계;
(c) 미리 저장된 주차선 데이터셋을 이용하여 딥러닝 기법으로 미리 학습된 물체 검출 모델을 상기 AVM 영상에 적용하여 주차선의 코너점을 검출하는 단계;
(d) 상기 단계 (b)에서 검출된 코너점과 상기 단계 (d)에서 검출된 코너점을 대조하여 동일한 위치에 존재하는 코너점만을 유효한 코너점으로 선정하는 단계; 및
(e) 상기 베이스라인과 상기 유효한 코너점을 기준하여 주차선을 결정하는 단계를 포함하는 컴퓨터-판독가능 매체에 저장된 컴퓨터프로그램.
A computer program stored in a computer-readable medium for detecting a parking line, the computer program causing the computer to perform the following steps, the steps comprising:
(a) generating an overlapped feature map by applying a line filter to the AVM image;
(b) Applying a Hough transform to the overlapped feature map to determine a baseline of the parking line, and detecting a straight line connected to the baseline at a predetermined angle to cross the intersection of the baseline and the straight line to a corner point of the parking line Detecting by;
(c) detecting a corner point of the parking line by applying a previously learned object detection model to the AVM image using a deep learning technique using a previously stored parking line dataset;
(d) comparing the corner points detected in step (b) with the corner points detected in step (d) to select only corner points present in the same position as valid corner points; And
(e) determining a parking line based on the baseline and the valid corner point, a computer program stored on a computer-readable medium.
제5항에 있어서,
상기 베이스라인은 상기 중첩 피처맵이 허프 변환되어 검출된 직선들 중 직선 길이와 직선을 구성하는 픽셀의 밀도를 이용하여 산출한 산출값이 가장 큰 직선인 것을 특징으로 하는 컴퓨터-판독가능 매체에 저장된 컴퓨터프로그램.
The method of claim 5,
The baseline is stored in a computer-readable medium, characterized in that the superimposed feature map is a straight line having the largest calculated value using the length of the straight line and the density of pixels constituting the straight line among the detected straight lines. Computer program.
제5항에 있어서,
상기 단계 (e)에서, 허프 변환되어 검출된 직선들 중 상기 유효한 코너점에서 상기 베이스라인과 미리 지정된 각도로 연결되는 직선이 주차선을 형성하는 사이드라인으로 결정되고, 상기 베이스라인과 상기 사이드라인을 이용하여 주차선이 결정되는 것을 특징으로 하는 컴퓨터-판독가능 매체에 저장된 컴퓨터프로그램.The method of claim 5,
In the step (e), a straight line connected to the base line at a predetermined angle from the effective corner point among the straight lines detected by Huff conversion is determined as a side line forming a parking line, and the base line and the side line are determined. Computer program stored in a computer-readable medium, characterized in that the parking line is determined by using.
KR1020180147212A 2018-11-26 2018-11-26 Around view monitoring system and method for detecting parking line with deep learning KR102133020B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180147212A KR102133020B1 (en) 2018-11-26 2018-11-26 Around view monitoring system and method for detecting parking line with deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180147212A KR102133020B1 (en) 2018-11-26 2018-11-26 Around view monitoring system and method for detecting parking line with deep learning

Publications (2)

Publication Number Publication Date
KR20200068045A true KR20200068045A (en) 2020-06-15
KR102133020B1 KR102133020B1 (en) 2020-07-10

Family

ID=71081564

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180147212A KR102133020B1 (en) 2018-11-26 2018-11-26 Around view monitoring system and method for detecting parking line with deep learning

Country Status (1)

Country Link
KR (1) KR102133020B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113053164A (en) * 2021-05-11 2021-06-29 吉林大学 Parking space identification method using look-around image
CN113627277A (en) * 2021-07-20 2021-11-09 的卢技术有限公司 Method and device for identifying parking space
KR20220072577A (en) * 2020-11-25 2022-06-02 현대모비스 주식회사 Apparatus for recognizing parking area for autonomous parking and method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000079860A (en) * 1998-06-26 2000-03-21 Aisin Seiki Co Ltd Auxiliary parking device
KR101470240B1 (en) * 2013-11-14 2014-12-08 현대자동차주식회사 Parking area detecting apparatus and method thereof
KR20160045482A (en) * 2014-10-17 2016-04-27 현대모비스 주식회사 Around view system and the operating method
KR20170124299A (en) 2016-05-02 2017-11-10 현대모비스 주식회사 A method and apparatus of assisting parking by creating virtual parking lines

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000079860A (en) * 1998-06-26 2000-03-21 Aisin Seiki Co Ltd Auxiliary parking device
KR101470240B1 (en) * 2013-11-14 2014-12-08 현대자동차주식회사 Parking area detecting apparatus and method thereof
KR20160045482A (en) * 2014-10-17 2016-04-27 현대모비스 주식회사 Around view system and the operating method
KR20170124299A (en) 2016-05-02 2017-11-10 현대모비스 주식회사 A method and apparatus of assisting parking by creating virtual parking lines

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
J. K. Suhr and H. G. Jung, "Automatic parking space detection and tracking for underground and indoor environments," IEEE Transactions on Industrial Electronics, vol. 63, no. 9, pp. 5687-5698, 2016
J. S. Lee and S. C. Kee, "Empty Parking Space Detection Method using Around View Monitoring System", in Institute of Control, Robotics and Systems, vol. 23, no. 6, pp. 455-461, 2017
L. Zhang, J. Huang, X. Li, L. Xiong. "Vision-Based Parking-Slot Detection: A DCNN_Based Approach and a Large-Scale Benchmark Dataset," IEEE Transactions on Image Processing, vol. 27, no. 11, pp.5350-5364, 2018
M. Fan, Z. Hu, K. Hamada, and H. Chen, "Line Filter-Based Parking Slot Detection for Intelligent Parking Assistance System," in Proceedings of SAE-China Congress 2014: Selected Papers, 2015, pp. 175-181

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220072577A (en) * 2020-11-25 2022-06-02 현대모비스 주식회사 Apparatus for recognizing parking area for autonomous parking and method thereof
US11654895B2 (en) 2020-11-25 2023-05-23 Hyundai Mobis Co., Ltd. Apparatus for recognizing parking area for autonomous parking and method thereof
CN113053164A (en) * 2021-05-11 2021-06-29 吉林大学 Parking space identification method using look-around image
CN113627277A (en) * 2021-07-20 2021-11-09 的卢技术有限公司 Method and device for identifying parking space

Also Published As

Publication number Publication date
KR102133020B1 (en) 2020-07-10

Similar Documents

Publication Publication Date Title
US10452931B2 (en) Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system
CN107577988B (en) Method, device, storage medium and program product for realizing side vehicle positioning
KR102628654B1 (en) Method and apparatus of indicating lane
US6801244B2 (en) Obstacle detection apparatus and method
US7321386B2 (en) Robust stereo-driven video-based surveillance
JP4973736B2 (en) Road marking recognition device, road marking recognition method, and road marking recognition program
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
US10643091B2 (en) Automatic feature point detection for calibration of multi-camera systems
KR20160137247A (en) Apparatus and method for providing guidance information using crosswalk recognition result
CN111024040A (en) Distance estimation method and apparatus
US20180114067A1 (en) Apparatus and method for extracting objects in view point of moving vehicle
KR102133020B1 (en) Around view monitoring system and method for detecting parking line with deep learning
Farag A comprehensive real-time road-lanes tracking technique for autonomous driving
KR20200042100A (en) Device and method to convert image
US20220148200A1 (en) Estimating the movement of an image position
KR101236223B1 (en) Method for detecting traffic lane
KR102132823B1 (en) Around view monitoring system and method for detecting empty parking lot
Müller et al. Multi-camera system for traffic light detection: About camera setup and mapping of detections
CN110738696B (en) Driving blind area perspective video generation method and driving blind area view perspective system
JP2007200364A (en) Stereo calibration apparatus and stereo image monitoring apparatus using the same
WO2022009537A1 (en) Image processing device
KR100844640B1 (en) Method for object recognizing and distance measuring
US10824884B2 (en) Device for providing improved obstacle identification
JP4055785B2 (en) Moving object height detection method and apparatus, and object shape determination method and apparatus
KR102590863B1 (en) Method and apparatus for calculating steering angle of vehicle

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant