KR102133020B1 - 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법 - Google Patents

어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법 Download PDF

Info

Publication number
KR102133020B1
KR102133020B1 KR1020180147212A KR20180147212A KR102133020B1 KR 102133020 B1 KR102133020 B1 KR 102133020B1 KR 1020180147212 A KR1020180147212 A KR 1020180147212A KR 20180147212 A KR20180147212 A KR 20180147212A KR 102133020 B1 KR102133020 B1 KR 102133020B1
Authority
KR
South Korea
Prior art keywords
line
parking line
parking
corner
detected
Prior art date
Application number
KR1020180147212A
Other languages
English (en)
Other versions
KR20200068045A (ko
Inventor
윤형석
김성록
Original Assignee
(주)캠시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)캠시스 filed Critical (주)캠시스
Priority to KR1020180147212A priority Critical patent/KR102133020B1/ko
Publication of KR20200068045A publication Critical patent/KR20200068045A/ko
Application granted granted Critical
Publication of KR102133020B1 publication Critical patent/KR102133020B1/ko

Links

Images

Classifications

    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G06K9/4633—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법이 개시된다. AVM 시스템은 복수의 카메라에서 생성된 촬영 영상을 이용하여 탑뷰 형태의 AVM 영상을 생성하는 영상 처리부; 상기 AVM 영상을 대상으로 미리 지정된 복수의 검출 기법 각각을 이용하여 검출된 베이스라인과 주차선의 코너점을 이용하여 주차선을 검출하는 주차선 검출 유닛; 및 상기 주차선에 상응하는 주차선 가이드라인이 오버레이된 AVM 영상을 출력하는 출력부를 포함한다. 본 발명은 신속하고 정확하게 주차선이 검출할 수 있고, 주차 구역 내부에 장애물이 존재하는 경우에도 주차선의 검출이 가능하며, 주차선 가이드라인을 AVM 영상에 오버레이하여 표시함으로써 운전자가 주차 대상 영역을 명확히 인식할 수 있도록 한다.

Description

어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법{Around view monitoring system and method for detecting parking line with deep learning}
본 발명은 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법에 관한 것이다.
어라운드 뷰 모니터링(AVM, Around View Monitoring) 시스템은 차량의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 영상을 기초로 중복 영역이 자연스럽게 보이도록 보정 처리하여 자동차의 주변환경을 탑뷰(Top View) 형태의 AVM 영상으로 화면상에 표시한다. 운전자는 표시된 AVM 영상을 참조하여 자동차의 주변 상황을 정확하게 인식할 수 있고, 사이드 미러나 백미러를 보지 않고도 편리하게 주차할 수 있다.
도 1에는 AVM 시스템의 개념이 개략적으로 도시되어 있다.
도 1의 (a)와 (b)에 도시된 바와 같이, 차량의 전후방, 좌우측면에는 각각 카메라(10, 20, 30, 40)가 설치된다. 카메라들(10, 20, 30, 40) 각각은 차량의 전후방 및 좌우측면의 영상(A, B, C, D)를 촬영하고, 촬영된 영상을 차량을 위에서 내려다보는 탑뷰 형태의 AVM 영상으로 재구성하여 차량에 장착된 디스플레이 장치에 출력한다.
최근에는 주차장의 주차 가능 영역을 인식하기 위해 카메라를 이용하여 주차선을 인식하는 기술이 활발하게 개발되고 있으며, 주된 개발 방식으로 허프 변환(hough transform)을 이용하는 방식과 템플릿 매칭을 이용하는 방식 등이 있다.
그러나 허프 변환을 이용하는 방식은 단순 계산으로 주차선의 검출이 가능한 장점은 있으나, 특정의 주위 환경에서는 주차선이 효과적으로 검출되지 못하는 문제점이 있다.
또한, 템플릿 매칭을 이용하는 방식은 주위 환경에 상관없이 주차선의 검출이 가능한 장점은 있으나, 검출 속도가 매우 느린 문제점이 있다.
한국공개특허 제10-2017-0124299호(2017.11.10자 공개)
J. S. Lee and S. C. Kee, "Empty Parking Space Detection Method using Around View Monitoring System", in Institute of Control, Robotics and Systems, vol. 23, no. 6, pp. 455-461, 2017 J. K. Suhr and H. G. Jung, "Automatic parking space detection and tracking for underground and indoor environments," IEEE Transactions on Industrial Electronics, vol. 63, no. 9, pp. 5687-5698, 2016 M. Fan, Z. Hu, K. Hamada, and H. Chen, "Line Filter-Based Parking Slot Detection for Intelligent Parking Assistance System," in Proceedings of SAE-China Congress 2014: Selected Papers, 2015, pp. 175-181 L. Zhang, J. Huang, X. Li, L. Xiong. "Vision-Based Parking-Slot Detection: A DCNN_Based Approach and a Large-Scale Benchmark Dataset," IEEE Transactions on Image Processing, vol. 27, no. 11, pp.5350-5364, 2018
본 발명은 신속하고 정확하게 주차선을 검출할 수 있고, 주차 구역 내부에 장애물이 존재하는 경우에도 주차선의 검출이 가능한 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법을 제공하기 위한 것이다.
본 발명은 검출된 주차선에 대응되는 주차선 가이드라인을 생성 및 표시하여 운전자가 주차 대상 영역을 명확히 인식할 수 있도록 하는 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 복수의 카메라에서 생성된 촬영 영상을 이용하여 탑뷰 형태의 AVM 영상을 생성하는 영상 처리부; 상기 AVM 영상을 대상으로 미리 지정된 복수의 검출 기법 각각을 독립적으로 이용하여 검출된 베이스라인과 주차선의 코너점을 이용하여 주차선을 검출하는 주차선 검출 유닛; 및 상기 주차선에 상응하는 주차선 가이드라인이 오버레이된 AVM 영상을 출력하는 출력부를 포함하는 AVM 시스템이 제공된다.
상기 주차선 검출 유닛은, 상기 AVM 영상에 라인 필터를 적용하여 중첩 피처맵을 생성하고, 상기 중첩 피처맵을 대상으로 허프 변환을 적용하여 주차선의 베이스라인을 결정하며, 상기 베이스라인에 미리 지정된 각도로 연결되는 직선을 검출하여 상기 베이스라인과 상기 직선의 교점을 주차선의 코너점으로 검출하는 제1 코너 검출부; 미리 저장된 주차선 데이터셋을 이용하여 딥러닝 기법으로 미리 학습된 물체 검출 모델을 상기 AVM 영상에 적용하여 주차선의 코너점을 검출하는 제2 코너 검출부; 상기 제1 코너 검출부에 의해 검출된 코너점과 상기 제2 코너 검출부에 의해 검출된 코너점을 대조하여 동일한 위치에 존재하는 코너점만을 유효한 코너점으로 선정하는 검증부; 및 상기 베이스라인과 상기 유효한 코너점을 기준하여 주차선을 결정하는 주차선 검출부를 포함할 수 있다.
상기 제1 코너 검출부는 허프 변환되어 검출된 직선들 각각의 길이와 직선을 구성하는 픽셀의 밀도를 이용하여 산출한 산출값이 가장 큰 직선을 베이스라인으로 결정할 수 있다.
상기 주차선 검출부는 허프 변환되어 검출된 직선들 중 상기 유효한 코너점에서 상기 베이스라인과 미리 지정된 각도로 연결되는 직선을 주차선을 형성하는 사이드라인으로 결정하고, 상기 베이스라인과 상기 사이드라인을 이용하여 주차선을 결정할 수 있다.
본 발명의 다른 측면에 따르면, 주차선을 검출하기 위한 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은, (a) AVM 영상에 라인 필터를 적용하여 중첩 피처맵을 생성하는 단계; (b) 상기 중첩 피처맵을 대상으로 허프 변환을 적용하여 주차선의 베이스라인을 결정하고, 상기 베이스라인에 미리 지정된 각도로 연결되는 직선을 검출하여 상기 베이스라인과 상기 직선의 교점을 주차선의 코너점으로 검출하는 단계; (c) 미리 저장된 주차선 데이터셋을 이용하여 딥러닝 기법으로 미리 학습된 물체 검출 모델을 상기 AVM 영상에 적용하여 주차선의 코너점을 검출하는 단계; (d) 상기 단계 (b)에서 검출된 코너점과 상기 단계 (d)에서 검출된 코너점을 대조하여 동일한 위치에 존재하는 코너점만을 유효한 코너점으로 선정하는 단계; 및 (e) 상기 베이스라인과 상기 유효한 코너점을 기준하여 주차선을 결정하는 단계를 포함하는 컴퓨터-판독가능 매체에 저장된 컴퓨터프로그램이 제공된다.
상기 베이스라인은 상기 중첩 피처맵이 허프 변환되어 검출된 직선들 중 직선 길이와 직선을 구성하는 픽셀의 밀도를 이용하여 산출한 산출값이 가장 큰 직선일 수 있다.
상기 단계 (e)에서, 허프 변환되어 검출된 직선들 중 상기 유효한 코너점에서 상기 베이스라인과 미리 지정된 각도로 연결되는 직선이 주차선을 형성하는 사이드라인으로 결정되고, 상기 베이스라인과 상기 사이드라인을 이용하여 주차선이 결정되는 것일 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 신속하고 정확하게 주차선을 검출할 수 있고, 주차 구역 내부에 장애물이 존재하는 경우에도 주차선의 검출이 가능한 효과가 있다.
또한 차량 내부에 구비된 디스플레이 장치에 AVM 영상과 중첩되어 주차선 가이드라인이 표시되도록 하여 운전자가 주차 대상 영역을 명확히 인식할 수 있도록 하는 효과도 있다.
도 1은 AVM 시스템의 개념을 개략적으로 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 AVM 시스템의 블록 구성도.
도 3 및 도 4는 본 발명의 일 실시예에 따른 제1 코너 검출부의 동작을 설명하기 위한 도면.
도 5는 본 발명의 일 실시예에 따른 제2 코너 검출부의 딥러닝 이유를 설명하기 위한 도면.
도 6은 본 발명의 일 실시예에 따른 AVM 시스템의 실제 실험 결과를 나타내는 도면.
도 7은 본 발명의 일 실시예에 따른 딥러닝을 이용한 주차선 검출 방법을 나타낸 순서도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "…부", "…유닛", "…모듈", "…기" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 2는 본 발명의 일 실시예에 따른 AVM 시스템의 블록 구성도이고, 도 3 및 도 4는 본 발명의 일 실시예에 따른 제1 코너 검출부의 동작을 설명하기 위한 도면이다. 도 5는 본 발명의 일 실시예에 따른 제2 코너 검출부의 딥러닝 이유를 설명하기 위한 도면이고, 도 6은 본 발명의 일 실시예에 따른 AVM 시스템의 실제 실험 결과를 나타내는 도면이다.
도 2를 참조하면, AVM 시스템은 카메라 유닛(200), 영상 처리부(210), 오버레이부(220), 출력부(230) 및 주차선 검출 유닛(240)을 포함할 수 있다.
카메라 유닛(200)은 4개 이상의 AVM 시스템용 카메라를 포함한다. 각 카메라는 차량 주변의 영상을 획득할 수 있도록 차량의 전후좌우에 각각 설치되며, 예를 들어 어안렌즈(fish eye lens)를 포함하는 광각 카메라로 구현될 수 있다. 여기서, 광각 카메라는 단순한 광학기구뿐 아니라, 광학 신호를 전기적 신호로 변환하는 이미지 센서 등의 전기적 장치를 더 포함할 수 있다.
영상 처리부(210)는 카메라 유닛(200)에서 입력되는 복수의 촬영 영상을 하나의 AVM 영상으로 변환할 수 있다. 여기서, AVM 영상이란 차량의 전후좌우에서 획득된 촬영 영상이 지면에 수직한 탑뷰 형태의 영상으로 합성되어 한 화면으로 보여지는 영상이다.
이때, 차량의 전후좌우에 각각 설치된 카메라들의 위치, 지향 방향 및 지면과의 거리가 다르기 때문에, 영상 처리부(210)는 영상 처리를 통해 촬영 영상들 각각의 왜곡을 보정하여 AVM 영상을 생성할 수 있다. 이를 위해, 영상 처리부(210)는 예를 들어 촬영 영상의 휘도 및 색상 편차에 대한 보정, 어안렌즈에의 렌즈 왜곡 보상, 원근감에 대한 편차 보상, 시점 변환 등을 통해 복수의 촬영 영상을 하나의 AVM 영상으로 변환할 수 있을 것이다. AVM 영상 내에는 AVM 시스템이 설치된 차량의 기등록된 사이즈를 이용하여 생성된 가상의 차량이 함께 표시될 수 있을 것이다(도 1의 (b) 참조).
오버레이부(220)는 영상 처리부(210)에서 생성된 AVM 영상에 후술될 주차선 검출 유닛(240)에서 검출한 주차선에 대응되는 주차선 가이드라인이 오버레이되어 표시되도록 처리할 수 있다.
주차선 가이드라인이 오버레이된 AVM 영상은 예를 들어 차량에 구비된 디스플레이 장치인 출력부(230)를 통해 출력될 수 있다. 물론, 검출된 주차선이 존재하지 않는 경우에는 주차선 가이드라인이 오버레이되지 않은 AVM 영상이 출력부(230)를 통해 출력될 수 있음은 당연하다.
주차선 검출 유닛(240)은 제1 코너 검출부(231), 제2 코너 검출부(233), 검증부(235), 학습 DB(237) 및 주차선 검출부(239)를 포함할 수 있다.
제1 코너 검출부(241)는 미리 지정된 제1 검출 기법을 이용하여 주차선의 베이스라인(baseline)과 코너점을 검출한다. 여기서, 미리 지정된 제1 검출 기법은 라인 필터(line filter)와 허프 변환(hough transform)을 이용하는 기법일 수 있다.
우선, 제1 코너 검출부(241)는 라인 필터를 이용하여 주차선을 검출한다. 일반적으로 주차선이 운전자의 인식력을 높이기 위해 일정한 두께를 가지는 밝은 색의 라인으로 제작되지만, 본 실시예의 제1 코너 검출부(241)는 다양한 환경에서 보다 효과적으로 주차선이 검출될 수 있도록 하기 위해 종래의 소벨(Sobel) 필터나 캐니(canny) 필터와 같은 에지 검출 필터에 비해 상대적으로 조명 변화 및 그림자에 강한 특성을 가지는 라인 필터를 적용한다.
라인 필터는 {-1, …, -1, 0, 1, …, 1} 형태의 마스크 구조를 가지고 있으며, AVM 영상을 대상으로 X방향과 Y방향으로 각각 라인 필터로 연산하면 주차선이 시작하는 부분(즉, 상대적으로 밝아지는 영역)이 상승 에지(edge)를 가지고, 주차선이 끝나는 부분(즉, 상대적으로 어두워지는 영역)은 하강 에지를 가지는 것으로 인식된다. 이러한 특징을 이용하여 역으로 한번 더 연산하면 주차선의 중심 위치에서 가장 높은 반응값이 나타나는 특성이 있다.
참고로, 도 3의 (b)는 차량이 주차선 내에 주차된 상황의 AVM 영상(도 3의 (a) 참조)에 대해 라인 필터로 X방향 연산한 피처맵(feature map)을 나타낸 것이고, 도 3의 (c)는 동일한 AVM 영상에 대해 라인 필터로 Y방향 연산한 피처맵을 나타내며, 도 3의 (d)는 두 방향을 중첩하여 이진화한 결과의 중첩 피처맵을 나타낸다.
도 3에 예시된 각각의 피처맵을 참조할 때, 주위 값보다 상대적으로 밝은 값을 가지는 부분(예를 들어, 주차선, 식물 등)이 상대적으로 큰 피처(feature)을 가짐을 확인할 수 있다. 또한, 각각의 피처맵을 참조할 때 주차선은 직선의 형태를 가지도록 표시됨도 확인할 수 있다.
제1 코너 검출부(241)는 라인 필터로 연산된 중첩 피처맵(도 3의 (d) 참조)을 대상으로 허프 변환을 실시한다. 허프 변환은 영상에서 일반적인 직선, 곡선, 원과 같은 특징을 찾는데 일반적으로 이용되는 것으로, 이에 대한 구체적인 설명은 생략한다.
중첩 피처맵을 대상으로 허프 변환을 실시하면, 도 4의 (a)에 예시된 바와 같이, 중첩 피처맵에서 직선의 형태로 표시되던 주차선 뿐 아니라 그 이외의 큰 피처를 가지는 부분들도 직선의 형태로 검출된다.
이때, 제1 코너 검출부(241)가 주차선의 검출을 목적으로 함을 고려할 때, 주차선 이외의 선들은 불필요한 것들로서 제거될 필요가 있다.
이를 위해, 제1 코너 검출부(241)는 주차선만을 선택적으로 검출할 수 있도록 하기 위해. 검출된 선의 길이와 선이 가지는 픽셀의 밀도를 이용하여 산출한 산출값이 가장 큰 값을 가지는 선을 베이스라인으로 선정한다. 이때, 계산된 선의 길이와 픽셀의 밀도 각각에 대해 가중치를 부여하여 합산하는 등 베이스라인의 선정을 위해 각 선에 대한 산출값을 산출하고, 산출값의 우열을 결정하는 방법은 다양할 수 있다.
즉, 제1 코너 검출부(241)는 허프 변환에 의해 검출된 선들 각각에 대해 선의 길이 및 선을 구성하는 픽셀의 밀도를 계산한 후, 가장 큰 값을 가지는 선을 베이스라인으로 선정한다(도 4의 (b)의 녹색 원 참조).
이후, 제1 코너 검출부(241)는 선정된 베이스라인을 기준으로 주차 영역의 코너점을 검출한다. 일반적으로 허프 변환은 두 점을 기준하여 선을 검출하기 때문에, 각각의 두 점들을 이용하여 각 직선의 방정식이 계산될 수 있다.
따라서, 제1 코너 검출부(241)는 베이스라인의 직선 방정식으로 기울기를 계산한 후, 허프 변환의 결과로 추출된 직선의 기울기들과의 각도 차이를 계산하고, 베이스라인의 기울기와 직각을 가지는 선이 존재하면 해당 교점의 위치를 주차선의 코너점으로 검출될 수 있다(도 4의 (c)의 노란색 원들 참조). 이때, 검출된 코너점들은 베이스라인 상에 위치된다. 여기서, 주차선을 구획하는 사이드라인이 베이스라인에 수직 또는 임의의 경사각을 가지도록 연결되는 경우라면 해당 경사각을 가지는 선을 검출하여 코너점을 검출할 수 있음은 당연하다.
그러나, 허프 변환의 경우 다양한 선들이 검출되기 때문에 잘못된 위치가 코너점으로 검출될 수 있는 문제점이 있어, 본 실시예에 따른 주차선 검출 유닛(240)은 제2 코너 검출부(243)와 검증부(245)를 이용하여 정확한 코너점의 검출을 위한 검증을 실시하는 특징이 있다. 참고로, 도 4의 (c)에는 노란색 원으로 표시된 4개의 지점이 코너점으로 검출되었으나, 왼쪽으로부터 두번째 위치는 코너점으로 잘못 검출된 경우이다.
제2 코너 검출부(243)는 학습된 물체 검출 모델(object detection model)을 이용하는 미리 지정된 제2 검출 기법을 이용하여 AVM 영상에서 주차선의 코너점을 검출한다. 여기서, 물체 검출 모델은 예를 들어 YOLO(You Only Look Once) v2 모델, R-CNN(Regions with Convolutional Neural Networks, Region based Convolutional Neural Networks) 모델, fast R-CNN 모델 등일 수 있다.
일반적으로, YOLOv2 등의 물체 검출 모델은 주차장의 화살표 노면 표시를 주차선의 코너점으로 오검출할 수 있고(도 5의 (a) 참조), 또는 노면에 반사된 빛이 실제의 주차선과 이어져 주차선의 코너점으로 오검출하는 사례(도 5의 (b) 참조)가 빈번하게 발생된다.
검출 정확도를 향상시키기 위해, 제2 코너 검출부(243)는 적용할 물체 검출 모델을 학습 DB(237)에 저장된 주차선 데이터셋을 이용하여 딥러닝(deep learning) 기법으로 미리 학습시켜 주차선의 코너점 검출에 이용할 수 있다. 학습 DB(237)에 미리 저장되는 주차선 데이터셋은 예를 들어 논문 "Vision-Based Parking-Slot Detection: A DCNN_Based Approach and a Large-Scale Benchmark Dataset"에서 공개된 9,827장의 영상으로 구성된 트레이닝 데이터셋과 2,338장의 영상으로 구성된 테스트 데이터셋일 수 있다.
그러나, 제2 코너 검출부(243)가 미리 학습시킨 물체 검출 모델을 이용하여 주차선의 코너점을 검출하더라도 그 검출 정확도가 완벽할 수는 없다. 이는 앞서 설명한 제1 코너 검출부(241)가 라인 필터와 허프 변환을 이용하는 제1 검출 기법에 의해 주차선의 코너점을 검출하더라도 그 검출 정확도가 완벽할 수 없는 것과 마찬가지이다.
따라서, 본 실시예에 따른 주차선 검출 유닛(240)은 후술되는 검증부(245)를 이용하여 제1 코너 검출부(241)가 이용하는 제1 검출 기법의 단점과 제2 코너 검출부(243)가 이용하는 제2 검출 기법의 단점이 서로 보완되어 보다 정확하게 주차선의 코너점들이 검출될 수 있도록 처리하는 특징이 있다.
검증부(245)는 제1 코너 검출부(241)에 의해 검출된 코너점들과 제2 코너 검출부(243)에 의해 검출된 코너점들을 대조하여 동일한 위치에 존재하는 코너점들만을 유효한 코너점으로 선정한다.
주차선 검출부(249)는 제1 코너 검출부(241)에 의해 결정된 베이스라인과, 검증부(245)에 의해 선정된 유효한 코너점을 기준하여 주차선을 결정한다. 이때, 유효한 코너점과 제1 코너 검출부(241)에 의한 허프 변환에서 검출된 선을 이용하여 베이스라인에 미리 지정된 각도(예를 들어 수직 또는 사선 방향)로 연결되는 주차선(즉, 사이드라인)이 결정될 수도 있다(도 4의 (d) 참조).
주차선 검출부(249)는 결정한 주차선에 상응하는 주차선 가이드라인을 오버레이부(220)로 제공하여, 주차선 가이드라인이 오버레이된 AVM 영상이 출력부(230)를 통해 출력되도록 할 수 있다.
도 6에는 본 발명자가 차량에 카메라 4대를 설치하여 AVM 환경을 구축한 후 야외 주차장에서 주차선 검출 성능을 실험한 실험 결과가 도시되어 있다. 이때, 입력되는 AVM 영상의 크기는 520x688을 이용하였고, 전체 알고리즘은 인텔사의 i7-7700 3.60GHz의 CPU 환경과, NVIDIA사의 RTX2070의 그래픽 카드를 탑재한 Desktop 환경에서 실시되었다.
실험 결과, 도 6에 예시된 바와 같이 효과적으로 주차선이 검출되는 것을 입증하였다. 이해의 편의를 위해, 실험 결과에서 베이스라인은 빨간색 선으로 표시하였고, 주차선의 코너점은 파란색 원 형태로 표시하였고, 베이스라인과 코너점을 기준하여 검출한 사이드라인은 초록색 선으로 표시하였다. 실험 결과를 참조할 때, 본 실시예에 따른 주차선 검출 유닛(240)은 차량의 위치와 상관없이 주차선을 검출할 수 있을 뿐 아니라, 장애물이 있는 경우에도 주차선을 검출할 수 있음을 확인할 수 있다.
도 7은 본 발명의 일 실시예에 따른 딥러닝을 이용한 주차선 검출 방법을 나타낸 순서도이다.
도 7을 참조하면, 단계 710에서 주차선 검출 유닛(240)은 복수의 카메라에서 생성된 촬영 영상이 탑뷰 형태로 합성된 AVM 영상을 입력받는다.
단계 720에서, 주차선 검출 유닛(240)은 미리 지정된 복수의 검출 기법을 각각 이용하여 각 검출 기법에 따른 주차선의 코너점을 검출한다.
예를 들어 제1 검출 기법은 라인 필터와 허프 변환을 이용하여 주차선의 베이스라인과 코너점을 검출하는 기법일 수 있다.
즉, 라인 필터를 이용하여 AVM 영상을 X방향과 Y 방향으로 각각 연산하고, 두 방향의 연산 결과를 중첩한 중첩 피처맵을 생성한 후, 중첩 피처맵을 대상으로 허프 변환을 실시하여 검출된 직선들 중 선의 길이와 선이 가지는 픽셀의 밀도가 가장 큰 선을 베이스라인으로 선정한다.
이어서, 베이스라인의 직선 방정식의 기울기와 미리 지정된 각도(예를 들어, 직교 또는 미리 지정된 경사각)로 연결되는 직선을 검출하고 해당 직선과의 교점을 주차선의 코너점으로 검출한다.
또한 제2 검출 기법은 딥러닝 기법으로 학습된 물체 검출 모델을 이용하여 AVM 영상 내의 주차선의 코너점을 검출하는 기법일 수 있다. 여기서, YOLOv2 모델 등의 물체 검출 모델은 오검출 확률을 감소시키기 위해 학습 DB(237)에 미리 저장된 주차선 데이터셋을 이용하여 딥러닝 방식으로 미리 학습될 수 있다. 학습된 물체 검출 모델을 이용하여 주차선의 코너점을 검출하는 실제적인 방식은 당업자에게 자명한 사항이므로 이에 대한 설명은 생략한다.
단계 730에서 주차선 검출 유닛(240)은 미리 지정된 복수의 검출 기법 각각에서 검출된 주차선의 코너점을 대조하여 동일한 위치에 존재하는 코너점들만을 유효한 코너점으로 선정한다. 이는, 주차선의 코너점을 검출하기 위해 이용되는 복수의 검출 기법 각각이 단점을 가지고 있기 때문에, 각 검출 기법의 단점들이 서로 보완되어 보다 정확하게 주차선의 코너점들이 검출될 수 있도록 처리하기 위한 것이다.
단계 740에서 주차선 검출 유닛(240)은 단계 720에서 결정된 베이스라인과 단계 730에서 선정된 유효한 코너점들을 기준하여 주차선을 결정한다. 이때, 유효한 코너점과 전술한 허프 변환에서 검출된 선을 이용하여 베이스라인에 수직 또는 사선 방향으로 연결되는 주차선(즉, 사이드라인)이 결정될 수도 있을 것이며, 결정된 주차선에 대응되는 주차선 가이드라인이 AVM 영상에 오버레이되어 출력부(230)를 통해 출력될 수 있을 것이다.
전술한 바와 같이, 본 실시예에 따른 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법은 주차선을 신속하고 정확하게 검출할 수 있고, 주차 구역 내부에 장애물이 존재하는 경우에도 주차선의 검출이 가능하며, 주차선 가이드라인을 AVM 영상에 오버레이하여 표시함으로써 운전자가 주차 대상 영역을 명확히 인식할 수 있도록 하는 특징이 있다.
상술한 딥러닝을 이용한 주차선 검출 방법은 디지털 처리 장치에 내장된 소프트웨어 프로그램, 애플리케이션 등으로 구현되어 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 당연하다. 상기 프로그램 등을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10, 20, 30, 40 : 카메라 200 : 카메라 유닛
210 : 영상 처리부 220 : 오버레이부
230 : 출력부 240 : 주차선 검출 유닛
241 : 제1 코너 검출부 243 : 제2 코너 검출부
245 : 검증부 247 : 학습 DB
249 : 주차선 검출부

Claims (7)

  1. 복수의 카메라에서 생성된 촬영 영상을 이용하여 탑뷰 형태의 AVM 영상을 생성하는 영상 처리부;
    상기 AVM 영상을 대상으로 미리 지정된 복수의 검출 기법 각각에 의해 검출된 베이스라인과 주차선의 코너점을 이용하여 주차선을 검출하는 주차선 검출 유닛; 및
    상기 주차선에 상응하는 주차선 가이드라인이 오버레이된 AVM 영상을 출력하는 출력부를 포함하되,
    상기 주차선 검출 유닛은,
    상기 AVM 영상에 라인 필터를 적용하여 중첩 피처맵을 생성하고, 상기 중첩 피처맵을 대상으로 허프 변환을 적용하여 주차선의 베이스라인을 결정하며, 상기 베이스라인에 미리 지정된 각도로 연결되는 직선을 검출하여 상기 베이스라인과 상기 직선의 교점을 주차선의 코너점으로 검출하는 제1 코너 검출부;
    미리 저장된 주차선 데이터셋을 이용하여 딥러닝 기법으로 미리 학습된 물체 검출 모델을 상기 AVM 영상에 적용하여 주차선의 코너점을 검출하는 제2 코너 검출부;
    상기 제1 코너 검출부에 의해 검출된 코너점과 상기 제2 코너 검출부에 의해 검출된 코너점들을 서로 대조하여, 동일한 위치에 존재하는 코너점만을 유효한 코너점으로 선정하는 검증부; 및
    상기 베이스라인과 상기 선정된 유효한 코너점을 기준하여 주차선을 결정하는 주차선 검출부를 포함하는 것을 특징으로 하는 AVM 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 제1 코너 검출부는 허프 변환되어 검출된 직선들 각각의 길이와 직선을 구성하는 픽셀의 밀도를 이용하여 산출한 산출값이 가장 큰 직선을 베이스라인으로 결정하는 것을 특징으로 하는 AVM 시스템.
  4. 제1항에 있어서,
    상기 주차선 검출부는 허프 변환되어 검출된 직선들 중 상기 유효한 코너점에서 상기 베이스라인과 미리 지정된 각도로 연결되는 직선을 주차선을 형성하는 사이드라인으로 결정하고, 상기 베이스라인과 상기 사이드라인을 이용하여 주차선을 결정하는 것을 특징으로 하는 AVM 시스템.
  5. 주차선을 검출하기 위한 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은,
    (a) AVM 영상에 라인 필터를 적용하여 중첩 피처맵을 생성하는 단계;
    (b) 상기 중첩 피처맵을 대상으로 허프 변환을 적용하여 주차선의 베이스라인을 결정하고, 상기 베이스라인에 미리 지정된 각도로 연결되는 직선을 검출하여 상기 베이스라인과 상기 직선의 교점을 주차선의 코너점으로 검출하는 단계;
    (c) 미리 저장된 주차선 데이터셋을 이용하여 딥러닝 기법으로 미리 학습된 물체 검출 모델을 상기 AVM 영상에 적용하여 주차선의 코너점을 검출하는 단계;
    (d) 상기 단계 (b)에서 검출된 코너점과 상기 단계 (d)에서 검출된 코너점을 서로 대조하여, 동일한 위치에 존재하는 코너점만을 유효한 코너점으로 선정하는 단계; 및
    (e) 상기 베이스라인과 상기 선정된 유효한 코너점을 기준하여 주차선을 결정하는 단계를 포함하는 컴퓨터-판독가능 매체에 저장된 컴퓨터프로그램.
  6. 제5항에 있어서,
    상기 베이스라인은 상기 중첩 피처맵이 허프 변환되어 검출된 직선들 중 직선 길이와 직선을 구성하는 픽셀의 밀도를 이용하여 산출한 산출값이 가장 큰 직선인 것을 특징으로 하는 컴퓨터-판독가능 매체에 저장된 컴퓨터프로그램.
  7. 제5항에 있어서,
    상기 단계 (e)에서, 허프 변환되어 검출된 직선들 중 상기 유효한 코너점에서 상기 베이스라인과 미리 지정된 각도로 연결되는 직선이 주차선을 형성하는 사이드라인으로 결정되고, 상기 베이스라인과 상기 사이드라인을 이용하여 주차선이 결정되는 것을 특징으로 하는 컴퓨터-판독가능 매체에 저장된 컴퓨터프로그램.
KR1020180147212A 2018-11-26 2018-11-26 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법 KR102133020B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180147212A KR102133020B1 (ko) 2018-11-26 2018-11-26 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180147212A KR102133020B1 (ko) 2018-11-26 2018-11-26 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법

Publications (2)

Publication Number Publication Date
KR20200068045A KR20200068045A (ko) 2020-06-15
KR102133020B1 true KR102133020B1 (ko) 2020-07-10

Family

ID=71081564

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180147212A KR102133020B1 (ko) 2018-11-26 2018-11-26 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법

Country Status (1)

Country Link
KR (1) KR102133020B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102406320B1 (ko) 2020-11-25 2022-06-10 현대모비스 주식회사 자율 주차를 위한 주차 영역을 인식하기 위한 장치 및 그에 관한 방법
CN113053164A (zh) * 2021-05-11 2021-06-29 吉林大学 一种利用环视图像的车位识别方法
CN113627277A (zh) * 2021-07-20 2021-11-09 的卢技术有限公司 一种识别车位的方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000079860A (ja) * 1998-06-26 2000-03-21 Aisin Seiki Co Ltd 駐車補助装置
KR101470240B1 (ko) * 2013-11-14 2014-12-08 현대자동차주식회사 주차 영역 검출 장치 및 그 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160045482A (ko) * 2014-10-17 2016-04-27 현대모비스 주식회사 어라운드 뷰 시스템 및 그 동작방법
KR102485480B1 (ko) 2016-05-02 2023-01-05 현대모비스 주식회사 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000079860A (ja) * 1998-06-26 2000-03-21 Aisin Seiki Co Ltd 駐車補助装置
KR101470240B1 (ko) * 2013-11-14 2014-12-08 현대자동차주식회사 주차 영역 검출 장치 및 그 방법

Also Published As

Publication number Publication date
KR20200068045A (ko) 2020-06-15

Similar Documents

Publication Publication Date Title
US10452931B2 (en) Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system
KR102441085B1 (ko) 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
KR102628654B1 (ko) 차선을 표시하는 방법 및 장치
US6801244B2 (en) Obstacle detection apparatus and method
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
JP3977776B2 (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
KR102133020B1 (ko) 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법
JP4973736B2 (ja) 路面標示認識装置，路面標示認識方法及び路面標示認識プログラム
US10643091B2 (en) Automatic feature point detection for calibration of multi-camera systems
US20040125207A1 (en) Robust stereo-driven video-based surveillance
CN109409186B (zh) 用于对象检测和通知的驾驶员辅助***和方法
US20180114067A1 (en) Apparatus and method for extracting objects in view point of moving vehicle
CN105303157B (zh) 延伸用于avm停止线检测的检测范围的算法
KR102229220B1 (ko) 다수의 차량을 통한 센서 퓨전, v2x 통신 가능한 애플리케이션을 이용한 협업 주행을 위해 주변에 위치하는 카메라 각각에 대응되는 각각의 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법 및 장치
KR20200000953A (ko) 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법
KR20200042100A (ko) 이미지 변환 장치 및 방법
US20220148200A1 (en) Estimating the movement of an image position
Farag A comprehensive real-time road-lanes tracking technique for autonomous driving
KR102132823B1 (ko) 어라운드 뷰 모니터링 시스템 및 가용 주차 공간 검출 방법
KR101236223B1 (ko) 차선 검출 방법
CN113762134A (zh) 基于视觉的汽车泊车中周围障碍物的检测方法
JP2007200364A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
WO2022009537A1 (ja) 画像処理装置
KR100844640B1 (ko) 물체 인식 및 거리 계측 방법
US11138447B2 (en) Method for detecting raised pavement markers, computer program product and camera system for a vehicle

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant