KR20170016199A - 주차 구획 인식 장치 및 그 제어 방법 - Google Patents

주차 구획 인식 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20170016199A
KR20170016199A KR1020150109643A KR20150109643A KR20170016199A KR 20170016199 A KR20170016199 A KR 20170016199A KR 1020150109643 A KR1020150109643 A KR 1020150109643A KR 20150109643 A KR20150109643 A KR 20150109643A KR 20170016199 A KR20170016199 A KR 20170016199A
Authority
KR
South Korea
Prior art keywords
position value
registration
estimated position
registration position
estimated
Prior art date
Application number
KR1020150109643A
Other languages
English (en)
Inventor
김훈민
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020150109643A priority Critical patent/KR20170016199A/ko
Priority to DE102016114284.0A priority patent/DE102016114284A1/de
Priority to US15/227,057 priority patent/US20170039439A1/en
Publication of KR20170016199A publication Critical patent/KR20170016199A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)

Abstract

본 발명은 주차 구획 인식 장치 및 그 제어 방법에 관한 것으로서, 본 발명의 일 실시예에 따른 주차 구획 인식 장치의 제어 방법은, AVM(Around View Monitoring) 영상으로부터, 주차 구획에 포함된 복수의 교차점들 중 어느 한 교차점에 대한 추정 위치값을 산출하는 단계; 상기 복수의 교차점들 중 기 인식된 적어도 하나 이상의 기존 교차점 각각에 대하여 기 저장된 등록 위치값이 존재하는지 판단하는 단계로서, 하나의 등록 위치값은 하나의 기존 교차점에 대응되는 단계; 기 저장된 등록 위치값이 존재하는 경우, 상기 기 저장된 등록 위치값 중, 상기 추정 위치값과 매칭되는 등록 위치값이 존재하는지 판단하는 단계; 상기 추정 위치값과 매칭되는 등록 위치값이 존재하는 경우, 상기 추정 위치값을 기초로, 상기 매칭되는 등록 위치값을 보정하는 단계; 및 상기 매칭되는 등록 위치값에 대응되는 기존 교차점에 대한 등록 위치값을 상기 보정된 등록 위치값으로 대체하여 저장하는 단계;를 포함할 수 있다.

Description

주차 구획 인식 장치 및 그 제어 방법{PARKING SLOT DETECTING APPARATUS AND CONTROL METHOD FOR THE SAME}
본 발명은 주차 구획 인식 장치 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 노면에 그려진 주차선들의 교차점을 검출하고, 검출된 교차점을 기초로 차량이 주차할 수 있는 주차 구획을 인식하는 주차 구획 인식 장치 및 그 제어 방법에 관한 것이다.
차량이란, 어느 한 장소로부터 다른 장소까지 사람이나 화물 등을 운송하는 장치를 말한다. 최근, 운전자의 편의를 증대시키기 위한 기술 개발의 일환으로, 주차 보조 시스템이 개발되어 상용화 단계에 이르렀다.
주차 보조 시스템이란, 차량에 장착된 상태에서 도 1에 도시된 것과 같은 AVM(Around View Monitoring) 영상 등을 기초로 차량 주변의 주차 구획을 인식하여, 주차가 가능한지 여부를 알려주고, 필요시 음향신호 또는 광신호를 이용하여 운전자에게 위험 상황에 대한 경보를 출력해주는 장치이다. 또한, 경우에 따라서는 주차를 위한 조향 및 속도에 대한 제어를 담당한다.
이러한 주차 보조 시스템을 구현하기 위해서는, 카메라나 초음파 센서 등 주차 공간을 인식하기 위한 적어도 하나 이상의 센서가 필수적으로 차량에 장착되어야 한다.
한편, AVM 영상을 기반으로 주차 구획을 인식하기 위해서는, 그 사전 과정으로서, 주차 구획에 포함된 복수의 교차점을 검출해야 한다. 여기서, 교차점이란, 주차 구획을 이루는 복수의 주차선들이 직교하는 지점을 의미한다.
한편, AVM 영상은 도 1에 도시된 바와 같이, 카메라로부터 먼거리에 위치에 대응하는 영역일수록 실제와는 큰 오차가 발생하게 되는 특성이 있다. 이러한 문제점을 해소하기 위해, AVM 영상의 전체 영역 중, 카메라로부터 소정 거리 범위에 대응하는 영역에 대해서만 교차점을 검출하는 방식이 제안된바 있으나, 이 경우 차량이 주차 구획으로부터 소정 거리 내로 진입해야만 하므로, 주차 구획 인식에 소요되는 시간이 지연된다는 불편함이 있었다.
또한, 도 2를 참조하면, 종래 기술에 따라 AVM 영상을 기반으로 하는 주차 구획 인식 장치는, 주차 구획이 인식될 때까지, 순차적으로 생성되는 영상 프레임별로 검출한 교차점에 대한 위치값을 모두 저장한다. 즉, 하나의 교차점에 대하여 복수개의 위치값을 저장한 후, 이들의 평균값 등을 산출하여 교차점의 위치를 최종적으로 검출한다. 이 경우 메모리의 사용량이 과도해지고 교차점 검출을 위한 연산량이 증가한다는 단점이 있다.
본 발명은 전술한 문제점을 해결하기 위해서 안출된 것으로서, 본 발명의 실시예들에 따르면, 주차 구획에 포함된 교차점별로 하나의 위치값만을 저장함으로써, 메모리 사용량 및 주차 구획 인식에 필요한 연산량을 저감할 수 있는 주차 구획 인식 장치 및 그 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, AVM(Around View Monitoring) 영상으로부터, 주차 구획에 포함된 복수의 교차점들 중 어느 한 교차점에 대한 추정 위치값을 산출하는 단계; 상기 복수의 교차점들 중 기 인식된 적어도 하나 이상의 기존 교차점 각각에 대하여 기 저장된 등록 위치값이 존재하는지 판단하는 단계로서, 하나의 등록 위치값은 하나의 기존 교차점에 대응되는 단계; 기 저장된 등록 위치값이 존재하는 경우, 상기 기 저장된 등록 위치값 중, 상기 추정 위치값과 매칭되는 등록 위치값이 존재하는지 판단하는 단계; 상기 추정 위치값과 매칭되는 등록 위치값이 존재하는 경우, 상기 추정 위치값을 기초로, 상기 매칭되는 등록 위치값을 보정하는 단계; 및 상기 매칭되는 등록 위치값에 대응되는 기존 교차점에 대한 등록 위치값을 상기 보정된 등록 위치값으로 대체하여 저장하는 단계;를 포함하는, 주차 구획 인식 장치의 제어 방법이 제공된다.
또한, 상기 기 저장된 등록 위치값이 존재하지 않거나, 상기 기 저장된 등록 위치값 중 상기 추정 위치값과 매칭되는 등록 위치값이 존재하지 않는 경우, 상기 추정 위치값에 대응하는 교차점을 신규 교차점으로 처리하여, 상기 추정 위치값을 상기 신규 교차점에 대한 등록 위치값으로 저장하는 단계;를 더 포함할 수 있다.
또한, 상기 추정 위치값과 매칭되는 등록 위치값이 존재하는지 판단하는 단계는, 상기 추정 위치값과 상기 기 저장된 등록 위치값 사이의 거리를 산출하는 단계; 및 상기 산출된 거리가 기 설정된 기준거리 이하인 경우, 상기 추정 위치값과 매칭되는 등록 위치값이 존재하는 것으로 판단하고, 상기 산출된 거리가 상기 기준거리 초과인 경우, 상기 추정 위치값과 매칭되는 등록 위치값이 존재하지 않는 것으로 판단하는 단계;를 포함할 수 있다.
또한, 상기 추정 위치값에 대한 신뢰 지수를 획득하는 단계;를 더 포함할 수 있다.
또한, 상기 추정 위치값에 대한 신뢰 지수를 획득하는 단계는, 상기 AVM 영상의 전체 영역에 대하여 미리 정의된 복수의 서브 영역들 중, 상기 추정 위치값이 속하는 서브 영역을 선택하는 단계; 및 상기 선택된 서브 영역에 대하여 기 설정된 신뢰 지수를 획득하는 단계;를 포함할 수 있다.
또한, 상기 매칭되는 등록 위치값을 보정하는 단계는, 상기 획득된 신뢰 지수를 더 기초로, 상기 매칭되는 등록 위치값을 보정할 수 있다.
또한, 상기 보정된 등록 위치값을 포함하는 등록 위치값들을 기초로, 상기 주차 구획의 크기 및 위치를 산출하는 단계; 및 상기 주차 구획의 크기 및 위치를 기초로, 상기 주차 구획에 대한 주차 경로를 생성하는 단계;를 더 포함할 수 있다.
한편, 본 발명의 다른 측면에 따르면, 정보 저장부; AVM 영상을 생성하는 영상 합성부; 및 AVM(Around View Monitoring) 영상으로부터, 주차 구획에 포함된 복수의 교차점들 중 어느 한 교차점에 대한 추정 위치값을 산출하고, 상기 복수의 교차점들 중 기 인식된 적어도 하나 이상의 기존 교차점 각각에 대하여 상기 정보 저장부에 기 저장된 등록 위치값이 존재하는지 판단하며, 기 저장된 등록 위치값이 존재하는 경우, 상기 기 저장된 등록 위치값 중, 상기 추정 위치값과 매칭되는 등록 위치값이 존재하는지 판단하고, 상기 추정 위치값과 매칭되는 등록 위치값이 존재하는 경우, 상기 추정 위치값을 기초로, 상기 매칭되는 등록 위치값을 보정하며, 상기 매칭되는 등록 위치값에 대응되는 기존 교차점에 대한 등록 위치값을 상기 보정된 등록 위치값으로 대체하여 상기 정보 저장부에 저장하는 제어부;를 포함하되, 하나의 등록 위치값은 하나의 기존 교차점에 대응되는, 주차 구획 인식 장치가 제공된다.
또한, 상기 제어부는, 상기 정보 저장부에 기 저장된 등록 위치값이 존재하지 않거나, 상기 기 저장된 등록 위치값 중 상기 추정 위치값과 매칭되는 등록 위치값이 존재하지 않는 경우, 상기 추정 위치값에 대응하는 교차점을 신규 교차점으로 처리하여, 상기 추정 위치값을 상기 신규 교차점에 대한 등록 위치값으로 상기 정보 저장부에 저장할 수 있다.
또한, 상기 제어부는, 상기 추정 위치값과 상기 기 저장된 등록 위치값 사이의 거리를 산출하고, 상기 산출된 거리가 기 설정된 기준거리 이하인 경우, 상기 추정 위치값과 매칭되는 등록 위치값이 상기 정보 저장부에 존재하는 것으로 판단하며, 상기 산출된 거리가 상기 기준거리 초과인 경우, 상기 추정 위치값과 매칭되는 등록 위치값이 상기 정보 저장부에 존재하지 않는 것으로 판단할 수 있다.
본 발명에 따른 주차 구획 인식 장치 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시예들 중 적어도 하나에 의하면, 주차 구획에 포함된 교차점별로 하나의 위치값만을 저장함으로써, 메모리 사용량 및 주차 구획 인식에 필요한 연산량을 저감할 수 있다는 장점이 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1 및 도 2는 종래 기술의 문제점을 설명하기 위해 참조되는 도면이다.
도 3은 본 발명의 일 실시예에 따른 주차 구획 인식 장치의 블록 다이어그램을 보여준다.
도 4는 본 발명의 일 실시예에 따른 주차 구획 인식 장치의 제어 방법을 보여주는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 주차 구획 인식 장치가 AVM 영상으로부터 주차 구획의 교차점을 검출하는 일 예를 보여준다.
도 6은 본 발명의 일 실시예에 따라 AVM 영상의 영역별로 설정되는 신뢰 지수의 일 예를 보여준다.
도 7은 본 발명의 일 실시예에 따른 주차 구획 인식 장치가 AVM 영상으로부터 신규 교차점의 위치를 검출하는 일 예를 보여준다.
도 8은 본 발명의 일 실시예에 따른 주차 구획 인식 장치가 AVM 영상으로부터 기존 교차점에 대하여 산출된 위치값을 보정하는 일 예를 보여준다.
도 9는 본 발명의 일 실시예에 따른 주차 구획 인식 장치에 의한 보정 결과의 일 예를 보여준다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 3은 본 발명의 일 실시예에 따른 주차 구획 인식 장치(100)의 블록 다이어그램을 보여준다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 주차 구획 인식 장치(100)는, 센서부(110), 정보 저장부(120), 영상 합성부(130), 인터페이스부(140), 구동부(150), 통신부(160) 및 제어부(160)를 포함한다.
센서부(110)는 차량 주변에 존재하는 각종 오브젝트를 감지하여, 그에 대응하는 센싱 신호를 출력한다. 이때, 센싱 신호는 센서부(110)가 감지 영역에 대한 감지 결과로서 출력하는 신호일 수 있다.
이러한, 센서부(110)는 적어도 하나 이상의 센서를 포함한다. 예를 들어, 센서부(110)는 카메라(112a~112d) 및 초음파 센서(114) 중 적어도 어느 하나를 포함할 수 있다. 다만, 센서의 종류가 이에 한정되는 것은 아니며, 레이더나 라이다 등 그 밖에 오브젝트를 감지할 수 있는 센서라면 특별히 한정하지 않는다.
카메라(112a~112d)는 차량의 주변을 촬영하여, 주변 영상을 생성한다.
예를 들어, 카메라(112a~112d) 중 어느 하나(112a)는 차량의 전방 일측에 장착되어, 차량의 전방 영상을 생성할 수 있다.
다른 예를 들어, 카메라(112a~112d)는 차량의 전후좌우의 일측에 각각 하나씩 순서대로 장착되어, 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상을 생성할 수 있으며, 이러한 복수개의 영상들은 후술할 영상 합성부(130)에 의해 합성될 수 있다. 이러한 합성 과정에 의해, 차량을 마치 위에서 아래로 내려보다는 것과 같은 AVM(Around View Monitoring) 영상이 생성될 수 있다.
한편, 도 3에는 카메라가 4개인 것으로 도시되어 있으나, 더 작거나 많은 카메라가 센서부(110)에 포함될 수 있는 것으로 이해되어야 한다.
초음파 센서(114)는 차량 주변의 장애물을 감지하여, 감지된 장애물에 대응하는 센싱 신호를 출력한다. 예컨대, 제1 시점에 방출된 초음파 신호가 장애물에 의해 반사되어 되돌아 오는 제2 시점 및 반사된 신호의 파형이나 세기 등에 대응하는 센싱 신호를 출력할 수 있다.
정보 저장부(120)는 주차 구획 및 차량과 관련된 각종 정보를 저장한다.
구체적으로, 후술할 제어부(130)에 의해 산출되는 추정 위치값 및 등록 위치값을 저장할 수 있다. 여기서, 추정 위치값이란, 주차 구획에 포함된 복수의 교차점 중 어느 하나의 위치인 것으로 추정된 값을 의미한다. 또한, 등록 위치값이란, 주차 구획에 포함된 복수의 교차점의 위치인 것으로 기 저장된 값을 의미한다.
또한, 정보 저장부(120)는 유효 주차 구획에 대한 정보 및 주차 구획 인식 장치(100)가 구비되는 차량의 제원 정보를 저장할 수 있다. 유효 주차 구획이란, 차량이 주차 가능한 공간이 확보된 주차 구획으로서, 이러한 유효 주차 구획은 차량의 크기(예, 전폭, 전장, 전고)보다 큰 공간이 형성되어 있는 구획일읠 수 있다. 후술할 제어부(160)는 정보 저장부(120)에 기 저장된 유효 주차 구획에 대한 정보를, 센서부(110)에 의해 감지되는 주차 구획에 대한 정보와 비교하여, 센서부(110)에 의해 감지되는 주차 구획이 유효 주차 구획에 해당하는지 판단할 수 있다.
또한, 정보 저장부(120)는 센서부(110)에 의해 출력된 센싱 신호를 영구적 또는 임시적으로 저장할 수 있다.
또한, 정보 저장부(120)는 주차 경로에 따른 차량의 속도 및 조향 중 적어도 어느 하나에 대한 제어를 수행 중, 운전자가 차량으로부터 하차한 경우, 하차한 위치를 저장할 수 있다.
또한, 정보 저장부(120)는 제어부(160)의 동작을 위한 각종 프로그램이나, 입출력되는 데이터들을 임저장할 수도 있다.
또한, 정보 저장부(120)는 후술한 제어부(160)의 요청에 따라, 기 저장된 각종 정보 중 적어도 일부를 제어부(160)로 제공할 수 있다.
또한, 정보 저장부(120)는 후술할 인터페이스부(140)가 출력할 상황별 알람 메시지를 미리 저장할 수 있다.
또한, 정보 저장부(120)는 카메라(112a~112d)별 내부 파라미터 및 외부 파라미터를 저장할 수 있다.
또한, 정보 저장부(120)는 뷰 변환 정보를 저장할 수 있다. 여기서, 뷰 변환 정보란, 예컨대 카메라(112a~112d)에 의해 생성된 주변 영상을 어라운드 뷰 영상으로 변환하기 위한 정보 또는 3차원 공간과 2차원 평면 간의 상호 변환을 위한 정보 등, 어느 한 뷰에 대한 정보를 다른 뷰에 대한 정보로 변환 내지 투영하기 위한 정보일 수 있다.
이러한 정보 저장부(120)는, 램(random access memory; RAM), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), SSD 타입(Solid State Disk type), 플래시 정보 저장부(120) 타입(flash memory type), 하드디스크 타입(hard disk type), 카드 타입의 정보 저장부(120), 자기 디스크, 광디스크 등의 각종 타입의 저장매체 중 적어도 하나를 포함할 수 있다.
영상 합성부(130)는 카메라(112a~112d)로부터 제공되는 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상을 합성하여, AVM을 생성한다.
인터페이스부(140)는 차량 또는 주차 구획과 관련된 각종 정보를 사용자가 인지할 수 있는 형태의 신호로 출력하거나, 운전자로부터 각종 명령을 입력받는다.
인터페이스부(140)는 적어도 하나 이상의 방식으로 주차 완료 전, 운전자가 차량으로부터 하차할 것을 독려하는 알람 메시지를 출력할 수 있다.
인터페이스부(140)는 적어도 하나 이상의 방식으로 차량의 주차 또는 출차 시, 장애물(예, 연석, 벽, 보행자 등)과의 충돌 위험성을 알리는 경보 메시지를 출력할 수 있다.
또한, 인터페이스부(140)는 운전자로부터 주차 명령, 출차 명령, 조향 명령, 가속 명령, 감속 명령 등을 입력받을 수 있다.
이를 위해, 인터페이스부(140)는 음향 모듈(142) 및 디스플레이 모듈(144)을 포함할 수 있다.
음향 모듈(142)은 이에 구비된 스피커 등을 이용하여 각종 메시지를 청각적 신호로 출력하고, 마이크로폰 등을 이용하여 운전자의 음성 명령을 입력받아 이에 대응하는 전기 신호로 변환한 후 제어부(160)로 제공할 수 있다.
또한, 디스플레이 모듈(144)은 이에 구비된 HUD(Head Up Display) 등을 이용하여 각종 메시지를 시각적 신호로 출력할 수 있다. 디스플레이 모듈(144)은 화면에 터치 센서가 결합된 터치 스크린일 수 있다.
또한, 인터페이스부(140)는 이에 구비된 터치 센서나 버튼 등을 이용하여 운전자의 터치 등 각종 명령을 입력받아 이에 대응하는 전기 신호로 변환한 후 제어부(160)로 제공할 수 있다.
구동부(150)는 차량의 구동을 조절할 수 있다. 이러한 구동부(150)는 속도 조절 모듈(152) 및 조향 조절 모듈(154)을 포함할 수 있다.
속도 조절 모듈(152)은 후술할 제어부(160)의 제어에 따라, 차량의 속도를 가감하거나 소정 범위 내로 유지할 수 있다. 예컨대, 속도 조절 모듈(152)은 차량에 구비된 제동 장치를 구동시켜 차량을 감속시키거나, 엔진으로 공급되는 연료량을 조절하여, 차량의 속도를 조절할 수 있다.
또한, 조향 조절 모듈(154)은 후술할 제어부(160)의 제어에 따라, 차량의 진행 방향(예, 헤딩 앵글)을 소정 범위 내로 유지할 수 있다. 예컨대, 조향 조절 모듈(154)은 차량에 구비된 MDPS(Motor Driven Power Steering) 장치의 모터를 제어하여, 운전자의 개입없이도 차량이 목표 주차 구획의 경계를 벗어나지 않도록 제어할 수 있다.
제어부(160)는 주차 구획 인식 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 제어부(160)는 센서부(110), 정보 저장부(120), 영상 합성부(130), 인터페이스부(140) 및 구동부(150)를 통해 입출력되는 신호, 데이터, 정보 등을 처리할 수 있다. 또한, 제어부(160)는 정보 저장부(120)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공할 수 있다.
또한, 제어부(160)는 센서부(110)로부터 제공되는 센싱 신호 또는 영상 합성부(130)로부터 제공되는 AVM 영상을 기초로, 차량 주변에 대한 장애물 지도를 생성하고, 생성된 장애물 지도로부터 적어도 하나 이상의 주차 구획을 인식할 수 있다.
또한, 제어부(160)는 인식된 주차 구획 중 기 저장된 유효 주차 구획의 특징을 갖는 주차 구획을 후보 주차 구획으로 설정하고, 이러한 후보 주차 구획 중 어느 하나를 목표 주차 구획으로 결정할 수 있다. 목표 주차 구획이란, 차량이 실제 주차할 영역 내지 공간을 의미한다.
이러한, 제어부(160)는 추정 모듈(162), 비교 모듈(164) 및 보정 모듈(134)을 포함할 수 있다.
추정 모듈(162)은 AVM 영상으로부터 차량 주변의 노면에 그려진 주차 구획에 포함된 적어도 하나 이상의 교차점별 위치를 추정할 수 있다. 또한, 추정 모듈(132)은 추정된 위치의 좌표인 추정 위치값을 산출할 수 있다.
비교 모듈(164)은 추정 모듈(162)에 의해 산출된 추정 위치값을, 정보 저장부(164)에 기 저장된 등록 위치값과 비교하여, 추정 위치값에 대응하는 교차점이 등록 위치값에 대응하는 교차점과 동일한 것인지 판단할 수 있다.
이를 위해, 비교 모듈(164)은 정보 저장부(120)에 기 저장된 등록 위치값이 하나라도 존재하는지 판단하고, 정보 저장부(120)에 기 저장된 등록 위치값이 하나도 없는 경우에는, 추정 모듈(162)에 의해 산출된 추정 위치값을 이에 대응하는 교차점의 등록 위치값으로 저장할 수 있다.
만약, 정보 저장부(120)에 기 저장된 등록 위치값이 하나 이상 존재하는 경우, 비교 모듈(164)은 이러한 기 저장된 등록 위치값 중, 추정 모듈(162)에 의해 산출된 추정 위치값과 매칭되는 등록 위치값이 존재하는지 판단할 수 있다. 추정 위치값과 등록 위치값 간의 매칭 여부는, 추정 위치값과 등록 위치값 간의 거리를 기초로 판단할 수 있는바, 이에 대한 구체적인 설명은 후술하기로 한다.
만약, 추정 위치값과 매칭되는 등록 위치값이 정보 저장부(120)에 존재하지 않는 경우, 비교 모듈(164)은 추정 모듈(162)에 의해 산출된 추정 위치값을 이에 대응하는 교차점의 등록 위치값으로 저장할 수 있다.
보정 모듈(166)은 추정 위치값과 매칭되는 등록 위치값이 존재하는 것으로 판단된 경우, 추정 위치값과 매칭되는 등록 위치값을, 추정 위치값을 이용하여 보정한 후, 보정된 등록 위치값을 저장할 수 있다. 즉, 보정 전의 등록 위치값을 보정 후의 등록 위치값으로 대체할 수 있다. 이때, 보정 전의 등록 위치값은 정보 저장부(120)로부터 삭제될 수 있다.
결과적으로, 정보 저장부(120)에는 하나의 교차점당 최대 하나의 등록 위치값만이 대응되어 저장될 수 있다. 이에 따라, 종래 하나의 교차점당 복수의 위치값을 산출하고, 이러한 복수의 위치값들을 평균하여 교차점의 위치를 인식하는 방식에 비하여, 정보 저장 영역을 효율적으로 이용하고, 연산량을 저감할 수 있다.
주차구획 검출 모듈(168)은 정보 저장부(120)에 저장된 등록 위치값들을 기초로, 차량 주변에 그려진 주차 구획의 유효성을 검증할 수 있다. 예컨대, 주차구획 검출 모듈(168)은 기 저장된 등록 위치값들 간의 거리를 산출하고, 산출된 거리가 차량의 폭보다 큰 경우, 해당 등록 위치값들에 대응하는 교차점들을 포함하는 주차 구획이 유효한 것으로 검증할 수 있다. 이때, 기 저장된 두 등록 위치값들 간의 거리가 차량의 폭보다 크더라도, 이러한 두 등록 위치값에 대응하는 두 교차점 사이에서 어떠한 주차선도 인지되지 않는 경우, 두 교차점은 비유효한 주차 구획에 포함된 것으로 처리할 수 있다.
또한, 주차구획 검출 모듈(168)은 유효한 것으로 검증된 주차 구획에 대한 주차 경로를 생성할 수 있다. 전술한 구동부(150)는 주차구획 검출 모듈(168)에 의해 생성된 주차 경로를 따라, 차량의 속도 및 조향 중 적어도 어느 하나를 조절함으로써, 차량이 유효 주차 구획 내에 주차되도록 할 수 있다.
한편, 도 3을 참조하여 전술한 주차 구획 인식 장치(100)는 차량에 장착될 수 있다.
도 4는 본 발명의 일 실시예에 따른 주차 구획 인식 장치(100)의 제어 방법을 보여주는 순서도이다.
도 4를 참조하면, 제어부(160)는 AVM 영상으로부터, 주차 구획에 포함된 복수의 교차점들 중 적어도 어느 한 교차점에 대한 추정 위치값을 산출한다(S410). 이때, 추정 위치값은 평면 좌표계의 좌표 형식으로 표현될 수 있다.
다음으로, 제어부(160)는 정보 저장부(120)에 기 저장된 등록 위치값이 존재하는지 판단한다(S420). 즉, 제어부(160)는 과거에 기 인식된 적어도 하나 이상의 기존 교차점의 위치인 등록 위치값이 정보 저장부(120)에 저장되어 있는 상태인지 판단할 수 있다. 이때, 등록 위치값은 추정 위치값과 마찬가지로 평면 좌표계의 좌표 형식으로 표현될 수 있다.
여기서, 기존 교차점은 단계 S410의 주차 구획에 포함된 교차점일 수 있고, 또는 단계 S410의 주차 구획과는 다른 주차 구획에 포함된 교차점일 수도 있다. 이때, 기 저장된 등록 위치값은, 하나의 기존 교차점당 하나씩 대응되도록 저장될 수 있다.
이어서, 제어부(160)는 단계 S420에서 적어도 하나 이상의 기존 교차점별 등록 위치값이 정보 저장부(120)에 기 저장된 상태인 것으로 판단 시, 단계 S410에서 산출된 추정 위치값을 정보 저장부(120)에 기 저장된 등록 위치값과 비교할 수 있다(S430). 만약, 정보 저장부(120)에 기 저장된 등록 위치값이 복수인 경우, 제어부(160)는 복수의 등록 위치값 각각을 추정 위치값과 비교할 수 있다. 예컨대, 제어부(160)는 단계 S430에서 등록 위치값과 추정 위치값 간의 거리를 산출할 수 있다.
다음으로, 제어부(160)는 단계 S430에서의 비교 결과, 기 저장된 하나 이상의 등록 위치값 중, 추정 위치값과 매칭되는 등록 위치값이 존재하는지 판단할 수 있다(S440). 즉, 제어부(160)는 추정 위치값에 대응하는 교차점과 동일한 기존 교차점에 대하여 기 산출된 등록 위치값이 정보 저장부(120)에 저장된 상태인지 판단할 수 있다. 예컨대, 제어부(160)는 추정 위치값과의 거리가 기준거리 이하인 등록 위치값을, 추정 위치값과 매칭되는 등록 위치값으로 판단할 수 있다.
이어서, 제어부(160)는 단계 S440에서 추정 위치값과 매칭되는 등록 위치값이 존재하는 것으로 판단 시, 추정 위치값을 기초로, 추정 위치값과 매칭되는 등록 위치값을 보정할 수 있다(S450). 추정 위치값을 기초로, 추정 위치값과 매칭되는 등록 위치값을 보정하는 동작에 대하여는, 이하 도 8을 참조하여 보다 상세히 살펴보기로 한다.
다음으로, 제어부(160)는 추정 위치값에 대응하는 기존 교차점에 대한 등록 위치값을, 단계 S450에서 보정된 등록 위치값으로 대체하여 저장할 수 있다(S460). 즉, 제어부(160)는 기존 교차점에 대한 보정 전의 등록 위치값을 보정 후의 등록 위치값으로 업데이트할 수 있다.
한편, 단계 S420에서 정보 저장부(120)에 기 저장된 등록 위치값이 하나도 존재하지 않는 것으로 판단된 경우, 또는 단계 S440에서 기 저장된 하나 이상의 등록 위치값 중, 추정 위치값과 매칭되는 등록 위치값이 존재하지 않는 것으로 판단된 경우, 제어부(160)는 추정 위치값을 신규 교차점에 대한 등록 위치값으로 저장할 수 있다(S470). 즉, 정보 저장부(120)에 기 저장된 등록 위치값이 없거나, 있더라도 추정 위치값과 매칭되지 않는다는 것은, 추정 위치값에 대응하는 교차점이 과거에 한번도 인식되지 않았음을 의미하는바, 제어부(160)는 단계 S410에서 산출한 추정 위치값이 신규 교차점에 대응하는 것으로 처리할 수 있다.
다음으로, 제어부(160)는 정보 저장부(120)에 기 저장된 복수의 등록 위치값들을 기초로, 주차 구획을 인식할 수 있다(S470). 주차 구획을 인식하기 위해서는, 적어도 둘 이상의 교차점별 등록 위치값이 기 저장된 상태여야 한다.
예를 들어, 정보 저장부(120)에 제1 및 제2 등록 위치값이 저장된 경우, 이 중 어느 하나의 등록 위치값을 다른 하나의 등록 위치값과 비교하여 상호 간의 거리를 산출하고, 산출된 거리가 차량의 폭을 초과하는 경우, 제1 등록 위치값에 대응하는 제1 교차점 및 제2 등록 위치값에 대응하는 제2 교차점을 포함하는 주차 구획을 인식할 수 있다.
한편, 제어부(160)는 보정된 등록 위치값을 포함하는 등록 위치값들을 기초로, 상기 주차 구획의 크기 및 위치를 산출하고, 산출된 주차 구획의 크기 및 위치를 기초로, 주차 구획에 대한 주차 경로를 생성할 수 있다. 또한, 제어부(160)는 구동부(150)를 제어하여, 차량이 주차 경로를 따라 주행하도록 할 수 있다.
한편, 전술한 단계 S410~S460은 단계 S470을 통해 주차 구획이 인식될 때까지 반복될 수 있다.
도 5는 본 발명의 일 실시예에 따른 주차 구획 인식 장치(100)가 AVM 영상(500)으로부터 주차 구획의 교차점을 검출하는 일 예를 보여준다.
도 5를 참조하면, 영상 합성부(130)는 도시된 바와 같은 AVM 영상(500)을 생성할 수 있으며, 제어부(160)는 AVM 영상(500)의 적어도 일 영역(501)으로부터 제1 직선 성분(511~515) 및 제2 직선 성분(520)을 검출할 수 있다. 이러한 제1 직선 성분(511~515) 및 제2 직선 성분(520)은 일 영역(501)에 나타나는 주차선의 명암 패턴을 기초로 검출되는 것일 수 있다.
이때, 제1 직선 성분(511~515)과 제2 직선 성분(520)은 상호 직교할 수 있으며, 일 예로 제1 직선 성분(511~515)의 방향은 수평방향, 제2 직선 성분(520)의 방향은 수직방향일 수 있다.
또한, 제어부(160)는 제1 직선 성분(511~515)과 제2 직선 성분(520)이 서로 교차하는 지점(이하, 교차점)(531~535)들 중 적어도 어느 하나에 대한 추정 위치값을 산출할 수 있다. 예컨대, 제어부(160)는 제1 직선 성분(511~515)의 방정식과 제2 직선 성분(520)의 방정식을 산출하여, 상호 간의 교점을 획득할 수 있다.
한편, 제1 내지 제5 교차점들(531~535) 중, 적어도 어느 하나는 제어부(160)에 의해 기 인식되어 그에 대한 등록 위치값이 정보 저장부(120)에 기 저장된 상태일 수 있다. 예컨대, 제1 내지 제5 교차점들(531~535) 중 제4 및 제5 교차점(534, 535)는 제1 시점에서 인식되어 그에 대한 등록 위치값이 정보 저장부(120)에 기 저장된 상태일 수 있으며, 제1 시점 이후의 제2 시점에서 제2 내지 제4 교차점들(532~534)에 대한 추정 위치값이 산출될 수 있다.
이때, 제2 시점에서 인식된 제4 교차점(534)에 대한 추정 위치값은 이미 제1 시점에서 인식된 제4 교차점(534)에 대하여 기 저장된 등록 위치값과 매칭될 수 있다. 이 경우, 제2 시점을 기준으로, 제4 교차점(534)은 기존 교차점에 해당하며, 제어부(160)는 제4 교차점(534)에 대한 추정 위치값을 이용하여, 제4 교차점(534)에 대한 등록 위치값을 보정할 수 있다.
반면, 제2 시점에서 인식된 제2 및 제3 교차점(532, 533)은, 제1 시점에서는 인식된 바가 없는 신규 교차점에 해당하고, 따라서 정보 저장부(120)에도 제2 및 제3 교차점(532, 533)에 대한 등록 위치값이 저장되어 있지 않을 것이므로, 제어부(160)는 제2 및 제3 교차점(532, 533)에 대한 추정 위치값을 제2 및 제3 교차점(532, 533)에 대한 등록 위치값으로 정보 저장부(120)에 저장할 수 있다. 물론, 제2 시점에서 인식된 제2 내지 제4 교차점(532~534)에 대한 등록 위치값은, 제2 시점 이후의 인식 결과에 따라 보정되어 업데이트될 수 있다는 것은 당업자에게 자명하다.
도 6은 본 발명의 일 실시예에 따라 AVM 영상(600)의 영역별로 설정되는 신뢰 지수의 일 예를 보여준다.
전술한 바와 같이 AVM 영상(600)의 전체 영역 중, 카메라(112a~112d)와의 거리가 먼 위치에 대응하는 영역일수록 큰 왜곡이 발생하며, 큰 왜곡이 발생한 영역일수록 이로부터 검출한 교차점 역시 실제와는 큰 차이를 가지게 된다.
이러한 문제점을 해결하기 위해, 본 발명은 도시된 바와 같이 AVM 영상(600)의 전체 영역을 복수개의 서브 영역으로 분할하고, 분할된 서브 영역마다 서로 다른 신뢰 지수를 정의하는 방식을 제안하고자 한다.
예컨대, 도시된 바와 같이, AVM 영상(600)의 전체 영역은 녹색으로 나타낸 4개의 제1 서브 영역(611~614), 황색으로 나타낸 5개의 제2 서브 영역(621~625) 및 적색으로 나타낸 4개의 제3 서브 영역(631~634)으로 분할될 수 있다.
정보 저장부(120)에는 제1 서브 영역(611~614)에 대한 제1 신뢰 지수, 제2 서브 영역(621~625)에 대한 제2 신뢰 지수 및 제3 서브 영역(631~634)에 대한 제3 신뢰 지수가 기 저장된 상태일 수 있다. 이 경우, 제1 내지 제3 신뢰 지수는 서로 다른 값을 가지며, 제1 신뢰 지수가 가장 큰 값을 가지고, 제3 신뢰 지수가 가장 작은 값을 가질 수 있다.
이러한 신뢰 지수는 등록 위치값을 보정하는 데에 이용될 수 있는바, 이에 대하여는 도 8을 참조하여 후술하기로 한다.
도 7은 본 발명의 일 실시예에 따른 주차 구획 인식 장치(100)가 AVM 영상(700)으로부터 신규 교차점의 위치를 검출하는 일 예를 보여준다.
설명의 편의를 위해, 도 7에 도시된 제1 내지 제5 교차점(701~705) 중 제2 내지 제5 교차점(702~705)은 이미 기 인식되어 각각에 대한 제2 내지 제5 등록 위치값(712~715)이 정보 저장부(120)에 기 저장된 상태인 것으로 가정한다.
이러한 상태에서, 제어부(160)는 AVM 영상(700)으로부터 제1 내지 제4 교차점(701~704) 각각에 대한 제1 내지 제4 추정 위치값(721~724)을 산출할 수 있다.
이때, 제5 교차점(705)에 대한 추정 위치값은 다양한 원인으로 인해 산출되지 않을 수 있다. 일 예로, 제5 교차점(705)이 AVM 영상(700) 범위 밖에 있어서, 차량의 속도가 너무 빠른 경우 등의 상황에서 주차 구획의 교차점 중 일부에 대한 추정 위치값 산출이 수행되지 않을 수 있다.
제어부(160)는 제1 내지 제4 추정 위치값(721~724) 각각에 매칭되는 등록 위치값이 정보 저장부(120)에 기 저장된 상태인지 판단할 수 있다. 제2 내지 제4 추정 위치값(722~724) 각각에 매칭되는 제2 내지 제4 등록 위치값(712~714)에 대한 처리는 별론으로 할 때, 정보 저장부(120)에는 제1 교차점(701)에 대한 등록 위치값은 저장되어 있지 않은 상태인바, 제어부(160)는 제1 추정 위치값(721)에 매칭되는 등록 위치값이 정보 저장부(120)에 존재하지 않는 것으로 판단할 수 있다.
따라서, 제어부(160)는 제1 추정 위치값(721)에 대응하는 제1 교차점(701)이 새로운 교차점(이하, 신규 교차점이라고 함)인 것으로 판단하여, 제1 추정 위치값(721)을 신규 교차점(701)에 대한 등록 위치값(721)으로 저장할 수 있다.
한편, 제어부(160)는 제2 내지 제4 추정 위치값(722~724)에 대응하는 제2 내지 제4 교차점(702~704)은 기존 교차점인 것으로 판단하여, 제2 내지 제4 추정 위치값(722~724)을 기초로, 제2 내지 제4 등록 위치값(712~714)을 업데이트할 수 있다.
기존 교차점에 대한 보정 및 업데이트 동작에 대해서는 이하 도 8을 참조하여 상세히 설명하기로 한다.
도 8은 본 발명의 일 실시예에 따른 주차 구획 인식 장치(100)가 AVM 영상(800)으로부터 기존 교차점에 대하여 산출된 위치값을 보정하는 일 예를 보여준다.
설명의 편의를 위해, 도 8에 도시된 제1 내지 제5 교차점(801~805) 중 제3 내지 제5 교차점(803~805)는 이미 기 인식되어 각각에 대한 제3 내지 제5 등록 위치값(813~815)이 정보 저장부(120)에 기 저장된 상태인 것으로 가정한다.
이러한 상태에서, 제어부(160)는 AVM 영상(700)으로부터 제1 내지 제3 교차점(801~803) 각각에 대한 제1 내지 제3 추정 위치값(821~823)을 산출할 수 있다.
이때, 제1 및 제2 추정 위치값(821~822)에 대응하는 교차점을 신규 교차점인 것으로 판단하는 과정은 별론으로 할 때, 제어부(160)는 제3 교차점(803)에 대한 제3 추정 위치값(823)과, 제3 교차점(803)에 대하여 기 저장된 제3 등록 위치값(813)이 상호 매칭되는지 판단할 수 있다.
예컨대, 제어부(160)는 '제3 추정 위치값(823)'과 '제3 등록 위치값(813)' 간 또는 '제3 추정 위치값(823)'과 '제3 교차점(803)에 대한 제3 추정 위치값(823)을 산출하기 전에 제3 교차점(803)에 대하여 산출했던 추정 위치값들의 평균' 간의 마할라노비스 거리(mahalanobis distance)를 구하고, 구해진 마할라노비스 거리(mahalanobis distance)가 기 설정된 기준거리 이하인 경우, 제3 추정 위치값(823)과 제3 등록 위치값(813)이 상호 매칭되는 것으로 판단할 수 있다.
서로 다른 두 위치값 간의 마할라노비스 거리(mahalanobis distance)는 아래의 수학식 1을 이용하여 구할 수 있다.
Figure pat00001
수학식 1에서 Pn + 1는 특정 교차점에 대하여 n+1번째 산출된 추정 위치값이며, mn는 상기 특정 교차점에 대하여 과거에 n번 산출된 추정 위치값들(P1~Pn)의 평균이고, Cn는 상기 특정 교차점에 대하여 과거에 n번 산출된 추정 위치값들(P1~Pn)의 공분산 행렬이며, D는 Pn +1과 mn 간의 마할라노비스 거리이다. 또한, n은 1이상의 자연수이다.
예컨대, 수학식 1에서 n을 1로 가정할 때, 제3 추정 위치값(823)은 P2가 되고, 제3 등록 위치값(813)은 m1이 된다.
한편, 수학식 1의 공분산 행렬 Cn는 아래의 수학식 2를 이용하여 구할 수 있다.
Figure pat00002
여기서, xi는 과거 i(≤ n)번째 산출된 추정 위치값 Pi의 X축 좌표값이고, yi는 과거 i번째 산출된 추정 위치값 Pi의 Y축 좌표값이며, mx는 수학식 1의 mn의 X축 좌표값이고, my는 수학식 1의 mn의 Y축 좌표값이다.
물론, 수학식 1에 따른 마할라노비스 거리 외의 다른 방식으로 구해진 거리를 기초로, 제3 추정 위치값(823)과 제3 등록 위치값(813)이 상호 매칭되는지 판단할 수 있다. 예컨대, 제어부(160)는 피타고라스 정리를 이용하여 제3 추정 위치값(823)과 제3 등록 위치값(813) 간의 거리를 산출하고, 산출된 거리가 기준거리 이하인 경우, 제3 추정 위치값(823)과 제3 등록 위치값(813)이 서로 매칭되는 것으로 판단할 수 있다.
한편, 마할라노비스 거리(mahalanobis distance) 등을 이용하여, 제3 추정 위치값(823)과 제3 등록 위치값(813)이 상호 매칭되는 것으로 판단된 경우, 제어부(160)는 제3 추정 위치값(823)을 기초로, 제3 등록 위치값(813)을 보정할 수 있다. 또한, 제어부(160)는 제3 추정 위치값(823)과 함께 제3 추정 위치값(823)이 속하는 서브 영역의 신뢰 지수를 더 기초로, 아래의 수학식 3을 이용하여 제3 등록 위치값(813)을 보정할 수 있다.
Figure pat00003
수학식 3에서, Cr은 n+1번째 산출된 추정 위치값의 신뢰 지수에 대응하는 것으로 기 설정된 공분산 행렬이고, Cn은 수학식 2에서 이미 설명한 공분산 행렬이며, Pn+1은 수학식 1에서 이미 설명한 특정 교차점에 대하여 n+1번째 산출된 추정 위치값이고, Qn은 상기 특정 교차점에 대한 보정 전 등록 위치값이며, Qn +1은 상기 특정 교차점에 대한 보정 후 등록 위치값이다.
예컨대, 수학식 3에서 n을 1로 가정할 때, 제3 추정 위치값(823)은 P2가 되고, 제3 등록 위치값(813)은 Q1이 되며, 제3 추정 위치값(823)을 기초로 제3 등록 위치값(813)을 보정한 결과는 Q2가 된다.
또한, 제3 추정 위치값(823)의 신뢰 지수가 높을수록 Cr은 작은 값을 갖도록 기 설정될 수 있다.
예컨대, 제3 추정 위치값(823)이 도 6에 도시된 제1 서브 영역(611~614)에 속하는 경우, 제1 신뢰 지수에 대응하는 공분산 행렬은 Cr=[1, 0;0, 1]이 되도록 기 설정되고, 이와 달리 제3 추정 위치값(823)이 제3 서브 영역(631~634)에 속하는 경우, 제3 신뢰 지수에 대응하는 공분산 행렬은 Cr=[5, 0;0, 5]이 되도록 기 설정될 수 있다.
도 8을 참조하면, 제3 추정 위치값(823)을 기초로 제3 등록 위치값(813)을 보정한 결과(833)를 확인할 수 있다. 구체적으로, 제3 추정 위치값(823)은 보정 전 제3 등록 위치값(813)보다 제3 교차점(803)에 가까이 위치하는바, 제3 추정 위치값(823)을 기초로 보정된 제3 등록 위치값(833) 역시 보정 전 제3 등록 위치값(813)보다 제3 교차점(803)에 가까이 위치하게 될 수 있다. 이 경우, 종전의 등록 위치값(813)은 정보 저장부(120)로부터 삭제되고, 새로이 산출된 등록 위치값(833)이 제3 교차점(803)에 대응하는 것으로 정보 저장부(120)에 저장될 수 있다.
즉, 제3 추정 위치값(823)을 이용하여 기존의 등록 위치값(813)이 새로운 등록 위치값(833)이 되도록 업데이트함으로써, 제3 교차점(803)의 실제 위치에 더 근접한 등록 위치값(833)을 획득할 수 있다. 이에 따라, 제어부(160)가 정보 저장부(120)에 기 저장된 등록 위치값들을 기초로 인식하여 주차 구획의 정확도가 향상되는 것은 물론, 정보 저장 공간의 활용성 및 연산량을 대폭 저감할 수 있다.
도 9는 본 발명의 일 실시예에 따른 주차 구획 인식 장치(100)에 의한 보정 결과의 일 예를 보여준다.
전술한 바와 같이, 제어부(160)는 어느 한 교차점에 대한 추정 위치값 및 해당 추정 위치값이 속하는 영역의 신뢰 지수를 기초로, 해당 교차점에 대하여 기 저장된 등록 위치값을 보정할 수 있다.
도 9에서 어느 한 교차점에 대하여 기 저장된 등록 위치값(901), 및 동일 교차점에 대한 추정 위치값(902)이 고정된 것으로 가정할 때, 기존의 등록 위치값(901)에 대한 보정은 신뢰 지수에만 의존할 수 있다.
도 9에서 추정 위치값(902)에 대응하는 신뢰 지수가 도 6에 도시된 제1 내지 제3 신뢰 지수 중 가장 낮은 제3 신뢰 지수인 경우, 이를 기초로 보정된 등록 위치값(903)은 등록 위치값(901)으로부터 추정 위치값(902)를 향하여 이동한 지점에 위치할 수 있다.
만약, 추정 위치값(902)에 대응하는 신뢰 지수가 도 6에 도시된 제1 내지 제3 신뢰 지수 중 가장 높은 제1 신뢰 지수인 경우, 이를 기초로 보정된 등록 위치값(904)은 추정 위치값(902)과 등록 위치값(901) 사이에 위치하되, 제3 신뢰 지수를 기초로 보정된 등록 위치값(903)보다 추정 위치값(902)에 더 근접한 지점에 위치할 수 있다.
이는, AVM 영상 중 추정 위치값(902)이 속하는 영역에 설정된 신뢰 지수가 낮을수록, 해당 추정 위치값(902)의 정확도도 낮아지므로, 기존의 등록 위치값(901)에 대한 보정을 행하는 경우, 제어부(160)가 해당 추정 위치값의 반영 비율을 낮추기 때문이다.
반대로, AVM 영상 중 추정 위치값(902)이 속하는 영역에 설정된 신뢰 지수가 높을수록, 해당 추정 위치값(902)의 정확도도 높아지므로, 기존의 등록 위치값(901)에 대한 보정을 행하는 경우, 제어부(160)는 해당 추정 위치값의 반영 비율을 높일 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
또한, 이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니라, 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수 있다.
100: 주차 구획 인식 장치
110: 센서부
120: 정보 저장부
130: 영상 합성부
140: 인터페이스부
150: 구동부
160: 제어부

Claims (10)

  1. AVM(Around View Monitoring) 영상으로부터, 주차 구획에 포함된 복수의 교차점들 중 어느 한 교차점에 대한 추정 위치값을 산출하는 단계;
    상기 복수의 교차점들 중 기 인식된 적어도 하나 이상의 기존 교차점 각각에 대하여 기 저장된 등록 위치값이 존재하는지 판단하는 단계로서, 하나의 등록 위치값은 하나의 기존 교차점에 대응되는 단계;
    기 저장된 등록 위치값이 존재하는 경우, 상기 기 저장된 등록 위치값 중, 상기 추정 위치값과 매칭되는 등록 위치값이 존재하는지 판단하는 단계;
    상기 추정 위치값과 매칭되는 등록 위치값이 존재하는 경우, 상기 추정 위치값을 기초로, 상기 매칭되는 등록 위치값을 보정하는 단계; 및
    상기 매칭되는 등록 위치값에 대응되는 기존 교차점에 대한 등록 위치값을 상기 보정된 등록 위치값으로 대체하여 저장하는 단계;
    를 포함하는, 주차 구획 인식 장치의 제어 방법.
  2. 제1항에 있어서,
    상기 기 저장된 등록 위치값이 존재하지 않거나, 상기 기 저장된 등록 위치값 중 상기 추정 위치값과 매칭되는 등록 위치값이 존재하지 않는 경우,
    상기 추정 위치값에 대응하는 교차점을 신규 교차점으로 처리하여, 상기 추정 위치값을 상기 신규 교차점에 대한 등록 위치값으로 저장하는 단계;
    를 더 포함하는, 주차 구획 인식 장치의 제어 방법.
  3. 제1항에 있어서,
    상기 추정 위치값과 매칭되는 등록 위치값이 존재하는지 판단하는 단계는,
    상기 추정 위치값과 상기 기 저장된 등록 위치값 사이의 거리를 산출하는 단계; 및
    상기 산출된 거리가 기 설정된 기준거리 이하인 경우, 상기 추정 위치값과 매칭되는 등록 위치값이 존재하는 것으로 판단하고, 상기 산출된 거리가 상기 기준거리 초과인 경우, 상기 추정 위치값과 매칭되는 등록 위치값이 존재하지 않는 것으로 판단하는 단계;
    를 포함하는, 주차 구획 인식 장치의 제어 방법.
  4. 제1항에 있어서,
    상기 추정 위치값에 대한 신뢰 지수를 획득하는 단계;
    를 더 포함하는, 주차 구획 인식 장치의 제어 방법.
  5. 제4항에 있어서,
    상기 추정 위치값에 대한 신뢰 지수를 획득하는 단계는,
    상기 AVM 영상의 전체 영역에 대하여 미리 정의된 복수의 서브 영역들 중, 상기 추정 위치값이 속하는 서브 영역을 선택하는 단계; 및
    상기 선택된 서브 영역에 대하여 기 설정된 신뢰 지수를 획득하는 단계;
    를 포함하는, 주차 구획 인식 장치의 제어 방법.
  6. 제4항에 있어서,
    상기 매칭되는 등록 위치값을 보정하는 단계는,
    상기 획득된 신뢰 지수를 더 기초로, 상기 매칭되는 등록 위치값을 보정하는, 주차 구획 인식 장치의 제어 방법.
  7. 제1항에 있어서,
    상기 보정된 등록 위치값을 포함하는 등록 위치값들을 기초로, 상기 주차 구획의 크기 및 위치를 산출하는 단계; 및
    상기 주차 구획의 크기 및 위치를 기초로, 상기 주차 구획에 대한 주차 경로를 생성하는 단계;
    를 더 포함하는, 주차 구획 인식 장치의 제어 방법.
  8. 정보 저장부;
    AVM 영상을 생성하는 영상 합성부; 및
    AVM(Around View Monitoring) 영상으로부터, 주차 구획에 포함된 복수의 교차점들 중 어느 한 교차점에 대한 추정 위치값을 산출하고,
    상기 복수의 교차점들 중 기 인식된 적어도 하나 이상의 기존 교차점 각각에 대하여 상기 정보 저장부에 기 저장된 등록 위치값이 존재하는지 판단하며,
    기 저장된 등록 위치값이 존재하는 경우, 상기 기 저장된 등록 위치값 중, 상기 추정 위치값과 매칭되는 등록 위치값이 존재하는지 판단하고,
    상기 추정 위치값과 매칭되는 등록 위치값이 존재하는 경우, 상기 추정 위치값을 기초로, 상기 매칭되는 등록 위치값을 보정하며,
    상기 매칭되는 등록 위치값에 대응되는 기존 교차점에 대한 등록 위치값을 상기 보정된 등록 위치값으로 대체하여 상기 정보 저장부에 저장하는 제어부;
    를 포함하되,
    하나의 등록 위치값은 하나의 기존 교차점에 대응되는, 주차 구획 인식 장치.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 정보 저장부에 기 저장된 등록 위치값이 존재하지 않거나, 상기 기 저장된 등록 위치값 중 상기 추정 위치값과 매칭되는 등록 위치값이 존재하지 않는 경우,
    상기 추정 위치값에 대응하는 교차점을 신규 교차점으로 처리하여, 상기 추정 위치값을 상기 신규 교차점에 대한 등록 위치값으로 상기 정보 저장부에 저장하는, 주차 구획 인식 장치
  10. 제8항에 있어서,
    상기 제어부는,
    상기 추정 위치값과 상기 기 저장된 등록 위치값 사이의 거리를 산출하고,
    상기 산출된 거리가 기 설정된 기준거리 이하인 경우, 상기 추정 위치값과 매칭되는 등록 위치값이 상기 정보 저장부에 존재하는 것으로 판단하며,
    상기 산출된 거리가 상기 기준거리 초과인 경우, 상기 추정 위치값과 매칭되는 등록 위치값이 상기 정보 저장부에 존재하지 않는 것으로 판단하는 단계;
    를 포함하는, 주차 구획 인식 장치.
KR1020150109643A 2015-08-03 2015-08-03 주차 구획 인식 장치 및 그 제어 방법 KR20170016199A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150109643A KR20170016199A (ko) 2015-08-03 2015-08-03 주차 구획 인식 장치 및 그 제어 방법
DE102016114284.0A DE102016114284A1 (de) 2015-08-03 2016-08-02 Parklückenerkennungsvorrichtung und verfahren zur steuerung derselben
US15/227,057 US20170039439A1 (en) 2015-08-03 2016-08-03 Parking space recognition apparatus and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150109643A KR20170016199A (ko) 2015-08-03 2015-08-03 주차 구획 인식 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20170016199A true KR20170016199A (ko) 2017-02-13

Family

ID=57853934

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150109643A KR20170016199A (ko) 2015-08-03 2015-08-03 주차 구획 인식 장치 및 그 제어 방법

Country Status (3)

Country Link
US (1) US20170039439A1 (ko)
KR (1) KR20170016199A (ko)
DE (1) DE102016114284A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101964919B1 (ko) * 2017-05-26 2019-08-13 주식회사 만도 주차 제어 장치 및 그 방법
DE102018101388A1 (de) 2018-01-23 2019-07-25 Valeo Schalter Und Sensoren Gmbh Korrigieren einer Position eines Fahrzeugs mit SLAM
KR20200119920A (ko) * 2019-03-19 2020-10-21 현대모비스 주식회사 자동 발렛 파킹 시스템의 위치 추정 장치 및 방법
CN110365946A (zh) * 2019-07-26 2019-10-22 浙江大华技术股份有限公司 灾情应对方案的生成方法、装置、存储介质及电子装置
CN113085838A (zh) * 2021-04-02 2021-07-09 的卢技术有限公司 一种基于多传感器融合的车位检测方法和***

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1720758B1 (de) * 2004-03-05 2016-06-29 Continental Teves AG & Co. oHG Einparkhilfe
US8340870B2 (en) * 2008-09-16 2012-12-25 Honda Motor Co., Ltd. Vehicle maneuver assistance device
TW201016506A (en) * 2008-10-21 2010-05-01 Automotive Res & Testing Ct Parking guidance system and guidance method thereof
KR101327736B1 (ko) * 2011-12-23 2013-11-11 현대자동차주식회사 Ａｖｍ탑뷰 기반 주차지원 시스템
KR101478067B1 (ko) * 2012-03-21 2015-01-02 주식회사 만도 차량의 주차 조향 보조 시스템 및 그 제어방법
KR101947826B1 (ko) * 2012-04-10 2019-02-13 현대자동차주식회사 차량의 주차구획 인식방법
JP5857900B2 (ja) * 2012-07-18 2016-02-10 アイシン精機株式会社 駐車支援装置
KR101372171B1 (ko) * 2012-10-11 2014-03-07 현대자동차주식회사 주차가능영역 판단 장치 및 방법
KR101393881B1 (ko) * 2012-10-24 2014-05-12 현대자동차주식회사 차량의 주차구획 인식방법
WO2014174676A1 (ja) * 2013-04-26 2014-10-30 トヨタ自動車 株式会社 駐車支援装置
KR101449295B1 (ko) * 2013-06-04 2014-10-13 현대자동차주식회사 주차구획 추적 장치 및 방법
KR101511992B1 (ko) * 2013-09-06 2015-04-14 현대모비스(주) 조향 휠 제어 방법 및 이를 위한 위한 시스템
KR102153030B1 (ko) * 2013-11-05 2020-09-07 현대모비스 주식회사 주차 지원 장치 및 방법
KR101470240B1 (ko) * 2013-11-14 2014-12-08 현대자동차주식회사 주차 영역 검출 장치 및 그 방법
KR102177721B1 (ko) 2014-03-20 2020-11-11 현대모비스 주식회사 배터리팩 열화 상태 추정 장치 및 방법
KR102176773B1 (ko) * 2014-06-11 2020-11-09 현대모비스 주식회사 자동차의 주차시스템
KR102176775B1 (ko) * 2014-07-02 2020-11-09 현대모비스 주식회사 어라운드 뷰 시스템 및 그 동작방법
KR101521842B1 (ko) * 2014-08-27 2015-05-20 현대모비스 주식회사 주차 공간 탐색 장치 및 그 탐색 방법
KR101553868B1 (ko) * 2014-12-03 2015-09-17 현대모비스 주식회사 차량의 자동 주차 제어장치 및 그 방법

Also Published As

Publication number Publication date
DE102016114284A1 (de) 2017-02-09
US20170039439A1 (en) 2017-02-09

Similar Documents

Publication Publication Date Title
KR102553247B1 (ko) 전방 차량 추종 제어 시 안전성을 향상할 수 있는 차선 유지 보조 시스템 및 방법
US10007998B2 (en) Image processor, apparatus, and control system for correction of stereo images
KR20170016199A (ko) 주차 구획 인식 장치 및 그 제어 방법
KR102374916B1 (ko) 차선 유지 제어장치 및 제어방법
TW201704067A (zh) 防撞方法、實現該防撞方法之電腦程式產品及防撞系統
EP3659898B1 (en) Parking support apparatus
JP6614359B2 (ja) 障害物判定方法、駐車支援方法、出庫支援方法、及び障害物判定装置
JP6610801B2 (ja) 駐車支援方法及び装置
JPWO2019058720A1 (ja) 情報処理装置、自律型移動装置、および方法、並びにプログラム
CN112046481B (zh) 自动驾驶装置和方法
JP6174644B2 (ja) 画像処理装置
US20220327329A1 (en) Obstacle recognition assistance device, obstacle recognition assistance method, and storage medium
KR20180007412A (ko) 멀티센서 기반의 융합형 물체 감지 장치 및 방법
JP4721278B2 (ja) 車線逸脱判定装置、車線逸脱防止装置および車線追従支援装置
KR102031635B1 (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
JP2019067116A (ja) 立体物接地判定装置
JP2019217846A (ja) 車両制御装置、車両制御方法およびプログラム
JP6193177B2 (ja) 動作支援システム及び物体認識装置
US9254844B2 (en) Apparatus and method for driving control of vehicle
KR20200133857A (ko) 자율 주행 장치 및 방법
JP7049188B2 (ja) 車両制御装置、車両制御方法およびプログラム
KR102616971B1 (ko) 자율 주행 장치 및 방법
JP5607135B2 (ja) 先行車発進報知装置
KR20190066396A (ko) 이종 카메라를 이용한 충돌 경고 방법 및 장치
KR20200133441A (ko) 자율 주행 장치 및 방법