KR20210072213A

KR20210072213A - 주차 제어 장치, 그를 포함한 시스템 및 그 방법

Info

Publication number: KR20210072213A
Application number: KR1020190161864A
Authority: KR
Inventors: 박종호
Original assignee: 현대자동차주식회사; 기아 주식회사
Priority date: 2019-12-06
Filing date: 2019-12-06
Publication date: 2021-06-17

Abstract

본 발명은 주차 제어 장치, 그를 포함한 시스템 및 그 방법에 관한 것으로, 본 발명의 일 실시 예에 따른 주차 제어 장치는 영상 데이터를 기반으로 주차장 환경을 학습하고 주차장 맵을 생성하여, 상기 학습된 주차장 맵을 바탕으로 차량이 자동으로 주차 공간을 탐색하여 주차하도록 제어하는 프로세서; 및 상기 맵을 저장하는 저장부;를 포함할 수 있다.

Description

주차 제어 장치, 그를 포함한 시스템 및 그 방법{Apparatus for controlling a parking, system having the same and method thereof}

본 발명은 주차 제어 장치, 그를 포함한 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 주차장 맵을 생성 및 학습하여 자동 주차 제어를 수행하는 기술에 관한 것이다.

사용자의 편의를 위해 차량의 주행 보조 시스템이 개발되고 있다. 차량의 주행 보조 시스템 중 하나로서 주차 보조 시스템이 존재한다.

종래의 주차 보조 시스템은 직각주차나 평행 주차 시 사용자가 직접 주차공간 탐색 후, 주차 공간을 선택하며, 차량이 스스로 주차공간에 주차할 때까지 차량 근처에서 원격 조작장치를 통해 차량을 제어해야 한다. 또한, 평행 주차 시 사용자가 차량에 탑승한 상태에서만 주차 제어 가능하고, 직각 주차 시 사용자가 차량 근처에서만 주차 제어 가능하며, 주차공간에서 차량을 출차시키는 수준이다.

또한, GPS를 사용하는 경우 GPS 신호가 없는 실내에서 주차 보조 제어가 불가능하고, 통신 장비를 이용하여 주차 보조를 수행하는 경우 차량과 주차장 인프라에 추가적인 V2X 단말기 설치가 필요하다.

본 발명의 실시예는 별도의 무선 통신(V2X) 장치 없이 차량에 장착된 센싱 장치를 사용하여 사용자가 자주 찾는 주차장 환경을 학습하고 주차장 맵을 생성할 수 있는 주차 제어 장치, 그를 포함한 시스템 및 그 방법을 제공하고자 한다.

또한, 본 발명의 실시예는 사용자가 원하는 위치에 하차 후 학습한 주차장 환경을 바탕으로 차량 스스로 공간탐색 및 주차를 수행할 수 있는 주차 제어 장치, 그를 포함한 시스템 및 그 방법을 제공하고자 한다.

또한, 본 발명의 실시예는 주차 후 사용자가 차량에 탑승하고자 하는 경우 사용자가 이전에 하차한 위치 또는 사전에 입력한 위치를 선택하여 차량이 해당 위치까지 스스로 출차 및 탑승하고자 하는 위치로 이동하도록 제어할 수 있는 주차 제어 장치, 그를 포함한 시스템 및 그 방법을 제공하고자 한다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시 예에 따른 주차 제어 장치는 영상 데이터를 기반으로 주차장 환경을 학습하고 주차장 맵을 생성하여, 상기 학습된 주차장 맵을 바탕으로 차량이 자동으로 주차 공간을 탐색하여 주차하도록 제어하는 프로세서; 및 상기 맵을 저장하는 저장부;를 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 주차장 주행 이력 정보를 기반으로 주차장 맵을 생성하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 주차장 판단 조건을 통해 맵 생성 또는 학습 시점을 판단하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 차량이 일정 차속 이하로 주행하거나, 일정 거리를 주행할 때마다 방향을 전환하거나, 상기 영상 데이터 내에 주차장 관련 문구, 주차선, 주차장 픽토그램이 인식되거나 GPS 신호가 끊기는 경우, 상기 맵 생성 또는 학습을 시작하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 차량이 일정 차속 이상 주행하거나, 방향 전환 없이 일정 거리 이상 주행하거나 GPS 신호가 다시 수신되거나, 상기 영상 데이터 내에 출구 관련 문구가 인식된 경우 상기 주차장 주행 이력 기록을 종료하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 주행 가능한 도로 폭 내에서 양 쪽에 근접하여 탐색하여 탐색된 영역이 미리 정한 기준치 이상인 경우, 주차공간 내에 존재하지 않은 장애물의 비율이 미리 정한 기준치 이하일 경우, 생성된 맵의 총 주행 경로상 좌측 및우측 고정 장애물의 점유 비율이 미리 정한 기준치 이상인 경우 상기 맵이 학습된 상태인 것으로 판단하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 사용자에 의한 요청이 있는 경우 수동 맵 학습을 수행하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 주차장 도로 기울기에 따라 주차 공간의 층간 이동을 판단하고, 층간 레이어에 대한 학습을 수행하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 전방 카메라에 의한 영상 데이터를 기반으로 벽에 표시된 층수, 주차공간 번호, 주차구역 번호, 입구 및 출구 안내표시, 진행 방향 안내, 진입 금지 표시, 장애인 주차구역 표시, 전기차 주차구역 표시 중 적어도 하나 이상을 특징점으로 인식하여 상기 맵에 반영하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, SVM 카메라에 의한 영상 데이터를 기반으로, 주차 공간 번호, 진행 방향, 입구 및 출구, 주차 공간 종류, 주차 공간 크기, 고정 장애물, 주행 가능 공간 정보 중 적어도 하나 이상을 특징점으로 인식하여 상기 맵에 반영하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 상기 맵 상에 승하차 구역, 주차 가능 구역, 주차 금지 구역, 주차 선호 구역, 주차 기피 구역을 반영하여 생성하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 사용자의 하차 후, 상기 사용자의 하차 위치를 상기 저장부에 저장하고, 차량의 자동 주차 제어를 수행하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 주차 완료 이후, 상기 사용자로부터 승차 호출을 받으면, 이전 하차 위치로 차량을 이동 제어하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 상기 사용자의 하차 위치 및 차량의 주차 위치를 사용자의 이동 통신 단말로 전송하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 텔레매틱스 단말, 홈 LOT, 이동 통신 단말을 통해 승차 요청을 수신하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 상기 주차 공간 탐색 또는 출차 중 기존 학습 결과에 존재하지 않는 장애물이 존재하는 경우, 상기 장애물이 경로 상에서 사라질 때까지 정차한 후 대기하거나, 상기 장애물을 회피할 수 있는 경로가 존재하는 경우 상기 회피 경로를 통해 회피 주행하거나, 상기 회피 경로가 존재하지 않는 경우, 역으로 후진하도록 제어하는 것을 포함할 수 있다.

본 발명의 일 실시 예에 따른 차량 시스템은 주차장 주변을 촬영하고 장애물을 센싱하는 센싱 장치; 및 상기 센싱 장치에 의한 영상 데이터를 기반으로 주차장 환경을 학습하고 주차장 맵을 생성하여, 상기 학습된 주차장 맵을 바탕으로 차량이 자동으로 주차 공간을 탐색하여 주차하도록 제어하는 주차 제어 장치;를 포함할 수 있다.

일 실시 예에 있어서, 상기 센싱 장치는, 차량의 전방의 원거리를 촬영하는 전방 카메라; 차량의 주변의 단거리를 촬영하는 SVM 카메라; 및 차량 주변의 장애물을 감지하는 초음파 센서;를 포함할 수 있다.

일 실시 예에 있어서, 상기 학습된 주차장 맵의 업로드 또는 다운로드를 수행하는 서버;를 더 포함할 수 있다.

본 발명의 일 실시 예에 따른 주차 제어 방법은 주차장 주변을 촬영하고 장애물을 센싱하는 단계; 상기 센싱된 데이터를 기반으로 주차장 환경을 학습하고 주차장 맵을 생성하는 단계; 및 상기 학습된 주차장 맵을 바탕으로 차량이 자동으로 주차 공간을 탐색하여 주차하도록 제어하는 단계;를 포함할 수 있다.

본 기술은 별도의 무선 통신(V2X) 장치 없이 차량에 장착된 센싱 장치를 사용하여 사용자가 자주 찾는 주차장 환경을 학습하고 주차장 맵을 생성할 수 있다.

본 기술은 사용자가 원하는 위치에 하차 후 학습한 주차장 환경을 바탕으로 차량 스스로 공간탐색 및 주차를 수행할 수 있다.

본 기술은 주차 후 사용자가 차량에 탑승하고자 하는 경우 사용자가 이전에 하차한 위치 또는 사전에 입력한 위치를 선택하여 차량이 해당 위치까지 스스로 출차 및 탑승하고자 하는 위치로 이동하도록 제어할 수 있다.

이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.

도 1은 본 발명의 일 실시 예에 따른 주차 제어 장치를 포함하는 차량 시스템의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 맵 학습 기반 주차 제어 방법을 나타내는 순서도이다.
도 3은 본 발명의 일 실시 예에 따른 주차장 환경 학습 및 맵 구축 방법을 나타내는 순서도이다.
도 4는 본 발명의 일 실시 예에 따른 주차장 맵의 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 전방 카메라를 이용하여 특징점을 추출하는 예를 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 서라운드 뷰 모니터(SVM;Surround View Monitoring) 시스템을 이용하여 특징점을 추출하는 예를 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시 예에 따른 영상 데이터를 기반으로 특징점을 추출하는 방법을 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시 예에 따른 센싱 장치를 기반으로 획득된 데이터의 예시도이다.
도 9는 본 발명의 일 실시 예에 따른 맵 학습 기반 주차장 환경의 예시도이다.
도 10은 본 발명의 일 실시 예에 따른 맵 학습 기반 주차장 환경의 예시도이다.
도 11은 본 발명의 일 실시 예에 따른 맵 학습 기반 주차장 환경의 예시도이다.
도 12는 본 발명의 일 실시 예에 따른 맵 학습 기반 주차장 환경의 예시도이다.
도 13은 본 발명의 일 실시 예에 따른 맵 학습 기반 주차장 환경의 예시도이다.
도 14는 본 발명의 일 실시 예에 따른 맵 학습 기반 주차장 환경의 예시도이다.
도 15는 본 발명의 일 실시 예에 따른 맵 학습 기반 주차장 환경의 예시도이다.
도 16은 본 발명의 일 실시 예에 따른 맵 학습 기반 주차장 환경의 예시도이다.
도 17은 본 발명의 일 실시 예에 따른 컴퓨팅 시스템을 도시한다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 발명은 차량의 영상 장치를 통해 사용자가 자주 찾는 주차장 환경을 학습하고 맵을 자동 또는 수동으로 구축하고, 학습된 주차장 맵을 바탕으로 차량이 스스로 주차 공간을 탐색하고 주차 제어하도록 하며, 사용자가 승차를 원하는 경우 승차 위치로 차량이 자동 이동되는 구성을 개시한다.

이하, 도 1 내지 도 17을 참조하여, 본 발명의 실시예들을 구체적으로 설명하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 주차 제어 장치를 포함하는 차량 시스템(10)의 구성을 나타내는 블록도이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 차량 시스템은 외부의 서버(500) 및 사용자의 이동 통신 단말(600)과 통신을 수행할 수 있다. 차량 시스템은 주차장 맵을 서버(500)로부터 다운로드 또는 업로드 할수 있으며, 이동 통신 단말(600)로 맵 정보, 하차 위치, 승차 위치 등을 송신할 수 있다. 차량 시스템은 주차 제어 장치(100), 센싱 장치(200), 네비게이션 장치(300), 및 텔레매틱스 장치(400)를 포함할 수 있다.

본 발명의 일 실시 예에 따른 주차 제어 장치(100)는 차량(10)의 내부에 구현될 수 있다. 이때, 주차 제어 장치(100)는 차량의 내부 제어 유닛들과 일체로 형성될 수 있으며, 별도의 장치로 구현되어 별도의 연결 수단에 의해 차량의 제어 유닛들과 연결될 수도 있다.

주차 제어 장치(100)는 영상 데이터를 기반으로 주차장 환경을 학습하고 주차장 맵을 생성하여, 상기 학습된 주차장 맵을 바탕으로 차량이 자동으로 주차 공간을 탐색하여 주차하도록 제어할 수 있다. 또한, 주차 제어 장치(100)는 사용자가 승차하고자 하는 경우, 사용자의 이전 하차 위치 또는 사용자에 의해 선택된 위치로 차량이 자동 이동하여 대기할 수 있도록 제어한다.

주차 제어 장치(100)는 통신부(110), 저장부(120), 표시부(130), 및 프로세서(130)를 포함할 수 있다.

통신부(110)는 무선 또는 유선 연결을 통해 신호를 송신 및 수신하기 위해 다양한 전자 회로로 구현되는 하드웨어 장치로서, 본 발명에서는 차량 내 네트워크 통신 기술을 수행할 수 있으며, 차량 네트워크 통신 기술로는 CAN(Controller Area Network) 통신, LIN(Local Interconnect Network) 통신, 플렉스레이(Flex-Ray) 통신 등을 통해 차량 내 통신을 수행할 수 있다. 일 예로서, 통신부(110)는 네비게이션 장치(300), 텔레매틱스 장치(400) 등과 같은 차량 내 장치들과의 통신을 수행할 수 있다.

저장부(120)는 센싱 장치(200)의 센싱 결과(예, 영상 데이터 등) 및 프로세서(140)가 동작하는데 필요한 데이터 및/또는 알고리즘 등이 저장될 수 있다.

일 예로서, 저장부(120)는 주차장 환경을 촬영한 영상 데이터, 초음파 센서 등을 통해 센싱된 주차장 환경 정보가 저장될 수 있다.

저장부(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.

표시부(130)는 사용자로부터의 제어 명령을 입력 받기 위한 입력수단과 장치(100)의 동작 상태 및 결과 등을 출력하는 출력수단을 포함할 수 있다. 여기서, 입력수단은 키 버튼을 포함할 수 있으며, 마우스, 조이스틱, 조그셔틀, 스타일러스 펜 등을 포함할 수도 있다. 또한, 입력수단은 디스플레이 상에 구현되는 소프트 키를 포함할 수도 있다. 출력수단은 디스플레이를 포함할 수 있으며, 스피커와 같은 음성출력수단을 포함할 수도 있다. 이때, 터치 필름, 터치 시트, 터치 패드 등의 터치 센서가 디스플레이에 구비되는 경우, 디스플레이는 터치 스크린으로 동작하며, 입력수단과 출력수단이 통합된 형태로 구현될 수 있다. 본 발명에서 출력수단은 주차장 맵 정보, 주차 제어 정보 등을 출력할 수 있다.

이때, 디스플레이는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 전계 방출 디스플레이(Feld Emission Display, FED), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다.

프로세서(140)는 통신부(110), 저장부(120), 표시부(130) 등과 전기적으로 연결될 수 있고, 각 구성들을 전기적으로 제어할 수 있으며, 소프트웨어의 명령을 실행하는 전기 회로가 될 수 있으며, 이에 의해 후술하는 다양한 데이터 처리 및 계산을 수행할 수 있다.

프로세서(140)는 주차 제어 장치(100)의 각 구성요소들 간에 전달되는 신호를 처리할 수 있다. 프로세서(140)는 예를 들어, 차량에 탑재되는 ECU(electronic control unit), MCU(Micro Controller Unit) 또는 다른 하위 제어기일 수 있다.

프로세서(140)는 센싱 장치(200)를 통해 사용자가 자주 찾는 주차장 환경을 학습하고 자동 또는 수동으로 맵을 구축하고, 학습된 주차장 환경 정보를 기반으로 차량이 스스로 주차 공간을 탐색하고 주차 제어를 수행할 수 있다.

또한 프로세서(140)는 사용자가 차량에서 하차 한 후, 차량이 자동으로 학습된 주차장 환경 정보를 기반으로 해당 주차장 내에서 주차 공간을 탐색하고 주차 제어를 수행할 수 있고, 하차 위치가 저장부(120)에 저장되도록 제어할 수 있다.

또한, 프로세서(140)는 주차 이후 사용자가 승차(탑승)하고자 하는 경우 이전 하차 위치 또는 사전에 입력한 위치로 차량이 이동하도록 제어할 수 있다.

프로세서(140)는 주차 주행 경로를 기반으로 자동 맵 학습을 수행할 수 있다.

프로세서(140)는 차량의 휠펄스 센서, 휠속 센서 및 스티어링 휠 앵글 센서를 사용하여 차량이 주행한 궤적을 계산할 수 있다. 또한, 프로세서(140)는 GPS 신호 수신 시, 차량의 휠펄스 센서, 휠속 센서 및 스티어링 휠 앵글 센서의 센싱 결과와 함께 GPS 신호를 사용하여 궤적을 계산할 수 있다.

프로세서(140)는 1) 차량이 일정 차속 이하로 주행하거나, 2) 일정 거리를 주행할 때마다 방향을 전환하거나, 3) SVM 카메라 또는 전방 카메라가 "주차장", "주차", "입구", "Parking", "Park", "Entrance" 등의 문구, 주차선, 주차장 픽토그램을 인식하거나, 4) GPS 신호가 끊김이 발생하는 경우, 주차장에 진입한 것으로 판단할 수 있다.

프로세서(140)는 1) 판단된 시점 이전에 반복적인 방향전환을 하지 않던 시점, 2) GPS 신호가 끊기는 시점 (지하주차장으로 진입하는 시점), 3) SVM 카메라 또는 전방 카메라가 "주차", "입구", "Entrance" 문구를 인식한 시점 중 적어도 하나를 주차장 주행 이력 기록 시점으로 판단할 수 있다.

프로세서(140)는 1) 차량이 일정 차속 이상 주행, 2) 방향 전환 없이 일정 거리 이상 주행, 3) GPS 신호가 다시 수신, 4) SVM/전방카메라가 "출구", "Exit" 문구를 인식 중 적어도 하나가 수행되면 주차장 주행 이력 기록을 종료할 수 있다.

프로세서(140)는 맵이 생성된 지역을 사용자가 다시 주행하는 경우, 사용자가 주행한 궤적을 누적하여 주행 가능한 영역을 추가하여 주차장 주행 이력을 반복 학습할 수 있다.

프로세서(140)는 사용자의 누적된 주행 이력 정보를 기반으로 자동 맵 학습을 수행할 수 있다.

프로세서(140)는 사용자가 수 회 이상 주행하여 반복 학습을 통해 주행 궤적을 누적하여 안정적인 주차를 할 수 있는 맵이 학습되었는지를 판단하기 위해 아래의 조건을 만족하지를 판단할 수 있다.

1) 주행 가능한 도로 폭 내에서 양 쪽에 근접하여 탐색하여 가능한 한 많은 영역이 탐색된 경우

1-1) 주행 가능한 도로 폭 양 끝으로부터 X[m] 이내로 근접하여 맵을 학습시킨 이력이 있어야 함

1-2) 상기 도로 양 끝으로부터 일정 거리 X는 도로 폭, 직선 구간/코너 구간에 따라 상이하게 설정할 수 있음

2) 주차공간 안에 있지 않은 자동차, 사람 등 임시 장애물의 비율이 일정 수준 이하일 경우

2-1) 직선 구간에서 직선 구간 거리 Y[m] 중 임시 장애물이 점유하고 있는 좌/우 각각의 비율이 Z[%] 이하인 경우

2-2) 곡선 구간에서 곡선 구간 거리 Y'[m] 중 임시 장애물이 점유하고 있는 좌/우 각각의 비율이 Z'[%] 이하인 경우

3) 생성된 맵의 총 주행 경로 T[m] 상 좌/우측 고정 장애물 (벽/기둥/바닥 마커) 의 점유 비율이 S[%] 이상인 경우

4) 이전 맵 학습 시 없던 임시 장애물을 발견하거나 이전 맵 학습 시 발견한 임시 장애물이 사라진 경우, 점유하지 않는 것으로 계산

프로세서(140)는 상기 조건 1), 2), 3), 4)를 만족하는 경우 즉 안정적인 주차를 할 수 있을 정도의 맵이 생성된 것으로 판단 시, 사용자에게 생성된 맵을 안내한다.

프로세서(140)는 맵 학습 여부 판단 후 사용자로부터 추가 맵 학습 여부를 선택받을 수 있다.

이후 단계는 수동 맵 학습단계와 동일하며, 이하 수동맵 학습 과정을 설명하기로 한다.

프로세서(140)는 사용자로부터 수동 맵 학습 요청을 수신한 경우, 즉 사용자가 주차장 맵을 학습시키고자 하는 경우, 네비게이션 장치(300)의 주차장 맵 수동 학습 명령을 통해 수동 맵 학습을 시작한다.

프로세서(140)는 자동 맵 학습으로 기록된 GPS 신호가 끊기는 시점 (지하주차장으로 진입하는 시점)부터의 주행 이력을 맵 생성에 사용할 수 있다.

프로세서(140)는 사용자가 학습시키고자 하는 주행 경로를 최소 1회 사용자가 주행토록 안내하고, 사용자에게 학습을 통해 생성된 맵을 안내한다. 이때, 맵은 표시부(130)를 통해 표시될 수 있다.

사용자가 주차장 맵을 학습시키는 동안에 사용자가 의도한 대로 맵이 생성되었는지 네비게이션 장치(300)를 통해 확인 요청을 할 수 있고, 사용자가 의도한 대로 맵이 생성되었는지 확인 후, 프로세서(140)는 생성된 맵의 신뢰성 확보를 위해 해당 맵에 대해 수 회 이상 주행하여 반복 학습을 통해 주행 궤적을 누적시켜 맵 데이터에 반영할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 주차장 맵의 예시도이다. 도 4의 401, 402는 주차장의 맵의 예시도이고 403은 맵 상에 하차 위치, 승차 위치, 기피 구역, 금지 구역, 선호 구역 등을 표시한 예이다.

프로세서(140)는 여러 층의 주차 공간에 대해 학습할 수 있도록 레이어 구조를 가지도록 맵을 생성하고, 종가속도 센서, 휠속 센서, 영상 센서를 사용하여 도로의 기울기를 추정하고, 맵 생성 시 도로의 기울기가 급격하게 변하는 경우, 주차 공간의 층이 변경하는 것으로 판단한다. 또한, 프로세서(140)는 다른 층의 주차공간으로 이동 시 다른 레이어의 맵 간 처리가 용이하도록 층이 변경하는 영역의 경우 별도 레이어에 모두 학습할 수 있다.

프로세서(140)는 자동 맵 또는 수동 맵 생성 시, 전방 카메라를 사용하여 인식한 특징점들을 ID화시켜 해당 정보, 위치 정보, 및 방향 정보를 주차장 맵에 반영할 수 있다.

프로세서(140)는 영상 데이터를 기반으로 인식한 특징점들의 3d좌표를 맵에 반영하고, 3D 기반 맵을 생성할 수 있다.

프로세서(140)는 영상 데이터 상의 벽에 표시된 층수/주차공간 번호/주차구역 번호, 입/출구 안내표시, 진행 방향 안내, 진입 금지 표시, 장애인 주차구역 표시, 전기차 주차구역 표시 등을 특징점으로 인식할 수 있다.

도 5는 본 발명의 일 실시 예에 따른 전방 카메라를 이용하여 특징점을 추출하는 예를 설명하기 위한 예시도이다. 도 5의 501 및 502는 전방 카메라의 위치 및 촬영 범위를 나타낸다. 503은 주차장 벽면의 번호를 특징점으로서 인식한 예를 개시하고 504는 주차장 출입구의 "진입금지", "주차장 입구"를 특징점으로서 인식한 예이고, 505는 "출구", "지하1입구"를 특징점으로서 인식한 예이다.

프로세서(140)는 자동 맵 또는 수동 맵 생성 시 SVM 카메라(210)를 사용하여 촬영된 영상 데이터를 이용할 수 있다. 프로세서(140)는 SVM 카메라(210)를 사용하여 인식한 특징점들을 ID화 시켜 해당 정보 및 위치 정보를 주차장 2D맵에 반영한다. 또한, 프로세서(140)는 특징점들의 6D정보를 포함하여 6D 맵을 생성한다.

프로세서(140)는 주차 공간 번호, 진행 방향, 입구/출구 표시, 주차 공간 종류 표시 (장애인 주차구역, 전기차 등) 등을 특징점으로서 인식할 수 있다.

프로세서(140)는 SVM 카메라(210)를 사용하여 인식된 주차선을 기반으로 주차공간 종류 및 크기 정보를 주차장 맵에 반영할 수 있다. 또한, 프로세서(140)는 SVM 카메라(210)를 사용하여 인식된 고정 장애물 (벽, 기둥, 연석) 정보를 주차장 맵에 반영하고, 인식된 주행 가능 공간 정보 (Free space) 정보를 주차장 맵에 반영한다.

도 6은 본 발명의 일 실시 예에 따른 서라운드 뷰 모니터(SVM;Surround View Monitoring) 시스템을 이용하여 특징점을 추출하는 예를 설명하기 위한 예시도이다. 도 6의 601, 605에는 도로 상의 주행방향을 나타내는 화살표를 특징점으로 인식한 예가 개시되어 있고, 602에는 주차공간의 장애인 표시를 특징점으로 인식한 예가 개시되어 있고, 603, 604에는 주차선 상에 주차되어 있는 차량 등의 장애물을 인식한 예가 개시되어 있고, 606에는 도로 상의 주차 위치를 나타내는 번호를 특징점으로 인식한 예가 개시되어 있고, 607에는 주차 공간의 전기 차량 주차 공간 표시를 특징점으로 인식한 예가 개시되어 있고, 608, 609, 610에도 주차장 도로 내의 표시(OUT, IN, 입구 등)를 특징점으로 인식한 예가 개시되어 있다.

도 7은 본 발명의 일 실시 예에 따른 영상 데이터를 기반으로 특징점을 추출하는 방법을 설명하기 위한 예시도이다. 도 7을 참조하면, 프로세서(140)는 각 영상 데이터 상에서 특징점을 구분하여 표시함을 알 수 있다.

이와 같이 프로세서(140)는 전방 카메라 또는 SVM 카메라를 통해 촬영된 영상 데이터를 기반으로 맵 학습을 수행하는데, 전방 카메라와 SVM 카메라의 영상 정보가 다른 경우가 발생할 수 있다. 즉 전방 카메라를 이용하여 원거리에서 장애물을 인식하였는데 단거리에서 SVM 카메라로 촬영한 경우 장애물이 인식되지 않은 경우가 발생할 수 있다. 이에 프로세서(140)는 아래와 같은 상황별 보정을 행할 수 있다.

1) 고정 장애물: 전방카메라로 인식한 결과를 바탕으로 SVM 영상 인식 결과 보정

2) 이동 장애물: 차량/사람 등 임시장애물 정보 맵 데이터 업데이트

3) 반사/빛/그림자 등 광원에 의한 미인식/오인식: 초음파센서 값 사용

4) 입체물 처럼 보이는 바닥 마커 : 초음파센서 값 사용

5) SVM이 인식하지 못하는 영역의 장애물은 전방카메라를 사용 (예: 소화전/차단게이트 등 바닥으로부터 떨어져있는 장애물)

이어 프로세서(140)는 맵 학습 시 장애물을 처리할 수 있다. 프로세서(140)는 주차 구획선 안에 주차되어 있지 않은 차량이 학습된 경우, 해당 영역 재학습을 통해 해당 영역에 차량이 지나가는 차량인지 확인하고, 재학습 시에도 차량이 동일한 위치에 학습된 경우, 해당 차량은 불법주차된 차량으로 맵에 학습할 수 있다.

또한, 프로세서(140)는 사람/자전거 등 고정된 장애물이 아닌 물체가 맵에 학습된 경우, 해당 영역 재학습을 통해 해당 영역을 차량이 지나가는 장애물인지 확인하고, 재학습 시에도 장애물이 동일한 위치에 학습된 경우, 해당 장애물은 임시 장애물로 맵에 학습할 수 있다.

또한, 프로세서(140)는 불법 주차 차량/임시 장애물의 경우 향후 맵 재학습 또는 주행 중 맵 학습 시 재확인하여 사라진 경우 맵에서 제거할 수 있다.

또한, 프로세서(140)는 도 4의 403과 같이 맵 상에 승/하차 구역, 주차 가능/금지 구역, 선호 구역/기피 구역을 지정하여 표시할 수 있다.

프로세서(140)는 자동 맵 또는 수동 맵 생성 완료 시, 사용자가 원하는 승/하차 구역이 학습되었는지 확인한다.

프로세서(140)는 사용자가 원하는 승/하차 구역이 학습되지 않은 것으로 확인 시, 수동 맵 학습 절차와 동일하게 사용자가 원하는 승/하차 구역을 주행하도록 안내하여 맵에 반영할 수 있다. 또한, 프로세서(140)는 학습 시, 사용자가 수동 주행한 경로 정보도 맵에 저장하고, 학습 시, 주행 경로 근처에 위치한 주차공간도 탐색하여 맵에 저장한다. 또한, 사용자가 원하는 승/하차 구역이 학습된 것으로 확인하였거나, 승/하차 구역을 추가 학습 완료 시, 프로세서(140)는 사용자에게 학습을 통해 생성된 맵을 안내하고, 사용자가 생성된 맵에 승차 구역과 하차 구역을 지정할 수 있다. 또한 프로세서(140)는 층간 이동 레이어를 금지 구역으로 설정하나 사용자가 수동으로 해제할 수 있도록 한다. 생성된 맵은 차량 내 시스템에 저장하거나 텔레매틱스 장치(400)를 통해 사용자의 이동 통신 단말기(600)로 전송될 수 있다.

또한 프로세서(140)는 필요 시, 사용자로부터 네비게이션 장치(300) 또는 표시부(130) 화면, 이동 통신 단말기(600)를 통해 자차 정보(일반/장애인/전기 등)를 지정받을 수 있고, 학습된 맵 상에 주차 가능/금지 구역, 선호/기피 구역, 주행 불가 구역을 지정받을 수 있다. 또한, 프로세서(140)는 사전 설정에 따라 학습된 맵 내 구역에 차량 진입 시 각 구역 별로 하차 후 별도 조작 없이 또는 스마트키 또는 이동전화 단말기의 조작 또는 그 외 방법을 통해 자율주차 수행이 수행되도록 제어 할 수 있다.

또한, 프로세서(140)는 자차의 GPS 좌표가 주차장이 학습된 GPS 좌표를 지나가면 사용자에게 자율주차가 가능함을 네비게이션 장치(300) 또는 표시부(130)를 통해 안내할 수 있다.

또한, 프로세서(140)는 차량이 학습된 주차 맵에 진입 후 전방 카메라 또는 SVM 카메라로 인식하는 특징점의 3D좌표와 학습된 특징점들의 3D 좌표를 비교하여 자차 위치를 보정한다.

또한, 프로세서(140)는 학습된 맵을 네비게이션 장치(300) 또는 표시부(130)에 표시되도록 하고, 자차 위치를 맵 상에 표시되도록 제어할 수 있다.

또한, 프로세서(140)는 차량이 학습된 주차 맵에 진입 후 자율주차 기능을 사용할 수 있음을 네비게이션 장치(300) 또는 표시부(130) 화면에 표시하여, 사용자가 네비게이션 장치(300) 또는 표시부(130)의 입력을 통해 자율주차를 수행시키고, 하차 후 사전 설정에 따라 별도 조작 없이 또는 스마트키 또는 이동통신 단말기의 조작을 통해 자율주차를 수행할 수 있도록 할 수 있다.

또한, 프로세서(140)는 사용자가 사전에 설정한 하차 구역에 진입 시, 별도의 설정 없이 하차 후 사전 설정에 따라 별도 조작 없이 또는 스마트키 또는 이동전화 단말기의 조작을 통해 자율주차 수행을 할 수 있다.

또한, 프로세서(140)는 사용자가 하차한 위치를 시스템에 기록할 수 있다. 주차 완료 이후 나중에 사용자가 다시 승차를 원할 때, 해당 위치로 차량을 호출할 수 있도록 하차한 위치를 저장해둘 수 있다.

프로세서(140)는 사용자 하차 이후 사전에 학습된 맵 및 학습에 사용된 주행 경로를 사용하여 주차 제어를 수행하고, 사용자가 수동 학습 시 주행한 경로를 이용하여 주차장 내 통행 가능 폭 및 회전 반경을 고려하여 주차 공간 탐색 궤적을 생성할 수 있다.

또한, 프로세서(140)는 주차공간 탐색 중 기존 학습 결과에 없는 장애물에 대해서는 사전 학습된 맵 정보를 사용하여 회피할 수 있는 경로가 존재하는 지를 판단하고 회피할 수 있는 경로가 있는 경우 해당 방향으로 회피하며, 회피할 수 있는 경로가 없는 경우, 다른 경로로 주행할 수 있을 때까지 주행한 경로를 역으로 후진하도록 제어할 수 있다.

또한, 프로세서(140)는 공간 탐색 궤적 추종 시 주차공간을 탐색하며, 학습된 주차공간이 비어있거나, 새로운 주차공간이 탐색된 경우 다음 주차 공간 선택 과정으로 진행한다.

또한, 프로세서(140)는 사전에 학습된 맵을 모두 탐색하였음에도 주차공간이 탐색되지 않는 경우, 텔레매틱스 장치(400)를 사용하여, 사용자의 이동 통신 단말(600)기(예, 스마트폰)로 경고를 송신할 수 있다.

프로세서(140)는 주차공간이 탐색된 경우, 사전에 사용자가 입력한 자차 정보 (일반/장애인/전기차 등) 및 설정한 선호 구역/기피 구역 정보를 바탕으로 탐색한 주차공간이 조건을 만족한 경우, 해당 주차 공간에 주차하며, 만족하지 않은 경우 주차 공간 탐색 단계로 되돌아간다.

또한, 프로세서(140)는 사전에 학습된 맵을 모두 탐색하였음에도 주차공간이 탐색되지 않아 텔레매틱스 장치(400)를 통해 사용자의 이동통신 단말기로 경고를 송신한 경우, 사용자로부터 맵 상에 차량을 주차할 위치를 수동으로 설정받을 수 있다.

프로세서(140)는 차량에 장착된 초음파 센서와 SVM 카메라 정보를 사용, 선택한 주차 공간에 차량이 주차되도록 제어할 수 있다. 또한, 프로세서(140)는 주차가 완료된 후, 주차된 맵 상 위치를 기억하고, 텔레매틱스 장치(400)를 통해 사용자의 이동통신 단말기로 주차 위치를 송신할 수 있다.

또한, 프로세서(140)는 텔레매틱스 장치(400) 또는 home IOT로부터 승차 요청을 받으면, 이전 하차 위치 또는 사용자에 의해 입력된 위치로 차량이 이동하도록 제어할 수 있다. 또한, 프로세서(140)는 IOT 단말기 또는 스마트폰 단말기를 통해 차량을 호출할 위치로서, 사용자에 의해 선택된 하차한 위치 또는 맵 상에 임의 위치 정보를 수신할 수 있다. 이어 프로세서(140)는 이전 하차 위치, 사용자에 의해 선택된 위치로 주행 궤적을 생성하여 주행 제어를 수행할 수 있다.

또한, 프로세서(140)는 주차공간 탐색/출차 중 기존 학습 결과에 없는 경로 상 보행자가 존재하는 경우, 보행자가 경로 상에서 사라질 때까지 정차한 후 계속 경로를 추종할 수 있다.

또한, 프로세서(140)는 주차공간 탐색/출차 중 기존 학습 결과에 없는 경로 상 장애물이 마주보고 다가오는 차량인 경우, 자차를 정차한 후 다가오는 차량을 사전 학습된 맵 정보를 사용하여 회피 가능한지를 판단하여, 회피할 수 있는 경로가 있는 경우 해당 방향으로 회피하며, 회피할 수 있는 경로가 없는 경우, 다른 경로로 주행할 수 있을 때까지 주행한 경로를 역으로 후진하도록 제어할 수 있다.

또한, 프로세서(140)는 주차공간 탐색/출차 중 기존 학습 결과에 없는 경로 상 장애물이 선행하는 차량의 경우, 선행 차량과 일정 거리를 유지하며 경로 추종할 수 있다. 또한, 프로세서(140)는 주차공간 탐색/출차 중 기존 학습 결과에 없는 경로 상 장애물이 선행하는 차량의 후진등을 인식하여, 후진등을 인식한 결과를 선행 차량이 주차하고자 하는 의지가 있거나 전방 교통 체증으로 후진하는 것으로 판단하고, 사전 학습된 맵 정보를 사용하여 다른 경로로 주행할 수 있을 때까지 주행한 경로를 역으로 후진하도록 제어할 수 있다.

또한, 프로세서(140)는 후진 시 후행하는 차량이 있는 경우, 후행 차량과 일정 거리를 유지하며 후진 경로 추종을 수행할 수 있다.

프로세서(140)는 자동 주차 맵 학습 기능을 사용하여 주차/출차 시 맵 업데이트를 수행할 수 있다.

이러한 자동 주차 맵은 네비게이션 장치(300), 텔레매틱스 장치(400), 이동 통신 단말(600) 등을 통해 서버(500)로부터 주차장의 학습 필요 없이 구입 또는 다운로드 될 수 있다. 또한, 본 발명에서와 같이 학습된 주차장의 정보가 서버(500)로 판매 또는 업로드 될 수 있다.

서버(500)에 저장된 주차 공간 영역으로 차량이 진입한 경우, 서버(500)는 네비게이션 장치(300), 텔레매틱스 장치(400), 또는 이동통신 단말(600)을 통해 주차 공간의 맵을 구입/다운로드할 지 의사를 확인할 수 있다.

센싱 장치(200)는 주차장 입구 또는 출구 표지판, 주차장 내 주차선, 주행 방향선 등의 정보, 주차장 내 또는 주차장 주변에 위치한 장애물, 예를 들어, 주차되어 있는 차량, 주차장을 도보중인 사람, 주차장 벽 등을 측정하는 하나 이상의 센서를 포함할 수 있다.

센싱 장치(200)는 차량 외부 물체를 감지하기 위해 복수의 센서를 구비할 수 있으며, 외부 물체(장애물)의 위치, 외부 물체의 속도, 외부 물체의 이동 방향 및/또는 외부 물체의 종류(예: 차량, 보행자, 자전거 또는 모터사이클 등)에 대한 정보를 획득할 수 있다. 이를 위해, 센싱 장치(200)는 SVM 카메라(210), 전방 카메라(220), 초음파 센서(230) 등을 포함하며, 도 1에 개시되어 있지 않으나 레이더, 카메라, 레이저 스캐너 및/또는 코너 레이더, 라이다, 가속도 센서, 요레이트 센서, 토크 측정 센서 및/또는 휠스피드 센서, 조향각 센서 등을 더 포함할 수 있다. 본 발명에서는 초음파 센서를 이용하여 주차 공간을 탐색할 수 있고, SVM 카메라(210) 및 전방 카메라(220)를 이용하여 주차장 내의 장애물의 존재 유무를 판단할 수 있다.

SVM 카메라(210)는 서라운드 뷰 모니터(Surround view monitor) 시스템에 적용된 카메라를 포함할 수 있고, 차량 전방, 차량 후방, 차량 측방에 장착될 수 있으며, 차량 주변을 촬영한 영상 데이터를 주차 제어 장치(100)로 제공할 수 있다. SVM 카메라(210)는 차량 전방위 근거리 볼 수 있으나, 입체물에 불리하고, 바닥 마커 인식에 용이하며, 맵 상에서 바라보는 시야와 유사한 특성을 가진다.

전방 카메라(220)는 차량의 윈드쉴드 글라스에 장착되어 차량 전방을 촬영하고 영상 데이터를 주차 제어 장치(100)로 제공할 수 있다. 전방 카메라(220)는 먼 영역의 전방 인식 가능하고, 실제 사용자 시야와 유사하며 입체물 인식에 유리하고 벽 마커 인식에 용이하다. 이에 전방 카메라(220)는 자율 공간 탐색을 위한 경로인식, 경로 상 장애물 인식, 맵 학습/자차위치 추정 위한 마커 등 특징점을 인식할 수 있다.

초음파 센서(230)는 차량 주변의 장애물, 차선, 주차선 등을 감지하여 주차 제어 장치(100)로 제공할 수 있다. 초음파 센서(230)는 극저조도, 노면반사, 카모플라주패턴 등 영상 한계상황을 보완할 수 있다.

네비게이션 장치(300)는 주차장 주변 지도 정보 및 주차장 맵 정보 등을 주차 제어 장치(100)로 제공할 수 있다.

텔레매틱스 장치(400)는 사용자의 이동 통신 단말(600)기와 통신을 수행하여 생성된 맵을 사용자의 이동 통신 단말(600)기로 제공할 수 있다.

이하, 도 2를 참조하여 본 발명의 일 실시 예에 따른 맵 학습 기반 주차 제어 방법을 구체적으로 설명하기로 한다. 도 2는 본 발명의 일 실시 예에 따른 맵 학습 기반 주차 제어 방법을 나타내는 순서도이다.

이하에서는 도 1의 주차 제어 장치(100)가 도 2의 프로세스를 수행하는 것을 가정한다. 또한, 도 2의 설명에서, 장치에 의해 수행되는 것으로 기술된 동작은 주차 제어 장치(100)의 프로세서(140)에 의해 제어되는 것으로 이해될 수 있다.

도 2를 참조하면 주차 제어 장치(100)는 센싱 장치(200)에 의해 획득된 차량 주변 영상 데이터를 이용하여 사용자가 자주 찾는 주차장 환경을 학습하고 맵을 구축한다(S201). 즉, 주차 제어 장치(100)는 별도의 V2V 통신 장치 없이 차량에 장착된 SVM 카메라(210), 전방 카메라(220), 및 텔레매틱스 장치(400)를 사용하여 사용자가 자주 찾는 주차장 환경을 학습할 수 있다.

주차 제어 장치(100)는 학습한 주차장 환경을 바탕으로 스스로 공간 탐색 및 주차를 수행할 수 있다(S201).

사용자가 원하는 위치에서 하차한 후, 주차 제어 장치(100)는 학습한 주차장 환경을 기반으로 주차장 내에 빈 주차 공간을 탐색하고 차량이 스스로 탐색된 주차 공간으로 이동하여 주차되도록 주차 제어를 수행한다.

주차 완료 후, 사용자가 탑승하고자 하는 경우, 주차 제어 장치(100)는 주차 시 하차 위치 또는 사전에 입력된 하차 위치로 차량 이동 제어를 수행한다(S203). 이에 사용자가 주차 시 하차 위치 또는 사전에 입력된 하차 위치를 선택하면 차량이 해당 위치로 이동함으로써, 사용자가 원하는 위치에서 차량에 바로 탑승할 수 있다.

이처럼 본 발명은 사용자가 직접 주차 공감을 탐색하여 주차하지 않고, 사용자가 주차장 진입 후 또는 주차장 주변에서 하차하더라도 차량 스스로 주차 공간을 탐색하고 자동 주차하며, 주차 후 차량 탑승을 위해 사용자가 주차된 차량을 찾아 주차된 위치로 이동하지 않고도, 사용자의 이전 하차 위치로 차량이 이동함으로써 이전 하차 위치에서 바로 탑승할 수 있어 사용자의 편의성이 증대될 수 있다.

이하, 도 3을 참조하여 본 발명의 일 실시 예에 따른 주차장 환경 학습 및 맵 구축 방법을 구체적으로 설명하기로 한다. 도 3은 본 발명의 일 실시 예에 따른 주차장 환경 학습 및 맵 구축 방법을 나타내는 순서도이다.

이하에서는 도 1의 주차 제어 장치(100)가 도 3의 프로세스를 수행하는 것을 가정한다. 또한, 도 3의 설명에서, 장치에 의해 수행되는 것으로 기술된 동작은 주차 제어 장치(100)의 프로세서(140)에 의해 제어되는 것으로 이해될 수 있다.

도 2를 참조하면 주차 제어 장치(100)는 사용자 주행 이력을 누적하고(S301), 누적된 사용자 주행 이력을 기반으로 자동 맵 학습을 수행한다(S302).

이어 주차 제어 장치(100)는 맵 생성 여부를 판단하고(S303), 맵이 생성되어 있는 경우 사용자에게 주차장 학습을 제안한다(S304).

주차 제어 장치(100)는 맵의 주차장 정보에 승차/하차 위치가 포함되어 있는 지를 판단하고(S305), 승차/하차 위치가 포함되어 있는 경우, 사용자 승차/하차 위치를 학습한다(S306).

반면, 맵의 주차장 정보에 승차/하차 위치가 포함되어 있지 않은 경우 주차 제어 장치(100)는 사용자 승차/하차 위치를 추가 등록한다(S307).

또한 주차 제어 장치(100)는 사용자가 주차장 학습을 요청한 경우(S401), GPS 좌표 기반 사용자 수동 맵 학습을 수행한다(S402).

주차 제어 장치(100)는 맵이 생성되어 있는 지를 판단하고(S403), 맵이 생성되어 있는 경우, 맵의 주차장 정보에 승차/하차 위치가 포함되어 있는 지를 판단하고(S305), 승차/하차 위치가 포함되어 있는 경우, 사용자 승차/하차 위치를 학습한다(S306).

도 8 내지 도 16은 본 발명의 일 실시 예에 따른 맵 학습 기반 주차장 환경의 예시도이다.

도 8에서는 지하1층 주차장과 지하 2층 주차장의 맵을 생성한 예로서, 전방 카메라 및 SVM 카메라의 영상 데이터를 기반으로 인식된 특징점이 맵에 반영된 예를 개시한다.

도 9 및 도 10에서는 1층에서 주차로로 진입하여 지하 1층까지의 주차로에 대한 맵을 개시한다. 도 10을 참조하면, GPS 신호가 끊기는 시점에 주차장에 진입한 것으로 판단하고 맵 학습을 시작하고 도로 기울기가 급격이 변하는 구간이 발생하면 층간 이동 레이어로 판단하고 도로 기울기가 안정화 되는 구간은 주차장에서의 층간 이동이 완료된 것으로 판단할 수 있다.

도 11에서는 층간 이동 완료 후 지하1층 주차장에서 공간을 탐색하는 예가 개시되고 도 12에서는 주차된 차량과 주차선, 특징점들을 표시한 예를 개시한다. 도 13의 1301 및 1302는 도로 기울기가 급격히 변하는 구간 진입 시 층간 이동 레이어에 학습(진입 영역 레이어 대비 -0.5층)을 수행하고, 도로 기울기가 안정화 되는 구간 진입 시 층간 이동 레이어 학습을 완료하는 예를 개시한다.

도 14에서는 지하2층 주차장에서 층간 이동 레이어 학습을 수행하는 예를 개시하고, 도 15에서는 지하2층 주차장 맵을 개시한다. 도 16에서는 진입부, 지하1층, 지하 2층의 전체 주차장 맵을 표시한다.

이와 같이 본 발명은 사용자의 주행 이력 누적을 통해 주차장 환경에 대한 자동 맵을 생성한다. 또한 본 발명은 맵의 생성 및 학습 시점을 주차장 판단 조건을 통해 수행하고 주행 이력 기록 시점/종료 시점을 판단하여 맵 생성을 수행할 수 있다. 또한, 본 발명은 반복 주행 학습을 통해 주차 고정물/임시 장애물 등을 판단하고 맵에 반영 여부를 선별할 수 있으며, 사용자에 의해 주차장 수동 맵학습 명령을 수행할 수 있다. 또한, 본 발명은 맵 생성 시 주차장의 특징 및 인식 표시물들을 판단하고 맵에 반영할 수 있다.

도 17은 본 발명의 일 실시 예에 따른 컴퓨팅 시스템을 도시한다.

도 17을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다.

예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

영상 데이터를 기반으로 주차장 환경을 학습하고 주차장 맵을 생성하여, 상기 학습된 주차장 맵을 바탕으로 차량이 자동으로 주차 공간을 탐색하여 주차하도록 제어하는 프로세서; 및
상기 맵을 저장하는 저장부;
를 포함하는 주차 제어 장치.
청구항 1에 있어서,
상기 프로세서는,
주차장 주행 이력 정보를 기반으로 주차장 맵을 생성하는 것을 특징으로 하는 주차 제어 장치.
청구항 2에 있어서,
상기 프로세서는,
주차장 판단 조건을 통해 맵 생성 또는 학습 시점을 판단하는 것을 특징으로 하는 주차 제어 장치.
청구항 2에 있어서,
상기 프로세서는,
차량이 일정 차속 이하로 주행하거나, 일정 거리를 주행할 때마다 방향을 전환하거나, 상기 영상 데이터 내에 주차장 관련 문구, 주차선, 주차장 픽토그램이 인식되거나 GPS 신호가 끊기는 경우, 상기 맵 생성 또는 학습을 시작하는 것을 특징으로 하는 주차 제어 장치.
청구항 4에 있어서,
상기 프로세서는,
차량이 일정 차속 이상 주행하거나, 방향 전환 없이 일정 거리 이상 주행하거나 GPS 신호가 다시 수신되거나, 상기 영상 데이터 내에 출구 관련 문구가 인식된 경우 상기 주차장 주행 이력 기록을 종료하는 것을 특징으로 하는 주차 제어 장치.
청구항 1에 있어서,
상기 프로세서는,
주행 가능한 도로 폭 내에서 양 쪽에 근접하여 탐색하여 탐색된 영역이 미리 정한 기준치 이상인 경우, 주차공간 내에 존재하지 않은 장애물의 비율이 미리 정한 기준치 이하일 경우, 생성된 맵의 총 주행 경로상 좌측 및우측 고정 장애물의 점유 비율이 미리 정한 기준치 이상인 경우 상기 맵이 학습된 상태인 것으로 판단하는 것을 특징으로 하는 주차 제어 장치.
청구항 1에 있어서,
상기 프로세서는,
사용자에 의한 요청이 있는 경우 수동 맵 학습을 수행하는 것을 특징으로 하는 주차 제어 장치.
청구항 1에 있어서,
상기 프로세서는,
주차장 도로 기울기에 따라 주차 공간의 층간 이동을 판단하고, 층간 레이어에 대한 학습을 수행하는 것을 특징으로 하는 주차 제어 장치.
청구항 1에 있어서,
상기 프로세서는,
전방 카메라에 의한 영상 데이터를 기반으로 벽에 표시된 층수, 주차공간 번호, 주차구역 번호, 입구 및 출구 안내표시, 진행 방향 안내, 진입 금지 표시, 장애인 주차구역 표시, 전기차 주차구역 표시 중 적어도 하나 이상을 특징점으로 인식하여 상기 맵에 반영하는 것을 특징으로 하는 주차 제어 장치.
청구항 1에 있어서,
상기 프로세서는,
SVM 카메라에 의한 영상 데이터를 기반으로, 주차 공간 번호, 진행 방향, 입구 및 출구, 주차 공간 종류, 주차 공간 크기, 고정 장애물, 주행 가능 공간 정보 중 적어도 하나 이상을 특징점으로 인식하여 상기 맵에 반영하는 것을 특징으로 하는 주차 제어 장치.
청구항 1에 있어서,
상기 프로세서는,
상기 맵 상에 승하차 구역, 주차 가능 구역, 주차 금지 구역, 주차 선호 구역, 주차 기피 구역을 반영하여 생성하는 것을 특징으로 하는 주차 제어 장치.
청구항 1에 있어서,
상기 프로세서는,
사용자의 하차 후, 상기 사용자의 하차 위치를 상기 저장부에 저장하고, 차량의 자동 주차 제어를 수행하는 것을 특징으로 하는 주차 제어 장치.
청구항 12에 있어서,
상기 프로세서는,
주차 완료 이후, 상기 사용자로부터 승차 호출을 받으면, 이전 하차 위치로 차량을 이동 제어하는 것을 특징으로 하는 주차 제어 장치.
청구항 13에 있어서,
상기 프로세서는,
상기 사용자의 하차 위치 및 차량의 주차 위치를 사용자의 이동 통신 단말로 전송하는 것을 특징으로 하는 주차 제어 장치.
청구항 1에 있어서,
상기 프로세서는,
텔레매틱스 단말, 홈 LOT, 이동 통신 단말을 통해 승차 요청을 수신하는 것을 특징으로 하는 주차 제어 장치.
청구항 1에 있어서,
상기 프로세서는,
상기 주차 공간 탐색 또는 출차 중 기존 학습 결과에 존재하지 않는 장애물이 존재하는 경우, 상기 장애물이 경로 상에서 사라질 때까지 정차한 후 대기하거나, 상기 장애물을 회피할 수 있는 경로가 존재하는 경우 상기 회피 경로를 통해 회피 주행하거나, 상기 회피 경로가 존재하지 않는 경우, 역으로 후진하도록 제어하는 것을 특징으로 하는 주차 제어 장치.
주차장 주변을 촬영하고 장애물을 센싱하는 센싱 장치; 및
상기 센싱 장치에 의한 영상 데이터를 기반으로 주차장 환경을 학습하고 주차장 맵을 생성하여, 상기 학습된 주차장 맵을 바탕으로 차량이 자동으로 주차 공간을 탐색하여 주차하도록 제어하는 주차 제어 장치;
를 포함하는 것을 특징으로 하는 차량 시스템.
청구항 17에 있어서,
상기 센싱 장치는,
차량의 전방의 원거리를 촬영하는 전방 카메라;
차량의 주변의 단거리를 촬영하는 SVM 카메라; 및
차량 주변의 장애물을 감지하는 초음파 센서;
를 포함하는 것을 특징으로 하는 차량 시스템.
청구항 18에 있어서,
상기 학습된 주차장 맵의 업로드 또는 다운로드를 수행하는 서버;
를 더 포함하는 것을 특징으로 하는 차량 시스템.
주차장 주변을 촬영하고 장애물을 센싱하는 단계;
상기 센싱된 데이터를 기반으로 주차장 환경을 학습하고 주차장 맵을 생성하는 단계; 및
상기 학습된 주차장 맵을 바탕으로 차량이 자동으로 주차 공간을 탐색하여 주차하도록 제어하는 단계;
를 포함하는 것을 특징으로 하는 주차 제어 방법.