KR20220092738A

KR20220092738A - 회피 조향 제어가 개선된 주차 지원 시스템 및 방법

Info

Publication number: KR20220092738A
Application number: KR1020200183845A
Authority: KR
Inventors: 강선우; 김세혁; 정선우; 이기호
Original assignee: 현대자동차주식회사; 기아 주식회사
Priority date: 2020-12-24
Filing date: 2020-12-24
Publication date: 2022-07-04
Also published as: DE102021213021A1; US11999383B2; US20220204039A1; CN114670809A; JP2022101475A

Abstract

본 발명은 초음파센서의 센싱 데이터와 SVM 카메라의 영상 데이터를 융합하여 차량의 현재 위치를 기준으로 하는 장애물의 위치정보를 산출하는 센서 퓨전 연산모듈 및 상기 위치정보를 기반으로 장애물을 회피하여 자율 주차하기 위한 차량의 조향 제어를 수행하는 주차지원모듈을 포함함으로써, 초음파 센서의 감지 범위를 벗어나는 위치에 있는 장애물도 명확하게 감지할 수 있게 하여 자율 주차시 주변 장애물에 대한 강건한 회피 조향이 가능하게 한 회피 조향 제어가 개선된 주차 지원 시스템 및 방법에 관한 것이다.

Description

회피 조향 제어가 개선된 주차 지원 시스템 및 방법{PARKING ASSIST SYSTEM AND METHOD WITH IMPROVED ESCAPE STEERING CONTROL}

본 발명은 자율 주차 차량의 회피 조향 제어가 강건하게 개선된 주차 지원 시스템 및 방법에 관한 것이다.

일반적으로 주차 지원 시스템(RSPA : Remote Smart Parking Assis)은 초음파 센서를 이용하여 차량 스스로 주차공간을 인식하고, 조향, 제동, 속도, 전진 및 후진 변속 등을 제어하여 주차를 실행할 수 있도록 지원하는 시스템이다.

이와 같이 종래의 주차 지원 시스템(RSPA)은 초음파 센서를 기반으로 주변의 차량 등 사물을 인식한 후, 인식되는 사물을 회피 조향하면서 주차를 실행하게 된다.

그러나, 초음파 센서의 경우 횡방향으로의 감지범위에 한계가 존재하기 때문에, 초음파 센서를 기반으로 하는 종래의 주차 지원 시스템의 경우 외부(outer) 초음파 센서에서는 감지되지만 내부(inner) 초음파 센서에서는 감지되는 않는 거리에 위치하는 장애물에 대해서는 제어 기준점 판단이 어렵기 때문에 종방향 위치 파악이 부정확하게 이루어지는 문제점이 있었다.

이처럼 사물의 종방향 위치에 대한 정보가 부정확하게 산출됨으로 인하여 주차 지원 시스템에서의 자율 주차시 회피 조향의 제어가 강건하게 이루어지지 못하는 문제점이 있었다.

본 발명의 실시예는, 센서모듈의 센싱 데이터와 SVM 카메라의 영상 데이터를 융합하여 차량의 현재 위치를 기준으로 하는 장애물의 위치정보를 산출하는 센서 퓨전 연산모듈 및 상기 위치정보를 기반으로 장애물을 회피하여 자율 주차하기 위한 차량의 조향 제어를 수행하는 주차지원모듈을 포함함으로써, 센서모듈의 감지 범위를 벗어나는 위치에 있는 장애물도 명확하게 감지할 수 있게 하여 자율 주차시 주변 장애물에 대한 강건한 회피 조향이 가능하게 한 회피 조향 제어가 개선된 주차 지원 시스템 및 방법을 제공하는 것을 기술적 과제로 한다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 실시예에 따른 회피 조향 제어가 개선된 주차 지원 시스템은, 차량 주변을 탐색하여 획득한 센싱 데이터에 의해 차량에서 장애물까지의 거리를 감지하는 센서모듈; 차량 주변을 촬영하여 장애물의 위치와 방향을 감지할 수 있는 영상 데이터를 획득하는 SVM 카메라; 상기 센서모듈의 센싱 데이터와 상기 SVM 카메라의 영상 데이터를 융합하여 차량의 현재 위치를 기준으로 하는 장애물의 위치정보를 산출하는 센서 퓨전 연산모듈; 및 상기 위치정보를 기반으로 장애물을 회피하여 자율 주차하기 위한 차량의 조향 제어를 수행하는 주차지원모듈;을 포함하는 것을 특징으로 한다.

또한, 상기 센서 퓨전 연산모듈은, 상기 SVM 카메라에서 획득한 영상 데이터 상의 차량 주변영역을 일정한 간격의 셀로 분할하고, 각 셀에 어드레스를 부여하는 셀 설정부; 상기 영상 데이터에 기반하여 장애물의 존부를 감지하고, 감지된 장애물의 종류를 분류하여 주차 구역 내에 존재하는 장애물을 인식하는 장애물 인식부; 및 상기 영상 데이터 상에서 장애물이 인식되는 위치의 셀 어드레스를 장애물의 분류 정보와 함께 매칭시켜 저장하여 주차구역에 대한 장애물 분포 현황을 나타내는 장애물 맵을 생성하는 장애물 맵 생성부;를 포함하는 것을 특징으로 한다.

또한, 상기 센서 퓨전 연산모듈은, 상기 전후방 영상 데이터와 양 측방 영상 데이터가 중첩되는 관심영역(ROI)에서 인식되는 경계 장애물이 상기 전후방 영상 데이터 또는 측방 영상 데이터 중 적어도 어느 하나의 영상 데이터에서 인식되고 있는 장애물 중 어느 장애물과 동일한지 여부를 판단하여 장애물을 특정하는 경계 장애물 특정부;를 더 포함하는 것을 특징으로 한다.

또한, 상기 경계 장애물 특정부는, 상기 전후방 영상 데이터에서 인식되는 경계 장애물 이미지의 제1도심과 상기 측방 영상 데이터에서 인식되는 경계 장애물 이미지의 제2도심을 각각 산출하고, 동일한 장애물 분류코드가 매칭되어 있는 경계 장애물에 대하여 산출된 상기 제1도심과 제2도심 상호간의 거리가 최소인 경계 장애물을 동일 장애물로 판단하는 것을 특징으로 한다.

또한, 상기 센서모듈은 초음파의 비행시간(TOF : Time of Flight)에 의해 센싱 데이터를 획득하는 초음파 센서로 구성되고, 상기 센서 퓨전 연산모듈은, 상기 영상 데이터에 의해 인식되어 상기 장애물 맵 상에 저장되어 있는 장애물의 위치를 상기 초음파 센서에서의 센싱 데이터를 기반으로 보정하여 저장하는 장애물 위치 보정부;를 더 포함하는 것을 특징으로 한다.

또한, 상기 장애물 위치 보정부는, 상기 초음파 센서와 가장 가까운 위치에 있는 장애물의 포인트를 기준 좌표로 선정한 후, 상기 초음파 센서를 중심으로 하면서 상기 기준 좌표에 대한 센싱 데이터(TOF)의 회귀 경로를 반지름으로 하는 원과 만날 때까지, 상기 기준 좌표를 동일 셀 상에서 이동시켜 장애물의 보정 좌표로 설정하고, 상기 장애물의 나머지 포인트들의 좌표를 상기 기준 좌표가 보정 좌표로 이동한 방향을 따라 동일하게 평행 이동시켜 장애물의 위치를 보정하는 것을 특징으로 한다.

또한, 상기 주차지원모듈은, 상기 장애물 맵에 저장되어 있는 장애물의 포인트를 나타내는 좌표에 기반하여 주차공간 진입시 회피해야 하는 장애물의 포인트를 회피 기준점으로 선택하는 회피 기준점 결정부; 및 주차공간으로 진입하는 차량이 장애물을 회피하며 주차를 수행할 수 있도록 차량이 정렬되어야 하는 정렬각을 연산하는 정렬각 산출부;를 포함하는 것을 특징으로 한다.

또한, 상기 회피 기준점 결정부는, 주차공간 진입시 인접한 장애물과의 접촉을 회피해야 하는 차량 부위를 차량 기준점으로 설정하고, 차량의 중심을 기준으로 하는 로컬 좌표계 상에서 x축 일측의 +y축 방향과 타측의 -y축 방향 각각의 일정 영역을 제1 및 제2기준점 관심영역으로 설정한 후, 각 기준점 관심영역에 있는 장애물 포인트들 중 상기 차량 기준점과의 거리가 최소인 포인트를 각 기준점 관심영역에서의 회피 기준점으로 선택하는 것을 특징으로 한다.

또한, 상기 주차지원모듈은, 차량과 장애물의 x축 거리가 미리 설정된 기준거리보다 클 경우에는 상기 차량 기준점과의 x축 거리가 가까운 좌표에 있는 포인트가 높은 가중치를 갖고 회피 기준점으로 선택되고, 차량과 장애물의 x축 거리가 상기 기준거리보다 작을 경우에는 상기 차량 기준점과의 y축 거리가 가까운 좌표에 있는 포인트가 높은 가중치를 갖고 회피 기준점으로 선택될 수 있도록, 차량에서 장애물에 이르는 거리가 감소함에 따라 y축 방향으로의 가중치를 증가시켜 적용하는 가중치 가변부;를 더 포함하는 것을 특징으로 한다.

또한, 상기 정렬각 산출부는, 차량의 전면 중심에 설정되어 있는 차량 기준점과 상기 회피 기준점이 이루는 각도의 평균을 주차공간으로 진입하는 차량의 초기 정렬각으로 산출하고, 주차공간으로의 차량 진입 정도에 따라 회피 조향을 위해 증감시켜야 하는 정렬각 변화량을 산출하여 차량의 회피 조향 제어를 위한 데이터로 제공하는 것을 특징으로 한다.

또한, 상기 정렬각 산출부는, 현재의 초기 정렬각을 나타내는 직선인 중심 기준선과 평행하면서 각 회피 기준점을 지나는 직선인 제1 및 제2회피 기준선을 이용하여, 상기 제1회피 기준선과 중심 기준선 사이의 영역을 제1회피 관심영역으로 설정하고, 상기 제2회피 기준선과 중심 기준선 사이의 영역을 제2회피 관심영역으로 설정하며, 상기 제1회피 관심영역 내에 있는 장애물의 포인트들과 제1회피 기준선 사이의 거리 합과 상기 제2회피 관심영역 내에 있는 장애물들의 포인트들과 제2회피 기준선 사이의 거리 합을 구한 후, 두 거리 합의 차이가 최소가 되도록 상기 초기 정렬각을 수정하는 정렬각 변화량을 산출하는 것을 특징으로 한다.

또한, 본 발명의 다른 실시예에 따른 회피 조향 제어가 개선된 주차 지원 방법은, SVM 카메라에서 촬영되는 차량의 전후방과 측방 영상 데이터에 의해 주차공간 주변의 장애물 이미지를 획득하는 영상 데이터 획득단계; 센서모듈에서 획득한 센싱 데이터에 의해 장애물의 위치와 장애물까지의 거리를 감지하는 센싱 데이터 획득단계; 상기 영상 데이터에 의해 인식되고 상기 센싱 데이터에 의해 위치가 보정된 장애물의 좌표를 장애물 맵에 저장하는 장애물 맵 생성단계; 및 상기 장애물을 구성하는 포인트의 좌표 중 차량의 회피가 요구되는 회피 기준점을 선택하고, 상기 회피 기준점을 토대로 회피 조향을 위해 요구되는 차량의 정렬각을 산출하는 주차지원단계;를 포함하는 것을 특징으로 한다.

또한, 상기 영상 데이터와 센싱 데이터(TOF)를 수신하여 상기 장애물 맵을 생성함에 있어, 상기 전후방 영상 데이터와 측방 영상 데이터가 중첩되는 관심영역(ROI)에서 인식되는 경계 장애물이 상기 전후방 영상 데이터 또는 측방 영상 데이터 중 적어도 어느 하나의 영상 데이터에서 인식되고 있는 장애물 중 어느 장애물과 동일한지 여부를 판단하여 장애물을 특정하는 경계 장애물 특정단계;를 더 포함하는 것을 특징으로 한다.

또한, 상기 경계 장애물 특정단계는, 상기 전후방 영상 데이터와 측방 영상 데이터 중 상기 관심영역(ROI)에서 이미지가 인식되는 물체를 경계 장애물로 선정하는 경계 장애물 선정과정; 상기 전후방 영상 데이터와 측방 영상 데이터 각각에서 인식되는 경계 장애물의 포인트 좌표들에 대한 평면 중심인 제1도심과 제2도심을 연산하는 도심 산출과정; 및 동일한 장애물 분류코드가 매칭되어 있는 경계 산출물에 대하여 산출된 제1도심과 제2도심 상호간의 거리를 비교하여, 최소의 거리를 갖는 두 개의 경계 장애물을 동일 장애물로 특정하는 경계 장애물 판단과정;을 포함하는 것을 특징으로 한다.

또한, 상기 장애물 맵을 생성함에 있어, 상기 센서모듈과 가장 가까운 위치에 있는 장애물의 포인트를 기준 좌표로 선정하고, 상기 센서모듈을 중심으로 하면서 상기 기준 좌표에 대한 센싱 데이터의 회귀 경로를 반지름으로 하는 원과 만날 때까지 상기 기준 좌표를 상기 SVM 카메라의 설치 위치를 향하는 방향으로 이동시켜 장애물의 보정 좌표를 생성하는 기준 좌표 보정과정; 및 싱기 장애물의 나머지 포인트들의 좌표를 상기 기준 좌표가 보정 좌표로 이동한 방향을 따라 동일하게 평행 이동시키는 장애물 포인트 보정과정;을 포함하는 것을 특징으로 한다.

또한, 상기 주차지원단계는, 상기 장애물 맵에 저장되어 있는 장애물의 포인트 좌표와 주차공간으로 진입하는 차량에서 장애물과의 접촉을 회피해야 하는 차량 부위로 설정된 차량 기준점 상호간의 거리 관계에 기반하여, 차량이 회피해야 하는 장애물의 포인트를 회피 기준점으로 선택하는 회피 기준점 결정단계; 및 상기 차량 기준점이 회피 기준점을 회피하여 주차공간으로 진입할 수 있도록 차량을 조향 제어하기 위해 요구되는 정렬각을 연산하는 정렬각 산출단계;를 포함하는 것을 특징으로 한다.

또한, 상기 회피 기준점 결정단계는, 차량의 중심을 기준으로 하는 로컬 좌표계 상의 x축 일측의 +y축 방향과 타측의 -y축 방향 각각의 일정 영역을 제1기준점 관심영역과 제2기준점 관심영역으로 설정하는 기준점 관심영역 설정과정; 및 상기 제1기준점 관심영역과 제2기준점 관심영역에 있는 장애물의 포인트들 중 상기 차량 기준점과의 거리가 최소인 장애물의 좌표를 회피 기준점으로 선택하는 회피 기준점 선택과정;을 포함하는 것을 특징으로 한다.

또한, 상기 회피 기준점 결정단계는, 상기 기준점 관심영역에 있는 다수의 장애물 포인트 중 상기 차량 기준점과의 거리가 최소인 포인트를 선택함에 있어, 주차공간으로 진입 중인 차량과 장애물과의 거리가 감소함에 따라 y축방향으로의 가중치를 증가시켜 적용하는 가중치 가변과정;을 더 포함하는 것을 특징으로 한다.

또한, 상기 정렬각 산출단계는, 차량의 전면 중심에 설정되어 있는 차량 기준점과 회피 기준점이 이루는 각도의 평균을 차량이 장애물을 회피하면서 주차공간으로 진입하기 위해 요구되는 초기 정렬각으로 산출하는 초기 정렬각 산출과정; 상기 초기 정렬각을 나타내는 직선인 중심 기준선과 평행하면서 각 회피 기준점을 지나는 직선인 제1 및 제2회피 기준선을 이용하여, 상기 제1회피 기준선과 중심 기준선 사이의 영역을 제1회피 관심영역으로 설정하고, 상기 제2회피 기준선과 중심 기준선 사이의 영역을 제2회피 관심영역으로 설정하는 회피 관심영역 설정과정; 및 상기 제1회피 관심영역 내에 있는 장애물의 포인트들과 제1회피 기준선 사이의 거리 합과 상기 제2회피 관심영역 내에 있는 장애물들의 포인트들과 제2회피 기준선 사이의 거리 합을 구한 후, 두 거리 합의 차이가 최소가 되도록 상기 초기 정렬각을 수정하는 정렬각 변화량을 산출하는 정렬각 변화량 산출과정;을 포함하는 것을 특징으로 한다.

본 발명은 감지범위가 넓은 SVM 카메라에서 생성된 영상 데이터에서 인식된 장애물의 위치를 정확한 거리 측정이 가능한 센서모듈에서 획득한 센싱 데이터(TOF)에 의해 보정함으로써, 자율 주차시 주변 장애물에 대한 인지 정확성을 향상시키고, 그로 인하여 안정적인 회피 조향이 가능한 효과가 있다.

이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.

도 1은 본 발명에 따른 회피 조향 제어가 개선된 주차 지원 시스템의 블록 구성도.
도 2는 본 발명에 따른 회피 조향 제어시 감지범위가 증가하는 것을 나타내는 예시도.
도 3은 본 발명에 따라 SVM 카메라에 의해 촬영되는 전후방 및 측방 영상 데이터의 감지범위를 나타내는 예시도.
도 4는 본 발명에 따라 영상 데이터에 나타나는 이미지를 이용하여 장애물을 인식하고 클러스터링하는 과정을 나타내는 순서도.
도 5는 본 발명에 따라 차량의 전후방 및 측방 영상 데이터에 있는 이미지를 이용하여 장애물을 인식하는 것을 나타내는 예시도.
도 6은 본 발명에 따라 관심영역에 나타나는 경계 장애물 이미지가 전후방 및 측방 영상 데이터에서 인식되는 것을 나타내는 예시도.
도 7은 본 발명에 따라 제1도심과 제2도심의 거리를 비교하여 경계 장애물을 특정하는 것을 나타내는 예시도.
도 8은 본 발명에 따라 장애물의 좌표를 차량 중심의 로컬 좌표계 상에 매칭시켜 저장하는 예시도.
도 9는 본 발명에 따라 센싱 데이터(TOF)에 의해 장애물의 위치를 보정하는 것을 나타내는 예시도.
도 10은 본 발명에 따라 하나의 장애물에 대한 센싱 데이터가 여러 개 수신된 경우의 장애물 위치 보정을 나타내는 예시도.
도 11은 본 발명에 따라 기준점 관심영역과 회피 기준점을 선택하는 것을 나타내는 예시도.
도 12는 본 발명에 따라 차량과 장애물 사이의 x축 거리 변화에 따른 가중치 계수의 변화를 나타내는 예시도.
도 13은 본 발명에 따라 코스트(cost) 산출을 위한 튜닝 파라미터의 설정 예시를 나타내는 그래프.
도 14는 본 발명에 따라 정렬각 산출을 위한 연산과정을 나타내는 순서도.
도 15는 본 발명에 따라 정렬각 산출을 위한 초기 정렬각과 회피 관심영역을 설정하고 정렬각 변화량이 산출되는 것을 나타내는 예시도.
도 16은 본 발명에 따라 주차공간으로 진입한 차량의 주변의 목표 장애물을 선정하는 것을 나타내는 예시도.
도 17은 본 발명에 따라 공간진입 회피 기준점 이후의 포인트들에 대한 분포를 나타내는 회피 기준선을 산출하고 그에 따른 정렬각을 따라 주차가 진행되는 것을 나타내는 예시도.
도 18은 본 발명에 따라 주차공간에서 차량이 진입을 유도하는 정렬 목표점을 나타내는 예시도.
도 19는 본 발명의 다른 실시예에 따른 회피 조향 제어가 개선된 주차 지원 방법의 구성도.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 도 1 내지 도 19를 참조하여, 본 발명의 실시예들을 구체적으로 설명하기로 한다.

도 1은 본 발명에 따른 회피 조향 제어가 개선된 주차 지원 시스템의 블록 구성도이다.

도 1을 참조하면, 본 발명에 따른 회피 조향 제어가 개선된 주차 지원 시스템은, 차량 주변을 탐색하여 획득한 센싱 데이터에 의해 차량에서 장애물까지의 거리를 감지하는 센서모듈(100)과, 차량 주변을 촬영하여 장애물의 위치와 방향을 감지할 수 있는 영상 데이터를 획득하는 SVM(Surround View Monitor) 카메라(200)와, 상기 센서모듈의 센싱 데이터와 상기 SVM 카메라의 영상 데이터를 융합하여 차량의 현재 위치를 기준으로 하는 장애물의 위치정보를 산출하는 센서 퓨전 연산모듈(300)과, 상기 위치정보를 기반으로 장애물을 회피하여 자율 주차하기 위한 차량의 조향 제어를 수행하는 주차지원모듈(400)을 포함할 수 있다.

또한, 본 발명에 따른 회피 조향 제어가 개선된 주차 지원 시스템은, 상기 센서 퓨전 연산모듈(300)에서 산출된 장애물의 위치정보를 차량 주변을 구획하고 있는 셀에 매칭시키고, 장애물의 외곽을 나타내는 각 포인트에 대한 좌표를 부여하여 저장하는 장애물 맵(360)을 더 포함할 수 있다.

이때, 상기 센서모듈(100)은 차량 주변의 장애물 존부와, 장애물의 위치 및 장애물까지의 거리를 파악할 수 있는 다양한 센서로 구성될 수 있다. 이하에서는 상기 센서모듈(100)이 일반적인 주차 지원 시스템에 널리 사용되고 있는 초음파 센서로 구성되는 것을 일 실시예로 하여 설명하지만, 초음파 센서외의 다양한 센서들에 의해 구현될 수도 있음은 물론이다. 그에 따라, 초음파 센서에도 센서모듈과 동일한 도면부호를 병기하여 설명한다.

상기 초음파 센서(100)는, 차량 주변으로 방출된 초음파가 정차되어 있는 주변 차량을 비롯한 장애물에 반사되어 되돌아오는 비행시간(TOF : Time of Flight)과 방향을 수신하여, 차량을 기준으로 하여 장애물이 위치하고 있는 방향과 해당 장애물까지의 거리를 센싱할 수 있다.

상기 초음파 센서(100)는 통상적인 주차 지원 시스템에서도 주차공간을 탐색하고 회피 조향을 위한 장애물을 감지하기 위해 사용된다. 그러나, 상기 초음파 센서는 감지범위가 제한적이기 때문에, 감지 범위를 넘어서 존재하는 장애물의 경우 제어 기준점 판단이 어려운 경우가 존재하곤 한다.

즉, 통상적인 주차 지원 시스템에서는 차량의 전방 중앙부분을 감지하기 위한 내부(inner) 센서와, 차량의 전방 양측 부분을 감지하기 위한 외부(outer) 센서를 함께 구비하게 된다. 그리고, 이러한 내부 센서와 외부 센서에서 모두 감지되는 교점을 통하여 제어 기준점을 판단하게 된다.

그에 따라, 도 2의 (a)에 도시된 바와 같이, 차량의 좌측방향에서는 장애물이 내부 센서와 외부 센서에서 모두 감지되므로 제어 기준점을 도출할 수 있으나, 차량의 우측방향에서는 장애물이 외부 센서에서만 감지되고 내부 센서에서는 감지되지 않기 때문에 교점을 도출하지 못하고, 그로 인해 제어 기준점을 판단하지 못하게 된다.

그에 따라, 본 발명에서는 도 2의 (b)에 도시된 바와 같이, 상기 초음파 센서(100)에서 감지되는 센싱 데이터에 상기 SVM 카메라(200)에서 획득한 영상 데이터를 융합함으로써, 상기 내부 센서의 감지 범위를 벗어나는 위치에 있는 장애물도 명확하게 감지할 수 있게 하였다.

즉, 초음파 센서에 비해 거리 정확도는 다소 떨어지지만, 넓은 감지 범위를 갖고 장애물이 존재하는 방향 정보를 정확하게 제공하는 SVM 카메라의 영상 데이터에 의해 장애물을 감지할 수 있게 함으로서, 초음파 센서의 한계를 보완할 수 있다.

이를 위하여, 상기 SVM(Surround View Monitor) 카메라(200)는, 차량의 전후방 및 양 측방 영상을 촬영하여, 장애물의 존부와 장애물이 위치하는 방향 정보를 파악할 수 있는 영상 데이터를 획득할 수 있다.

그에 따라, 도 2의 (b)에 도시된 바와 같이, 비록 내부 센서의 감지 범위를 벗어나는 위치에 있는 장애물의 경우에도, 상기 SVM 카메라에서 획득한 영상 데이터 상의 장애물의 위치와, 상기 초음파 센서에서 획득한 센싱 데이터 상의 장애물의 위치 및 거리 정보에 의하여 차량의 회피 조향을 위한 제어 기준점을 도출할 수 있다.

또한, 상기 센서 퓨전 연산모듈(300)은, 상기 SVM 카메라에서 획득한 영상 데이터 상의 차량 주변영역을 일정한 간격의 셀로 분할하고 각 셀에 어드레스를 부여하는 셀 설정부(310)와, 상기 영상 데이터에 기반하여 장애물의 존부를 감지하고 감지된 장애물의 종류를 분류하여 주차 구역 내에 존재하는 장애물을 인식하는 장애물 인식부(320)와, 상기 영상 데이터 상에서 장애물이 인식되는 위치의 셀 어드레스를 장애물의 분류 정보와 함께 매칭시켜 저장하여 주차구역에 대한 장애물 분포 현황을 나타내는 장애물 맵을 생성하는 장애물 맵 생성부(340)를 포함할 수 있다.

이때, 상기 셀 설정부(310)는, 도 3의 (a)에 도시된 바와 같이, 상기 SVM 카메라(200)에서 촬영된 영상 데이터에 나타나는 차량의 전방영역과 후방영역 각각을 균등한 간격으로 나누어진 다수의 셀로 분할하고, 각 셀에 셀1 내지 셀30과 같이 어드레스를 부여할 수 있다. 이때, 상기 SVM 카메라(200)에서 촬영된 차량의 전방영역과 후방영역 각각에 대해 어드레스를 구분하여 부여할 수 있다.

또한, 상기 셀 설정부(310)는 도 3의 (b)에 도시된 바와 같이, 상기 SVM 카메라에서 촬영된 차량의 양 측방 영역의 경우에도 균등한 간격으로 나누어진 다수의 셀로 분할한 후 셀1 내지 셀60과 같이 어드레스를 부여할 수 있다.

이때, 도 3에서는 전방과 후방영역에 대해서는 각각 30개의 셀로 분할하고 양 측방 영역에 대해서는 각각 60개의 셀로 분할한 것을 나타내었으나, 각 영역을 분할하는 셀의 개수를 이와 달리 설정할 수도 있음은 물론이다.

또한, 상기 장애물 인식부(320)는, 상기 SVM 카메라(200)에서 획득한 영상 데이터에 나타나는 주차되어 있는 차량을 비롯한 장애물의 존부를 파악하고, 인식된 장애물의 종류를 미리 저장되어 있는 장애물 분류 테이블(321) 상의 장애물의 외형과 비교하여 장애물을 인식할 수 있다.

이를 위하여, 상기 장애물 분류 테이블(321)에서는, 장애물이 감지되지 않는 자유공간(Free Space)과, 배경(Background)과, 차량(Car)과, 기둥(Pillar)과, 연석(Curb)과, 보행자(Pedestrian)를 비롯하여, 주차구역에서 영상 데이터에 촬영될 수 있는 물품들을 분류한 후, 분류된 각 물품에 일정한 장애물 분류코드(index)를 부여하여 저장할 수 있다.

상기 장애물 인식부(320)에서는 영상 데이터에 나타나는 장애물의 이미지를 상기 장애물 분류 테이블(321)에 저장되어 있는 물품 정보와 비교한 후 장애물 분류코드를 매칭시켜 저장할 수 있다.

이때, 상기 장애물 인식부(320)는, 상기 셀 설정부에서 분할된 각 셀마다 장애물로 인지할 수 있는 이미지가 존재하는지 여부와 존재하는 이미지가 어떠한 장애물인지 여부를 인식한 후, 차량을 기준으로 하는 로컬 좌표계 상에서 장애물이 인식되는 각 포인트들의 좌표를 위치정보로 저장할 수 있다. 그리고, 각 셀마다 인식되는 장애물의 이미지에 부여되어 있는 장애물 분류코드를 각 장애물의 포인트에 매칭시켜 저장할 수도 있다.

그에 따라, 상기 장애물 인식부(320)는, 장애물 분류코드가 매칭되어 있는 셀들을 군집화(Clustering)하여 장애물이 차지하게 되는 영역을 인식할 수 있다. 이를 위하여, 상기 장애물 인식부(320)는 인접한 셀에 동일한 장애물 분류코드가 매칭되어 있는 경우 동일한 장애물로 인식할 수 있다.

즉, 도 4에 도시된 바와 같이, i번째 셀에 매칭되어 있는 장애물 분류코드가 존재하는지 여부를 판단한 후, 현재 셀에 매칭되어 있는 장애물 분류코드가 이전 셀에 매칭되어 있던 장애물 분류코드와 일치하는지 여부를 비교하여, 두 셀의 장애물 분류코드가 동일할 경우에는 동일 장애물의 이미지로 판단하고, 장애물 분류코드가 없거나 상이할 경우에는 동일 장애물 판단을 종료할 수 있다. 그에 따라, 각 셀에서 인식되는 장애물 이미지 중 동일 장애물을 나타내는 포인트의 클러스터를 형성할 수 잇다.

또한, i번째 셀에 대한 판단이 종료된 후, 다음 셀인 i+1번째 셀에 대하여 동일한 과정을 반복하면서, 상기 영상 데이터를 이루는 모든 셀에 대한 분석을 통하여 영상 데이터 상에서 인식되는 장애물이 존재하는지 여부를 판단할 수 있다.

이때, 다음 셀인 i+1번째 셀에 장애물 분류코드가 존재하는지 여부를 판단하는 과정은, 상기 i번째 셀에 매칭되어 있는 장애물 분류코드가 존재하지 않는 경우에도 반복 실행될 수 있음은 물론이다.

이와 같이 상기 장애물 인식부(320)는, 상기 SVM 카메라에서 촬영된 영상 데이터를 분석하여, 각 셀에 장애물 분류코드가 매칭되어 있는지 여부와, 상기 장애물 분류코드가 동일한지 또는 상이한지 여부를 판단함으로써 차량 주변에 존재하는 장애물을 인식할 수 있다.

그에 따라, 도 5의 (a)에 도시된 바와 같이, 차량의 전후방 영상 데이터로부터 차량 전방에 위치하고 있는 장애물1(Obj 1)과 차량의 전방 우측에 위치하고 있는 장애물2(Obj 2)를 인식할 수 있다. 또한, 도 5의 (b)에 도시된 바와 같이, 차량의 양 측방 영상 데이터로부터 차량의 좌측방에 위치하고 있는 장애물3(Obj 3)과, 차량의 우측 전방에 위치하고 있는 장애물2(Obj 2)를 인식할 수 있다.

이때, 장애물2(Obj 2)의 경우 전방 영상 데이터와 측방 영상 데이터로부터 모두 인식되므로, 이러한 인식 결과가 동일한 장애물을 나타내는지 아니면 별개의 장애물을 나타내는지 여부를 판단하여야 한다.

이를 위하여, 상기 센서 퓨전 연산모듈(300)은, 상기 전후방 영상 데이터와 양 측방 영상 데이터가 중첩되는 관심영역(ROI : Region of Interest)에서 인식되는 경계 장애물이 상기 전후방 영상 데이터 또는 측방 영상 데이터 중 적어도 어느 하나의 영상 데이터에서 인식되고 있는 장애물 중 어느 장애물과 동일한지 여부를 판단하여 장애물을 특정하는 경계 장애물 특정부(330)를 더 포함할 수 있다.

즉, 상기 경계 장애물 특정부(330)는, 전후방 영상 데이터와 측방 영상 데이터에서 중복하여 인식되었던 장애물 중 동일한 장애물을 하나의 장애물로 특정하기 위한 것이다.

이와 같이, 상기 관심영역에서 인식되는 장애물을 상기 전후방 영상 데이터 또는 측방 영상 데이터에서 인식되는 장애물과 구분하여 설명하기 위하여, 특정 전에 관심영역에 있는 장애물을 '경계 장애물'로 표현하고, 특정 후에는 다른 장애물과 동일하게 '장애물'로 표현한다.

상기 경계 장애물 특정부(330)는, 상기 전후방 영상 데이터에서 인식되는 경계 장애물 이미지의 제1도심(centroid)과 상기 측방 영상 데이터에서 인식되는 경계 장애물 이미지의 제2도심(centroid)을 각각 산출하고, 동일한 장애물 분류코드가 매칭되어 있는 경계 장애물에 대하여 산출되었던 상기 제1도심과 제2도심 상호간의 거리가 최소인 경계 장애물을 동일 장애물로 판단할 수 있다.

이를 위하여, 상기 경계 장애물 특정부(330)는, 도 6의 (a) 및 (b)에 도시된 바와 같이, 차량의 전방 우측과 좌측 영역, 그리고 차량의 후방 우측 및 좌측 영역을 관심영역(ROI)으로 설정(도 6에서는 점선의 사각형으로 표시함)하고, 상기 관심영역(ROI)에서 인식되는 장애물을 경계 장애물로 선정할 수 있다. 도 6에서는 원형 이미지의 경계 장애물이 제1경계 장애물로 선정되고 직사각형 이미지의 경계 장애물이 제2경계 장애물로 선정된 것을 나타내고 있다.

상기 경계 장애물 특정부(330)는, 상기 관심영역에 있는 경계 장애물이 선정된 후, 상기 전후방 영상 데이터에서 인식되는 경계 장애물의 포인트 좌표를 이용하여 제1도심(centroid)을 산출하고, 상기 측방 영상 데이터에서 인식되는 경계 대상물의 포인트 좌표를 이용하여 제2도심(centroid)을 산출할 수 있다. 그에 따라, 경계 대상물의 일부만 인식될 경우에는 인식되는 포인트들만의 도심을 산출할 수 있다.

그에 따라, 상기 전후방 영상 데이터에 관심영역(ROI)이 중첩 표시되어 있는 도 6의 (a)에 도시된 바와 같이, 상기 전후방 영상 데이터에서 제1경계 장애물이 인식되는 포인트(원형의 점으로 표시함)들의 위치정보에 대한 제1도심(x_c, y_c)을 하기의 수학식 1과 같이 산출할 수 있다.

[수학식 1]

도 6의 (a)에서는 상기 제1경계 장애물에 대한 제1도심의 위치를 영문자 X로 나타낸 후 P_1,f로 표기하고 있다. 또한, 상기 제2경계 장애물에 대한 제1도심도 영문자 X로 나타낸 후 P_2,f로 표기하고 있다.

또한, 상기 측방 영상 데이터에 관심영역(ROI)이 중첩 표시되어 있는 도 6의 (b)에 도시된 바와 같이, 상기 양 측방 영상 데이터에서 제1경계 장애물이 인식되는 포인트(마름모 형상의 점으로 표시함)들의 위치정보에 대한 제2도심(x_c, y_c)을 상기의 수학식 1에 의해 산출할 수 있다.

도 6의 (b)에서는 상기 제1경계 장애물에 대한 제2도심의 위치를 영문자 X로 나타낸 후 P_1,s로 표기하고 있다. 또한, 상기 제2경계 장애물에 대한 제2도심도 영문자 X로 나타낸 후 P_2,s로 표기하고 있다.

이와 같이 각 경계 대상물에 대한 제1도심(P_1,f, P_2,f)과 제2도심(P_1,s, P_2,s)을 각각 산출한 후, 상기 경계 장애물 특정부는, 각 관심영역내에서 상기 전후방 영상 데이터 상의 경계 장애물과 양 측방 영상 데이터 상의 경계 장애물 중 서로 동일한 장애물 분류코드가 매칭되어 있는 경계 장애물을 비교 대상으로 선정할 수 있다.

이후, 상기 경계 장애물 특정부(330)는, 하기의 수학식 2와 같이, 비교 대상으로 선정된 각 경계 장애물에 대하여 산출되었던 상기 제1도심과 제2도심 상호간의 거리를 유클리드 노름(Euclidean norm)에 의해 연산한 후, 최소의 거리를 갖는 두 개의 경계 장애물을 동일 장애물로 판단할 수 있다.

[수학식 2]

그에 따라, 도 7에 도시된 바와 같이, 상기 제1경계 장애물에 대하여 전후방 영상 데이터에서 산출된 제1도심(P_1,f)과 측방 영상 데이터에서 산출된 제2도심(P_1,s)의 거리가 최소이므로 동일한 장애물을 나타내는 것으로 판단할 수 있다. 또한, 제2경계 장애물에 대하여도 제1도심(P_2,f)과 제2도심(P_2,s)의 거리가 최소이므로 동일한 장애물을 나타내는 것으로 판단할 수 있다.

또한, 상기 장애물 맵 생성부(340)는, 차량의 위치를 기준으로 하여 상기 SVM 카메라의 영상 데이터로부터 획득한 장애물 인식정보를 각 장애물이 인식된 위치정보의 좌표와 함께 매핑시켜 저장함으로써, 자율 주차를 수행하고자 하는 주차구역에 대한 장애물 분포 현황을 나타내는 장애물 맵(360)을 생성할 수 있다.

그에 따라, 상기 장애물 맵 생성부(340)는, 도 8의 (a) 및 (b)에 도시된 바와 같이, 상기 전후방 영상 데이터와 측방 영상 데이터에 기반하여 상기 장애물 인식부(320)에서 인식된 장애물 정보(장애물 분류코드와 외형 이미지 포함)를 차량의 현재 위치를 기준으로 하는 장애물 맵(360) 상에 저장할 수 있다.

이때, 상기 전후방 영상 데이터와 양 측방 영상 데이터 모두에서 인식될 수 있는 관심영역(ROI)에 있는 장애물2(Obj 2)의 경우, 상기 경계 장애물 특정부(330)에 의해 도 8의 (a)에서 인식되는 경계 장애물과 도 8의 (b)에서 인식되는 경계 장애물이 동일한 물체인 장애물2(Obj 2)임을 특정할 수 있다.

그 결과, 도 8의 (c)에 도시된 바와 같이 전후방 영상 데이터로부터만 획득할 수 있는 장애물1(Obj 1)이 차량의 전방에 위치하고, 양 측방 영상 데이터로부터만 획득할 수 있는 장애물3(Obj 3)이 차량의 좌측에 위치하며, 관심영역에서 인식되는 장애물2(Obj 2)가 차량의 우측 전방에 위치하는 것을 장애물 맵(360) 상에 저장할 수 있다.

이때, 도8의 (c)에서는, 차량의 전후방 영상 데이터로부터 획득한 장애물 인식 정보는 원형의 점으로 표시하고, 차량의 양 측방 영상 데이터로부터 획득한 장애물 인식 정보는 마름모 형상의 점으로 표시하여, 시각적인 구분 편의를 도모하였다.

또한, 상기 센서 퓨전 연산모듈(300)은, 상기 초음파 센서에서의 센싱 데이터를 기반으로 상기 장애물 맵 상에 설정되어 있는 장애물의 위치를 보정하여 저장하는 장애물 위치 보정부(350)를 더 포함할 수 있다.

상기 장애물 위치 보정부(350)는, 상기 초음파 센서와 가장 가까운 위치에 있는 장애물의 포인트를 기준 좌표로 선정한 후, 상기 초음파 센서를 중심으로 하면서 상기 기준 좌표에 대한 센싱 데이터(TOF)의 회귀 경로를 반지름으로 하는 원과 만날 때까지 상기 기준 좌표를 평행 이동시켜 장애물의 보정 좌표로 설정하고, 상기 장애물의 나머지 포인트들의 좌표를 상기 기준 좌표가 보정 좌표로 이동한 방향을 따라 동일하게 평행 이동시켜 장애물의 위치를 보정할 수 있다.

이때, 상기 초음파 센서와 가장 가까운 위치에 있는 장애물의 좌표로는, 도 9 및 수학식 3에 나타난 바와 같이, 상기 초음파 센서에서 센싱 데이터(TOF)가 가장 짧게 측정된 장애물의 포인트에 매칭되어 있는 좌표(P_j,obj)를 기준 좌표로 설정할 수 있다. 또한, 이러한 상기 기준 좌표는 초음파 센서의 감지범위(FOV : Field of View)를 벗어나지 않는 영역에서 설정될 수 있다.

[수학식 3]

이때, 상기 P_USS는 차량에 구비되어 있는 초음파 센서(USS : Ultrasonic Sensor) (100)의 위치를 나타내고, 상기 P_j,obj는 상기 영상 데이터에서 인식된 장애물의 이미지 중 j번째 셀에서 인식되는 장애물의 좌표로서 기준 좌표를 나타내며, 상기 TOF는 상기 초음파 센서에서 방출된 후 장애물에 부딪혀 반사되는 초음파 센서의 비행시간을 나타낸다.

상기 장애물 위치 보정부(350)는, 상기 기준 좌표(P_j,obj)를 상기 초음파 센서에 의해 센싱된 위치까지 평행 이동시켜 보정 좌표로 설정할 수 있다. 이를 위하여, 상기 장애물 위치 보정부(350)는, 상기 초음파 센서의 설치 위치(P_USS)에서 센싱 데이터(TOF)가 반사된 장애물의 위치에 이르는 거리를 반지름으로 하는 원을 설정한 후, 상기 기준 좌표를 현재의 좌표(P_j,obj)에서 SVM 카메라의 설치 위치(P_CAM) (200)를 향하는

벡터 방향을 따라 평행 이동시킴으로써 보정 좌표(P'_j,obj)를 설정할 수 있다.

이후, 상기 장애물 위치 보정부(350)는, 상기 장애물 맵에 저장되어 있는 장애물을 나타내는 좌표들을 상기 기준 좌표(P_j,obj)가 보정 좌표(P'_j,obj)로 이동하였던

벡터 방향을 따라 동일하게 평행 이동시킴으로써 장애물의 위치를 보정할 수 있다.

그에 따라, 영상 데이터에 기반하여 획득한 장애물의 좌표 중 상기 초음파 센서(100)와 가장 가까운 위치에 있는 장애물의 기준 좌표는 차량에 구비된 SVM 카메라(200)를 향하는 방향으로 이동시키고, 장애물의 나머지 좌표들은 기준 좌표의 이동 방향을 따라 평행하게 이동시킴으로써, 보정 과정에서 장애물의 이미지가 왜곡되는 것을 방지할 수 있다.

이때, 도 9에 도시된 바와 같이, 하나의 장애물에 대하여 센싱 데이터(TOF)가 하나만 수신되는 경우(즉, 외부(outer) 초음파 센서에서는 감지되지만 내부(inner) 초음파 센서에서는 감지되는 않는 경우)에는, 상술한 바와 같이 센싱 데이터의 값이 가장 짧은 비행시간(TOF)을 갖는 포인트의 좌표를 기준 좌표로 설정할 수 있다.

그러나, 도 10에 도시된 바와 같이, 하나의 장애물에 대하여 센싱 데이터(TOF)가 여러 개 수신되는 경우(즉, 외부(outer) 초음파 센서와 내부(inner) 초음파 센서에서 모두 센싱 데이터가 수신되는 경우)에는, 각각의 센싱 데이터(TOF)를 이용하여 장애물의 위치를 보정한 후, 하기의 수학식 4와 같이 보정된 장애물의 위치를 나타내는 좌표들의 평균을 산출하여, 산출된 평균을 장애물의 최종 위치로 보정할 수 있다. 이때, N은 하나의 장애물에 대하여 수신한 센싱 데이터(TOF)의 총 개수이다.

[수학식 4]

도 10에서는 외부(outer) 초음파 센서(P_USS1)에 의해 수신한 센싱 데이터(TOF)에 의해 설정되는 기준 좌표를 P_j,obj1으로 나타내고, 내부(inner) 초음파 센서(P_USS2)에 의해 수신한 센싱 데이터(TOF)에 의해 설정되는 기준 좌표를 P_j,obj2으로 나타내고 있다.

그리고 두개의 기준 좌표 P_j,obj1, P_j,obj2에서 SVM 카메라의 설치 위치(P_CAM)를 향하는 벡터 방향으로 각각 평행 이동 시킨 보정 좌표를 설정하게 됨을 나타내고 있다. 이와 같이 각 기준 좌표에서 각 보정 좌표를 향하는 벡터 방향을 따라 장애물의 다른 좌표들을 평행 이동시킨 후, 그 결과의 평균을 장애물의 최종 보정 위치로 설정함은 상술한 바와 같다.

또한, 상기 주차지원모듈(400)은, 상기 장애물 맵에 저장되어 있는 장애물의 포인트를 나타내는 좌표에 기반하여 주차공간 진입시 회피해야 하는 장애물의 포인트를 회피 기준점으로 선택하는 회피 기준점 결정부(410)와, 주차공간으로 진입하는 차량이 장애물을 회피하며 주차를 수행할 수 있도록 차량이 정렬되어야 하는 정렬각을 연산하는 정렬각 산출부(430)를 포함할 수 있다.

상기 회피 기준점 결정부(410)는, 주차공간 진입시 인접한 장애물과의 접촉을 회피해야 하는 차량 부위를 차량 기준점으로 설정하고, 장애물 맵 상에 저장되어 있는 장애물 포인트 중 상기 차량 기준점과의 거리가 최소인 장애물의 좌표를 회피 기준점으로 선택할 수 있다.

이를 위하여, 상기 회피 기준점 결정부(410)는, 도 11에 도시된 바와 같이, 차량의 범퍼 좌측 끝단을 제1차량 기준점(P1)으로 설정하고, 챠량의 범퍼 중앙 끝단을 제2차량 기준점(P2)으로 설정하며, 차량의 범퍼 우측 끝단을 제3차량 기준점(P3)으로 설정할 수 있다. 이때, 전면주차를 할 경우에는 차량의 앞쪽 범퍼를 기준으로 차량 기준점이 설정되지만, 후면주차를 할 경우에는 차량의 후면 범퍼를 기준으로 차량 기준점이 설정될 수 있다.

또한, 상기 회피 기준점 결정부(410)는, 차량의 중심을 기준으로 하는 로컬 좌표계 상의 x축을 중심으로 일측의 +y축 방향과 타측의 -y축 방향 각각을 제1 및 제2기준점 관심영역(ROI)으로 구분하여 설정할 수 있다. 상기 제1 및 제2기준점 관심영역(ROI)은 차량의 좌측과 우측에 있는 장애물과의 접촉을 회피해야 하는 회피 기준점을 각 장애물의 좌표로부터 선택하기 위한 영역이 된다.

상기 회피 기준점 결정부(410)는, 각 기준점 관심영역에 있는 장애물 포인트들 중 상기 차량 기준점과의 거리가 최소인 포인트를 각 기준점 관심영역에서의 회피 기준점으로 선택할 수 있다.

이를 위하여, 상기 회피 기준점 결정부(410)는 하기의 수학식 5와 같이, 비용함수(cost function)에 의해 상기 차량 기준점과 각 기준점 관심영역에 있는 장애물 포인트 사이의 거리를 연산하여, 그 거리가 최소인 포인트를 회피 기준점으로 선택할 수 있다.

[수학식 5]

상기 수학식 5에서 α는 가중치 계수(weighting factor)로서, α가 0에 가까울수록 x축 좌표의 항목이 작아지므로 y축방향에 가중치가 부여되고, α가 1에 가까울수록 y축 좌표의 항목이 작아지므로 x축방향에 가중치가 부여된다. 이때, (x_Pbase, y_Pbase)는 차량의 중심을 기준으로 하는 로컬 좌표계 상에 있는 차량 기준점의 좌표이고, (x_Pi, y_Pi)는 상기 장애물 맵 상에 저장되어 있는 장애물에 대한 각 포인트의 좌표이다.

그에 따라, 상기 P_base가 제1차량 기준점인 P₁일 경우 상기 수학식 5에 의해 선택되는 회피 기준점은 상기 제1기준점 관심영역에 있는 +y축 방향에서의 제1회피 기준점(P_y+)이 되고, 상기 P_base가 제3차량 기준점인 P₃일 경우 상기 수학식 5에 의해 선택되는 회피 기준점은 상기 제2기준점 관심영역에 있는 -y축 방향에서의 제2회피 기준점(P_y-)이 될 수 있다. 도 11에서는 이와 같이 선택되는 회피 기준점을 내부가 비어 있는 원으로 표시하여, 차량의 현재 위치에서 회피 기준점이 되지 않는 장애물의 다른 포인트들의 좌표와 구분할 수 있게 하였다.

또한, 상기 주차지원모듈(400)은, 상기 회피 기준점 결정부(410)에서 회피 기준점을 선택함에 있어 적용되었던 가중치 계수를 차량에서 장애물에 이르는 거리가 감소함에 따라, y축 방향으로의 가중치를 증가시켜 적용하는 가중치 가변부(420)를 더 포함할 수 있다.

그에 따라, 도 12의 (d)에 도시된 바와 같이, 차량과 장애물의 x축 거리가 일정한 기준거리(d_c)보다 멀 경우에는 가중치 계수(α)를 최대값인 α_c로 적용하고, 상기 기준거리(d_c)보다 가까울 경우에는 가중치 계수(α)를 최소값인 α₀로 적용하여 상기 수학식 5와 같은 비용함수에 의해 회피 기준점을 결정할 수 있다. 이때, 상기 도 12의 (d) 그래프에 도시된 기준거리(d_c)와, 가중치 계수 최소값(α₀)과, 가중치 계수 최대값(α_c)은 조정 가능한 파라미터이다.

그로 인하여, 도 12의 (a) 내지 (c)에 도시된 바와 같이, 차량과 장애물의 x축 거리(d)가 상기 기준거리(d_c)보다 클 경우에는 상기 차량 기준점과의 x축 거리가 가까운 좌표에 있는 포인트가 보다 높은 가중치를 갖고 회피 기준점으로 선택되지만, 차량과 장애물의 x축 거리(d)가 상기 기준거리(d_c)보다 작을 경우에는 x축 거리보다는 y축 거리가 가까운 좌표에 있는 포인트가 보다 높은 가중치를 갖고 회피 기준점으로 선택될 수 있다.

이와 같이 상기 가중치 가변부(420)는, 차량과 장애물 사이의 거리가 감소함에 따라 장애물 사이 주차공간으로 진입하는 차량의 정렬과 이격 제어를 위하여 y축 방향의 가중치를 증가시킴으로써, 장애물에의 충돌 회피 성능을 향상시킬 수 있다.

또한, 상기 정렬각 산출부(430)는, 차량의 전면 중심에 설정되어 있는 제2차량 기준점과 상기 회피 기준점이 이루는 각도의 평균을 차량이 장애물을 회피하면서 주차공간으로 진입하기 위한 초기 정렬각으로 산출하고, 주차공간으로의 차량 진입 정도에 따라 회피 조향을 위해 증감시켜야 하는 정렬각 변화량을 산출하여 차량의 회피 조향 제어를 위한 데이터로 제공할 수 있다.

상기 정렬각 산출부(430)는, 주차공간의 진입 전에 도 15의 (a)에 도시된 바와 같이, 차량의 전면 중심에 설정된 제2차량 기준점이 차량의 좌측에 위치하는 장애물에서 선택된 제1회피 기준점(내부가 빈 원으로 표시함) 및 차량의 우측에 위치하는 장애물에서 선택된 제2회피 기준점(내부가 빈 원으로 표시함)과 이루는 각도의 평균을 초기 정렬각(δ_k)으로 산출할 수 있다.

이와 같이 산출된 초기 정렬각은 도 15의 (a)에 도시된 바와 같이, 차량의 중심을 기준으로 하는 로컬 좌표계상의 x축으로부터의 회전각도로서, 주차공간으로 진입하는 차량의 현재 조향각일 수 있다.

그리고, 상기 정렬각 산출부(430)는, 도 15의 (b)에 도시된 바와 같이, 현재의 초기 정렬각(δ_k)을 나타내는 직선인 중심 기준선과 평행하면서 각 회피 기준점을 지나는 직선(l₁, l₃)인 제1 및 제2회피 기준선에 의해 회피 관심영역(Avoidance Direction ROI)을 설정할 수 있다.

그에 따라, 제1회피 기준점을 지나는 제1회피 기준선과 중심 기준선 사이의 영역을 제1회피 관심영역으로 설정하고, 제2회피 기준점을 지나는 제2회피 기준선과 중심 기준선 사이의 영역을 제2회피 관심영역으로 설정할 수 있다.

그리고, 상기 정렬각 산출부(430)는, 하기의 수학식 6과 같이 유클리드 노름(Euclidean norm)에 의해, 상기 제1회피 관심영역 내에 있는 장애물의 포인트들과 제1회피 기준선 사이의 거리 합과 상기 제2회피 관심영역 내에 있는 장애물들의 포인트들과 제2회피 기준선 사이의 거리 합을 구한 후, 두 거리 합의 차이를 코스트(cost)로 산출하고, 이러한 코스트가 최소가 되도록 상기 초기 정렬각을 수정하는 정렬각 변화량을 산출할 수 있다.

[수학식 6]

이때, 상기 수학식 6에서 P_1,i는 상기 제1회귀 기준선과 중심 기준선 사이의 제1회피 관심영역 내에 있는 장애물 포인트들의 좌표이고, P_3,j는 상기 제2회귀 기준선과 중심 기준선 사이의 제2회피 관심영역 내에 있는 장애물 포인트들의 좌표이다.

또한, 상기 정렬각 산출부(430)는, 상기 수학식 6에 의해 산출되는 코스트(cost)가 수렴되는 속도를 빠르게 하기 위해 도 13에 도시된 그래프에 나타나는 비례 관계를 이용하여 정렬각 변화량(Δδ_k)을 산출할 수 있다.

그에 따라, 차량이 주차공간으로 진입함에 따라 제1회피 기준점과 제2회피 기준점이 달라지게 되고, 그로 인하여 상기 제1회피 관심영역과 제2회피 관심영역이 달라지면서, 각 회피 관심영역 내에 있는 장애물의 포인트들도 달라지게 된다. 이처럼 각 회피 관심영역 내에 있는 장애물의 포인트가 달라지면서 상기 수학식 6에 의해 산출되는 정렬각 변화량이 달라지게 되므로, 변경되는 위치에서 장애물의 회피 제어를 위해 요구되는 정렬각에 따른 조향 제어를 수행할 수 있다.

이때 도 13의 그래프에 나타나 있는 a와 b는 튜닝 파라미터(tuning parameter)로서, 상기 정렬각 산출부(430)에서 정렬각 변화량을 산출함에 있어 구현하고자 하는 수렴속도와 수렴정도에 따라 다르게 설정될 수 있다. 즉, 수렴속도를 빠르게 구현하고자 하는 경우에는 b의 값을 증가시켜 코스트(cost)의 작은 변화에도 정렬각 변화량이 크게 산출되게 할 수 있고, 수렴정도를 정밀하게 제어하고자 하는 경우에는 a의 값을 증가시켜 코스트(cost)의 변화에 따라 정밀한 정렬각 변화량을 산출할 수 있다.

상기 정렬각 산출부(430)는, 상술한 바와 같이 정렬각 변화량을 산출한 후 하기의 수학식 7과 같이, 기존의 정렬각에 상기 정렬각 변화량을 반영하여 현재의 정렬각을 산출할 수 있다. 그에 따라, 주차공간에의 진입을 시작하게 되는 최초에 산출되었던 초기 정렬각으로부터, 차량의 주차공간 진입이 이루어지는 동안 산출되는 정렬각 변화량이 반영된 현재의 정렬각을 지속적으로 산출할 수 있다.

[수학식 7]

그리고, 상기 정렬각 산출부(430)는, 상기 코스트(cost) 산출과 상기 정렬각 변화량(Δδ_k) 산출의 정확성을 향상시키기 위하여, 현재의 정렬각(δ_k)에서 정렬각 변화량을 연산하여 새로운 정렬각을 산출하는 과정을 미리 설정된 일정 휫수(도 14에서는 반복 연산회수(K)를 10회로 설정함) 동안 반복한 후 그 결과를 출력할 수도 있다.

또한, 상기 정렬각 산출부(430)는, 차량에 구비된 측방 초음파 센서로부터 센싱 데이터(TOF)가 일정 횟수 이상(예를 들어, 5회 이상) 연속하여 수신될 경우 차량이 장애물(주차 중인 차량이나 주차장의 기둥 또는 벽면) 사이의 주차공간으로 진입한 것으로 판단할 수 있다.

이와 같이 주차공간에 진입한 것으로 판단된 후, 상기 정렬각 산출부(430)는, +y축 방향의 영역(즉, 도 16에서는 차량의 좌측)에 있는 회피 기준점과, -y축 방향의 영역(즉, 도 16에서는 차량의 우측)에 있는 회피 기준점이 속하여 있는 장애물을 목표 장애물(Target Object)로 선정할 수 있다.

이때, 상기 목표 장애물은, 상기 제1 및 제2회피 관심영역 각각에 존재하는 장애물 중에서 y축 방향의 거리가 가장 가까운 장애물로 선정될 수 있다.

그리고, 상기 정렬각 산출부(430)는, 차량이 주차공간에 진입한 이후에는 안전한 주차를 위하여 장애물들 사이의 주차공간에 차량을 정렬시켜야 하므로, 주차공간 진입시에 판단되었던 회피 기준점을 공간진입 회피 기준점(P_trgt1, P_trgt3)으로 선정할 수 있다.

이때, 상기 정렬각 산출부(430)는, 상기 목표 장애물의 포인트들 중 상기 공간진입 회피 기준점(P_trgt1, P_trgt3)의 x좌표보다 x축 좌표값이 더 큰 포인트들의 좌표를 표현하는 새로운 회피 기준선(l₁, l₃)을 하기의 수학식 8과 같이 최소제곱법(Least Square)에 의해 산출할 수 있다.

[수학식 8]

그에 따라, 도 17에 도시된 바와 같이 회피 기준선 l1(y=a₁x+b₁)과 l3(y=a₃x+b₃)를 상기 수학식 8에 의해 산출할 수 있다. 이후, 상기 정렬각 산출부(430)는, 두 직선의 기울기의 평균을 이용하여, 하기의 수학식 9와 같이 상기 공간진입 회피 기준점을 비롯하여 장애물의 포인트들에 접하지 않도록 유도하는 새로운 정렬각(δ)을 산출할 수 있고, 이러한 정렬각을 따라 차량을 조향 제어함으로써, 장애물들을 회피 조향하며 자율주차를 수행할 수 있다.

또한, 상기 주차지원모듈(400)은, 주차 완료를 위해 주차공간으로 진입하는 차량을 유도하기 위한 정렬 목표점을 하기의 수학식 9에 의해 산출한 후, 주차 완료를 위한 유도 포인트로 제공하는 정렬 목표점 산출부(440)를 더 포함할 수 있다.

[수학식 9]

이를 위하여, 상기 정렬 목표점 산출부(440)는, 도 18 및 상기 수학식 9와 같이, 상기 정렬각 산출부(430)에서 차량의 주차공간 진입 후에 선정되었던 제1회피 기준점(P_y+)와 제2회피 기준점(P_y-)의 x좌표와 y좌표 값의 평균에 상응하는 위치의 좌표를 차량이 정차해야 하는 정렬 목표점으로 산출하여 제시할 수 있다.

다음에는 도 19를 참조하여 본 발명의 다른 실시예에 따른 회피 조향 제어가 개선된 주차 지원 방법을 설명한다.

도 19는 본 발명의 다른 실시예에 따른 회피 조향 제어가 개선된 주차 지원 방법의 구성도이다.

도 19를 참조하면, 본 발명의 다른 실시예에 따른 회피 조향 제어가 개선된 주차 지원 방법은, SVM 카메라에서 촬영되는 차량의 전후방과 측방 영상 데이터에 의해 주차공간 주변의 장애물 이미지를 획득하는 영상 데이터 획득단계(S100)와, 센서모듈에서 획득한 센싱 데이터에 의해 장애물의 위치와 장애물까지의 거리를 감지하는 센싱 데이터 획득단계(S200)와, 상기 영상 데이터에 의해 인식되고 상기 센싱 데이터에 의해 위치가 보정된 장애물의 좌표를 장애물 맵에 저장하는 장애물 맵 생성단계(S300)와, 상기 장애물을 구성하는 포인트의 좌표 중 차량의 회피가 요구되는 회피 기준점을 선택하고 상기 회피 기준점을 토대로 회피 조향을 위해 요구되는 차량의 정렬각을 산출하는 주차지원단계(미도시)를 포함할 수 있다.

상기 영상 데이터 획득단계(S100)에서는, 차량에 구비된 SVM(Surround View Monitor) 카메라를 이용하여 차량의 전후방 및 양 측방 영상을 촬영하여, 차량이 진입하고자 하는 주차공간 주변에 있는 장애물의 존부와, 차량을 기준으로 하여 장애물이 위치하는 방향 정보를 파악할 수 있는 영상 데이터를 획득할 수 있다.

즉, 상기 영상 데이터 획득단계(S100)에서는, 차량의 전후 및 좌우 양 측에 각각 설치되어 있는 4개의 광각 카메라로 이루어진 SVM 카메라에 의해 영상 데이터를 획득하기 때문에, 보다 넓은 감지범위에 이르는 영상 데이터를 획득할 수 있다.

또한, 상기 센싱 데이터 획득단계(S200)에서는, 상기 센서모듈이 초음파 센서로 구성될 경우, 차량에 구비된 초음파 센서에서 방출된 후 주변 장애물에 반사되어 되돌아오는 초음파 신호의 비행시간(TOF)과 방향을 인지하여, 장애물의 존부와 해당 장애물까지의 거리를 센싱할 수 있다.

또한, 상기 장애물 맵 생성단계(S300)는, 상기 영상 데이터에 기반하여 주차공간 주변에 있는 장애물의 존부와 그 위치를 인식한 후, 차량의 현재 위치를 기준으로 하는 로컬 좌표계 상에서 장애물이 존재하는 포인트의 좌표를 해당 장애물의 분류 정보와 함께 매칭시켜 저장하여, 주차공간에 대한 장애물 분포 현황을 나타내는 장애물 맵을 생성할 수 있다.

이를 위하여 상기 장애물 맵 생성단계(S300)에서는, 상기 SVM 카메라에서 촬영된 영상 데이터에 나타나는 차량의 전후방 영역과 양 측방 영역을 균등한 간격으로 나누어진 다수의 셀로 분할하고, 각 셀에 어드레스를 부여할 수 있다.

또한, 상기 장애물 맵 생성단계(S300)에서는, 영상 데이터에 나타나는 이미지에 의하여 차량 주변에 있는 장애물의 존부를 파악하고, 인식된 장애물의 이미지를 미리 저장되어 있는 장애물 분류 테이블 상의 장애물 이미지와 비교하여 장애물의 종류를 인식할 수 있다.

이때, 장애물을 인식함에 있어, 셀마다 장애물 이미지를 나타내는 포인트의 존재여부를 판단하고, 각 셀에서 인식되는 장애물의 분류코드가 인접한 다른 셀에서 인식되는 장애물의 분류코드와 같을 경우, 동일 장애물의 이미지가 복수의 셀에서 함께 인식되고 있는 것으로 판단할 수 있다.

이와 같이 상기 장애물 맵 생성단계(S300)에서는 분할되어 있는 셀마다 장애물의 이미지가 인식되는지 여부와, 그 이미지가 복수의 셀에서 연속적으로 인식되는지 여부를 판단하여 장애물의 외형을 파악할 수 있다.

또한, 각 셀에서 장애물이 인식되는 외곽부의 포인트를 파악하고, 차량의 현재 위치를 기준으로 하는 로컬 좌표계 상에서 장애물이 인식되는 각 포인트들의 좌표를 위치정보로 함께 저장하여 장애물 맵을 생성할 수 잇다.

이와 같이 장애물 맵을 생성하기 위해 영상 데이터로부터 장애물을 인식할 때, 전후방 영상 데이터와 측방 영상 데이터에서 중첩적으로 촬영되는 영역인 관심영역(ROI)에 있는 장애물은 두 영상 데이터에서 모두 인식될 수 있다.

그에 따라, 전후방 영상 데이터와 측방 영상 데이터가 중첩되는 관심영역(ROI)에서 인식되는 경계 장애물이 상기 전후방 영상 데이터 또는 측방 영상 데이터 중 적어도 어느 하나의 영상 데이터에서 인식되고 있는 장애물 중 어느 장애물과 동일한지 여부를 판단하여 장애물을 특정하는 경계 장애물 특정단계(S400)를 더 포함할 수 있다.

상기 경계 장애물 특정단계(S400)는, 상기 전후방 영상 데이터와 측방 영상 데이터 중 상기 관심영역(ROI)에서 이미지가 인식되는 물체를 경계 장애물로 선정하는 경계 장애물 선정과정(S410)과, 상기 전후방 영상 데이터와 측방 영상 데이터 각각에서 인식되는 경계 장애물의 포인트 좌표들에 대한 평면 중심인 제1도심과 제2도심을 연산하는 도심 산출과정(S420)과, 상기 경계 산출물에 대하여 산출된 제1도심과 제2도심 상호간의 거리를 비교하여 최소의 거리를 갖는 두 개의 경계 장애물을 동일 장애물로 특정하는 경계 장애물 판단과정(S430)을 포함할 수 있다.

이때, 상기 경계 장애물 선정과정(S410)에서는, 차량의 전방 우측과 좌측 영역, 그리고 차량의 후방 우측과 좌측 영역을 각각 관심영역(ROI)으로 설정하고, 상기 전후방 영상 데이터와 측방 영상 데이터 중 상기 관심영역(ROI)에 상응하는 위치나 셀에서 인식되는 장애물을 경계 장애물로 선정할 수 있다.

또한, 상기 도심 산출과정(S420)에서는, 상기 전후방 영상 데이터 중 관심영역에 상응하는 위치나 셀에서 인식되는 경계 장애물의 포인트 좌표를 이용하여 제1도심(centroid)을 산출하고, 상기 측방 영상 데이터 중 관심영역에 상응하는 위치나 셀에서 인식되는 경계 장애물의 포인트 좌표를 이용하여 제2도심(centroid)을 산출할 수 있다.

이때, 상기 전후방 영상 데이터 또는 측방 영상 데이터에서 장애물의 일부만이 인식될 경우에는, 인식되는 포인트들만의 도심을 산출하게 됨은 물론이다.

또한, 상기 경계 장애물 판단과정(S430)에서는, 각 관심영역내에서 상기 전후방 영상 데이터 상의 경계 장애물과 상기 측방 영상 데이터 상의 경계 장애물 중 서로 동일한 장애물 분류코드가 매칭되어 있는 경계 장애물을 도심의 거리 비교를 위한 대상으로 선정할 수 있다.

이후, 상기 경계 장애물 판단과정(S430)에서는, 비교 대상으로 선정된 각 경계 장애물에 대하여 산출되었던 제1도심과 제2도심 상호간의 거리를 유클리드 노름(Euclidean norm)에 의해 연산한 후, 최소의 거리를 갖는 두 개의 경계 장애물을 동일 장애물로 판단할 수 있다.

이와 같이, 상기 전후방 영상 데이터와 측방 영상 데이터에 의해 인식되는 장애물들이 특정되면, 상기 센서모듈이 초음파 센서로 구성된 경우, 상기 초음파 센서에서 방출된 후 장애물에 반사되어 되돌아오는 초음파 신호의 비행시간(TOF)으로 이루어진 센싱 데이터를 기반으로 장애물의 위치를 보정하여 상기 장애물 맵에 저장하는 장애물 위치 보정단계를 더 포함할 수 있다.

이를 위하여, 상기 장애물 위치 보정단계(S500)는, 상기 초음파 센서와 가장 가까운 위치에 있는 장애물의 포인트를 기준 좌표로 선정하고, 상기 초음파 센서를 중심으로 하면서 상기 기준 좌표에 대한 센싱 데이터(TOF)의 회귀 경로를 반지름으로 하는 원과 만날 때까지 상기 기준 좌표를 평행 이동시켜 장애물의 보정 좌표를 생성하는 기준 좌표 보정과정(S510)과, 상기 장애물의 나머지 포인트들의 좌표를 상기 기준 좌표가 보정 좌표로 이동한 방향을 따라 동일하게 평행 이동시키는 장애물 포인트 보정과정(S520)을 포함할 수 있다.

이때, 상기 기준 좌표 보정과정(S510)에서는, 상기 초음파 센서에서 센싱 데이터(TOF)가 가장 짧게 측정된 장애물의 포인트에 매칭되어 있는 좌표를 기준 좌표로 설정할 수 있다.

상기 기준 좌표 보정과정(S510)에서는, 상기 기준 좌표를 상기 초음파 센서에 의해 센싱된 위치까지 이동시키기 위하여, 상기 기준 좌표를 현재의 좌표(영상 데이터에 기반하여 산출된 장애물 맵 상의 좌표)에서 SVM 카메라의 설치 위치를 향하는 방향으로 이동시킴으로써 보정 좌표를 산출할 수 있다.

또한, 상기 장애물 포인트 보정과정(S520)에서는, 상기 장애물 맵에 저장되어 있는 장애물의 나머지 좌표들을 상기 기준 좌표가 보정 좌표로 이동하였던 벡터 방향을 따라 평행 이동시킴으로써 장애물의 위치를 보정할 수 있다.

그에 따라, 영상 데이터에 기반하여 넓은 범위에 걸쳐 장애물의 존부와 위치를 확인한 후, 초음파 센서의 센싱 데이터(TOF)에 의해 가장 가까운 포인트의 좌표 위치를 특정하고 장애물의 나머지 포인트들을 평행 이동시켜 장애물의 최종 위치를 보정하여 장애물 맵에 저장함으로써, 주차공간 주변에 있는 장애물의 존부와 각 장애물과의 거리에 대한 정확한 정보를 획득할 수 있다.

또한, 상기 주차지원단계는, 상기 장애물 맵에 저장되어 있는 장애물의 포인트 좌표와 주차공간으로 진입하는 차량 기준점 상호간의 거리 관계에 기반하여 차량이 회피해야 하는 장애물의 포인트를 회피 기준점으로 선택하는 회피 기준점 결정단계(S600)와, 상기 차량 기준점이 회피 기준점을 회피하여 주차공간으로 진입할 수 있도록 차량을 조향 제어하기 위해 요구되는 정렬각을 연산하는 정렬각 산출단계(S700)를 포함할 수 있다.

이때, 상기 회피 기준점 결정단계(S600)는, 차량의 중심을 기준으로 하는 로컬 좌표계 상의 x축을 중심으로 일측의 +y축 방향과 타측의 -y축 방향 각각의 일정 영역을 제1기준점 관심영역과 제2기준점 관심영역으로 설정하는 기준점 관심영역 설정과정(S610)과, 주차공간 진입시 인접한 장애물과의 접촉을 회피해야 하는 차량 부위를 차량 기준점으로 설정하고 상기 제1기준점 관심영역과 제2기준점 관심영역에 있는 장애물의 포인트들 중 상기 차량 기준점과의 거리가 최소인 장애물의 좌표를 회피 기준점으로 선택하는 회피 기준점 선택과정(S620)을 포함할 수 있다.

상기 기준점 관심영역 설정과정(S610)에서 설정되는 상기 제1기준점 관심영역과 제2기준점 관심영역은 차량의 중심을 x축으로 하는 임의의 로컬 좌표계 상에서 +y축 방향과 -y축 방향의 일정 영역으로 설정할 수 있다. 즉, 장애물 사이의 주차공간으로 진입할 경우 차량의 양 측 끝단에 설정된 차량 기준점의 충돌이 예상될 수 있는 일정 범위의 영역으로 설정될 수 있다.

이와 같이 설정되는 상기 제1기준점 관심영역과 제2기준점 관심영역은 회피 기준점으로 선택될 수 있는 예비 포인트들을 결정하기 위한 영역이 될 수 있다.

또한, 상기 회피 기준점 선택과정(S620)에서는, 차량의 범퍼 좌측 끝단을 제1차량 기준점으로 설정하고, 차량의 범퍼 중앙 끝단을 제2차량 기준점으로 설정하며, 차량의 범퍼 우측 끝단을 제3차량 기준점으로 설정할 수 있다. 이와 같이 설정된 상기 제1 내지 제3차량 기준점에 대하여 차량의 중심을 기준으로 하는 로컬 좌표계상의 좌표가 부여될 수 있음은 물론이다.

이후, 상기 회피 기준점 선택과정(S620)에서는, 상기 차량 기준점과 각 기준점 관심영역에 있는 장애물 포인트 사이의 거리를 연산하여, 그 거리가 최소인 포인트를 회피 기준점으로 선택할 수 있다.

이때, 상기 기준점 관심영역에 있는 다수의 장애물 포인트 중 상기 차량 기준점과의 거리가 최소인 포인트를 선택함에 있어, 주차공간으로 진입 중인 차량과 장애물과의 거리가 감소함에 따라 y축방향으로의 가중치를 증가시켜 적용하는 가중치 가변과정(S630)을 더 포함할 수 있다.

그에 따라, 차량과 장애물 사이의 x축 거리가 미리 설정되어 있는 기준거리보타 클 경우에는 상기 차량 기준점과의 x축 거리가 가까운 좌표에 있는 포인트가 높은 가중치를 갖고 회피 기준점으로 선택되고, 차량과 장애물 사이의 x축 거리가 기준거리보다 작을 경우에는 상기 차량 기준점과의 y축 거리가 가까운 좌표에 있는 포인트가 높은 가중치를 갖고 회피 기준점으로 선택될 수 있다.

또한, 상기 정렬각 산출단계(S700)는, 차량의 전면 중심에 설정되어 있는 차량 기준점과 회피 기준점이 이루는 각도의 평균을 차량이 장애물을 회피하면서 주차공간으로 진입하기 위해 요구되는 초기 정렬각으로 산출하는 초기 정렬각 산출과정(S710)과, 상기 초기 정렬각을 나타내는 직선인 중심 기준선과 평행하면서 각 회피 기준점을 지나는 직선인 회피 기준선에 의해 회피 관심영역을 설정하는 회피 관심영역 설정과정(S720)과, 주차공간으로의 차량 진입 정도에 따라 장애물의 회피 조향을 위해 증감시켜야 하는 정렬각 변화량을 산출하여 차량의 회피 조향 제어를 위한 데이터로 제공하는 정렬각 변화량 산출과정(S730)을 포함할 수 있다.

이때, 상기 초기 정렬각 산출과정(S710)에서는, 차량의 전면 중심에 설정되어 있는 제2차량 기준점이 차량의 좌측에 위치하는 장애물에서 선택된 제1회피 기준점 및 차량의 우측에 위치하는 장애물에서 선택된 제2회피 기준점과 이루는 각도의 평균을 초기 정렬각으로 산출할 수 있다. 이와 같이 산출된 초기 정렬각을 따라 차량이 주차공간으로 진입할 수 있도록 조향 제어가 이루어질 수 있다.

그리고, 상기 회피 관심영역 설정과정(S720)에서는, 현재의 초기 정렬각을 나타내는 직선인 중심 기준선과 평행하면서 상기 제1회피 기준점을 지나는 직선인 제1회피 기준선과, 상기 중심 기준선과 평행하면서 상기 제2회피 기준점을 지나는 직선인 제2회피 기준선에 의해 회피 관심영역을 설정할 수 있다.

그에 따라, 상기 제1회피 기준점을 지나는 제1회피 기준선과 중심 기준선 사이의 영역을 제1회피 관심영역으로 설정하고, 제2회피 기준점을 지나는 제2회피 기준선과 중심 기준선 사이의 영역을 제2회피 관심영역으로 설정할 수 있다.

이러한 상기 제1회피 관심영역과 제2회피 관심영역은 차량의 정렬각 변화량 산출을 위한 장애물 포인트들이 선택되는 영역을 제공하게 된다. 즉 상기 제1회피 관심영역과 제2회피 관심영역에 있는 포인트들만이 정렬각 변화량 산출을 위한 코스트(cost) 연산에 사용될 수 있다.

또한, 상기 정렬각 변화량 산출과정(S730)에서는, 유클리드 노름(Euclidean norm)에 의해 상기 제1회피 관심영역 내에 있는 장애물의 포인트들과 제1회피 기준선 사이의 거리 합과 상기 제2회피 관심영역 내에 있는 장애물의 포인트들과 제2회피 기준선 사이의 거리 합을 각각 구한 후, 두 거리 합의 차이인 코스트(cost)가 최소가 되도록 상기 초기 정렬각을 수정하는 정렬각 변화량을 산출할 수 있다.

즉, 차량이 주차공간으로 진입함에 따라 제1회피 기준점과 제2회피 기준점이 달라지게 되고, 그로 인하여 상기 제1회피 기준선과 제2회피 기준선이 달라지면서, 상기 제1회피 관심영역과 제2회피 관심영역도 변하게 된다.

그에 따라, 각 회피 관심영역 내에 있는 장애물의 포인트들이 달라지면서 이러한 장애물의 포인트들과 각 회피 기준선 사이의 거리를 토대로 산출되는 정렬각 변화량도 변하게 된다.

이와 같이 산출되는 정렬각 변화량이 차량의 현재 정렬각에 반영될 수 있도록 조향 제어하게 함으로써, 차량이 주차공간으로 진입하는 동안 회피 기준점으로 선택된 포인트를 갖고 있는 장애물에 충돌하지 않을 수 있다. 또한, 양 회피 기준점 또는 양 회피 기준선으로부터의 거리 차이를 비교적 균등하게 유지하는 상태(즉, 상기 수학식 6에 의해 산출된 코스트(cost)가 최소인 상태)로 안전하게 주차할 수 있게 된다.

이때, 상기 정렬각 변화량 산출과정(S730)에서는, 도 14에 도시된 바와 같이, 차량의 현재 정렬각에서 회피 관심영역을 설정한 후, 각 회피 관심영역 내에 있는 포인트의 좌표를 이용하여 코스트를 계산하고 상기 코스트가 최소가 되는 정렬각 변화량을 산출하여 현재의 정렬각을 갱신하는 과정을 미리 설정된 일정 횟수(도 14에서는 반복 연산횟수(K)를 10회를 설정하였으나, 이러한 특정 횟수에 제한되지 않고, 그 횟수를 증감시킬 수 있음) 동안 반복한 후 그 결과를 갱신된 정렬각으로 출력할 수 있다.

또한, 상기 정렬각 산출단계(S700)는, 차량이 장애물 사이의 주차공간으로 진입한 것으로 판단 될 경우, 각 회피 기준점을 포인트로 갖고 있는 각 장애물을 최종 회피 대상인 목표 장애물(Target Object)로 선정하고, 두 회피 기준점의 좌표 값의 평균에 상응하는 위치를 두 장애물 사이에 차량이 정차해야 하는 정렬 목표점으로 산출하는 정렬 목표점 산출과정(S740)을 더 포함할 수 있다.

이를 위하여, 상기 정렬 목표점 산출과정(S740)에서는, 차량이 장애물 사이의 주차공간으로 진입한 것으로 판단 될 경우, 차량의 중심을 기준으로 할 때 +y 축 방향의 영역에 있는 회피 기준점과, -y축 방향의 영역에 있는 회피 기준점을 포인트로 갖고 있는 각 장애물을 최종 회피 대상인 목표 장애물(Target Object)로 선정할 수 있다.

이때, 상기 정렬 목표점 산출과정(S740)에서는, 차량이 주차공간 진입시에 판단되었던 회피 기준점을 공간진입 회피 기준점으로 선정하고, 상기 목표 장애물의 포인트들 중 상기 공간진입 회피 기준점의 x좌표보다 x축 좌표값이 더 큰 포인트들의 좌표를 표현하는 새로운 회피 기준선을 최소제곱법에 의해 산출할 수 있다.

그리고, 상기 정렬 목표점 산출과정(S740)에서는, 새로이 산출된 회피 기준선에 의해 차량의 정렬각을 조향 제어하면서, 상기 정렬 목표점에 이르도록 차량을 유도하여 주차를 수행할 수 있다.

또한, 상기 주차지원단계(S700)는, 상기 정렬각 산출단계에서 산출되는 정렬각 변화량이 반영되어 갱신된 정렬각에 따라 장애물을 회피하면서 주차공간으로 차량을 유도하는 회피경로를 생성하여 제공하는 회피경로 생성단계(미도시)와, 상기 회피경로를 따라 주행하기 위해 요구되는 조향 제어명령을 생성하여 조향장치로 전송하는 조향제어명령 생성단계(미도시)를 더 포함함으로써, 장애물에의 충돌을 안정적으로 회피하면서 주차공간에의 자율주차를 수행할 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 센서모듈
200 : SVM 카메라
300 : 센서 퓨전 연산모듈 310 : 셀 설정부
320 : 장애물 인식부 330 : 경계 장애물 특정부
340 : 장애물 맵 생성부 350 : 장애물 위치 보정부
360 : 장애물 맵
400 : 주차지원모듈 410 : 회피 기준점 설정부
420 : 가중치 가변부 430 : 정렬각 산출부
440 : 정렬 목표점 산출부

Claims

차량 주변을 탐색하여 획득한 센싱 데이터에 의해 차량에서 장애물까지의 거리를 감지하는 센서모듈;
차량 주변을 촬영하여 장애물의 위치와 방향을 감지할 수 있는 영상 데이터를 획득하는 SVM 카메라;
상기 센서모듈의 센싱 데이터와 상기 SVM 카메라의 영상 데이터를 융합하여 차량의 현재 위치를 기준으로 하는 장애물의 위치정보를 산출하는 센서 퓨전 연산모듈; 및
상기 위치정보를 기반으로 장애물을 회피하여 자율 주차하기 위한 차량의 조향 제어를 수행하는 주차지원모듈;
을 포함하는 회피 조향 제어가 개선된 주차 지원 시스템.
청구항 1에 있어서,
상기 센서 퓨전 연산모듈은,
상기 SVM 카메라에서 획득한 영상 데이터 상의 차량 주변영역을 일정한 간격의 셀로 분할하고, 각 셀에 어드레스를 부여하는 셀 설정부;
상기 영상 데이터에 기반하여 장애물의 존부를 감지하고, 감지된 장애물의 종류를 분류하여 주차 구역 내에 존재하는 장애물을 인식하는 장애물 인식부; 및
상기 영상 데이터 상에서 장애물이 인식되는 위치의 셀 어드레스를 장애물의 분류 정보와 함께 매칭시켜 저장하여 주차구역에 대한 장애물 분포 현황을 나타내는 장애물 맵을 생성하는 장애물 맵 생성부;
를 포함하는 회피 조향 제어가 개선된 주차 지원 시스템.
청구항 2에 있어서,
상기 센서 퓨전 연산모듈은,
전후방 영상 데이터와 양 측방 영상 데이터가 중첩되는 관심영역(ROI)에서 인식되는 경계 장애물이 상기 전후방 영상 데이터 또는 측방 영상 데이터 중 적어도 어느 하나의 영상 데이터에서 인식되고 있는 장애물 중 어느 장애물과 동일한지 여부를 판단하여 장애물을 특정하는 경계 장애물 특정부;
를 더 포함하는 회피 조향 제어가 개선된 주차 지원 시스템.
청구항 3에 있어서,
상기 경계 장애물 특정부는,
상기 전후방 영상 데이터에서 인식되는 경계 장애물 이미지의 제1도심과 상기 측방 영상 데이터에서 인식되는 경계 장애물 이미지의 제2도심을 각각 산출하고, 동일한 장애물 분류코드가 매칭되어 있는 경계 장애물에 대하여 산출된 상기 제1도심과 제2도심 상호간의 거리가 최소인 경계 장애물을 동일 장애물로 판단하는 것을 특징으로 하는 회피 조향 제어가 개선된 주차 지원 시스템.
청구항 2에 있어서,
상기 센서모듈은,
초음파의 비행시간(TOF : Time of Flight)에 의해 센싱 데이터를 획득하는 초음파 센서로 구성되고,
상기 센서 퓨전 연산모듈은,
상기 영상 데이터에 의해 인식되어 상기 장애물 맵 상에 저장되어 있는 장애물의 위치를 상기 초음파 센서에서의 센싱 데이터를 기반으로 보정하여 저장하는 장애물 위치 보정부;
를 더 포함하는 회피 조향 제어가 개선된 주차 지원 시스템.
청구항 5에 있어서,
상기 장애물 위치 보정부는,
상기 초음파 센서와 가장 가까운 위치에 있는 장애물의 포인트를 기준 좌표로 선정한 후, 상기 초음파 센서를 중심으로 하면서 상기 기준 좌표에 대한 센싱 데이터(TOF)의 회귀 경로를 반지름으로 하는 원과 만날 때까지, 상기 기준 좌표를 동일 셀 상에서 이동시켜 장애물의 보정 좌표로 설정하고, 상기 장애물의 나머지 포인트들의 좌표를 상기 기준 좌표가 보정 좌표로 이동한 방향을 따라 동일하게 평행 이동시켜 장애물의 위치를 보정하는 것을 특징으로 하는 회피 조향 제어가 개선된 주차 지원 시스템.
청구항 5에 있어서,
상기 장애물 위치 보정부는,
하나의 장애물에 대하여 센싱 데이터(TOF)가 여러 개 수신되는 경우, 각각의 센싱 데이터(TOF)를 이용하여 장애물의 위치를 보정한 후, 보정된 장애물의 위치를 나타내는 좌표들의 평균을 산출하여 산출된 평균을 장애물의 최종 위치로 보정하는 것을 특징으로 하는 회피 조향 제어가 개선된 주차 지원 시스템.
청구항 5에 있어서,
상기 주차지원모듈은,
상기 장애물 맵에 저장되어 있는 장애물의 포인트를 나타내는 좌표에 기반하여 주차공간 진입시 회피해야 하는 장애물의 포인트를 회피 기준점으로 선택하는 회피 기준점 결정부; 및
주차공간으로 진입하는 차량이 장애물을 회피하며 주차를 수행할 수 있도록 차량이 정렬되어야 하는 정렬각을 연산하는 정렬각 산출부;
를 포함하는 회피 조향 제어가 개선된 주차 지원 시스템.
청구항 8에 있어서,
상기 회피 기준점 결정부는,
주차공간 진입시 인접한 장애물과의 접촉을 회피해야 하는 차량 부위를 차량 기준점으로 설정하고, 차량의 중심을 기준으로 하는 로컬 좌표계 상에서 x축 일측의 +y축 방향과 타측의 -y축 방향 각각의 일정 영역을 제1 및 제2기준점 관심영역으로 설정한 후, 각 기준점 관심영역에 있는 장애물 포인트들 중 상기 차량 기준점과의 거리가 최소인 포인트를 각 기준점 관심영역에서의 회피 기준점으로 선택하는 것을 특징으로 하는 회피 조향 제어가 개선된 주차 지원 시스템.
청구항 8에 있어서,
상기 주차지원모듈은,
차량과 장애물의 x축 거리가 미리 설정된 기준거리보다 클 경우에는 상기 차량 기준점과의 x축 거리가 가까운 좌표에 있는 포인트가 높은 가중치를 갖고 회피 기준점으로 선택되고, 차량과 장애물의 x축 거리가 상기 기준거리보다 작을 경우에는 상기 차량 기준점과의 y축 거리가 가까운 좌표에 있는 포인트가 높은 가중치를 갖고 회피 기준점으로 선택될 수 있도록, 차량에서 장애물에 이르는 거리가 감소함에 따라 y축 방향으로의 가중치를 증가시켜 적용하는 가중치 가변부;
를 더 포함하는 회피 조향 제어가 개선된 주차 지원 시스템.
청구항 8에 있어서,
상기 정렬각 산출부는,
차량의 전면 중심에 설정되어 있는 차량 기준점과 상기 회피 기준점이 이루는 각도의 평균을 주차공간으로 진입하는 차량의 초기 정렬각으로 산출하고, 주차공간으로의 차량 진입 정도에 따라 회피 조향을 위해 증감시켜야 하는 정렬각 변화량을 산출하여 차량의 회피 조향 제어를 위한 데이터로 제공하는 것을 특징으로 하는 회피 조향 제어가 개선된 주차 지원 시스템.
청구항 8에 있어서,
상기 정렬각 산출부는,
현재의 초기 정렬각을 나타내는 직선인 중심 기준선과 평행하면서 각 회피 기준점을 지나는 직선인 제1회피 기준선 및 제2회피 기준선을 이용하여, 상기 제1회피 기준선과 중심 기준선 사이의 영역을 제1회피 관심영역으로 설정하고, 상기 제2회피 기준선과 중심 기준선 사이의 영역을 제2회피 관심영역으로 설정하며, 상기 제1회피 관심영역 내에 있는 장애물의 포인트들과 제1회피 기준선 사이의 거리 합과 상기 제2회피 관심영역 내에 있는 장애물들의 포인트들과 제2회피 기준선 사이의 거리 합을 구한 후, 두 거리 합의 차이가 최소가 되도록 상기 초기 정렬각을 수정하는 정렬각 변화량을 산출하는 것을 특징으로 하는 회피 조향 제어가 개선된 주차 지원 시스템.
SVM 카메라에서 촬영되는 차량의 전후방과 측방 영상 데이터에 의해 주차공간 주변의 장애물 이미지를 획득하는 영상 데이터 획득단계;
센서모듈에서 획득한 센싱 데이터에 의해 장애물의 위치와 장애물까지의 거리를 감지하는 센싱 데이터 획득단계;
상기 영상 데이터에 의해 인식되고 상기 센싱 데이터에 의해 위치가 보정된 장애물의 좌표를 장애물 맵에 저장하는 장애물 맵 생성단계; 및
상기 장애물을 구성하는 포인트의 좌표 중 차량의 회피가 요구되는 회피 기준점을 선택하고, 상기 회피 기준점을 토대로 회피 조향을 위해 요구되는 차량의 정렬각을 산출하는 주차지원단계;
를 포함하는 회피 조향 제어가 개선된 주차 지원 방법.
청구항 13에 있어서,
상기 영상 데이터와 센싱 데이터를 수신하여 상기 장애물 맵을 생성함에 있어, 상기 전후방 영상 데이터와 측방 영상 데이터가 중첩되는 관심영역(ROI)에서 인식되는 경계 장애물이 상기 전후방 영상 데이터 또는 측방 영상 데이터 중 적어도 어느 하나의 영상 데이터에서 인식되고 있는 장애물 중 어느 장애물과 동일한지 여부를 판단하여 장애물을 특정하는 경계 장애물 특정단계;
를 더 포함하는 회피 조향 제어가 개선된 주차 지원 방법.
청구항 14에 있어서,
상기 경계 장애물 특정단계는,
상기 전후방 영상 데이터와 측방 영상 데이터 중 상기 관심영역(ROI)에서 이미지가 인식되는 물체를 경계 장애물로 선정하는 경계 장애물 선정과정;
상기 전후방 영상 데이터와 측방 영상 데이터 각각에서 인식되는 경계 장애물의 포인트 좌표들에 대한 평면 중심인 제1도심과 제2도심을 연산하는 도심 산출과정; 및
동일한 장애물 분류코드가 매칭되어 있는 경계 산출물에 대하여 산출된 제1도심과 제2도심 상호간의 거리를 비교하여, 최소의 거리를 갖는 두 개의 경계 장애물을 동일 장애물로 특정하는 경계 장애물 판단과정;
을 포함하는 회피 조향 제어가 개선된 주차 지원 방법.
청구항 13에 있어서,
상기 장애물 맵을 생성함에 있어, 상기 센서모듈과 가장 가까운 위치에 있는 장애물의 포인트를 기준 좌표로 선정하고, 상기 센서모듈을 중심으로 하면서 상기 기준 좌표에 대한 센싱 데이터의 회귀 경로를 반지름으로 하는 원과 만날 때까지 상기 기준 좌표를 상기 SVM 카메라의 설치 위치를 향하는 방향으로 이동시켜 장애물의 보정 좌표를 생성하는 기준 좌표 보정과정; 및
싱기 장애물의 나머지 포인트들의 좌표를 상기 기준 좌표가 보정 좌표로 이동한 방향을 따라 동일하게 평행 이동시키는 장애물 포인트 보정과정;
을 포함하는 회피 조향 제어가 개선된 주차 지원 방법.
청구항 13에 있어서,
상기 주차지원단계는,
상기 장애물 맵에 저장되어 있는 장애물의 포인트 좌표와 주차공간으로 진입하는 차량에서 장애물과의 접촉을 회피해야 하는 차량 부위로 설정된 차량 기준점 상호간의 거리 관계에 기반하여, 차량이 회피해야 하는 장애물의 포인트를 회피 기준점으로 선택하는 회피 기준점 결정단계; 및
상기 차량 기준점이 회피 기준점을 회피하여 주차공간으로 진입할 수 있도록 차량을 조향 제어하기 위해 요구되는 정렬각을 연산하는 정렬각 산출단계;
를 포함하는 회피 조향 제어가 개선된 주차 지원 방법.
청구항 17에 있어서,
상기 회피 기준점 결정단계는,
차량의 중심을 기준으로 하는 로컬 좌표계 상의 x축 일측의 +y축 방향과 타측의 -y축 방향 각각의 일정 영역을 제1기준점 관심영역과 제2기준점 관심영역으로 설정하는 기준점 관심영역 설정과정; 및
상기 제1기준점 관심영역과 제2기준점 관심영역에 있는 장애물의 포인트들 중 상기 차량 기준점과의 거리가 최소인 장애물의 좌표를 회피 기준점으로 선택하는 회피 기준점 선택과정;
을 포함하는 회피 조향 제어가 개선된 주차 지원 방법.
청구항 17에 있어서,
상기 회피 기준점 결정단계는,
상기 기준점 관심영역에 있는 다수의 장애물 포인트 중 상기 차량 기준점과의 거리가 최소인 포인트를 선택함에 있어, 주차공간으로 진입 중인 차량과 장애물과의 거리가 감소함에 따라 y축방향으로의 가중치를 증가시켜 적용하는 가중치 가변과정;
을 더 포함하는 회피 조향 제어가 개선된 주차 지원 방법.
청구항 17에 있어서,
상기 정렬각 산출단계는,
차량의 전면 중심에 설정되어 있는 차량 기준점과 회피 기준점이 이루는 각도의 평균을 차량이 장애물을 회피하면서 주차공간으로 진입하기 위해 요구되는 초기 정렬각으로 산출하는 초기 정렬각 산출과정;
상기 초기 정렬각을 나타내는 직선인 중심 기준선과 평행하면서 각 회피 기준점을 지나는 직선인 제1회피 기준선 및 제2회피 기준선을 이용하여, 상기 제1회피 기준선과 중심 기준선 사이의 영역을 제1회피 관심영역으로 설정하고, 상기 제2회피 기준선과 중심 기준선 사이의 영역을 제2회피 관심영역으로 설정하는 회피 관심영역 설정과정; 및
상기 제1회피 관심영역 내에 있는 장애물의 포인트들과 제1회피 기준선 사이의 거리 합과 상기 제2회피 관심영역 내에 있는 장애물들의 포인트들과 제2회피 기준선 사이의 거리 합을 구한 후, 두 거리 합의 차이가 최소가 되도록 상기 초기 정렬각을 수정하는 정렬각 변화량을 산출하는 정렬각 변화량 산출과정;
을 포함하는 회피 조향 제어가 개선된 주차 지원 방법.