KR102062923B1

KR102062923B1 - 주차지원시스템

Info

Publication number: KR102062923B1
Application number: KR1020130067081A
Authority: KR
Inventors: 이성수
Original assignee: 현대모비스 주식회사
Priority date: 2013-06-12
Filing date: 2013-06-12
Publication date: 2020-01-06
Also published as: CN104228681B; KR20140144905A; CN104228681A; US20140368636A1

Abstract

차량의 주차 안내를 위한 주차지원시스템이 개시된다. 본 발명의 일 측면에 따르면, 복수개의 카메라를 구비하고, 차량의 전후 및 좌우측 영상을 취득하는 영상취득부; 상기 영상을 합성하여 어라운드뷰(around view) 형태의 합성영상을 생성하는 영상합성부; 상기 합성영상으로부터 윤곽선 영상을 생성하는 영상처리부; 상기 윤곽선 영상으로부터 주차선을 추출하고 상기 추출된 주차선을 통해 주차공간을 산출하는 주차선인식부; 및 상기 주차선 또는 상기 주차공간에 기반하여 차량의 주차경로 또는 가이드라인을 생성하고, 상기 주차경로 또는 상기 가이드라인을 조향휠 자동 제어를 위한 조향휠제어부 또는 상기 합성영상을 디스플레이하는 표시부로 제공하는 주차경로생성부;를 포함하는 주차지원시스템이 제공될 수 있다.

Description

주차지원시스템 {PARKING ASSISTANCE SYSTEM}

본 발명의 주차지원시스템에 관한 것으로, 보다 상세하게는, 차량에 탑재되어 주차시 조향 조작 등을 보조해주는 주차지원시스템에 관한 것이다.

일반적으로 차량을 후진시켜 주차공간에 주차하는 경우, 운전자는 후방의 장애물이나 주차위치를 감지하기 위해 백미러를 주시하거나 머리를 뒤로 돌려 육안으로 후방을 확인하게 된다. 이러한 후진 주차시의 불편함을 해소하기 위해, 근래에는 초음파나 레이저 등을 통해 차량 후방측의 장애물 존재 여부를 운전자에게 알려주거나, 차량 후방에 장착된 카메라를 통해 운전자에게 후방 영역의 영상 정보를 제공하도록 하는 주차지원장치 등이 차량에 탑재되고 있다.

나아가, 최근에는 초음파 센서 등을 통해 차량이 주차 가능한 주차공간을 인식하고, 전자동 또는 반자동 형태의 조향 제어를 통해 차량이 주차될 수 있도록 하는 주차지원장치 내지 시스템 또한 등장하여, 운전자의 편의성을 증대시키고 있다. 그러나 종래 통상적인 주차지원장치나 시스템의 경우, 초음파 센서 등을 통한 장애물 감지에 기반하여 주차공간을 인식하게 되는 바, 주차공간 주위에 다른 차량이 주차되어 있지 않거나, 주차된 다른 차량이 주차선에 정렬되어 있지 않은 경우 등에는 주차선에 따른 정확한 주차공간 인식이 어렵게 된다는 기술적 한계가 존재하였다.

본 발명의 실시예들은, 초음파 센서 등 장애물 감지에 기반을 둔 주차공간 인식의 기술적 한계를 극복 가능한 주차지원시스템을 제공하고자 한다.

본 발명의 일 측면에 따르면, 복수개의 카메라를 구비하고, 차량의 전후 및 좌우측 영상을 취득하는 영상취득부; 상기 영상을 합성하여 어라운드뷰(around view) 형태의 합성영상을 생성하는 영상합성부; 상기 합성영상으로부터 윤곽선 영상을 생성하는 영상처리부; 상기 윤곽선 영상으로부터 주차선을 추출하고 상기 추출된 주차선을 통해 주차공간을 산출하는 주차선인식부; 및 상기 주차선 또는 상기 주차공간에 기반하여 차량의 주차경로 또는 가이드라인을 생성하고, 상기 주차경로 또는 상기 가이드라인을 조향휠 자동 제어를 위한 조향휠제어부 또는 상기 합성영상을 디스플레이하는 표시부로 제공하는 주차경로생성부;를 포함하는 주차지원시스템이 제공될 수 있다.

본 발명의 실시예들에 따른 주차지원시스템은 초음파센서 등이 아닌 영상처리를 통해 주차선을 검출하고, 이를 통해, 차량을 주차하기 위한 주차공간을 인식하게 된다. 따라서 주차공간 주위에 감지 가능한 장애물 등이 없는 경우에도 주차공간의 인식이 가능하게 되며, 이에 기반하여 차량의 주차 안내 기능을 수행할 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른 주차지원시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 주차지원시스템의 작동을 보여주는 개략도이다.
도 3은 본 발명의 일 실시예에 따른 영상처리부 및 주차선인식부에 의한 주차선 추출 과정을 보여주는 개략도이다.
도 4는 본 발명의 일 실시예에 따른 주차경로생성부에 의한 가이드라인 및 주차경로 생성 과정을 보여주는 개략도이다.

이하, 본 발명의 실시예들을 첨부된 도면을 참조하여 설명하도록 한다. 다만, 이하의 실시예들은 본 발명의 이해를 돕기 위해 제공되는 것이며, 본 발명의 범위가 이하의 실시예들에 한정되는 것은 아님을 알려둔다. 또한, 이하의 실시예들은 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것으로, 불필요하게 본 발명의 기술적 요지를 흐릴 수 있다고 판단되는 공지의 구성에 대해서는 상세한 기술을 생략하기로 한다.

도 1은 본 발명의 일 실시예에 따른 주차지원시스템의 구성도이다.

도 1을 참고하면, 본 실시예에 따른 주차지원시스템(100)은 영상신호를 제공하는 영상취득부(111) 및 영상합성부(112), 취득된 영상을 전처리하는 영상처리부(120), 전처리된 영상으로부터 주차선 등을 인식하기 위한 주차선인식부(130), 차량의 최적 주차경로를 생성하는 주차경로생성부(140), 영상이나 주차경로 등을 화면상 표시하는 표시부(160), 생성된 주차경로를 따라 차량의 조향휠을 자동 조작하는 조향휠제어부(150)를 포함하여 구성될 수 있다.

먼저, 영상취득부(111)는 복수개의 카메라를 구비하고, 차량의 전후 및 좌우측 영상을 취득하게 된다. 예컨대, 영상취득부(111)는 차량의 전후 및 좌우측에 각각 구비된 총 4개의 카메라를 포함할 수 있다. 영상취득부(111)는 각 카메라를 통해 촬영된 차량 주변의 영상을 영상합성부(112)로 제공하게 된다.

영상합성부(112)는 영상취득부(111)에 의해 제공된 차량 주변의 영상을 합성하여 탑뷰(top view) 또는 어라운드뷰(around view) 형태의 합성영상을 생성하게 된다. 상기의 탑뷰 또는 어라운드뷰 형태의 합성영상은 차량을 소정높이의 가상위치에서 내려다본 형태의 영상을 의미하며, 이러한 영상합성기법은 당업계에 어라운드뷰 모니터링 시스템(Around View Monitoring system, AVM) 등의 명칭으로 공지된 바 있다.

한편, 상기와 같은 영상취득부(111) 및 영상합성부(112)에 의해 생성된 합성영상은 표시부(160)로 제공되게 되며, 표시부(160)는 이를 화면상 표시하여 운전자에게 차량 주변의 장애물 등에 대한 시각적 정보를 제공하게 된다. 이는 종래 어라운드뷰 모니터링 시스템 등으로 알려진 주차지원시스템과 유사하다.

다만, 본 실시예에 따른 주차지원시스템(100)은 영상처리부(120) 및 주차선인식부(130)를 구비하고, 합성영상으로부터 영상 처리를 통해 주차선 등을 인식하게 되는 점에서, 종래의 어라운드뷰 모니터링 시스템 등과 차이점이 있다. 즉, 종래의 어라운드뷰 모니터링 시스템 등의 경우, 차량 주변의 영상을 합성하여 운전자에게 단순히 보여주는 정도에 그쳤던데 반해, 본 실시예에 따른 주차지원시스템(100)의 경우, 영상 처리를 통해 합성영상으로부터 주차선 등 주차에 필요한 정보를 검출하게 된다.

보다 구체적으로, 영상처리부(120)는 영상취득부(111) 및 영상합성부(112)로부터 영상신호(합성영상)을 제공받고, 주차선 인식을 위한 영상 처리 과정을 수행하게 된다. 또한, 주차선인식부(130)는 영상처리부(120)에서 전처리된 영상을 제공받아 주차선 후보점을 추출하고 라인 피팅(line fitting) 알고리즘 및 주차선의 기하학적 조건을 통해 관심 주차선을 인식하게 되며, 인식된 관심 주차선에 기반하여 차량이 주차 가능한 주차공간을 검출하게 된다.

상기와 같은 영상처리부(120) 및 주차선인식부(130)는 영상 처리에 기반하여 주차선이나 주차공간을 인식함으로써, 종래 주차지원시스템의 기술적 한계를 극복할 수 있게 된다.

예컨대, 현재 주차공간 인식을 위해 널리 사용되는 초음파센서의 경우, 장애물 감지여부에 따라 주차공간을 인식하기 때문에, 주차하고자 하는 주차공간 주위에 장애물(즉, 주차된 다른 차량)이 없는 경우에는 효과적으로 주차공간을 인식하지 못하는 문제점이 발생되게 된다. 또한, 초음파센서에 의한 주차공간 인식 및 안내는, 감지된 장애물과 자차가 기 설정된 간격을 유지하는 방향으로 주차 안내되기 때문에, 주차공간 주위의 다른 차량이 주차선에 어긋나게 주차되어 있는 경우, 자차 또한 주차선과 비뚤어지거나 어긋한 형태로 주차 안내하게 되는 문제점이 있다.

그러나 본 실시예에 따른 주차지원시스템(100)의 경우, 초음파센서에 의한 장애물 감지가 아닌, 실제 촬영된 차량 주위의 영상을 통해 직접 주차선이나 주차공간을 인식하기 때문에, 주차하고자 하는 주차공간 주위에 다른 차량이 없거나, 주위의 다른 차량이 주차선에 어긋나 주차된 경우에도, 주차선에 의해 구획된 올바른 주차공간을 인식 가능하게 된다.

영상처리부(120) 및 주차선인식부(130)를 통한 주차선이나 주차공간 인식은 후술할 도 3을 통해 부연 설명하기로 한다.

한편, 주차경로생성부(140)는 영상처리부(120) 및 주차선인식부(130)에 의해 인식된 주차공간을 통해 차량을 주차하기 위한 주차경로 또는 주차궤적을 생성하게 된다. 또는, 주차경로생성부(140)는 인식된 주차공간 내로 차량이 주차되는데 있어 운전자에게 가이드를 제공할 수 있도록 가이드라인을 생성할 수 있다. 또한, 생성된 주차경로나 가이드라인 등은 표시부(160)로 제공되어, 영상취득부(111) 및 영상합성부(112)에 의한 합성영상과 함께 표시될 수 있다. 예컨대, 표시부(160)에는 합성영상에 중첩된 형태로 주차경로나 가이드라인 등이 표시될 수 있으며, 주차경로나 가이드라인은 화면상 도형, 라인, 색구분, 음영 등을 통해 운전자가 식별 가능하게 표시될 수 있다.

한편, 필요에 따라, 본 실시예에 따른 주차지원시스템(100)은 조향휠제어부(150)를 구비할 수 있으며, 조향휠제어부(150)는 주차경로생성부(140)로부터 제공되는 주차경로 정보를 통해 조향휠을 자동 제어하여 차량이 주차공간 내 주차될 수 있도록 한다. 인식된 주차공간이나 선택된 주차위치로 차량이 주차될 수 있도록 주차경로를 생성하고, 이를 통해 조향휠을 자동 제어하게 되는 구성은, 스마트 주차지원시스템(Smart Parking Assistance System, SPAS) 등을 명칭으로 당업계에 공지된 바 있다.

끝으로, 표시부(160)는 영상취득부(111) 및 영상합성부(112)에서 제공되는 합성영상이나 주차경로생성부(140)에서 제공되는 주차궤적 등을 디스플레이하여, 운전자에게 차량 주변의 상황이나 자차의 위치 정보 등을 알려주게 되며, 필요에 따라, 운전자로부터 각종 지시 및 선택사항을 입력 받을 수 있도록 터치스크린이나 터치패널 등으로 구성될 수 있다.

도 2는 본 발명의 일 실시예에 따른 주차지원시스템의 작동을 보여주는 개략도이다.

도 2의 (a)를 참고하면, 먼저, 운전자가 차량(C)을 주차공간(P) 근처로 이동시키고, 주차지원시스템(100)을 작동시키게 된다.

주차지원시스템(100)이 작동되면, 차량의 전후 및 좌우측에 설치된 카메라를 통해 영상취득부(111)가 차량 주변의 영상을 취득하게 되며, 영상합성부(112)에서는 이를 합성하여 탑뷰 형태의 합성영상을 생성하게 된다. 생성된 합성영상은 표시부(160)를 통해 도 2의 (b)와 같은 형태로 표시되어, 자차(C)를 중심으로 한 차량 주변의 전후 및 좌우측 영상이 운전자에게 제공되게 된다.

한편, 영상처리부(120) 및 주차선인식부(130)는 합성영상을 통해 주차공간(P)을 정의하는 양측 주차선(L1, L2)을 검출하고 추출된 양측 주차선(L1, L2) 사이의 공간을 주차공간(P)으로 인식하게 된다. 이에 대하여는 후술할 도 3을 참조하여 부연하기로 한다.

다음으로, 도 2의 (c)를 참고하면, 주차경로생성부(140)를 통해 주차경로(Q) 또는 가이드라인(G1, G2)이 생성되게 된다. 이때, 주차경로생성부(140)는 상기 영상처리부(120) 및 주차선인식부(130)에 의해 인식된 주차공간(P)에 기반하여 주차경로(Q)나 가이드라인(G1, G2)을 생성할 수 있다. 예컨대, 주차경로생성부(140)는 추출된 양측 주차선(L1, L2)의 중심선(G1)이 차량(C)의 종렬축(G2)과 일치하도록 주차경로(Q)를 생성하거나, 상기와 같은 중심선(G1) 및 종렬축(G2)을 운전자의 조향 조작을 보조하기 위한 가이드라인으로 제공할 수 있다.

끝으로, 도 2의 (d)와 같이, 주차경로(Q)나 가이드라인(G1, G2)이 표시부(160)에 합성영상과 함께 표시되게 되며, 가이드라인(G1, G2)에 의해 안내되는 운전자의 조향 조작이나, 조향휠제어부(150) 등에 의해 자동 조향 제어에 의해 차량이 주차공간(P) 내 주차 완료되게 된다.

도 3은 본 발명의 일 실시예에 따른 영상처리부 및 주차선인식부에 의한 주차선 추출 과정을 보여주는 개략도이다.

먼저, 도 3의 (a)를 참고하면, 영상처리부(120)는 제공된 합성영상을 그레이(gray) 처리하여 윤곽선 영상을 생성하고, 주차선인식부(130)는 윤곽선 영상에서 밝기 변화율이 상대적으로 높은 점(픽셀)들을 주차선 후보점(B)으로 선정할 수 있다.

또한, 도 3의 (b)와 같이, 주차선인식부(130)는 선정된 주차선 후보점(B)을 중심으로 360도 방향으로 밝기 변화율을 탐색하는 라인 피팅 알고리즘을 통해 주차선(L1, L2) 인식을 위한 기준선(N) 성분을 추출하게 된다. 또한, 주차선인식부(130)는 다수의 기준선(N)이 추출되는 경우, 실제 주차선(L1, L2)의 위치 조건을 고려하여 관심 기준선(N) 또는 관심 주차선(L1, L2)을 선정할 수 있다. 예컨대, 차량(C)이 후진하여 병렬 주차되는 경우, 주차선인식부(130)는 차량(C)의 후방에 위치된 기준선(N) 및 차폭 방향으로 이격 배치된 기준선(N)을 관심 기준선(N)으로 선정할 수 있다. 이는 차량(C)의 후진 주차시 조향 조작이나 주차 안내는, 차폭 방향으로 이격된 주차선(L1, L2) 사이로 차량을 배치시키는데 중점을 두게 됨을 고려한 것이다.

한편, 기준선(N) 성분이 추출되면, 도 3의 (c)와 같이 주차선(L1, L2)의 기하학적 조건을 통해 최종 주차선(L1, L2)을 인식 및 결정하게 된다. 이때, 주차선(L1, L2)의 기하학적 조건으로는 주차선(L1, L2)의 두께, 양측 주차선(L1, L2) 간의 간격 등이 고려될 수 있다. 또한, 최종 주차선(L1, L2)이 인식 및 결정되면, 주차공간(P)은 주차선(L1, L2) 사이의 공간으로 정의될 수 있으며, 주차공간(P)의 크기(즉, 좌우폭) 등도 결정된 주차선(L1, L2)을 통해 산출될 수 있게 된다.

상기와 같은 과정을 거쳐 주차선(L1, L2)이나 주차공간(P)이 인식되면, 주차경로생성부(140)는 이에 기반하여 주차경로(Q)나 가이드라인(G1, G2)을 생성하게 되며, 도 3의 (d)에 도시된 바와 같이, 표시부(160)에 주차경로(Q)나 가이드라인(G1, G2)이 표시되어, 운전자의 조향 조작 또는 조향휠제어부(150)에 의해 차량(C)의 주차가 이뤄지게 된다.

도 4는 본 발명의 일 실시예에 따른 주차경로생성부에 의한 가이드라인 및 주차경로 생성 과정을 보여주는 개략도이다.

도 4를 참고하면, 주차경로생성부(140)는 인식된 양측 주차선(L1, L2)을 기준으로 중심선(G1)을 설정할 수 있으며, 차량(C)의 종렬축(G2)이 상기와 같은 중심선(G1)에 일치하도록 주차경로(Q)를 생성할 수 있다. 또한, 상기와 같은 중심선(G1) 및 종렬축(G2)은 조향 조작을 위한 일종의 가이드라인으로써 표시부(160)에 디스플레이될 수 있으며, 주차경로(Q) 또한 표시부(160)에 디스플레이될 수 있다.

또한, 표시부(160)에 표시되는 상기 가이드라인이나 주차경로(Q)는, 운전자의 조향 조작이나 조향휠제어부(150)에 의한 차량(C)의 이동중에 지속적으로 갱신하여 표시될 수 있다. 따라서 운전자는 상기 가이드라인이나 주차경로(Q)를 보고 차량(C)을 보다 쉽고 간편하게 주차공간(P) 내 주차할 수 있게 되며, 또는, 조향휠제어부(150)에 자동 제어되는 경우에도 차량(C)의 위치나 주변 상황을 쉽게 확인할 수 있게 된다.

이상에서 설명한 바와 같이, 본 실시예에 따른 주차지원시스템(100)은 초음파센서 등이 아닌 영상처리를 통해 주차선(L1, L2)을 검출하고, 이를 통해, 차량을 주차하기 위한 주차공간(P)을 인식하게 된다. 따라서 주차공간(P) 주위에 감지 가능한 장애물 등이 없는 경우에도 간편하게 주차공간(P)의 인식이 가능하게 된다. 또한, 본 실시예에 따른 주차지원시스템(100)은 추출된 양측 주차선(L1, L2)의 중심에 중심선(G1)을 설정하고 차량의 종렬축(G2)을 이에 일치시킬 수 있도록, 주차경로(Q)를 생성하거나, 중심선(G1) 등을 가이드라인으로써 표시부(160)에 표시하게 된다. 따라서 간단한 연산 과정을 통해 신속하게 주차경로(Q)의 산출이 가능하게 되며, 운전자가 직접 조향 조작하는 경우에도 차량의 주차위치에 대한 쉽고 직관적인 시각 정보를 제공할 수 있게 된다.

이상, 본 발명의 일 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.

100: 주차지원시스템 111: 영상취득부
112: 영상합성부 120: 영상처리부
130: 주차선인식부 140: 주차경로생성부
150: 조향휠제어부 160: 표시부

Claims

복수개의 카메라를 구비하고, 차량의 전후 및 좌우측 영상을 취득하는 영상취득부;
상기 영상을 합성하여 어라운드뷰(around view) 형태의 합성영상을 생성하는 영상합성부;
상기 합성영상으로부터 윤곽선 영상을 생성하는 영상처리부;
상기 윤곽선 영상으로부터 주차선을 추출하고 상기 추출된 주차선을 통해 주차공간을 산출하는 주차선인식부; 및
상기 주차선 또는 상기 주차공간에 기반하여 차량의 주차경로 또는 가이드라인을 생성하고, 상기 주차경로 또는 상기 가이드라인을 조향휠 자동 제어를 위한 조향휠제어부 또는 상기 합성영상을 디스플레이하는 표시부로 제공하는 주차경로생성부;를 포함하며,
상기 주차선인식부는,
상기 윤곽선 영상에서 밝기 변화율이 상대적으로 높은 픽셀을 주차선 후보점으로 선정하고, 상기 선정된 주차선 후보점을 중심으로 360도 방향으로 밝기 변화율을 탐색하여 상기 주차선 추출을 위한 기준선 성분을 추출하며,
상기 주차선인식부는,
추출된 상기 기준선 성분에 실제 주차선의 기하학적 조건을 적용하여 최종 주차선을 결정하되,
상기 기하학적 조건은, 주차선의 두께, 양측 주차선 간의 간격, 차량에 대한 주차선의 위치 중 적어도 하나를 포함하며,
상기 주차선인식부는, 차폭 방향으로 이격된 양측 주차선을 검출하며,
상기 주차선인식부는,
다수의 기준선이 추출되는 경우, 실제 주차선의 위치 조건을 고려하여 관심 기준선 또는 관심 주차선을 선정하고,
상기 주차선인식부는,
차량이 후진하여 병렬 주차되는 경우, 차량의 후진 주차시 차폭 방향으로 이격된 주차선 사이로 차량이 배치되도록, 차량의 후방에 위치된 기준선 및 차폭 방향으로 이격 배치된 기준선을 관심 기준선으로 선정하며,
상기 주차경로생성부는,
상기 양측 주차선의 중심선과, 상기 차량의 종렬축이 일치하도록 상기 주차경로를 생성하며,
상기 표시부로 제공되는 상기 가이드라인은,
상기 중심선 및 상기 종렬축 중 적어도 하나를 포함하고,
상기 주차경로생성부는,
표시부에 표시되는 상기 가이드라인이나 주차경로가, 운전자의 조향 조작이나 조향휠제어부에 의한 차량의 이동중에 지속적으로 갱신되도록 하는 것을 특징으로 하는 주차지원시스템.
삭제
삭제
삭제
삭제