KR20230068653A - 차량용 어라운드 뷰 시스템 - Google Patents

Abstract

본 발명은 차량의 전, 후, 좌, 우에 설치된 카메라에 의해 촬영된 이미지에 기초하여 어라운드 뷰를 제공하는 시스템에 관한 것이다. 본 발명의 일 실시예에 따른 차량용 어라운드 뷰 시스템은 차량의 전, 후, 좌, 우에 각각 설치되는 제1 내지 제4 카메라, 상기 제1 내지 제4 카메라에서 촬영된 이미지를 합성하여 어라운드 뷰 이미지를 생성하는 프로세서 및 상기 어라운드 뷰 이미지를 표시하는 디스플레이를 포함하는 것을 특징으로 한다.

Description

차량용 어라운드 뷰 시스템{AROUND VIEW SYSTEM FOR VEHICLE}

본 발명은 차량의 전, 후, 좌, 우에 설치된 카메라에 의해 촬영된 이미지에 기초하여 어라운드 뷰를 제공하는 시스템에 관한 것이다.

차량의 주차 미숙으로 인한 타 차량 충돌, 인명 충돌, 구조물 충돌 등의 문제는 꾸준히 발생하고 있으나, 이를 해결하기 위해서는 실제 환경에서 주차 경험을 쌓는 수밖에 없다. 즉, 연습을 실제 환경에서 수행해야 하므로 초보 운전자의 주차 실력 향상이 어려운 실정이다.

한편, 운전자의 편의를 위해 차량에는 각종 센서와 전자장치 등이 구비되고 있으며, 특히 주차 편의를 위한 장치들이 개발되고 있다. 그 중 대표적인 장치로는 전방 주차 시 운전자가 전방의 장애물과 차량간의 거리를 파악할 수 있도록 차량 전방의 영상을 촬영하는 전방 카메라가 있고, 후방 주차 시 운전자가 후방의 장애물과 차량간의 거리를 파악할 수 있도록 차량 후방의 영상을 촬영하는 후방 카메라가 있다.

그러나 주차 미숙으로 인한 사고는 전방 또는 후방에 있는 장애물과 충돌하는 것 보다는 주로 측방, 전측방 또는 후측방에 위치한 인접 차량과 충돌하는 것이 일반적이므로, 차량 주변의 장애물들을 탑 뷰(top view)로 파악할 수 있는 기술이 요구되고 있다.

본 발명은 차량의 전, 후, 좌, 우에 설치된 카메라에 의해 촬영된 이미지를 합성하여 어라운드 뷰를 제공하는 것을 목적으로 한다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 차량용 어라운드 뷰 시스템은 차량의 전, 후, 좌, 우에 각각 설치되는 제1 내지 제4 카메라, 상기 제1 내지 제4 카메라에서 촬영된 이미지를 합성하여 어라운드 뷰 이미지를 생성하는 프로세서 및 상기 어라운드 뷰 이미지를 표시하는 디스플레이를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 제1 내지 제4 카메라 중 인접한 카메라의 화각은 중첩되는 것을 특징으로 한다.

일 실시예에서, 상기 프로세서는 상기 차량의 속도가 기준속도 미만이면 상기 어라운드 뷰 이미지를 생성하는 것을 특징으로 한다.

일 실시예에서, 상기 프로세서는 상기 차량의 기어가 후진 기어로 설정되면 상기 어라운드 뷰 이미지를 생성하는 것을 특징으로 한다.

본 발명은 차량의 전, 후, 좌, 우에 설치된 카메라에 의해 촬영된 이미지를 합성하여 어라운드 뷰를 제공함으로써, 운전자로 하여금 차량 주변의 장애물을 쉽게 파악할 수 있도록 하여 운전자의 주차 편의성을 향상시킴과 동시에 주차 경험을 쉽게 제공함으로써 운전자의 주차 숙련도를 높일 수 있다.

상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.

도 1은 본 발명의 일 실시예에 따른 제1 내지 제4 카메라가 차량에 설치된 모습을 도시한 도면.
도 2는 도 1에 도시된 제1 내지 제4 카메라의 촬영 영역을 도시한 도면.
도 3은 제1 내지 제4 카메라 중 인접한 카메라의 촬영 영역이 중첩되는 모습을 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 차량용 어라운드 뷰 시스템을 도시한 도면.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.

본 명세서에서 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것으로, 특별히 반대되는 기재가 없는 한, 제1 구성요소는 제2 구성요소일 수도 있음은 물론이다.

또한, 본 명세서에서 "상부 (또는 하부)" 또는 구성요소의 "상 (또는 하)"에 임의의 구성이 배치된다는 것은, 임의의 구성이 상기 구성요소의 상면 (또는 하면)에 접하여 배치되는 것뿐만 아니라, 상기 구성요소와 상기 구성요소 상에 (또는 하에) 배치된 임의의 구성 사이에 다른 구성이 개재될 수 있음을 의미할 수 있다.

또한, 본 명세서에서 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 상기 구성요소들은 서로 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 다른 구성요소가 "개재"되거나, 각 구성요소가 다른 구성요소를 통해 "연결", "결합" 또는 "접속"될 수도 있는 것으로 이해되어야 할 것이다.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 명세서에서, "A 및/또는 B" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, A, B 또는 A 및 B 를 의미하며, "C 내지 D" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, C 이상이고 D 이하인 것을 의미한다

본 발명은 차량의 전, 후, 좌, 우에 설치된 카메라에 의해 촬영된 이미지에 기초하여 어라운드 뷰를 제공하는 시스템에 관한 것이다. 차량용 어라운드 뷰 시스템은 차량에 구비되어 후술하는 동작을 수행할 수 있다. 이하, 도 1 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 차량용 어라운드 뷰 시스템을 구체적으로 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 제1 내지 제4 카메라가 차량에 설치된 모습을 도시한 도면이다.

도 2는 도 1에 도시된 제1 내지 제4 카메라의 촬영 영역을 도시한 도면이고, 도 3은 제1 내지 제4 카메라 중 인접한 카메라의 촬영 영역이 중첩되는 모습을 도시한 도면이다.

도 4는 본 발명의 일 실시예에 따른 차량용 어라운드 뷰 시스템을 도시한 도면이다.

본 명세서에서 기술되는 차량(1)은, 자동차, 오토바이를 포함할 수 있으나, 이하 설명의 편의를 위하여 자동차를 차량(1)으로 가정하여 설명하도록 한다. 또한, 본 명세서에서 차량(1)은, 동력원으로서 엔진을 구비하는 차량, 엔진과 전기모터를 함께 구비하는 하이브리드 차량, 전기 모터를 구비하는 전기차를 모두 포함할 수 있다.

한편, 본 명세서에서 어라운드 뷰(around view)는 차량(1)을 기준으로 한 탑 뷰(top view) 또는 버드 아이 뷰(bird eye view)를 포함하는 개념으로 사용될 수 있다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 제1 내지 제4 카메라(110a 내지 110d)는 차량(1)의 전, 후, 좌, 우에 각각 설치될 수 있다. 구체적으로, 제1 카메라(110a)는 차량(1)의 전면에 설치되어 차량(1)의 전방을 촬영할 수 있고, 제2 카메라(110b)는 차량(1)의 후면에 설치되어 차량(1)의 후방을 촬영할 수 있고, 제3 카메라(110c)는 차량(1)의 좌측에 설치되어 차량(1)의 좌측방을 촬영할 수 있으며, 제4 카메라(110d)는 차량(1)의 우측에 설치되어 차량(1)의 우측방을 촬영할 수 있다.

도 1에 도시된 각 카메라(110a 내지 110d)의 위치는 예시적인 것이며, 각 카메라는 차량(1)의 전방, 후방, 측방을 촬영할 수 있는 임의의 위치에서 차량(1)에 설치될 수 있다.

도 2를 참조하면, 제1 내지 제4 카메라(110a 내지 110d)는 특정 촬영 영역(210a 내지 210d)에 대한 이미지를 생성할 수 있다. 구체적으로, 제1 카메라(110a)는 차량(1) 전방의 제1 촬영 영역(210a)에 대한 이미지를 생성하고, 제2 카메라(110b)는 차량(1) 후방의 제2 촬영 영역(210b)에 대한 이미지를 생성하고, 제3 카메라(110c)는 차량(1) 좌측방의 제3 촬영 영역(210c)에 대한 이미지를 생성하며, 제4 카메라(110d)는 차량(1) 우측방의 제4 촬영 영역(210d)에 대한 이미지를 생성할 수 있다. 이 때, 모든 제1 내지 제4 촬영 영역(210a 내지 210d)이 커버하는 전체 영역은 차량(1) 주변의 360도 영역을 포함할 수 있다.

한편, 후술하는 프로세서(120)의 어라운드 뷰 이미지 생성 동작에서, 이미지의 캘리브레이션(calibration)을 위해 인접한 촬영 영역은 서로 중첩될 필요가 있다. 이를 위해, 본 발명의 제1 내지 제4 카메라(110a 내지 110d) 중 인접한 카메라의 화각은 중첩될 수 있다.

도 3을 참조하면, 제1 카메라(110a)는 제3 카메라(110c)와 인접할 수 있고, 제1 카메라(110a)의 화각과 제3 카메라(110c)의 화각은 중첩될 수 있다. 이에 따라, 제1 촬영 영역(210a)과 제3 촬영 영역(210c)은 중첩 영역(OR1)을 형성할 수 있다. 또한, 제1 카메라(110a)는 제4 카메라(110d)와 인접할 수 있고, 제1 카메라(110a)의 화각과 제4 카메라(110d)의 화각은 중첩될 수 있다. 이에 따라, 제1 촬영 영역(210a)과 제4 촬영 영역(210d)은 중첩 영역(OR2)을 형성할 수 있다.

마찬가지로, 제2 카메라(110b)와 제3 카메라(110c)는 인접할 수 있고, 제2 카메라(110b)의 화각과 제3 카메라(110c)의 화각은 중첩될 수 있다. 이에 따라, 제2 촬영 영역(210b)과 제3 촬영 영역(210c)은 중첩 영역(OR3)을 형성할 수 있다. 또한, 제2 카메라(110b)와 제4 카메라(110d)는 인접할 수 있고, 제2 카메라(110b)의 화각과 제4 카메라(110d)의 화각은 중첩될 수 있다. 이에 따라, 제2 촬영 영역(210b)과 제4 촬영 영역(210d)은 중첩 영역(OR4)을 형성할 수 있다.

프로세서(120)는 제1 내지 제4 카메라(110a 내지 110d)에서 촬영된 이미지를 합성하여 어라운드 뷰 이미지를 생성할 수 있다. 이하, 도 4를 참조하여 어라운드 뷰 이미지를 생성하기 위한 본 발명의 일 실시예에 따른 동작을 구체적으로 설명하도록 한다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 차량용 어라운드 뷰 시스템(100)은 전술한 제1 내지 제4 카메라(110a 내지 110d), 프로세서(120), 디스플레이(130), 메모리(140), 오디오 출력부(150), 전원 공급부(160) 및 인터페이스부(170)를 포함할 수 있다. 다만, 도 4에 도시된 차량용 어라운드 뷰 시스템(100)은 일 실시예에 따른 것이고, 그 구성요소들이 도 4에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 일부 구성요소가 부가, 변경 또는 삭제될 수 있다.

인터페이스부(170)는 차량(1) 관련 데이터를 외부로부터 수신하거나, 프로세서(120)에서 처리 또는 생성된 신호를 외부로 전송할 수 있다. 이를 위해, 인터페이스부(170)는 유무선 통신 방식을 통해 차량(1) 내부의 ECU(Electronic Control Unit, 310), 센서부(320), AVN(Audio, Video, Navigation, 330) 등과 데이터 통신을 수행할 수 있다.

예컨대, 인터페이스부(170)는 AVN(330)과의 데이터 통신을 통해 차량(1) 주행과 관련된 맵 정보를 수신할 수 있고, ECU(310) 또는 센서부(320)로부터 차량(1) 내외 센싱 정보를 수신할 수 있다. 여기서 센싱 정보는 차량 조향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 기어 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보 중 적어도 하나를 포함할 수 있다.

메모리(140)는 후술하는 프로세서(120)의 동작을 위한 프로그램 등 차량(1)의 어라운드 뷰 이미지를 생성 및 제공 동작을 위한 다양한 데이터가 저장될 수 있다.

오디오 출력부(150)는 프로세서(120)에서 제공된 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 오디오 출력부(150)는 스피커 등의 음향 출력 수단을 더 포함할 수 있다. 또한, 오디오 출력부(150)는 사용자 음성을 입력받을 수도 있다. 이를 위해, 오디오 출력부(150)는 마이크 등의 음향 수신 수단을 더 포함할 수 있다. 사용자 음성이 입력되면 오디오 출력부(150)는 이를 전기 신호로 변환하여 프로세서(120)로 제공할 수 있다.

전원 공급부(160)는 프로세서(120)의 제어에 따라 시스템(100) 내 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 전원 공급부(160)는 차량(1) 내부에 구비된 차량용 배터리로부터 전원을 공급받을 수 있고, 이를 각 구성요소에 제공할 수 있다.

프로세서(120)는 차량용 어라운드 뷰 시스템(100) 내의 각 구성요소 동작을 전반적으로 제어할 수 있다. 특히, 프로세서(120)는 제1 내지 제4 카메라(110a 내지 110d)로부터 획득된 이미지를 합성하여 어라운드 뷰 이미지를 생성할 수 있다.

이를 위해, 프로세서(120)는 컴퓨터 비전(computer vision) 기반의 신호 처리를 수행할 수도 있다. 예를 들어, 제1 내지 제4 카메라(110a 내지 110d)에서 생성된 이미지에 기초하여, 차량(1) 주변에 대한 디스패러티(disparity) 연산을 수행하고, 연산된 디스패러티 정보에 기초하여 합성되는 각 이미지 간의 경계를 자연스럽게 할 수 있다.

또한, 프로세서(120)는 이미지 내에서 오브젝트(object)를 검출할 수 있고, 검출된 오브젝트를 트래킹(tracking)할 수 있다. 특히, 프로세서(120)는 오브젝트 검출 시 차선 검출, 주변 차량 검출, 보행자 검출, 도로면 검출 등을 수행할 수 있으며, 검출된 주변 차량 또는 보행자와의 거리 연산 등의 동작 또한 수행할 수 있다.

프로세서(120)는 제1 내지 제4 카메라(110a 내지 110d)에서 촬영된 이미지를 수신하고, 전처리(preprocessing)을 수행할 수 있다. 구체적으로, 프로세서(120)는 복수의 이미지에 대한 노이즈 리덕션(noise reduction), 렉티피케이션(rectification), 캘리브레이션, 색상 강화(color enhancement), 색상 공간 변환(color space conversion; CSC), 인터폴레이션(interpolation), 카메라 게인 컨트롤(camera gain control) 등을 수행할 수 있다. 이에 따라, 제1 내지 제4 카메라(110a 내지 110d)에서 촬영된 이미지를 보다 선명하게 가공할 수 있다.

이어서, 프로세서(120)는 전치리된 복수의 이미지에 대한 스테레오 매칭(stereo matching)을 수행하여, 스트레오 매칭에 따른 디스패러티 맵(disparity map)을 생성함으로써, 차량(1) 주변에 대한 디스패러티 정보를 파악할 수도 있다.

구체적으로, 프로세서(120)는 디스패러티 맵 내 디스패리터 값이 소정치 이하인 영역을 배경으로 연산하고, 해당 부분을 이미지에서 제외시킬 수 있다. 또한, 프로세서(120)는 디스패러티 맵 내 디스패리터 값이 소정치 이상인 영역을 전경으로 연산하고, 해당 부분을 이미지에서 추출할 수 있다.

프로세서(120)의 어라운드 뷰 이미지 생성 동작은 차량(1)의 속도가 기준속도 미만인 경우에 한해 수행될 수 있다. 전술한 바와 같이, 프로세서(120)는 ECU(310)로부터 차량 속도 정보를 수신할 수 있고, 차량 속도와 기준 속도를 비교할 수 있다. 비교 결과, 차량 속도가 기준 속도 미만인 경우에 한해 어라운드 뷰 이미지를 생성할 수 있다.

또한, 프로세서(120)의 어라운드 뷰 이미지 생성 동작은 차량(1)의 기어가 후진 기어로 설정된 경우에 한해 수행될 수 있다. 전술한 바와 같이, 프로세서(120)는 ECU(310)로부터 차량 기어 정보를 수신할 수 있고, 차량(1)의 현재 기어가 후진 기어인지 판단하여, 차량(1)의 기어가 후진 기어로 설정된 경우에 한해 어라운드 뷰 이미지를 생성할 수 있다.

프로세서(120)에 의해 어라운드 뷰 이미지가 생성되면, 디스플레이(130)는 이를 표시할 수 있다. 디스플레이(130)는 차량(1) 내부 전면의 클러스터(cluster) 또는 HUD(Head Up Display)를 포함할 수 있고, HUD를 포함하는 경우 차량(1)의 전면 유리에 이미지를 투사하기 위한 프로젝터를 더 포함할 수 있다.

전술한 본 발명은 차량(1)의 전, 후, 좌, 우에 설치된 카메라에 의해 촬영된 이미지를 합성하여 어라운드 뷰를 제공함으로써, 운전자로 하여금 차량(1) 주변의 장애물을 쉽게 파악할 수 있도록 하여 운전자의 주차 편의성을 향상시킴과 동시에 주차 경험을 쉽게 제공함으로써 운전자의 주차 숙련도를 높일 수 있다.

이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을 지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.

Claims (4)

1. 차량의 전, 후, 좌, 우에 각각 설치되는 제1 내지 제4 카메라;
   상기 제1 내지 제4 카메라에서 촬영된 이미지를 합성하여 어라운드 뷰 이미지를 생성하는 프로세서; 및
   상기 어라운드 뷰 이미지를 표시하는 디스플레이를 포함하는
   차량용 어라운드 뷰 시스템.
   
2. 제1항에 있어서,
   상기 제1 내지 제4 카메라 중 인접한 카메라의 화각은 중첩되는 차량용 어라운드 뷰 시스템.
   
3. 제1항에 있어서,
   상기 프로세서는 상기 차량의 속도가 기준속도 미만이면 상기 어라운드 뷰 이미지를 생성하는 차량용 어라운드 뷰 시스템.
   
4. 제1항에 있어서,
   상기 프로세서는 상기 차량의 기어가 후진 기어로 설정되면 상기 어라운드 뷰 이미지를 생성하는 차량용 어라운드 뷰 시스템.

Images