KR20160034681A - 차량의 주변 감시 장치 및 방법 - Google Patents

차량의 주변 감시 장치 및 방법 Download PDF

Info

Publication number
KR20160034681A
KR20160034681A KR1020140125952A KR20140125952A KR20160034681A KR 20160034681 A KR20160034681 A KR 20160034681A KR 1020140125952 A KR1020140125952 A KR 1020140125952A KR 20140125952 A KR20140125952 A KR 20140125952A KR 20160034681 A KR20160034681 A KR 20160034681A
Authority
KR
South Korea
Prior art keywords
image
vehicle
unit
angle camera
wide
Prior art date
Application number
KR1020140125952A
Other languages
English (en)
Other versions
KR102190892B1 (ko
Inventor
권석근
안재혁
Original Assignee
에스엘 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스엘 주식회사 filed Critical 에스엘 주식회사
Priority to KR1020140125952A priority Critical patent/KR102190892B1/ko
Publication of KR20160034681A publication Critical patent/KR20160034681A/ko
Application granted granted Critical
Publication of KR102190892B1 publication Critical patent/KR102190892B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 차량의 주변 감시 장치 및 방법에 관한 것으로서, 보다 상세하게는 차량으로부터 근거리 영역뿐만 아니라 원거리 영역을 용이하게 감시할 수 있는 차량의 주변 감시 장치 및 방법에 관한 것이다.
본 발명의 실시예에 따른 차량의 주변 감시 장치는, 복수의 광각 카메라를 이용하여 차량으로부터 서로 다른 방향에 대한 근거리 영역의 영상을 획득하는 제 1영상 획득부, 하나 이상의 협각 카메라를 이용하여 복수의 광각 카메라 중 하나 이상과 동일한 방향에 대한 원거리 영역의 영상을 획득하는 제 2영상 획득부, 상기 근거리 영역 및 상기 원거리 영역의 영상을 통합하여 통합 영상을 생성하는 영상 처리부, 및 상기 생성된 통합 영상을 디스플레이하는 디스플레이부를 포함한다.

Description

차량의 주변 감시 장치 및 방법{Environment monitoring apparatus and method for vehicle}
본 발명은 차량의 주변 감시 장치 및 방법에 관한 것으로서, 보다 상세하게는 차량으로부터 근거리 영역뿐만 아니라 원거리 영역을 용이하게 감시할 수 있는 차량의 주변 감시 장치 및 방법에 관한 것이다.
일반적으로 차량의 주변 영상을 촬영하여 디스플레이시켜주는 시스템이 차량에 보편적으로 설치되어 있지 않아, 운전자는 단지 자신의 육안을 통해 차량 주변을 확인하거나, 인사이드 미러 또는 아웃 사이드 미러를 통해 후방을 확인하고 차량이 전진, 후진 또는 선회하도록 하여 왔다.
그러나 차종에 따라서는 운전석에 앉아 전후방의 주변 환경을 쉽게 확인할 수 있는 것이 있는가 하면, 육안 또는 미러를 통해 확인할 수 없는 사각 지대가 존재하기 마련이다.
특히, 대형 차량의 경우 인사이드 미러나 아웃 사이드 미러만으로는 확인할 수 없는 부위가 상대적으로 많기 때문에 차량을 주행하기에 앞서 차량의 주변을 돌아보면서 육안으로 장애물이 존재하는지 여부를 확인해야만 접촉 사고와 같은 안전 사고 및 인명 사고의 발생을 방지할 수 있다.
따라서, 최근에는 차량의 전후좌우 방향에 각각 설치된 카메라를 통하여 차량 주변의 근거리 영역을 촬영하고, 촬영된 영상을 조합하여 차량에 구비된 디스플레이 장치를 통해 디스플레이하는 장치가 개발되고 있다.
이때, 차량에 설치되는 카메라는 근거리 영역의 촬영에 적합하도록 초점 거리가 짧은 반면 넓은 화각을 가지는 광각 렌즈나 어안 렌즈가 사용되는데, 이 경우 차량으로부터 원거리 영역에 대한 확인이 어렵기 때문에 원거리에 위치한 차량이나 장애물 등을 구분하는데 한계가 있는 문제점이 있다.
따라서, 차량으로부터 근거리 영역뿐만 아니라 원거리 영역에 대해서도 용이하게 확인할 수 있는 방안이 요구되고 있다.
공개특허공보 제10-2011-0059286호(2011.06.02)
본 발명은 상기한 문제점을 해결하기 위해 고안된 것으로서, 본 발명의 이루고자 하는 기술적 과제는 광각 카메라를 이용하여 차량으로부터 근거리 영역의 영상을 획득하고, 협각 카메라를 이용하여 차량으로부터 원거리 영역의 영상을 획득하여 근거리 영역 및 원거리 영역을 동시에 감시할 수 있는 차량의 주변 감시 장치 및 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 차량의 주변 감시 장치는, 복수의 광각 카메라를 이용하여 차량으로부터 서로 다른 방향에 대한 근거리 영역의 영상을 획득하는 제 1영상 획득부, 하나 이상의 협각 카메라를 이용하여 복수의 광각 카메라 중 하나 이상과 동일한 방향에 대한 원거리 영역의 영상을 획득하는 제 2영상 획득부, 상기 근거리 영역 및 상기 원거리 영역의 영상을 통합하여 통합 영상을 생성하는 영상 처리부, 및 상기 생성된 통합 영상을 디스플레이하는 디스플레이부를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 차량의 주변 감시 방법은, 차량으로부터 근거리 영역의 영상을 획득하는 단계, 상기 근거리 영역의 영상과 동일한 방향의 원거리 영역 영상을 획득하는 단계, 상기 근거리 영역 및 상기 원거리 영역의 영상을 통합하여 통합 영상을 생성하는 단계, 및 상기 통합 영상을 디스플레이하는 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기와 같은 본 발명의 차량의 주변 감시 장치 및 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
광각 카메라를 이용하여 차량으로부터 근거리 영역의 감시가 가능한 동시에 협각 카메라를 이용하여 차량으로부터 원거리 영역의 감시가 가능하기 때문에 운전자의 시야 확보가 향상될 수 있는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 차량의 주변 감시 장치가 도시된 블록도.
도 2는 본 발명의 실시예에 따른 광각 카메라가 도시된 개략도.
도 3 및 도 4는 본 발명의 실시에에 따른 광각 카메라 및 협각 카메라가 도시된 개략도.
도 5는 본 발명의 실시예에 따른 통합 영상이 도시된 개략도.
도 6은 본 발명의 실시예에 따른 광각 카메라에 의해 획득된 영상의 왜곡 보정 과정이 도시된 개략도.
도 7은 본 발명의 실시예에 광각 카메라에 의해 획득된 영상 중 영상 정합을 위해 선택된 영역이 도시된 개략도.
도 8은 본 발명의 실시예에 따른 통합 영상의 왜곡 보정 과정이 도시된 개략도.
도 9는 본 발명의 실시예에 따른 주변 영상이 도시된 개략도.
도 10은 본 발명의 실시예에 따른 디스플레이부가 도시된 개략도.
도 11은 본 발명의 실시예에 따른 차량의 주변 감시 방법이 도시된 순서도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
따라서, 몇몇 실시예에서, 잘 알려진 공정 단계들, 잘 알려진 구조 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 포함한다(comprises) 및/또는 포함하는(comprising)은 언급된 구성요소, 단계 및/또는 동작 이외의 하나 이상의 다른 구성요소, 단계 및/또는 동작의 존재 또는 추가를 배제하지 않는 의미로 사용한다. 그리고, "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
또한, 본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 사시도, 단면도, 측면도 및/또는 개략도들을 참고하여 설명될 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 따라서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니라 제조 공정에 따라 생성되는 형태의 변화도 포함하는 것이다. 또한, 본 발명에 도시된 각 도면에 있어서 각 구성 요소들은 설명의 편의를 고려하여 다소 확대 또는 축소되어 도시된 것일 수 있다.
이하, 본 발명의 실시예들에 의하여 차량의 주변 감시 장치 및 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1은 본 발명의 실시예에 따른 차량의 주변 감시 장치가 도시된 블록도이다.
도시된 바와 같이, 본 발명의 실시예에 따른 차량의 주변 감시 장치(1)는 제 1영상 획득부(100), 제 2영상 획득부(200), 영상 처리부(300) 및 디스플레이부(400)를 포함할 수 있다.
제 1영상 획득부(100)는 차량에 설치되는 하나 이상의 광각 카메라를 포함할 수 있으며, 본 발명의 실시예에서는 도 2와 같이, 제 1영상 획득부(100)가 차량의 전후좌우 방향에 각각 설치되는 복수의 광각 카메라(110~140)를 이용하여 서로 다른 방향에 대한 근거리 영역의 영상을 획득하는 경우를 예를 들어 설명하기로 한다.
복수의 광각 카메라(110~140)는 차량(10)의 주변 전방위, 즉 360도 방향에 대한 영상을 획득할 수 있으며, 복수의 광각 카메라(110~140)가 차량(10)의 전후좌우 방향에 설치된 경우 각 광각 카메라는 대략 180도의 화각을 가지는 광각 렌즈나 어안 렌즈가 사용된 카메라일 수 있으나, 광각 카메라의 설치 개수나 방향 등에 따라 화각은 달라질 수 있다.
이때, 복수의 광각 카메라(110~140) 중 차량(10) 전방 및 후방에 설치된 광각 카메라(110, 120)는 차량(10)의 전방 범퍼 및 후방 범퍼 부근에 설치될 수 있고, 차량(10)의 좌우측에 설치된 광각 카메라(130, 140)는 차량(10)의 좌우측 아웃 사이드 미러 부근에 설치될 수 있으나, 이에 한정되지 않고 차량(10)의 주변 전방위에 대한 영상을 획득하기 위하여 복수의 카메라(110~140)는 반드시 차량(10)의 전후좌우 방향에 설치될 필요는 없으며, 차량(10) 주변 전방위에 대한 영상을 획득할 수 있는 조건 하에서 설치 위치나 설치 개수는 다양하게 변경될 수 있다.
또한, 복수의 광각 카메라(110~140)는 차량(10)의 주행 상태에 따라 하나 이상이 동작할 수 있는데, 일 예로 차량(10)이 주차나 후진 중일 때에는 복수의 광각 카메라(110~140)가 모두 동작할 수 있고 차량(10)이 일반 주행 중일 때에는 차량(10)의 후방에 설치된 광각 카메라(120)만 동작할 수 있으나, 이에 한정되지 않는다.
제 2영상 획득부(200)는 차량에 설치되는 하나 이상의 협각 카메라를 포함할 수 있으며, 본 발명의 실시예에서는 제 2영상 획득부(200)가 운전자의 시야 확보가 상대적으로 어려운 차량의 후방 영상을 획득할 수 있도록 도 3과 같이 차량(10)의 후방 윈도우, 트렁크, 루프 등에 설치되는 대략 30도의 화각을 가지는 단일의 협각 카메라(210)를 포함하는 경우를 예를 들어 설명하기로 하나, 이에 한정되지 않고 제 2영상 획득부(200)는 운전자의 시야 확보가 어려운 하나 이상의 방향에 대한 영상 획득이 가능하도록 협각 카메라(210)가 복수로 구성될 수도 있다.
협각 카메라(210)는 전술한 복수의 광각 카메라(110~140) 중 어느 하나와 평행한 광축을 가지도록 설치되어 복수의 광각 카메라(110~140) 중 어느 하나와 동일한 방향의 영상을 획득하는 경우를 예를 들어 설명하기로 하며, 본 발명의 실시예에서는 협각 카메라(210)는 차량(10)의 후방 영상을 획득하는 경우를 예를 들어 설명하기로 한다.
이때, 협각 카메라(210)가 복수로 구성된 경우, 각 협각 카메라는 복수의 광각 카메라(110~140) 중 둘 이상과 각각 동일한 방향의 원거리 영상을 획득할 수 있도록 서로 평행한 광축을 가지도록 설치될 수 있다.
또한, 본 발명의 실시예에서는 협각 카메라(210)가 대략 30도의 화각을 가지는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 협각 카메라(210)의 화각은 다양하게 변경될 수 있으며, 일 예로 100도를 기준으로 100도 이상의 화각을 가지는 카메라는 광각 카메라이고, 100도 미만의 화각을 가지는 카메라는 협각 카메라일 수 있다.
본 발명의 실시예에서 협각 카메라(210)가 차량 후방 영상을 획득하는 경우, 도 4와 같이 복수의 광각 카메라(110~140) 중 차량(10) 후방에 설치되는 광각 카메라(120)보다 상측에 설치되는 경우를 예를 들어 설명하기로 하나, 이에 한정되지 않고 협각 카메라(210)는 차량(10) 후방에 설치되는 광각 카메라(120)와 동일한 높이에 설치될 수도 있다.
즉, 본 발명의 실시예에서 협각 카메라(210)는 협각 카메라(210)와 평행한 광축을 가지는 광각 카메라, 즉 동일한 방향의 영상을 획득하는 광각 카메라와 동일한 높이 또는 상측에 설치될 수 있는 것이다.
또한, 협각 카메라(210)도 전술한 복수의 광각 카메라(110~140)와 유사하게 차량(10)의 주행 상태에 따라 동작될 수 있는데, 일 예로 협각 카메라(210)는 차량(10)의 주행 상태와 무관하게 항상 동작할 수도 있고, 차량(10)이 주차나 후진 중일때에는 동작하지 않을 수도 있으나, 이에 한정되지 않는다.
전술한 바와 같이, 제 1영상 획득부(100)에는 광각 카메라가 사용되고, 제 2영상 획득부(200)에는 협각 카메라가 사용되고 있는데, 광각 카메라는 광각 렌즈나 어안 렌즈와 같이 초점 거리가 짧은 반면 상대적으로 큰 화각을 가지기 때문에 차량(10)으로부터 근거리 영역의 영상을 획득하는데 유리하고, 협각 카메라는 광각 렌즈나 어안 렌즈보다 상대적으로 초점 거리가 긴 반면 상대적으로 좁은 화각을 가지기 때문에 차량(10)의 원거리 영역의 영상을 획득하는데 유리한 면을 가지고 있다.
따라서, 본 발명의 실시예에서는 제 1영상 획득부(100) 및 제 2영상 획득부(200)를 통해 차량(10) 주변의 근거리 영역뿐만 아니라 원거리 영역의 영상을 함께 획득함으로써 차량(10)의 주정차시 또는 주행시에 운전자에게 충분한 시야가 확보될 수 있도록 하여 안전 운전을 도모할 수 있도록 한다.
한편, 전술한 제 1영상 획득부(100) 및 제 2영상 획득부(200)는 획득된 영상을 저장하는 저장 매체를 포함할 수 있으며, 이러한 저장 매체는 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 내장되거나 유선 또는 무선 통신이 가능한 외부 저장 매체일 수 있다.
영상 처리부(300)는 제 1영상 획득부(100) 및 제 2영상 획득부(200)에서 획득된 영상을 통합하여 도 5와 같은 통합 영상(500)을 생성할 수 있다.
이하, 본 발명의 실시예에서 영상 처리부(300)는 제 1영상 획득부(100)에 포함된 복수의 광각 카메라(110~140) 중 차량(10) 후방에 설치된 광각 카메라(120)에 의해 획득된 영상과 차량(10) 후방 영상을 획득하는 협각 카메라(210)에 의해 획득된 영상을 통합한 통합 영상(500)을 생성하는 경우를 예를 들어 설명하기로 하나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않고 광각 카메라와 협각 카메라의 설치 위치에 따라 다양한 방향의 통합 영상(500)을 생성할 수 있다.
즉, 영상 처리부(300)는 협각 카메라(210)가 복수로 구성된 경우, 각 방향에 대한 통합 영상(500)을 각각 생성할 수도 있으며, 차량(10)의 주행 상태나 운전자의 조작 등에 따라 해당 방향의 통합 영상(500)이 디스플레이되도록 할 수 있다.
영상 처리부(300)는 제 1영상 획득부(100)와 제 2영상 획득부(200)에 의해 획득된 영상 중 하나 이상에 발생한 왜곡을 보정하는 왜곡 보정부(310) 및 제 1영상 획득부(100)와 제 2영상 획득부(200)에서 획득된 영상을 정합하는 영상 정합부(320)를 포함할 수 있다.
왜곡 보정부(310)는 제 1영상 획득부(100) 및 제 2영상 획득부(200)의 정합을 위해 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상 중 하나 이상에 발생한 왜곡을 보정하는 역할을 할 수 있으며, 본 발명의 실시예에서는 왜곡 보정부(310)가 제 1영상 획득부(100)에 의해 획득된 영상의 왜곡을 보정하는 경우를 예를 들어 설명하기로 한다.
예를 들어, 제 1영상 획득부(100)에 포함된 복수의 광각 카메라(110~140) 중 차량(10) 후방에 설치된 광각 카메라(120)에 의해 획득된 영상은 도 6과 같이 광각 렌즈나 어안 렌즈의 사용으로 인하여 넓은 화각을 구현할 수 있는 반면 렌즈의 외각 부분으로 갈수록 영상이 휘어지는 왜곡, 즉 방사상 왜곡이 두드러지기 때문에 제 2영상 획득부(200)에 의해 획득된 영상과의 정합을 위해 왜곡을 보정하여 직선화시킬 수 있는 것이다.
이때, 왜곡 보정부(310)에 의한 왜곡 보정은 다양한 방법으로 수행될 수 있는데, 일 예로 왜곡 보정부(310)는 사전 지정된 왜곡 보정 알고리즘을 사용하거나 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상에 포함된 중심 차선이나 도로 경계선 등이 서로 매칭되도록 보정할 수도 있다.
따라서, 왜곡 보정부(310)는 전술한 바와 같이 제 1영상 획득부(100)의 광각 카메라(120)에 의해 획득된 영상에 발생한 왜곡을 보정하여 제 2영상 획득부(200)에 의해 획득된 영상과 정합이 이루어질 수 있도록 하는 것이다.
영상 정합부(320)는 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상을 정합하여 전술한 도 5의 통합 영상(500)을 생성할 수 있다.
이때, 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상을 통합하여 통합 영상(500)을 생성할 때 통합 영상(500) 중 제 1영역(510)은 1영상 획득부(100)에 의해 획득되어 왜곡이 보정된 근거리 영상이 사용되고, 제 2영역(520)은 제 2영상 획득부(200)의해 획득된 원거리 영상이 사용될 수 있다.
이때, 제 1영역(510) 및 제 2영역(520)의 크기는 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상의 크기와 동일하거나 서로 다를 수 있으며, 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상의 크기가 제 1영역(510) 및 제 2영역(520)의 크기보다 큰 경우 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상에서 사전 설정된 크기의 영역이 선택된 제 1영역(510) 및 제 2영역(520)으로 사용될 수 있다.
예를 들어, 전술한 도 7과 같이 제 1영상 획득부(100)의 광각 카메라(120)에 의해 획득된 영상이 제 1영역(510)의 크기보다 큰 경우 광각 카메라(120)에 의해 획득된 영상 중 제 1영역(510)의 크기에 대응되는 일부 영역이 사용될 수 있는 것이다.
이때, 전술한 도 7에서는 제 1영상 획득부(100)의 광각 카메라(120)에 의해 획득된 영상 중 일부의 영역을 사용하는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 제 1영역(510) 및 제 2영역(520)의 크기에 따라 제 1영상 획득부(510) 및 제 2영상 획득부(520)에 의해 획득된 영상 중 하나 이상의 일부 영역이 선택되어 사용될 수 있다.
한편, 본 발명의 실시예에서는 왜곡 보정부(310)에 의한 왜곡이 보정된 다음 영상 정합부(320)에 의해 통합 영상(500)이 생성되는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 도 8과 같이 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상을 우선 정합하여 통합 영상(500)을 생성한 다음, 제 1영상 획득부(100) 및 제 2영상 획득부(200) 중 어느 하나의 영상을 기준으로 다른 하나의 영상을 보정할 수도 있다.
이때, 도 8은 전술한 왜곡 보정 방법들 중 제 2영상 획득부(200)에 의해 획득된 영상의 중심 차선이나 도로 경계선을 기준으로 제 1영상 획득부(100)에 의해 획득된 영상을 보정하는 경우의 일 예이다.
이와 같이, 본 발명의 실시예에서는 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상을 통합하여 차량(10)으로부터 근거리 영역뿐만 아니라 원거리 영역에 대한 시야 확보가 가능해지기 때문에 원거리의 차량 또는 장애물도 용이하게 확인할 수 있으므로 안전 사고의 발생을 예방할 수 있게 된다.
한편, 전술한 실시예에서는 영상 처리부(300)가 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상을 통합한 통합 영상(500)을 생성하는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 영상 처리부(300)는 차량(10)의 주행 상태에 따라 제 1영상 획득부(100) 및 제 2영상 획득부(200) 중 어느 하나가 디스플레이되도록 할 수도 있다.
예를 들어, 영상 처리부(300)는 차량(10)이 주차나 후진 중일 때에는 도 9와 같이 복수의 광각 카메라(110~140)에 의해 각각 획득된 영상(111~141)을 이용하여 주변 영상(600)을 생성할 수 있다.
다시 말해서, 영상 처리부(300)는 복수의 광각 카메라(110~140)에 의해 획득된 영상(111~141)의 왜곡을 보정하여 차량(10)을 중심으로 차량(10)의 상측에서 바라본 것과 같은 탑뷰 형태의 주변 영상(600)을 생성할 수 있는 것이다.
디스플레이부(400)는 영상 처리부(300)의 제어에 따라 영상 처리부(300)에 의해 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상 중 하나 이상을 디스플레이할 수 있으며, 디스플레이부(400)는 차량(10)에 구비된 네비게이션, HUD, AV 시스템 등의 디스플레이 장치가 사용될 수도 있고, 인사이드 미러에 구비된 디스플레이 장치가 사용될 수도 있으며, 전술한 다양한 디스플레이 장치들이 복수로 사용될 수도 있다.
본 발명의 실시예에서 디스플레이부(400)는 도 10과 같이 인사이드 미러에 구비된 제 1디스플레이부(410)와 센터페시아 부근에 구비된 제 2디스플레이부(420)로 구성되며, 제 1디스플레이부(410)를 통해 영상 처리부(300)에 의해 생성된 통합 영상(500)을 디스플레이하고, 제 2디스플레이부(420)를 통해 제 1영상 획득부(100)에 의해 획득된 영상을 이용하여 생성된 주변 영상(600)을 디스플레이하는 경우를 예를 들어 설명하기로 한다.
이때, 본 발명의 실시예에서 제 1디스플레이부(410)는 차량(10)의 후방에 대한 통합 영상(500)을 디스플레이하는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 협각 카메라(210)가 복수로 구성된 경우 차량(10)의 주행 상태(예를 들어, 주행 방향, 주행 속도, 변속단 등)나 운전자의 조작에 따라 해당 방향의 통합 영상을 디스플레이할 수도 있으며, 통합 영상(500) 이외에도 제 2영상 획득부(200)에 의해 획득된 영상만 디스플레이할 수도 있다.
또한, 제 2디스플레이부(420)는 주변 영상(600) 이외에도 복수의 광각 카메라(110~140) 중 하나 이상에 의해 획득된 영상을 디스플레이하거나 화면을 복수의 영역으로 분할하여 주변 영상(600)과 더불어 복수의 광각 카메라(110~140) 중 하나 이상에 의해 획득된 영상을 동시에 디스플레이할 수도 있다.
제 1디스플레이부(410) 및 제 2디스플레이부(420)는 디스플레이하는 영상의 크기에 따라 해상도나 화면 크기가 동일하거나 서로 다를 수 있다.
도 11은 본 발명의 실시예에 따른 차량의 주변 감시 방법이 도시된 순서도로서, 도 11은 협각 카메라(210)가 차량(10)의 후방 영상을 획득하고 차량(10)의 후방 영상을 획득하는 광각 카메라(120)에 의해 획득된 영상과 통합한 통합 영상(500)을 디스플레이하는 경우의 일 예이다.
도시된 바와 같이, 본 발명의 실시예에 따른 차량의 주변 감시 방법은, 먼저 차량(10)의 후방에 설치된 광각 카메라(120) 및 협각 카메라(210)를 통해 후방 영상을 획득한다(S110). 이때, 광각 카메라(120) 및 협각 카메라(210)는 각각 근거리 영역 및 원거리 영역의 영상을 획득하게 되며, 이를 위해 협각 카메라(210)는 광각 카메라(120)보다 상측에 설치될 수 있다.
광각 카메라(120) 및 협각 카메라(210)에 의해 각각 획득된 영상 중 하나 이상에 발생한 왜곡을 보정한다(S120).
광각 카메라(120) 및 협각 카메라(210)에 의해 각각 획득된 영상을 정합하여 통합 영상(500)을 생성한다(S130).
생성된 통합 영상(500)을 디스플레이부(400)를 통해 디스플레이한다(S140).
이때, 도 11에서는 왜곡 보정 후 영상 정합이 이루어지는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 영상 정합 후 왜곡이 보정될 수도 있다.
또한, 도 11에서는 통합 영상(500)을 디스플레이하는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 복수의 광각 카메라(110~140) 중 하나 이상에 의해 획득된 영상, 복수의 광각 카메라(110~140)에 의해 획득된 영상을 이용하여 생성된 주변 영상(600), 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상이 통합된 통합 영상(500) 등이 하나 이상의 디스플레이부를 동시에 디스플레이되거나 별도로 각각 디스플레이될 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 제 1영상 획득부
110~140: 광각 카메라
200: 제 2영상 획득부
210: 협각 카메라
300: 영상 처리부
310: 왜곡 보정부
320: 영상 정합부
400: 디스플레이부
410: 제 1디스플레이부
420: 제 2디스플레이부

Claims (9)

  1. 복수의 광각 카메라를 이용하여 차량으로부터 서로 다른 방향에 대한 근거리 영역의 영상을 획득하는 제 1영상 획득부;
    하나 이상의 협각 카메라를 이용하여 복수의 광각 카메라 중 하나 이상과 동일한 방향에 대한 원거리 영역의 영상을 획득하는 제 2영상 획득부;
    상기 근거리 영역 및 상기 원거리 영역의 영상을 통합하여 통합 영상을 생성하는 영상 처리부; 및
    상기 생성된 통합 영상을 디스플레이하는 디스플레이부를 포함하는 차량의 주변 감시 장치.
  2. 제 1 항에 있어서,
    상기 협각 카메라는,
    동일한 방향의 근거리 영상을 획득하는 광각 카메라보다 상측에 설치되는 차량의 주변 감시 장치.
  3. 제 1 항에 있어서,
    상기 협각 카메라는,
    상기 차량의 후방 영상을 획득하는 차량의 주변 감시 장치.
  4. 제 1 항에 있어서,
    상기 영상 처리부는,
    상기 제 1영상 획득부 및 상기 제 2영상 획득부에 의해 획득된 영상 중 하나 이상에 발생한 왜곡을 보정하는 왜곡 보정부; 및
    상기 제 1영상 획득부 및 상기 제 2영상 획득부에 의해 획득된 영상을 정합하는 영상 정합부를 포함하는 차량의 주변 감시 장치.
  5. 제 4 항에 있어서,
    상기 영상 정합부는,
    동일한 방향의 영상을 획득하도록 서로 평행한 광축을 가지는 광각 카메라 및 협각 카메라에 의해 획득된 영상을 정합하는 차량의 주변 감시 장치.
  6. 제 1 항에 있어서,
    상기 디스플레이부는,
    인사이드 미러에 구비되는 차량의 주변 감시 장치.
  7. 차량으로부터 근거리 영역의 영상을 획득하는 단계;
    상기 근거리 영역의 영상과 동일한 방향의 원거리 영역 영상을 획득하는 단계;
    상기 근거리 영역 및 상기 원거리 영역의 영상을 통합하여 통합 영상을 생성하는 단계; 및
    상기 통합 영상을 디스플레이하는 단계를 포함하는 차량의 주변 감시 방법.
  8. 제 7 항에 있어서,
    상기 근거리 영역의 영상을 획득하는 단계는,
    광각 카메라를 이용하여 상기 근거리 영역의 영상을 획득하는 단계를 포함하고,
    상기 원거리 영역의 영상을 획득하는 단계는,
    상기 광각 카메라와 평행한 광축을 가지며 상기 광축 카메라보다 상측에 설치되는 협각 카메라를 이용하여 상기 원거리 영역의 영상을 획득하는 단계를 포함하는 차량의 주변 감시 방법.
  9. 제 6 항에 있어서,
    상기 통합 영상을 생성하는 단계는,
    상기 근거리 영역 및 상기 원거리 영역의 영상 중 하나 이상에 발생한 왜곡을 보정하는 단계; 및
    상기 근거리 영역 및 상기 원거리 영역의 영상을 정합하는 단계를 포함하는 차량의 주변 감시 방법.
KR1020140125952A 2014-09-22 2014-09-22 차량의 주변 감시 장치 및 방법 KR102190892B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140125952A KR102190892B1 (ko) 2014-09-22 2014-09-22 차량의 주변 감시 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140125952A KR102190892B1 (ko) 2014-09-22 2014-09-22 차량의 주변 감시 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160034681A true KR20160034681A (ko) 2016-03-30
KR102190892B1 KR102190892B1 (ko) 2020-12-14

Family

ID=55660296

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140125952A KR102190892B1 (ko) 2014-09-22 2014-09-22 차량의 주변 감시 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102190892B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180065666A (ko) * 2016-12-08 2018-06-18 현대자동차주식회사 차량의 영상 처리 장치 및 방법
CN108353147A (zh) * 2015-10-15 2018-07-31 株式会社电装 显示控制装置以及储存有显示控制程序的非暂时性计算机可读存储介质
KR20190069640A (ko) * 2017-11-30 2019-06-20 현대자동차주식회사 차량의 디스플레이 제어 장치 및 방법
WO2021033812A1 (ko) * 2019-08-22 2021-02-25 (주)캠시스 이종 스테레오 카메라 시스템 및 카메라 보정 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002225629A (ja) * 2001-02-05 2002-08-14 Sony Corp 車両用監視装置
JP2003212041A (ja) * 2002-01-25 2003-07-30 Toyota Central Res & Dev Lab Inc 車輌後方表示装置
JP2005311868A (ja) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
KR20110059286A (ko) 2009-11-27 2011-06-02 (주)이프러스 멀티화각 카메라를 탑재한 차량용 블랙박스

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002225629A (ja) * 2001-02-05 2002-08-14 Sony Corp 車両用監視装置
JP2003212041A (ja) * 2002-01-25 2003-07-30 Toyota Central Res & Dev Lab Inc 車輌後方表示装置
JP2005311868A (ja) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
KR20110059286A (ko) 2009-11-27 2011-06-02 (주)이프러스 멀티화각 카메라를 탑재한 차량용 블랙박스

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108353147A (zh) * 2015-10-15 2018-07-31 株式会社电装 显示控制装置以及储存有显示控制程序的非暂时性计算机可读存储介质
CN108353147B (zh) * 2015-10-15 2020-10-30 株式会社电装 显示控制装置以及储存有显示控制程序的非暂时性计算机可读存储介质
KR20180065666A (ko) * 2016-12-08 2018-06-18 현대자동차주식회사 차량의 영상 처리 장치 및 방법
KR20190069640A (ko) * 2017-11-30 2019-06-20 현대자동차주식회사 차량의 디스플레이 제어 장치 및 방법
WO2021033812A1 (ko) * 2019-08-22 2021-02-25 (주)캠시스 이종 스테레오 카메라 시스템 및 카메라 보정 방법

Also Published As

Publication number Publication date
KR102190892B1 (ko) 2020-12-14

Similar Documents

Publication Publication Date Title
US8130270B2 (en) Vehicle-mounted image capturing apparatus
US8199975B2 (en) System and method for side vision detection of obstacles for vehicles
US11195026B2 (en) Object detection and display apparatus, moveable body, and object detection and display method
WO2009116327A1 (ja) 画像処理装置及び方法、運転支援システム、車両
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
WO2010029707A2 (ja) 画像照射システム及び画像照射方法
CN109941277A (zh) 显示汽车a柱盲区图像的方法、装置和车辆
EP1547866A1 (en) Surrounding surveillance apparatus and mobile body
JP5093611B2 (ja) 車両周辺確認装置
CN101585347B (zh) 汽车后视***及具有该后视***的汽车
KR20020038819A (ko) 감시 시스템, 카메라 조정방법 및 차량감시 시스템
US20190100145A1 (en) Three-dimensional image driving assistance device
EP3633598B1 (en) Image processing device, image processing method, and program
US20210152812A1 (en) Display control device, display system, and display control method
JP2006044596A (ja) 車両用表示装置
KR20160034681A (ko) 차량의 주변 감시 장치 및 방법
US20160037154A1 (en) Image processing system and method
US11827148B2 (en) Display control device, display control method, moving body, and storage medium
KR102457633B1 (ko) 차량 외부 측전방 상태 확인 장치
CN107399274B (zh) 影像叠合的方法
KR20150073676A (ko) 차량용 왜곡 보정 장치 및 방법
WO2018123547A1 (ja) 車両用視認装置
JP2019038372A (ja) 画像表示装置
US20240217439A1 (en) Image capturing device, movable apparatus, and storage medium
JP2013201707A (ja) 画像受信表示装置、及び画像送受信システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant