KR101766077B1 - 차량 주변 영상 정보 제공 시스템 및 방법 - Google Patents

차량 주변 영상 정보 제공 시스템 및 방법 Download PDF

Info

Publication number
KR101766077B1
KR101766077B1 KR1020150174327A KR20150174327A KR101766077B1 KR 101766077 B1 KR101766077 B1 KR 101766077B1 KR 1020150174327 A KR1020150174327 A KR 1020150174327A KR 20150174327 A KR20150174327 A KR 20150174327A KR 101766077 B1 KR101766077 B1 KR 101766077B1
Authority
KR
South Korea
Prior art keywords
camera
display
outside
top view
image
Prior art date
Application number
KR1020150174327A
Other languages
English (en)
Other versions
KR20170067549A (ko
Inventor
성갑제
안준식
이중렬
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020150174327A priority Critical patent/KR101766077B1/ko
Priority to US15/193,267 priority patent/US10198639B2/en
Priority to DE102016213045.5A priority patent/DE102016213045B4/de
Priority to CN201610577357.5A priority patent/CN106853798B/zh
Publication of KR20170067549A publication Critical patent/KR20170067549A/ko
Application granted granted Critical
Publication of KR101766077B1 publication Critical patent/KR101766077B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Transportation (AREA)
  • Studio Devices (AREA)
  • Mathematical Physics (AREA)

Abstract

본 발명은 차량 주행 및 주차 상황에서 운전자에게 차량 주변의 모니터링을 위한 영상정보를 제공하여 운전의 편의성과 안전성을 주기 위하여, 화질과 거리감을 위한 협각 카메라(예, eMirror 카메라)와 광각 영상을 위한 AVM 카메라를 통합하여, 우수한 화질과 확장된 지면 보임량을 확보하고 일부 카메라나 디스플레이의 고장발생에도 모니터링 기능을 유지시킬 수 있는, 차량 주변 영상 정보 제공 시스템 및 방법에 관한 것이다.

Description

차량 주변 영상 정보 제공 시스템 및 방법{System and Method for Providing Vehicle Around View}
본 발명은 영상 정보 제공 시스템 및 방법에 관한 것으로서, 특히, 차량 주행 및 주차 상황에서 운전자에게 차량 주변의 영상정보를 제공하는 시스템 및 방법에 관한 것이다.
최근 차량 주행 및 주차 상황에서 사각지대로 인해 발생하는 사고를 예방하기 위하여, 차량 주변을 모니터링하기 위한 전후방 카메라 및 AVM(Around View Monitor) 등을 차량에 장착하고 있다. 또한, 사각지대를 없애면서 연비 향상에 도움이 될 수 있도록 아웃사이드미러를 대체하는 카메라의 개발이 활발이 진행되고 있다.
예를 들어, 일부 차량은 아웃사이드미러 대신 차량 양쪽 도어의 외부 좌우측에 협각 카메라를 장착하고, 차량 내부 좌우에 장착된 디스플레이에 카메라 영상을 출력해 준다. 그러나, 이와 같은 종래의 차량 주변 영상 정보 제공 시스템에서는, 카메라나 디스플레이의 고장 시에 운전을 방해할 수 있을 뿐만 아니라, 좌우측 카메라가 협각 카메라로서 차량 뒤쪽에 대한 협각 영상을 제공하므로 지면 보임량이 적어 사각지대에 대한 충분한 모니터링이 어렵다는 문제점이 있다.
또한, 4채널의 광각 AVM 카메라를 차량에 장착하여 탑뷰(topview)를 제공하기도 하지만, 이와 같은 시스템에서도 카메라 등 일부 구성요소의 고장 시에 운전을 방해할 수 있을 뿐만 아니라, 차량 외부 사이드 후방 등에 대하여 충분한 화질을 제공하지 못하는 문제점이 있다.
따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 차량 주행 및 주차 상황에서 운전자에게 차량 주변의 모니터링을 위한 영상정보를 제공하여 운전의 편의성과 안전성을 주기 위하여, 화질과 거리감을 위한 협각 카메라(예, eMirror 카메라)와 광각 영상을 위한 AVM 카메라를 통합하여, 우수한 화질과 확장된 지면 보임량을 확보하고 일부 카메라나 디스플레이의 고장발생에도 모니터링 기능을 유지시킬 수 있는, 차량 주변 영상 정보 제공 시스템 및 방법을 제공하는 데 있다.
먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의일면에 따른 차량 주변 영상 정보 제공 시스템은, 차량의 외부 좌우에서 각각 후측방을 촬영하는 아웃사이드 좌카메라 및 아웃사이드 우카메라(예, eMirror 카메라); 차량의 외부 전후좌우에서 각각 지면이 포함되는 방향을 촬영하는 탑뷰 좌카메라, 탑뷰 우카메라, 탑뷰 전방카메라 및 탑뷰 후방카메라; 차량 내부 대시보드 주변 좌우에 각각 설치된 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이, 및 차량 내부 헤드유닛에 설치된 헤드유닛 디스플레이(또는 룸미러 디스플레이); 및 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 각각에 상기 아웃사이드 좌카메라 및 아웃사이드 우카메라 기반의 영상 데이터를 각각 제공하고, 상기 헤드유닛 디스플레이에 상기 탑뷰 좌카메라, 탑뷰 우카메라, 탑뷰 전방카메라 및 탑뷰 후방카메라 기반의 영상 데이터를 제공하는 제어부를 포함한다.
상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 각각은, 상기 제어부의 고장 발생에 따라상기 아웃사이드 좌카메라 및 아웃사이드 우카메라로부터 각각의 영상 데이터를 직접 수신할 수 있다.
상기 제어부는, 상기 아웃사이드 좌카메라 또는 아웃사이드 우카메라 중 하나 이상의 고장 발생에 따라, 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 중 해당 카메라 고장 방향 디스플레이 또는 디스플레이들에 상기 탑뷰 좌카메라와 탑뷰 우카메라 중 해당 고장 방향 카메라 또는 카메라들 기반의 영상 데이터를 제공할 수 있다.
상기 제어부는, 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 중 하나 이상의 고장 발생에 따라, 상기 헤드유닛 디스플레이에 상기 아웃사이드 좌카메라와 아웃사이드 우카메라 중 해당 디스플레이 고장 방향 카메라 또는 카메라들 기반의 영상 데이터를 제공할 수 있다.
상기 제어부는, 상기 아웃사이드 좌카메라 또는 아웃사이드 우카메라 중 어느 하나와 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 중 어느 하나가 고장인 경우, 정상적인 아웃사이드 카메라 기반의 영상 데이터를 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 중 대응되는 정상적인 디스플레이에 제공하거나, 또는 대응되는 정상적인 디스플레이가 없으면 상기 헤드유닛 디스플레이에 제공할 수 있다.
상기 제어부는, 상기 아웃사이드 좌카메라와 아웃사이드 우카메라 모두가 고장인 경우, 상기 탑뷰 좌카메라와 탑뷰 우카메라 기반의 영상 데이터를, 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 중 대응되는 정상적인 디스플레이에 제공하거나 또는 대응되는 정상적인 디스플레이가 없으면 상기 헤드유닛 디스플레이에 제공할 수 있다.
상기 제어부는, 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이가 모두 고장인 경우, 정상적인 아웃사이드 카메라 기반의 영상 데이터를 상기 헤드유닛 디스플레이에 제공하거나, 또는 정상적인 아웃사이드 카메라가 없으면 상기 탑뷰 좌카메라와 탑뷰 우카메라 기반의 영상 데이터를 상기 헤드유닛 디스플레이에 제공할 수 있다.
상기 제어부는, 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 각각에, 상기 아웃사이드 좌카메라의 영상과 상기 탑뷰 좌카메라의 영상을 합성하여 지면 보임량이 확장된 뷰와, 상기 아웃사이드 우카메라 영상과 상기 탑뷰 우카메라의 영상을 합성하여 지면 보임량이 확장된 뷰를 제공할 수 있다.
상기 제어부는, 상기 헤드유닛 디스플레이에 상기 탑뷰 좌카메라, 탑뷰 우카메라, 탑뷰 전방카메라 및 탑뷰 후방카메라 기반의 전방위 영상을 제공하되, 상기 전방위 영상 중 소정의 차량 후방 영역에 대하여 상기 아웃사이드 좌카메라 및 아웃사이드 우카메라 기반의 영상으로 대체되도록 영상 합성을 수행할 수 있다.
그리고, 본 발명의 다른 일면에 따른 차량 주변 영상 정보 제공 방법은, 아웃사이드 좌카메라 및 아웃사이드 우카메라를 이용하여, 차량의 외부 좌우에서 각각 후측방을 촬영하는 단계; 탑뷰 좌카메라, 탑뷰 우카메라, 탑뷰 전방카메라 및 탑뷰 후방카메라를 이용하여, 차량의 외부 전후좌우에서 각각 지면이 포함되는 방향을 촬영하는 단계; 제어부에서, 차량 내부 대시보드 주변 좌우에 각각 설치된 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 각각에 상기 아웃사이드 좌카메라 및 아웃사이드 우카메라 기반의 영상 데이터를 각각 제공하는 단계; 및 상기 제어부에서, 차량 내부 헤드유닛에 설치된 헤드유닛 디스플레이에 상기 탑뷰 좌카메라, 탑뷰 우카메라, 탑뷰 전방카메라 및 탑뷰 후방카메라 기반의 영상 데이터를 제공하는 단계를 포함한다.
본 발명에 따른 차량 주변 영상 정보 제공 시스템 및 방법에 따르면, 차량 주행 및 주차 상황에서 운전자에게 차량 주변의 모니터링을 위한 영상정보를 제공하여 운전의 편의성과 안전성을 확보할 수 있다.
또한, 시스템의 구성요소 중 일부에 고장 발생시 다른 정상 동작 카메라 및 디스플레이를 활용하여 모니터링 기능을 유지할 수 있다.
또한, 협각 카메라(예, eMirror 카메라)는 화질 및 거리감을 위해 협각 렌즈를 사용하기 때문에 지면 보임량을 확보할 수 없는 점을 개선하여, 화질과 거리감을 위한 협각 카메라(예, eMirror 카메라)와 광각 영상을 위한 AVM 카메라를 통합함으로써, 우수한 화질과 확장된 지면 보임량을 확보할 수 있다.
그리고, AVM 카메라의 탑뷰(topview)의 화질 취약 부분인 사이드 후방 부분을 협각 카메라(예, eMirror 카메라) 영상으로 대체하여 해당 영역의 화질을 개선할 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량 주변 영상 정보 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 아웃사이드 카메라와 탑뷰 카메라의 장착 위치를 설명하기 위한 도면이다.
도 3은 도 1의 좌디스플레이, 우디스플레이, 및 헤드유닛 디스플레이의 장착 위치를 설명하기 위한 도면이다.
도 4는 도 1의 제어부, 카메라 또는 디스플레이의 고장 여부에 따른 디스플레이 상태에 대한 실시예들이다.
도 5a 내지 도 5d는 도 1의 아웃사이드 카메라 중 어느 하나 이상 및 도 1의 아웃사이드 디스플레이 중 어느 하나 이상의 고장 발생에 대한 디스플레이 상태에 대한 실시예들이다.
도 6은 도 1의 제어부에서 아웃사이드 좌/우 디스플레이에 지면 보임량이 확장된 뷰를 제공하는 과정을 설명하기 위한 도면이다.
도 7은 도 1의 제어부에서 헤드유닛 디스플레이에 차량 후방 영역에 대하여 화질 개선된 영상을 제공하는 과정을 설명하기 위한 도면이다.
이하에서는 첨부된 도면들을 참조하여 본 발명에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분을 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다. 또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 차량 주변 영상 정보 제공 시스템(100)을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차량 주변 영상 정보 제공 시스템(100)은, ECU(Electronic Control Unit) 형태의 제어부(110), 차량의 외부 전후좌우에서 각각 지면이 포함되는 방향을 촬영하는 탑뷰 카메라들(121, 122, 123, 124), 차량의 외부 좌우에서 각각 후측방을 촬영하는 아웃사이드 카메라들(131, 132), 차량 내부 대시보드 주변 좌우에 각각 설치된 좌디스플레이(141)와 우디스플레이(142), 및 차량 내부 헤드유닛(headunit)에 설치된 헤드유닛 디스플레이(또는 룸미러 디스플레이)(145)를 포함한다. 제어부(110)는 탑뷰 카메라들(121, 122, 123, 124), 아웃사이드 카메라들(131, 132), 디스플레이들(141, 142, 145)에 대한 전반적인 제어를 수행하는 반도체 프로세서일 수 있다.
탑뷰 카메라들(121, 122, 123, 124)(또는 AVM 카메라)은 탑뷰 좌카메라(121), 탑뷰 우카메라(122), 탑뷰 전방카메라(123) 및 탑뷰 후방카메라(124)를 포함하고, 이들은 AVM(Around View Monitor) 카메라일 수 있으며, 하늘에서 내려다보는 광각 영상을 제공하기 위하여 광각 카메라로 이루어진다. 아웃사이드 카메라들(131, 132)은 아웃사이드 좌카메라(131) 및 아웃사이드 우카메라(132)를 포함하고, 이들은 전자적(electronic) 미러 지원을 위한 eMirror 카메라 일 수 있으며, 높은 화질과 거리감을 제공하기 위하여 협각 카메라로 이루어진다.
도 2는 도 1의 아웃사이드 카메라(131, 132)와 탑뷰 카메라(121, 122, 123, 124)의 장착 위치를 설명하기 위한 도면이다.
도 2와 같이, 아웃사이드 좌카메라(131)와 탑뷰 좌카메라(121)는 차량의 외부 좌측 쿼드런트 패널 주변 등에 설치된 하나의 하우징에 장착될 수 있고, 아웃사이드 좌카메라(131)는 차량의 외부 좌측에서 후측방을 촬영하고, 탑뷰 좌카메라(121)는 차량의 외부 좌측에서 지면을 내려다 보는 방향을 촬영할 수 있다. 마찬가지 방식으로, 아웃사이드 우카메라(132)와 탑뷰 우카메라(122)가 차량의 외부 좌측에 장착될 수 있다. 이외에, 탑뷰 전방카메라(123) 및 탑뷰 후방카메라(124)는 차량 전방과 차량의 후방에서 각각 지면을 내려다 보는 방향을 촬영하도록 차량 외부 앞쪽과 뒤쪽에 적절히 설치될 수 있다.
도 3은 도 1의 좌디스플레이(141), 우디스플레이(142), 및 헤드유닛 디스플레이(143)의 장착 위치를 설명하기 위한 도면이다.
도 3과 같이, 좌디스플레이(141)와 우디스플레이(142)는 아웃사이드 미러를 대체하기 위한 것으로서, 차량 내부 대시보드 좌우 끝쪽에 적절히 설치되어, 아웃사이드 좌카메라(131)와 아웃사이드 우카메라(132) 기반의 영상을 각각 제공함으로써, 운전자가 좌우 후측방을 모니터링하면서 운전하도록 보조할 수 있다.
헤드유닛 디스플레이(145)는 차량 내부 대시보드의 헤드유닛에 설치될 수 있으며, AVN(Audio Video Navigation) 시스템의 디스플레이일 수 있다. 헤드유닛 디스플레이(145)는 탑뷰 카메라(121, 122, 123, 124) 기반의 영상을 제공함으로써, 운전자가 차량 위 하늘에서 내려다보는 듯한 차량 전방위에 대한 영상(좌측, 우측, 전방, 후방) 중 전체 또는 선택된 부분의 영상을 모니터링하면서 운전하도록 보조할 수 있다.
이를 위하여, 제어부(110)는 아웃사이드 좌디스플레이(141)와 아웃사이드 우디스플레이(142) 각각에 아웃사이드 좌카메라(121) 및 아웃사이드 우카메라(132)에서 촬영되어 획득된 영상 데이터를 기초로 아웃사이드 미러뷰 형태의 데이터로 변환한 영상 데이터를 각각 제공할 수 있다(도 4 참조). 또한, 제어부(110)는 헤드유닛 디스플레이(145)에 탑뷰 좌카메라(121), 탑뷰 우카메라(122), 탑뷰 전방카메라(123) 및 탑뷰 후방카메라(124)에서 촬영되어 획득된 영상 데이터를 기초로 영상 합성을 수행하여 운전자가 차량 위 하늘에서 내려다보는 듯한 차량 전방위에 대한 영상(좌측, 우측, 전방, 후방) 데이터를 제공할 수 있다. 운전자는 헤드유닛 디스플레이(145)에서 선택하여 전방위에 대한 영상(좌측, 우측, 전방, 후방) 중 전체 또는 선택한 부분의 영상을 헤드유닛 디스플레이(145)에서 모니터링하면서 운전할 수 있다.
특히, 본 발명의 일 실시예에 따른 차량 주변 영상 정보 제공 시스템(100)에서는, 차량 주행 및 주차 상황에서 운전자에게 차량 주변의 모니터링을 위한 영상정보를 제공하여 운전의 편의성과 안전성을 확보할 수 있도록 하기 위하여, 아웃사이드 카메라(131, 132), 아웃사이드 디스플레이(141, 142) 등 시스템의 구성요소 중 일부에 고장 발생시 다른 정상 동작 카메라 및 디스플레이를 활용하여 모니터링 기능을 유지할 수 있도록 하였다. 또한, 아웃사이드 카메라(131, 132)(예, eMirror 카메라)는 화질 및 거리감을 위해 협각 렌즈를 사용하기 때문에 지면 보임량을 확보할 수 없는 점을 개선하여, 화질과 거리감을 위한 아웃사이드 카메라(131, 132)와 광각 영상을 위한 탑뷰 카메라(121, 122, 123, 124)(예, AVM 카메라)를 통합함으로써, 우수한 화질과 확장된 지면 보임량을 확보할 수 있도록 하였다. 그리고, 탑뷰 카메라(121, 122, 123, 124)(예, AVM 카메라)의 탑뷰(topview)의 화질 취약 부분인 사이드 후방 부분을 아웃사이드 카메라(131, 132)(예, eMirror 카메라) 영상으로 대체하여 해당 영역의 화질을 개선하였다.
즉, 제어부(110)는 아웃사이드 카메라(131, 132)의 고장 시에 해당 고장 카메라를 대체하여 탑뷰 좌우카메라(121, 122) 기반의 영상을 제공할 수 있으며, 아웃사이드 디스플레이(141, 142)의 고장 시에 해당 고장 디스플레이를 대체하여 헤드유닛 디스플레이(145)에 영상을 제공한다. 또한, 제어부(110)의 고장 시에는 아웃사이드 디스플레이(141, 142)가 직접 아웃사이드 카메라(131, 132)로부터 영상을 수신하여 제공할 수 있다.
이하, 제어부(110), 아웃사이드 카메라(131, 132), 아웃사이드 디스플레이(141, 142) 등의 고장 발생 시에 아웃사이드 디스플레이(141, 142), 헤드유닛 디스플레이(145)를 통하여 어떻게 차량 주변의 영상을 제공하는 지를 구체적으로 설명한다.
도 4는 도 1의 제어부(110), 카메라(131, 132) 또는 디스플레이(141, 142)의 고장 여부에 따른 디스플레이 상태에 대한 실시예들이다. 이와 같은 예들은 차량 주행 또는 후진에 있어서 유사하게 적용된다.
도 4를 참조하면, 먼저, 제어부(110)가 고장인 경우, 제어부(110)가 디스플레이들(141, 142, 145)에 영상을 제공할 수 없으므로, 이 경우에는 아웃사이드 좌디스플레이(141)와 아웃사이드 우디스플레이(142) 각각은 아웃사이드 좌카메라(131) 및 아웃사이드 우카메라(132)로부터 각각의 영상 데이터를 직접 수신하여 영상을 디스플레이한다. 이를 위하여, 아웃사이드 좌디스플레이(141)와 아웃사이드 우디스플레이(142)는 제어부(110)의 영상 데이터 출력에 대하여 지속적으로 진단하고, 제어부(110)로부터의 영상 데이터 출력이 없는 경우 제어부(110)의 고장으로 판단할 수 있다.
또한, 제어부(110)는, 아웃사이드 좌카메라(131) 또는 아웃사이드 우카메라(132) 중 하나 이상의 고장 발생에 따라, 아웃사이드 좌디스플레이(141)와 아웃사이드 우디스플레이(142) 중 해당 카메라 고장 방향에 대응된 디스플레이 또는 디스플레이들에 탑뷰 좌카메라(121)와 탑뷰 우카메라(122) 중 해당 고장 방향 카메라 또는 카메라들 기반의 영상 데이터를 제공할 수 있다.
이를 위하여, 제어부(110)는 아웃사이드 좌카메라(131)와 아웃사이드 우카메라(132)로부터의 영상 데이터 출력이 없는 경우 해당 카메라의 고장으로 판단할 수 있다. 예를 들어, 아웃사이드 좌카메라(131)의 고장시 탑뷰 좌카메라(121) 기반 영상 데이터를 아웃사이드 좌디스플레이(141)에 제공하고, 또한, 아웃사이드 우카메라(132)의 고장시 탑뷰 우카메라(122) 기반 영상 데이터를 아웃사이드 우디스플레이(142)에 제공하여, 운전자의 모니터링을 보조할 수 있다. 이외에 아웃사이드 좌카메라(131)와 아웃사이드 우카메라(132)가 모두 고장인 경우, 탑뷰 좌카메라(121)와 탑뷰 우카메라(122) 기반 영상 데이터를 각각 아웃사이드 좌디스플레이(141)와 아웃사이드 우디스플레이(142)에 제공할 수 있다.
또한, 제어부(110)는, 아웃사이드 좌디스플레이(141)와 아웃사이드 우디스플레이(142) 중 하나 이상의 고장 발생에 따라, 헤드유닛 디스플레이(145)에 아웃사이드 좌카메라(131)와 아웃사이드 우카메라(132) 중 해당 디스플레이 고장 방향 카메라 또는 카메라들 기반의 영상 데이터를 제공할 수 있다.
이를 위하여, 제어부(110)는 아웃사이드 좌디스플레이(141)와 아웃사이드 우디스플레이(142)로부터 소정의 진단 신호(예, 전원없음, 기타 보드불량 등의 메시지)를 받는 경우 해당 디스플레이의 고장으로 판단할 수 있다. 예를 들어, 아웃사이드 좌디스플레이(141)의 고장 시 아웃사이드 좌카메라(131) 기반 영상 데이터를 헤드유닛 디스플레이(145)에 제공하여 좌측 분할화면에 표시되도록 할 수 있다. 또한, 아웃사이드 우디스플레이(142)의 고장 시 아웃사이드 우카메라(132) 기반 영상 데이터를 헤드유닛 디스플레이(145)에 제공하여 우측 분할화면에 표시되도록 할 수 있다. 이외에 아웃사이드 좌디스플레이(141)와 아웃사이드 우디스플레이(142)가 모두 고장인 경우, 아웃사이드 좌카메라(131)와 아웃사이드 우카메라(132) 기반 영상 데이터를 각각 헤드유닛 디스플레이(145)에 제공하여 좌우측 분할화면에 표시되도록 할 수 있다.
이하 도 4와 함께, 도 5를 참조하여 아웃사이드 카메라(131, 132) 중 어느 하나 이상이 고장인 동시에 아웃사이드 디스플레이(141, 142) 중 어느 하나 이상이 고장인 경우에 대하여 설명한다.
도 5a 내지 도 5d는 도 1의 아웃사이드 카메라(131, 132) 중 어느 하나 이상 및 도 1의 아웃사이드 디스플레이(141, 142) 중 어느 하나 이상의 고장 발생에 대한 디스플레이 상태에 대한 실시예들이다.
먼저, 아웃사이드 좌카메라(131) 또는 아웃사이드 우카메라(132) 중 어느 하나와 아웃사이드 좌디스플레이(141)와 아웃사이드 우디스플레이(142) 중 어느 하나가 고장인 경우(도 5a, 도 5b 참조), 제어부(110)는, 정상적인 아웃사이드 카메라(예, 도 5a의 132, 도 5b의 131) 기반의 영상 데이터를 아웃사이드 좌디스플레이(141)와 아웃사이드 우디스플레이(142) 중 대응되는 정상적인 디스플레이(예, 도 5b의 141)에 제공하거나, 또는 대응되는 정상적인 디스플레이가 없으면 헤드유닛 디스플레이(145)의 해당 방향 분할 화면에 제공(예, 도 5a 참조)할 수 있다. 이때 고장 발생한 아웃사이드 카메라(131/132)에 대응된 아웃사이드 디스플레이(141/142)가 정상적인 경우, 위에서도 기술한 바와 같이 해당 탑뷰 카메라(121, 122) 기반의 영상 데이터를 해당 정상 아웃사이드 디스플레이(예, 도 5a의 141)에 제공할 수 있다.
또한, 아웃사이드 좌카메라(131)와 아웃사이드 우카메라(132) 모두가 고장인 경우, 제어부(110)는, 탑뷰 좌카메라(121)와 탑뷰 우카메라(122) 기반의 영상 데이터를, 아웃사이드 좌디스플레이(141)와 아웃사이드 우디스플레이(142) 중 대응되는 정상적인 디스플레이에 제공하거나 또는 대응되는 정상적인 디스플레이가 없으면(도 5d 참조) 헤드유닛 디스플레이(145)의 해당 방향 분할 화면에 각각 제공할 수 있다.
또한, 아웃사이드 좌디스플레이(141)와 아웃사이드 우디스플레이(142)가 모두 고장인 경우, 제어부(110)는, 정상적인 아웃사이드 카메라(예, 도 5c의 132) 기반의 영상 데이터를 헤드유닛 디스플레이(145)의 해당 방향 분할 화면(예, 도 5의 145 우측)에 제공하거나, 또는 정상적인 아웃사이드 카메라가 없으면 탑뷰 좌카메라(121)와 탑뷰 우카메라(122) 기반의 영상 데이터를 헤드유닛 디스플레이(145)의 해당 방향 분할 화면에 각각 제공할 수 있다.
도 6은 도 1의 제어부(110)에서 아웃사이드 좌/우 디스플레이(141, 142)에 지면 보임량이 확장된 뷰를 제공하는 과정을 설명하기 위한 도면이다.
제어부(110)는, 위와 같이 아웃사이드 좌디스플레이(141)와 아웃사이드 우디스플레이(142) 각각에, 지면 보임량이 확장된 뷰(또는 영상)를 제공할 수 있다. 즉, 제어부(110)는, 아웃사이드 좌카메라(131)의 영상과 탑뷰 좌카메라(121)의 영상을 합성하여 지면 보임량이 확장된 뷰를 아웃사이드 좌디스플레이(141)에 제공할 수 있고, 아웃사이드 우카메라(132) 영상과 탑뷰 우카메라(122)의 영상을 합성하여 지면 보임량이 확장된 뷰를 아웃사이드 우디스플레이(142)에 제공할 수 있다.
예를 들어, 도 6과 같이, 제어부(110)는, 먼저, 화질이 우수하고 거리감이 뛰어난 협각 아웃사이드 카메라(131/132)의 원본 영상과 지면 보임량이 많은 광각 탑뷰 카메라(121/122)의 원본 영상을, 각각의 카메라 모델링 알고리즘(예, eMirror 카메라 모델, AVM 카메라 모델)에 따라, 2D(dimension) 좌표계 영상으로부터 3D 월드 좌표계 영상으로 변환한다. 제어부(110)는, 소정의 가상 카메라 모델링 알고리즘을 이용해 카메라 파라미터들을 이용해 영상들의 확대/축소 등 변환하고 2D 좌표계 영상을 생성할 수 있으며, 동일 영상 부분을 연결하여 연속 영상이 되도록 합성함으로써, 아웃사이드 카메라(131/132)의 영상에 탑뷰 좌카메라(121)의 지면 보임량이 많은 영상이 반영된, 합성 영상을 아웃사이드 디스플레이(141/142)에 제공할 수 있다.
도 7은 도 1의 제어부(110)에서 헤드유닛 디스플레이(145)에 차량 후방 영역에 대하여 화질 개선된 영상을 제공하는 과정을 설명하기 위한 도면이다.
도 7과 같이, 제어부(110)는, 헤드유닛 디스플레이(145)에 탑뷰 좌카메라(121), 탑뷰 우카메라(122), 탑뷰 전방카메라(123) 및 탑뷰 후방카메라(124) 기반의 전방위 영상을 제공하되, 710과 같이, 탑뷰 좌카메라(121), 탑뷰 우카메라(122) 및 탑뷰 후방카메라(124)의 차량 후방 영역의 영상에는 화질 열화가 있으므로, 해당 부분의 영상을 화질이 우수한 아웃사이드 좌카메라(131) 및 아웃사이드 우카메라(132) 기반의 영상으로 대체할 수 있다. 예를 들어, 제어부(110)는, 카메라 모델링 알고리즘 등을 이용하여, 탑뷰 좌카메라(121), 탑뷰 우카메라(122) 및 탑뷰 후방카메라(124)가 촬영한 영상 부분중 대체 대상 영역(710)과 동일한 부분에 해당하는 영상을, 아웃사이드 좌카메라(131) 및 아웃사이드 우카메라(132) 기반의 영상으로부터 추출하여, 추출된 영상을 해당 부분에 대체시킬 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 차량 주변 영상 정보 제공 시스템(100)에서는, 차량 주행 및 주차 상황에서 운전자에게 차량 주변의 모니터링을 위한 영상정보를 제공하여 운전의 편의성과 안전성을 확보할 수 있도록 하기 위하여, 아웃사이드 카메라(131, 132), 아웃사이드 디스플레이(141, 142) 등 시스템의 구성요소 중 일부에 고장 발생시 다른 정상 동작 카메라 및 디스플레이를 활용하여 모니터링 기능을 유지할 수 있다. 또한, 아웃사이드 카메라(131, 132)(예, eMirror 카메라)는 화질 및 거리감을 위해 협각 렌즈를 사용하기 때문에 지면 보임량을 확보할 수 없는 점을 개선하여, 화질과 거리감을 위한 아웃사이드 카메라(131, 132)와 광각 영상을 위한 탑뷰 카메라(121, 122, 123, 124)(예, AVM 카메라)를 통합함으로써, 우수한 화질과 확장된 지면 보임량을 확보할 수 있다. 그리고, 탑뷰 카메라(121, 122, 123, 124)(예, AVM 카메라)의 탑뷰(topview)의 화질 취약 부분인 사이드 후방 부분을 아웃사이드 카메라(131, 132)(예, eMirror 카메라) 영상으로 대체하여 해당 영역의 화질을 개선할 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
제어부(110)
탑뷰 카메라(121, 122, 123, 124)
아웃사이드 카메라(131, 132)
좌디스플레이(141)
우디스플레이(142)
헤드유닛 디스플레이(145)

Claims (18)

  1. 차량의 외부 좌우에서 각각 후측방을 촬영하는 아웃사이드 좌카메라 및 아웃사이드 우카메라;
    차량의 외부 전후좌우에서 각각 지면이 포함되는 방향을 촬영하는 탑뷰 좌카메라, 탑뷰 우카메라, 탑뷰 전방카메라 및 탑뷰 후방카메라;
    차량 내부 대시보드 주변 좌우에 각각 설치된 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이, 및 차량 내부 헤드유닛에 설치된 헤드유닛 디스플레이; 및
    상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 각각에 상기 아웃사이드 좌카메라 및 아웃사이드 우카메라 기반의 영상 데이터를 각각 제공하고, 상기 헤드유닛 디스플레이에 상기 탑뷰 좌카메라, 탑뷰 우카메라, 탑뷰 전방카메라 및 탑뷰 후방카메라 기반의 영상 데이터를 제공하는 제어부를 포함하며, 상기 제어부는 상기 헤드유닛 디스플레이에 상기 탑뷰 좌카메라, 탑뷰 우카메라, 탑뷰 전방카메라 및 탑뷰 후방카메라 기반의 전방위 영상을 제공하되, 상기 전방위 영상 중 소정의 차량 후방 영역에 대하여 상기 아웃사이드 좌카메라 및 아웃사이드 우카메라 기반의 영상으로 대체되도록 영상 합성을 수행하는 것을 특징으로 하는 차량 주변 영상 정보 제공 시스템.
  2. 제1항에 있어서,
    상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 각각은, 상기 제어부의 고장 발생에 따라상기 아웃사이드 좌카메라 및 아웃사이드 우카메라로부터 각각의 영상 데이터를 직접 수신하는 것을 특징으로 하는 차량 주변 영상 정보 제공 시스템.
  3. 제1항에 있어서,
    상기 제어부는, 상기 아웃사이드 좌카메라 또는 아웃사이드 우카메라 중 하나 이상의 고장 발생에 따라, 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 중 해당 카메라 고장 방향 디스플레이 또는 디스플레이들에 상기 탑뷰 좌카메라와 탑뷰 우카메라 중 해당 고장 방향 카메라 또는 카메라들 기반의 영상 데이터를 제공하는 것을 특징으로 하는 차량 주변 영상 정보 제공 시스템.
  4. 제1항에 있어서,
    상기 제어부는, 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 중 하나 이상의 고장 발생에 따라, 상기 헤드유닛 디스플레이에 상기 아웃사이드 좌카메라와 아웃사이드 우카메라 중 해당 디스플레이 고장 방향 카메라 또는 카메라들 기반의 영상 데이터를 제공하는 것을 특징으로 하는 차량 주변 영상 정보 제공 시스템.
  5. 제1항에 있어서,
    상기 제어부는, 상기 아웃사이드 좌카메라 또는 아웃사이드 우카메라 중 어느 하나와 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 중 어느 하나가 고장인 경우, 정상적인 아웃사이드 카메라 기반의 영상 데이터를 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 중 대응되는 정상적인 디스플레이에 제공하거나, 또는 대응되는 정상적인 디스플레이가 없으면 상기 헤드유닛 디스플레이에 제공하는 것을 특징으로 하는 차량 주변 영상 정보 제공 시스템.
  6. 제1항에 있어서,
    상기 제어부는, 상기 아웃사이드 좌카메라와 아웃사이드 우카메라 모두가 고장인 경우, 상기 탑뷰 좌카메라와 탑뷰 우카메라 기반의 영상 데이터를, 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 중 대응되는 정상적인 디스플레이에 제공하거나 또는 대응되는 정상적인 디스플레이가 없으면 상기 헤드유닛 디스플레이에 제공하는 것을 특징으로 하는 차량 주변 영상 정보 제공 시스템.
  7. 제1항에 있어서,
    상기 제어부는, 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이가 모두 고장인 경우, 정상적인 아웃사이드 카메라 기반의 영상 데이터를 상기 헤드유닛 디스플레이에 제공하거나, 또는 정상적인 아웃사이드 카메라가 없으면 상기 탑뷰 좌카메라와 탑뷰 우카메라 기반의 영상 데이터를 상기 헤드유닛 디스플레이에 제공하는 것을 특징으로 하는 차량 주변 영상 정보 제공 시스템.
  8. 제1항에 있어서,
    상기 제어부는, 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 각각에,
    상기 아웃사이드 좌카메라의 영상과 상기 탑뷰 좌카메라의 영상을 합성하여 지면 보임량이 확장된 뷰와, 상기 아웃사이드 우카메라 영상과 상기 탑뷰 우카메라의 영상을 합성하여 지면 보임량이 확장된 뷰를 제공하는 것을 특징으로 하는 차량 주변 영상 정보 제공 시스템.
  9. 삭제
  10. 아웃사이드 좌카메라 및 아웃사이드 우카메라를 이용하여, 차량의 외부 좌우에서 각각 후측방을 촬영하는 단계;
    탑뷰 좌카메라, 탑뷰 우카메라, 탑뷰 전방카메라 및 탑뷰 후방카메라를 이용하여, 차량의 외부 전후좌우에서 각각 지면이 포함되는 방향을 촬영하는 단계;
    제어부에서, 차량 내부 대시보드 주변 좌우에 각각 설치된 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 각각에 상기 아웃사이드 좌카메라 및 아웃사이드 우카메라 기반의 영상 데이터를 각각 제공하는 단계; 및
    상기 제어부에서, 차량 내부 헤드유닛에 설치된 헤드유닛 디스플레이에 상기 탑뷰 좌카메라, 탑뷰 우카메라, 탑뷰 전방카메라 및 탑뷰 후방카메라 기반의 영상 데이터를 제공하되, 상기 영상 데이터 중 소정의 차량 후방 영역에 대하여 상기 아웃사이드 좌카메라 및 아웃사이드 우카메라 기반의 영상으로 대체되도록 영상 합성을 수행하는 단계를 포함하는 것을 특징으로 하는 차량 주변 영상 정보 제공 방법.
  11. 제10항에 있어서,
    상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 각각은, 상기 제어부의 고장 발생에 따라 상기 아웃사이드 좌카메라 및 아웃사이드 우카메라로부터 각각의 영상 데이터를 직접 수신하는 것을 특징으로 하는 차량 주변 영상 정보 제공 방법.
  12. 제10항에 있어서,
    상기 제어부는, 상기 아웃사이드 좌카메라 또는 아웃사이드 우카메라 중 하나 이상의 고장 발생에 따라, 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 중 해당 카메라 고장 방향 디스플레이 또는 디스플레이들에 상기 탑뷰 좌카메라와 탑뷰 우카메라 중 해당 고장 방향 카메라 또는 카메라들 기반의 영상 데이터를 제공하는 단계
    를 더 포함하는 것을 특징으로 하는 차량 주변 영상 정보 제공 방법.
  13. 제10항에 있어서,
    상기 제어부는, 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 중 하나 이상의 고장 발생에 따라, 상기 헤드유닛 디스플레이에 상기 아웃사이드 좌카메라와 아웃사이드 우카메라 중 해당 디스플레이 고장 방향 카메라 또는 카메라들 기반의 영상 데이터를 제공하는 단계
    를 더 포함하는 것을 특징으로 하는 차량 주변 영상 정보 제공 방법.
  14. 제10항에 있어서,
    상기 제어부는, 상기 아웃사이드 좌카메라 또는 아웃사이드 우카메라 중 어느 하나와 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 중 어느 하나가 고장인 경우, 정상적인 아웃사이드 카메라 기반의 영상 데이터를 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 중 대응되는 정상적인 디스플레이에 제공하거나, 또는 대응되는 정상적인 디스플레이가 없으면 상기 헤드유닛 디스플레이에 제공하는 단계
    를 더 포함하는 것을 특징으로 하는 차량 주변 영상 정보 제공 방법.
  15. 제10항에 있어서,
    상기 제어부는, 상기 아웃사이드 좌카메라와 아웃사이드 우카메라 모두가 고장인 경우, 상기 탑뷰 좌카메라와 탑뷰 우카메라 기반의 영상 데이터를, 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 중 대응되는 정상적인 디스플레이에 제공하거나 또는 대응되는 정상적인 디스플레이가 없으면 상기 헤드유닛 디스플레이에 제공하는 단계
    를 더 포함하는 것을 특징으로 하는 차량 주변 영상 정보 제공 방법.
  16. 제10항에 있어서,
    상기 제어부는, 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이가 모두 고장인 경우, 정상적인 아웃사이드 카메라 기반의 영상 데이터를 상기 헤드유닛 디스플레이에 제공하거나, 또는 정상적인 아웃사이드 카메라가 없으면 상기 탑뷰 좌카메라와 탑뷰 우카메라 기반의 영상 데이터를 상기 헤드유닛 디스플레이에 제공하는 단계
    를 더 포함하는 것을 특징으로 하는 차량 주변 영상 정보 제공 방법.
  17. 제10항에 있어서,
    상기 제어부는, 상기 아웃사이드 좌디스플레이와 아웃사이드 우디스플레이 각각에,
    상기 아웃사이드 좌카메라의 영상과 상기 탑뷰 좌카메라의 영상을 합성하여 지면 보임량이 확장된 뷰와, 상기 아웃사이드 우카메라 영상과 상기 탑뷰 우카메라의 영상을 합성하여 지면 보임량이 확장된 뷰를 제공하는 단계
    를 더 포함하는 것을 특징으로 하는 차량 주변 영상 정보 제공 방법.
  18. 삭제
KR1020150174327A 2015-12-08 2015-12-08 차량 주변 영상 정보 제공 시스템 및 방법 KR101766077B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150174327A KR101766077B1 (ko) 2015-12-08 2015-12-08 차량 주변 영상 정보 제공 시스템 및 방법
US15/193,267 US10198639B2 (en) 2015-12-08 2016-06-27 System and method for providing image information around vehicle
DE102016213045.5A DE102016213045B4 (de) 2015-12-08 2016-07-18 System und verfahren zum bereitstellen von bildinformationen einer fahrzeugumgebung
CN201610577357.5A CN106853798B (zh) 2015-12-08 2016-07-20 用于提供车辆周围图像信息的***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150174327A KR101766077B1 (ko) 2015-12-08 2015-12-08 차량 주변 영상 정보 제공 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20170067549A KR20170067549A (ko) 2017-06-16
KR101766077B1 true KR101766077B1 (ko) 2017-08-07

Family

ID=58722960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150174327A KR101766077B1 (ko) 2015-12-08 2015-12-08 차량 주변 영상 정보 제공 시스템 및 방법

Country Status (4)

Country Link
US (1) US10198639B2 (ko)
KR (1) KR101766077B1 (ko)
CN (1) CN106853798B (ko)
DE (1) DE102016213045B4 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227517B2 (en) 2019-02-28 2022-01-18 Samsung Display Co., Ltd. Vehicle display device and method of driving the same

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10486599B2 (en) * 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
JP2019001444A (ja) * 2017-06-19 2019-01-10 聡子 荻原 自動車左右状況確認用ナビカメラ
KR102368609B1 (ko) * 2017-11-14 2022-03-02 현대자동차주식회사 차량의 카메라 모니터 시스템 및 그의 페일 세이프 방법
FR3074308B1 (fr) * 2017-11-24 2020-05-01 Safran Electronics & Defense Module optique pour telemetre laser monostatique ou quasi-monostatique
JP7147255B2 (ja) * 2018-05-11 2022-10-05 トヨタ自動車株式会社 画像表示装置
JP7073991B2 (ja) 2018-09-05 2022-05-24 トヨタ自動車株式会社 車両用周辺表示装置
DE102018219481A1 (de) * 2018-11-15 2020-05-20 Robert Bosch Gmbh Baugruppe für einen LiDAR-Sensor und LiDAR-Sensor
EP3884300B1 (en) * 2018-11-19 2024-06-12 Suteng Innovation Technology Co., Ltd. Lidar signal receiving circuits, lidar signal gain control methods, and lidars using the same
US11485353B2 (en) * 2019-04-30 2022-11-01 Baidu Usa Llc Segmenting a parking trajectory to control an autonomous driving vehicle to park
KR20220051880A (ko) * 2020-10-19 2022-04-27 현대모비스 주식회사 차량용 사이드 카메라 및 그 제어방법
CN114516338A (zh) * 2020-11-17 2022-05-20 佳骏科技股份有限公司 行车监控***
CN112572336A (zh) * 2020-12-23 2021-03-30 奇瑞汽车股份有限公司 一种行车安全提醒***及方法
CN112990017B (zh) * 2021-03-16 2022-01-28 刘宏伟 一种智慧城市大数据分析方法及监控***
KR102336049B1 (ko) 2021-09-03 2021-12-06 정태형 자동차 안전 주행을 위한 카메라 영상 떨림 보정 장치
EP4223613A1 (de) 2022-02-04 2023-08-09 STRABAG Infrastructure & Safety Solutions GmbH Schienenfahrzeug und videosystem für ein schienenfahrzeug

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003219413A (ja) * 2002-01-24 2003-07-31 Clarion Co Ltd 車両後方モニタシステムおよびモニタ装置
JP2013078151A (ja) * 2013-01-18 2013-04-25 Denso Corp 車両用表示装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3298851B2 (ja) 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
KR100439021B1 (ko) 2002-05-09 2004-07-05 주식회사 엠스톤 대규모 감시를 위한 디지탈 비디오 레코딩 시스템
KR20110045940A (ko) 2009-10-28 2011-05-04 한국과학기술원 사이드미러가 없는 자동차
CN201712536U (zh) * 2010-05-27 2011-01-19 唐永刚 多方位汽车可视驾驶辅助装置
JP5872764B2 (ja) * 2010-12-06 2016-03-01 富士通テン株式会社 画像表示システム
CN103782591B (zh) * 2011-08-26 2017-02-15 松下知识产权经营株式会社 驾驶辅助装置
KR101339121B1 (ko) 2011-12-08 2013-12-09 ㈜베이다스 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
WO2013086249A2 (en) * 2011-12-09 2013-06-13 Magna Electronics, Inc. Vehicle vision system with customized display
JP5831439B2 (ja) 2012-12-14 2015-12-09 株式会社デンソー 車両用情報提供装置
CN104512328B (zh) * 2013-09-27 2016-11-09 比亚迪股份有限公司 汽车环视图像生成方法及汽车环视***
CN104842871A (zh) * 2014-02-13 2015-08-19 徐志川 汽车电子后视***及技术方案
CN204095659U (zh) * 2014-08-05 2015-01-14 浙江商业职业技术学院 用于汽车的智能电子反光倒后镜
KR101622622B1 (ko) * 2014-10-13 2016-05-31 엘지전자 주식회사 차량 하부 이미지 제공 장치 및 이를 구비한 차량
CN204323191U (zh) * 2014-11-27 2015-05-13 湖南吉利汽车部件有限公司 一种消除汽车a柱视野盲区的汽车影像装置
US9168869B1 (en) * 2014-12-29 2015-10-27 Sami Yaseen Kamal Vehicle with a multi-function auxiliary control system and heads-up display
US10040394B2 (en) * 2015-06-17 2018-08-07 Geo Semiconductor Inc. Vehicle vision system
US9950669B2 (en) * 2015-11-12 2018-04-24 Robert Bosch Gmbh Vehicle camera system with multiple-camera alignment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003219413A (ja) * 2002-01-24 2003-07-31 Clarion Co Ltd 車両後方モニタシステムおよびモニタ装置
JP2013078151A (ja) * 2013-01-18 2013-04-25 Denso Corp 車両用表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227517B2 (en) 2019-02-28 2022-01-18 Samsung Display Co., Ltd. Vehicle display device and method of driving the same

Also Published As

Publication number Publication date
CN106853798B (zh) 2021-02-09
DE102016213045B4 (de) 2022-06-09
CN106853798A (zh) 2017-06-16
KR20170067549A (ko) 2017-06-16
US10198639B2 (en) 2019-02-05
DE102016213045A1 (de) 2017-06-08
US20170161566A1 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
KR101766077B1 (ko) 차량 주변 영상 정보 제공 시스템 및 방법
JP7055743B2 (ja) 複数カメラを用いた車両用モニタリングシステム
US11356618B2 (en) Image synthesis device for electronic mirror and method thereof
KR100936557B1 (ko) 차량용 주변 감시 장치 및 영상 표시 방법
US20170195564A1 (en) Three Dimensional Rendering for Surround View Using Predetermined Viewpoint Lookup Tables
US20160134815A1 (en) Driving assist device
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP2009524171A (ja) 複数の画像を結合して鳥瞰図画像にする方法
JP2008033901A (ja) 車両用画像表示システム
WO2018159017A1 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
CN101585347A (zh) 汽车后视***及具有该后视***的汽车
KR101795180B1 (ko) 페일 세이프 기능을 갖는 차량 측후방 모니터링 장치 및 방법
JP2021027469A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5195776B2 (ja) 車両周辺監視装置
US20210170946A1 (en) Vehicle surrounding image display device
WO2017169087A1 (ja) 電子ミラーの電気回路
JP2014236415A (ja) 車両表示装置
JP7220656B2 (ja) 車両用サラウンドビューシステム
JP2021118435A (ja) 画像処理装置及び画像処理方法
JP2024056563A (ja) 表示処理装置、表示処理方法、及び表示処理装置の作動プログラム
JP2019110390A (ja) 車両周辺監視装置
JP2009153156A (ja) 画像処理装置並びに視界支援装置及び方法
TWM558926U (zh) 多功能影像系統

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant