KR20130089143A - 차량 내의 디스플레이 장치 상에 이미지를 디스플레이하는 방법, 운전자 보조 시스템 및 차량 - Google Patents

차량 내의 디스플레이 장치 상에 이미지를 디스플레이하는 방법, 운전자 보조 시스템 및 차량 Download PDF

Info

Publication number
KR20130089143A
KR20130089143A KR1020127029607A KR20127029607A KR20130089143A KR 20130089143 A KR20130089143 A KR 20130089143A KR 1020127029607 A KR1020127029607 A KR 1020127029607A KR 20127029607 A KR20127029607 A KR 20127029607A KR 20130089143 A KR20130089143 A KR 20130089143A
Authority
KR
South Korea
Prior art keywords
vehicle
image
area
images
sensor data
Prior art date
Application number
KR1020127029607A
Other languages
English (en)
Other versions
KR101783069B1 (ko
Inventor
해럴드 바스
Original Assignee
발레오 샬터 운트 센소렌 게엠베아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 발레오 샬터 운트 센소렌 게엠베아 filed Critical 발레오 샬터 운트 센소렌 게엠베아
Publication of KR20130089143A publication Critical patent/KR20130089143A/ko
Application granted granted Critical
Publication of KR101783069B1 publication Critical patent/KR101783069B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량(1) 내의 디스플레이 유닛(3) 상에 이미지(27,28,29)를 디스플레이하는 방법에 관한 것이다. 상기 차량(1)의 적어도 하나의 영역의 차량 이미지(1')를 제공한다. 상기 차량(1)의 주변에 대한 정보를 포함하는 센서 데이터를 취득한다. 상기 차량 이미지(1') 및 센서 데이터로부터 형성된 이미지(27,28,29)를 디스플레이하되, 상기 이미지(27,28,29)는 상기 센서 데이터가 취득될 수 없는 주변에 속한 블랭크 영역(14',16',18',19', 22' 내지 25')을 포함한다. 상기 디스플레이된 이미지(27,28,29)에서, 상기 차량 이미지(1')는 상기 블랭크 영역(14',16',18',19', 22' 내지 25') 내로 확장되어 있다.

Description

차량 내의 디스플레이 장치 상에 이미지를 디스플레이하는 방법, 운전자 보조 시스템 및 차량{METHOD FOR DISPLAYING AN IMAGE ON A DISPLAY DEVICE IN A VEHICLE, DRIVER ASSISTANCE SYSTEM AND VEHICLE}
본 발명은 차량 내의 디스플레이 유닛 상에 이미지를 디스플레이하는 방법에 관한 것이다. 차량의 적어도 하나의 영역의 차량 이미지가 제공된다. 또한, 차량 주변에 대한 정보를 포함하는 센서 데이터가 취득된다. 이 차량 이미지와 센서 데이터로부터 형성된 이미지가 디스플레이된다. 이 이미지는 센서 데이터가 포착할 수 없는 주변의 블랭크 영역(blank region)을 포함한다. 본 발명은 또한 운전자 보조 시스템 및 이러한 운전자 보조 시스템을 갖는 차량에 관한 것이다.
한 편에서는 차량을 나타내는 이미지 및 다른 편에서는 차량 주변을 나타내는 이미지를 차량의 디스플레이 유닛 상에 디스플레이하는 바는 종래 기술이다. 이 경우에, 특히, 차량 및 그 주변의 평면도(또한, 조감도)가 관심 대상이다. 이러한 평면도를 나타내는 이미지는 취득된 센서 데이터를 프로세싱함으로써 생성될 수 있다. 이를 위해서, 차량의 몸체에 부착된 다수의 카메라의 이미지 데이터가 통상적으로 프로세싱된다. 이어서, 통상적으로 이전에 이미 저장된 차량이미지 및 센서 데이터로부터 생성된 주변 이미지의 평면도를 나타내는 이미지가 디스플레이 유닛 상에서 디스플레이된다.
가령, 4 개의 카메라가 사용되어서 센서 데이터를 취득한다. 먼저, 일 카메라는 전방 범퍼 상에 존재하고 일 카메라는 후방 범퍼 상에 존재하고 일 카메라는 우측 플랭크(flank) 상에 존재하며 일 카메라는 좌측 플랭크 상에 존재한다. 이러한 카메라에 의해서 취득될 수 없는 차량 주변 영역들이 존재한다. 특히, 차량의 라운딩 코너 영역들은 카메라들에서 포착되지 않으며 또한 차량의 외부 표면에 바로 인접하는 인접 영역도 역시 카메라들에 의해서 포착되지 않는다. 따라서, 이러한 영역들에 대해서는 어떠한 센서 데이터도 존재하지 않으며 이러한 영역에 대한 실제 이미지는 디스플레이 상에 표현되지 않는다. 종래 기술에서는 이렇게 센서 데이터가 취득될 수 없는 주변 블랭크 영역은 디스플레이 이미지 상에서 블랙 컬러로 표시됨으로써 처리되었다. 따라서, 이러한 블랭크 영역에 대한 어떠한 정보도 운전자에게 제공되지 않으며, 따라서 운전자는 이러한 영역 내에 물체가 존재하는지 여부를 알 수 없다. 관찰에 의하면, 운전자는 주변에 위치한 물체들이 카메라들에 의해서 취득될 수 없는 영역들로 이동하도록 차량을 운전하는 경향이 있다. 이러한 물체들은 디스플레이된 이미지 내의 블랙 표시 영역과 겹쳐지게 되고 따라서 표현되지 않게 된다. 어떠한 환경에서는, 운전자가 차량과 물체 간의 실제 거리를 잘못 판단할 수도 있다. 따라서, 운전자는 물체들이 촬상되지 않은 영역들로 이동하는 상황을 피해야 한다. 그러나, 운전자의 행동으로부터 기인될 수 있는 이러한 충돌 상황이 발생할 수도 있다. 따라서, 충돌하지 않게 차량을 운전하게 하는 기술이 필요하다.
본 발명의 목적은 차량 운전 동안 충돌 위험이 최소한으로 저감될 수 있게 하는 서두에서 언급된 종류의 방법을 제공하는 것이다.
본 발명에 따르면, 이러한 목적은 청구 범위 제 1 항의 특징부들을 갖는 방법, 청구항 제 9 항에 따른 특징부들을 갖는 운전자 보조 시스템 및 청구항 제 10 항에 따른 특징부들을 갖는 차량에 의해서 달성된다. 본 발명의 유리한 실시예들은 종속항들의 청구 대상 및 이하의 상세한 설명 부분의 논의 대상이다.
본 발명에 따른 방법에서, 차량, 특히 자동차, 바람직하게는 승용차 내의 디스플레이 유닛 상에 이미지가 디스플레이된다. 이 차량의 적어도 하나의 차량 이미지 제공되고, 차량의 주변에 대한 정보를 포함하는 센서 데이터가 취득된다. 이 디스플레이된 이미지는 상기 차량 이미지와 센서 데이터로부터 형성된다. 상기 디스플레이된 이미지는 어떠한 센서 데이터도 취득되지 않는 주변 블랭크 영역(blank region)을 포함한다. 디스플레이된 이미지에서, 차량 이미지는 블랭크 영역까지 확장되어 있다.
따라서, 본 발명의 효과는 이 디스플레이된 이미지에서, 주변의 블랭크 영역이 차량 이미지와 적어도 그 영역에 있어서는 중첩된다는 점에서 달성된다. 달리 말하면, 디스플레이된 이미지에서 표현된 차량은 센서 데이터가 취득될 수 없는 해당 블랭크 영역들까지 해당 영역에서는 확장되게 보인다. 종래 기술과 대비하여서, 주변의 블랭크 영역들은 완전하게 블랙으로 나타나지 않고 이보다는 차량이 이 블랭크 영역들과 해당 영역에서는 중첩하도록 차량이 이미지 내에서 표현된다. 이로써, 주변에 위치한 물체의 차량까지의 거리가 실제 거리보다 운전자에게는 작아 보이게 된다. 이로써, 충돌 위험이 최소화된다. 구체적으로, 운전자는 이미지 내에 있는 물체가 이렇게 "가상으로" 표현된 차량과 충돌하지 않도록 차량을 운전하게 되어서 언제나 차량으로부터 물체와는 특정 거리가 유지되게 된다. 본 발명의 또 다른 장점은 바람직하게는 어떠한 블랙 영역도 나타나지 않거나 오직 매우 작은 부분만이 블랙으로 표시되는 보기 좋은 이미지가 디스플레이 유닛 상에 표시된다는 것이다.
이 이미지 내에서, 차량 이미지는 바람직하게는 블랭크 영역까지 완전하게 확장되어 있다. 이는 블랭크 영역과 차량 이미지가 서로 완전하게 중첩하는 것을 의미한다.
이로써, 이 디스플레이된 이미지에서 차량 이미지가 블랭크 영역까지 확장되어 있다. 이는 다양한 방식으로 구현될 수 있다. 가령, 차량 이미지는 블랭크 영역까지 확장되도록 디스플레이된 이미지 내에서 시프트될 수 있다. 이와 달리, 차량이 디스플레이된 이미지 내에서 주변 환경에 비해서 확장된 축척으로 표현되어서 적어도 부분적으로 블랭크 영역과 해당 영역에서는 중첩되게 하는 것이다. 추가적이거나 다른 방식으로서, 차량의 적어도 일 영역이 차량 이미지 내에서 왜곡되도록 표현되는 것이다. 이러한 차량 이미지와 관련하여서 다양한 실시예들이 제공된다. 변경된 차량 이미지는 저장 유닛 내에 이전에 이미 저장될 수 있다. 이와 달리, 실제 차량 이미지가 이전에 저장되고 이어서 컴퓨터가 디스플레이된 차량 이미지가 블랭크 영역과 중첩하도록 그 실제 차량 이미지를 프로세싱할 수 있다.
차량 이미지는 바람직하게는 전체 차량을 표현한다. 이로써, 운전자는 디스플레이 상에서 표시된 전체 차량을 볼 수 있으며 이로써 차량 주변에 대한 정보를 파악할 수 있다.
전술한 바와 같이, 디스플레이된 이미지에서, 차량의 적어도 일 영역은 주변 환경에 비해서 그 축척이 확대되어서 표시될 수 있다. 이로써, 이 확대된 영역은 적어도 영역 상 블랭크 영역과 중첩하게 된다. 이러한 방식으로, 최소한의 데이터 프로세싱 작업을 통해서 주변의 블랭크 영역을 차량 이미지로 덮을 수가 있다. 구체적으로, 따라서, 차량 이미지는 차량의 에지 영역이 주변의 블랭크 영역 내로 이동하도록 주변 환경에 비해서 축척이 크게 되어야 한다. 또한, 이러한 실시예는 디스플레이된 이미지 내에서 차량의 형상 및 외관이 변하지 않고 실제처럼 될 수 있다는 장점이 있다.
디스플레이된 이미지 내에서 전체 차량이 그 축척이 확대되게 표현되는 것이 특히 유리하다고 입증되었다. 이로써, 차량 주변의 다수의 블랭크 영역들이 적어도 영역 상 차량 이미지와 중첩되게 된다. 말하자면, 특히 차량의 코너 영역에 인접하는 블랭크 영역 및 선택 사양적으로는 차량 몸체의 외부 표면을 따라서 존재하는 좁은 영역과도 차량 이미지가 중첩되게 된다. 또한, 데이터 프로세싱 작업도 최소한으로 될 수 있다. 이는 차량 이미지가 단지 축척(scale) 상 주변 환경에 비해서 확대되기만 되면 되기 때문이다.
추가적으로 또는 이와 달리, 차량 이미지에서, 차량의 적어도 일 영역의 형상, 가령 구체적으로는 윤곽선 프로파일이 왜곡되게 즉, 의사적으로 표현될 수 있다. 이로써, 블랭크 영역은 이 왜곡된 영역과 적어도 영역 상 중첩된다. 이 실시예는 가령 디스플레이된 이미지 내에서 작은 개별 블랭크 영역들이 차량의 영역들과 중첩되어야 하는 경우에 특히 유리하다. 구체적으로, 가령, 주변의 블랭크 영역이 바로 인접하는 차량 영역만이 실제 이미지에 대해서 왜곡되게 또는 의사적으로 표현될 수 있다. 통상적으로 이러한 영역들은 차량의 코너 영역들이다. 주변의 블랭크 영역이 차량의 코너 영역에 인접하여 있는 경우에, 이 코너 영역은 왜곡되게 표현될 수 있다. 가령, 디스플레이된 이미지 내에서, 블랭크 영역이 이 코너 영역과 중첩하도록 이 코너 영역은 각기 확대 또는 확장될 수 있다. 이로써, 이 실시예에서는 차량에 인접하는 개별 주변 블랭크 영역들이 이에 인접하는 해당 차량 영역과 작은 기술적 작업으로도 중첩될 수 있다. 또한, 디스플레이된 이미지에서, 차량이 초기에는 주변 환경에 비해서 축척이 확대된 바로서 표현되며 이후에 추가적으로 차량의 적어도 일 영역이 왜곡되게 표현될 수 있다. 이러한 조합을 통해서, 한편으로는, 차량을 둘러서 위치하는 좁은 블랭크 영역이 단지 차량의 축척을 크게 함으로써 중첩될 수 있으며, 한편으로는 차량의 코너 영역들에 인접하는 다른 블랭크 영역들이 단지 해당 코너 영역만을 왜곡시킴으로써 중첩될 수 있다. 이로써, 오직 차량 및 이의 주변만이 디스플레이된 이미지에서 표현되면서 모든 블랭크 영역들을 차량 이미지와 완전하게 중첩시킬 수 있다.
특히, 차량 이미지가 차량의 적어도 일 영역의 평면도, 특히 전체 차량 이미지의 평면도를 나타내고 센서 데이터가 수집된 주변 환경의 평면도를 나타내는 이미지 데이터로 프로세싱되면 본 발명의 장점이 완벽해질 수 있다. 차량의 적어도 일 영역 및 주변 환경의 평면도가 디스플레이된 이미지 내에서 표현된다. 이러한 차량 및 주변 평면도는 특히 사용자 친화적이다. 따라서, 운전자는 차량과 차량 주변에 위치하는 물체 간의 거리를 용이하게 파악하거나 심각한 상황을 인지할 수 있다. 이로써, 운전자는 이러한 조감도를 통해서 물체와 차량 간의 거리를 보다 양호하게 판단할 수 있다. 그러나, 차량의 블랭크 영역의 경우에, 특히 차량에 바로 인접하여 있으면서 센서 데이터가 취득되지 않는 주변 영역의 경우에 있어서 문제가 발생할 수 있다. 본 발명은 디스플레이된 이미지에서 블랭크 영역들이 적어도 영역 상 차량 이미지와 중첩되게 함으로써 상술한 문제들이 정확하게 해소되게 한다.
센서 데이터를 외삽(extrapolation) 처리함으로써 외삽 이미지가 블랭크 영역에 대해서 획득되고 이 블랭크 영역은 디스플레이된 이미지 내에서 상기 외삽 이미지와 해당 영역에서 중첩하게 된다. 이로써, 말하자면 외삽을 통해서 블랭크 영역에 대해서 추가 데이터가 센서 데이터로부터 획득될 수 있다. 이로써, 블랭크 영역의 일 영역은 그 영역에서 종래 기술에서와 같이 블랭 영역과 중첩되기보다는 "인공" 데이터와 중첩될 수 있다. 이는 가령 블랭크 영역의 일 영역이 취득된 주변의 인접 영역에 대한 컬러 처리에 대응하는 컬러 처리를 받는 외삽 이미지와 중첩되게 나타날 수 있다. 이로써, 블랭크 영역의 일 영역은 차량 이미지와 중첩하고 블랭크 영역의 다른 영역은 외삽 이미지와 중첩되게 된다. 블랭크 영역 중첩은 바람직하게는 외삽 이미지를 사용하여서 완성될 수 있다. 즉, 차량 이미지와 중첩되지 않은 블랭크 영역 중의 영역은 외삽 이미지와 중첩될 수 있다. 이로써, 특히 블랙 표시가 전혀 없으면서 차량 충돌 위험을 증가시키지 않도록 하면서 시각적으로 보기 좋은 이미지가 디스플레이 상에서 전체적으로 표현될 수 있도록 전체 블랭크 영역이 이미지들과 중첩할 수 있다.
센서 데이터가 바람직하게는 적어도 하나의 카메라를 사용하여서, 특히 인간에게 가시적인 스펙트럼 범위의 광을 검출할 수 있는 광 취득 유닛을 사용하여서 취득될 수 있다. 가령, 차량에 부착된 적어도 총 4 개의 카메라가 제공될 수 있다. 가령, 제 1 카메라는 전방 범퍼에 부착되고, 제 2 카메라는 후방 범퍼에 부착되고, 제 3 카메라는 좌측 플랭크 또는 좌측 외부 미러에 부착되고 제 4 카메라는 우측 플랭크 또는 우측 외부 미러에 부착된다. 이러한 카메라들은 상대적으로 넓은 취득 각도를 가지며 특히 170°보다 큰 취득 각도, 특히 180°보다 큰 취득 각도를 갖는다. 따라서, 차량의 전체 주변이 취득될 수 있으며 차량의 주변의 평면도를 나타내는 이미지들이 생성될 수 있다.
본 발명에 따른 차량용 운전자 보조 장치는 이미지를 디스플레이하도록 설계된다. 이 시스템은 차량 주변에 대한 정보를 포함하는 센서 데이터를 취득하는데 사용되는 적어도 하나의 센서를 포함한다. 이 운전자 보조 장치는 차량의 적어도 일 영역의 차량 이미지가 제공되는 컴퓨터 유닛을 더 포함한다. 이 컴퓨터 유닛은 차량 이미지 및 센서 데이터로부터 이미지를 생성할 수 있다. 이 이미지는 어떠한 센서 데이터도 취득되지 않은 주변 블랭크 영역을 포함한다. 이 운전자 보조 장치는 이미지를 디스플레이하는데 사용되는 디스플레이 유닛을 더 포함한다. 디스플레이된 이미지에서, 차량 이미지는 블랭크 영역까지 확장되어 있다.
본 발명에 따른 차량, 특히 자동차는 본 발명에 따른 운전자 보조 장치를 포함한다. 본 발명에 따른 방법에 대해서 기술된 바람직한 실시예들 및 이 실시예들의 장점들은 본 발명에 따른 운전자 보조 시스템 및 본 발명에 따른 차량에 대해서도 동일하게 적용될 수 있다.
본 발병의 다른 특징부들은 청구범위, 도면 및 도면에 대한 설명 부분으로부터 도출될 수 있다. 전술한 특징부 및 이들의 임의의 조합 및 후술하고/하거나 도면에서만 도시된 특징부들 및 이들의 임의의 조합은 각각의 특정 조합으로 사용될 뿐만 아니라 다른 조합으로 사용되거나 단독으로 사용될 수도 있다.
본 발명은 다음과 같은 첨부 도면을 참조하여서 개별 바람직한 예시적인 실시예들을 기초하여서 보다 상세하게 기술될 것이다.
도 1은 본 발명의 일 실시예에 따른 운전자 보조 시스템을 갖는 차량의 개략도이다.
도 2는 차량의 주변의 블랭크 영역이 도시된 이미지의 개략도이다.
도 3은 블랭크 영역이 차량 이미지에 의해서 중첩된, 운전자 보조 시스템에 의해서 디스플레이된 이미지의 개략도이다.
도 4는 차량의 코너 영역들이 왜곡되게 표현되며 블랭크 영역들이 주변과 중첩하고 있는 이미지의 개략도이다.
도 5는 블랭크 영역이 외삽 이미지에 의해서 중첩되어 있는 이미지의 개략도이다.
도 1에 도시된 차량(1)은 승용 자동차이다. 이 차량(1)은 디스플레이 유닛(3), 컴퓨터 유닛(4) 및 4 개의 카메라(5a 내지 5d)를 포함하는 운전자 보조 시스템(2)를 포함하고 있다. 컴퓨터 유닛(4)은 디스플레이 유닛(3)을 제어한다. 카메라(5a 내지 5d)는 취득된 센서 데이터를 가령 구체적으로 차량(1)의 내부 통신 버스를 통해서 컴퓨터 유닛(4)에 전송한다.
디스플레이 유닛(3)은 가령 LCD 디스플레이 스크린일 수 있다. 그러나, 이미지가 와인드스크린(6)(이른바 헤드-업 디스플레이) 상에 투사될 수 있게 하는 프로젝터일 수도 있다.
또한, 차량 이미지가 컴퓨터 유닛(4) 내에 저장될 수 있다. 보다 정확하게는, 차량(1)의 이미지를 나타내는 데이터가 메모리(7) 내에 저장될 수 있다.
카메라(5a 내지 5d)는 차량(1)의 외부 표면상에 배열된다. 카메라(5a 내지 5d)의 개수 및 배열은 도 1에서는 단지 예시적으로 도시되었을 뿐이다. 카메라(5a 내지 5d)의 개수 및 이들의 차량(1)에서의 배열은 실시예들에 따라서 변할 수 있다. 예시적인 실시예에서, 제 1 카메라(5a)는 차량(1)의 전방 범퍼 상에 배열되고 제 2 카메라(5b)는 후방 범퍼 상에 배열된다. 제 3 카메라(5c)는 좌측 플랭크 상에 부착되거나 좌측 외부 미러(8) 내에 통합될 수도 있다. 제 4 카메라(5d)는 우측 외부 미러(9) 영역에서 우측 플랭크 상에 부착된다. 제 4 카메라(5d)는 우측 외부 미러(9) 내에 통합될 수도 있다.
카메라(5a 내지 5d)는 각각 넓은 취득 각도를 가지며 이른바 어안형 카메라(fisheye camera)이다. 가령, 각각의 취득 각도는 170°내지 190°범위 내에 있을 수 있다. 도 1에 도시된 바와 같이, 제 1 카메라(5a)는 차량(1)의 전방의 영역(10)을 취득하고 제 2 카메라(5b)는 차량(1)의 후방의 영역(11)을 취득한다. 또한, 제 3 카메라(5c)는 차량(1)에 인접하는 좌측 영역(12)을 취득하고, 제 4 카메라(5d)는 차량(1)에 인접하는 우측 영역(13)을 취득한다. 이로써, 카메라(5a 내지 5d)는 실질적으로 차량(1)의 전 주변을 취득할 수 있다. 그러나, 카메라(5a 내지 5d)에 의해서 취득될 수 없는 차량 주변 영역들이 존재한다. 구체적으로, 차량(1)의 코너 영역(15)에 인접한 제 1 블랭크 영역(14)은 카메라(5a 내지 5d)에 의해서 취득될 수 없다. 또한, 차량(1)의 전방 우측 코너 영역(17)에 인접한 제 2 블랭크 영역(16)도 카메라(5a 내지 5d)에 의해서 취득될 수 없다. 또한, 차량(1)의 후방 좌측 코너 영역(20)에 인접한 제 3 블랭크 영역(18)도 카메라(5a 내지 5d)에 의해서 취득될 수 없다. 또한, 차량(1)의 후방 우측 코너 영역(21)에 인접한 제 4 블랭크 영역(19)도 카메라(5a 내지 5d)에 의해서 취득될 수 없다. 또한, 다른 종류의 블랭크 영역들이 존재한다. 구체적으로, 좌측 플랭크에 바로 인접한 블랭크 영역(22), 우측 플랭크에 바로 인접한 블랭크 영역(23), 전방 범퍼에 바로 인접한 블랭크 영역(24) 및 후방 범퍼에 바로 인접한 블랭크 영역(25)도 역시 카메라(5a 내지 5d)에 의해서 취득될 수 없다. 이러한 블랭크 영역들(22 내지 25)은 상대적으로 평탄하고 차량(1)의 외부 표면에 대해서 평행하면서 실질적으로 수직으로 연장되어 있다. 이러한 블랭크 영역들(22 내지 25)은 선택 사양적으로 카메라(5a 내지 5d)를 적절하게 배치하고/하거나 취득 각도를 적절하게 선택함으로써 제거될 수도 있다.
컴퓨터 유닛(4)은 카메라(5a 내지 5d)에 의해서 취득된 센서 데이터를 프로세싱할 수 있다. 전술한 바와 같이, 취득 영역(10 내지 13)에 대해서는 센서 데이터가 존재하는 반면에, 블랭크 영역(14 내지 25)에 대해서는 센서 데이터가 취득되지 않게 된다. 컴퓨터 유닛(4)은 센서 데이터를 이미지 데이터로 프로세싱하는데 이 이미지 데이터는 차량(1)의 주변, 구체적으로는 취득 영역(10 내지 13)의 평면도를 나타낸다. 이로써, 컴퓨터 유닛(4)은 취득 영역(10 내지 13)의 평면도를 나타내는 주변 이미지를 센서 데이터로부터 생성할 수 있다.
전술한 바와 같이, 차량(1)의 차량 이미지는 메모리(7) 내에 저장된다. 또한, 이 차량 이미지는 차량(1)을 조감도로 나타낸다. 달리 말하면, 차량 이미지는 차량(1)의 평면도를 나타낸다. 컴퓨터 유닛(4)은 주변 이미지 및 차량 이미지로부터 단일 이미지를 생성하는데 이 단일 이미지 내에서 차량(1)의 주변 및 차량(1) 자체 모두가 조감도로 나타나게 된다. 컴퓨터 유닛(4)은 디스플레이 유닛(3) 상에 상기 이미지를 디스플레이할 수 있다. 이로써 생성된 이미지는 디스플레이 유닛(3) 상에서 연속적으로 디스플레이된다. 이는 이 이미지가 차량(1)의 주변에 대하여 연속하여서 적응됨을 의미한다. 구체적으로, 센서 데이터가 카메라(5a 내지 5d)에 의해서 연속적으로 취득된다.
컴퓨터 유닛(4)에 의해서 센서 데이터 및 차량 이미지로부터 생성될 수 있는 가능한 이미지(26)가 도 2에 도시되어 있다. 이 이미지는 차량 이미지(1') 및 차량(1)의 주변을 나타내고 있다. 도 2에 도시된 바와 같이, 이미지(26)는 주변에 속한 블랭크 영역(14',16',18',19') 및 블랭크 영역(22' 내지 25')을 포함한다. 이러한 블랭크 영역들(14',16',18',19' 및 22' 내지 25')에 대해서는 어떠한 센서 데이터도 취득되지 않는다. 종래 기술에서, 이러한 블랭크 영역들은 블랙으로 표시되며 도 2에 도시된 이미지(26)가 운전자에게 표시된다. 따라서, 운전자는 이미지(26)에서 초기에 이미징된 물체들이 이러한 블랭크 영역들(14',16',18',19' 및 22' 내지 25')로 이동하도록 차량(1)을 조작하게 된다. 이로써, 운전자는 이 물체를 더 이상 볼 수 없게 되며 이러한 상황에서는 즉시 차량(1)을 제동하거나 이러한 상황이 발생하지 않게 해야 한다.
이러한 상황을 피하기 위해서, 본 예시적인 실시예들에서, 차량 이미지(1')가 이러한 블랭크 영역들(14',16',18',19' 및 22' 내지 25') 내로 확장되도록 된 이미지가 디스플레이 유닛(3) 상에서 디스플레이된다. 이러한 이미지(27)의 실례가 도 3에 도시되어 있다. 이 이미지(27)에서, 차량(1')은 주변에 비해서 그 축척이 확대되게 나타나게 된다. 이는 가령 확대된 차량 이미지(1')가 메모리(7) 내에 미리 저장되거나 이와 달리 컴퓨터 유닛(4)이 이미지 프로세싱에 의해서 준 실시간으로(in quasi-real time) 차량 이미지(1')의 축척 또는 스케일을 확대함으로써 이루어질 수 있다. 이로써, 이미지(27) 내의 차량 이미지(1')는 주변에 비해서 확대된 크기를 갖는 차량(1)을 나타내게 된다. 이 이미지(27)에서, 차량 이미지(1')에 의해서 블랭크 영역(22' 내지 25')은 완전하게 중첩되며 블랭크 영역(14', 16', 18', 19')은 부분적으로 중첩되게 된다. 이로써, 도 3에 도시된 이미지(27)가 운전자에게 표시된다. 도 3에 도시된 바와 같이, 모든 블랭크 영역들(14',16',18',19' 및 22' 내지 25')이 이미지(27)에 의해서 거의 완전하게 중첩된다. 블랭크 영역(14', 16', 18', 19')만은 부분적으로 중첩될 수 있다. 이 이미지(27)는 운전자가 대체로 주변 물체와 차량(1') 간의 거리를 실제 거리보다 작게 느낄 수 있다는 점에서 이미지(26)에 대해서 유리한 점을 갖는다. 이로써, 물체가 블랭크 영역(14', 16', 18', 19') 내로 이동할 가능성이 운전자가 이미지(27)를 사용함으로써 낮아져서 충돌 위험이 최소한으로 저감된다.
이미지 프로세싱의 다른 단계 또는 다른 실시예는 차량(1')의 적어도 하나의 영역이 디스플레이된 이미지에서 의사적으로(falsely) 또는 왜곡되게 표현되는 것이다. 도 4는 컴퓨터 유닛(4)에 의해서 생성될 수 있는 다른 이미지(28)를 상세하게 나타내고 있다. 이미지(28)에서는 차량 이미지(1') 및 주변 이미지가 조감도로 해서 나타내어져 있다. 도 4에 도시된 바와 같이, 블랭크 영역들(14',16')은 차량 이미지(1')에 의해서 완전하게 중첩되어 있다. 이를 위해서, 차량(1')의 코너 영역들(15',17')은 왜곡되게 나타나 있다. 구체적으로, 이 코너 영역들(15',17')은 도 3에 따른 이미지(27)에 비해서 확대 또는 확장되었다. 이로써, 이들은 블랭크 영역들(14',16') 상을 전체적으로 중첩하도록 확장하고 있다. 달리 말하면, 이 코너 영역들(15',17')은 도 3에 도시된 이미지(27)의 코너 영역들 또는 차량(1)의 실제 코너 영역들(15,17)에 비해서 덜 라운딩되고 보다 많이 각져 있다. 또한, 차량 이미지(1')의 후방 코너 영역들도 역시 왜곡되게 표시될 수 있으며 이로써 블랭크 영역들(18',19')이 이 후방 코너 영역들에 의해서 완전하게 중첩될 수 있다.
전술한 바와 같이, 차량 이미지(1')의 적어도 하나의 영역을 왜곡한 바와 차량 이미지(1')의 스케일 또는 축척을 확대하는 바는 서로 결합될 수 있다. 그러나, 왜곡 처리는 또한 축척 확대와는 달리 수행될 수 있다.
이러한 차량 이미지 왜곡 처리는 컴퓨터 유닛(4)에 의한 차량 이미지에 대한 이미지 프로세싱을 통하여서 이루어지거나 왜곡된 이미지가 메모리(7)에 미리 저장될 수도 있다.
도 5는 블랭크 영역들(14',16',18',19')의 크기가 도 2에 도시된 이미지(26)에 비해서 감소된 다른 이미지(29)의 실례를 나타내고 있다. 이 이미지(29)에서, 차량 이미지(1')는 도 2에 도시된 이미지(26)와 동일한 축척대로 도시되어 있다. 이는 차량의 축척이 주변 환경의 축척과 동일하다는 의미이다. 그러나, 차량 이미지(1')는 도 5에 따른 이미지(29)에서 축척이 확대되게 표현될 수도 있다. 도 5에 도시된 이미지(29)에서, 블랭크 영역들(14',16',18',19')은 외삽 이미지(30,31,32,33)에 의해서 각기 부분적으로 중첩되어 있다. 외삽 이미지(30,31,32,33)는 컴퓨터 유닛(4)에 의해서 센서 데이터를 외삽 처리함으로써 획득된다. 이로써, 종래 기술과는 대조적으로, 블랭크 영역들(14',16',18',19')은 블랙 표시로 되기보다는 센서 데이터로부터 획득된 이미지들에 의해서 중첩되게 된다. 이는 특히 운전자 친화적인데 차량의 완전한 주변 환경이 운전자에게 거의 유사하게 제공된다는 인상을 주기 때문이다.

Claims (10)

  1. 차량(1) 내의 디스플레이 유닛(3) 상에 이미지(27,28,29)를 디스플레이하는 방법으로서,
    상기 차량(1)의 적어도 하나의 영역의 차량 이미지(1')를 제공하는 단계와,
    상기 차량(1)의 주변에 대한 정보를 포함하는 센서 데이터를 취득하는 단계와,
    상기 차량 이미지(1') 및 센서 데이터로부터 형성된 이미지(27,28,29)━상기 이미지(27,28,29)는 상기 센서 데이터가 취득될 수 없는 주변에 속한 블랭크 영역(14',16',18',19', 22' 내지 25')을 포함함━를 디스플레이하는 단계를 포함하며,
    상기 디스플레이된 이미지(27,28,29)에서, 상기 차량 이미지(1')는 상기 블랭크 영역(14',16',18',19', 22' 내지 25') 내로 확장되어 있는
    이미지 디스플레이 방법.
  2. 제 1 항에 있어서,
    상기 차량 이미지(1')는 차량(1) 전체를 나타내는
    이미지 디스플레이 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 이미지(27,28,29)에서, 상기 차량(1)의 적어도 하나의 영역은 차량 주변에 비해서 축척(scale)이 확대되게 나타나고 이 축척이 확대된 영역은 적어도 영역상 상기 블랭크 영역(14',16',18',19', 22' 내지 25')과 중첩하는
    이미지 디스플레이 방법.
  4. 제 3 항에 있어서,
    상기 이미지(27,28,29)에서, 차량(1) 전체가 차량 주변에 비해서 축척이 확대되게 나타나는
    이미지 디스플레이 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 차량 이미지(1')에서, 상기 차량(1)의 적어도 하나의 영역(15',17')의 형상은 왜곡되게 나타나며 상기 블랭크 영역(14',16',18',19', 22' 내지 25')은 적어도 영역 상 상기 왜곡된 영역(15',17')과 중첩하는
    이미지 디스플레이 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 차량 이미지(1')는 상기 차량(1)의 적어도 하나의 영역의 평면도를 나타내고,
    상기 센서 데이터는 취득된 주변의 평면도를 나타내는 이미지 데이터로 프로세싱되며,
    상기 차량(1)의 적어도 하나의 영역 및 주변의 평면도가 상기 이미지(27,28,29)에서 나타나는
    이미지 디스플레이 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 센서 데이터를 외삽 처리함으로써 상기 블랭크 영역(14',16',18',19', 22' 내지 25')에 대한 외삽 이미지(30 내지 33)가 획득되고,
    상기 디스플레이된 이미지(27,28,29)에서, 상기 블랭크 영역(14',16',18',19', 22' 내지 25')은 상기 외삽 이미지(30 내지 33)에 의해서 영영 상 중첩되는
    이미지 디스플레이 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 센서 데이터는 카메라(5a 내지 5d)에 의해서 취득되는
    이미지 디스플레이 방법.
  9. 이미지(27,28,29)를 디스플레이하기 위한 차량(1)용 운전자 보조 시스템(2)으로서,
    상기 차량(1)의 주변에 대한 정보를 포함하는 센서 데이터를 취득하기 위한 적어도 하나의 센서(5a 내지 5d)와,
    상기 차량(1)의 적어도 하나의 영역의 차량 이미지(1')가 제공되며 상기 차량 이미지(1') 및 센서 데이터로부터 이미지(27,28,29)━상기 이미지(27,28,29)는 상기 센서 데이터가 취득될 수 없는 주변에 속한 블랭크 영역(14',16',18',19', 22' 내지 25')을 포함함━를 생성하도록 구성된 컴퓨터 유닛(4)과,
    상기 이미지(27,28,29)를 디스플레이하기 위한 디스플레이 유닛(3)을 포함하며,
    상기 디스플레이된 이미지(27,28,29)에서, 상기 차량 이미지(1')는 상기 블랭크 영역(14',16',18',19', 22' 내지 25') 내로 확장되어 있는
    운전자 보조 시스템.
  10. 차량(1), 특히 자동차로서, 제 9 항에 따른 운전자 보조 시스템(2)을 포함하는 차량.
KR1020127029607A 2010-04-15 2011-04-11 차량 내의 디스플레이 장치 상에 이미지를 디스플레이하는 방법, 운전자 보조 시스템 및 차량 KR101783069B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102010015079A DE102010015079A1 (de) 2010-04-15 2010-04-15 Verfahren zum Anzeigen eines Bildes auf einer Anzeigeeinrichtung in einem Fahrzeug. Fahrerassistenzsystem und Fahrzeug
DE102010015079.7 2010-04-15
PCT/EP2011/055610 WO2011141249A1 (de) 2010-04-15 2011-04-11 Verfahren zum anzeigen eines bildes auf einer anzeigeeinrichtung in einem fahrzeug, fahrerassistenzsystem und fahrzeug

Publications (2)

Publication Number Publication Date
KR20130089143A true KR20130089143A (ko) 2013-08-09
KR101783069B1 KR101783069B1 (ko) 2017-09-28

Family

ID=44118899

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127029607A KR101783069B1 (ko) 2010-04-15 2011-04-11 차량 내의 디스플레이 장치 상에 이미지를 디스플레이하는 방법, 운전자 보조 시스템 및 차량

Country Status (6)

Country Link
US (1) US9100554B2 (ko)
EP (1) EP2559236B1 (ko)
KR (1) KR101783069B1 (ko)
CN (1) CN102845059B (ko)
DE (1) DE102010015079A1 (ko)
WO (1) WO2011141249A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2013001976A (es) 2010-08-19 2013-04-03 Nissan Motor Dispositivo de deteccion de objetos tridimensionales y el metodo de deteccion de objetos tridimensionales.
DE102011010860A1 (de) * 2011-02-10 2012-08-16 Connaught Electronics Ltd. Verfahren und Fahrerassistenzsystem zum Anzeigen von Bildern in einem Kraftfahrzeug sowie Kraftfahrzeug
EP2757541B1 (en) * 2011-09-12 2020-09-09 Nissan Motor Co., Ltd Three-dimensional object detection device
DE102012012783A1 (de) * 2012-06-22 2013-12-24 Jong-Ho Ham Kamera-Monitor-System zur Überwachung des toten Winkels oder der Umgebung für Kraftfahrzeuge
DE102013207323B4 (de) * 2013-04-23 2022-08-18 Robert Bosch Gmbh Kamerasystem für ein Fahrzeug und Fahrzeug
US9283891B1 (en) * 2014-09-26 2016-03-15 GM Global Technology Operations LLC Alert systems and methods using a transparent display
DE102015104940A1 (de) * 2015-03-31 2016-10-06 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen von Höheninformationen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs an einer Kommunikationsschnittstelle, Sensoreinrichtung, Verarbeitungseinrichtung und Kraftfahrzeug
CA2983682C (en) * 2015-04-23 2018-06-12 Nissan Motor Co., Ltd. Occlusion control device
US9779629B2 (en) 2015-10-30 2017-10-03 Honeywell International Inc. Obstacle advisory system
JP6745456B2 (ja) * 2015-12-08 2020-08-26 パナソニックIpマネジメント株式会社 駐車支援装置、駐車支援方法及び駐車支援プログラム
CN106908798B (zh) * 2015-12-23 2020-07-03 法雷奥汽车内部控制(深圳)有限公司 用于检测车辆侧向的盲点区域中的障碍物的方法和装置
DE102016220894A1 (de) * 2016-10-25 2018-04-26 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum Erzeugen einer Fahrzeugumgebungsansicht bei einem Fahrzeug
US10594934B2 (en) 2016-11-17 2020-03-17 Bendix Commercial Vehicle Systems Llc Vehicle display
US20180236939A1 (en) * 2017-02-22 2018-08-23 Kevin Anthony Smith Method, System, and Device for a Forward Vehicular Vision System
KR20220105187A (ko) * 2021-01-18 2022-07-27 현대자동차주식회사 차량의 탑뷰 영상 표시 방법 및 그 표시 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7161616B1 (en) * 1999-04-16 2007-01-09 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
JP3773433B2 (ja) * 2000-10-11 2006-05-10 シャープ株式会社 移動体の周囲監視装置
JP2002334322A (ja) * 2001-05-10 2002-11-22 Sharp Corp 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体
US7068289B2 (en) * 2001-09-14 2006-06-27 Honda Giken Kogyo Kabushiki Kaisha Rearview monitoring apparatus for vehicle
JP3871614B2 (ja) * 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
JP2006040008A (ja) * 2004-07-28 2006-02-09 Auto Network Gijutsu Kenkyusho:Kk 運転支援装置
JP2007030630A (ja) * 2005-07-25 2007-02-08 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP4810953B2 (ja) * 2005-10-07 2011-11-09 日産自動車株式会社 車両用死角映像表示装置
JP4412365B2 (ja) * 2007-03-26 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
US7619840B2 (en) * 2007-08-20 2009-11-17 Wen-Ching Chen Multi-image retrieving system
JP4412380B2 (ja) * 2007-10-02 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法及びコンピュータプログラム
DE102010034140A1 (de) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung und Fahrerassistenzsystem

Also Published As

Publication number Publication date
CN102845059A (zh) 2012-12-26
EP2559236A1 (de) 2013-02-20
CN102845059B (zh) 2015-08-19
US20130057689A1 (en) 2013-03-07
DE102010015079A1 (de) 2011-10-20
US9100554B2 (en) 2015-08-04
EP2559236B1 (de) 2015-01-28
KR101783069B1 (ko) 2017-09-28
WO2011141249A1 (de) 2011-11-17

Similar Documents

Publication Publication Date Title
KR101783069B1 (ko) 차량 내의 디스플레이 장치 상에 이미지를 디스플레이하는 방법, 운전자 보조 시스템 및 차량
US9499099B2 (en) Motor vehicle having a camera monitoring system
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
US11321911B2 (en) Method for representing the surroundings of a vehicle
US9232195B2 (en) Monitoring of the close proximity around a commercial vehicle
US20110175752A1 (en) Methods and Apparatuses for Informing an Occupant of a Vehicle of Surroundings of the Vehicle
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
US20090022423A1 (en) Method for combining several images to a full image in the bird's eye view
CN109691088A (zh) 图像处理设备、图像处理方法、以及程序
JP2010200240A (ja) 車両周囲俯瞰画像表示装置及び方法
JP2013501280A (ja) 車両周辺のモニタ方法
JP5966513B2 (ja) 車両の後側方撮影装置
JP2013183298A (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
US20190100141A1 (en) Ascertainment of Vehicle Environment Data
JP4720446B2 (ja) 車両検出装置及びこれを用いた車両用表示装置
US9067538B2 (en) Drive assist display apparatus
JP2016213708A (ja) 車両用表示装置
CN107636723B (zh) 产生车辆的车辆周围环境的整体图像的方法及相应的设备
JP7217090B2 (ja) 情報提供装置及び情報提供方法
JP4706896B2 (ja) 広角画像の補正方法及び車両の周辺監視システム
CN107399274B (zh) 影像叠合的方法
JP6855254B2 (ja) 画像処理装置、画像処理システム、及び、画像処理方法
CN115923660A (zh) 车辆用显示装置、车辆用显示方法以及计算机可读介质
JP6672565B2 (ja) 表示装置
JP6657937B2 (ja) 車両用表示装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant