KR101911610B1 - 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치 - Google Patents

어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR101911610B1
KR101911610B1 KR1020167029142A KR20167029142A KR101911610B1 KR 101911610 B1 KR101911610 B1 KR 101911610B1 KR 1020167029142 A KR1020167029142 A KR 1020167029142A KR 20167029142 A KR20167029142 A KR 20167029142A KR 101911610 B1 KR101911610 B1 KR 101911610B1
Authority
KR
South Korea
Prior art keywords
vehicle
camera
data
sensor
grid
Prior art date
Application number
KR1020167029142A
Other languages
English (en)
Other versions
KR20160145598A (ko
Inventor
마르쿠스 프리베
요하네스 페촐트
Original Assignee
콘티 테믹 마이크로일렉트로닉 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콘티 테믹 마이크로일렉트로닉 게엠베하 filed Critical 콘티 테믹 마이크로일렉트로닉 게엠베하
Publication of KR20160145598A publication Critical patent/KR20160145598A/ko
Application granted granted Critical
Publication of KR101911610B1 publication Critical patent/KR101911610B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

카메라 영상을 제공하는 차량 카메라가 최소한 한 대 부착되어 있는 차량용의 카메라 서라운드 뷰 시스템에 관한 것으로서, 이 카메라 영상은 디스플레이 장치에 표시되는 주변 영상을 만들기 위해 데이터 처리장치에 의해 처리되는 바, 여기서 데이터 처리장치는 차량 카메라가 포착하는 질감을 차량 주변과 유사한 조절할 수 있는, 차량의 차량 센서가 제공하는 센서 데이터를 기반으로 계산한 재투영면에 다시 투영한다.

Description

어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치{METHOD AND DEVICE FOR THE DISTORTION-FREE DISPLAY OF AN AREA SURROUNDING A VEHICLE}
본 발명은 어느 한 차량의, 특히 카메라 서라운드 뷰 시스템을 장착한 도로용 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법과 장치에 관한 것이다.
오늘날 차량에는 차량을 운전할 때 운전자를 지원하는 운전자 지원 시스템이 점점 더 많이 장착되고 있다. 이 운전자 지원 시스템에는 차량의 운전자에게 차량의 차량 주변을 알려줄 수 있도록 하는 카메라 서라운드 뷰 시스템이 구성품으로서 포함되어 있다. 이러한 카메라 서라운드 뷰 시스템에는 카메라 영상을 제공하는 차량 카메라가 한 대 이상 장착되어 있으며, 이 영상을 카메라 서라운드 뷰의 데이터 처리장치가 차량 주변의 주변 영상과 결합한다. 이때 차량 주변의 영상은 디스플레이 장치에 표시된다. 기존의 카메라 기반 운전자 지원 시스템은 카메라 시스템의 질감 정보를 정적인 2차원의 기본 표면이나 정적인 3차원의 셀 표면과 같은 정적인 투영 표면에 투영한다.
하지만 이러한 시스템에는 중대한 단점이 있는 바, 즉 질감 재투영 표면이 정적이고 따라서 이 재투영 표면이 카메라 시스템의 실제 주변과 일치하거나 비슷하지 않기 때문에 카메라 주변의 대상이 심하게 왜곡된다는 단점이 있다. 이러한 단점으로 인해 왜곡된 대상이 표시되어, 방해가 되는 인위적인 영상이 나타난다.
그러므로 본 발명의 과제는 차량의 차량 주변을 왜곡 없이 표시하여 그러한 왜곡된 인위적 영상이 표시되는 것을 억제하는 방법과 장치를 고안하는 것이다.
본 발명에서 이러한 과제는 청구항 1에 기술한 특징을 지닌 카메라 서라운드 뷰 시스템에 의해 해결된다.
그러므로 본 발명은 이 첫 번째 특징에 따라 차량용 카메라 서라운드 뷰 시스템을 고안하는 것으로서, 이 카메라 서라운드 뷰 시스템에는 카메라 영상을 제공하는 차량 카메라가 최소한 한 대 부착되어 있으며, 디스플레이 장치에 표시되는 서라운드 뷰 영상이나 주변 영상을 만들기 위해 데이터 처리장치가 이 카메라 영상을 처리하는 바, 이때 데이터 처리장치는 차량 카메라가 포착하는 질감을 차량 주변과 유사한 조절할 수 있는, 차량의 차량 센서가 제공하는 센서 데이터를 기반으로 계산한 재투영면에 다시 투영한다.
본 발명에 따른 카메라 서라운드 뷰 시스템을 실현할 수 있는 어느 한 모델 형태에서는 차량의 차량 주변을 차량 센서가 제공한 센서 데이터가 정확하게 표시한다.
본 발명에 따른 카메라 서라운드 뷰 시스템을 실현할 수 있는 또 다른 모델 형태에서는 센서 데이터에 주차 간격 데이터, 레이더 데이터, 라이다 데이터, 카메라 데이터, 레이저 스캔 데이터 및/또는 동작 데이터가 포함되어 있다.
본 발명에 따른 카메라 서라운드 뷰 시스템을 실현할 수 있는 또 다른 모델 형태에서는 조절할 수 있는 재투영면에 동적으로 변경할 수 있는 격자가 있다.
본 발명에 따른 카메라 서라운드 뷰 시스템을 실현할 수 있는 또 다른 모델 형태에서는 재투영면의 격자가 제공된 센서 데이터에 따라 동적으로 변경될 수 있다.
본 발명에 따른 카메라 서라운드 뷰 시스템을 실현할 수 있는 또 다른 모델 형태에서는 재투영면의 격자는 3차원 격자이다.
더 나아가 본 발명은 청구항 7에 기술한 특징을 지닌 운전자 지원 시스템을 고안하는 것이다.
그러므로 본 발명은 이 두 번째 특징에 따라 차량용 카메라 서라운드 뷰 시스템이 내장된 운전자 지원 시스템을 고안하는 것으로서, 이 카메라 서라운드 뷰 시스템에는 카메라 영상을 제공하는 차량 카메라가 최소한 한 대 부착되어 있으며, 디스플레이 장치에 표시되는 서라운드 뷰 영상을 만들기 위해 데이터 처리장치가 이 카메라 영상을 처리하는 바, 이때 데이터 처리장치는 차량 카메라가 포착하는 질감을 차량 주변과 유사한 조절할 수 있는, 차량의 차량 센서가 제공하는 센서 데이터를 기반으로 계산한 재투영면에 다시 투영한다.
더 나아가 본 발명은 청구항 8에 기술한 특징을 지닌, 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법을 고안하는 것이다.
따라서 본 발명은 다음의 단계를 지닌, 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법을 고안하는 것이다:
차량의 차량 카메라에 의한 차량 주변의 카메라 영상 촬영,
차량 주변의 주변 영상을 생성하기 위해, 촬영된 카메라 영상의 처리 및
차량 카메라가 포착하는 질감을 차량 주변과 유사한 조절할 수 있는, 차량 센서가 제공하는 센서 데이터를 기반으로 계산하는 재투영면에 다시 투영.
본 발명에 따른 방법을 실현할 수 있는 다른 모델 형태는 하위 청구항에 기술되어 있다.
이제 이하에서 차량의 차량 주변을 왜곡 없이 표시하기 위해, 본 발명에 따른 장치와 발명에 따른 방법을 실현할 수 있는 모델 형태를 첨부한 도면을 이용하여 더 상세히 설명하겠다.
여기서 이 도면은 다음과 같다.
도면 1은 본 발명에 따른 카메라 서라운드 뷰 시스템의 예시 모델을 표시하기 위한 블록 다이어그램이다;
도면 2는 차량의 차량 주변을 왜곡 없이 표시하기 위한, 본 발명에 따른 방법의 예시 모델을 표시하는 흐름도이다;
도면 3은 본 발명이 선호하는 모델이다.
도면 1에서 알 수 있는 바와 같이 표시한 예에서 카메라 서라운드 뷰 시스템 1에는 여러 구성품이 장착되어 있다. 도시한 예시 모델에서 카메라 서라운드 뷰 시스템 1에는 카메라 영상을 제공하는 차량 카메라 2가 최소한 한 대 있는 바, 이 영상을 카메라 서라운드 뷰 시스템 1의 데이터 처리장치 3이 차량의 서라운드 뷰 영상 또는 주변 영상으로 처리한다. 데이터 처리장치 3이 만든 서라운드 뷰 영상 또는 차량 주변 영상이 디스플레이 장치 4에 표시된다. 데이터 처리장치 3은 차량의 차량 센서 5가 제공하는 센서 데이터를 기반으로 조절할 수 있는 재투영면을 계산한다. 카메라 서라운드 뷰 시스템 1의 차량 카메라 2가 포착한 질감은 차량 주변과 유사한 조절할 수 있는 이 계산한 재투영면에 다시 투영되는 바, 이러한 재투영에 의해 왜곡 또는 왜곡된 인위적 영상이 최소화되거나 제거된다.
도면 1에 도시한 센서 5는 예를 들어 주차 간격 제어장치 또는 주차 간격 조절장치의 센서이다. 또한 차량에 장착된 센서는 레이더 센서, 라이다 센서일 수 있다. 가능한 또 다른 모델 형태에서는 조절할 수 있는 재투영면을 계산하기 위해 차량의 다른 카메라 2가, 특히 스테레오 카메라나 모노 카메라가 센서 데이터를 제공한다. 가능한 또 다른 모델 형태에서는 이러한 센서 데이터를 차량의 레이저 스캔 시스템이 제공한다. 가능한 또 다른 모델 형태에서는 재투영면을 계산하기 위해 데이터 처리장치 3이 동작 데이터나 구조 데이터도 이용한다. 차량 센서 5가 제공한 센서 데이터는 높은 정확도로 차량 주변 또는 차량 주변 내의 대상을 나타낸다. 이러한 대상이란 예를 들어 차량의 인근에 위치한, 예컨대 주변 5미터 이내에 있는 다른 차량이기도 하다. 이러한 대상이란 또한 차량에서 5미터 이내 떨어진 인근을 지나는 보행자이기도 한다.
특히 데이터 처리장치 3이 센서 데이터를 기반으로 계산한 재투영면에는 동적으로 변경할 수 있는 격자 또는 그물망이 있다. 실현할 수 있는 한 모델 형태에서 재투영면의 이 격자는 제공된 센서 데이터에 따라 동적으로 변경된다. 특히 재투영면의 격자는 3차원 격자이다.
이 3차원 격자에서는 특히 중요한 것은 차량 주변을 표시하는 데 사용되는 격자 기반의 주변 모델이다. 격자 기반의 주변 모델은 차량의 주변을 셀 단위로 나누고 각 셀에 그 주변을 기술하는 특정을 저장하는 것에 기반을 두고 있다. 소위 말하는 점유 격자에서는 예를 들어 각 셀에 대해 "통행 가능"과 점유됨"으로의 분류가 저장되어 있다. 통행 가능성 외에 다른 특징을 이용한 분류도, 예를 들어 반사된 레이더 에너지도 저장될 수 있다. 이러한 격자의 장점은 양호한 압축 가능성 외에 스테레오 카메라나 레이더, 라이다 또는 초음파와 같은 여러 상이한 센서의 융합도 가능하게 하는 높은 추상화 정도이다. 셀을 "통행 가능"과 "점유됨"으로 분류하는 것에 추가하거나 또는 분류하는 대신 각 격자 셀에 대해, 특히 장애물이나 또는 대상을 나타내는 "점유된 셀"에 대해 특징으로서 높이 값을 저장할 수 있다. 높이 정보는 추가 자원을 적게 사용하면서 저장되고. 주변 모델을 효율적으로 저장하고 전송할 수 있도록 한다. 특히 위에서 기술한 바와 같이 높이 정보를 점유 격자의 각 격자 셀에 귀속시킴으로써 이제 차량 주변에 대한 3차원 점유 지도가 생성되며, 이 지도를 본 발명의 범위 내에서 유용하게 사용할 수 있다. 이때 이 3차원 점유 지도는 조절할 수 있는 재투영면으로 이용될 수 있는 바, 이 투영면에 차량 카메라가 포착한 질감이 다시 투영되기 때문이다. 이때 이 질감을 3차원 점유 지도나 3차원 격자 셀에 직접 투영하는 것을 선호한다.
데이터 처리장치 3이 계산한 재투영면은 정적인 면이 아니라 동적인 면이며, 차량 센서 5가 제공하는 현재의 센서 데이터에 맞추어 이 면을 조절할 수 있다. 실현할 수 있는 한 모델 형태에서는 이 차량 센서 5가 전방 모노 카메라거나 스테레오 카메라일 수 있다. 또한 센서 장치 5는 데이터를 제공하는 라이다 시스템의 형태나 또는 주변의 레이더 데이터를 데이터 처리장치 3에 전송하는 레이더 시스템의 형태를 띨 수 있다. 데이터 처리장치 3에는 센서 데이터를 처리하여 거기서 재투영면을 실시간으로 계산하는 마이크로 프로세서가 하나 이상 장착되어 있을 수 있다. 차량 카메라 2가 포착한 질감은 차량 주변과 유사한, 계산한 이 재투영면에 투영되거나 또는 다시 투영된다. 차량 카메라 2의 디스플레이는 변화할 수 있다. 실현할 수 있는 한 모델 형태에서는 차량에 차량의 다른 네 면에 차량 카메라 2를 네 대 장착한다. 여기서 이 차량은 도로용 차량, 특히 화물차나 승용차인 것이 좋다. 위에서 언급한 인위적 영상을 줄이거나 제거하기 위해, 본 발명에 따른 카메라 서라운드 뷰 시스템 1을 사용하여 카메라 시스템의 카메라 2에 의해 포착된 주변의 질감을 조절할 수 있는 재투영면을 통해 다시 투영한다. 따라서 본 발명에 따른 카메라 서라운드 뷰 시스템 1에 의해 표시된 차량 주변의 영상 품질이 현저하게 개선된다. 따라서 차량 주변에 있는 대상이, 예를 들어 근처에 주차해 있는 차량이나 근처에 있는 사람이 정적인 재투영면을 사용하는 시스템에서보다 적게 왜곡되어 나타난다.
도면 2는 차량의 차량 주변을 왜곡 없이 표시하기 위한, 본 발명에 따른 방법의 모델 형태를 표시하기 위한 흐름도이다.
첫 번째 단계 S1에서 차량 주변의 카메라 영상이 차량의 차량 카메라 2에 의해 만들어진다. 예를 들어 카메라 영상은 차량의 상이한 면에 부착되어 있는 여러 대의 차량 카메라 2에 의해 만들어진다.
그 다음 만들어진 카메라 영상을 단계 S2에서 처리하여 차량 주변의 주변 영상을 생성한다. 실현할 수 있는 한 모델 형태에서는 만들어진 카메라 영상을 도면 1에 도시되어 있는 바와 같은 데이터 처리장치 3이 처리한다. 주변 영상을 적절하게 생성하기 위해서는 카메라 영상을 실시간으로 처리하는 것이 좋다.
그 다음의 단계 S3에서는 먼저 제공된 센서 데이터를 기반으로 하여 재투영면을 계산한 후 차량 카메라가 포착한 질감을 조절할 수 있는 이 계산한 재투영면에 다시 투영한다. 조절할 수 있는 이 재투영면은 동적으로 변할 수 있는 격자의 형태를 띠는 바, 이 격자는 제공된 센서 데이터에 따라 동적으로 변한다. 이 격자는 특히 3차원 격자이다. 실현할 수 있는 한 모델 형태에서 도면 2에 도시한 방법은 마이크로 프로세서에 의해 실행될 수 있는 컴퓨터 명령이 포함되어 있는 컴퓨터 프로그램에 의해 구현될 수 있다. 실현할 수 있는 한 모델 형태에서 이 프로그램은 데이터 매체나 프로그램 메모리에 저장된다.
도면 3은 본 발명이 선호하는 모델 형태이다. 도면에서 조절할 수 있는 재투영면은 동적으로 변할 수 있는 격자이다. 이때 이 격자는 4개의 구역으로, 즉 "좌측 영역"(SektL), "우측 영역"(SektR), "전방 영역"(SektV) 및 "후방 영역"(SektH)으로 이루어져 있다. 이 영역 각각은 재투영 거리에서 개별적으로 변할 수 있다. 이를 위해 4개의 매개변수가, 즉 "좌측 거리"(DistL), "우측 거리"(DistR), "후방 거리"(DistH) 및 "전방 거리"(DistV)이 있다. 따라서 각 영역을 대상이나 장애물과 차량 (6) 사이의 거리에 맞추어 개별적으로 설정할 수 있다. 이에 대한 예시를 도면 3에 도시한 바, 여기서는 동적 격자가 영역 형태로나 또는 영역을 기준으로 하여 어떤 정의된 시작 거리(직선)에서 센서에 의해 측정한 대상 거리(점선)까지로 변경된다.

Claims (15)

  1. 카메라 영상을 제공하는 차량 카메라 (2)가 최소한 한 대 부착되어 있는 차량 (6)용의 카메라 서라운드 뷰 시스템 (1)으로서, 이 카메라 영상은 디스플레이 장치 (4)에 표시되는 주변 영상을 만들기 위해 데이터 처리장치 (3)에 의해 처리되는 바, 여기서 데이터 처리장치 (3)는 차량 카메라 (2)가 포착하는 질감을 차량 주변과 유사하게 조절할 수 있는, 차량의 차량 센서 (5)가 제공하는 센서 데이터를 기반으로 계산한 재투영면에 다시 투영하며, 조절할 수 있는 계산한 재투영면은 동적으로 변할 수 있는 격자의 형태를 띄는, 카메라 서라운드 뷰 시스템.
  2. 제 1 항에 있어서,
    차량 센서 (5)가 제공한 센서 데이터는 차량 (6)의 차량 주변을 재현하는, 카메라 서라운드 뷰 시스템.
  3. 제 2 항에 있어서,
    센서 데이터는 주차 간격 데이터, 레이더 데이터, 라이다 데이터, 카메라 데이터, 레이저 스캔 데이터 및 동작 데이터의 형태를 띄는, 카메라 서라운드 뷰 시스템.
  4. 삭제
  5. 제 1 항에 있어서,
    재투영면의 격자는 제공된 센서 데이터에 따라 동적으로 변할 수 있는, 카메라 서라운드 뷰 시스템.
  6. 제 1 항에 있어서,
    재투영면의 격자는 3차원 격자인, 카메라 서라운드 뷰 시스템.
  7. 제 1 항 내지 3 항 및 제 5 항 내지 제 6 항 중 어느 한 항에 기재된 카메라 서라운드 뷰 시스템 (1)이 장착된 차량 (6)용 운전자 지원 시스템.
  8. 어떤 차량 (6)의 차량 주변을 왜곡 없이 표시하기 위한 방법으로서,
    다음의 단계:
    (a) 차량 (6)의 차량 카메라 (2)에 의해 차량 주변의 카메라 영상 만들기 (S1);
    (b) 차량 주변의 주변 영상을 생성하기 위해, 만들어진 카메라 영상의 처리 (S2); 및
    (c) 차량 카메라 (2)가 포착하는 질감을 차량 주변과 유사하게 조절할 수 있는, 차량 센서 (5)가 제공하는 센서 데이터를 기반으로 계산한 재투영면으로 재투영 (S3)
    을 포함하고,
    조절할 수 있는 재투영면은 동적으로 변할 수 있는 격자의 형태를 띄는, 방법.
  9. 제 8 항에 있어서,
    차량 센서 (5)가 제공한 센서 데이터는 차량 (6)의 차량 주변을 나타내는, 방법.
  10. 제 9 항에 있어서,
    센서 데이터에는 주차 간격 데이터, 레이더 데이터, 라이다 데이터, 카메라 데이터, 레이저 스캔 데이터 및 동작 데이터가 포함되어 있는, 방법.
  11. 삭제
  12. 제 8 항에 있어서,
    재투영면의 격자는 제공된 센서 데이터에 따라 동적으로 변하는, 방법.
  13. 제 8 항에 있어서,
    재투영면의 격자는 3차원 격자의 형태를 띄는, 방법.
  14. 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 명령을 포함하고, 프로세서에 의해 실행되어 제 8 항 내지 제 10 항 및 제 12 항 내지 제 13 항 중 어느 한 항에 기재된 방법을 구현하는, 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  15. 제 7 항에 기재된 운전자 지원 시스템이 장착된 차량 (6).
KR1020167029142A 2014-05-08 2015-05-06 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치 KR101911610B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014208664.7A DE102014208664A1 (de) 2014-05-08 2014-05-08 Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
DE102014208664.7 2014-05-08
PCT/DE2015/200301 WO2015169316A2 (de) 2014-05-08 2015-05-06 Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges

Publications (2)

Publication Number Publication Date
KR20160145598A KR20160145598A (ko) 2016-12-20
KR101911610B1 true KR101911610B1 (ko) 2018-10-24

Family

ID=53502383

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167029142A KR101911610B1 (ko) 2014-05-08 2015-05-06 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US20170203692A1 (ko)
EP (1) EP3140813B1 (ko)
JP (1) JP6860348B2 (ko)
KR (1) KR101911610B1 (ko)
CN (1) CN106462996B (ko)
DE (2) DE102014208664A1 (ko)
WO (1) WO2015169316A2 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102261312B1 (ko) * 2015-04-21 2021-06-08 주식회사 만도 다중 카메라 운전 보조 시스템
DE102015221340B4 (de) * 2015-10-30 2021-02-25 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Bereitstellung einer Fahrzeugumgebungsansicht für ein Fahrzeug
DE102015223176A1 (de) * 2015-11-24 2017-05-24 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Ermittlung von Verdeckungsbereichen in der Fahrzeugumgebung eines Fahrzeuges
DE102016203709B4 (de) * 2016-03-08 2018-04-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildverarbeitungsverfahren, Bildverarbeitungsmittel und Bildverarbeitungsvorrichtung zur Erzeugung von Abbildungen eines Teils eines dreidimensionalen Raums
US11204610B2 (en) 2016-05-30 2021-12-21 Kabushiki Kaisha Toshiba Information processing apparatus, vehicle, and information processing method using correlation between attributes
EP3252658B1 (en) * 2016-05-30 2021-08-11 Kabushiki Kaisha Toshiba Information processing apparatus and information processing method
DE102016220894A1 (de) * 2016-10-25 2018-04-26 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum Erzeugen einer Fahrzeugumgebungsansicht bei einem Fahrzeug
DE102016223391A1 (de) * 2016-11-25 2018-05-30 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug
JP6859216B2 (ja) * 2017-07-03 2021-04-14 トヨタ自動車株式会社 車両周辺表示装置
CN107948501A (zh) * 2017-10-30 2018-04-20 深圳市易成自动驾驶技术有限公司 自动环视方法、装置及计算机可读存储介质
CN107972585A (zh) * 2017-11-30 2018-05-01 惠州市德赛西威汽车电子股份有限公司 结合雷达信息的自适应3d环视场景重建***与方法
DE102018203590A1 (de) * 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
DE102018210812A1 (de) * 2018-06-30 2020-01-02 Robert Bosch Gmbh Verfahren zu einer sensor- und speicherbasierten Darstellung einer Umgebung, Anzeigevorrichtung und Fahrzeug mit der Anzeigevorrichtung
DE102018214875A1 (de) * 2018-08-31 2020-03-05 Audi Ag Verfahren und Anordnung zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs und Fahrzeug mit einer solchen Anordnung
CN112930557A (zh) * 2018-09-26 2021-06-08 相干逻辑公司 任何世界视图生成
CN113196341A (zh) * 2018-12-13 2021-07-30 大陆汽车有限责任公司 用于对道路的表面上的对象进行检测和建模的方法
DE102019203274B3 (de) 2019-03-11 2020-07-09 Zf Friedrichshafen Ag Computerimplementiertes Verfahren zum Erstellen eines Umfeldmodells für ein automatisiert betreibbares Fahrzeug, Steuergerät und Computerprogrammprodukt zur automatisierten Steuerung eines Fahrzeuges und Steuerungssystem für ein Fahrzeug
TWM593949U (zh) * 2019-04-19 2020-04-21 帷享科技股份有限公司 用於車輛之影像整合警示系統
DE102020201000B3 (de) 2020-01-28 2021-07-29 Zf Friedrichshafen Ag Computerimplementiertes Verfahren und System zum Erhalten eines Umfeldmodells und Steuergerät für ein automatisiert betreibbares Fahrzeug
CN112277806B (zh) * 2020-11-24 2021-11-16 广州市车智连电子有限公司 全景泊车影像***
DE102022206782A1 (de) 2022-07-04 2024-01-04 Continental Autonomous Mobility Germany GmbH Verfahren zum Erzeugen einer Ansicht mit einem Kamerasystem sowie Kamerasystem
DE102022124085A1 (de) 2022-09-20 2024-03-21 Connaught Electronics Ltd. Darstellung von Bilddaten in einem Fahrzeug abhängig von Sensordaten

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120300075A1 (en) * 2011-05-24 2012-11-29 Fujitsu Ten Limited Image display system, image processing apparatus, and image display method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002019556A (ja) * 2000-07-04 2002-01-23 Matsushita Electric Ind Co Ltd 監視システム
FR2853121B1 (fr) * 2003-03-25 2006-12-15 Imra Europe Sa Dispositif de surveillance des alentours d'un vehicule
DE102004032118B4 (de) * 2004-07-01 2006-09-21 Daimlerchrysler Ag Objekterkennungsverfahren für Fahrzeuge
DE102004057296A1 (de) * 2004-11-26 2006-06-08 Daimlerchrysler Ag Lane-Departure-Warning mit Unterscheidung zwischen Fahrbahnrandmarkierung und baulicher Begrenzung des Fahrbahnrandes
US7835592B2 (en) * 2006-10-17 2010-11-16 Seiko Epson Corporation Calibration technique for heads up display system
DE102009029439A1 (de) * 2009-09-14 2011-03-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Darstellung von Hindernissen in einem Einparkhilfesystem von Kraftfahrzeugen
JP2012147149A (ja) * 2011-01-11 2012-08-02 Aisin Seiki Co Ltd 画像生成装置
DE102011084554A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
DE102012018325A1 (de) * 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
DE102012018326B4 (de) * 2012-09-15 2019-12-19 Zf Friedrichshafen Ag Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit verdeckungsfreier Umsichtfunktion

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120300075A1 (en) * 2011-05-24 2012-11-29 Fujitsu Ten Limited Image display system, image processing apparatus, and image display method

Also Published As

Publication number Publication date
JP6860348B2 (ja) 2021-04-14
DE102014208664A1 (de) 2015-11-12
EP3140813B1 (de) 2019-07-10
WO2015169316A3 (de) 2015-12-30
US20170203692A1 (en) 2017-07-20
WO2015169316A2 (de) 2015-11-12
EP3140813A2 (de) 2017-03-15
KR20160145598A (ko) 2016-12-20
CN106462996B (zh) 2020-06-09
CN106462996A (zh) 2017-02-22
DE112015000833A5 (de) 2016-12-08
JP2017515727A (ja) 2017-06-15

Similar Documents

Publication Publication Date Title
KR101911610B1 (ko) 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치
CN109017570B (zh) 车辆周围场景呈现方法和装置、车辆
JP5922866B2 (ja) 車両の運転者に案内情報を提供するためのシステム及び方法
DE102018121019A1 (de) Erweitern von realen sensoraufzeichnungen mit simulierten sensordaten
JP6091759B2 (ja) 車両のサラウンドビューシステム
JP6522630B2 (ja) 車両の周辺部を表示するための方法と装置、並びに、ドライバー・アシスタント・システム
JP2018531530A (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
JP2018531530A6 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
CN107249934B (zh) 无失真显示车辆周边环境的方法和装置
US20190355171A1 (en) Surround monitoring system for vehicles
CN110555407B (zh) 路面车辆空间识别方法及电子设备
KR20160072190A (ko) 사발형 영상 시스템
JP4796676B2 (ja) 車両上方視点画像表示装置
JP7295123B2 (ja) 調整された投影面を有するサラウンドビュー・システム
TWI688502B (zh) 用於警告車輛障礙物的設備
WO2017188247A1 (ja) 表示制御装置
CN110378836B (zh) 获取对象的3d信息的方法、***和设备
JP2010287029A (ja) 周辺表示装置
KR20180020274A (ko) 패널 변환
EP3029602A1 (en) Method and apparatus for detecting a free driving space
JP2014235640A (ja) 車両表示装置
CN113838060A (zh) 用于自主车辆的感知***
JP2017207881A (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2020525945A (ja) 自動車両および自動車両の環境領域の少なくとも１つの合成俯瞰表示画像を生成する方法、カメラシステムおよび自動車両
US20210323471A1 (en) Method and arrangement for generating a representation of surroundings of a vehicle, and vehicle having such an arrangement

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant