KR102315748B1 - 차량용 어라운드 뷰 시스템 - Google Patents

차량용 어라운드 뷰 시스템 Download PDF

Info

Publication number
KR102315748B1
KR102315748B1 KR1020197014361A KR20197014361A KR102315748B1 KR 102315748 B1 KR102315748 B1 KR 102315748B1 KR 1020197014361 A KR1020197014361 A KR 1020197014361A KR 20197014361 A KR20197014361 A KR 20197014361A KR 102315748 B1 KR102315748 B1 KR 102315748B1
Authority
KR
South Korea
Prior art keywords
real camera
camera
vehicle
plane
image
Prior art date
Application number
KR1020197014361A
Other languages
English (en)
Other versions
KR20190096970A (ko
Inventor
게오르크 아르바이터
슈테판 밀츠
요하네스 페촐트
외르크 슐레퍼
세카란 수드한 다나
마르케스 로드리고 가르시아
Original Assignee
콘티 테믹 마이크로일렉트로닉 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콘티 테믹 마이크로일렉트로닉 게엠베하 filed Critical 콘티 테믹 마이크로일렉트로닉 게엠베하
Publication of KR20190096970A publication Critical patent/KR20190096970A/ko
Application granted granted Critical
Publication of KR102315748B1 publication Critical patent/KR102315748B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • G06T5/006
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • G06T3/0006
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/02Affine transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 차량용 어라운드 뷰 시스템에 관한 것이다. 이 어라운드 뷰 시스템은 중앙 정렬이 되지 않은 위치에서 차량의 주변에 대한 영상을 촬영하는 최소한 하나의 실제 카메라 (2), 가상 카메라 (7), 영상 처리 장치 및 실제 카메라 (2)에 의해 촬영된 영상과 최소한 하나의 외곽 형태 (11에서 13까지)를 실제 카메라 (2)에 의해 촬영된 영상 위에 위치한 중첩으로서 투영하여 표시하도록 설치되어 있는표시 장치로 구성되어 있다. 영상 처리 장치는 실제 카메라 (2)가 촬영한 영상을 실제 카메라 (2)에 대해 수직으로 서있는 첫 번째 구역 (9)에 투영하도록 설치되어 있으므로 실제 카메라 (2)가 촬영한 영상에 있는 원근에 따른, 실제 카메라 (2)의 중앙 정렬이 되지 않은 위치에서 비롯된 왜곡을 교정할 수 있으며 또 이 영상 표시 장치는 최소한 하나의 외곽 형태 (11에서 13까지)를 가상 카메라 (7)에 대해 수직으로 서있는 두 번째 구역 (10)에 투영하도록 설치되어 있으므로 최소한 하나의 외곽 형태 (11에서 13까지)가 왜곡되지 않은 형태로 표시 장치 (4)에 표시된다. 또한 영상 처리 장치는 실제 카메라 (2)와 가상 카메라 (7) 사이의 델타 변환에 의해 첫 번째 구역 (9)와 두 번째 구역 (10) 사이에 아핀 변환 (T)가 이루어지고 또 이루어진 이 아핀 변환 (T)가 첫 번째 구역 (9)에 적용되도록 설치되어 있는 바, 이 구역에는 첫 번째 카메라 (2)에 의해 촬영되고 실제 카메라 (2)에 의해 투영되어 왜곡이 교정된 영상 (8')가 있으므로 실제 카메라 (2)의 왜곡이 교정된 영상 (8')에 대한 변경된 표시 (8")이 최소한 하나의 왜곡되지 않은 외곽 형태 (11에서 13까지)와 함께 두 번째 구역 (10)에 정렬되어 있다.

Description

차량용 어라운드 뷰 시스템
본 발명은 차량용 어라운드 뷰 시스템에 관한 것이다. 또한 본 발명은 차량의 주변 상황 전체를 표시하는 방법에 관한 것이다. 본 발명의 또 다른 요구 사항은 그 방법을 실행하기 위한 프로그램 요소 및 컴퓨터가 읽을 수 있는 매체에 대한 것이다.
어라운듀 뷰 시스템의 표시 장치에 표시되는 것은 대개의 경우 차량에 장착되어 차량의 주변을 촬영하는 실제 카메라가 촬영하는 영상을 투영한 영상이다. 또한 윤곽 형태는 중첩(overlay)으로서 카메라의 투영된 영상 위에 놓이는 바, 이때 그 윤곽 형태는 예를 들어 차량의 궤적일 수 있다. 여기서 카메라의 투영된 영상은 중첩에 맞추어 조정되어야 한다. 하지만 카메라가 중앙 정렬이 되지 않은 상태로 차량에 장착되어 있는 경우, 그 중첩이나 카메라의 영상은 왜곡되어 표시된다. 이러한 왜곡된 모습은 원하지 않는 형태이다.
따라서 본 발명의 과제는 중첩과 카메라의 영상이 왜곡되지 않고 계획된 방식으로 차량의 표시 장치에 서로에 대해 정렬되어 표시될 수 있도록 하는, 서두에서 언급한 종류의 어라운드 뷰 시스템과 방법을 제시하는 것이다.
이러한 과제는 독립된 각 특허 청구 대상에 의해 해결된다. 선호하는 모델 형태가 종속된 청구항, 아래의 설명 및 도면의 대상이다.
본 발명의 첫 번째 측면에 따라 차량용 어라운드 뷰 시스템을 제시한다.
어라운드 뷰 시스템에는 중앙 정렬이 되지 않은 위치에서 차량 주변의 영상을 촬영하기 위한 물리적 또는 실제 카메라가 최소한 한 대 장착되어 있다. 실제 카메라로는 디지털 카메라인 것을 선호하는 바, 이 카메라는 차량 주변에 대한 영상 또는 동영상을 촬영할 수 있으며 영상 촬영물 또는 동영상 촬영물을 가리키는 데이터를 저장, 출력 및 전송할 수 있다. 어라운드 뷰 시스템에는 실제 카메라가 여러 대, 예를 들어 네 대 장착될 수 있는 바, 이러한 카메라들은 여러 대의 실제 카메라로 촬영한 개별 영상을 주변 전체에 대한 영상으로 (예를 들어 차량에 대한 360° 주변 전체 영상으로) 합성할 수 있도록 차량에 장착될 수 있다. 최소한 한 대의 실제 카메라가, 특히 중앙 정렬이 되지 않은 위치에서 차량의 주변에 대해 여러 개의 영상을 촬영할 수 있도록 설치되어 있다. 본 발명이 어느 한 카메라의 어느 한 영상 촬영과 관련하여 언급한다고 하더라도, 그럼에도 불구하고 이 언급은 차량 주변의 중앙 정렬이 되지 않은 위치에서 최소한 한 대의 실제 카메라로 촬영할 수 있는 여러 영상의 다른 영상에도 적용된다. "중앙 정렬이 되지 않은 위치"라는 속성은 이와 관련하여 카메라가 차량의 상상한 종축을 기준으로 하여 편심적으로 및 차량에나 또는 차량 내부에 비스듬하게 장착되어 있고 차량의 전방 구역을 포착한다는 것으로 이해될 수 있다.
또한 어라운드 뷰 시스템에는 가상 카메라, 영상 처리 장치 및 표시 장치가 한 대씩 장착되어 있다. 영상 처리 장치는 한편으로는 실제 카메라와 통신하도록 결합되어 있다. 다른 한편으로는 이 영상 처리 장치가 표시 장치와 통신하도록 결합되어 있다. 이러한 방식으로 특히 실제 카메라가 영상 데이터를 영상 처리 장치에 전달할 수 있으며, 그 영상 처리 장치는 그 영상 데이터를 처리하여 처리된 그 영상 데이터를 표시 장치에 전송할 수 있다. 영상 처리 장치는 소프트웨어를 기반으로 구현되어 있을 수 있다.
표시 장치는 한편으로는 실제 카메라가 촬영한 영상을 투영하여 표시할 수 있도록 설치되어 있다. 또한 이 표시 장치는 다른 한편으로는 최소한 하나의 외곽 형태를 실제 카메라가 촬영한 영상 위에 중첩으로서 투영하여 표시할 수 있도록 설치되어 있다.
영상 처리 장치는 실제 카메라가 촬영한 영상을 실제 카메라에 대해 수직으로 서있는 첫 번째 표면이나 구역에 투영하도록 설치되어 있으므로, 실제 카메라가 촬영한 영상에 있는 원근에 따른, 실제 카메라의 중앙 정렬이 되지 않은 위치에서 비롯된 왜곡을 교정한다.
또한 영상 처리 장치는 최소한 하나의 외곽 형태가, 가상 카메라에 대해 수직으로 서있는 두 번째 표면 또는 구역에 투영되도록 설치되어 있으므로, 최소한 하나의 외곽 형태가 왜곡되지 않은 형태로 표시 장치에 표시된다. 따라서 실제 카메라는 구조적으로 볼 때 실체적으로 존재하고, 이에 반하여 가상 카메라는 단지 상상으로만 존재하거나 또는 표시 장치에 표시된 영상으로 가는 입구에 위치해 있어 본 발명에 따른 어라운드 뷰 시스템이나 또는 본 발명에 따른 어라운드 뷰 시스템이 장착된 차량의 사용자 앞에 나타난 가상의 광경을 표시한다. 두 번째 구역이란 표시 장치에 표시되어, 예를 들어 차량의 대시보드 구역에 있는 모니터에 표시되어 차량의 사용자가 볼 수 있는 구역을 의미한다.
더 나아가 영상 처리 장치는 첫 번째 구역과 두 번째 구역 사이의 아핀 변환이 실제 카메라와 가상 카메라 사이의 델타 변환에 의해 이루어지고, 이루어진 아핀 변환이 실제 카메라에 의해 촬영되고 투영되며 왜곡이 교정된 영상이 포함되어 있는 첫 번째 구역에 적용되도록 설치되어 있어, 최소한 하나의 왜곡되지 않은 외곽 형태가 있는 실제 카메라의 왜곡이 교정된 (첫 번째 구역에 있는) 영상의 변경된 표시가 두 번째 구역에서 정렬되어 있다.
델타 변형은 카메라의 비본질적 매개변수와 카메라의 본질적 매개변수와 관련하여 가상 카메라에 대한 실제 카메라의 차이를 고려한다. 실제 카메라가 촬영하는 영상 내의 물체가 두 번째 구역에서 바스듬하게, 이는 투시적으로 볼 때는 올바르지만, 표시되지 않도록 하기 위해, 델타 변형에서는 특히 실제 카메라가 중앙 정렬이 되지 않은 상태로 장착되도록 고려한다.
아핀 변형에 의해, 왜곡을 교정하여 첫 번째 구역에 투시된 카메라의 영상은 이러한 방식으로 가상 카메라의 위치에서 촬영한 것처럼 인위적으로 왜곡되어 표시된다. 따라서 실제 카메라로 촬영한 영상에 포함되어 있는 물체를 두 번째 구역에 왜곡을 수정한 상태로 표시할 수 있으며 또한 이와 동시에 최소한 하나의 외곽 형태를, 예를 들어 차량의 궤적을 중첩으로서 두 번째 구역에 왜곡되지 않은 상태로 표시할 수 있는 바, 여기서 그 물체와 최소한 하나의 외곽 형태는 두 번째 구역에서 서로에 대해 올바르게 정렬되어 있다.
본 발명의 두 번째 측면에 따라 본 발명의 첫 번째 측면에 따른 어라운드 뷰 시스템이 장착된 차량이 고안되는 바, 이때 실제 카메라는 중앙 정렬이 되지 않은 상태로 차량에 장착된다. 이러한 차량은 예를 들어 자동차나 버스, 화물차와 같은 차량이나 철도 차량, 선박, 헬리콥터나 비행기와 같은 항공기 또는 예컨대 자전거 등이다.
본 발명의 세 번째 측면에 따라, 본 발명의 두 번째 측면에 따른 차량의 주변 상황 전체를 표시하는 방법이 고안된다. 이 방법은 실제 카메라로 차량 주변의 영상을 촬영하는 것과 실제 카메라로 촬영한 영상을 실제 카메라에 대해 수직으로 서있는 첫 번째 구역에 투사하는 것으로 이루어져, 촬영한 영상에 있는 원근에 따른, 실제 카메라의 중앙 정렬이 되지 않은 위치에서 비롯된 왜곡을 교정한다. 또한 최소한 하나의 외곽 형태가 중첩으로서, 가상 카메라에 대해 수직으로 서있는 두 번째 구역에 투영되므로, 최소한 하나의 외곽 형태가 왜곡되지 않은 상태로 표시 장치에 표시된다. 더 나아가 첫 번째 구역과 두 번째 구역 사이의 아핀 변환이 실제 카메라와 가상 카메라 사이의 델타 변환에 의해 이루어지고, 이루어진 아핀 변환이 실제 카메라에 의해 촬영되고 투영되며 실제 카메라의 왜곡이 교정된 영상이 포함되어 있는 첫 번째 구역에 적용되도록 설치되어 있어, 최소한 하나의 왜곡되지 않은 외곽 형태가 있는 실제 카메라의 왜곡이 교정된 (첫 번째 구역에 있는) 영상의 변경된 표시가 두 번째 구역에서 정렬되어 있다.
본 발명의 네 번째 측면에 따라 프로그램 요소가 고안되는 바, 이 요소는 이 요소가 프로세서에서 실행되는 경우 프로세서를 유도하여 이 방법의 단계가 본 발명의 세 번째 측면에 따른 방법에 따라 실행되도록 한다.
본 발명의 다섯 번째 측면에 따라 컴퓨터가 읽을 수 있는 매체가 고안되는 바, 이 매체에 본 발명의 네 번째 측면에 따른 프로그램 요소가 저장되어 이 요소가 프로세서에서 실행되는 경우 프로세서를 유도하여 이 방법의 단계가 본 발명의 세 번째 측면에 따른 방법에 따라 실행되도록 한다.
아래에서는 도면을 이용하여 본 발명의 예시 모델을 더 상세히 설명하겠다. 도면 설명:
도면 1 본 발명에 따른 어라운드 뷰 시스템이 장착된 예시 모델이 설치된 차량의 측면도,
도면 2 도 1에 따른 차량의 극히 단순화된 평면도 및
도면 3 도 1에 따른 어라운드 뷰 시스템의 가능한 작동 방식에 대한 원론적인 표시.
도 1과 2는 자동차의 형태를 띠는 차량 1을 도시한다. 차량 1에는 차량 1 내의 표시되지 않은 사용자의 시야 내에 최소한 하나의 물리적 또는 실제적인 디지털 카메라 2, 영상 처리 장치 3 및 모니터 형태의 표시 장치 4가 장착되어 있다. 영상 처리 장치 3은 실제 카메라 2 및 표시 장치 4와 통신하도록 결합되어 있으므로, 실제 카메라 2가 촬영한 영상을 가리키는 영상 데이터를 영상 처리 장치 3에 전달할 수 있는 바, 이 처리 장치는 수신한 영상 데이터를 처리하고 처리한 영상 데이터를 표시 장치 4에 전송할 수 있다. 또는 영상 처리 장치 3은 실제 카메라 2나 표시 장치 4에 내장되어 있을 수 있다.
차량 1은 도로 5 위에서 움직이며 실제 카메라 2는 실제 카메라 2가 차량 1의 외측 주변 전방 영역 6에 대한 영상을 촬영할 수 있도록 차량 1에 장착되어 있다. 도 2에서 알 수 있는 바와 같이, 실제 카메라 2는 중앙 정렬이 되지 않은 상태로 차량 1에 장착되어 있다. 도 2에는 차량 1의 종축 L이 표시되어 있는 바, 여기서 실제 카메라 2는 차량 1의 종축 L 옆에 배치되어 차량 1에 장착되어 있다. 또한 도 2는 실제 카메라 2가 비스듬하게, 즉 차량 1의 종축 L과 평행하기 않게 차량에 장착될 수 있다는 것을 나타낸다. 실제 카메라 2, 영상 처리 장치 3 및 표시 장치 4는 한데 모여 차량 1의 어라운드 뷰 시스템을 구성하는 바, 여기서 영상 처리 장치 3은 추가로 존재하지 않는, 가상의 카메라 7을 생성한다.
도 3은 실제 카메라 2가 쵤영한, 차량 1의 주변 6에 대한 영상이 어떻게 처리되어 차량 1의 표시 장치 4에서 차량 1의 어라운드 뷰 영상으로 표시될 수 있는가를 나타낸다. 실제 카메라 2가 촬영한 영상에는 여러 물체가 포함되어 있는 바, 도 3에는 이러한 물체 8 중 하나가 상당히 도식적으로 도시되어 있다. 물체 8은 예컨대 차량 1의 전방 영역에 있는 (도시되지 않은) 다른 차량의 범퍼일 수 있다. 아래에서 물체 8을 이용하여 어라운드 뷰 시스템의 작동 방식으로 설명하지만, 이 설명은 (도시되지 않은) 실제 카메라 2가 촬영한 영상에 포함되어 있는 그 외의 다른 물체에도 적용된다.
실제 카메라 2가 촬영한, 물체 8이 포함된 영상은 실제 카메라 2에 대해 수직으로 서있는 첫 번째 표면 또는 구역 9에 투영되므로, 실제 카메라 2가 촬영한 영상에 있는 원근에 따른, 실제 카메라 2의 중앙 정렬이 되지 않은 위치에서 비롯된 왜곡을 교정한다. 이러한 방식으로 물체 8의 변경된 첫 번째 표시 8'가 첫 번째 구역 9에서 생성된다. 차량 1의 표시 장치 4에는 첫 번째 구역 9 내에 있는 영상 내용물이 표시되지 않고, 아래에서 설명할 두 번째 구역 10에 있는 영상 내용물이 표시된다.
영상 처리 장치 3은 최소한 하나의 외곽 형태 11에서 13까지를 중첩으로서, 가상 카메라 7에 대해 수직으로 서있는 두 번째 구역 10에 투영하므로, 최소한 하나의 외곽 형태 11에서 13까지가 있는 두 번째 구역 10은 왜곡되지 않은 상태로 차량 1의 표시 장치 4에 표시된다. 도 3에는 예시로서 차량 1의 예상한 궤적을 가리키는 외곽 형태 세 개가 도시되어 있다.
더 나아가 영상 처리 장치 3에서는 첫 번째 구역 9와 두 번째 구역 10 사이의 아핀 변환 T가 실제 카메라 2와 가상 카메라 7 사이의 델타 변환에 의해 이루어지고, 이루어진 아핀 변환 T는 물체 8의 변경된 첫 번째 표시 8'가 있는 첫 번째 구역 9에 적용된다. 이러한 방식으로 물체 8의 변경된 두 번째 표시 8"가 두 번째 구역 10 내에서 생성되는 바, 이때 이 변경된 두 번째 표시 8"는 최소한 하나의 왜곡되지 않은 외곽 형태 11에서 13까지와 함께 두 번째 구역 10에서 정렬되어 있다. 물체 8의 변경된 표시 8"와 외곽 형태 11에서 13까지가 있는 두 번째 구역은 표시 장치 4에 표시된다.

Claims (13)

  1. 차량 (1) 용의 파노라믹 뷰 시스템으로서,
    상기 파노라믹 뷰 시스템은, 차량 (1) 에 대해 실제 카메라 (2) 가 중앙 정렬이 되지 않은 위치에서 차량 (1) 의 주변 (6) 의 영상을 캡쳐하도록 구성되는 적어도 하나의 실제 카메라 (2), 가상 카메라 (7), 영상 처리 유닛 (3) 및 표시 유닛 (4) 을 포함하고,
    표시 유닛 (4) 은, 실제 카메라 (2) 에 의해 캡쳐된 영상, 그리고 실제 카메라 (2) 에 의해 캡쳐된 상기 영상 위에 오버레이 (overlay) 로서 적어도 하나의 기하학적 형태 (geometric form) 를, 제 2 평면 (10) 상의 투영으로서, 투영 방식으로, 표시하도록 구성되고,
    영상 처리 유닛 (3) 은:
    실제 카메라 (2) 의 상기 중앙 정렬이 되지 않은 위치에서 비롯된 실제 카메라 (2) 에 의해 캡쳐된 상기 영상에서의 원근에 따른 왜곡이 왜곡-교정되도록, 실제 카메라 (2) 에 의해 캡쳐된 상기 영상을 실제 카메라 (2) 에 대해 수직인 제 1 평면 (9) 에 투영하고,
    상기 적어도 하나의 기하학적 형태가 왜곡되지 않고 표시 유닛 (4) 에 표시되도록, 상기 적어도 하나의 기하학적 형태를 가상 카메라 (7) 에 대해 수직인 제 2 평면 (10) 에 오버레이로서 투영하고,
    실제 카메라 (2) 와 가상 카메라 (7) 사이의 델타 변환에 의한, 제 1 평면 (9) 과 제 2 평면 (10) 사이의 아핀 변환 (T) 을 찾고, 그리고
    상기 아핀 변환 (T) 을 실제 카메라 (2) 에 의해 캡쳐되고 상기 투영 및 왜곡-교정된 영상 (8') 을 포함하는 제 1 평면 (9) 에 적용하여, 실제 카메라 (2) 에 의해 캡쳐되고 상기 왜곡-교정된 영상 (8') 의 변경된 표시 (8") 를 상기 적어도 하나의 왜곡되지 않은 기하학적 형태와 함께 제 2 평면 (10) 에서 정렬하도록 구성된,
    파노라믹 뷰 시스템.
  2. 제 1 항에 기재된 파노라믹 뷰 시스템 및 차량 본체를 포함하는 차량 (1) 으로서, 실제 카메라 (2) 가 상기 차량 본체에 중앙 정렬되지 않게 장착된 차량 (1).
  3. 제 1 항에 있어서,
    제 1 평면 (9) 은 실제 카메라 (2) 의 광축에 수직이고, 제 2 평면 (10) 은 가상 카메라 (7) 의 가상의 광축에 수직인, 파노라믹 뷰 시스템.
  4. 제 1 항에 있어서,
    실제 카메라 (2) 의 상기 중앙 정렬이 되지 않은 위치는, 실제 카메라 (2) 가 차량 (1) 에 탑재된 위치이고, 그리고 차량 (1) 의 종축으로부터 중앙 정렬이 되지 않게 옆으로 오프셋인 위치인, 파노라믹 뷰 시스템.
  5. 제 1 항에 있어서,
    실제 카메라 (2) 의 상기 중앙 정렬이 되지 않은 위치는, 실제 카메라 (2) 가 차량 (1) 에 탑재된 위치이고, 그리고 실제 카메라 (2) 가 차량 (1) 의 종축에 대해 비스듬하게 지향된 광축을 갖는 위치인, 파노라믹 뷰 시스템.
  6. 제 1 항에 있어서,
    가상 카메라 (7) 및 제 2 평면 (10) 은 차량 (1) 에 대해 각각의 중앙 위치에서 가상으로 정렬된, 파노라믹 뷰 시스템.
  7. 차량 (1) 의 주변의 파노라믹 뷰를 표시하는 방법으로서,
    차량 (1) 에 대해 실제 카메라 (2) 가 중앙 정렬이 되지 않은 위치에서 실제 카메라 (2) 로 차량 (1) 의 주변 (6) 의 영상을 캡쳐하는 단계;
    실제 카메라 (2) 의 상기 중앙 정렬이 되지 않은 위치에서 비롯된 실제 카메라 (2) 에 의해 캡쳐된 상기 영상에서의 원근에 따른 왜곡이 표시 유닛 (4) 상의 영상의 투영된 표시에서 왜곡-교정되도록, 실제 카메라 (2) 에 의해 캡쳐된 상기 영상을 실제 카메라 (2) 에 대해 수직인 제 1 평면 (9) 에 투영하는 단계;
    적어도 하나의 기하학적 형태 (geometric form) 가 왜곡되지 않고 표시 유닛 (4) 에 표시되도록, 상기 적어도 하나의 기하학적 형태를 오버레이 (overlay) 로서 가상 카메라 (7) 에 대해 수직인 제 2 평면 (10) 에 투영하는 단계;
    실제 카메라 (2) 와 가상 카메라 (7) 사이의 델타 변환에 의한, 제 1 평면 (9) 과 제 2 평면 (10) 사이의 아핀 변환 (T) 을 찾는 단계;
    상기 아핀 변환 (T) 을 실제 카메라 (2) 에 의해 캡쳐되고 상기 투영 및 왜곡-교정된 영상 (8') 을 포함하는 제 1 평면 (9) 에 적용하여, 실제 카메라 (2) 에 의해 캡쳐되고 상기 왜곡-교정된 영상 (8') 의 변경된 표시 (8") 를 상기 적어도 하나의 왜곡되지 않은 기하학적 형태와 함께 제 2 평면 (10) 에서 정렬하는 단계; 및
    제 2 평면 (10) 로부터의 상기 적어도 하나의 왜곡되지 않은 기하학적 형태 및 상기 변경된 표시 (8") 를 표시 유닛 (4) 상에 디스플레이하는 단계를 포함하는, 파노라믹 뷰를 표시하는 방법.
  8. 제 7 항에 있어서,
    제 1 평면 (9) 은 실제 카메라 (2) 의 광축에 수직이고, 제 2 평면 (10) 은 가상 카메라 (7) 의 가상의 광축에 수직인, 파노라믹 뷰를 표시하는 방법.
  9. 제 7 항에 있어서,
    실제 카메라 (2) 의 상기 중앙 정렬이 되지 않은 위치는, 실제 카메라 (2) 가 차량 (1) 에 탑재된 위치이고, 그리고 차량 (1) 의 종축으로부터 중앙 정렬이 되지 않게 옆으로 오프셋인 위치인, 파노라믹 뷰를 표시하는 방법.
  10. 제 7 항에 있어서,
    실제 카메라 (2) 의 상기 중앙 정렬이 되지 않은 위치는, 실제 카메라 (2) 가 차량 (1) 에 탑재된 위치이고, 그리고 실제 카메라 (2) 가 차량 (1) 의 종축에 대해 비스듬하게 지향된 광축을 갖는 위치인, 파노라믹 뷰를 표시하는 방법.
  11. 제 7 항에 있어서,
    가상 카메라 (7) 및 제 2 평면 (10) 은 차량 (1) 에 대해 각각의 중앙 위치에서 가상으로 정렬된, 파노라믹 뷰를 표시하는 방법.
  12. 프로세서에 의해 실행되는 경우 제 7 항에 기재된 방법을 프로세서가 수행하도록 명령하는, 비-일시적 컴퓨터-판독가능 저장 매체에 저장된, 프로그램.
  13. 프로세서에 의해 실행되는 경우 제 7 항에 기재된 방법을 프로세서가 수행하도록 명령하는 프로그램이 저장된, 비-일시적 컴퓨터-판독가능 저장 매체.
KR1020197014361A 2016-12-15 2017-10-25 차량용 어라운드 뷰 시스템 KR102315748B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016225066.3 2016-12-15
DE102016225066.3A DE102016225066A1 (de) 2016-12-15 2016-12-15 Rundumsichtsystem für ein Fahrzeug
PCT/DE2017/200113 WO2018108213A1 (de) 2016-12-15 2017-10-25 Rundumsichtsystem für ein fahrzeug

Publications (2)

Publication Number Publication Date
KR20190096970A KR20190096970A (ko) 2019-08-20
KR102315748B1 true KR102315748B1 (ko) 2021-10-20

Family

ID=60515069

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197014361A KR102315748B1 (ko) 2016-12-15 2017-10-25 차량용 어라운드 뷰 시스템

Country Status (7)

Country Link
US (1) US10904432B2 (ko)
EP (1) EP3555843A1 (ko)
JP (1) JP2020502640A (ko)
KR (1) KR102315748B1 (ko)
CN (1) CN110073415B (ko)
DE (2) DE102016225066A1 (ko)
WO (1) WO2018108213A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230067218A (ko) 2021-11-09 2023-05-16 에이엠알오 주식회사 안전비행을 위한 항공기의 3d 영상표시 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016211227A1 (de) 2016-06-23 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
DE102018203590A1 (de) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
TWI693578B (zh) * 2018-10-24 2020-05-11 緯創資通股份有限公司 影像拼接處理方法以及其系統
CN111667538B (zh) * 2020-04-20 2023-10-24 长城汽车股份有限公司 一种全景环视***的标定方法、装置及***
CN114633692B (zh) * 2022-03-14 2023-10-03 深圳市艾为智能有限公司 一种偏心镜头在cms***中的应用方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008085446A (ja) * 2006-09-26 2008-04-10 Clarion Co Ltd 画像生成装置および画像生成方法
US20150042799A1 (en) * 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3624769B2 (ja) 1999-09-30 2005-03-02 株式会社豊田自動織機 車両後方監視装置用画像変換装置
JP2002083285A (ja) 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
JP4195966B2 (ja) 2002-03-05 2008-12-17 パナソニック株式会社 画像表示制御装置
JP3871614B2 (ja) 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
DE102007044535B4 (de) 2007-09-18 2022-07-14 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Fahrerinformation in einem Kraftfahrzeug
JP4751939B2 (ja) * 2009-03-31 2011-08-17 アイシン精機株式会社 車載カメラの校正装置
JP5223811B2 (ja) 2009-08-06 2013-06-26 株式会社日本自動車部品総合研究所 画像補正装置、画像補正方法、及びそれらに用いられる変換マップ作成方法
JP2012244600A (ja) 2011-05-24 2012-12-10 Fujitsu Ten Ltd 画像表示システム、画像処理装置、及び、画像表示方法
WO2013016409A1 (en) 2011-07-26 2013-01-31 Magna Electronics Inc. Vision system for vehicle
DE102011115739A1 (de) * 2011-10-11 2013-04-11 Daimler Ag Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen
EP2771873B1 (de) 2011-10-28 2018-04-11 Conti Temic microelectronic GmbH Gitterbasiertes umfeldmodell für ein fahrzeug
KR101339121B1 (ko) * 2011-12-08 2013-12-09 ㈜베이다스 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
KR101469717B1 (ko) * 2012-05-30 2014-12-05 동의대학교 산학협력단 광각 카메라를 이용한 영상 시스템 및 그 방법
US9225942B2 (en) * 2012-10-11 2015-12-29 GM Global Technology Operations LLC Imaging surface modeling for camera modeling and virtual view synthesis
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
US9445011B2 (en) * 2012-10-22 2016-09-13 GM Global Technology Operations LLC Dynamic rearview mirror adaptive dimming overlay through scene brightness estimation
DE102013203404A1 (de) * 2013-02-28 2014-08-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur dreidimensionalen Abbildung zumindest eines Teilbereichs eines Fahrzeugumfelds
US8892358B2 (en) 2013-03-14 2014-11-18 Robert Bosch Gmbh System and method for distortion correction in three-dimensional environment visualization
TWI528325B (zh) 2013-10-18 2016-04-01 財團法人資訊工業策進會 影像處理方法及應用影像處理方法之系統
US20150109444A1 (en) * 2013-10-22 2015-04-23 GM Global Technology Operations LLC Vision-based object sensing and highlighting in vehicle image display systems
JP6096155B2 (ja) 2014-09-12 2017-03-15 アイシン精機株式会社 運転支援装置及び運転支援システム
JP6276719B2 (ja) * 2015-02-05 2018-02-07 クラリオン株式会社 画像生成装置、座標変換テーブル作成装置および作成方法
DE102015206477A1 (de) 2015-04-10 2016-10-13 Robert Bosch Gmbh Verfahren zur Darstellung einer Fahrzeugumgebung eines Fahrzeuges
US10946799B2 (en) * 2015-04-21 2021-03-16 Magna Electronics Inc. Vehicle vision system with overlay calibration
CN104851076B (zh) * 2015-05-27 2018-10-09 武汉理工大学 用于商用车的全景环视泊车辅助***及摄像头安装方法
US9866752B2 (en) * 2015-06-02 2018-01-09 Qualcomm Incorporated Systems and methods for producing a combined view from fisheye cameras
DE102016211227A1 (de) 2016-06-23 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008085446A (ja) * 2006-09-26 2008-04-10 Clarion Co Ltd 画像生成装置および画像生成方法
US20150042799A1 (en) * 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230067218A (ko) 2021-11-09 2023-05-16 에이엠알오 주식회사 안전비행을 위한 항공기의 3d 영상표시 시스템

Also Published As

Publication number Publication date
US10904432B2 (en) 2021-01-26
KR20190096970A (ko) 2019-08-20
DE102016225066A1 (de) 2018-06-21
DE112017004931A5 (de) 2019-06-13
EP3555843A1 (de) 2019-10-23
WO2018108213A1 (de) 2018-06-21
US20200112675A1 (en) 2020-04-09
JP2020502640A (ja) 2020-01-23
CN110073415A (zh) 2019-07-30
CN110073415B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
KR102315748B1 (ko) 차량용 어라운드 뷰 시스템
JP7245295B2 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
US9030524B2 (en) Image generating apparatus, synthesis table generating apparatus, and computer readable storage medium
CN109948398B (zh) 全景泊车的图像处理方法及全景泊车装置
JP6522630B2 (ja) 車両の周辺部を表示するための方法と装置、並びに、ドライバー・アシスタント・システム
JP5523730B2 (ja) 車載周辺画像表示装置
US20090102921A1 (en) Vehicle-mounted image capturing apparatus
CN108369746A (zh) 用于多相机交通工具***的动态图像融合
CN106296646B (zh) Avm***的公差校正装置、方法及其记录介质
CN106101635A (zh) 车辆周围影像处理方法及装置
JP4857143B2 (ja) カメラ姿勢算出用ターゲット装置およびこれを用いたカメラ姿勢算出方法ならびに画像表示方法
JP5178454B2 (ja) 車両周囲監視装置及び車両周囲監視方法
JP2008102620A (ja) 画像処理装置
WO2017211089A1 (zh) 车辆行进全景***及其方法
JP5405809B2 (ja) 車両周辺監視装置およびカメラ位置・姿勢判定方法
JP5173551B2 (ja) 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法
CN106846385B (zh) 基于无人机的多传感遥感影像匹配方法、装置和***
KR20090108822A (ko) 카메라 영상 보정 방법 및 장치
JP6293089B2 (ja) 後方モニタ
Yebes et al. Surrounding view for enhancing safety on vehicles
Santhanam et al. Lens distortion correction and geometrical alignment for Around View Monitoring system
CN115689920B (zh) Hud成像的辅助矫正方法、装置及矫正***
WO2015182771A1 (ja) 撮像装置、画像処理装置、画像処理方法およびコンピュータプログラム
KR101293263B1 (ko) 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법
KR101241012B1 (ko) 어라운드 뷰 모니터 시스템의 카메라 간 화질차이 개선 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant