KR102490272B1 - 차량의 주변 영역을 표시하기 위한 방법 - Google Patents

차량의 주변 영역을 표시하기 위한 방법 Download PDF

Info

Publication number
KR102490272B1
KR102490272B1 KR1020177032519A KR20177032519A KR102490272B1 KR 102490272 B1 KR102490272 B1 KR 102490272B1 KR 1020177032519 A KR1020177032519 A KR 1020177032519A KR 20177032519 A KR20177032519 A KR 20177032519A KR 102490272 B1 KR102490272 B1 KR 102490272B1
Authority
KR
South Korea
Prior art keywords
vehicle
virtual
camera
image
virtual camera
Prior art date
Application number
KR1020177032519A
Other languages
English (en)
Other versions
KR20170135952A (ko
Inventor
가르시아 호세 도밍고 에스파르자
라파엘 카노
Original Assignee
로베르트 보쉬 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 로베르트 보쉬 게엠베하 filed Critical 로베르트 보쉬 게엠베하
Publication of KR20170135952A publication Critical patent/KR20170135952A/ko
Application granted granted Critical
Publication of KR102490272B1 publication Critical patent/KR102490272B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 차량(1)의 주변 영역을 표시하기 위한 방법에 관한 것으로, 이 방법은 복수의 카메라(3a, 3b, 3c, 3d)를 이용하여 카메라 영상 내 차량 주변 영역을 검출하는 단계와; 상기 카메라 영상을 가상 공간 내에 있는 기하 투영면(geometric projection surface) 상에 투영하는 단계와; 가상 카메라의 가시 영역에 대해, 가상 공간 내에서 가상 카메라로부터 기하 투영면의 복수의 지점까지의 거리를 기술하는 깊이 맵(depth map)을 작성하는 단계와; 가상 공간 내 기하 투영면을 재현하는 가상 카메라의 영상(10)을 계산하는 단계와; 가상 카메라의 영상 내에서, 기하 투영면이 가상 카메라에 대해 특정 거리 범위 내에 위치하는 특정 영역을 깊이 맵에 기반하여 결정하는 단계와; 상기 특정 영역(12)이 재현될 영역에서 가상 카메라의 영상(10)을 블러링(blurring)하는 단계를 포함한다.

Description

차량의 주변 영역을 표시하기 위한 방법
본 발명은 차량의 주변 영역을 표시하기 위한 방법에 관한 것이다.
주행 보조 시스템은 차량 운전 시 운전자를 보조하는 데 목적을 두고 있다. 이러한 운전자 보조는 예를 들어 하기의 기능들을 통해 수행될 수 있다:
- 운전자의 직접 시야 내에 존재하지 않는 장애물과의 충돌을 방지하기 위해 차량 근방 영역 내 주변을 표시하는 기능,
- 운전자의 주행 쾌적성을 높이기 위해 운전자의 일부 과업을 인계하여 처리하는 기능,
- 위험 상황에 대한 개입 및 운전자의 행동을 모니터링하는 기능,
- 운전자가 반드시 존재할 필요가 없는 자동 주행 기능.
특히, 본 발명은 특히 이른바 서라운드 뷰 시스템에서 수행되는 것과 같은 복합 시야를 이용하여 차량 주변 영역을 표시하기 위한 방법에 관한 것이다. 그러한 서라운드 뷰 시스템에서는 전형적으로 하나의 차량에 복수의 카메라가 배치됨으로써, 차량 주변의 360°서라운드 뷰의 표시가 가능해진다. 이 경우, 일반적으로 차량에 배치된 카메라, 통상 4개의 카메라의 카메라 영상이 통상 사발 형상을 갖는(bowl-shaped) 기하 투영면(geometric projection surface) 상에 투영된다. 이는, 내적 및 외적 카메라 보정에 기반한 화소 할당(image mapping)을 이용하여 수행된다.
DE102011121473A1호는 자동차의 카메라를 이용하여 자동차 주변 영역의 카메라 영상을 촬영하여 자동차의 디스플레이 장치 상에 영상을 표시하기 위한 방법을 개시하고 있다.
US2014/0139676A1호는 하나 이상의 영상 센서, 제어 장치 및 디스플레이 장치를 포함하는 차량용 시각 시스템(vision system)을 개시하고 있다.
본 발명에 따른 차량 주변 영역 표시 방법은, 복수의 카메라를 이용하여 카메라 영상 내 차량 주변 영역을 검출하는 단계와; 상기 카메라 영상을 가상 공간 내에 있는 기하 투영면상에 투영하는 단계와; 가상 카메라의 가시 영역에 대해, 가상 공간 내에서 가상 카메라로부터 기하 투영면의 복수의 지점까지의 거리를 기술하는 깊이 맵(depth map)을 작성하는 단계와; 가상 공간 내 기하 투영면을 재현하는 가상 카메라의 영상을 계산하는 단계와; 가상 카메라의 영상 내에서, 기하 투영면이 가상 카메라에 대해 특정 거리 영역 내에 위치하는 특정 영역을 깊이 맵에 기반하여 결정하는 단계와; 상기 특정 영역이 재현되는 영역에서 가상 카메라의 영상을 블러링(blurring)하는 단계를 포함한다.
이러한 방식으로, 계산된 영상의 관찰 시 운전자의 시야가 안내된다. 특히, 가상 카메라의 영상과 상기 가상 카메라를 통해 재현된, 기하 투영면의 특정 영역 내에 위치하는 차량 주변 영역 간의 의도치 않은 차이도 블러링된다. 그러한 의도치 않은 차이는, 가상 공간 내에서 기하 투영면의 형상이 차량 주변 영역을 부정확하게 재현하는 경우에 종종 나타난다.
종속 청구항들은 본 발명의 바람직한 개선예들을 나타낸다.
기하 투영면이 차량 주변 영역에 기반하여 모델링되는 것이 바람직하다. 그럼으로써 가상 카메라의 영상과 상기 가상 카메라에 의해 재현된 차량 주변 영역 간의 의도치 않은 차이가 최소화된다.
또한, 특정 거리 영역은 가상 카메라에 대해 최소 거리를 벗어나서 연장되는 영역인 것이 바람직하다. 그럼으로써 깊이 맵이 제공되고, 가상 카메라의 영상이 매우 입체적으로 보여지게 된다.
또한, 가상 공간 내에 차량의 가상 모델을 배치하고, 상기 가상 공간 내에 차량의 가상 모델이 배치되도록 깊이 맵을 작성하고, 가상 카메라의 영상에서 차량(1)의 가상 모델(14)이 검출되는 영역에 대해, 가상 카메라로부터 차량(1)의 가상 모델(14)의 재현된 지점들까지의 거리를 기술하는 방식으로 깊이 맵을 작성하는 것이 바람직하다. 차량의 가상 모델은 사용자에게 가상 카메라의 영상 내 기준점을 알려준다. 깊이 맵의 작성 시 차량의 가상 모델을 고려함으로써, 상기 가상 모델이 가상 카메라의 영상 내에 삽입되고, 그에 따라 차량 주변 영역 내에 존재하는 이물질로 감지되지 않게 된다.
상기 방법이 가상 카메라를 가상 공간 내 특정 관심 지점에 배치하는 단계를 포함하는 것도 바람직하다. 이러한 방식으로, 사용자가 상기 특정 지점에 주목하도록 할 수 있다.
또한, 특정 관심 지점은, 임의의 객체에 대한 차량의 접근이 수행되는 지점인 것이 바람직하다. 그럼으로써 사용자에게 상기 접근이 안내되어 충돌이 방지될 수 있다.
본 발명에 따른 방법을 실행하도록 설계된 장치도 역시 바람직하며, 본 발명에 따른 방법의 모든 장점을 갖는다.
하기에는 첨부된 도면을 참고로 본 발명의 실시예들을 상세히 기술한다.
도 1은 본 발명에 따른 방법의 제1 실시예의 흐름도이다.
도 2는 제1 실시예에서 방법을 실행하기 위한 장치를 구비한 차량이다.
도 3은 카메라 영상의 사전 설정된 영역이 블러링되어 있지 않은 가상 카메라의 영상이다.
도 4는 제1 실시예에서 본 발명에 따른 방법을 이용하여 생성된 가상 카메라의 영상이다.
도 5는 제2 실시예에서 본 발명에 따른 방법을 이용하여 생성된 가상 카메라의 영상이다.
도 1은 차량(1)의 차량 주변 영역을 표시하기 위한 본 발명에 따른 방법의 제1 실시예의 흐름도이다. 이 방법은 차량(1)의 차량 주변 영역을 표시하기 위한 장치(2)에 의해 실행된다. 차량(1)은 도 2에 예시로서 도시되어 있다.
차량(1)에는 제1 카메라(3a), 제2 카메라(3b), 제3 카메라(3c) 및 제4 카메라(3d)가 배치되어 있다. 이들 카메라 각각(3a, 3b, 3c, 3d)은, 차량(1)의 차량 주변 영역의 가급적 큰 부분을 각각 획득하기 위해 각각 하나의 어안 렌즈(fisheye lens)를 구비한다. 제1 카메라(3a)는 차량(1)의 우측 실외 미러에 배치된다. 이때, 제1 카메라(3a)의 광학 축은 차량(1)의 횡축을 따라 차량(1)으로부터 멀어지는 방향을 향한다. 제2 카메라(3b)는 차량(1)의 차량 전방부에 배치된다. 이때, 제2 카메라(3b)의 광학 축은 차량(1)의 종축을 따라 차량으로부터 멀어지는 방향을 향한다. 제3 카메라(3c)는 차량(1)의 좌측 실외 미러에 배치된다. 이때, 제3 카메라(3c)의 광학 축은 차량(1)의 횡축을 따라 차량으로부터 멀어지는 방향을 향한다. 제4 카메라(3d)는 차량(1)의 후미부에 배치된다. 이때, 제4 카메라(3d)의 광학 축은 차량(1)의 종축을 따라 차량(1)으로부터 멀어지는 방향을 향한다. 이들 카메라 각각(3a, 3b, 3c, 3d)은 각각 신호 라인을 통해 차량(1)의 주변 영역을 표시하기 위한 장치(2)와 연결된다. 이 경우, 차량(1)의 주변 영역을 표시하기 위한 장치(2)는 디지털 컴퓨터 유닛이다.
본 발명에 따른 방법은, 차량(1)의 주변 영역을 표시하기 위한 장치(2)가 작동되는 즉시 시작된다. 방법이 시작되면 제1 단계(S1)가 실행된다.
제1 단계(S1)에서는 카메라(3a, 3b, 3c, 3d)를 이용하여 차량(1)의 주변 영역이 카메라 영상으로 촬영된다. 이때, 각각의 카메라(3a, 3b, 3c, 3d)에 의해 영상이 촬영되어 장치(2)로 전송된다. 차량(1)에 서로 인접하여 위치하는, 카메라(3a, 3b, 3c, 3d)로부터 전송된 카메라 영상들은 서로 중첩되고, 그럼으로써 하나의 섹션 내에 차량 주변의 동일한 영역을 재현한다.
제1 단계(S1) 이후에 제2 단계(S2)가 실행된다.
제2 단계(S2)에서는 카메라 영상들이 가상 공간 내 기하 투영면 상에 투영된다. 여기서 가상 공간은 장치(2)에 의해 산술적으로 생성되는 수학적 공간(mathematical space)이다. 이 가상 공간은 차량(1) 주변의 실제 공간의 수학적 표현이다. 차량(1)의 가상 모델(14)이 상기 가상 공간 내에 배치된다. 기하 투영면이 가상 공간 내에 있는 차량(1)의 가상 모델(14)을 에워싼다.
기하 투영면은 차량 주변 영역에 기반하여 모델링된다. 이를 위해 차량 주변 영역은 차량 센서 시스템에 의해 스캐닝된다. 차량 센서 시스템은 예컨대 초음파 센서, 스테레오 카메라, 또는 라이다(LIDAR) 시스템에 기반한 차량(1) 주변 검출 시스템이다. 차량(1)으로부터 차량 주변 영역에 위치하는 물체들까지의 거리를 기술하는 거리값이 검출된다. 이 거리값은 가상 공간 내로 전용되고, 기하 투영면으로부터 차량(1)의 가상 모델(14)까지의 거리가 거리값들에 상응하게 매칭된다.
카메라 영상들이 기하 투영면 상에 투영될 때, 카메라(3a, 3b, 3c, 3d)의 카메라 영상들은 기하 투영면 상에 텍스쳐로서 배치된다. 이때, 카메라 영상들은, 카메라 영상 내에 표시된 차량 주변 영역의 실제 물체가 기하 투영면의 한 지점에 나타나도록 등화되며(equalized), 차량(1)의 가상 모델(14)에 대한 상기 지점의 위치는 차량(1)에 대한 실제 물체의 위치에 상응한다.
제2 단계(S2) 이후에 제3 단계(S3)가 실행된다.
제3 단계(S3)에서는 가상 공간 내에서 기하 투영면을 재현하는 가상 카메라의 영상(10)의 계산이 수행된다.
이를 위해, 먼저 가상 공간 내에서 가상 카메라의 위치 및 배향이 결정된다. 여기서 가상 카메라의 위치는 예를 들어 차량(1)의 모델(14)의 후방 우측일 수 있다. 따라서 카메라는 가상 공간 내에서 차량(1)의 모델(14)의 후미부 영역 내에 배치된다. 가상 카메라의 배향은 예컨대 차량(1)의 모델(14)의 전방을 향해 차량(1)의 모델(14)의 우측을 따라 선택된다.
가상 카메라의 영상(10)은 화소들의 매트릭스로 구성된다. 가상 카메라의 위치 및 배향에 기반하여 각각의 화소에 대해, 화소 내에 기하 투영면의 어느 부분 또는 어느 지점이 표시될 지가 계산된다. 가상 카메라의 영상의 한 화소의 컬러 값 및/또는 명도 값이 투영면의 대응 부분 또는 지점에 배치된 텍스처의 컬러 값 및/또는 명도 값에 상응하게 선택된다.
도 3은 가상 카메라의 영상의 일례로서, 여기에는 아직 블러링이 수행되어 있지 않다. 가상 카메라의 영상(10)의 좌측 영역에 차량(1)의 가상 모델(14)이 배치되어 있다. 차량(1)의 가상 모델(14)의 주변 영역에서 카메라 영상들이 텍스처로서 렌더링(rendering)되어 있는 기하 투영면을 볼 수 있다. 차량(1)의 가상 모델(14)의 전방 우측에 놓인 가상 카메라의 영상(10)의 영역(11)에는 가상 카메라의 영상과 상기 가상 카메라에 의해 재현된 차량 주변 영역 간의 의도치 않은 차이가 존재한다. 하나의 차량(15)이 이중으로 표시된 것을 볼 수 있다.
단일 차량(15)이 이중으로 표시된 이유는, 상기 차량이 한 편으로는 제1 카메라(3a)의 카메라 영상에 재현된 것이고, 다른 한편으로는 제2 카메라(3b)의 카메라 영상에 재현된 것이기 때문이다. 기하 투영면 상에 카메라 영상의 투영 시, 단일 차량(15)의 2개의 표시가 기하 투영면의 동일한 위치에 배치되지 않았는데, 그 이유는 기하 투영면의 형상이 차량 주변 영역 내 형상들에 완전히 대응되지 않기 때문이다.
제3 단계(S3) 이후에 제4 단계(S4)가 실행된다.
제4 단계(S4)에서는 가상 카메라의 가시 영역에 대해, 가상 공간 내에서 가상 카메라로부터 기하 투영면의 복수의 지점까지의 거리를 기술하는 깊이 맵의 작성이 수행된다. 가상 카메라의 가시 영역은 가상 카메라의 영상 내에 표시되는 영역에 상응한다.
가상 카메라의 영상(10)의 각각의 화소에 대해, 가상 카메라의 위치로부터 상기 화소에 재현된 기하 투영면의 지점까지의 거리가 계산된다. 상기 거리는 깊이 맵 내에 거리 값으로서 저장된다. 즉, 본 실시예에서 깊이 맵은 가상 카메라의 영상(10)이 가진 화소와 동일한 개수의 거리 값을 갖는다. 깊이 맵의 각각의 거리 값에 가상 카메라의 영상(10)의 하나의 화소가 할당된다.
이때, 깊이 맵은, 가상 카메라의 영상에서 차량(1)의 가상 모델(14)이 검출될 영역에 대해, 가상 공간 내에서 가상 카메라로부터 상기 깊이 맵에 재현된 차량(1)의 가상 모델(14)의 지점들까지의 거리를 기술하는 방식으로 작성된다. 그럼으로써, 관련 화소에 대한 기하 투영면이 차량의 가상 모델(14)에 의해 은폐될 경우, 차량(1)의 가상 모델(14)과 가상 카메라 간의 거리를 기술하는 거리 값이 깊이 맵 내에 기입된다.
제4 단계(S4) 이후에 제5 단계(S5)가 실행된다.
제5 단계(S5)에서는 가상 카메라의 영상 내에서, 기하 투영면이 가상 카메라에 대해 특정 거리 영역 내에 위치하는 특정 영역(12)이 깊이 맵에 기반하여 결정된다.
특정 거리 영역은 상기 제1 실시예에서 가상 카메라에 대해 최소 거리를 벗어나서 연장되는 영역이다. 최소 거리는 가상 공간 내에서의 거리이다. 이때, 최소 거리는 임의의 임계값에 의해 정의된다. 깊이 맵의 각각의 거리 값이 상기 임계값과 비교된다. 따라서 어떤 거리 값이 임계값을 초과한다면, 그 거리 값에 속하는 가상 카메라의 영상(10)의 화소는 상기 특정 영역(12)에 속하게 된다. 어떤 거리 값이 임계값 미만이거나 임계값과 동일할 경우, 그 거리 값에 속하는 가상 카메라의 영상의 화소는 상기 특정 영역(12)에 속하지 않는다.
제5 단계(S5) 이후에 제6 단계(S6)가 실행된다.
제6 단계(S6)에서는 특정 영역(12)이 재현될 영역에서 가상 카메라의 영상의 블러링이 수행된다. 이를 위해, 예를 들어 가우시안 블러(Gaussian blur), 또는 블러링을 가능케 하는 임의의 다른 그래픽 필터가 가상 카메라의 영상(10)의 특정 영역(12)에 적용된다.
도 4는 본 발명의 제1 실시예에 따라 생성된 가상 카메라의 영상(10)을 보여준다. 가상 카메라의 영상 우측 영역에 차량(1)의 가상 모델(14)이 배치되어 있다. 차량(1)의 가상 모델(14) 주변 영역에서 카메라 영상들이 텍스처로서 렌더링되어 있는 기하 투영면을 볼 수 있다. 가상 카메라의 영상(10)의 상부 영역에는, 차량(1) 전방에 위치하는 실제 환경의 영역을 재현하는, 블러링된 특정 영역(12)이 재현되어 있다. 상기 특정 영역에서 기하 투영면은 가상 카메라에 대해, 깊이 맵에 따라 임계값보다 더 큰 거리를 갖는다. 이때, 의도치 않은 차이가 존재하는 영역(11)도 블러링된 것을 볼 수 있다.
제6 단계(S6)의 실행 후, 본원 방법은 다시 제1 단계(S1)로 되돌아간다. 따라서 본원 방법은 하나의 루프 내에서 실행된다. 본원 방법은 장치(2)의 작동이 중단될 때 종료된다.
따라서 본 발명에서는 깊이 맵이 가상 카메라의 위치에 따라 작성된다. 또한, 차량 주변 영역의 부분 블러링 이미지가 생성된다. 이 경우, 영상 심도는 실제 카메라의 촛점 영역에 상응하게 매치될 수 있다. 이러한 효과는 사람 눈의 특성을 시뮬레이션하기 위해 동적으로 매칭될 수 있다. 이는 특히, 제5 단계(S5)에서 이용되는 임계값을 변경함으로써 달성될 수 있다.
본 발명의 제2 실시예는 본 발명의 제1 실시예에 상응한다. 그러나 본 발명에 따른 방법은, 가상 카메라를 가상 공간 내 특정 관심 지점에 배치하는 추가 단계를 포함한다. 특정 관심 지점은 임의의 객체에 대한 차량의 접근이 수행되는 지점이다.
이를 위해 차량(1)의 거리 센서 시스템을 이용하여, 임의 객체에 대한 차량(1)의 접근이 수행되는지가 검출된다. 이 경우, 관심 지점은 객체에 대한 차량(1)의 접근이 수행되는 차량 주변 영역의 중심부이다. 가상 카메라의 위치는, 가상 카메라가 가상 공간 내에서 관심 지점(16) 바로 위에 위치하도록 선택되고, 가상 카메라의 배향은, 가상 카메라가 조감도법으로 관심 지점(16)을 내려다보도록 선택된다.
도 5는 본 발명의 제2 실시예에 따라 계산된 가상 카메라의 영상(10)을 보여준다. 도 5에 도시된 가상 카메라의 영상에서는 차량(1)의 가상 모델(14)의 후미부를 볼 수 있다. 차량(1)의 가상 모델(14)의 후방 우측에 위치한 촛점 영역(13)에서 객체에 대한 차량(1)의 접근이 수행된다. 상기 촛점 영역(13)의 중심부에 관심 지점이 세팅된다.
가상 카메라의 선택된 위치 및 배향에서, 관심 지점(16)까지의 거리가 증가함에 따라, 상기 영역 내에 평평하게 도로면에 상응하게 배치된 기하 투영면으로부터 가상 카메라까지의 거리가 증가한다. 이 경우, 이러한 제2 실시예에서 제1 실시예의 임계값은, 촛점 영역(13) 내에 위치한 기하 투영면의 지점들이 각각 가상 카메라에 대해 임계값 미만의 거리를 갖도록 선택된다. 따라서, 촛점 영역(13)은 본 발명에 따른 특정 영역(12)을 벗어난 영역에 상응한다.
그럼으로써, 가상 카메라의 영상(10)에서 상기 촛점 영역(13)에 놓이지 않는 영역이 블러링된다. 즉, 가상 카메라의 영상에서 오직 촛점 영역(13)만 선명하게 표시된다. 그럼으로써 상기 영역으로 운전자의 주의를 끌게 된다.
본 발명에 따른 방법에서 기하 투영면의 사전 정의된 영역을 블러링에서 배제할 수 있다는 점에 주목한다.
상기 서면 개시에 덧붙여, 도 1 내지 도 5의 개시도 명백히 참조된다.

Claims (7)

  1. 차량(1)의 주변 영역을 표시하기 위한 방법으로서,
    복수의 카메라(3a, 3b, 3c, 3d)를 이용하여 카메라 영상 내 차량 주변 영역을 검출하는 단계와,
    상기 카메라 영상을 가상 공간 내에 있는 기하 투영면(geometric projection surface) 상에 투영하는 단계와,
    가상 카메라의 가시 영역에 대해, 가상 공간 내에서 가상 카메라로부터 기하 투영면의 복수의 지점까지의 거리를 기술하는 깊이 맵(depth map)을 작성하는 단계와,
    가상 공간 내 기하 투영면을 재현하는 가상 카메라의 영상(10)을 계산하는 단계와,
    가상 카메라의 영상 내에서, 기하 투영면이 가상 카메라에 대해 특정 거리 영역 내에 위치하는 특정 영역을 깊이 맵에 기반하여 결정하는 단계와,
    상기 특정 영역(12)이 재현될 영역에서 가상 카메라의 영상(10)을 블러링하는 단계를 포함하는, 차량 주변 영역의 표시 방법.
  2. 제1항에 있어서, 기하 투영면을 차량 주변 영역에 기반하여 모델링하는 것을 특징으로 하는, 차량 주변 영역의 표시 방법.
  3. 제1항 또는 제2항에 있어서, 특정 거리 영역은 가상 카메라에 대해 최소 거리를 벗어나서 연장되는 영역인 것을 특징으로 하는, 차량 주변 영역의 표시 방법.
  4. 제1항 또는 제2항에 있어서,
    가상 공간 내에 차량(1)의 가상 모델(14)을 배치하고,
    가상 카메라의 영상에서 차량(1)의 가상 모델(14)이 검출되는 영역에 대해, 가상 카메라로부터 차량(1)의 가상 모델(14)의 재현된 지점들까지의 거리를 기술하는 깊이 맵을 작성하는 단계를 포함하는 것을 특징으로 하는, 차량 주변 영역의 표시 방법.
  5. 제1항 또는 제2항에 있어서,
    가상 카메라를 가상 공간 내 특정 관심 지점에 배치하는 단계를 더 포함하는, 차량 주변 영역의 표시 방법.
  6. 제5항에 있어서, 특정 관심 지점은, 임의의 객체에 대한 차량(1)의 접근이 수행되는 지점인 것을 특징으로 하는, 차량 주변 영역의 표시 방법.
  7. 제1항 또는 제2항에 따른 방법을 실행하도록 설계된 장치(2).
KR1020177032519A 2015-04-10 2016-03-30 차량의 주변 영역을 표시하기 위한 방법 KR102490272B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015206477.8A DE102015206477A1 (de) 2015-04-10 2015-04-10 Verfahren zur Darstellung einer Fahrzeugumgebung eines Fahrzeuges
DE102015206477.8 2015-04-10
PCT/EP2016/056863 WO2016162245A1 (de) 2015-04-10 2016-03-30 Verfahren zur darstellung einer fahrzeugumgebung eines fahrzeuges

Publications (2)

Publication Number Publication Date
KR20170135952A KR20170135952A (ko) 2017-12-08
KR102490272B1 true KR102490272B1 (ko) 2023-01-20

Family

ID=55650404

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177032519A KR102490272B1 (ko) 2015-04-10 2016-03-30 차량의 주변 영역을 표시하기 위한 방법

Country Status (7)

Country Link
US (1) US10290080B2 (ko)
EP (1) EP3281178A1 (ko)
JP (1) JP6559253B2 (ko)
KR (1) KR102490272B1 (ko)
CN (1) CN107438538B (ko)
DE (1) DE102015206477A1 (ko)
WO (1) WO2016162245A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11256931B2 (en) 2010-04-19 2022-02-22 SMR Patent S.à.r.l Rearview device simulation
US10861338B2 (en) * 2016-05-05 2020-12-08 Harman International Industries, Incorporated Systems and methods for driver assistance
DE102016211227A1 (de) * 2016-06-23 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
DE102016225066A1 (de) 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Rundumsichtsystem für ein Fahrzeug
JPWO2018167999A1 (ja) * 2017-03-17 2020-01-16 パナソニックＩｐマネジメント株式会社 プロジェクタ及びプロジェクタシステム
DE102018203590A1 (de) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
US20190349571A1 (en) * 2018-05-11 2019-11-14 Ford Global Technologies, Llc Distortion correction for vehicle surround view camera projections
EP3570063B1 (de) * 2018-05-14 2023-08-30 dSPACE GmbH Verfahren zur schnellen abschätzung einer perspektivischen verdeckung in einer simulation eines bildgebenden sensors
GB2573792B (en) * 2018-05-17 2022-11-09 Denso Corp Surround monitoring system for vehicles
US11892818B2 (en) 2018-10-17 2024-02-06 Niagara Bottling, Llc Dock door automation systems and methods
EP3726473A1 (en) 2019-04-18 2020-10-21 SMR Patents S.à.r.l. Method for rearview device simulation
US11820290B2 (en) * 2021-04-14 2023-11-21 Niagara Bottling, Llc Trailer alignment detection for dock automation using vision system and dynamic depth filtering
DE102022124085A1 (de) 2022-09-20 2024-03-21 Connaught Electronics Ltd. Darstellung von Bilddaten in einem Fahrzeug abhängig von Sensordaten

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007022415A (ja) 2005-07-20 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2010533282A (ja) 2007-06-08 2010-10-21 テレ アトラス ベスローテン フエンノートシャップ 多視点パノラマを生成する方法及び装置
US20140184798A1 (en) * 2011-05-16 2014-07-03 Valeo Schalter Und Sensoren Gmbh Vehicle and method for operating a camera arrangement for a vehicle

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300334B2 (ja) * 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
US7161616B1 (en) * 1999-04-16 2007-01-09 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
JP2005258792A (ja) * 2004-03-11 2005-09-22 Olympus Corp 画像生成装置、画像生成方法、および画像生成プログラム
EP2257065B1 (en) * 2008-02-20 2019-04-10 Clarion Co., Ltd. Vehicle peripheral image display system
DE102011087901A1 (de) * 2011-12-07 2013-06-13 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
DE102011121473A1 (de) 2011-12-17 2013-06-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung eines Kraftfahrzeugs,Fahrerassistenzeinrichtung, Kraftfahrzeug und Computerprogramm
US9743002B2 (en) 2012-11-19 2017-08-22 Magna Electronics Inc. Vehicle vision system with enhanced display functions
JP5945255B2 (ja) * 2013-08-27 2016-07-05 日本電信電話株式会社 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007022415A (ja) 2005-07-20 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2010533282A (ja) 2007-06-08 2010-10-21 テレ アトラス ベスローテン フエンノートシャップ 多視点パノラマを生成する方法及び装置
US20140184798A1 (en) * 2011-05-16 2014-07-03 Valeo Schalter Und Sensoren Gmbh Vehicle and method for operating a camera arrangement for a vehicle

Also Published As

Publication number Publication date
JP2018518863A (ja) 2018-07-12
US10290080B2 (en) 2019-05-14
CN107438538A (zh) 2017-12-05
EP3281178A1 (de) 2018-02-14
JP6559253B2 (ja) 2019-08-14
WO2016162245A1 (de) 2016-10-13
US20180040103A1 (en) 2018-02-08
DE102015206477A1 (de) 2016-10-13
CN107438538B (zh) 2021-05-04
KR20170135952A (ko) 2017-12-08

Similar Documents

Publication Publication Date Title
KR102490272B1 (ko) 차량의 주변 영역을 표시하기 위한 방법
US8754760B2 (en) Methods and apparatuses for informing an occupant of a vehicle of surroundings of the vehicle
CN104883554B (zh) 通过虚拟***器群集显示直播视频的方法和***
US9100554B2 (en) Method for displaying an image on a display device in a vehicle, driver assistance system and vehicle
JP7295123B2 (ja) 調整された投影面を有するサラウンドビュー・システム
KR20190047027A (ko) 차량의 차량 주변 리어뷰 미러 조망을 제공하는 방법
JP6820561B2 (ja) 画像処理装置、表示装置、ナビゲーションシステム、画像処理方法及びプログラム
US20170061689A1 (en) System for improving operator visibility of machine surroundings
JP5516998B2 (ja) 画像生成装置
JP5178454B2 (ja) 車両周囲監視装置及び車両周囲監視方法
US10733464B2 (en) Method, system and device of obtaining 3D-information of objects
US11816787B2 (en) Method for representing an environmental region of a motor vehicle with virtual, elongated distance markers in an image, computer program product as well as display system
JP6375633B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
KR20170118077A (ko) 차량 주변을 왜곡 없이 보여주는 방법 및 장치
WO2018222122A1 (en) Methods for perspective correction, computer program products and systems
JP6617610B2 (ja) 車両用表示装置
US10475154B2 (en) Machine surround view system and method for generating 3-dimensional composite surround view using same
CN108290499B (zh) 带有自适应周围环境图像数据处理功能的驾驶员辅助***
JP7105879B2 (ja) 車両のカメラシステムの画像を描写する方法
KR20170065738A (ko) 헤드업 디스플레이 제어 장치 및 방법
KR20160107529A (ko) 차량 이미지가 애니메이션되는 주차 안내 장치 및 방법
JPWO2019170202A5 (ko)
US20160176340A1 (en) Perspective shifting parking camera system
JP2008011187A (ja) 表示制御装置
EP4310768B1 (en) Driver assistance system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant