KR102612066B1 - 비정형 3d 투영면을 통한 3d svm 영상 왜곡보정 방법 - Google Patents

비정형 3d 투영면을 통한 3d svm 영상 왜곡보정 방법 Download PDF

Info

Publication number
KR102612066B1
KR102612066B1 KR1020220097019A KR20220097019A KR102612066B1 KR 102612066 B1 KR102612066 B1 KR 102612066B1 KR 1020220097019 A KR1020220097019 A KR 1020220097019A KR 20220097019 A KR20220097019 A KR 20220097019A KR 102612066 B1 KR102612066 B1 KR 102612066B1
Authority
KR
South Korea
Prior art keywords
vehicle
projection surface
obstacle
separation distance
svm
Prior art date
Application number
KR1020220097019A
Other languages
English (en)
Inventor
이택구
전태인
Original Assignee
주식회사 리트빅
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 리트빅 filed Critical 주식회사 리트빅
Priority to KR1020220097019A priority Critical patent/KR102612066B1/ko
Application granted granted Critical
Publication of KR102612066B1 publication Critical patent/KR102612066B1/ko

Links

Images

Classifications

    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 일반적으로 차량용 3D 서라운드뷰 모니터링(3D SVM) 기술에 관한 것이다. 특히, 본 발명은 차량에 설치된 거리측정 센서(예: 초음파 센서)로 차량 주변 장애물의 이격거리를 측정하고 이를 통해 3D 투영면 상의 장애물 영역을 식별하고 3D 투영면에서 장애물 영역의 메쉬 간격을 해당 장애물의 이격거리 기반으로 변경하여 비정형 3D 투영면을 형성한 후에 다채널 카메라 영상을 투영함으로써 3D SVM 영상의 왜곡을 보정하는 기술에 관한 것이다. 본 발명에 따르면 차량에 근접한 장애물을 3D SVM 영상에 비교적 사실적으로 표현할 수 있어 차량 운전자의 장애물 인식 능력을 개선할 수 있는 장점이 있다.

Description

비정형 3D 투영면을 통한 3D SVM 영상 왜곡보정 방법 {method of correcting distortion in 3D SVM video by use of atypical 3D projection screen}
본 발명은 일반적으로 차량용 3D 서라운드뷰 모니터링(3D SVM) 기술에 관한 것이다.
특히, 본 발명은 차량에 설치된 거리측정 센서(예: 초음파 센서)로 차량 주변 장애물의 이격거리를 측정하고 이를 통해 3D 투영면 상의 장애물 영역을 식별하고 3D 투영면에서 장애물 영역의 메쉬 간격을 해당 장애물의 이격거리 기반으로 변경하여 비정형 3D 투영면을 형성한 후에 다채널 카메라 영상을 투영함으로써 3D SVM 영상의 왜곡을 보정하는 기술에 관한 것이다.
최근들어 자동차에 서라운드뷰 모니터링(Surround View Monitoring; SVM) 시스템이 도입되는 추세이다. 서라운드뷰 모니터링(SVM)은 어라운드뷰 모니터링(Around View Monitoring, AVM)이라고도 불리는데, 차량의 전후좌우에 카메라를 설치하여 차량의 전후좌우를 촬영한 후에 이들 카메라 영상을 합성하여 탑뷰(top view) 또는 버드아이뷰(bird's eye view)를 제공하는 기술이다. 운전자는 마치 차량 위에서 내려다보는 느낌으로 차량 주변의 상황을 파악할 수 있어 주행이나 주차가 편리해진다.
[도 1]은 차량용 서라운드뷰 모니터링(SVM) 기술의 개념을 나타내는 도면이다. [도 1]에 나타낸 바와 같이, 차량의 전방과 후방, 그리고 사이드미러 양쪽에 카메라(11 ~ 14)를 장착하고 이들 카메라(11 ~ 14)로부터 제공된 단위 카메라 영상(15 ~ 18)에 대해 이미지 개선과 왜곡 보정(캘리브레이션)을 적용하여 평면 이미지로 만든 후, 스티칭(이미지 정합 및 합성) 처리를 통해 버드아이뷰(탑뷰) 형태의 서라운드뷰 영상(19)을 얻는다. 이 서라운드뷰 영상(19)은 차량 내부의 모니터를 통해 운전자에게 제공된다.
[도 2]는 일반적인 2D 및 3D 서라운드뷰 모니터링(SVM) 화면을 나타내는 예시도이다. [도 2] (a)는 2D SVM 영상이고 [도 2] (b)는 3D SVM 영상이다. 2D SVM 시스템은 다채널 카메라(11 ~ 14)의 단위 카메라 영상15 ~ 18)을 캘리브레이션을 통해 하나의 버드아이뷰(탑뷰)로 보여준다. [도 2] (a)의 좌측은 후방 카메라 영상이고, [도 2] (a)의 우측은 탑뷰 영상이다. 이처럼 2D SVM이 [도 2] (a)와 같은 탑뷰를 제공하는 것에 비해, 3D SVM은 [도 2] (b)와 같이 입체(3D) 시점으로 합성 영상을 제공한다. 3차원으로 시점을 변환하기 때문에 2D SVM에 비해 운전자가 차량 주변 상황을 좀더 정확하게 파악할 수 있는 장점이 있다.
[도 3]은 3D SVM 기술의 개념을 나타내는 도면이다. 3D SVM 시스템은 다채널 카메라(11 ~ 14)의 단위 카메라 영상(15 ~ 18)을 원통(cylinder)이나 보울(bowl) 형태의 정형의 3D 투영면에 투영하여 입체 영상을 생성하고 3D 차량 모델을 함께 배치하여 화면을 구성한다. [도 3] (a), (b)는 보울 형상의 3D 투영면을 사용하는 예이고, [도 3] (c)는 실린더 형상의 3D 투영면을 나타낸다.
[도 4]는 일반적인 3D SVM 영상의 문제점을 보여주는 예시도이다. [도 4]의 좌측은 2D SVM 영상(탑뷰 영상)이고 [도 4]의 우측은 3D SVM 영상이다. 3D SVM 영상을 생성할 때에 3D 공간의 투영면(원통, 보울)은 카메라로부터 수 미터로 고정되어 있는 투영면 거리를 갖는다. 이로 인해, 고정 투영면 거리보다 가까운 위치의 장애물(예: 기둥, 사람 등)은 차량과 투영면 사이의 바닥에 눕는 형태로 표현되고 높이 정보는 상실된다. [도 4]의 우측을 참조하면, 차량 주변의 상자들이 모두 높이 정보를 상실하고 바닥면에 투영되어 있다.
이처럼 종래의 3D SVM 영상에서는 차량에 근접 위치하고 있어 충돌 가능성이 있는 장애물을 왜곡 표현하여 운전자가 차량 주변의 장애물을 인식하는데 어려움이 있는 문제점이 있었다.
대한민국 공개특허공보 10-2018-0001869호 "AVM 시스템의 영상 개선 장치 및 그 방법" 대한민국 공개특허공보 10-2017-0111504호 "AVM 시스템 어라운드 영상 정합성 평가방법 및 장치"
본 발명의 목적은 일반적으로 차량용 3D 서라운드뷰 모니터링(3D SVM) 기술을 제공하는 것이다.
특히, 본 발명의 목적은 차량에 설치된 거리측정 센서(예: 초음파 센서)로 차량 주변 장애물의 이격거리를 측정하고 이를 통해 3D 투영면 상의 장애물 영역을 식별하고 3D 투영면에서 장애물 영역의 메쉬 간격을 해당 장애물의 이격거리 기반으로 변경하여 비정형 3D 투영면을 형성한 후에 다채널 카메라 영상을 투영함으로써 3D SVM 영상의 왜곡을 보정하는 기술을 제공하는 것이다.
본 발명의 해결 과제는 이 사항에 제한되지 않으며 본 명세서의 기재로부터 다른 해결 과제가 이해될 수 있다.
상기의 목적을 달성하기 위하여 본 발명은 차량 3D SVM 시스템이 장애물 이격거리 기반의 3D 투영면의 메쉬 간격 조정에 의한 비정형 3D 투영면 설정을 통하여 3D SVM 영상의 왜곡을 보정하는 방법을 제시한다.
본 발명에 따른 비정형 3D 투영면을 통한 3D SVM 영상 왜곡보정 방법은, 차량에 설치된 복수의 카메라(11 ~ 14)로부터 다채널 카메라 영상(15 ~ 18)을 획득하는 제 1 단계; 차량에 설치된 복수의 거리측정 센서로부터 차량 주변 장애물에 대한 이격거리를 획득하는 제 2 단계; 차량 주변 장애물에 대한 이격거리에 기초하여 3D 투영면 상의 장애물 영역을 식별하는 제 3 단계; 정형의 3D 투영면에서 장애물 영역의 메쉬 간격을 해당 장애물의 이격거리 기반으로 변경하여 비정형 3D 투영면을 형성하는 제 4 단계; 다채널 카메라 영상(15 ~ 18)을 비정형 3D 투영면의 3D 모델 메쉬에 투영하는 제 5 단계;를 포함하여 구성될 수 있다.
제 3 단계는, 차량에 일정 간격으로 이격 장착된 복수의 거리측정 센서가 각자 구분 가능한 송신신호를 송출하는 단계; 거리측정 센서로부터 복수의 송신신호 중 어느 것을 수신하는지에 대한 수신현황 정보를 획득하는 단계; 거리측정 센서의 수신현황 정보 및 이격거리 정보를 조합하여 물리공간에서 차량 주변 장애물의 위치를 산출하는 단계; 3D 투영면에서 차량 주변 장애물의 위치에 대응하는 장애물 영역을 식별하는 단계;를 포함하여 구성될 수 있다.
제 3 단계는, 복수의 거리측정 센서의 장착 위치 정보를 식별하는 단계; 복수의 거리측정 센서에서 얻은 이격거리 정보를 식별하는 단계; 복수의 장착 위치 정보 및 이격거리 정보를 조합하여 물리공간에서 차량 주변 장애물의 위치를 산출하는 단계; 3D 투영면에서 차량 주변 장애물의 위치에 대응하는 장애물 영역을 식별하는 단계;를 포함하여 구성될 수 있다.
제 4 단계는, 정형의 3D 투영면에서 장애물 영역의 각 메쉬에 대해 해당 장애물의 이격거리를 식별하는 단계; 정형의 3D 투영면의 고정 투영면 거리 이하의 이격거리를 갖는 장애물에 대해 이격거리가 가까울수록 해당 메쉬의 간격을 감소 설정하여 비정형 3D 투영면을 형성하는 단계;를 포함하여 구성될 수 있다.
제 4 단계는, 정형의 3D 투영면에서 장애물 영역의 각 메쉬에 대해 해당 장애물의 이격거리를 식별하는 단계; 정형의 3D 투영면의 고정 투영면 거리보다 큰 이격거리를 갖는 장애물에 대해 해당 매쉬의 간격을 미리 설정한 최대값으로 설정하는 단계; 정형의 3D 투영면의 고정 투영면 거리보다 작은 미리 설정한 임계값 이하의 이격거리를 갖는 장애물에 대해 해당 메쉬의 간격을 미리 설정한 최소값으로 설정하는 단계; 장애물 영역에서 최대값으로 설정되지도 않고 최소값으로 설정되지도 않은 나머지 메쉬의 간격을 인터폴레이션에 의해 최대값과 최소값 사이에서 설정하는 단계;를 포함하여 구성될 수 있다.
한편, 본 발명에 따른 컴퓨터프로그램은 컴퓨터에 이상과 같은 비정형 3D 투영면을 통한 3D SVM 영상 왜곡보정 방법을 실행시키기 위하여 비휘발성 저장매체에 저장된 것이다.
본 발명에 따르면 차량에 근접한 장애물을 3D SVM 영상에 비교적 사실적으로 표현할 수 있어 차량 운전자의 장애물 인식 능력을 개선할 수 있는 장점이 있다.
[도 1]은 차량용 서라운드뷰 모니터링(SVM) 기술의 개념을 나타내는 도면.
[도 2]는 일반적인 2D 및 3D SVM 영상을 나타내는 예시도.
[도 3]은 3D SVM 기술의 개념을 나타내는 도면.
[도 4]는 일반적인 3D SVM 영상의 문제점을 보여주는 예시도.
[도 5]는 본 발명에 따른 비정형 3D 투영면을 통한 3D SVM 영상 왜곡보정 처리를 나타내는 순서도.
[도 6]은 차량 주차보조 시스템에 초음파 센서를 이용하는 예시도.
[도 7]은 본 발명에서 3D 투영면에 장애물 영역을 식별하는 개념을 나타내는 도면.
[도 8]은 실린더 형상의 3D 투영면에서 3D 모델 메쉬의 예시도.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
[도 5]는 본 발명에 따른 비정형 3D 투영면을 통한 3D SVM 영상 왜곡보정 처리를 나타내는 순서도이다.
본 발명은 차량 3D SVM 시스템에서 초음파 센서 등으로 장애물 이격거리를 획득하고, 이 이격거리 기반으로 3D 투영면의 메쉬 간격을 조정하여 비정형 3D 투영면을 설정함으로써 3D SVM 영상의 왜곡을 보정하는 기술이다.
단계 (S110) : 먼저, 차량의 여러 방향, 예컨대 전방 범퍼, 후방 범퍼, 좌우 사이드 미러에 설치되어 있는 복수의 카메라(11 ~ 14)로부터 다채널 카메라 영상, 즉 복수의 단위 카메라 영상(15 ~ 18)을 획득한다.
단계 (S120) : 다음으로, 차량에 설치된 복수의 거리측정 센서로부터 차량 주변 장애물에 대한 이격거리를 획득한다. 본 발명을 위해 차량의 전후좌우 방향으로 거리측정 센서(예: 초음파 센서)가 장착되어 있는데, 이들 거리측정 센서로부터 CAN 통신을 통해 이격거리 값을 제공받는다. 이때, 이격거리 측정값이 급격하게 변동하는 현상이 발생하지 않도록 노이즈 필터링(예: 이동평균 계산, 적분 계산)을 수행하는 것이 바람직하다.
거리측정 센서로는 초음파 센서를 양호하게 사용할 수 있는데, 다른 센싱장치, 예컨대 라이다(LiDAR) 센서 등으로 구현할 수도 있다. 기존에 차량에 사용되고 있는 초음파 센서의 성능을 [도 6]을 참조하여 기술한다.
[도 6]은 차량 주차보조 시스템에 초음파 센서를 이용하는 예시도인데, [도 6] (a)는 BMW의 2세대 초음파 센서 기반의 주차보조 화면이고 [도 6] (b), (c)는 BMW의 3세대 초음파 센서 기반의 주차보조 화면이다. 주차보조를 위해 차량의 전후방 범퍼와 측방에 복수의 초음파 센서를 설치하는데, 이들을 통해 수 센티미터에서 3 미터 정도까지 이격거리 측정이 가능하다. [도 6] (a)를 참조하면, 초음파 센서의 이격거리 측정 결과에 기초하여 운전자에게 경계영역 형태의 이미지를 제공하였다. [도 6] (b), (c)를 참조하면, 여러 초음파 센서들이 획득한 이격거리 측정 결과를 결합 처리함으로써 장애물이 위치하는 지점을 특정하여 운전자에게 제공하였다.
단계 (S130) : 다음으로, 앞서 복수의 거리측정 센서로 획득한 차량 주변 장애물에 대한 이격거리에 기초하여 물리공간에서 장애물의 위치를 계산하고 이를 통해 3D 투영면 상의 장애물 영역을 식별한다.
일반적으로 하나의 초음파 센서는 초음파 송수신을 통하여 장애물과의 이격거리를 획득할 수 있다. 차량에 복수의 초음파 센서를 장착하면, 이들 초음파 센서가 획득하는 각각의 이격거리 정보를 조합하여 차량 주변의 물리공간 상에 장애물이 존재하는 영역을 계산해낼 수 있다.
일 실시예를 기술한다. 차량의 각 범퍼에 일정 간격으로 이격하여 3개 혹은 4개의 초음파 센서가 장착되고, 초음파 센서들의 송신 및 수신을 관리하는 제어기 유닛으로부터 초음파 센서 별로 상이한 신호를 송신하거나 순차적으로 신호를 송신하고, 각 초음파 센서별로 각각 수신하는 파형의 도달 시간에 따라서 장애물과의 거리를 측정하여 초음파 센서들과 장애물 간의 상관관계를 알 수 있다. 이때, 1번 ~ 4번 순서로 범퍼에 장착된 초음파 센서는 서로 향하는 방향이 상이한 상태에서, 1번 초음파 센서의 송신 신호가 1번 초음파 센서가 수신한 경우, 1번과 2번 초음파 센서가 수신한 경우, 1번 내지 3번 초음파 센서가 수신한 경우(수신현황 정보)에 대응하여 장애물 위치를 구분하여 식별할 수 있다. 예를 들어, 후자로 갈수록 2번 초음파 센서 혹은 3번 초음파 센서에 장애물이 가까이 붙어 있음을 의미한다. 이때, 각각의 이격거리는 정확한 위치를 산출하는 데에 사용된다.
다른 실시예로서 삼각측량법을 사용할 수 있다. 복수의 거리측정 센서로부터 얻은 이격거리에 삼각측량법을 적용하면 초음파 센서들과 장애물 간의 상관관계를 알 수 있다. 여기에 거리측정 센서들의 장착 위치를 미리 알고 있다고 가정하면 장애물의 물리공간 상의 위치를 파악할 수 있게 된다.
이처럼 장애물의 물리공간 상 위치를 알게 된 이후에 3D 투영면에서 이들 장애물의 위치에 대응하는 영역, 즉 '장애물 영역'을 식별한다. [도 7]은 본 발명에서 3D 투영면에 장애물 영역을 식별하는 개념을 나타내는 도면이다. 차량 주변의 장애물로서 둥근 막대기(round bar)가 있는 경우 및 플레이트(plate)가 있는 경우에 대응하여 초음파 센서의 특성에 의해 3D 투영면에는 [도 7]과 같은 장애물 영역이 식별된다. [도 7]에 나타낸 바와 같이, 장애물 영역은 실제와 완전히 일치해야만 하는 것은 아니고 어느 정도 유사성만 있으면 본 발명의 목적을 달성할 수 있다.
이때, 단계 (S130)의 과정을 위해 앞서 [도 6] (b), (c)에서 주차보조를 위해 사용되었던 장애물 위치 식별 기술이 양호하게 적용될 수 있다.
단계 (S140) : 다음으로, 정형의 3D 투영면에서 장애물 영역의 메쉬(mesh) 간격을 해당 장애물의 이격거리 기반으로 변경하여 비정형 3D 투영면을 형성한다. 즉, 정형의 3D 투영면(예: 실린더 형상, 보울 형상)에서 장애물 영역의 메쉬 간격을 해당 장애물의 이격거리를 참조하여 상대적으로 줄여주거나 혹은 반대로 늘려준다.
3D 투영면은 [도 8]에 나타낸 바와 같이 수백 혹은 수천 개의 삼각형으로 이루어진 메쉬(mesh)로 구성된다. 이때, 메쉬 간격을 줄일 경우에는 촘촘한 형태의 메쉬가 구성되어 3D 투영면에서 해당 영역이 주변보다 돌출되는 형상으로 변경된다. 반대로, 메쉬 간격을 늘려줄 경우에는 성긴 형태의 메쉬가 구성되여 3D 투영면에서 해당 영역이 주변보다 움푹 들어가는 형상으로 변경된다.
일 실시예로서, 3D 투영면에서 장애물 영역에 가까운 지점의 메쉬는 간격을 줄여서 비정형 3D 투영면을 형성할 수 있다. 그에 따라, 장애물 영역 및 그 부근의 영상은 차량과 가까이 있는 형태로 3D SVM 영상이 생성된다.
다른 실시예로서, 정형의 3D 투영면의 고정 투영면 거리 이하의 이격거리를 갖는 장애물에 대해 이격거리에 반비례하여 장애물 영역에서 해당 메쉬 간격을 감소 설정하여 비정형 3D 투영면을 형성할 수 있다. 일반적으로 거리측정 센서는 그 종류 및 사양에 따라 장애물과의 측정가능 범위가 다양하다. 예를 들어, 15 센티미터 내지 5 미터 범위에서 이격거리를 측정할 수 있는 초음파 센서를 가정한다. 이 초음파 센서로 측정한 장애물과의 이격거리가 고정 투영면 거리 이하인 경우에는 각 메쉬에 대해 이격거리가 가까울수록 메쉬 간격을 감소 설정하여 3D SVM 영상에서 돌출되도록 구성한다. 한편, 초음파 센서로 측정한 장애물과의 이격거리가 정형의 3D 투영면의 고정 투영면 거리(예: 2 미터) 이상일 경우에는 메쉬 간격을 원래대로 유지하도록 구성될 수 있다.
다른 실시예로서, 이격거리가 고정 투영면 거리를 초과하는 경우에 해당 메쉬의 간격을 정형의 3D 투영면의 기본 메쉬 간격보다 더 큰 미리 설정한 값으로 설정할 수 있다.
다른 실시예로서, 거리측정 센서에 의해 장애물과의 이격거리가 고정 투영면 거리(예: 2 미터)보다 큰 장애물에 대해서는 해당 매쉬의 간격을 미리 설정한 최대값으로 설정할 수 있다. 또한, 장애물과의 이격거리가 고정 투영면 거리보다 작은 미리 설정한 임계값(예: 30 센티미터) 이하인 장애물에 대해 해당 메쉬의 간격을 미리 설정한 최소값으로 설정하도록 구성될 수 있다. 그리고, 장애물 영역에서 최대값으로 설정되지도 않고 최소값으로 설정되지도 않은 나머지 메쉬에 대해서는 그 간격을 인터폴레이션(interpolation)에 의해 최대값과 최소값 사이에서 점차적으로 증가 혹은 감소 설정할 수 있다.
단계 (S150, S160) : 다음으로, 다채널 카메라 영상(15 ~ 18)을 비정형 3D 투영면의 3D 모델 메쉬에 투영하고 3D 차량 모델과 함께 3D SVM 영상을 출력한다. 이 과정은 종래기술에 의해서도 구현할 수 있으므로 이에 대해서는 자세한 설명을 생략한다.
이상의 과정(S110 ~ S160)을 통해서 차량 주변의 장애물을 종래와는 달리 차량 옆면의 입체 공간에 나타나도록 투영하게 된다. 즉, 차량에 근접하여 위치한 장애물들이 [도 4]에서와 같이 바닥면의 무늬처럼 표현되는 것이 아니라 높이를 갖는 실제 공간 내의 물체(object)로 보이도록 3D SVM 영상을 생성할 수 있다. 이를 통해, 차량 운전자는 3D SVM 화면에서 장애물을 직관적으로 인식할 수 있게 된다.
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있다. 또한, 본 발명은 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태로도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.

Claims (6)

  1. 차량 3D SVM 시스템이 장애물 이격거리 기반의 3D 투영면의 메쉬 간격 조정에 의한 비정형 3D 투영면 설정을 통하여 3D SVM 영상의 왜곡을 보정하는 방법으로서,
    차량에 설치된 복수의 카메라(11 ~ 14)로부터 다채널 카메라 영상(15 ~ 18)을 획득하는 제 1 단계;
    차량에 설치된 복수의 거리측정 센서로부터 차량 주변 장애물에 대한 이격거리를 획득하는 제 2 단계;
    차량 주변 장애물에 대한 상기 이격거리에 기초하여 3D 투영면 상의 장애물 영역을 식별하는 제 3 단계;
    정형의 3D 투영면에서 상기 장애물 영역의 메쉬 간격을 해당 장애물의 이격거리 기반으로 변경하여 비정형 3D 투영면을 형성하는 제 4 단계;
    상기 다채널 카메라 영상(15 ~ 18)을 상기 비정형 3D 투영면의 3D 모델 메쉬에 투영하는 제 5 단계;
    를 포함하여 구성되고,
    상기 제 4 단계는,
    정형의 3D 투영면에서 상기 장애물 영역의 각 메쉬에 대해 해당 장애물의 이격거리를 식별하는 단계;
    상기 정형의 3D 투영면의 고정 투영면 거리보다 큰 이격거리를 갖는 장애물에 대해 해당 매쉬의 간격을 미리 설정한 최대값으로 설정하는 단계;
    상기 정형의 3D 투영면의 고정 투영면 거리보다 작은 미리 설정한 임계값 이하의 이격거리를 갖는 장애물에 대해 해당 메쉬의 간격을 미리 설정한 최소값으로 설정하는 단계;
    상기 장애물 영역에서 상기 최대값으로 설정되지도 않고 상기 최소값으로 설정되지도 않은 나머지 메쉬의 간격을 인터폴레이션에 의해 상기 최대값과 상기 최소값 사이에서 설정하는 단계;
    를 포함하여 구성되는 것을 특징으로 하는 비정형 3D 투영면을 통한 3D SVM 영상 왜곡보정 방법.
  2. 청구항 1에 있어서,
    상기 제 3 단계는,
    차량에 일정 간격으로 이격 장착된 복수의 거리측정 센서가 각자 구분 가능한 송신신호를 송출하는 단계;
    상기 거리측정 센서로부터 상기 복수의 송신신호 중 어느 것을 수신하는지에 대한 수신현황 정보를 획득하는 단계;
    상기 거리측정 센서의 수신현황 정보 및 상기 이격거리 정보를 조합하여 물리공간에서 차량 주변 장애물의 위치를 산출하는 단계;
    3D 투영면에서 상기 차량 주변 장애물의 위치에 대응하는 장애물 영역을 식별하는 단계;
    를 포함하여 구성되는 것을 특징으로 하는 비정형 3D 투영면을 통한 3D SVM 영상 왜곡보정 방법.
  3. 청구항 1에 있어서,
    상기 제 3 단계는,
    상기 복수의 거리측정 센서의 장착 위치 정보를 식별하는 단계;
    상기 복수의 거리측정 센서에서 얻은 이격거리 정보를 식별하는 단계;
    상기 복수의 장착 위치 정보 및 이격거리 정보를 조합하여 물리공간에서 차량 주변 장애물의 위치를 산출하는 단계;
    3D 투영면에서 상기 차량 주변 장애물의 위치에 대응하는 장애물 영역을 식별하는 단계;
    를 포함하여 구성되는 것을 특징으로 하는 비정형 3D 투영면을 통한 3D SVM 영상 왜곡보정 방법.
  4. 삭제
  5. 삭제
  6. 컴퓨터에 청구항 1 내지 3 중 어느 하나의 항에 따른 비정형 3D 투영면을 통한 3D SVM 영상 왜곡보정 방법을 실행시키기 위하여 저장매체에 저장된 컴퓨터프로그램.
KR1020220097019A 2022-08-03 2022-08-03 비정형 3d 투영면을 통한 3d svm 영상 왜곡보정 방법 KR102612066B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220097019A KR102612066B1 (ko) 2022-08-03 2022-08-03 비정형 3d 투영면을 통한 3d svm 영상 왜곡보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220097019A KR102612066B1 (ko) 2022-08-03 2022-08-03 비정형 3d 투영면을 통한 3d svm 영상 왜곡보정 방법

Publications (1)

Publication Number Publication Date
KR102612066B1 true KR102612066B1 (ko) 2023-12-08

Family

ID=89166654

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220097019A KR102612066B1 (ko) 2022-08-03 2022-08-03 비정형 3d 투영면을 통한 3d svm 영상 왜곡보정 방법

Country Status (1)

Country Link
KR (1) KR102612066B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150011622A (ko) * 2013-07-23 2015-02-02 현대오트론 주식회사 초음파 센서를 이용한 avm 시스템 및 어라운드뷰 이미지 제공 방법
KR20160060736A (ko) * 2013-09-23 2016-05-30 폭스바겐 악티엔 게젤샤프트 차량의 주변을 표시하는 운전자 보조 시스템
KR20170111504A (ko) 2016-03-28 2017-10-12 자동차부품연구원 Avm 시스템 어라운드 영상 정합성 평가방법 및 장치
KR20180001869A (ko) 2016-06-28 2018-01-05 엘지이노텍 주식회사 Avm 시스템의 영상 개선 장치 및 그 방법
KR20180086794A (ko) * 2017-01-23 2018-08-01 삼성전자주식회사 차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치.
WO2019039282A1 (ja) * 2017-08-22 2019-02-28 ソニー株式会社 画像処理装置および画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150011622A (ko) * 2013-07-23 2015-02-02 현대오트론 주식회사 초음파 센서를 이용한 avm 시스템 및 어라운드뷰 이미지 제공 방법
KR20160060736A (ko) * 2013-09-23 2016-05-30 폭스바겐 악티엔 게젤샤프트 차량의 주변을 표시하는 운전자 보조 시스템
KR20170111504A (ko) 2016-03-28 2017-10-12 자동차부품연구원 Avm 시스템 어라운드 영상 정합성 평가방법 및 장치
KR20180001869A (ko) 2016-06-28 2018-01-05 엘지이노텍 주식회사 Avm 시스템의 영상 개선 장치 및 그 방법
KR20180086794A (ko) * 2017-01-23 2018-08-01 삼성전자주식회사 차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치.
WO2019039282A1 (ja) * 2017-08-22 2019-02-28 ソニー株式会社 画像処理装置および画像処理方法

Similar Documents

Publication Publication Date Title
JP5689907B2 (ja) 車両において通行物***置検出を向上する方法
KR101911610B1 (ko) 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치
CN110609274B (zh) 一种测距方法、装置及***
JP7206583B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
US11691585B2 (en) Image processing apparatus, imaging device, moving body device control system, image processing method, and program product
CN109263637B (zh) 一种碰撞预测的方法及装置
JP5353455B2 (ja) 周辺監視装置
US10891751B2 (en) Range image generating method, range image generating apparatus, and on-board device having range image generating function
CN110555407B (zh) 路面车辆空间识别方法及电子设备
JP6936098B2 (ja) 対象物推定装置
US11833968B2 (en) Imaging system and method
JP6907513B2 (ja) 情報処理装置、撮像装置、機器制御システム、情報処理方法およびプログラム
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
EP2913998A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
JP4502733B2 (ja) 障害物測定方法及び障害物測定装置
KR102612066B1 (ko) 비정형 3d 투영면을 통한 3d svm 영상 왜곡보정 방법
JP6711128B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP3235831B2 (ja) ステレオ式車外監視装置
CN204586670U (zh) 一种智能汽车倒车辅助***
TWI541152B (zh) Traffic safety system and its obstacle screening method
JP7275956B2 (ja) 顔向き推定装置
KR20180007211A (ko) 차량의 후방 추돌경보시스템
JP6561688B2 (ja) 検出装置、検出方法、撮像装置、機器制御システム、及びプログラム
JP6718295B2 (ja) 周辺監視装置及び周辺監視方法
WO2011090053A1 (ja) 障害物検知警報装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant