KR20230086921A - 라이다 데이터 및 컬러 정보 매핑 방법 및 장치 - Google Patents

라이다 데이터 및 컬러 정보 매핑 방법 및 장치 Download PDF

Info

Publication number
KR20230086921A
KR20230086921A KR1020210175358A KR20210175358A KR20230086921A KR 20230086921 A KR20230086921 A KR 20230086921A KR 1020210175358 A KR1020210175358 A KR 1020210175358A KR 20210175358 A KR20210175358 A KR 20210175358A KR 20230086921 A KR20230086921 A KR 20230086921A
Authority
KR
South Korea
Prior art keywords
image
lidar
color
mapping
data
Prior art date
Application number
KR1020210175358A
Other languages
English (en)
Inventor
기철민
Original Assignee
현대오토에버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오토에버 주식회사 filed Critical 현대오토에버 주식회사
Priority to KR1020210175358A priority Critical patent/KR20230086921A/ko
Publication of KR20230086921A publication Critical patent/KR20230086921A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 라이다 데이터 및 컬러 정보 매핑 방법 및 장치에 대한 것이다. 본 발명은, 라이다 데이터에 컬러 영상의 컬러 정보를 매핑하는 매핑 장치에 있어서, 상기 라이다 데이터를 이용하여 상기 컬러 영상의 시점에 대응되는 투시 영상으로서의 라이다 영상을 생성하는 라이다 영상 생성부; 상기 라이다 영상에 상기 컬러 정보를 컬러 트랜스퍼하는 컬러 트랜스퍼부; 및 상기 라이다 영상의 픽셀에 컬러 트랜스퍼된 상기 컬러 정보를, 상기 라이다 영상에 대응되는 상기 라이다 데이터에 매핑하는 컬러 정보 매핑부;를 포함하는 매핑 장치 및 매핑 방법을 제공한다.

Description

라이다 데이터 및 컬러 정보 매핑 방법 및 장치 {METHOD AND DEVICE FOR MAPPING LIDAR DATA AND COLOR DATA}
본 발명은 라이다 데이터 및 컬러 정보 매핑 방법 및 장치에 대한 것이다. 더욱 상세하게는, 본 발명은 라이다 영상을 생성하기 위한 포인트 클라우드에 카메라로부터 획득된 컬러 정보를 매핑함으로써 카메라 영상 및 라이다 영상을 매핑하는 라이다 데이터 및 컬러 정보 매핑 방법 및 장치에 대한 것이다.
편의성 및 안전성에 대한 요구로 인해 자율주행차의 개발 및 상용화가 매우 빠르게 진행되고 있다. 자율주행차는 차량에 탑재된 센서들(GPS, 레이더(Radar), 라이다(LiDAR), 카메라 등)의 복합적인 작동으로 차량의 위치를 계산하고, 주변 상황을 인지하여 차량을 제어한다. 그러나, 센서들의 작동만으로는 정확한 주변 인식이 어려울 수 있고, 보다 정확한 차량 제어를 위하여 각종 도로 정보 및 시설물 속성과 절대 좌표 정보가 포함된 고정밀지도의 중요성이 커지고 있다.
고정밀지도를 제작하기 위해서는 공간상의 위치 정보를 갖는 포인트 클라우드(Point Cloud)가 필요하다. 포인트 클라우드는 MMS(Mobile Mapping System)를 이용하여 도로와 도로 주변 시설물을 스캔하여 얻을 수 있다. 포인트 클라우드 정보는 후처리를 통해 LAS 데이터로 변환되고, LAS 데이터를 기반으로 고정밀지도가 구축된다.
MMS는 GPS(Global Positioning System), IMU(Inertial Measurement Unit), 카메라, 라이다, 주행거리 센서 등으로 구성된다. 카메라와 라이다에서 수집된 영상과 포인트 클라우드(점군 데이터)는 고정밀지도 구축에 필요한 객체의 위치 값과 면형 및 속성 정보를 구축하기 위해 활용된다.
라이다 데이터와 카메라의 영상 데이터는, 각 센서의 모듈간 캘리브레이션을 통해 정합될 수 있지만, MMS 시스템을 탑재한 차량의 주행시 진동, 관성에 의한 영향이나 프로세싱 지연 등의 문제로 정합 오차가 발생한다. 즉, 카메라와 라이다 간의 캘리브레이션 정보만으로 두 센서의 데이터를 정합하기 어렵다는 문제가 존재한다.
등록특허 제10-1105361호
상술한 바와 같은 문제점을 해결하기 위하여, 본 발명은 라이다 영상을 생성하기 위한 포인트 클라우드에 카메라로부터 획득된 컬러 정보를 매핑함으로써 라이다 데이터에 컬러 영상 정보를 부가하는 라이다 데이터 및 컬러 정보 매핑 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은, 라이다 데이터에 컬러 영상의 컬러 정보를 매핑하는 매핑 장치에 있어서, 상기 라이다 데이터를 이용하여 상기 컬러 영상의 시점에 대응되는 투시 영상으로서의 라이다 영상을 생성하는 라이다 영상 생성부; 상기 라이다 영상에 상기 컬러 정보를 컬러 트랜스퍼하는 컬러 트랜스퍼부; 및 상기 라이다 영상의 픽셀에 컬러 트랜스퍼된 상기 컬러 정보를, 상기 라이다 영상에 대응되는 상기 라이다 데이터에 매핑하는 컬러 정보 매핑부;를 포함하는 매핑 장치를 제공한다.
일 실시예에 있어서, 상기 컬러 트랜스퍼부는, 상기 라이다 영상을 컨텐트 이미지(content image)로 하고, 상기 컬러 영상을 컬러 이미지(color image)로 하여 상기 컬러 트랜스퍼를 수행할 수 있다.
또한, 상기 라이다 데이터는 포인트 클라우드(point cloud)이고, 상기 라이다 영상 생성부는 상기 포인트 클라드를 이용하여 라이다 데이터를 복셀화하고, 복셀화된 복셀 큐브를 상기 컬러 영상의 촬영 시점에 맞게 투영함으로써 상기 라이다 영상을 생성할 수 있다.
일 실시예에 있어서, 상기 컬러 정보 매핑부는, 상기 라이다 데이터를 이루는 포인트 클라우드에 상기 컬러 정보를 매핑할 수 있다.
또한, 상기 매핑 장치는, 상기 라이다 데이터에서 도로 정보와 시설물 정보를 제외한 이동 객체를 노이즈로서 제거하고 제거된 부분을 복원하는 라이다 데이터 전처리부, 및 상기 컬러 영상에서 상기 이동 객체를 노이즈로서 제거하고 제거된 부분을 복원하는 컬러 영상 전처리부를 더 포함할 수 있다.
또한, 상기 매핑 장치는, 상기 라이다 영상 생성부에서 생성된 상기 라이다 영상의 특징(feature)을 강화하도록 전처리하는 라이다 영상 전처리부를 더 포함할 수 있다.
일 실시예에 있어서, 상기 라이다 영상 전처리부는, 상기 라이다 영상을 소실점으로부터의 거리에 따라 복수로 분할된 분할 영상에 대해 제1 필터를 적용한 후 병합할 수 있다.
또한, 상기 제1 필터는 양방향 필터이고, 상기 각각의 분할 영상에 대해 상기 소실점과의 거리를 기준으로 필터 사이즈가 다르게 적용될 수 있다.
일 실시예에 있어서, 상기 필터 사이즈는, 상기 소실점과의 거리가 멀수록 작게 설정된다.
또한, 상기 라이다 영상 전처리부는, 병합된 상기 라이다 영상에에 대해 제2 필터를 적용하여 상기 특징을 강화한 후, 상기 라이다 영상 내의 에지를 검출할 수 있다.
본 발명은, 라이다 데이터에 컬러 영상의 컬러 정보를 매핑하는 매핑 장치의 매핑 방법에 있어서, 상기 라이다 데이터를 이용하여 상기 컬러 영상의 시점에 대응되는 투시 영상으로서의 라이다 영상을 생성하는 라이다 영상 생성 단계; 상기 라이다 영상에 상기 컬러 정보를 컬러 트랜스퍼하는 컬러 트랜스퍼 단계; 및 상기 라이다 영상의 픽셀에 컬러 트랜스퍼된 상기 컬러 정보를, 상기 라이다 영상에 대응되는 상기 라이다 데이터에 매핑하는 컬러 정보 매핑 단계;를 포함하는 매핑 방법을 제공한다.
상기 매핑 방법은, 상기 라이다 영상 생성 단계 이전에, 상기 라이다 데이터에서 도로 정보와 시설물 정보를 제외한 이동 객체를 노이즈로서 제거하고 제거된 부분을 복원하는 라이다 데이터 전처리 단계; 및 상기 컬러 영상에서 상기 이동 객체를 노이즈로서 제거하고 제거된 부분을 복원하는 컬러 영상 전처리 단계;를 더 포함할 수 있다.
또한, 상기 매핑 방법은, 상기 라이다 영상 생성 단계에서 생성된 상기 라이다 영상의 특징(feature)을 강화하도록 전처리하는 라이다 영상 전처리 단계;를 더 포함할 수 있다.
일 실시예에 있어서, 상기 라이다 영상 전처리 단계는, 상기 라이다 영상을 분할하여 분할 영상을 생성하는 단계, 상기 분할 영상에 제1 필터를 적용한 후 병합하는 단계, 및 상기 병합된 라이다 영상에서 에지를 검출하는 단계를 포함할 수 있다.
또한, 상기 분할 영상을 생성하는 단계는, 상기 라이다 영상을 소실점으로부터의 거리에 따라 복수로 분할할 수 있다.
또한, 상기 제1 필터는 양방향 필터이고, 상기 각각의 분할 영상에 대해 상기 소실점과의 거리를 기준으로 필터 사이즈가 다르게 적용될 수 있다.
또한, 상기 에지를 검출하는 단계는, 상기 라이다 영상에 상기 특징을 강화하기 위한 제2 필터를 적용하고, 상기 라이다 영상을 반전시킨 후 상기 에지를 검출할 수 있다.
본 발명에 따르면, 카메라와 라이다 간의 캘리브레이션 정보만으로 두 센서의 데이터를 정합하기 어려운 종래 문제를 해결할 수 있다.
본 발명에 따르면, 컬러 트랜스퍼(Color transfer) 기법을 적용하여 라이다 데이터에 카메라 영상의 컬러를 매핑함으로써 정합 오차를 줄일 수 있는 효과가 있다.
더 나아가, 본 발명에 따른 매핑 장치에 의해 컬러 정보가 매핑된 라이다 데이터는 디지털 트윈과 같은 가상 현실에서 시뮬레이션을 위한 용도로 용이하게 활용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 라이다 데이터 및 컬러 정보 매핑 장치를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 라이다 데이터 및 컬러 정보 매핑 방법을 도시한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 라이다 데이터 및 컬러 정보 매핑 장치의 라이다 영상 전처리부에 의한 라이다 영상 전처리 과정을 나타낸 순서도이다.
도 4는 본 발명의 일 실시예에 따른 라이다 데이터 및 컬러 정보 매핑 장치의 라이다 영상 전처리부에 의해 처리되는 라이다 영상의 처리 과정을 예시적으로 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 라이다 데이터 및 컬러 정보 매핑 장치의 컬러 트랜스퍼부를 예시적으로 설명하는 도면이다
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 일 실시예에 따른 라이다 데이터 및 컬러 정보 매핑 장치를 도시한 도면이다.
본 발명에 있어서, 라이다 데이터 및 컬러 정보 매핑 장치(20)(이하에서는 '매핑 장치'라고 칭하기도 함)는 모바일 매핑 시스템(MMS)(10)에서 획득된 라이다 데이터와 컬러 영상을 이용하여 라이다 데이터에 컬러 정보를 매핑한다. MMS(10)는 라이다, 카메라, GPS, 및 IMU를 포함할 수 있다. 도 1에서는 MMS(10)로부터 매핑 장치(20)가 라이다 데이터와 카메라 영상을 전달받는 것으로 도시되어 있으나, 본 발명의 실시에 있어서, MMS(10)와 매핑 장치(20)는 공간적으로 이격되어 구비될 수 있다. 또한, MMS(10)에서 획득된 정보는 별도의 저장장치에 저장된 이후, 매핑 장치(20)로 저장된 데이터가 전달되는 경우도 있다.
본 발명에 있어서, 라이다 데이터는 라이다(LiDAR)에 의해 스캔된 라이다 스캔 데이터일 수 있다. 라이다 스캔 데이터는 점군 데이터, 즉, 포인트 클라우드(Point Cloud)로 칭할 수 있다. 또한, 컬러 영상는 카메라를 이용하여 획득될 수 있다. 라이다 데이터와 컬러 영상은 라이다와 카메라를 포함하는 모바일 매핑 시스템(MMS)을 통해 획득된 것일 수 있다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 매핑 장치(20)는, 라이다 영상 생성부(40), 컬러 트랜스퍼부(70) 및 컬러 정보 매핑부(80)를 포함한다. 매핑 장치(20)는 라이다 데이터(예를 들면, 포인트 클라우드)를 전처리하기 위한 라이다 데이터 전처리부(30)를 더 포함할 수 있다. 또한, 매핑 장치(20)는 라이다 영상 생성부(40)에서 생성된 라이다 영상을 전처리하는 라이다 영상 전처리부(50)와, MMS의 카메라에 의해 취득된 컬러 영상을 전처리하는 컬러 영상 전처리부(60)를 더 포함할 수 있다. 또한, 매핑 장치(20)는 컬러 정보 매핑부(80)에서 생성된 컬러 정보가 포함된 라이다 데이터를 별도의 저장장치(미도시)에 저장하도록 구성될 수 있다.
매핑 장치(20)로 전달되는 라이다 데이터와 컬러 영상은 FOV(Field of View)가 최대한 유사하게 설정되는 것이 바람직할 수 있다. 일 실시예에 있어서, 특정 시간 또는 특정 시점(Point of View)에서 촬영된 컬러 영상과, 카메라가 촬영한 상기 컬러 영상의 위치 주변의 포인트 클라우드가 라이더 데이터로서 선택될 수 있다. 일 실시예에 있어서, 카메라와 라이다의 캘리브레이션 정보를 이용하여 캘리브레이션된 컬러 영상과 라이다 데이터가 매핑 장치(20)로 전달되는 것도 가능할 수 있다. 라이다 데이터와 컬러 영상의 FOV가 다르더라도 후술할 컬러 트랜스퍼부(70)에서 컬러 정보를 라이다 데이터에 따른 영상에 매칭하는 것이 가능할 수 있으나, 라이다 데이터와 컬러 영상의 FOV의 일치도가 높을수록 처리시간이 단축될 수 있다.
라이다 데이터 전처리부(30)는 라이다 데이터에서 노이즈를 제거할 수 있다. 상기 노이즈는 포인트 클라우드 정보에 포함될 수 있는 도로 또는 시설물 이외의 정보일 수 있다. 예를 들면, 보행자 또는 차량과 같은 이동 객체는 노이즈로서 제거될 수 있다. 일 실시예에 있어서, 라이다 데이터 전처리부(30)는 딥러닝 기반의 객체 검출 알고리즘을 적용하여 차량과 같은 이동 객체를 인식하고, 이동 객체를 포인트 클라우드에서 제거함으로써 라이다 데이터에 대한 전처리를 수행할 수 있다. 일 실시예에 있어서, 라이다 데이터 전처리부(30)는, 포인트 클라우드에서 이동 객체를 제거함으로써 발생된 빈 정보를, multi-path 기반 또는 space-time 기반 temporal inpainting과 같은 복구 방법을 이용하여 복원할 수 있다.
라이다 영상 생성부(40)는 컬러 영상에 대응되는 라이다 영상을 생성한다. 일 실시예에 있어서, 라이다 영상 생성부(40)는, 컬러 영상의 카메라 촬영 시점(視點)을 고려하여 라이다 영상을 생성할 수 있다. 구체적으로, 라이다 영상 생성부(40)는 카메라 촬영 시점의 포인트 클라우드와 GPS 및 IMU 정보를 이용하여 라이다 영상을 생성할 수 있다.
일 실시예에 있어서, 라이다 영상 생성부(40)는 포인트 클라우드를 이용하여 라이다 데이터를 복셀(Voxel)화하고, 복셀 큐브를 카메라 촬영 시점에 맞게 투영하여 라이다 영상을 생성할 수 있다. 라이다 영상은 카메라 촬영 시점에 따른 투시 영상(perspective view)일 수 있다. 투시 영상을 생성하는 방법의 일례로서, 먼저, GPS, IMU 및 카메라의 캘리브레이션 파라미터(Calibration parameter: Intrinsic/Extrinsic Matrix)를 이용하며 카메라의 영상 시퀀스에서의 배치 정보를 획득하고, 그에 따라 복셀 큐브를 카메라 촬영 시점에 대응하여 투영함으로써 복셀 큐브를 2D 매핑한다.
라이다 영상 전처리부(50)는 라이다 영상 생성부(40)에서 생성된 라이다 영상을 전처리하여 특징(Feature)을 강화할 수 있다. 라이다 영상 전처리부(50)는 이후의 컬러 트랜스퍼(Color transfer)를 효과적으로 수행하기 위하여 상기 라이다 영상에 이미지 프로세싱을 적용하여 인텐시티를 강화할 수 있도록 전처리를 수행할 수 있다.
컬러 영상 전처리부(60)는, 전달된 컬러 영상에 대한 전처리를 수행할 수 있다. 컬러 영상에 대한 전처리는 컬러 영상에서 노이즈를 제거함으로써 수행될 수 있다. 일 실시예에 있어서, 컬러 영상 전처리부(60)는, 영상에 포함된 도로 또는 시설물 이외의 정보, 예를 들면, 보행자 또는 차량과 같은 이동 객체를 노이즈로서 제거할 수 있다. 일 실시예에 있어서, 컬러 영상 전처리부(60)는 딥러닝 기반의 객체 검출 알고리즘을 적용하여 차량과 같은 이동 객체를 인식하고, 이동 객체를 컬러 영상에서 제거함으로써 컬러 영상에 대한 전처리를 수행할 수 있다. 일 실시예에 있어서, 컬러 영상 전처리부(60)는 이동 객체를 제거함으로써 발생된 컬러 영상에서의 빈 픽셀을, multi-path 기반 또는 space-time 기반 temporal inpainting과 같은 복구 방법을 이용하여 복원할 수 있다.
컬러 트랜스퍼부(70)는 컬러 영상으로 기반으로 라이다 영상에 컬러 트랜스퍼를 적용한다. 컬러 트랜스퍼(Color Transfer)는 컨텐트 이미지(content image)와 컬러 이미지(color image)가 주어졌을 때, 그 이미지의 주된 형태는 컨텐트 이미지와 유사하게 유지하면서, 컬러 정보는 컬러 이미지와 유사하게 변경하는 것을 말한다. 본 발명에 있어서, 라이다 영상을 컨텐트 이미지로 하고, 컬러 영상을 컬러 트랜스퍼를 위한 컬러 이미지로 하여 컬러 트랜스퍼를 함으로써 라이다 영상에 컬러 영상의 컬러 정보를 할당할 수 있다. 컬러 트랜스퍼를 위한 일 실시예로서, Examplar-based Colorization 방식의 딥러닝 네트워크를 사용할 수 있다.
컬러 정보 매핑부(80)는 라이다 영상을 생성할 때 이용했던 포인트 클라우드에 컬러 트랜스퍼에서 할당된 컬러 정보를 매핑한다. 라이다 영상 생성부(40)에서 투시 영상을 생성할 때, 투시 영상의 픽셀은 포인트 클라우드와 매핑되어 있다. 투시 영상의 하나의 픽셀에는 적어도 하나의 포인트 클라우드가 매핑된다. 투시 영상을 생성할 때 사용된 정보를 이용하여, 투시 영상에서 포인트 클라우드로 역투영하면, 포인트 클라우드의 각 포인트에 컬러 정보를 매핑할 수 있다.
도 2는 본 발명의 일 실시예에 따른 라이다 데이터 및 컬러 정보 매핑 방법을 도시한 순서도이다.
MMS에서 획득된 라이다 데이터와 컬러 영상이 준비된다(S10, S20). 라이다 데이터는 포인트 클라우드로서 제공될 수 있다.
라이다 데이터 전처리부(30)에 의해 라이다 데이터에서 노이즈를 제거하는 등의 전처리가 수행된다(S12). 라이다 데이터에 대한 전처리는, 포인트 클라우드 정보에 포함될 수 있는 도로 또는 시설물 이외의 정보를 제거하는 한편, 포인트 클라우드에서 제거된 정보를 복원하는 것을 포함하여 수행될 수 있다.
라이다 데이터를 이용하여 카메라의 시점과 같은 시점의 라이다 영상을 생성하기 위해, 라이다 데이터는 복셀화될 수 있다(S14).
라이다 영상 생성부(40)는 복셀 큐브를 카메라 촬영 시점에 맞게 투영하여 라이다 영상을 생성한다(S16). 라이다 영상은 카메라 촬영 시점에 따른 투시 영상(perspective view)일 수 있다.
라이다 영상이 생성된 후, 라이다 영상의 특징(feature)을 강화하기 위하여 라이다 영상에 대한 전처리 과정이 수행될 수 있다(S18).
한편, S20 단계에서 준비된, 컬러 영상에 대한 전처리 과정이 수행될 수 있다(S22). 일 실시예에 있어서, 컬러 영상 전처리부(60)는, 영상에 포함된 도로 또는 시설물 이외의 정보, 예를 들면, 보행자 또는 차량과 같은 이동 객체를 노이즈로서 제거하고, 제거된 픽셀을 multi-path 기반 또는 space-time 기반 temporal inpainting과 같은 복구 방법을 이용하여 복원할 수 있다.
컬러 트랜스퍼부(70)에 의해, 라이다 영상을 컨텐트 이미지로 하고, 카메라에 의해 획득되어 처리된 컬러 영상을 컬러 이미지로 하여 컬러 트랜스퍼가 수행된다(S30). S30 단계에 따라, 라이다 데이터(즉, 포인트 클라우드)로부터 특정 시점을 투영되어 생성된 투시 영상인 라이다 영상의 픽셀에는, 컬러 영상에서 추출된 컬러 정보가 매핑된다.
라이다 영상을 3차원 공간으로 역변환함으로서, 라이다 영상의 픽셀에 포함된 컬러 정보는 라이다 데이터에 매핑된다(S40). 이에 따라 컬러 정보가 포함된 라이다 데이터가 제공될 수 있다.
앞선 설명에서, 라이다 영상 전처리부(50)는 라이다 영상 생성부(40)에서 생성된 라이다 영상을 전처리하여 특징(Feature)을 강화하는 것으로 설명되었다. 라이다 영상 전처리부(50)에 대하여 보다 상세하게 설명한다.
도 3은 본 발명의 일 실시예에 따른 라이다 데이터 및 컬러 정보 매핑 장치에 있어서 라이다 영상 전처리부(50)에 의한 라이다 영상 전처리 과정을 나타낸 순서도이다. 또한, 도 4는 본 발명의 일 실시예에 따른 라이다 데이터 및 컬러 정보 매핑 장치의 라이다 영상 전처리부(50)에 의해 처리되는 라이다 영상의 처리 과정을 예시적으로 나타낸 도면이다.
라이다 영상 전처리부(50)에 의한 라이다 영상 전처리 과정의 일례를 설명한다.
라이다 영상은 라이다 영상 생성부(40)에 의해 컬러 영상의 시점에 맞추어 생성된다(도 4의 (a) 참조).
라이다 영상을 소실점(消失點)과의 거리에 따라 소정 개수로 분할한다(S100). 이는 라이다 영상에서의 거리에 따라 필터를 다르게 적용하여 노이즈 제거 효과를 극대화하기 위함이다. 도 4의 (b)에서는 라이다 영상을 3개로 분할한 것이 예시된다. 도로를 포함한 영상의 경우 라이다 영상의 하단에서 대략 2/3 위치까지 도로가 포함되고, 그 이상은 하늘과 같은 배경인 경우가 많을 수 있다. 도 4의 (b)는 이러한 상황을 고려하여 제시된 것이다. 그러나, 본 발명의 실시에 있어서 라이다 영상의 분할 개수는 라이다로 스캔 또는 카메라로 촬영되는 주변 환경에 따라 다르게 설정되는 것도 가능하다.
분할된 라이다 영상에 대하여 제1 필터가 적용되어 노이즈를 제거한다(S110). 일 실시예에 있어서, 제1 필터는 에지(edge)를 보존하면서 노이즈를 제거하는 비선형 필터인 양방향 필터(bilateral filter)일 수 있다. 또한, 분할된 각각의 라이다 영상에 대하여 필터 사이즈는 다르게 적용될 수 있다. 원근을 갖는 라이다 영상에 있어서, 소실점에 가까울수록 라이다 투시 영상에 표현되는 객체들의 정보는 노이즈의 제거와 함께 수반되는 스무딩(Smoothing) 효과로 인해 노면과의 구분이 모호해 질 수 있다. 이에 따라 먼 곳일수록 필터 사이즈는 작게 설정되는 것이 바람직할 수 있다. 또한, 근접한 위치에 있는 객체의 경우에는 객체를 표현하는 픽셀 영역이 넓어지기 때문에 필터 사이즈를 크게 하여 노이즈 제거 효과를 극대화할 수 있다.
도 4의 (b)의 예에서, 상단의 분할 영상에 대해서는 필터 사이즈가 작은 양방향 필터를 적용하고, 중간의 분할 영상에 대해서는 좀 더 큰 필터 사이즈의 양방향 필터를 적용하며, 하단의 분할 영상에 대해서는 제일 큰 필터 사이즈의 양방향 필터가 적용되었다.
분할된 라이더 영상에 대해 제1 필터를 필터 사이즈를 다르게 하여 적용한 후 분할 영상은 병합된다(S120). 도 4의 (c)는 제1 필터의 적용 후 병합된 라이다 영상이 예시된다.
병합된 라이다 영상에 대하여 제2 필터가 적용된다(S130). 제2 필터는 라이다 영상에 포함된 특징(feature)을 강화하기 위해 적용될 수 있다. 일례로서, 제2 필터는 가우시안 필터(Gaussian filter)일 수 있고, 더 구체적으로는 Extend Difference of Gaussian Filter가 적용될 수 있다. 도 4의 (d)는 Extend Difference of Gaussian Filter가 적용되어 feature가 강화된 라이다 영상을 예시한다.
다음으로, 에지 검출을 위하여 라이다 영상은 반전된다(S140). 반전된 영상은 도 4의 (e)에 예시된다.
마지막으로 에지 검출 기법이 적용된다(S150). 일례로서, 에지 검출 기법으로는 structured edge detection 기법이 적용될 수 있다.
도 5는 본 발명의 일 실시예에 따른 라이다 데이터 및 컬러 정보 매핑 장치의 컬러 트랜스퍼부(70)를 예시적으로 설명하는 도면이고, 도 6은 라이다 영상과 컬러 영상을 합성한 영상을 예시적으로 나타낸 도면이다.
라이다 영상(A1)과 컬러 영상(A2)은 컬러 트랜스퍼부(70)로 전달되고, 컬러 트랜스퍼부(70)는 라이다 영상에 컬러 정보를 트랜스퍼하여 컬러 정보가 포함된 라이다 영상(A3)을 생성한다. 일 실시예에 있어서, 컬러 트랜스퍼부(70)는 Examplar-based Colorization 방식의 딥러닝 네트워크가 사용될 수 있다.
도 6을 참조하면, 라이다 영상(A1)과 컬러 영상(A2)이 컬러 트랜스퍼부(70)에 의해 합성되어, 컬러 정보가 포함된 라이다 영상(A3)을 생성된 것을 예시적으로 확인할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10 : 모바일 매핑 시스템(MMS)
20 : 매핑 장치
30 : 라이다 데이터 전처리부
40 : 라이다 영상 생성부
50 : 라이다 영상 전처리부
60 : 컬러 영상 전처리부
70 : 컬러 트랜스퍼부
80 : 컬러 정보 매핑부

Claims (17)

  1. 라이다 데이터에 컬러 영상의 컬러 정보를 매핑하는 매핑 장치에 있어서,
    상기 라이다 데이터를 이용하여 상기 컬러 영상의 시점에 대응되는 투시 영상으로서의 라이다 영상을 생성하는 라이다 영상 생성부;
    상기 라이다 영상에 상기 컬러 정보를 컬러 트랜스퍼하는 컬러 트랜스퍼부; 및
    상기 라이다 영상의 픽셀에 컬러 트랜스퍼된 상기 컬러 정보를, 상기 라이다 영상에 대응되는 상기 라이다 데이터에 매핑하는 컬러 정보 매핑부;
    를 포함하는 매핑 장치.
  2. 제 1 항에 있어서,
    상기 컬러 트랜스퍼부는, 상기 라이다 영상을 컨텐트 이미지(content image)로 하여 상기 컬러 영상에 대해 상기 컬러 트랜스퍼를 수행하는 것을 특징으로 하는 매핑 장치.
  3. 제 1 항에 있어서,
    상기 라이다 데이터는 포인트 클라우드(point cloud)이고, 상기 라이다 영상 생성부는 상기 포인트 클라우드를 이용하여 상기 라이다 데이터를 복셀화하고, 복셀화된 복셀 큐브를 상기 컬러 영상의 촬영 시점에 맞게 투영함으로써 상기 라이다 영상을 생성하는 것을 특징으로 하는 매핑 장치.
  4. 제 1 항에 있어서,
    상기 컬러 정보 매핑부는, 상기 라이다 데이터를 이루는 포인트 클라우드에 상기 컬러 정보를 매핑하는 것을 특징으로 하는 매핑 장치.
  5. 제 1 항에 있어서,
    상기 라이다 데이터에서 도로 정보와 시설물 정보를 제외한 이동 객체를 노이즈로서 제거하고 제거된 부분을 복원하는 라이다 데이터 전처리부, 및
    상기 컬러 영상에서 상기 이동 객체를 노이즈로서 제거하고 제거된 부분을 복원하는 컬러 영상 전처리부를 더 포함하는 것을 특징으로 하는 매핑 장치.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 라이다 영상 생성부에서 생성된 상기 라이다 영상의 특징(feature)을 강화하도록 전처리하는 라이다 영상 전처리부를 더 포함하는 것을 특징으로 하는 매핑 장치.
  7. 제 6 항에 있어서,
    상기 라이다 영상 전처리부는, 상기 라이다 영상을 소실점으로부터의 거리에 따라 복수로 분할된 분할 영상에 대해 제1 필터를 적용한 후 병합하는 것을 특징으로 하는 매핑 장치.
  8. 제 7 항에 있어서,
    상기 제1 필터는 양방향 필터이고, 상기 각각의 분할 영상에 대해 상기 소실점과의 거리를 기준으로 필터 사이즈가 다르게 적용되는 것을 특징으로 하는 매핑 장치.
  9. 제 8 항에 있어서,
    상기 필터 사이즈는, 상기 소실점과의 거리가 멀수록 작게 설정된 것을 특징으로 하는 매핑 장치.
  10. 제 7 항에 있어서,
    상기 라이다 영상 전처리부는, 병합된 상기 라이다 영상에에 대해 제2 필터를 적용하여 상기 특징을 강화한 후, 상기 라이다 영상 내의 에지를 검출하는 것을 특징으로 하는 매핑 장치.
  11. 라이다 데이터에 컬러 영상의 컬러 정보를 매핑하는 매핑 장치의 매핑 방법에 있어서,
    상기 라이다 데이터를 이용하여 상기 컬러 영상의 시점에 대응되는 투시 영상으로서의 라이다 영상을 생성하는 라이다 영상 생성 단계;
    상기 라이다 영상에 상기 컬러 정보를 컬러 트랜스퍼하는 컬러 트랜스퍼 단계; 및
    상기 라이다 영상의 픽셀에 컬러 트랜스퍼된 상기 컬러 정보를, 상기 라이다 영상에 대응되는 상기 라이다 데이터에 매핑하는 컬러 정보 매핑 단계;
    를 포함하는 매핑 방법.
  12. 제 11 항에 있어서,
    상기 라이다 영상 생성 단계 이전에,
    상기 라이다 데이터에서 도로 정보와 시설물 정보를 제외한 이동 객체를 노이즈로서 제거하고 제거된 부분을 복원하는 라이다 데이터 전처리 단계; 및
    상기 컬러 영상에서 상기 이동 객체를 노이즈로서 제거하고 제거된 부분을 복원하는 컬러 영상 전처리 단계;
    를 더 포함하는 매핑 방법.
  13. 제 11 항 또는 제 12 항에 있어서,
    상기 라이다 영상 생성 단계에서 생성된 상기 라이다 영상의 특징(feature)을 강화하도록 전처리하는 라이다 영상 전처리 단계;
    를 더 포함하는 것을 특징으로 하는 매핑 방법.
  14. 제 13 항에 있어서,
    상기 라이다 영상 전처리 단계는,
    상기 라이다 영상을 분할하여 분할 영상을 생성하는 단계,
    상기 분할 영상에 제1 필터를 적용한 후 병합하는 단계, 및
    상기 병합된 라이다 영상에서 에지를 검출하는 단계
    를 포함하는 것을 특징으로 하는 매핑 방법.
  15. 제 14 항에 있어서,
    상기 분할 영상을 생성하는 단계는, 상기 라이다 영상을 소실점으로부터의 거리에 따라 복수로 분할하는 것을 특징으로 하는 매핑 방법.
  16. 제 14 항에 있어서,
    상기 제1 필터는 양방향 필터이고, 상기 각각의 분할 영상에 대해 상기 소실점과의 거리를 기준으로 필터 사이즈가 다르게 적용되는 것을 특징으로 하는 매핑 방법.
  17. 제 14 항에 있어서,
    상기 에지를 검출하는 단계는, 상기 라이다 영상에 상기 특징을 강화하기 위한 제2 필터를 적용하고, 상기 라이다 영상을 반전시킨 후 상기 에지를 검출하는 것을 특징으로 하는 매핑 방법.
KR1020210175358A 2021-12-09 2021-12-09 라이다 데이터 및 컬러 정보 매핑 방법 및 장치 KR20230086921A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210175358A KR20230086921A (ko) 2021-12-09 2021-12-09 라이다 데이터 및 컬러 정보 매핑 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210175358A KR20230086921A (ko) 2021-12-09 2021-12-09 라이다 데이터 및 컬러 정보 매핑 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20230086921A true KR20230086921A (ko) 2023-06-16

Family

ID=86948549

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210175358A KR20230086921A (ko) 2021-12-09 2021-12-09 라이다 데이터 및 컬러 정보 매핑 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20230086921A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101105361B1 (ko) 2009-09-10 2012-01-16 서울시립대학교 산학협력단 영상데이터와 라이다데이터의 기하학적 정합방법 및 그 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101105361B1 (ko) 2009-09-10 2012-01-16 서울시립대학교 산학협력단 영상데이터와 라이다데이터의 기하학적 정합방법 및 그 장치

Similar Documents

Publication Publication Date Title
CN112912920B (zh) 用于2d卷积神经网络的点云数据转换方法和***
US11474247B2 (en) Methods and systems for color point cloud generation
CN102737236B (zh) 一种基于多模态传感器数据自动获取车辆训练样本方法
CN110826499A (zh) 物体空间参数检测方法、装置、电子设备及存储介质
CN111448591A (zh) 不良光照条件下用于定位车辆的***和方法
JP2007527569A (ja) 立体視に基づく差し迫った衝突の検知
EP2874097A2 (en) Automatic scene parsing
EP2261604A1 (en) Computer arrangement for and method of mapping range sensor data on image sensor data
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
US11887336B2 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
US10872246B2 (en) Vehicle lane detection system
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN114692720B (zh) 基于鸟瞰图的图像分类方法、装置、设备及存储介质
CN113240813B (zh) 三维点云信息确定方法及装置
CN107145828B (zh) 车辆全景图像处理方法及装置
CN106803262A (zh) 利用双目视觉自主解算汽车速度的方法
CN114761997A (zh) 目标检测方法、终端设备和介质
JP6278790B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
CN111738033A (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN110197104B (zh) 基于车辆的测距方法及装置
CN111833443A (zh) 自主机器应用中的地标位置重建
CN116597168B (zh) 车载激光点云与全景影像的匹配方法、装置、设备及介质
WO2021114775A1 (en) Object detection method, object detection device, terminal device, and medium
CN112837404B (zh) 一种平面对象的三维信息的构建方法及装置
CN109598199B (zh) 车道线生成方法和装置