KR102264152B1 - 첨단 센서 데이터와 카메라 영상을 gtl 하는 방법 및 시스템 - Google Patents

첨단 센서 데이터와 카메라 영상을 gtl 하는 방법 및 시스템 Download PDF

Info

Publication number
KR102264152B1
KR102264152B1 KR1020210031353A KR20210031353A KR102264152B1 KR 102264152 B1 KR102264152 B1 KR 102264152B1 KR 1020210031353 A KR1020210031353 A KR 1020210031353A KR 20210031353 A KR20210031353 A KR 20210031353A KR 102264152 B1 KR102264152 B1 KR 102264152B1
Authority
KR
South Korea
Prior art keywords
data
image
camera
labeling
image data
Prior art date
Application number
KR1020210031353A
Other languages
English (en)
Inventor
김영훈
노재춘
Original Assignee
(주)넥스트박스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)넥스트박스 filed Critical (주)넥스트박스
Priority to KR1020210031353A priority Critical patent/KR102264152B1/ko
Application granted granted Critical
Publication of KR102264152B1 publication Critical patent/KR102264152B1/ko
Priority to US17/527,273 priority patent/US20220292747A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

본 발명은 첨단센서가 측정한 데이터를 기준으로 카메라가 촬영한 이미지데이터를 보정하여 자동으로 오토 라벨링하는 시스템 및 방법을 개시한다.

Description

첨단 센서 데이터와 카메라 영상을 GTL 하는 방법 및 시스템{Method and system for ground truth auto labeling advanced sensor data and image by camera}
본 발명은 첨단 센서 데이터와 카메라 영상을 GTL 하는 방법 및 시스템 에 관한 것이다. 특히 본 발명은 모빌리티 및 첨단 산업에서 신뢰도 검증할 때 GTL(ground truth auto labeling)의 시간과 비용을 획기적으로 줄일 수 있는 신뢰도 검증 방법 및 시스템에 관한 것이다.
자율주행과 같은 모빌리티 및 첨단 센서 산업에서는 신뢰도 검증이 매우 중요하다. ADAS와 센서 개발을 활용하기 위해서는 오브젝트(사람, 자동차, 가로수, 차선 등)를 분류하는 작업이 필요하다. 검증에 필수적으로 요구되는 것이 Ground Truth Labeling(GTL)이다. 자율 주행을 예로 들면, 사람, 신호, 다른 차량을 감지하기 위해 객체 인식 기술이 필요한데, 객체 인식기를 만들기 위해서는 각 객체의 형태와 유형이 라벨링 된 학습데이터 세트가 필요하다. 즉, 사전에 모든 이미지 또는 비디오를 분석 및 해석하여 객체를 파악해야 하는데, 이 프로세스를 통상 GTL이라고 한다. 라벨링 된 데이터는 ADAS 및 자율주행의 알고리즘 평가 기준으로 사용되기도 한다.
이전까지 GTL을 하려면 상대 물체 영상정보의 각 프레임마다 직접 라벨링을 해줘야 하는 매우 시간이 많이 소요되는 작업이다. 최근에는 인공지능 기반으로 대략적인 상대 물체를 타깃팅하여 GTL 서비스가 사용되고 있다. 그러나 먼저 영상을 준비해서 해당 업체 클라우드에 올려야 하고 해당 업체에 대용량의 클라우드를 사용해야 하는 비용적 부담이 있으며 아직은 오토 라벨링 타깃팅이 100% 완벽하게 되지는 않아서 추가 검수 및 수정을 위해 2차적으로 사람 손을 거쳐야 하는 실정이며, 인공지능 기반으로 정확도를 높이려면 해당 서비스 클라우드에 라벨링을 했던 데이터를 보관해서 빅데이터로 활용해야 하는데 데이터가 많아질수록 엄청난 클라우드 및 서비스 사용 비용이 추가되는 문제가 존재한다.
또한, 영상의 GTL은 영상만을 타깃팅 하는 것이므로, 라이다, 레이더와 같은 첨단 센서와의 상호 검증이 필요한 경우에는 2번 이상의 작업(영상데이터, 센서데이터 각각 분류 및 타임 매칭)을 거쳐 검증을 해야 하는 번거로움이 존재한다.
따라서, GTL을 신속하고 정확하게 수행하기 위해서는 레이더와 같은 첨단센서의 데이터와 카메라가 촬영한 이미지를 한번에 정합하는 프로세스가 필요하다고 할 수 있다. 본 발명은 이 지견을 토대로 완성된 것이다.
레이더와 카메라의 조합에 관한 특허 문헌으로 특허공개 제10-2020-0096096호는, 컴퓨팅 장치가 차량에 설치된 하나 이상의 카메라가 촬영한 비디오 데이터를 참조로 자율 주행용 판단 데이터를 생성하고, 운행 중인 자율 주행 차량의 주변 상황의 변화를 나타내는 상황 데이터를 획득하여 강화 학습에 의해 자율 주행 시 효율적으로 자원 할당을 수행하는 방법을 개시하고 있다.
특허공개 제10-2019-0070760호는 차량의 주변 환경에 대한 영상 데이터를 획득하는 카메라와, 외부 차량에 대한 데이터를 획득하는 레이더에 기초하여 도로 환경, 트래픽 또는 도로 곡률 중 적어도 일부와 연관된 정보를 획득하고, 획득된 정보에 기초하여 제2 차로에서 주행 중인 주변 차량의 컷인 의도를 판단하기 위한 파라미터를 조절하는 기술을 개시하고 있다.
특허 공개 제10-2019-0060341호는, 레이더의 수신 신호로부터 현재 시간구간의 타겟의 제1 탐지 정보를 획득하여, 이전 시간 구간에 획득한 예측값을 피드백 수정하고, 타겟의 거리, 속도 및 각도의 추정 정보를 기초로 영상 내 관심 영역(ROI)을 설정하고, 관심 영역 내에서 현재 시간구간의 타겟의 제2 탐지 정보를 획득하여 오차가 최소화된 타겟의 x축, y축 거리 및 속도의 추정 정보를 최종 출력하는 영상 처리단을 포함하는 레이더 및 카메라 융합 시스템을 제공하고 있다.
그러나 선행 특허들은 레이더 정보를 토대로 주변 정보의 예측 경로를 판단하거나, 과거의 정보를 현재의 데이터로 보정하고 다시 현재의 정보를 실시간으로 갱신하는 일반적인 내용을 개시하고 있으며, 레이더와 같은 첨단센서가 획득한 데이터와 카메라가 획득한 영상을 조합하여 정합된 영상 및 데이터를 획득하는 구체적인 내용에 대해서는 개시하고 있지 않다.
그러므로 본 발명은 GTL을 신속하고 정확하게 수행하기 위해서 첨단센서의 데이터와 카메라가 촬영한 이미지를 정합하는 프로세스를 구현한 GTL 방법 및 시스템을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위하여 본 발명은, 센서 데이터와 카메라 영상을 합성하는 GTL(Ground truth labeling) 시스템으로서, 상기 시스템은 센서정보수신부의 데이터를 토대로 객체데이터를 생성하는 센서객체데이터생성부와, 카메라정보수신부의 데이터를 토대로 이미지데이터를 생성하는 카메라이미지데이터생성부와, 객체데이터와 이미지데이터를 동일한 좌표를 기준으로 합성하여 합성데이터를 생성하는 객체및이미지데이터합성부와, 합성데이터가 정합하도록 보정하여 라벨링데이터를 형성하는 오토라벨링부를 포함하는, GTL 시스템을 제공한다.
상기 객체데이터는 센서가 제공하는 객체의 거리, 속도 및 크기를 토대로 객체를 이미지화할 수 있는 데이터이며, 카메라가 촬영한 객체의 실제 이미지와는 별개일 수 있다.
상기 오토라벨링부는 객체데이터의 객체와 이미지데이터의 객체를 포함하는 관심 영역을 정의하고, 영상이진화 기법을 통해 객체데이터의 객체의 경계(threshold)를 구분하여 특정하고, 특정된 객체를 토대로 중앙좌표(C1)를 결정하고, 객체 중앙좌표(C1)를 미리 결정된 이미지데이터의 객체의 중앙좌표(C2)로 이동시키고, 객체데이터를 기준으로 이미지데이터의 경계, 크기 및 각도를 보정하여 라벨링데이터를 형성할 수 있다.
상기 센서는 자율주행차량에 부착된 레이더, 라이더 또는 울트라 소닉 센서일 수 있으며 4D 레이더, 라이더 발전에 따라 감지하여 오토 라벨링 할 수 있는 객체는 사람, 차량뿐 아니라 차선, 신호등, 가로수 등의 객체(장애물) 등이 포함 될 수 있다.
상기 라벨링데이터에서 측정한 차량의 전폭 및 전고데이터를 토대로 차량의 전장을 결정하여 차량의 모델을 판단할 수 있다.
또한, 본 발명은 센서 데이터와 카메라 영상을 합성하여 라벨링을 수행하는 GTL(Ground truth labeling)방법으로서, 상기 방법은, 센서정보수신부로부터 센서 정보를 수신하고 이를 토대로 객체데이터를 생성하는 단계; 이와 병행하여 카메라정보수신부로부터 카메라의 영상 정보를 수신하고, 이를 토대로 이미지데이터를 생성하는 단계; 객체데이터와 이미지데이터를 자동 타임 매칭하여 투영하고 합성하여 합성데이터를 생성하는 단계; 및 합성데이터를 보정하여 라벨링데이터를 생성하는 단계를 포함하는, 방법을 제공한다.
상기 합성데이터를 보정하는 단계는: 객체데이터의 객체와 이미지데이터의 객체를 포함하는 관심 영역을 정의하는 단계; 영상이진화 기법을 통해 객체데이터의 객체의 경계(threshold)를 구분하여 특정하고, 특정된 객체를 토대로 중앙좌표를 결정하는 단계; 및 객체의 중앙좌표를 미리 결정된 이미지데이터의 객체의 중앙좌표로 이동시키고, 객체데이터를 기준으로 이미지데이터의 경계, 크기 및 각도를 보정하는 단계를 포함할 수 있다.
본 발명의 GTL 시스템을 사용함으로써 카메라 영상 라벨링 효과만 있는 것이 아니라 실제 첨단센서 정보(상대물체 속도, 거리, 사이즈 등)와 카메라 인지를 동시에 수행하고 신뢰도 검증을 실현시켜 시간과 비용을 단축시키고 더 고도화된 GTL 오토 라벨링을 가능하게 한다는 효과를 발휘한다.
본 발명의 GTL 시스템은 별도의 추가적인 처리과정 없이 레이더와 같은 첨단 센서 정보 기반으로 카메라 정보에 자동 타임 매칭을 적용하여 카메라 정보에 투영하여 매칭 및 검증하므로 GTL 오토 라벨러로서 신속성과 효용성이 뛰어난 효과를 발휘한다.
도 1은 본 발명의 GTL 시스템의 구성도;
도 2는 본 발명의 GTL 시스템의 동작 흐름을 보인 플로우 챠트;
도 3은 본 발명의 보정 프로세스의 각각의 단계를 구체적으로 나타내는 플로우 챠트;
도 4a는 객체데이터의 일례를 개념적으로 도시한 도면;
도 4b는 이미지데이터의 일례를 도시한 도면;
도 4c는 객체 및 이미지 데이터를 투영하여 중복한 합성데이터를 개념적으로 도시한 도면;
도 4d는 라벨링데이터를 생성하는 것을 보인 도면; 그리고
도 5는 본 발명의 GTL 시스템을 이용하여 완성한 라벨링데이터를 디스플레이에서 표시한 사진의 일례이다.
본 발명에 따른 각 실시예는 본 발명의 이해를 돕기 위한 하나의 예에 불과하고, 본 발명이 이러한 실시예에 한정되는 것은 아니다. 본 발명은 각 실시예에 포함되는 개별 구성 및 개별 기능 중, 적어도 어느 하나 이상의 조합으로 구성될 수 있다.
사물의 객체를 인지하는 방법은 카메라, 첨단센서 등이 있다. 인지하는 툴이 달라지면 수집되는 정보도 달라져서 데이터로부터 사물을 객체로서 인지하여 분석하는 측면에 있어 각각 장단점이 존재한다. 예를 들어 레이더는 전파를 통해 정보를 수집하기 때문에 객체의 속도, 거리, 각도 및 크기 등의 정보를 수집하지만 정확하게 사물을 보지는 못한다. 반면 카메라는 보다 정확하게 사물을 볼 수 있지만 악천후와 같은 환경적 요인에 취약하고 속도, 거리, 크기 등에 대한 정보는 레이더 보다 정확도가 떨어진다고 할 수 있다. 하지만 첨단센서와 카메라를 같은 방향을 바라보게 설치한다면 수집되는 정보는 다르지만 사물을 보는 시각은 동일하다고 할 수 있다.
이러한 관점에 기반하여 본 발명의 GTL 시스템(1)은 도 1에 도시한 것과 같이, 레이더(100) 및 카메라(200)와 연결되어 있다.
이하의 설명에서 레이더(100)는 첨단 센서의 일례를 든 것이며, 본 발명은 3D 또는 4D 정보 기반의 레이더와 라이다 및 초음파를 이용하는 울트라 소닉 센서 등 영상 이미지를 바로 취득하지 않고, 사물의 속도, 거리 및 크기를 계측하는 센서에도 모두 적용될 수 있음을 유의해야 한다. 카메라 역시 일례를 든 것이며, 본 발명은 어느 이미지 촬영 장치와도 연결되어 사용될 수 있다.
GTL 시스템(1)은 레이더(100)로부터 데이터를 수신 받는 레이더정보수신부(10)와 카메라(200)로부터 데이터를 수신 받는 카메라정보수신부(20)를 포함한다. 레이더(100)에서 수신되는 정보는 최소한 특정 객체의 속도, 거리 및 크기이다. 객체는 예를 들어 레이더를 이용한다면 레이더의 전파가 수신 및 송신이 가능한 물체와 환경 - 사람, 타 차량, 차선, 신호등, 표지판, 정지 물체 -을 포함한다. 카메라(200)로부터 수신되는 정보는 렌즈와 같은 이미지 촬상 수단이 획득한 이미지 데이터이다. 이미지 데이터가 촬영한 영상 범위는 레이더가 획득한 데이터 범위와 상이한 것이 일반적이다.
본 발명의 GTL 시스템(1)은 레이더정보수신부(10)의 데이터를 토대로 객체데이터(302)를 생성하는 레이더객체데이터생성부(12)와, 카메라정보수신부(20)의 데이터를 토대로 이미지데이터(304)를 생성하는 카메라이미지데이터생성부(22)를 포함한다. 객체및이미지데이터합성부(30)는 객체데이터(302)와 이미지데이터(304)를 동일한 좌표를 기준으로 합성한다. 오토라벨링부(32)는 합성데이터(306)가 정합되도록 후술하는 것과 같은 프로세스를 거쳐 합성데이터(306)를 보정하여 라벨링데이터(300)를 완성한다. 라벨링데이터(300)는 출력부(34)를 통하여 외부의 디스플레이(500)에 표시될 수 있으며 동시에 내부의 저장장치(402) 및 클라우드에 데이터를 저장할 수 있다. 디스플레이(500)는 GTL 시스템(1)에 포함될 수 있다.
도 2는 본 발명의 GTL시스템(1)이 수행하는 레이더(100) 기반 데이터와 카메라(200) 기반 데이터를 오토 라벨링 하는 과정을 보인 플로우 차트이다.
먼저, GTL시스템(1)은 레이더정보수신부(10)로부터 레이더 정보를 수신한다(S10). 그리고, 이 데이터를 토대로 객체데이터(302)를 생성한다(S12).
도 4a는 이와 같이 생성된 객체데이터(302)의 일례를 도시한다. 객체데이터(302)는 레이더 정보가 제공하는 객체의 거리, 속도, 크기 및 각도 정보를 토대로 객체를 이미지화할 수 있는 RAW데이터 또는 이미지데이터이다. 도시한 예에서는, 레이더(100)의 감지 범위에 포함된 두 객체(O1, O2)의 전면 크기 정보(F1, F2)와, 측면 크기 정보(S1, S2)와, 자차와의 거리(D1, D2)와, 속도(V1, V2)를 표시하는 데이터를 포함하고 있다.
단계(S10, 12)와 병행하여 GTL시스템(1)은 카메라정보수신부(20)로부터 카메라 정보를 수신한다(S20). 그리고, 이 데이터를 토대로 이미지데이터(304)를 생성한다(S22). 이미지데이터는 당업자에게 잘 알려진 것과 같이, 도 4b와 같이 객체(O1', O2')를 직접 나타내는 이미지를 포함한다.
다음, 본 발명의 GTL시스템(1)은 객체 데이터(302)와 이미지데이터(304)를 투영하여 합성하여 합성데이터(306)를 생성한다(S30). 데이터의 정합 합성을 위하여 동일한 기준축(좌표)이 이용된다. 객체 데이터(302)는 이미지데이터(304)와 합성되도록 그래픽 데이터 형식으로 전환된다.
객체 데이터(302)와 이미지데이터(304)는 당연하지만, 같은 시간대의 데이터가 합성되며, 따라서 레이더 정보와 카메라 정보는 자동 타임 매칭된다.
도 4c는 두 데이터를 투영하여 중복한 합성데이터(306)를 개념적으로 도시하고 있다. 합성데이터(306)에서 각각의 객체는 일치하지 않는 것이 일반적이다. 카메라(200)로만 얻어지는 영상 정보는 추가 가공 분석을 거쳐야 정보를 볼 수 있기 때문에 검증 시 라벨링을 하고 분류를 할 필요가 있다. 또한 카메라(200)는 같은 사이즈의 사물임에도 불구하고 가까운 사물은 크게 보이고 먼 사물은 작게 보이지만, 레이더(100)는 카메라(200)에 비해 거리, 속도 등의 기초 정보 검증 면에서는 카메라(200)의 영상정보 보다 상대적으로 완성된 정보이므로 각각의 장치의 이점을 활용하도록 본 발명에서는 합성데이터(306)를 보정하는 프로세스를 거친다(S40).
도 3은 본 발명의 보정 프로세스의 각각의 단계를 구체적으로 나타내는 흐름도이다.
먼저, 객체데이터(302)의 객체(O2)와 이미지데이터(304)의 객체(O2')를 포함하는 관심 영역(ROI)을 정의한다(S400). ROI의 예가 도 4d의 박스(1002)로 예시되어 있다.
다음, 영상이진화(binarization) 기법을 통해 객체(O2)의 경계(threshold)를 구분하여 객체(O2)를 가능한 모든 면에서 특정한다(S402). 영상이진화 기법은 상대 물체를 구분할 뿐 아니라 영상에서 차선, 도로, 차량, 배경 등을 구분하여 보다 빠르고 다양한 분류와 검증작업을 할 수 있는 이점이 있다.
그리고, 특정된 객체(O2)를 토대로 중앙좌표(C1)를 결정한다(S404). 나아가, 객체(O2)의 중앙좌표(C1)를 미리 결정된 객체(O2')의 중앙좌표(C2)로 이동한다(S406). 객체(O2')의 중앙좌표(C2)는 카메라의 영상 정보로부터 용이하게 결정된다. 이상의 과정을 도시한 것이 도 4d이다.
두 중앙좌표(C1, C2)를 일치시킨 다음에는, 레이더 센서(100)의 데이터가 제공하는 객체데이터(302)를 중심으로 이미지데이터(304)의 경계, 크기 및 각도 등의 제반 데이터를 보정한다(S408). 또, 객체(O2, O2')뿐만 아니라 주변 영역을 탐색하여 다른 환경이나 사물을 찾아 그 위치를 보정한다.
상기의 과정에서, 최종적으로 보정된 보정데이터가 라벨링데이터(300)로 완성되어 생성된다(S50; 도 2). 라벨링데이터(300)는 내부의 저장장치(402) 및 클라우드에 데이터에 저장되어 필요할 때 언제나 사용할 수 있다..
선택적으로 본 발명은, 매칭의 정확도를 높이기 위하여 레이더(100)에서 수집한 유사한 형태와 크기를 가지는 복수의 객체를 서로 비교하는 단계를 더 포함할 수 있다.
이와 같이 본 발명의 GTL 시스템(1)은 첨단 센서인 레이더(100)의 데이터를 카메라가 촬영한 영상 정보와 “이미지” 관점에서 투영하여 합성하고, 레이더의 데이터 정보를 토대로 카메라의 이미지가 가지는 한계를 극복하여 오차를 보완하므로, GTL의 시간과 비용을 획기적으로 줄일 수 있고, 신뢰도를 제고할 수 있다.
도 5는 본 발명의 GTL 시스템(1)을 이용하여 완성한 라벨링데이터(300)를 디스플레이(500)에서 표시한 사진의 일례이다. 이미지에서 라벨링 박스(B)로 사물 인지를 확인할 수 있을 뿐만 아니라, 속도, 거리, 크기 등 정보도 확인 및 매칭하여 신뢰도 증빙이 가능하다. 이에 대하여 기존의 GTL은 라벨링 박스만을 표시하므로, 별도의 센서 데이터 검증이 추가적으로 필요했던 것이다.
본 발명의 GTL시스템(1)은 별도의 추가적인 처리과정 없이 레이더 정보를 기반으로 카메라 정보에 자동 타임 매칭하는 GTL 오토 라벨러로서 신속성과 효용성이 뛰어나다.
한편, 현재 기술 수준으로는 4D 레이더 기준의 오차가 약 10cm 정도이다. 카메라와 라이다가 전혀 보이지 않는 악천후 상황에서 레이더만으로도 대형차, 중형차, 소형차, 오토바이 등의 자세한 분류가 가능하여 악천후 상황에서도 차량의 종류 추정이 가능하다.
더 나아가서 차량의 종류까지 추정할 수 있다. 예를 들어, 안개가 많고 어두운 날 뺑소니 사고의 경우 뺑소니 가해자에 해당하는 차량의 종류를 해당 기술에서 인공지능 학습을 통해 대략적으로 알 수 있다. 예를 들어, 레이더는 2D로만 보이기 때문에 앞면에 있는 차량을 보게 되면 가로와 높이가 보여서 전폭(Overall Width)과 전고(Overall Height)를 높은 정확도로 측정할 수 있다. 그런데 전장(Overall Length)은 보기 어렵다. 이 해결방안으로 전폭(Overall Width)과 전고(Overall Height)의 빅 데이터를 메모리에 미리 저장하여 전폭(Overall Width)과 전고(Overall Height)만으로 전장(Overall Length)을 추정할 수 있고 이 데이터로 어떤 차량인지 추정할 수 있다. 예를 들어, X차량의 전폭은 1,875mm 전고는 1,470mm이고 Y차량의 전폭은 1,900mm 전고는 1,490mm이고 Z차량의 전폭은 1,825mm이고 전고는 1,435mm이다. 이 데이터를 빅데이터와 매칭하는 인공지능 기반으로 학습시키면 차량 정보 데이터가 일치하여 자동으로 X차량의 모델과 제조사를 알 수 있다. 이것은 이해를 쉽게 돕기 위한 예시일 뿐이다. 실제로 가로, 높이 사이즈로 추정하여 확률을 줄일 수 있는 경우는 다양하므로 차량 추적으로 한정 짓지 않는다.
이상 기술한 본 발명의 활용 범위는 자율주행 차량에 한정되지 않는다. 드론, 비행기, 미사일, 스마트물류, CCTV, 스마트시티 등 물체를 첨단센서와 카메라로 인지 및 촬영해서 라벨링 및 신뢰성 확보를 필요한 모든 산업에 적용 가능하다.
본 발명의 권리범위는 이하 기술하는 청구범위와 동일 또는 균등한 영역에까지 미침은 자명하다.

Claims (7)

  1. 센서 데이터와 카메라 영상을 합성하는 GTL(Ground truth labeling) 시스템으로서, 상기 시스템은 센서정보수신부의 데이터를 토대로 객체데이터를 생성하는 센서객체데이터생성부와, 카메라정보수신부의 데이터를 토대로 이미지데이터를 생성하는 카메라이미지데이터생성부와, 객체데이터와 이미지데이터를 동일한 좌표를 기준으로 합성하여 합성데이터를 생성하는 객체및이미지데이터합성부와, 합성데이터가 정합하도록 보정하여 라벨링데이터를 형성하는 오토라벨링부를 포함하며,
    상기 객체데이터는 센서가 제공하는 객체의 거리, 속도 및 크기를 토대로 객체를 이미지화할 수 있는 데이터이며, 카메라가 촬영한 객체의 실제 이미지와는 별개이고,
    상기 오토라벨링부는 객체데이터의 객체와 이미지데이터의 객체를 포함하는 관심 영역을 정의하고, 영상이진화 기법을 통해 객체데이터의 객체의 경계(threshold)를 구분하여 특정하고, 특정된 객체를 토대로 중앙좌표(C1)를 결정하고, 객체 중앙좌표(C1)를 미리 결정된 이미지데이터의 객체의 중앙좌표(C2)로 이동시키고, 객체데이터를 기준으로 이미지데이터의 경계, 크기 및 각도를 보정하여 라벨링데이터를 형성하는, GTL 시스템.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서,
    상기 센서는 자율주행차량에 부착된 레이더, 라이더 또는 울트라 소닉 센서인, GTL 시스템.
  5. 제 4항에 있어서,
    상기 라벨링데이터에서 측정한 차량의 전폭 및 전고데이터를 토대로 차량의 전장을 결정하여 차량의 모델을 판단하는, GTL 시스템.
  6. 센서 데이터와 카메라 영상을 합성하여 라벨링을 수행하는 GTL(Ground truth labeling) 방법으로서, 상기 방법은,
    센서정보수신부로부터 센서 정보를 수신하고 이를 토대로 객체데이터를 생성하는 단계; 이와 병행하여
    카메라정보수신부로부터 카메라 정보를 수신하고, 이를 토대로 이미지데이터를 생성하는 단계;
    객체데이터와 이미지데이터를 자동 타임 매칭하여 투영하고 합성하여 합성데이터를 생성하는 단계; 및
    합성데이터를 보정하여 라벨링데이터를 생성하는 단계를 포함하며,
    상기 합성데이터를 보정하는 단계는:
    객체데이터의 객체와 이미지데이터의 객체를 포함하는 관심 영역을 정의하는 단계;
    영상이진화 기법을 통해 객체데이터의 객체의 경계(threshold)를 구분하여 특정하고, 특정된 객체를 토대로 중앙좌표를 결정하는 단계; 및
    객체의 중앙좌표를 미리 결정된 이미지데이터의 객체의 중앙좌표로 이동시키고, 객체데이터를 기준으로 이미지데이터의 경계, 크기 및 각도를 보정하는 단계를 포함하는, 방법.

  7. 삭제
KR1020210031353A 2021-03-10 2021-03-10 첨단 센서 데이터와 카메라 영상을 gtl 하는 방법 및 시스템 KR102264152B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210031353A KR102264152B1 (ko) 2021-03-10 2021-03-10 첨단 센서 데이터와 카메라 영상을 gtl 하는 방법 및 시스템
US17/527,273 US20220292747A1 (en) 2021-03-10 2021-11-16 Method and system for performing gtl with advanced sensor data and camera image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210031353A KR102264152B1 (ko) 2021-03-10 2021-03-10 첨단 센서 데이터와 카메라 영상을 gtl 하는 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102264152B1 true KR102264152B1 (ko) 2021-06-14

Family

ID=76417714

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210031353A KR102264152B1 (ko) 2021-03-10 2021-03-10 첨단 센서 데이터와 카메라 영상을 gtl 하는 방법 및 시스템

Country Status (2)

Country Link
US (1) US20220292747A1 (ko)
KR (1) KR102264152B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102365873B1 (ko) * 2021-10-15 2022-02-23 (주)넥스트박스 형상 좌표와 데이터 라벨링 퓨전 시스템 및 그 방법
KR102426844B1 (ko) * 2021-11-02 2022-08-22 (주)넥스트박스 영상기록장치와 네트워크서버를 포함하는 데이터 변환 및 활용 시스템 및 그 방법
KR20240078495A (ko) 2022-11-25 2024-06-04 주식회사 와이즈오토모티브 자율주행 차량의 인공지능 객체 인식 기능 취약점 보완을 위한 학습데이터 자동 구축 장치 및 방법
KR20240080522A (ko) 2022-11-30 2024-06-07 주식회사 와이즈오토모티브 객체 인식 학습을 위한 학습 데이터를 생성하는 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140078436A (ko) * 2012-12-17 2014-06-25 현대자동차주식회사 센서 퓨전 시스템 및 그 방법
KR20200062764A (ko) * 2018-11-27 2020-06-04 울산대학교 산학협력단 딥러닝 기반 혈관 구분 방법 및 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017130639A1 (ja) * 2016-01-28 2017-08-03 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
DE112019001657T5 (de) * 2018-03-29 2021-01-14 Sony Corporation Signalverarbeitungsvorrichtung und signalverarbeitungsverfahren, programm und mobiler körper
CN108596081B (zh) * 2018-04-23 2021-04-20 吉林大学 一种基于雷达和摄像机融合的车辆行人探测方法
US11592570B2 (en) * 2020-02-25 2023-02-28 Baidu Usa Llc Automated labeling system for autonomous driving vehicle lidar data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140078436A (ko) * 2012-12-17 2014-06-25 현대자동차주식회사 센서 퓨전 시스템 및 그 방법
KR20200062764A (ko) * 2018-11-27 2020-06-04 울산대학교 산학협력단 딥러닝 기반 혈관 구분 방법 및 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102365873B1 (ko) * 2021-10-15 2022-02-23 (주)넥스트박스 형상 좌표와 데이터 라벨링 퓨전 시스템 및 그 방법
KR102426844B1 (ko) * 2021-11-02 2022-08-22 (주)넥스트박스 영상기록장치와 네트워크서버를 포함하는 데이터 변환 및 활용 시스템 및 그 방법
KR20240078495A (ko) 2022-11-25 2024-06-04 주식회사 와이즈오토모티브 자율주행 차량의 인공지능 객체 인식 기능 취약점 보완을 위한 학습데이터 자동 구축 장치 및 방법
KR20240080522A (ko) 2022-11-30 2024-06-07 주식회사 와이즈오토모티브 객체 인식 학습을 위한 학습 데이터를 생성하는 방법 및 장치

Also Published As

Publication number Publication date
US20220292747A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
KR102264152B1 (ko) 첨단 센서 데이터와 카메라 영상을 gtl 하는 방법 및 시스템
CA3028653C (en) Methods and systems for color point cloud generation
US11035958B2 (en) Systems and methods for correcting a high-definition map based on detection of obstructing objects
CN108596081B (zh) 一种基于雷达和摄像机融合的车辆行人探测方法
CN113379805B (zh) 一种交通节点的多信息资源融合处理方法
JP4973736B2 (ja) 路面標示認識装置，路面標示認識方法及び路面標示認識プログラム
CN112396650A (zh) 一种基于图像和激光雷达融合的目标测距***及方法
US20230144678A1 (en) Topographic environment detection method and system based on binocular stereo camera, and intelligent terminal
WO2019208101A1 (ja) 位置推定装置
US20200341150A1 (en) Systems and methods for constructing a high-definition map based on landmarks
CN114280611A (zh) 一种融合毫米波雷达与摄像头的路侧感知方法
Kruber et al. Vehicle position estimation with aerial imagery from unmanned aerial vehicles
WO2020113425A1 (en) Systems and methods for constructing high-definition map
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
CN114503044A (zh) 用于在3d点云中自动标记对象的***和方法
AU2018102199A4 (en) Methods and systems for color point cloud generation
CN114529789A (zh) 目标检测方法、装置、计算机设备和存储介质
CN114359766A (zh) 重叠区域的确定方法、目标检测方法、装置、设备和介质
CN113874681A (zh) 点云地图质量的评估方法和***
Mandumula et al. Multi-Sensor Object Detection System for Real-Time Inferencing in ADAS
Scharf et al. The KI-ASIC Dataset
US20240135720A1 (en) Method and device for the detection and determination of the height of objects
US20240233391A9 (en) Method and device for the detection and determination of the height of objects
US20230386062A1 (en) Method for training depth estimation model, method for estimating depth, and electronic device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant