KR101628155B1 - Ccl을 이용한 실시간 미확인 다중 동적물체 탐지 및 추적 방법 - Google Patents

Ccl을 이용한 실시간 미확인 다중 동적물체 탐지 및 추적 방법 Download PDF

Info

Publication number
KR101628155B1
KR101628155B1 KR1020150057239A KR20150057239A KR101628155B1 KR 101628155 B1 KR101628155 B1 KR 101628155B1 KR 1020150057239 A KR1020150057239 A KR 1020150057239A KR 20150057239 A KR20150057239 A KR 20150057239A KR 101628155 B1 KR101628155 B1 KR 101628155B1
Authority
KR
South Korea
Prior art keywords
points
tracking
detecting
ccl
dynamic
Prior art date
Application number
KR1020150057239A
Other languages
English (en)
Inventor
석주일
곽기호
민지홍
김준
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020150057239A priority Critical patent/KR101628155B1/ko
Application granted granted Critical
Publication of KR101628155B1 publication Critical patent/KR101628155B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/936—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명은 무인 차량의 자유주행 기술에 관한 것으로서, 더 상세하게는 CCL(Connected Component Labeling)을 이용하여 주어진 포인트 클라우드에서 이동물체의 개수나 이동물체에 대한 어떠한 정보 없이 탐지 및 추적하는 방법에 대한 것이다.

Description

CCL을 이용한 실시간 미확인 다중 동적물체 탐지 및 추적 방법{Method for detecting and tracking unidentified multiple dynamic object in real time using Connected Component Labeling}
본 발명은 무인 차량의 자유주행 기술에 관한 것으로서, 더 상세하게는 CCL(Connected Component Labeling)을 이용하여 주어진 포인트 클라우드에서 이동물체의 개수나 이동물체에 대한 어떠한 정보 없이 탐지 및 추적하는 방법에 대한 것이다.
무인차량의 자유주행을 위해서는 전방의 동적 물체를 탐지하여 물체의 동적 움직임을 추정한 후 자율 주행 경로를 생성하여야 한다. 현재 레이다, 카메라 등을 이용한 동적물체 탐지 추적 기법에 많은 연구가 진행되고 있으며 최근 레이져 스캐너의 가격 하락에 힘입어 일반 자동차 업체들 또한 운전자 보조 시스템(driver-assistance system) 탑재가 대중화 되고 있다.
레이져 스캐너를 이용한 이동물체 탐지를 하기 위해서는 각각의 레이져 포인터를 깊이값으로 환산하여 탑재차량의 주위에 대한 Point cloud를 생성하게 된다.
생성된 포인트 클라우드에서 각각의 포인트는 어떠한 의미를 가지고 있지 않기 때문에 이동물체 탐지 추적을 위해서는 먼저 클러스터링 기법을 통하여 포인트들을 묶어서 하나의 물체로 표현한다. 하지만 포인트 클라우드를 클러스터링 할 경우에 복셀(Voxel)로 단순화 하여도 계산량이 많기 때문에 실시간 연산이 불가능 하다. 동적물체를 탐지하기 위해선 클러스터링(clustering) 이후에도 데이터 연동(data association) 및 추적필터가 필요하기 때문에 최대한 적은 연산이 요구된다.
3D를 2.5D로 변환하면 이동물체를 탐지하기 위한 방법중에 컴퓨터 비전(computer vision)에서 많이 사용되는 배경 차분(background subtraction) 방식이 사용될 수 있지만 센서의 노이즈와 이동물체에 대한 정보가 부재할 경우 탐지가 어렵다는 단점이 있다.
예를 들어 움직이는 물체가 긴 경우에 앞부분과 뒷부분만 잘려 탐지가 될 수 있으며 움직이는 물체의 길이를 알지 못하는 상황에서는 물체가 한 개인지 두 개인지 알 수 있는 방법이 없다.
1. 한국공개특허번호 제10-2009-0050506호
1. 이호승외, "벨로다인과 영상 센서의 자율주행 환경인지"로봇과 인간, 2013년 로봇공학회지 제10권 제3호, 13page~19page. 2. 이우주, "환경변화에 강인한 원거리 다중객체 탐지 및 추적시스템에 관한 연구"전남대학교 2010년 컴퓨터정보통신공학
본 발명은 위 배경기술에 따른 문제점을 해소하기 위해 제안된 것으로서, 포인트 클라우드에서 이동물체의 개수나 이동물체에 대한 어떠한 정보 없이도 탐지 및/또는 추적이 가능한 방법을 제공하는데 그 목적이 있다.
본 발명은 위에서 제시된 과제를 달성하기 위해, 포인트 클라우드에서 이동물체의 개수나 이동물체에 대한 어떠한 정보 없이도 탐지 및/또는 추적이 가능한 미확인 다중 동적물체 탐지 및 추적 방법을 제공한다.
상기 미확인 다중 동적물체 탐지 및 추적 방법은,
(a) 라이다를 통해 생성되는 항법 및 라이다 정보를 입력받는 단계;
(b) 상기 항법 및 라이더 정보를 이용하여 변환된 좌표계 정보를 상기 차량 주위에 대한 포인트 클라우드로 생성하는 단계;
(c) 상기 포인트 클라우드에서 바닥에 해당하는 포인트들을 제거하는 단계;
(d) 상기 포인트 클라우드 중 다수의 프레임에 각각 해당하는 포인트들을 누적하는 단계;
(e) 누적된 포인트들을 격자맵상에서 2.5D 격자로 변환하여 격자맵을 생성하는 단계;
(f) 팽창과 침식 방식을 적용하여 이격된 포인트들을 연결하는 단계;
(g) CCL(Connected Component Labeling) 기법을 통해 누적된 각 포인트에 세그멘테이션 ID를 부여하여 클러스터링을 수행하는 단계;
(h) 동일 세그멘테이션 ID를 가지는 포인트들을 이용하여 산출되는 하우스도르프 거리의 평균값이 미리 설정되는 역치에 따라 움직임을 탐지하는 단계; 및
(i) 상기 움직임의 탐지에 따라 동적 물체 또는 정지 물체로 구분하는 단계;를 포함하는 것을 특징으로 할 수 있다.
이때, 상기 (c )단계에서 상기 바닥에 해당하는 포인트들은 RANSAC(Random Sample Consensus)을 이용하여 제거되는 것을 특징으로 할 수 있다.
또한, 각 포인트는 몇 번째 프레임에 해당하는 포인트인지에 대한 정보를 갖는 것을 특징으로 할 수 있다.
또한, 상기 (g) 단계에서, 격자맵에서 연결된 포인트에 동일 세그멘테이션 ID를 부여하는 것을 특징으로 할 수 있다.
또한, 상기 (g) 단계에서, 상기 클러스터링은 주어진 데이터상의 물체의 개수 혹은 물체의 크기, 모양에 상관없이 연결된 포인트에 동일한 아이디를 부여하여 이루어지는 것을 특징으로 할 수 있다.
또한, 상기 (h) 단계에서, 상기 하우스도르프 거리는 동일 세그멘테이션 ID를 가지는 포인트들을 프레임별로 나누어서 산출되는 것을 특징으로 할 수 있다.
또한, 상기 하우스도르프 거리는 수학식
Figure 112015039705475-pat00001
(여기서, X와 Y는 하우스도르프 거리를 구하고자 하는 두 클러스터, x와 y는 각각 X와 Y에 포함되어 있는 공간상의 두 지점, sup은 Supremum, inf는 Infimum, d()는 두 지점간의 거리(i.e. euclidean)을 나타낸다)에 의해 산출되는 것을 특징으로 할 수 있다.
또한, 상기 미확인 다중 동적물체 탐지 및 추적 방법은, 상기 하우스도르프 거리를 이용하여 중심점의 이동거리 및 방향을 산출하는 단계; 및 상기 이동거리 및 방향에 따른 이동 방향 및 속도를 입력으로 하여 칼만필터를 통해 상기 동적물체를 추적하는 단계;를 더 포함하는 것을 특징으로 할 수 있다.
본 발명에 따르면, 주어진 포인트 클라우드에서 이동 중에 동적물체를 검출할 수 있으며, 기존의 반복 최근접점(Iterative Closest Point)을 이용한 알고리즘 보다 계산량을 줄일 수 있다.
또한, 본 발명의 다른 효과로서는 클러스터링 단계와 자료결합 단계를 통합함과 동시에 물체의 위치, 속도, 방향 등 추적을 위한 정보도 함께 추출 할 수 있기 때문에 계산량을 줄일 수 있다는 점을 들 수 있다.
또한, 본 발명의 또 다른 효과로서는 무인이동차량의 자율주행에 본 발명을 적용함으로써 주행 안정성을 높이는 효과가 있다는 점을 들 수 있다.
도 1은 본 발명의 일실시예에 따른 라이다(LIDAR: LIght Detection And Ranging)를 활용한 동적 물체 인식 과정을 보여주는 흐름도이다.
도 2는 도 1에 도시된 지면 추정 및 제거 단계(S130)의 적용 예시를 보여주는 개념도이다.
도 3은 도 1에 도시된 격자 포인트의 팽창 및 침식 단계(S160)의 적용 예시를 보여주는 개념도이다.
도 4는 도 1에 도시된 CCL(Connected Component Labeling)를 통한 클러스터링 단계(S170)의 적용 예시를 보여주는 개념도이다.
도 5a 및 도 5b는 도 1에 도시된 동적 물체 탐지 단계(S190)의 적용 예시를 보여주는 개념도이다.
도 6은 도 1에 도시된 흐름도에 따라 동적 물체의 탐지 추적의 결과를 보여주는 화면예이다.
도 7은 본 발명의 일실시예에 따른 동적 물체 인식 시스템의 구성도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.
제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 CCL을 이용한 실시간 미확인 다중 동적물체 탐지 및 추적 방법을 상세하게 설명하기로 한다.
본 발명은 무인 이동 차량이 주행중에 동적 물체를 탐지하는 데 있어 라이다를 활용하고, 동적 물체를 탐지하는 과정을 포함한다. 특히, 포인트 클라우드로부터 물체를 탐지하기 위한 과정은 계산량을 줄이기 위해 2.5D 격자맵을 생성하여 시간적으로 연속된 데이터를 축적하는 과정이 포함된다.
도 1은 본 발명의 일실시예에 따른 라이다(LIDAR: LIght Detection And Ranging)를 활용한 동적 물체 인식 과정을 보여주는 흐름도이다. 도 1을 참조하면, 라이다(LIDAR)를 통해 생성되는 항법 및 라이다 정보 입력을 입력받는다(단계 S110). 라이다(LIDAR)는 레이저 펄스를 쏘아 반사되어 되돌아오는 시간을 측정하여 반사체의 위치 좌표를 측정하는 레이더 시스템이다.
차량에 장착된 라이다에서 측정된 센서 데이터는 차량의 항법정보를 이용하여 이를 글로벌 좌표계(GPS 좌표계)로 변환하여 라이다 탑재 차량의 주위에 대한 포인트 클라우드를 생성한다(단계 S120).
이후, 생성된 포인트 클라우드에서 바닥에 해당하는 포인트들을 RANSAC(Random Sample Consensus)을 이용하여 제거한다(단계 S130). RANSAC은 잡음이 심한 측정 데이터로부터 최적의 모델 파라미터를 결정하는 알고리즘으로서 주어진 원본 데이터로부터 임의의 일부 데이터를 선택한 뒤 최적의 파라미터를 예측하는 과정을 반복하면서 최적의 모델 파라미터를 검출한다. 이 방식은 초기에 가능한 적은 양의 데이터를 이용하여 일관된 데이터 집합(consensus set)을 확장시켜나가는 방식이다. 차량 전방의 일정부분을 평평한 바닥으로 가정을 한 후 샘플링을 통하여 해당 포인트 클라우드에 가장 부합하는 plane equation을 구한다. 그 후 plane equation에 역치 값 이하로 가까운 모든 포인트는 바닥으로 간주하여 제거한다.
n개의 프레임에 해당하는 포인트들을 누적한다(단계 S140). 각 프레임에 해당되는 포인트들은 버퍼에 저장이 되며 이때 각 포인트는 몇 번째 프레임에서 획득된 데이터인지에 대한 정보가 함께 저장이 된다. 이 정보는 이후 S180에서 움직임 탐지를 할 때 이용된다.
이후, 누적된 포인트들을 2.5D 격자로 변환하여 격자맵을 생성한다(단계 S150). 미리 주어진 크기의 격자에 각 포인트가 배정이 된다. 포인트가 가지고 있는 높이값(elevation)을 제외한 경도와 위도값만을 사용하여 격자지도를 만들게 된다. 각 포인트가 격자지도상에 몇 번째 셀에 해당하는지에 대한 정보가 S140의 버퍼에 추가된다.
2.5D 격자 변환후, 각각의 이격된 포인트들을 연결하기 위해 이미지 처리에 사용되는 팽창과 침식 기법을 적용한다(단계 S160). 도 3의 310은 S150에서 생성된 격자지도이다. 이후 S170에서 수행될 CCL기법을 이용한 세그멘테이션을 위해서는 각 물체를 이루는 점이 서로 연결이 되어 있어야 하기 때문에 만약 어떠한 물체에 연결되지 않은 몇 픽셀이 있으면 해당 물체는 두 개의 물체로 분리될 수 있다. 이러한 오류를 피하기 위해 팽창과 침식을 이용하여 한 물체를 표현하는 점군을 모두 연결하고자 이미지 처리에서 사용하는 이미지 팽창과 침식알고리즘을 사용한다.
CCL(Connected Component Labeling) 기법을 통해 누적된 각 포인트에 세그멘테이션 ID를 부여하여 클러스터링을 수행한다(단계 S170). 부연하면, CCL(Connected Component Labeling) 기법을 통해 누적된 각 포인트에 세그멘테이션(Segmentation) ID를 부여한다. CCL은 이미지상에서 segmentation을 위해 쓰이는 알고리즘이며, 높은 속도로 격자맵에서 연결된 포인트에 동일 ID를 부여할 수 있다. CCL을 이용한 클러스터링은 주어진 데이터상의 물체의 개수 혹은 물체의 크기, 모양에 상관없이 연결되어있는 포인트에 동일 아이디를 부여한다.
동일 세그멘테이션(Segmentation) ID를 가지는 포인트들을 프레임별로 나누어서 각각의 하우스도르프 거리(hausdorff distance)를 구하여 하우스도르프 거리(hausdorff distance)의 평균값이 역치를 넘을 경우 움직임을 탐지한다(단계 S181). 하우스도르프 거리(Hausdorff distance)의 수식은 다음과 같다.
Figure 112015039705475-pat00002
여기서, X와 Y는 하우스도르프 거리를 구하고자 하는 두 클러스터, x와 y는 각각 X와 Y에 포함되어 있는 공간상의 두 지점, sup은 Supremum, inf는 Infimum, d()는 두 지점간의 거리(i.e. euclidean)을 나타낸다. 움직이는 물체로 탐지된 ID를 가지고 있는 포인트들은 각 프레임별로 중심점을 구하여 시간별로 그 중심점의 이동 방향과 속도를 구할 수 있다. 이렇게 산출된 물체의 이동 속도와 방향은 S191의 칼만필터에 입력값으로 들어간다.
S170을 통해 클러스터링 된 물체들은 일련의 Criteria를 통해 동적물체 후보군에서 제외된다. Criteria는 용도에 따라 달라지며 찾고자 하는 동적물체의 크기 혹은 높이 등과 같은 수치가 사용될 수 있다.
움직임 탐지 이후, 위 단계(S181)에서 구한 이동 속도와 방향을 입력으로 하여 동적 물체를 탐지하고 칼만필터를 통해 탐지된 동적 물체를 추적한다(단계 S190,S191). S190에서는 전체 클러스터링 된 물체 중 S181와 S182를 동시에 부합하는 물체를 선별한다.
도 2는 도 1에 도시된 지면 추정 및 제거 단계(S130)의 적용 예시를 보여주는 개념도이다. 도 2를 참조하면, 제거전 화면예(210)와 제거후 화면예(220)가 도시된다. 즉, 생성된 포인트 클라우드에서 바닥에 해당하는 포인트들을 제거한다.
도 3은 도 1에 도시된 격자 포인트의 팽창 및 침식 단계(S160)의 적용 예시를 보여주는 개념도이다. 도 3을 참조하면, 좌측 도면이 팽창 및 침식을 거치기전 화면예이고, 우측 도면이 팽창 및 침식을 거친후 화면예이다. 즉, 각각의 이격된 포인트들을 연결하기 위해 이미지 처리에 사용되는 팽창과 침식이 수행된다.
도 4는 도 1에 도시된 CCL(Connected Component Labeling)를 통한 클러스터링 단계(S170)의 적용 예시를 보여주는 개념도이다. 도 4를 참조하면, CCL를 통해 클러스터링이 된 도면이다. 같은 색색을 가진 포인트는 같은 세그멘테이션 ID를 부여받는다.
도 5a 및 도 5b는 도 1에 도시된 동적 물체 탐지 단계(S190)의 적용 예시를 보여주는 개념도이다. 즉 도 5a는 동적 물체 탐지 화면예이고, 도 5b는 정적 물체 탐지 화면예이다. 정적물체의 경우 특정한 패턴없이 중심점의 무작위적인 움직임을 보이는데 이것은 센서의 노이즈와 센서의 view angle 변화에 따른 중심점의 이동이다. 하지만 동적물체의 경우 일정한 방향성을 가지는 것을 확인할 수 있다.
도 6은 도 1에 도시된 흐름도에 따라 동적 물체의 탐지 추적의 결과를 보여주는 화면예이다. 별표는 동적물체의 중심점을 나타내며 붉은색은 동적물체에 포함된 포인트, 검은색 점은 정적물체에 포함 된 포인트이다. 파란색 화살표는 현재 동적 물체의 움직임 방향을 나타내며 분홍색 점들은 이후 특정시간(예시는 3초) 동안 예측되는 물체의 trajectory를 나타낸다.
도 7은 본 발명의 일실시예에 따른 동적 물체 인식 시스템(700)의 구성도이다. 도 7을 참조하면, 동적 물체 인식 시스템(700)은 차량 주위를 스캔하여 차량 주위의 좌표계 정보는 생성하는 라이다(710), 좌표계 정보를 이용하여 동적 물체를 추적하는 신호 처리 모듈(720) 등을 포함하여 구성된다.
신호 처리 모듈(720)은 라이다(710)를 통해 생성되는 차량 주위의 좌표계 정보를 입력받아 상기 차량의 좌표계 정보를 상기 차량 주위에 대한 포인트 클라우드를 생성하는 좌표계 변환부(721), 상기 포인트 클라우드에서 바닥에 해당하는 포인트들을 제거하고, 상기 포인트 클라우드 중 다수의 프레임에 각각 해당하는 포인트들을 누적하는 포인트 계산부(723), 누적된 포인트들을 격자맵상에서 2.5D 격자로 변환하여 격자맵을 생성하는 격자 변환부(725), 팽창과 침식 방식을 적용하여 이격된 포인트들을 연결하고, CCL(Connected Component Labeling) 기법을 통해 누적된 각 포인트에 세그멘테이션 ID를 부여하여 클러스터링을 수행하는 클러스터링부(727), 동일 세그멘테이션 ID를 가지는 포인트들을 이용하여 산출되는 하우스도르프 거리의 평균값이 미리 설정되는 역치에 따라 움직임을 탐지하고, 상기 움직임의 탐지에 따라 동적 물체 또는 정지 물체로 구분하여 동적 물체를 추적하는 동적 물체 추적부(729) 등을 포함하여 구성된다.
도 1 내지 도 7에 도시되는 블록도의 각 블록 및/또는 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
710: 라이다
720: 신호 처리 모듈
721: 좌표계 변환부
723: 포인트 계산부
725: 격자 변환부
727: 클러스터링부
729: 동적물체 추적부

Claims (8)

  1. (a) 라이다를 통해 생성되는 항법 및 라이다 정보를 입력받는 단계;
    (b) 상기 항법 및 라이더 정보를 이용하여 변환된 좌표계 정보를 차량 주위에 대한 포인트 클라우드로 생성하는 단계;
    (c) 상기 포인트 클라우드에서 바닥에 해당하는 포인트들을 제거하는 단계;
    (d) 상기 포인트 클라우드 중 다수의 프레임에 각각 해당하는 포인트들을 누적하는 단계;
    (e) 누적된 포인트들을 격자맵상에서 2.5D 격자로 변환하여 격자맵을 생성하는 단계;
    (f) 팽창과 침식 방식을 적용하여 이격된 포인트들을 연결하는 단계;
    (g) CCL(Connected Component Labeling) 기법을 통해 누적된 각 포인트에 세그멘테이션 ID를 부여하여 클러스터링을 수행하는 단계;
    (h) 동일 세그멘테이션 ID를 가지는 포인트들을 이용하여 산출되는 하우스도르프 거리의 평균값을 미리 설정되는 역치와 비교하고, 상기비교의 결과에 따라 움직임을 탐지하는 단계; 및
    (i) 상기 움직임의 탐지에 따라 동적 물체 또는 정지 물체로 구분하는 단계;
    를 포함하는 것을 특징으로 하는 CCL을 이용한 실시간 미확인 다중 동적물체 탐지 및 추적 방법.
  2. 제 1 항에 있어서,
    상기 (c)단계에서 상기 바닥에 해당하는 포인트들은 RANSAC(Random Sample Consensus)을 이용하여 제거되는 것을 특징으로 하는 CCL을 이용한 실시간 미확인 다중 동적물체 탐지 및 추적 방법.
  3. 제 1 항에 있어서,
    각 포인트는 몇 번째 프레임에 해당히는 포인트인지에 대한 정보를 갖는 것을 특징으로 하는 CCL을 이용한 실시간 미확인 다중 동적물체 탐지 및 추적 방법.
  4. 제 1 항에 있어서,
    상기 (g) 단계에서, 격자맵에서 연결된 포인트에 동일 세그멘테이션 ID를 부여하는 것을 특징으로 하는 CCL을 이용한 실시간 미확인 다중 동적물체 탐지 및 추적 방법.
  5. 제 1 항에 있어서,
    상기 (g) 단계에서, 상기 클러스터링은 주어진 데이터상의 물체의 개수 혹은 물체의 크기, 모양에 상관없이 연결된 포인트에 동일한 아이디를 부여하여 이루어지는 것을 특징으로 하는 CCL을 이용한 실시간 미확인 다중 동적물체 탐지 및 추적 방법.
  6. 제 1 항에 있어서,
    상기 (h) 단계에서, 상기 하우스도르프 거리는 동일 세그멘테이션 ID를 가지는 포인트들을 프레임별로 나누어서 산출되는 것을 특징으로 하는 CCL을 이용한 실시간 미확인 다중 동적물체 탐지 및 추적 방법.
  7. 제 1 항에 있어서,
    상기 하우스도르프 거리는 수학식
    Figure 112015039705475-pat00003
    (여기서, X와 Y는 하우스도르프 거리를 구하고자 하는 두 클러스터, x와 y는 각각 X와 Y에 포함되어 있는 공간상의 두 지점, sup은 Supremum, inf는 Infimum, d()는 두 지점간의 거리(i.e. euclidean)을 나타낸다)에 의해 산출되는 것을 특징으로 하는 CCL을 이용한 실시간 미확인 다중 동적물체 탐지 및 추적 방법.
  8. 제 1 항에 있어서,
    상기 하우스도르프 거리를 이용하여 중심점의 이동거리 및 방향을 산출하는 단계; 및
    상기 이동거리 및 방향에 따른 이동 방향 및 속도를 입력으로 하여 칼만필터를 통해 상기 동적물체를 추적하는 단계;를 더 포함하는 것을 특징으로 하는 CCL을 이용한 실시간 미확인 다중 동적물체 탐지 및 추적 방법.
KR1020150057239A 2015-04-23 2015-04-23 Ccl을 이용한 실시간 미확인 다중 동적물체 탐지 및 추적 방법 KR101628155B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150057239A KR101628155B1 (ko) 2015-04-23 2015-04-23 Ccl을 이용한 실시간 미확인 다중 동적물체 탐지 및 추적 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150057239A KR101628155B1 (ko) 2015-04-23 2015-04-23 Ccl을 이용한 실시간 미확인 다중 동적물체 탐지 및 추적 방법

Publications (1)

Publication Number Publication Date
KR101628155B1 true KR101628155B1 (ko) 2016-06-08

Family

ID=56194008

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150057239A KR101628155B1 (ko) 2015-04-23 2015-04-23 Ccl을 이용한 실시간 미확인 다중 동적물체 탐지 및 추적 방법

Country Status (1)

Country Link
KR (1) KR101628155B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110039538A (zh) * 2019-04-03 2019-07-23 华中科技大学 一种基于大型复杂构件点云信息的机器人轨迹规划方法
US10366282B2 (en) 2016-06-09 2019-07-30 Daegu Gyeongbuk Institute Of Science And Technology Human detection apparatus and method using low-resolution two-dimensional (2D) light detection and ranging (LIDAR) sensor
CN110378904A (zh) * 2018-07-09 2019-10-25 北京京东尚科信息技术有限公司 对点云数据进行分割的方法和装置
WO2019212113A1 (ko) * 2018-05-03 2019-11-07 충북대학교 산학협력단 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법
CN110673107A (zh) * 2019-08-09 2020-01-10 北京智行者科技有限公司 基于多线激光雷达的路沿检测方法及装置
KR20200126141A (ko) 2019-04-29 2020-11-06 충북대학교 산학협력단 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법
KR102378643B1 (ko) * 2021-09-24 2022-03-25 (주)뷰런테크놀로지 라이다 포인트 데이터의 지면 및 천장 판단 방법 및 시스템
KR20220053272A (ko) * 2020-10-22 2022-04-29 주식회사 아이티테크 딥러닝 기반의 객체 인식을 통한 가축 관리 방법
KR20230036243A (ko) 2021-09-07 2023-03-14 충북대학교 산학협력단 영상과 라이다를 이용한 실시간 3차원 물체 인식 및 추적 시스템
KR102685361B1 (ko) * 2021-09-17 2024-07-17 (주)오토노머스에이투지 라이다를 이용하여 이동 오브젝트에 대한 판단을 수행하기 위한 방법 및 이를 이용한 서버

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090050506A (ko) 2007-11-16 2009-05-20 전북대학교산학협력단 물체의 정확한 3 차원 윤곽 정보 획득을 위한 동적 계획법기반 선형 레이저 광선영상의 최적 자취 검출

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090050506A (ko) 2007-11-16 2009-05-20 전북대학교산학협력단 물체의 정확한 3 차원 윤곽 정보 획득을 위한 동적 계획법기반 선형 레이저 광선영상의 최적 자취 검출

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
1. 이호승외, "벨로다인과 영상 센서의 자율주행 환경인지"로봇과 인간, 2013년 로봇공학회지 제10권 제3호, 13page~19page.
2. 이우주, "환경변화에 강인한 원거리 다중객체 탐지 및 추적시스템에 관한 연구"전남대학교 2010년 컴퓨터정보통신공학
Azim, Asma, and Olivier Aycard. "Detection, classification and tracking of moving objects in a 3D environment." Intelligent Vehicles Symposium (IV), 2012 IEEE. IEEE, 2012. *
Choi, Jaebum, et al. "Multi-Target Tracking using a 3D-Lidar sensor for autonomous vehicles." Intelligent Transportation Systems-(ITSC), 2013 16th International IEEE Conference on. IEEE, 2013. *
Himmelsbach, Michael, et al. "LIDAR-based 3D object perception." Proceedings of 1st international workshop on cognition for technical systems. Vol. 1. 2008. *
Wang, Jun, et al. 'Consolidation of Low-quality Point Clouds from Outdoor Scenes.' Computer Graphics Forum. Vol. 32. No. 5. Blackwell Publishing Ltd, 2013. *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10366282B2 (en) 2016-06-09 2019-07-30 Daegu Gyeongbuk Institute Of Science And Technology Human detection apparatus and method using low-resolution two-dimensional (2D) light detection and ranging (LIDAR) sensor
WO2019212113A1 (ko) * 2018-05-03 2019-11-07 충북대학교 산학협력단 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법
CN110378904A (zh) * 2018-07-09 2019-10-25 北京京东尚科信息技术有限公司 对点云数据进行分割的方法和装置
CN110378904B (zh) * 2018-07-09 2021-10-01 北京京东尚科信息技术有限公司 对点云数据进行分割的方法和装置
CN110039538A (zh) * 2019-04-03 2019-07-23 华中科技大学 一种基于大型复杂构件点云信息的机器人轨迹规划方法
KR102195164B1 (ko) * 2019-04-29 2020-12-24 충북대학교 산학협력단 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법
KR20200126141A (ko) 2019-04-29 2020-11-06 충북대학교 산학협력단 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법
CN110673107A (zh) * 2019-08-09 2020-01-10 北京智行者科技有限公司 基于多线激光雷达的路沿检测方法及装置
KR20220053272A (ko) * 2020-10-22 2022-04-29 주식회사 아이티테크 딥러닝 기반의 객체 인식을 통한 가축 관리 방법
KR102527322B1 (ko) * 2020-10-22 2023-05-03 주식회사 아이티테크 딥러닝 기반의 객체 인식을 통한 가축 관리 방법
KR20230036243A (ko) 2021-09-07 2023-03-14 충북대학교 산학협력단 영상과 라이다를 이용한 실시간 3차원 물체 인식 및 추적 시스템
KR102685361B1 (ko) * 2021-09-17 2024-07-17 (주)오토노머스에이투지 라이다를 이용하여 이동 오브젝트에 대한 판단을 수행하기 위한 방법 및 이를 이용한 서버
KR102685362B1 (ko) * 2021-09-17 2024-07-17 (주)오토노머스에이투지 고정된 라이다를 이용하여 정밀 지도를 생성하는 방법 및 이를 이용한 서버
KR102378643B1 (ko) * 2021-09-24 2022-03-25 (주)뷰런테크놀로지 라이다 포인트 데이터의 지면 및 천장 판단 방법 및 시스템

Similar Documents

Publication Publication Date Title
KR101628155B1 (ko) Ccl을 이용한 실시간 미확인 다중 동적물체 탐지 및 추적 방법
CN108152831B (zh) 一种激光雷达障碍物识别方法及***
Asvadi et al. 3D object tracking using RGB and LIDAR data
US11209284B2 (en) System and method for creating driving route of vehicle
Chen et al. Gaussian-process-based real-time ground segmentation for autonomous land vehicles
EP2948927B1 (en) A method of detecting structural parts of a scene
US8199977B2 (en) System and method for extraction of features from a 3-D point cloud
EP3229041A1 (en) Object detection using radar and vision defined image detection zone
JP5023186B2 (ja) ３ｄワーピング手法と固有対象物運動（ｐｏｍ）の検出の組み合わせに基づく対象物の動き検出システム
Rodríguez Flórez et al. Multi-modal object detection and localization for high integrity driving assistance
US20200057160A1 (en) Multi-object tracking based on lidar point cloud
KR101864127B1 (ko) 무인 차량을 위한 주변 환경 매핑 방법 및 장치
McManus et al. Distraction suppression for vision-based pose estimation at city scales
Bucci et al. Comparison of feature detection and outlier removal strategies in a mono visual odometry algorithm for underwater navigation
Sakic et al. Camera-LIDAR object detection and distance estimation with application in collision avoidance system
Muresan et al. Multimodal sparse LIDAR object tracking in clutter
CN117808689A (zh) 基于毫米波雷达与摄像头融合的深度补全方法
CN113255779A (zh) 多源感知数据融合识别方法、***及计算机可读存储介质
CN114384486A (zh) 一种数据处理方法及装置
Hong et al. Visual odometry for outdoor environment using a downward-tilting camera and self-shadow removal algorithm
Zhang et al. Visual odometry based on random finite set statistics in urban environment
US11514588B1 (en) Object localization for mapping applications using geometric computer vision techniques
JP2016004382A (ja) 動き情報推定装置
Drulea et al. An omnidirectional stereo system for logistic plants. Part 2: stereo reconstruction and obstacle detection using digital elevation maps
Lee et al. Realtime object-aware monocular depth estimation in onboard systems

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190604

Year of fee payment: 4