KR102168288B1 - 다중 라이다를 이용한 다중 물체 추적 시스템 및 방법 - Google Patents

다중 라이다를 이용한 다중 물체 추적 시스템 및 방법 Download PDF

Info

Publication number
KR102168288B1
KR102168288B1 KR1020190058679A KR20190058679A KR102168288B1 KR 102168288 B1 KR102168288 B1 KR 102168288B1 KR 1020190058679 A KR1020190058679 A KR 1020190058679A KR 20190058679 A KR20190058679 A KR 20190058679A KR 102168288 B1 KR102168288 B1 KR 102168288B1
Authority
KR
South Korea
Prior art keywords
track
model
covariance
state
probability
Prior art date
Application number
KR1020190058679A
Other languages
English (en)
Inventor
김곤우
수알레 무하마드
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020190058679A priority Critical patent/KR102168288B1/ko
Application granted granted Critical
Publication of KR102168288B1 publication Critical patent/KR102168288B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/90—Lidar systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

본 발명의 다중 라이다 센서를 이용하여 인식된 다중 물체에 대한 추적을 수행하는 다중 물체 추적 시스템에서, 인식된 물체의 데이터에 대한 데이터 연관 작업을 수행하여, 기존 트랙 또는 새롭게 생성된 트랙에 할당하기 위한 데이터 연관 모듈, 상기 데이터 연관 모듈에서 트랙에 할당된 물체의 운동 상태를 추정하기 위한 상태 추정 모듈, 가짜 트랙을 취소하고, 트랙을 유지하고 관리하기 위한 트랙 관리 모듈 및 인식된 물체에 대한 추적 작업을 수행한 결과인 추적 정보를 시각화하여 표출하고, 외부에 전송하기 위한 시각화 모듈을 포함한다.
본 발명에 의하면, 다중 라이다를 이용하여 다중 물체 추적 시스템 및 방법을 제안함으로써, 보다 효율적이고 정확한 물체 추적이 가능하다는 효과가 있다.

Description

다중 라이다를 이용한 다중 물체 추적 시스템 및 방법 {System and method for tracking multiple object using multi-LiDAR}
본 발명은 다중 물체 추적 기술에 관한 것으로서, 더욱 상세하게는 다중 라이다를 이용한 다중 물체 추적 기술에 관한 것이다.
무인차량의 자유주행을 위해서는 전방의 동적 물체를 탐지하여 물체의 동적 움직임을 추정한 후 자율 주행 경로를 생성하여야 한다. 현재 레이다, 카메라 등을 이용한 동적물체 탐지 추적 기법에 많은 연구가 진행되고 있으며 최근 레이져 스캐너의 가격 하락에 힘입어 일반 자동차 업체들 또한 운전자 보조 시스템(driver-assistance system) 탑재가 대중화 되고 있다.
레이져 스캐너를 이용한 이동물체 탐지를 하기 위해서는 각각의 레이져 포인터를 깊이값으로 환산하여 탑재차량의 주위에 대한 포인트 클라우드(Point cloud)를 생성하게 된다. 생성된 포인트 클라우드에서 각각의 포인트는 어떠한 의미를 가지고 있지 않기 때문에 이동물체 탐지 추적을 위해서는 먼저 클러스터링 기법을 통하여 포인트들을 묶어서 하나의 물체로 표현한다.
이처럼, 자율 주행에서 환경 인식은 필수적이며 복잡한 도시 시나리오와 같이 복잡하고 복잡한 환경에서 견고성을 요구한다.
운전자가 관리 할 수 있는 모든 도로 및 환경 조건에서 모든 운전 업무를 수행 할 수 있는 자동화 된 주행 시스템은 국제 SAE(Society of Automotive Engineers)에서 최고 수준의 자동화로 분류된다. ADA(Advanced Driving Assists)는 상업적으로 이용 가능하지만 인간의 개입이 필요하거나 특정 환경 조건에서 작동하는 경우도 있다. 이러한 자율성의 실현은 다중 물체 인식 및 추적(Multiple Object Detection and Tracking, MODT)과 같은 관련 연구 영역에 대해 거대한 요구 사항을 제시하고, 주변 환경에서 공존하는 엔티티의 동적 속성을 이해하는 것이 전반적인 자동화를 향상시키는 데 중요하다. 이는 로컬라이제이션(localization), 매핑(mapping) 및 모션 계획(motion planning)의 품질에 직접적인 영향을 미친다.
지난 10 년 동안 카메라에 대한 인식을 통해 수많은 MODT 접근법이 전통적으로 연구되어 왔으며, 이에 대한 자세한 검토가 이루어졌다. 이에 의하면, 물체는 2D 좌표계 또는 스테레오 설정의 3D 좌표계에서, 카메라 기준 프레임에 감지되어 각각 2D 또는 3D 궤적을 생성한다. 그러나, 정확하지 않은 카메라 기하학을 이용여 공간 정보가 산출되며, FOV(Field of view)는 제한적이다. 또한, 카메라 기반 접근법은 객체 절단, 조명 조건, 고속 타겟, 센서 모션 및 타겟 간의 상호 작용을 포함하여 다양한 문제에 직면하고 있다.
최근, 넓은 파노라마 배경 정보를 제공하는 라이다(Light Detector and Ranging, LiDAR)기술이 대안 기술로서 점차 대중화되고 있다. 라이다는 10-15 Hz의 합리적인 속도로 최대 100m에 이르는 넓은 파노라믹 측정을 제공하기 때문에, MODT 작업을위한 이상적인 센서이다.
그러나, 라이다 기반 MODT 프레임 워크에서 효율적인 물체 인식 및 추적이 어렵고, MODT의 실제 구현에 있어서 제한된 계산 자원을 사용하여 복잡한 도시 환경의 실시간 성능을 구현하기 어렵다는 문제점이 있다.
대한민국 등록특허 10-1655606
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 제한된 자원을 이용하여 효율적으로 다중 물체를 추적할 수 있는 다중 물체 추적 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명의 다중 라이다 센서를 이용하여 인식된 다중 물체에 대한 추적을 수행하는 다중 물체 추적 시스템에서, 인식된 물체의 데이터에 대한 데이터 연관 작업을 수행하여, 기존 트랙 또는 새롭게 생성된 트랙에 할당하기 위한 데이터 연관 모듈, 상기 데이터 연관 모듈에서 트랙에 할당된 물체의 운동 상태를 추정하기 위한 상태 추정 모듈, 가짜 트랙을 취소하고, 트랙을 유지하고 관리하기 위한 트랙 관리 모듈 및 인식된 물체에 대한 추적 작업을 수행한 결과인 추적 정보를 시각화하여 표출하고, 외부에 전송하기 위한 시각화 모듈을 포함한다.
상기 상태 추정 모듈은, 다른 모션 패턴을 캡쳐하기 위한 IMM(Interactive Multiple Model), 모션 모델의 비선형성을 처리하기 위한 UKF(Unscented Kalman Filter) 및 클루터(clutter) 존재시 상기 물체에 대한 측정 데이터를 연관시키기 위한 JPDAF(Joint Probabilistic Data Association Filter)를 포함하는 IMM-UKF-JPDAF를 이용하여 물체의 운동 상태를 추정할 수 있다.
상기 트랙 관리 모듈은, 트랙을 초기화하고 트랙의 유효성을 검사하는 초기화 및 유효성 검사 과정과, 불필요한 트랙을 제거하기 위한 트랙 가지 치기 과정과, 트랙 초기화가 진행된 후에 요, 속도 및 각속도 매개 변수를 업데이트하는 운동학적 매개 변수 업데이트 과정을 수행할 수 있다.
본 발명의 다중 라이다 센서를 이용하여 인식된 다중 물체에 대한 추적을 수행하는 다중 물체 추적 시스템에서의 다중 물체 추적 방법에서, 인식된 물체의 데이터에 대한 데이터 연관 작업을 수행하여, 기존 트랙 또는 새롭게 생성된 트랙에 할당하기 위한 데이터 연관 단계, 상기 데이터 연관 단계에서 트랙에 할당된 물체의 운동 상태를 추정하기 위한 상태 추정 단계, 가짜 트랙을 취소하고, 트랙을 유지하고 관리하기 위한 트랙 관리 단계 및 인식된 물체에 대한 추적 작업을 수행한 결과인 추적 정보를 시각화하여 표출하고, 외부에 전송하기 위한 시각화 단계를 포함한다.
상기 상태 추정 단계는, 다른 모션 패턴을 캡쳐하기 위한 IMM(Interactive Multiple Model), 모션 모델의 비선형성을 처리하기 위한 UKF(Unscented Kalman Filter) 및 클루터(clutter) 존재시 상기 물체에 대한 측정 데이터를 연관시키기 위한 JPDAF(Joint Probabilistic Data Association Filter)를 포함하는 IMM-UKF-JPDAF를 이용하여 물체의 운동 상태를 추정할 수 있다.
상기 트랙 관리 단계는, 트랙을 초기화하고 트랙의 유효성을 검사하는 초기화 및 유효성 검사 과정과, 불필요한 트랙을 제거하기 위한 트랙 가지 치기 과정과, 트랙 초기화가 진행된 후에 요, 속도 및 각속도 매개 변수를 업데이트하는 운동학적 매개 변수 업데이트 과정을 수행할 수 있다.
본 발명에 의하면, 다중 라이다를 이용하여 다중 물체 추적 시스템 및 방법을 제안함으로써, 보다 효율적이고 정확한 물체 추적이 가능하다는 효과가 있다.
또한, 본 발명에 의하면 물체 추적을 위한 연산과정을 단순화함으로써, 제한된 자원의 성능을 최대한 활용하여 물체 추적을 위한 연산을 수행할 수 있다는 장점이 있다.
또한, 본 발명에 의하면, 다중 라이다를 이용하여 다중 물체를 추적할 수 있으므로, 자율 주행 차량 관련 기술에 있어서 유용하게 사용될 것으로 기대된다.
도 1은 본 발명의 일 실시예에 따른 다중 물체 추적 시스템의 내부 구성을 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 다중 물체 추적 방법을 보여주는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 트랙 클러스터링을 예시한 것이다.
도 4는 본 발명의 일 실시예에 따른 나뭇가지 아래에서 차량과 보행자의 인식 및 추적을 보여주는 예시도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 발명에서는 물체 지각을 위한 다중 라이다(LiDAR)를 구비하는 MODT(Multiple Object Detection and Tracking) 프레임워크를 제안한다.
본 발명에서 다중 물체 추적 시스템은 인식된 물체의 위치, 경로, 진행 각도, 속도 및 각속도를 결정하기 위하여, 물체를 인식한 결과인 측정치를 사용한다.
또한, 본 발명에서 추적된 모든 객체는 본질적으로 고유한 식별 정보를 전달해야 한다. 환경 인식의 경우처럼, 상기 측정치는 자율 주행 차량의 제어 및 의사 결정에 통합 될 수있는 경우에만 유용하다.
본 발명은 다중 라이다 센서를 이용하여 인식된 다중 물체에 대한 추적을 수행하는 다중 물체 추적 시스템 및 방법에 대한 것이다.
도 1은 본 발명의 일 실시예에 따른 다중 물체 추적 시스템의 내부 구성을 보여주는 블록도이다.
도 1을 참조하면, 본 발명의 다중 물체 추적 시스템은 데이터 연관(Data Association) 모듈(110), 상태 추정 모듈(120), 트랙 관리 모듈(130), 시각화 모듈(140)을 포함한다.
데이터 연관 모듈(110)은 인식된 물체의 데이터에 대한 데이터 연관 작업을 수행하여, 기존 트랙 또는 새롭게 생성된 트랙에 할당한다.
상태 추정 모듈(120)은 데이터 연관 모듈(110)에서 트랙에 할당된 물체의 운동 상태를 추정한다.
트랙 관리 모듈(130)은 가짜 트랙을 취소하고, 트랙을 유지하고 관리한다.
시각화 모듈(140)은 인식된 물체에 대한 추적 작업을 수행한 결과인 추적 정보를 시각화하여 표출하고, 외부에 전송한다.
상태 추정 모듈(120)은 다른 모션 패턴을 캡쳐하기 위한 IMM(Interactive Multiple Model), 모션 모델의 비선형성을 처리하기 위한 UKF(Unscented Kalman Filter) 및 클루터(clutter) 존재시 상기 물체에 대한 측정 데이터를 연관시키기 위한 JPDAF(Joint Probabilistic Data Association Filter)를 포함하는 IMM-UKF-JPDAF를 이용하여 물체의 운동 상태를 추정할 수 있다.
트랙 관리 모듈(130)은 트랙을 초기화하고 트랙의 유효성을 검사하는 초기화 및 유효성 검사 과정과, 불필요한 트랙을 제거하기 위한 트랙 가지 치기 과정과, 트랙 초기화가 진행된 후에 요, 속도 및 각속도 매개 변수를 업데이트하는 운동학적 매개 변수 업데이트 과정을 수행할 수 있다.
도 2는 본 발명의 일 실시예에 따른 다중 물체 추적 방법을 보여주는 흐름도이다.
도 2를 참조하면, 본 발명의 다중 물체 추적 방법은 데이터 연관(Data Association) 단계(S110), 상태 추정 단계(S120), 트랙 관리 단계(S130), 시각화 단계(S140)를 포함한다.
데이터 연관 단계(S110)에서는 인식된 물체의 데이터에 대한 데이터 연관 작업을 수행하여, 기존 트랙 또는 새롭게 생성된 트랙에 할당한다.
상태 추정 단계(S120)에서는 데이터 연관 단계(S110)에서 트랙에 할당된 물체의 운동 상태를 추정한다.
트랙 관리 단계(S130)에서는 가짜 트랙을 취소하고, 트랙을 유지하고 관리한다.
시각화 단계(S140)에서는 인식된 물체에 대한 추적 작업을 수행한 결과인 추적 정보를 시각화하여 표출하고, 외부에 전송한다.
본 발명에서 상태 추정 단계(S120)에서는 다른 모션 패턴을 캡쳐하기 위한 IMM(Interactive Multiple Model), 모션 모델의 비선형성을 처리하기 위한 UKF(Unscented Kalman Filter) 및 클루터(clutter) 존재시 상기 물체에 대한 측정 데이터를 연관시키기 위한 JPDAF(Joint Probabilistic Data Association Filter)를 포함하는 IMM-UKF-JPDAF를 이용하여 물체의 운동 상태를 추정할 수 있다.
본 발명에서 트랙 관리 단계(S130)에서는 트랙을 초기화하고 트랙의 유효성을 검사하는 초기화 및 유효성 검사 과정과, 불필요한 트랙을 제거하기 위한 트랙 가지 치기 과정과, 트랙 초기화가 진행된 후에 요, 속도 및 각속도 매개 변수를 업데이트하는 운동학적 매개 변수 업데이트 과정을 수행할 수 있다.
라이다(LiDAR)를 사용하여 도시 시나리오에서 객체를 추적하는 작업은 어클루젼(occlusin), 유사하지 않은 동작 패턴 및 혼란을 포함하는 몇 가지 문제를 해결해야 한다. 어클루젼(occlusion)이라는 용어는 자율 주행 차량의 포즈 또는 측정을 방해하는 대상으로 인해 불완전한 공간 정보의 가능성을 나타낸다. 이로 인해 객체가 부분적으로 또는 전체적으로 폐색될 수 있다. 부분 폐색은 프레임 워크의 탐지 구성 요소에 의해 처리될 수 있고, 추적된 물체에 대한 완전한 방해는 위치의 불확실성에 영향을 미친다. 또한, 도시 시나리오의 객체는 자세와 속도의 일관된 변화와 같이 유사하지 않은 동작 패턴을 따르는 경향이 있다. 또한 많은 물체가 서로 가까이에 존재할 수 있기 때문에 불규칙성이 높아져 측정 불확실성이 증가한다.
추적 구성 요소는 모션 및 혼란으로 인한 두 가지 주요 불확실성의 존재를 해결해야 한다. 따라서, 본 발명에서는 추적하는 동안 불확실성을 해결하기 위해 두 개의 필터가 설정된다. 모션 불확실성에 대한 필터에는 모션 패턴이 불확실한 객체를 추적하는 다중 모션 모델이 있는 시스템이 통합되어 있다. 반면, 클러 터 필터(clutter filter)는 추적된 객체가 가까이에 있을 때 발생하는 불확실성을 해결하기 위해 확률적 데이터 연관성 접근법을 사용한다. 그러나 언급된 두 필터는 서로 다른 단계에서 수행되는 필터링과 함께 단일 추적 체계로 결합 될 수 있다.
본 발명에서 제안한 프레임워크에서 IMM(Interacting Motion Model)은 모델의 비선형 성을 처리하기 위해 UKF(Unscented Kalman Filter)와 결합된 객체의 다른 모션 패턴을 레버에 배치하기 위해 배포된다. 반면, JPDAF(Joint Probabilistic Data Association Filter)는 UKF의 데이터 연관 단계에서 적용된 혼란으로 인한 불확실성을 해결하는 데 사용된다. 본 발명에서는 두 필터의 개성을 포괄하는 필터를 IMM-UKF-JPDAF라고 명명하기로 한다.
본 발명에서 IMM-UKF-JPDAF를 구현하는 것은 클러터(clutter)가 있을 때, 점프 마르코프 비선형(jump Markov non-linear) 시스템에 의해 설명되는 타겟의 상태 및 모드 확률을 재귀적으로 추정하는 문제를 효과적으로 해결하기 위한 접근법이다.
r개 모델의 집합
Figure 112019051180885-pat00001
을 형성하는 비선형 확률 상태 공간 모델을 수학식 (1)와 (2)로 나타낸다.
Figure 112019051180885-pat00002
(1)
Figure 112019051180885-pat00003
(2)
여기서, 입력 벡터는
Figure 112019051180885-pat00004
이고, 측정 벡터는 zk이고, f는 시스템이고, h는 측정 함수를 나타낸다. 또한, w, v는 제로-평균 가우시안 잡은 시퀀스를 특징짓고, 각각 서로 독립적인 공분산 행렬 Q 및 R이다.
r 모델들 사이에서 시스템의 진행은 시불변 마르코비안 모델 전이 확률 행렬의 최상부에서 작동하는 1 차 마르코프 체인으로 간주되며, 다음과 같은 식으로 나타낼 수 있다.
Figure 112019051180885-pat00005
(3)
여기서, 행렬의 요소 pij는 모델 i에서 j로의 모드 전이 확률을 나타낸다.
본 발명에서 IMM-UKF-PDA의 유사한 접근법은 5 단계 과정으로 구성된다. 즉, (1) 상호 작용, (2) 상태 예측 및 측정 밸리데이션, (3) 데이터 연관 및 모델 특정 필터링, (4) 모드 확률 업데이트 및 (5) 조합 단계이다. 각 단계의 과정은 수학적 표현과 함께 다음과 같이 설명하기로 한다.
(1) 상호 작용 단계(Interaction step)
상호 작용 단계에서, 각 모델 필터에 대응하는 초기 상태 및 공분산은 확률 적으로 이전 타임 스탬프의 상태 및 공분산과 혼합된다.
Figure 112019051180885-pat00006
(4)
Figure 112019051180885-pat00007
(5)
여기서,
Figure 112019051180885-pat00008
는 시스템이 이전 타임 스탬프의 모드 i에서 현재 시간주기의 모드 j로 전이했음을 나타내는 조건부 모드 확률을 나타내고, 다음과 같이 계산된다.
Figure 112019051180885-pat00009
(6)
조건부 모드 확률은 현재 프레임의 선험적인 모드 확률,
Figure 112019051180885-pat00010
에 의존하고, 이는 이전 프레임의 모드 확률의 예측과 수학식 (3)에서의 행렬 요소
Figure 112019051180885-pat00011
에 의해 기술된다.
(2) 상태 예측 및 유효성 검사 단계
상호 작용 단계로부터 초기 상태 및 공분산이 얻어지면, 예측 단계가 실행된다. 각 모델은 각각의 확률론적 비선형 모델을 통해 현재 상태를 개별적으로 예측한다. 비선형성 때문에 UKF는 예측된 상태와 공분산을 추정하기 위해 전개된다.
Figure 112019051180885-pat00012
(7)
Figure 112019051180885-pat00013
(8)
Figure 112019051180885-pat00014
(9)
Figure 112019051180885-pat00015
(10)
초기에 는 행렬 형태
Figure 112019051180885-pat00016
에서 2n + 1 시그마 포인트 Xi(i=0,... 2n)는 각 필터의 혼합된 초기 공분산의 제곱근 분해에 의해 선택된다. 각 시그마 포인트는 두 개의 스칼라 웨이트(weights)
Figure 112019051180885-pat00017
와
Figure 112019051180885-pat00018
를 가지고 있으며, 다음 식과 같이 나타낼 수 있다.
Figure 112019051180885-pat00019
(11)
Figure 112019051180885-pat00020
(12)
Figure 112019051180885-pat00021
(13)
Figure 112019051180885-pat00022
(14)
여기서,
Figure 112019051180885-pat00023
는 스칼라 파라미터이다. 이러한 시그마 포인트는 시스템 함수 f로 다루어지지만, 평균 및 공분산은 계산된 가중치를 통해 검색된다. 이어서, Qk - 1와 함께 예측 된 평균 및 공분산이 새로운 시그마 포인트를 찾는 데 사용된다. 이 포인트들은 함수 h를 통해 전달된다. 이것은 각 모델에 대해 전파된 시그마 포인트 Ki로부터 관련 혁신 공분산 행렬 Sk와 함께 선험적 측정치
Figure 112019051180885-pat00024
를 제공한다.
이제, N 개의 측정치 세트
Figure 112019051180885-pat00025
를 갖는 시간 단계 k에서의 객체에 대한 트랙
Figure 112019051180885-pat00026
를 고려하자. 하나의 타겟 q의 타원형 유효화 게이트 G(q) 내에 있으면 측정은 유효한 것으로 간주된다. 객체 q의 유효성 검사 게이트는 M의 모든 모델에 대해 동일하게 취해지며 가장 큰 면적을 초래하는 모델이 선택된다. 각 트랙 q에 대한 유효화 게이트는 다음과 같이 주어진다.
Figure 112019051180885-pat00027
(15)
게이트는
Figure 112019051180885-pat00028
에 입력되며, 여기서 iq는 모델 집합에서 가장 큰 잔차 공분산에 해당하는 모델의 인덱스이다. 또한, 게이트 임계 값 γG는 게이트 확률
Figure 112019051180885-pat00029
를 갖는 역 카이 제곱(inverse chi-square) 누적 분포로부터 얻어진다. 결과적으로, Nk≤N이 되도록 유효화된 일련의 측정치
Figure 112019051180885-pat00030
가 객체 q의 모든 모델에 대해 얻어진다.
(3) 데이터 연관 및 모델 특정 필터링 단계(Data Association and Model Specific Filtering Step)
JPDAF의 핵심 동작은 한계 사건 θj,q의 정의와 해당 조건부 합동 확률의 평가이다. 한계 연관 이벤트는
Figure 112020057426909-pat00031
와 같은 객체 q와 측정 yj,k가 연관될 때 효과적이라고 할 수 있다. 반면에, qj에 대한 다중 측정치 yj,k가 유효화 될 때, 연계 이벤트
Figure 112020057426909-pat00032
가 발생한다. 이 정보에 기초하여, 검증 행렬 Ω = [ωjq]가 계산될 수있다. 여기서, ωjq는 측정 j가 연관 이벤트 θ에서 트랙 q의 유효화 게이트에 놓여 있음을 나타내는 이진 변수이다. 검증 행렬은 조인트 연관 이벤트를 행렬 형태
Figure 112020057426909-pat00033
로 나타내기 위해 사용될 수도 있으며, 식으로 나타내면 다음과 같다.
Figure 112019051180885-pat00034
(16)
연관 매트릭스가 채워지면, 측정치 간주가 거짓 알람이 되는 것을 포함하여 모든 가능한 이벤트 발생에 대한 가설이 생성된다. 연관 가설이 증가하는 대규모 연관 매트릭스의 경우, 이는 조합 폭발 문제로 간주되는 과도한 계산 부담을 초래한다. 이 문제를 완화하기 위해, 이 작업에서 클러스터링 기법을 배치하여 가설 건물을 관련 사건의 클러스터로 제한한다.
도 3은 본 발명의 일 실시예에 따른 트랙 클러스터링을 예시한 것이다. 도 3은 클러스터된 연관이 있는 연관 매트릭스를 보여준다.
클러스터의 수는 한계 및 공동 연계 이벤트의 합과 같다. 한계 이벤트에 속하는 클러스터는 연관성을 추적하기 위한 단일 측정을 포함하며, 가설은 거짓 긍적 확률을 포함한다. 반면, 공동 연계 이벤트의 클러스터에 대한 가설은 측정 가능성이 거짓 긍정임을 포함하여 가능한 모든 조합 확률 조합의 가능성을 계산한다.
이처럼, 클러스터링 기법은 복잡한 환경에서 자연스럽게 성장하는 가설 조합 수를 줄이는 데 도움이 된다. 또한 연속적인 시간 프레임에서 어떤 측정도 연관되지 않으면, 트랙 예측의 공분산 분산이 증가하고 연관을 위한 게이트 영역도 증가한다. 더 큰 게이트 면적은 또한 많은 수의 공동 연계 이벤트를 초래한다.
(4) 모드 확률 업데이트 단계
모드 확률 업데이트 단계는
Figure 112019051180885-pat00035
으로 계산된 가우시안-균일 혼합 모델 우도 λj,k를 사용한 최적 적합 측정 기반 모드 확률 μq,k를 업데이트한다.
Figure 112019051180885-pat00036
(17)
(5) 조합 단계
이 단계에서 IMM-UKF-JPDAF는 개개의 모형 우도의 도움으로 상태, 공분산 및 모드 확률을 재귀적으로 추정한다. 추적 작업의 마지막 단계에서 개별 필터 상태와 공분산은 트랙의 모드 확률을 사용하여 단일 가중 출력에 결합된다.
Figure 112019051180885-pat00037
(18)
본 발명에서 추적 패러다임은 관련 불확실성을 처리하고 실행 가능한 정보를 유지 및 제공하기 위한 효율적인 관리 메커니즘을 필요로 한다. 트랙 관리의 주요 목적은 완전한 오클루전(occlusion)을 거친 객체의 트랙을 유지하고, 재현시 트랙 조각화를 수행하는 것이다. 또한, 위양성 측정(false positive measurements)과 관련된 트랙의 가지 치기(pruning)가 요구된다. 모듈과 관련된 작업을 설명하면 다음과 같다.
첫번째는 추적 초기화 및 유효성 검사이다.
각 트랙에는 트랙의 상태를 나타내는 두 개의 숫자 플래그 변수가 있으며 성숙도 및 손실이라는 레이블이 붙어 있다. 성숙도 플래그는 연속적인 시간 단계에서 측정의 성공적인 연결을 계산하는 반면, 손실 플래그는 측정이 트랙과 연관되지 않은 연속적인 시간 단계를 계산한다. 트랙이 초기화되면 플래그는 모두 0으로 설정되고 나중에 그에 따라 증가된다. 만기 횟수가 5보다 커지면 추적이 유효하다. 이는 트랙이 유효한 것으로 간주되기 위해 적어도 5 개의 초기 연속 시간 단계에서 측정을 가져야 함을 의미한다. 성숙된 트랙은 20 개의 연속된 시간 단계와 관련된 측정을 중지하고 추적이 중단된다. 이 기간 동안 객체는 일시적으로 가려진 것으로 간주된다. 잃어버린 상태의 트랙 예측은 가려진 객체가 모드, 제목 및 속도를 유지한다는 가정하에 수행된다. 트랙이 잃어버린 상태로 들어가면, 불확실성이 증가하기 시작하고, 트랙을 20 프레임 이상 유지하면 잘못된 연관성이 발생할 가능성이 높아진다.
두번째는 트랙 가지 치기이다.
여러 개의 트랙이 5 개 이상의 연속된 시간 간격 동안 동일한 오브젝트 (복제 트랙)와 연관되지 않도록 하기 위해 체크가 설정된다. 모든 트랙의 상태는 임계값 유클리드 거리 한계가 1 미터 미만인 모든 시간 단계에서 통과된다. 그리고, 한정된 트랙 세트 중 가장 높은 성숙도를 가진 트랙만 유지되고 나머지는 제거됩니다.
세번째는 운동학적 매개 변수 업데이트이다.
상태 공간 모델은 요(yaw), 속도 및 각속도 매개 변수를 정확하게 업데이트할 수 없다는 문제가 있다. 이 문제에 대해 추적 기록이 유지되고 이전의 5 개 주 정보가 추정된다. 또한, 트랙 초기화 후 처음 5 개 프레임은 새로 검증된 트랙의 보다 정확한 파라미터 추정을 보장한다. 검출기로부터의 표제 정보는 오클루전 현상으로 인해 신뢰할 수 없다. 따라서 물체의 표제는 물체의 검출기와 추적 이력 모두로부터 추정되므로 더 신뢰성이 있다. 그러므로, 매 갱신 단계마다, 트랙 이력을 통합함으로써, 추정된 기구학적 파라미터는 후속 시간 단계에서보다 정확한 예측을 위한 대상 상태로 통합된다.
요약하면, IMM-UKF-JPDAF는 오클루전(occlusion)과 클루터(clutter)와 관련된 불확실성을 해소하기 위해 두 가지 필터의 조합으로 구현된다. 조합 폭발의 JPDAF 단점은 클러스터링의 완화 전략에 의해 접근된다. 제안된 결합 필터의 재귀 적 동작은 업데이트 된 객체 상태, 공분산 및 모드를 제공한다. 이 데이터는 트랙 관리 모듈을 통해 관리 및 유지 관리되어, 효율적으로 정보를 산출하고 V2X를 통해 플랫폼에서 공유할 수 있다.
도 4는 본 발명의 일 실시예에 따른 나뭇가지 아래에서 차량과 보행자의 인식 및 추적을 보여주는 예시도이다.
도 4에서 (a)는 (b)는 나뭇가지 아래에서 인식된 보행자와 차량을 나타내고 있는데, (a)는 프론트 뷰이고, (b)는 탑 뷰이다.
그리고, 도 4에서 (c)는 초기 단계에서의 추적 경로를 나타내고, (d)는 추적 작업에 의해 생성된 트랙을 나타내고 있다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
100 다중 물체 추적 시스템
110 데이터 연관 모듈
120 상태 추정 모듈
130 트랙 관리 모듈
140 시각화 모듈

Claims (6)

  1. 다중 라이다 센서를 이용하여 인식된 다중 물체에 대한 추적을 수행하는 다중 물체 추적 시스템에서,
    인식된 물체의 데이터에 대한 데이터 연관 작업을 수행하여, 기존 트랙 또는 새롭게 생성된 트랙에 할당하기 위한 데이터 연관 모듈;
    상기 데이터 연관 모듈에서 트랙에 할당된 물체의 운동 상태를 추정하기 위한 상태 추정 모듈;
    가짜 트랙을 취소하고, 트랙을 유지하고 관리하기 위한 트랙 관리 모듈; 및
    인식된 물체에 대한 추적 작업을 수행한 결과인 추적 정보를 시각화하여 표출하고, 외부에 전송하기 위한 시각화 모듈을 포함하고,
    상기 상태 추정 모듈은,
    다른 모션 패턴을 캡쳐하기 위한 IMM(Interactive Multiple Model), 모션 모델의 비선형성을 처리하기 위한 UKF(Unscented Kalman Filter) 및 클루터(clutter) 존재시 상기 물체에 대한 측정 데이터를 연관시키기 위한 JPDAF(Joint Probabilistic Data Association Filter)를 포함하는 IMM-UKF-JPDAF를 이용하여 물체의 운동 상태를 추정하며,
    상기 IMM-UKF-JPDAF를 이용하여 물체의 운동 상태를 추정하는 것은 상호 작용 단계, 상태 예측 및 유효성 검사 단계, 데이터 연관 및 모델 특정 필터링 단계, 모드 확률 업데이트 단계 및 조합 단계로 구성되며,
    r개 모델의 집합
    Figure 112020057426909-pat00042
    을 형성하는 비선형 확률 상태 공간 모델을 수학식을,
    Figure 112020057426909-pat00043
    (1)
    Figure 112020057426909-pat00044
    (2)
    로 나타낼 수 있고,
    여기서, 입력 벡터는
    Figure 112020057426909-pat00045
    이고, 측정 벡터는 zk이고, f는 시스템이고, h는 측정 함수를 나타내고, w, v는 제로-평균 가우시안 시퀀스를 특징짓는 각각 서로 독립적인 공분산 행렬이고,
    r 모델들 사이에서 시스템의 진행은 시불변 마르코비안 모델 전이 확률 행렬의 최상부에서 작동하는 1 차 마르코프 체인으로 간주되며, 이를 다음과 같은 식으로 나타낼 수 있고,
    Figure 112020057426909-pat00046
    (3)
    여기서, 행렬의 요소 pij는 모델 i에서 j로의 모드 전이 확률을 나타내며,
    상기 상호 작용 단계에서, 각 모델 필터에 대응하는 초기 상태 및 공분산은 확률적으로 이전 타임 스탬프의 상태 및 공분산과 혼합되며, 이를,
    Figure 112020057426909-pat00047
    (4)
    Figure 112020057426909-pat00048
    (5)
    로 나타낼 수 있고,
    여기서,
    Figure 112020057426909-pat00049
    는 시스템이 이전 타임 스탬프의 모드 i에서 현재 시간주기의 모드 j로 전이했음을 나타내는 조건부 모드 확률을 나타내고, 다음과 같이 계산되며,
    Figure 112020057426909-pat00050
    (6)
    조건부 모드 확률은 현재 프레임의 선험적인 모드 확률,
    Figure 112020057426909-pat00051
    에 의존하고, 이는 이전 프레임의 모드 확률의 예측과 상기 수학식 (3)에서의 행렬 요소
    Figure 112020057426909-pat00052
    에 의해 기술되고,
    상기 상태 예측 및 유효성 검사 단계에서는 상호 작용 단계로부터 초기 상태 및 공분산이 얻어지면, 예측 단계가 실행되고, 각 모델은 각각의 확률론적 비선형 모델을 통해 현재 상태를 개별적으로 예측하고, 비선형성 때문에 UKF는 예측된 상태와 공분산을 추정하기 위해 전개되며, 이를,
    Figure 112020057426909-pat00053
    (7)
    Figure 112020057426909-pat00054
    (8)
    Figure 112020057426909-pat00055
    (9)
    Figure 112020057426909-pat00056
    (10)
    으로 나타낼 수 있고,
    초기에는 행렬 형태
    Figure 112020057426909-pat00057
    에서 2n + 1 시그마 포인트 Xi(i=0,... 2n)는 각 필터의 혼합된 초기 공분산의 제곱근 분해에 의해 선택되고, 각 시그마 포인트는 두 개의 스칼라 웨이트(weights)
    Figure 112020057426909-pat00058
    와
    Figure 112020057426909-pat00059
    를 가지고 있으며, 다음 식과 같이 나타낼 수 있고,
    Figure 112020057426909-pat00060
    (11)
    Figure 112020057426909-pat00061
    (12)
    Figure 112020057426909-pat00062
    (13)
    Figure 112020057426909-pat00063
    (14)
    여기서,
    Figure 112020057426909-pat00064
    는 스칼라 파라미터이고,
    이러한 시그마 포인트는 시스템 함수 f로 다루어지지만, 평균 및 공분산은 계산된 가중치를 통해 검색되고, Qk-1와 함께 예측 된 평균 및 공분산이 새로운 시그마 포인트를 찾는 데 사용되고, 이 포인트들은 함수 h를 통해 전달되고, 이것은 각 모델에 대해 전파된 시그마 포인트 Ki로부터 관련 혁신 공분산 행렬 Sk와 함께 선험적 측정치
    Figure 112020057426909-pat00065
    를 제공하며,
    N 개의 측정치 세트
    Figure 112020057426909-pat00066
    를 갖는 시간 단계 k에서의 객체에 대한 트랙
    Figure 112020057426909-pat00067
    를 고려할 때, 하나의 타겟 q의 타원형 유효화 게이트 G(q) 내에 있으면 측정은 유효한 것으로 간주되고, 객체 q의 유효성 검사 게이트는 M의 모든 모델에 대해 동일하게 취해지며 가장 큰 면적을 초래하는 모델이 선택되고, 각 트랙 q에 대한 유효화 게이트는 다음과 같이 주어지며,
    Figure 112020057426909-pat00068
    (15)
    게이트는
    Figure 112020057426909-pat00069
    에 입력되며, 여기서 iq는 모델 집합에서 가장 큰 잔차 공분산에 해당하는 모델의 인덱스이고, 또한, 게이트 임계 값 γG는 게이트 확률
    Figure 112020057426909-pat00070
    를 갖는 역 카이 제곱(inverse chi-square) 누적 분포로부터 얻어지고, 결과적으로, Nk≤N이 되도록 유효화된 일련의 측정치
    Figure 112020057426909-pat00071
    가 객체 q의 모든 모델에 대해 얻어지며,
    상기 데이터 연관 및 모델 특정 필터링 단계에서 한계 사건 θj,q의 정의와 해당 조건부 합동 확률의 평가에 있어서, 한계 연관 이벤트는
    Figure 112020057426909-pat00072
    와 같은 객체 qj에 대한 다중 측정치 yj,k가 유효화 될 때, 연계 이벤트
    Figure 112020057426909-pat00073
    가 발생하고, 이 정보에 기초하여, 검증 행렬 Ω = [ωjq]가 계산될 수 있으며,
    여기서, ωjq는 측정 j가 연관 이벤트 θ에서 트랙 q의 유효화 게이트에 놓여 있음을 나타내는 이진 변수이고, 검증 행렬은 조인트 연관 이벤트를 행렬 형태
    Figure 112020057426909-pat00074
    로 나타내기 위해 사용될 수도 있으며, 이를,
    Figure 112020057426909-pat00075
    (16)
    으로 나타낼 수 있고,
    상기 모드 확률 업데이트 단계에서는
    Figure 112020057426909-pat00076
    으로 계산된 가우시안-균일 혼합 모델 우도 λj,k를 사용한 최적 적합 측정 기반 모드 확률 μq,k를 업데이트하고, 이를,
    Figure 112020057426909-pat00077
    (17)
    으로 나타낼 수 있고,
    상기 조합 단계서 IMM-UKF-JPDAF는 개개의 모형 우도의 도움으로 상태, 공분산 및 모드 확률을 재귀적으로 추정하고, 마지막 단계에서 개별 필터 상태와 공분산은 트랙의 모드 확률을 사용하여 단일 가중 출력에 결합되고, 이를,
    Figure 112020057426909-pat00078
    (18)
    로 나타낼 수 있는 것을 특징으로 하는 다중 물체 추적 시스템.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 트랙 관리 모듈은,
    트랙을 초기화하고 트랙의 유효성을 검사하는 초기화 및 유효성 검사 과정과, 불필요한 트랙을 제거하기 위한 트랙 가지 치기 과정과, 트랙 초기화가 진행된 후에 요, 속도 및 각속도 매개 변수를 업데이트하는 운동학적 매개 변수 업데이트 과정을 수행하는 것을 특징으로 하는 다중 물체 추적 시스템.
  4. 다중 라이다 센서를 이용하여 인식된 다중 물체에 대한 추적을 수행하는 다중 물체 추적 시스템에서의 다중 물체 추적 방법에서,
    인식된 물체의 데이터에 대한 데이터 연관 작업을 수행하여, 기존 트랙 또는 새롭게 생성된 트랙에 할당하기 위한 데이터 연관 단계;
    상기 데이터 연관 단계에서 트랙에 할당된 물체의 운동 상태를 추정하기 위한 상태 추정 단계;
    가짜 트랙을 취소하고, 트랙을 유지하고 관리하기 위한 트랙 관리 단계; 및
    인식된 물체에 대한 추적 작업을 수행한 결과인 추적 정보를 시각화하여 표출하고, 외부에 전송하기 위한 시각화 단계를 포함하며,
    상기 상태 추정 단계는,
    다른 모션 패턴을 캡쳐하기 위한 IMM(Interactive Multiple Model), 모션 모델의 비선형성을 처리하기 위한 UKF(Unscented Kalman Filter) 및 클루터(clutter) 존재시 상기 물체에 대한 측정 데이터를 연관시키기 위한 JPDAF(Joint Probabilistic Data Association Filter)를 포함하는 IMM-UKF-JPDAF를 이용하여 물체의 운동 상태를 추정하고,
    상기 IMM-UKF-JPDAF를 이용하여 물체의 운동 상태를 추정하는 것은 상호 작용 단계, 상태 예측 및 유효성 검사 단계, 데이터 연관 및 모델 특정 필터링 단계, 모드 확률 업데이트 단계 및 조합 단계로 구성되며,
    r개 모델의 집합
    Figure 112020057426909-pat00079
    을 형성하는 비선형 확률 상태 공간 모델을 수학식을,
    Figure 112020057426909-pat00080
    (1)
    Figure 112020057426909-pat00081
    (2)
    로 나타낼 수 있고,
    여기서, 입력 벡터는
    Figure 112020057426909-pat00082
    이고, 측정 벡터는 zk이고, f는 시스템이고, h는 측정 함수를 나타내고, w, v는 제로-평균 가우시안 시퀀스를 특징짓는 각각 서로 독립적인 공분산 행렬이고,
    r 모델들 사이에서 시스템의 진행은 시불변 마르코비안 모델 전이 확률 행렬의 최상부에서 작동하는 1 차 마르코프 체인으로 간주되며, 이를 다음과 같은 식으로 나타낼 수 있고,
    Figure 112020057426909-pat00083
    (3)
    여기서, 행렬의 요소 pij는 모델 i에서 j로의 모드 전이 확률을 나타내며,
    상기 상호 작용 단계에서, 각 모델 필터에 대응하는 초기 상태 및 공분산은 확률적으로 이전 타임 스탬프의 상태 및 공분산과 혼합되며, 이를,
    Figure 112020057426909-pat00084
    (4)
    Figure 112020057426909-pat00085
    (5)
    로 나타낼 수 있고,
    여기서,
    Figure 112020057426909-pat00086
    는 시스템이 이전 타임 스탬프의 모드 i에서 현재 시간주기의 모드 j로 전이했음을 나타내는 조건부 모드 확률을 나타내고, 다음과 같이 계산되며,
    Figure 112020057426909-pat00087
    (6)
    조건부 모드 확률은 현재 프레임의 선험적인 모드 확률,
    Figure 112020057426909-pat00088
    에 의존하고, 이는 이전 프레임의 모드 확률의 예측과 상기 수학식 (3)에서의 행렬 요소
    Figure 112020057426909-pat00089
    에 의해 기술되고,
    상기 상태 예측 및 유효성 검사 단계에서는 상호 작용 단계로부터 초기 상태 및 공분산이 얻어지면, 예측 단계가 실행되고, 각 모델은 각각의 확률론적 비선형 모델을 통해 현재 상태를 개별적으로 예측하고, 비선형성 때문에 UKF는 예측된 상태와 공분산을 추정하기 위해 전개되며, 이를,
    Figure 112020057426909-pat00090
    (7)
    Figure 112020057426909-pat00091
    (8)
    Figure 112020057426909-pat00092
    (9)
    Figure 112020057426909-pat00093
    (10)
    으로 나타낼 수 있고,
    초기에는 행렬 형태
    Figure 112020057426909-pat00094
    에서 2n + 1 시그마 포인트 Xi(i=0,... 2n)는 각 필터의 혼합된 초기 공분산의 제곱근 분해에 의해 선택되고, 각 시그마 포인트는 두 개의 스칼라 웨이트(weights)
    Figure 112020057426909-pat00095
    와
    Figure 112020057426909-pat00096
    를 가지고 있으며, 다음 식과 같이 나타낼 수 있고,
    Figure 112020057426909-pat00097
    (11)
    Figure 112020057426909-pat00098
    (12)
    Figure 112020057426909-pat00099
    (13)
    Figure 112020057426909-pat00100
    (14)
    여기서,
    Figure 112020057426909-pat00101
    는 스칼라 파라미터이고,
    이러한 시그마 포인트는 시스템 함수 f로 다루어지지만, 평균 및 공분산은 계산된 가중치를 통해 검색되고, Qk-1와 함께 예측 된 평균 및 공분산이 새로운 시그마 포인트를 찾는 데 사용되고, 이 포인트들은 함수 h를 통해 전달되고, 이것은 각 모델에 대해 전파된 시그마 포인트 Ki로부터 관련 혁신 공분산 행렬 Sk와 함께 선험적 측정치
    Figure 112020057426909-pat00102
    를 제공하며,
    N 개의 측정치 세트
    Figure 112020057426909-pat00103
    를 갖는 시간 단계 k에서의 객체에 대한 트랙
    Figure 112020057426909-pat00104
    를 고려할 때, 하나의 타겟 q의 타원형 유효화 게이트 G(q) 내에 있으면 측정은 유효한 것으로 간주되고, 객체 q의 유효성 검사 게이트는 M의 모든 모델에 대해 동일하게 취해지며 가장 큰 면적을 초래하는 모델이 선택되고, 각 트랙 q에 대한 유효화 게이트는 다음과 같이 주어지며,
    Figure 112020057426909-pat00105
    (15)
    게이트는
    Figure 112020057426909-pat00106
    에 입력되며, 여기서 iq는 모델 집합에서 가장 큰 잔차 공분산에 해당하는 모델의 인덱스이고, 또한, 게이트 임계 값 γG는 게이트 확률
    Figure 112020057426909-pat00107
    를 갖는 역 카이 제곱(inverse chi-square) 누적 분포로부터 얻어지고, 결과적으로, Nk≤N이 되도록 유효화된 일련의 측정치
    Figure 112020057426909-pat00108
    가 객체 q의 모든 모델에 대해 얻어지며,
    상기 데이터 연관 및 모델 특정 필터링 단계에서 한계 사건 θj,q의 정의와 해당 조건부 합동 확률의 평가에 있어서, 한계 연관 이벤트는
    Figure 112020057426909-pat00109
    와 같은 객체 qj에 대한 다중 측정치 yj,k가 유효화 될 때, 연계 이벤트
    Figure 112020057426909-pat00110
    가 발생하고, 이 정보에 기초하여, 검증 행렬 Ω = [ωjq]가 계산될 수 있으며,
    여기서, ωjq는 측정 j가 연관 이벤트 θ에서 트랙 q의 유효화 게이트에 놓여 있음을 나타내는 이진 변수이고, 검증 행렬은 조인트 연관 이벤트를 행렬 형태
    Figure 112020057426909-pat00111
    로 나타내기 위해 사용될 수도 있으며, 이를,
    Figure 112020057426909-pat00112
    (16)
    으로 나타낼 수 있고,
    상기 모드 확률 업데이트 단계에서는
    Figure 112020057426909-pat00113
    으로 계산된 가우시안-균일 혼합 모델 우도 λj,k를 사용한 최적 적합 측정 기반 모드 확률 μq,k를 업데이트하고, 이를,
    Figure 112020057426909-pat00114
    (17)
    으로 나타낼 수 있고,
    상기 조합 단계서 IMM-UKF-JPDAF는 개개의 모형 우도의 도움으로 상태, 공분산 및 모드 확률을 재귀적으로 추정하고, 마지막 단계에서 개별 필터 상태와 공분산은 트랙의 모드 확률을 사용하여 단일 가중 출력에 결합되고, 이를,
    Figure 112020057426909-pat00115
    (18)
    로 나타낼 수 있는 것을 특징으로 하는 다중 물체 추적 방법.
  5. 삭제
  6. 청구항 4에 있어서,
    상기 트랙 관리 단계는,
    트랙을 초기화하고 트랙의 유효성을 검사하는 초기화 및 유효성 검사 과정과, 불필요한 트랙을 제거하기 위한 트랙 가지 치기 과정과, 트랙 초기화가 진행된 후에 요, 속도 및 각속도 매개 변수를 업데이트하는 운동학적 매개 변수 업데이트 과정을 수행하는 것을 특징으로 하는 다중 물체 추적 방법.
KR1020190058679A 2019-05-20 2019-05-20 다중 라이다를 이용한 다중 물체 추적 시스템 및 방법 KR102168288B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190058679A KR102168288B1 (ko) 2019-05-20 2019-05-20 다중 라이다를 이용한 다중 물체 추적 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190058679A KR102168288B1 (ko) 2019-05-20 2019-05-20 다중 라이다를 이용한 다중 물체 추적 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102168288B1 true KR102168288B1 (ko) 2020-10-21

Family

ID=73034465

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190058679A KR102168288B1 (ko) 2019-05-20 2019-05-20 다중 라이다를 이용한 다중 물체 추적 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102168288B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363167A (zh) * 2020-11-02 2021-02-12 重庆邮电大学 一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法
CN112731371A (zh) * 2020-12-18 2021-04-30 重庆邮电大学 一种激光雷达与视觉融合的集成化目标跟踪***及方法
KR102364007B1 (ko) * 2020-12-30 2022-02-16 충북대학교 산학협력단 강인한 적응적 공분산과 이차원 선분 특징을 이용한 다중 이차원 라이다의 자동 캘리브레이션 시스템
KR20220150576A (ko) * 2021-05-04 2022-11-11 인하대학교 산학협력단 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 방법 및 장치
KR20230014403A (ko) * 2021-07-21 2023-01-30 주식회사 신세계아이앤씨 라이다 기반 객체 추적 시스템 및 방법
KR20230036243A (ko) * 2021-09-07 2023-03-14 충북대학교 산학협력단 영상과 라이다를 이용한 실시간 3차원 물체 인식 및 추적 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101402206B1 (ko) * 2014-04-10 2014-05-30 국방과학연구소 운동학 및 형상 정보를 활용한 다중 표적 추적 방법
KR101655606B1 (ko) 2014-12-11 2016-09-07 현대자동차주식회사 라이다를 이용한 멀티 오브젝트 추적 장치 및 그 방법
CN106980114A (zh) * 2017-03-31 2017-07-25 电子科技大学 无源雷达目标跟踪方法
KR101937267B1 (ko) * 2017-09-22 2019-01-10 현대오트론 주식회사 차량용 트래킹 시스템 및 그것의 동작 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101402206B1 (ko) * 2014-04-10 2014-05-30 국방과학연구소 운동학 및 형상 정보를 활용한 다중 표적 추적 방법
KR101655606B1 (ko) 2014-12-11 2016-09-07 현대자동차주식회사 라이다를 이용한 멀티 오브젝트 추적 장치 및 그 방법
CN106980114A (zh) * 2017-03-31 2017-07-25 电子科技大学 无源雷达目标跟踪方法
KR101937267B1 (ko) * 2017-09-22 2019-01-10 현대오트론 주식회사 차량용 트래킹 시스템 및 그것의 동작 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363167A (zh) * 2020-11-02 2021-02-12 重庆邮电大学 一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法
CN112731371A (zh) * 2020-12-18 2021-04-30 重庆邮电大学 一种激光雷达与视觉融合的集成化目标跟踪***及方法
CN112731371B (zh) * 2020-12-18 2024-01-23 重庆邮电大学 一种激光雷达与视觉融合的集成化目标跟踪***及方法
KR102364007B1 (ko) * 2020-12-30 2022-02-16 충북대학교 산학협력단 강인한 적응적 공분산과 이차원 선분 특징을 이용한 다중 이차원 라이다의 자동 캘리브레이션 시스템
KR20220150576A (ko) * 2021-05-04 2022-11-11 인하대학교 산학협력단 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 방법 및 장치
KR102589987B1 (ko) * 2021-05-04 2023-10-18 인하대학교 산학협력단 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 방법 및 장치
KR20230014403A (ko) * 2021-07-21 2023-01-30 주식회사 신세계아이앤씨 라이다 기반 객체 추적 시스템 및 방법
KR102653756B1 (ko) * 2021-07-21 2024-04-01 주식회사 신세계아이앤씨 라이다 기반 객체 추적 시스템 및 방법
KR20230036243A (ko) * 2021-09-07 2023-03-14 충북대학교 산학협력단 영상과 라이다를 이용한 실시간 3차원 물체 인식 및 추적 시스템
KR102618680B1 (ko) * 2021-09-07 2023-12-27 충북대학교 산학협력단 영상과 라이다를 이용한 실시간 3차원 물체 인식 및 추적하는 시스템

Similar Documents

Publication Publication Date Title
KR102168288B1 (ko) 다중 라이다를 이용한 다중 물체 추적 시스템 및 방법
JP7140922B2 (ja) マルチセンサデータ融合方法、及び装置
CN108291813B (zh) 借助姿态图的位置数据融合
CN109521756B (zh) 用于无人驾驶车辆的障碍物运动信息生成方法和装置
CN113379805B (zh) 一种交通节点的多信息资源融合处理方法
JP2014219403A (ja) 複数オブジェクトを追跡する方法及び装置
Trehard et al. Tracking both pose and status of a traffic light via an interacting multiple model filter
US20230228593A1 (en) Method, device and system for perceiving multi-site roadbed network and terminal
Rosenberger et al. Benchmarking and functional decomposition of automotive lidar sensor models
KR20180027242A (ko) 무인 차량을 위한 주변 환경 매핑 방법 및 장치
US20230365145A1 (en) Method, system and computer program product for calibrating and validating a driver assistance system (adas) and/or an automated driving system (ads)
Jungnickel et al. Object tracking and dynamic estimation on evidential grids
CN110426714B (zh) 一种障碍物识别方法
CN114675295A (zh) 一种障碍物判定的方法、装置、设备及存储介质
Lim et al. Event-driven track management method for robust multi-vehicle tracking
Valente et al. Evidential SLAM fusing 2D laser scanner and stereo camera
CN113077495B (zh) 在线多目标跟踪方法、***、计算机设备及可读存储介质
Vatavu et al. Environment estimation with dynamic grid maps and self-localizing tracklets
Hoffmann et al. Cheap joint probabilistic data association filters in an interacting multiple model design
Lamard et al. Multi target tracking with cphd filter based on asynchronous sensors
KR102618680B1 (ko) 영상과 라이다를 이용한 실시간 3차원 물체 인식 및 추적하는 시스템
Mueller et al. Continuous stereo self-calibration on planar roads
Lamard et al. CPHD filter addressing occlusions with pedestrians and vehicles tracking
CN113034538B (zh) 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
CN116324904A (zh) 用于注释传感器数据的方法和***

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
R401 Registration of restoration