KR101402206B1 - 운동학 및 형상 정보를 활용한 다중 표적 추적 방법 - Google Patents

운동학 및 형상 정보를 활용한 다중 표적 추적 방법 Download PDF

Info

Publication number
KR101402206B1
KR101402206B1 KR1020140043001A KR20140043001A KR101402206B1 KR 101402206 B1 KR101402206 B1 KR 101402206B1 KR 1020140043001 A KR1020140043001 A KR 1020140043001A KR 20140043001 A KR20140043001 A KR 20140043001A KR 101402206 B1 KR101402206 B1 KR 101402206B1
Authority
KR
South Korea
Prior art keywords
image
information
target
association
targets
Prior art date
Application number
KR1020140043001A
Other languages
English (en)
Inventor
김수진
강재웅
정영헌
성기열
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020140043001A priority Critical patent/KR101402206B1/ko
Application granted granted Critical
Publication of KR101402206B1 publication Critical patent/KR101402206B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

본 발명은 다중 표적 추적 기술에 관한 것으로서, 더 상세하게는 표적의 거리 정보, 형상 정보 기반 칼만필터, 및 JPDA(Joint Probability Data-Association: 결합 확률 데이터 연관) 기법을 이용한 다중 표적 추적 방법에 대한 것이다.
본 발명에 따르면, JPDA(Joint Probability Data-Association) 기법은 NDS(Normalized Distance Squared) 거리 정보뿐만이 아니라, 영상의 상관도 정보를 기반으로 이중 조건을 통해 유효 행렬을 생성하며, 이를 통해 근거리에 존재하는 다른 물체들 끼리 식별이 가능해 지며, 고려해야 하는 사건 경우의 수가 줄어들어 복잡도도 줄어든다.

Description

운동학 및 형상 정보를 활용한 다중 표적 추적 방법{Multiple target tracking method with kinematics and feature information of targets}
본 발명은 다중 표적 추적 기술에 관한 것으로서, 더 상세하게는 표적의 거리 정보, 형상 정보 기반 칼만필터, 및 JPDA(Joint Probability Data-Association: 결합 확률 데이터 연관) 기법을 이용한 다중 표적 추적 방법에 대한 것이다.
다중 표적 추적 기술은 각 표적들로부터 탐지된 결과를 기반으로 동시에 여러 표적을 추적하는 기술이다. 다중 이동 표적의 항적 오할당률을 줄이고, 항적 유지율을 높여 실시간 정확한 다중 표적 추적을 가능하게 하기 위해서 고정밀 추적 기술의 필요성이 대두된다.
각 표적들로 탐지된 결과는 이동 물체의 거리와 속도 가속도 등의 운동학 정보를 통하여 얻을 수 있다. 탐지된 결과를 기반으로 항적은 측정치와 항적의 관계를 정의해주는 데이터 연관 기법과, 각 항적을 시간에 따라 개선해 나가는 필터 기법을 통해 다중 표적 추적을 수행할 수 있다. 이를 보여주는 도면이 도 1의 단계(S110 내지 S140)에 도시된다.
따라서 다중 표적 추적의 성능은 사용하는 데이터 연관 기법 기술에 따라 그 성능이 다르게 나타나는데, 빠른 연산이 가능한 Nearest Neighbor(NN: 최근접 연관)기법과 복잡도는 높지만 정확한 추적 성능을 보이는 JPDA(Joint Probability Data-Association: 결합 확률 데이터 연관) 기법을 사용할 수 있다.
정확한 데이터 연관 기법을 사용하더라고, 여러 표적이 서로 가로지르면서 이동하거나 인접한 영역에 여러 표적이 동시에 존재하게 되면 거리정보만으로는 각 표적에 맞는 항적을 연관시키는데 오류가 발생하며, 항적 유지률 또한 떨어지게 된다.
따라서 다중 표적 추적 성능을 향상시키기 위하여 거리정보 뿐만이 아니라, 표적으로부터 탐지되는 표적의 형상정보를 활용할 필요성이 대두되고 있다.
1. 한국등록특허번호 제10-1280348호
1. 정영헌외, "복잡한 환경에서 다중표적추적을 위한 고속 트랙 병합 기법"한국군사과학기술학회지, 15(4), pp 513~518, 2012년 8월.
본 발명은 위 배경기술에 따른 문제점을 해소하기 위해 제안된 것으로서, 표적의 탐지 결과중 거리측정정보만으로 추적 및 데이터 연관하던 것을, 표적들의 형상정보를 혼용함으로써 JPDA(Joint Probability Data-Association)를 활용한 데이터 연관 성능을 향상시키고 이를 통해 정확한 다중 표적 추적 방법을 제공하는데 그 목적이 있다.
본 발명은 위에서 제시된 과제를 달성하기 위해 표적의 탐지 결과중 거리측정정보만으로 추적 및 데이터 연관하던 것을, 표적들의 형상정보를 혼용함으로써 JPDA(Joint Probability Data-Association)를 활용한 데이터 연관 성능을 향상시키고 이를 통해 정확한 다중 표적 추적 방법을 제공한다.
상기 다중 표적 추적 방법은,
영상 센서를 이용하여 표적에 대한 영상을 탐지하는 탐지 단계;
탐지된 영상을 이용하여 위치 정보 및 이미지 형상 정보를 입력 데이터로 생성하는 입력 데이터 생성 단계;
상기 입력 데이터 중 위치 정보에 따른 거리 정보를 기반으로 게이트라는 사전에 정의된 반경내에 존재하는 거리 측정치를 갖는 표적들만을 고려하기 위해 게이트닝하는 게이트닝 단계;
게이트닝을 통하여 유효화하다고 판단되는 거리 측정치를 갖는 표적들과 상기 표적들에 해당하는 이미지 형상 정보 및 결합 확률 데이터 연관(JPDA: Joint Probability Data-Association) 기법을 이용하여 유효 행렬 및 연관 확률을 생성하기 위해 데이터 연관을 수행하는 데이터 연관 수행 단계; 및
연관 확률 결과를 칼만필터에 반영하여 다수의 잠적 항적을 갱신하는 갱신 단계;를 포함하는 것을 특징으로 한다.
이때, 상기 이미지 형상 정보는 상기 탐지된 영상의 이미지 크기값을 이용하여 상관도 값을 구함으로써 생성되는 상기 표적들간의 형상 유사도 정보인 것을 특징으로 할 수 있다.
또한, 상기 다수의 잠적 항적의 갱신은 상기 연관 확률 결과를 칼만필터의 필터 게인에 가중치로서 반영하여 이루어지는 것을 특징으로 할 수 있다.
또한, 상기 탐지 단계는, 항적을 초기화하는 단계; 및 칼만필터를 이용하여 다수의 잠적 항적을 생성하는 단계;를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 유효 행렬의 생성은 NDS(Normalized Distance square) 거리, 영상의 상관도 정보를 이중 조건으로 이용하여 이루어지는 것을 특징으로 할 수 있다.
또한, 상기 연관확률 생성은 생성된 유효 행렬을 통해 고려된 사건에 대해서만 이루어지는 것을 특징으로 할 수 있다.
또한, 상기 갱신 단계는, 상기 표적의 미탐지 발생사건, 및 다수의 잠적 항적의 연관 표적의 개수를 고려한 동일 항적(track)발생의 경우, 잠적 항적의 게이트 값에 대한 정보를 기반으로 잠적 항적을 제거하거나 관리하는 단계;를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 유효 행렬은 수학식.
Figure 112014034389275-pat00001
(여기서, 이진수
Figure 112014034389275-pat00002
는 번째 측정치가 표적
Figure 112014034389275-pat00003
의 게이트내에 존재하면 1 이고, 그렇지 않으면 0 이고,
Figure 112014034389275-pat00004
는 측정치의 이노베이션으로,
Figure 112014034389275-pat00005
번째 측정치와 표적
Figure 112014034389275-pat00006
로 인해 주어지는 측정 예측치의 차이로 정의되며,
Figure 112014034389275-pat00007
는 측정치 이노베이션의 오차 공분산 행렬,
Figure 112014034389275-pat00008
는 게이트를 정의하는 임계치이고,
Figure 112014034389275-pat00009
는 표적
Figure 112014034389275-pat00010
의 이미지 값과,
Figure 112014034389275-pat00011
번째 검출된 이미지의 2차원 이미지 상관도 함수이며,
Figure 112014034389275-pat00012
값은 이 함수에 대한 임계치 값으로 정의되는 것을 특징으로 할 수 있다.
또한, 상기 연관확률은,
Figure 112014034389275-pat00013
(여기서,
Figure 112014034389275-pat00014
Figure 112014034389275-pat00015
번째 측정치가
Figure 112014034389275-pat00016
번째 트랙에 연관되는 어떤 사건
Figure 112014034389275-pat00017
에 대한 복합확률이며,
Figure 112014034389275-pat00018
는 이때 발생하는 사건행렬,
Figure 112014034389275-pat00019
가중치값으로 곱해지는 상관도 결과값으로 정의되는 것을 특징으로 할 수 있다.
본 발명에 따르면, JPDA(Joint Probability Data-Association) 기법은 NDS(Normalized Distance Squared) 거리 정보뿐만이 아니라, 영상의 상관도 정보를 기반으로 이중 조건을 통해 유효 행렬을 생성하며, 이를 통해 근거리에 존재하는 다른 물체들 끼리 식별이 가능해 지며, 고려해야 하는 사건 경우의 수가 줄어들어 복잡도도 줄어든다.
또한, 본 발명의 다른 효과로서는 생성한 유효 행렬을 기반으로 연관 확률을 구할 때, 각 항적에 해당하는 각 표적의 연관확률에 상관도 값을 가중치로 곱해 줌으로써 표적과 거리에 대한 신뢰도를 더해줘서 항적 할당률을 높인다는 점을 들 수 있다.
또한, 본 발명의 또 다른 효과로서는 새롭게 생성된 연관 확률을 기반으로 칼만 필터를 통하여 항적을 생성하게 되는데, 기본 탐지/ 미탐지 정보로만 트랙을 관리해 왔던 경우와 달리, 다중 표적 탐지의 경우, 결합 연관 데이터 연관 확률을 적용하면서 발생할 수 있는 오류(게이트 확장, 평행한 트랙 생성)를 줄이기 위해, 항적 제거 조건을 새롭게 세움으로써 여러 물체의 중심을 항적의 중심으로 갖거나, 같은 위치의 항적을 계속 유지하는 문제를 해결할 수 있다는 점을 들 수 있다.
도 1은 일반적인 거리정보 기반 다중 표적 흐름도이다.
도 2는 본 발명의 일실시예에 따른 형상정보 및 거리 정보 기반의 다중 표적 추적 시스템 블록도이다.
도 3은 본 발명의 일실시예에 따른 형상정보 및 거리정보 기반의 다중 표적 추적 흐름도이다.
도 4는 도 3에 도시된 유효 행렬 및 연관확률을 생성하는 단계(S350)에서 형상정보 및 거리정보를 기반으로 한 JPDA(Joint Probability Data-Association: 결합 확률 데이터 연관) 기법을 적용한 데이터 연관 과정의 흐름도이다.
도 5는 본 발명의 일실시예에 따른 형상정보 및 거리정보를 기반으로한 JPDA 기법과 칼만필터를 통해 얻어진 항적 관리를 보여주는 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.
제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 운동학 및 형상 정보를 활용한 다중 표적 추적 방법을 상세하게 설명하기로 한다.
먼저, 본 발명의 이해를 돕기 위해 일반적으로 거리정보를 기반으로 JPDA 기법과 칼만필터를 이용한 표적 추적 방법에 관하여 간단히 설명하기로 한다.
시간까지의 측정치 집합이 주어졌을 때 표적 의 상태 벡터 에 대한 예측치 및 이와 관련된 오차 공분산 행렬은 다음식과 같다.
Figure 112014034389275-pat00020
여기서 표적의 상태 벡터
Figure 112014034389275-pat00021
, 즉, 표적의 위치정보로 표현된다.
Figure 112014034389275-pat00022
는 표적의 동적 운동 모델이 대해 이미 알고 있는 상태변환 행렬이고,
Figure 112014034389275-pat00023
는 표적 운동의 과정 잡음의 공분산 행렬이다.
Figure 112014034389275-pat00024
시간의 유효측정 영역 내의 측정치 개수를 이라 할 때 각
Figure 112014034389275-pat00025
번째 측정치
Figure 112014034389275-pat00026
와 표적
Figure 112014034389275-pat00027
에 대한 예측치
Figure 112014034389275-pat00028
의 차이인 이노베이션을 다음식과 같이 구한다.
Figure 112014034389275-pat00029
이렇게 구해진 이노베이션 값들을 기준으로 표적
Figure 112014034389275-pat00030
Figure 112014034389275-pat00031
번째 측정치에 관한 이노베이션 값
Figure 112014034389275-pat00032
이 게이트내에 존재하면 유효하다고 판단하는 유효 행렬
Figure 112014034389275-pat00033
을 생성한다.
Figure 112014034389275-pat00034
여기서 이진수
Figure 112014034389275-pat00035
Figure 112014034389275-pat00036
번째 측정치가 표적
Figure 112014034389275-pat00037
의 게이트내에 존재하면 1 이고, 그렇지 않으면 0 이다.
Figure 112014034389275-pat00038
는 게이트를 정의하는 임계치이다. 획득한 유효 행렬로부터
Figure 112014034389275-pat00039
번째 측정치가 갖게 되는 연관확률을 구하는 식은 이미 널리 알려져 있으므로, 생략하도록 한다.
요약하면, 획득된 유효 행렬로부터 발생 가능한 모든 결합 사건
Figure 112014034389275-pat00040
들을 구하게 되며,
Figure 112014034389275-pat00041
Figure 112014034389275-pat00042
가 표적
Figure 112014034389275-pat00043
에 연관될 확률은 어떤 사건
Figure 112014034389275-pat00044
을 포함하는 모든 복합 사건
Figure 112014034389275-pat00045
에 대한 복합 확률의 합
Figure 112014034389275-pat00046
, 표적
Figure 112014034389275-pat00047
로부터 아무런 측정치도 발생하지 않을 확률로써 다음식과 같이 표현된다.
Figure 112014034389275-pat00048
표적
Figure 112014034389275-pat00049
에 대한 상태 추정치와 이와 관련된 오차 공분산 행렬은 다음과 같다.
Figure 112014034389275-pat00050
여기서,
Figure 112014034389275-pat00051
여기서,
Figure 112014034389275-pat00052
는 이노베이션의 오차공분산 행렬,
Figure 112014034389275-pat00053
은 필터게인,
Figure 112014034389275-pat00054
은 측정잡음의 공분산 행렬을 나타낸다. 또한,
Figure 112014034389275-pat00055
은 측정치와 상태변수의 관계를 나타내는 상태변환행렬로, 적용 시스템마다 다르게 정의될 수 있으며,
Figure 112014034389275-pat00056
Figure 112014034389275-pat00057
의 역행렬을 의미한다.
그리고
Figure 112014034389275-pat00058
는 이노베이션의 가중합으로 다음식과 같다.
Figure 112014034389275-pat00059
상기된 기존의 JPDA와 칼만필터를 이용한 다중 표적 추적 기법은 거리 정보만으로 추적 및 데이터 연관을 수행하므로, 표적들이 서로 겹치거나 가까운 거리에 서로 존재하면 추적의 정확도가 떨어지는 문제점이 있다.
도 2는 본 발명의 일실시예에 따른 형상정보 및 거리 정보 기반의 다중 표적 추적 시스템 블록도이다. 도 2를 참조하면, 표적의 위치 및/또는 형상의 이미지 정보를 입력 데이터로 생성하기 위해 표적에 대한 영상을 탐지하는 영상 센서(210), 탐지된 영상의 거리 정보를 기반으로 게이트라는 사전에 정의된 반경내에 존재하는 거리 측정치를 갖는 표적들만을 고려하기 위해 게이트닝하는 게이트닝부(220), 게이트닝을 통하여 유효화하다고 판단된 거리 측정치를 갖는 표적들과 그 표적에 해당하는 이미지 형상 정보 및 JPDA 기법을 이용하여 유효 행렬과 연관 확률을 생성하기 위해 데이터 연관을 수행하는 데이터 연관부(230), 및 연관 확률 결과를 칼만필터에 반영하여 항적을 갱신, 유지 및/또는 제거를 수행하는 항적 데이터 관리부(240) 등을 포함하여 구성된다.
도 3은 본 발명의 일실시예에 따른 형상정보 및 거리정보 기반의 다중 표적 추적 흐름도이다. 도 3을 참조하면, 통상의 추적 시스템과 동일하게 JPDA 기법을 통한 데이터 연관 과정(단계 S310 내지 S350)과, 칼만필터를 통한 항적의 생성 및 갱신 과정(단계 S340, S360 및 S370)으로 구성된다.
단계 S321에서, 영상센서를 통해 탐지된 영상을 기반으로 표적의 위치 정보 및 형상의 이미지 정보를 입력 데이터로 사용한다. 물론, 이에 앞서 항적의 초기화하고, 칼만필터를 이용하여 잠정 항적을 생성한다(단계 S310,S320).
탐지된 영상의 거리정보를 기반으로 게이트라는 사전에 정의된 반경내에 존재하는 거리 측정치를 갖는 표적들만을 고려한다(단계 S330). 게이트닝을 통하여 유효화하다고 판단된 거리 측정치를 갖는 표적들과 그 표적에 해당하는 이미지 정보를 가지고 데이터 연관 기법을 수행하게 된다.
본 발명에서의 번째 시간에 표적 에 대한 상태 벡터 는 다음과 같이 표현된다.
Figure 112014034389275-pat00060
여기서,
Figure 112014034389275-pat00061
은 기존과 동일한 표적의 위치 정보이며,
Figure 112014034389275-pat00062
는 표적의 형상 정보를 활용하기 위한 이미지 크기값(intensity)에 대한 정보이다. 본 발명에서는 이미지 크기값을 활용하여, 상관도 값을 구함으로써 표적들간의 형상 유사도 정보를 활용한다.
단계 S350에서, 본 발명의 일실시예는 일반적인 JPDA 기법에 이미지 형상정보를 활용하여 새롭게 유효 행렬 및/또는 연관확률을 생성하게 된다. 이를 통해 새롭게 얻어진 연관확률 결과는 칼만필터의 필터게인에 가중치로써 반영된다. 단계 S360에서 그렇게 생성된 칼만필터 시스템 상수들을 기반으로 항적이 갱신된다. 단계 S370에서 갱신된 항적 결과에 대한 항적 유지 및/또는 제거 과정을 거치게 된다.
물론, 게이트닝하는 단계(S330)에서 데이터 연관기법에 사용되지 못한 측정치를 이용하여 칼만필터를 이용하여 새 항적(new track)을 생성하는 것도 가능하다.
도 4는 도 3에 도시된 유효 행렬 및 연관확률을 생성하는 단계(S350)에서 형상정보 및 거리정보를 기반으로 한 JPDA(Joint Probability Data-Association: 결합 확률 데이터 연관) 기법을 적용한 데이터 연관 과정의 흐름도이다. 도 4를 참조하면, JPDA 기법은 모든 게이트내에 존재하는 측정치들의 상태 정보를 기반으로 발생가능한 모든 사건에 대한 유효행렬을 구한 후 각 사건에 대한 발생 가능한 확률을 구한 후, 각 측정치에 대한 합으로 연관확률을 구하게 된다.
본 발명의 일실시예에서는 게이트닝을 통하여 유효하다 판단된 측정치들의 거리 정보뿐만 아니라 영상정보를 활용하여 새롭게 유효 행렬과 연관확률을 생성하게 된다.
도 4의 단계 S410 내지 S430에서, 유효 행렬을 생성하기 위해 예측된 거리와 현재 측정된 거리가 정의된 게이트내에 존재하는 거리에 관한 조건을 만족하면서, 동시에 이전에 항적으로 할당된 표적영상과, 현재 표적으로 검출된 영상과의 2차원 이미지 상관도 함수(2 dimensional normalized cross correlation)를 통하여 어느 임계치 값 이상의 상관도를 갖는 형상 유사도 조건을 만족하는 경우에만 유효 행렬의 각 요소값을 1로 설정한다. 이와 달리, 단계 S420에서 2개의 조건을 다 만족하지 않으면 유효 행렬의 각요소값을 0으로 설정한다(단계 S421). 유효 행렬은 다음식과 같다.
Figure 112014034389275-pat00063
여기서, 이진수
Figure 112014034389275-pat00064
Figure 112014034389275-pat00065
번째 측정치가 표적
Figure 112014034389275-pat00066
의 게이트내에 존재하면 1이고, 그렇지 않으면 0이다. 는 게이트를 정의하는 임계치이다.
Figure 112014034389275-pat00067
는 표적
Figure 112014034389275-pat00068
의 이미지 값과,
Figure 112014034389275-pat00069
번째 검출된 이미지의 2차원 이미지 상관도 함수이며,
Figure 112014034389275-pat00070
값은 이 함수에 대한 임계치 값이다. 이 값이 높을수록 표적
Figure 112014034389275-pat00071
와 측정치
Figure 112014034389275-pat00072
가 유사한 형상을 가지고 있다고 할 수 있어, 이는 가까운 거리에 다른 물체가 동시에 존재하여도, 형상정보를 통하여 표적간의 연관성 높은 표적으로 측정치를 할당함으로써 표적-항적의 연관률을 증가시킬 수 있으며, 오할당률도 줄일 수 있게 된다.
뿐만 아니라, 유효 행렬에서 발생한 모든 사건의 경우 수를 고려하는 JPDA 기법의 경우 발생할 수 있는 사건의 경우 수가 늘어난 조건으로 인해 줄어듦으로써 연산의 복잡도도 낮출 수 있다.
이 생성된 유효 행렬을 기반으로 연관확률 연산이 가능하다. 기존의 JPDA 기법에서 각 측정치에 해당하는 연관확률은 수학식 4와 같이 구한다.
본 발명의 일실시예에서 형상의 유사도는 표적과 측정치의 연관성을 나타내기 때문에 거리에 대한 연관확률에 이 값을 단일화된 가중치로 주게 된다. 본 발명에서의 연관확률은 다음식과 같이 구해진다.
Figure 112014034389275-pat00073
연관확률
Figure 112014034389275-pat00074
은 수학식 5 및 수학식 6을 통하여, 칼만 필터의 추정값에 연산 적용된다(단계 S440,S450).
도 5는 본 발명의 일실시예에 따른 형상정보 및 거리정보를 기반으로 한 JPDA기법 및 칼만필터를 통해 얻어진 항적 관리를 보여주는 개념도이다. 부연하면, 도 5는 도 3의 단계 S370에서 언급한 본 발명의 바람직한 예에 따른 다중 표적에 대한 항적 생성, 개선, 제거에 관한 항적 관리법에 관한 블록도이다.
초기화 과정을 통해 처음 임의의 생성된 항적을 잠재 항적(Potential Track) 이라 한다(510). 이때 2회 연속 탐지되지 않거나, 생성된 항적이 아주 가까운 거리에 존재하면서 동시에 고려하고 있는 다중 측정치의 경우가 같은 경우 동일 항적으로 간주하고, 이러한 동일한 항적이 3회 연속 발생하거나, 당시 갱신된 게이트 영역이 특정 지정된 게이트 값보다 커지게 되면 항적(track)을 제거한다. 이 3가지 조건을 항적(track) 제거 조건으로 설정한다.
잠재 항적에서 다음 시간에 유효 표적이 탐지되면, 유효한 항적(Tentative Track) 으로 간주한다(520). 여기서도, 여러 항적 중, 위의 3가지 항적(track) 제거 조건 중 하나라도 만족하게 되면 항적(track)을 제거하게 된다. 유효한 항적에서 지속적으로 칼만필터를 통해 갱신된 탐지된 결과를 구하게 되면, 확정된 항적(Confirmed Track) 으로 간주한다(530).
이 확정된 항적은 다음 시간에서 탐지결과가 발생하지 않더라도, 유효항적(track)으로 간주하고 잠시 메모리 항적(track)(Memory Track) 저장한다(540). 이는 확정된 항적인 경우 항적(track)이 유지될 확률이 높기 때문에 비록 순간 탐지된 결과가 존재 하지 않더라도 아직 항적(track)은 유효하다고 간주하는 것이다.
그 후 다음 시간에서 다시 탐지된 결과가 있으면 확정 항적을 지속적으로 유지하며, 그렇지 않고, 미 탐지되거나 나머지 제거 조건들을 만족하게 되면 항적(track)을 제거한다(550).
210: 영상 센서
220: 게이트닝부
230: 데이터 연관부
240: 항적 데이터 관리부

Claims (9)

  1. 영상 센서를 이용하여 표적에 대한 영상을 탐지하는 탐지 단계;
    탐지된 영상을 이용하여 위치 정보 및 이미지 형상 정보를 입력 데이터로 생성하는 입력 데이터 생성 단계;
    상기 입력 데이터 중 위치 정보에 따른 거리 정보를 기반으로 게이트라는 사전에 정의된 반경내에 존재하는 거리 측정치를 갖는 표적들만을 고려하기 위해 게이트닝하는 게이트닝 단계;
    게이트닝을 통하여 유효화하다고 판단되는 거리 측정치를 갖는 표적들과 상기 표적들에 해당하는 이미지 형상 정보 및 결합 확률 데이터 연관(JPDA: Joint Probability Data-Association) 기법을 이용하여 유효 행렬 및 연관 확률을 생성하기 위해 데이터 연관을 수행하는 데이터 연관 수행 단계; 및
    연관 확률 결과를 칼만필터에 반영하여 다수의 잠적 항적을 갱신하는 갱신 단계;
    을 포함하는 것을 특징으로 하는 운동학 및 형상 정보를 활용한 다중 표적 추적 방법.
  2. 제 1 항에 있어서,
    상기 이미지 형상 정보는 상기 탐지된 영상의 이미지 크기값을 이용하여 상관도 값을 구함으로써 생성되는 상기 표적들간의 형상 유사도 정보인 것을 특징으로 하는 운동학 및 형상 정보를 활용한 다중 표적 추적 방법.
  3. 제 1항에 있어서,
    상기 다수의 잠적 항적의 갱신은 상기 연관 확률 결과를 칼만필터의 필터 게인에 가중치로서 반영하여 이루어지는 것을 특징으로 하는 운동학 및 형상 정보를 활용한 다중 표적 추적 방법.
  4. 제 1 항에 있어서,
    상기 탐지 단계는, 항적을 초기화하는 단계; 및 칼만필터를 이용하여 다수의 잠적 항적을 생성하는 단계;를 포함하는 것을 특징으로 하는 운동학 및 형상 정보를 활용한 다중 표적 추적 방법.
  5. 제 1항에 있어서,
    상기 유효 행렬의 생성은 NDS(Normalized Distance square) 거리, 영상의 상관도 정보를 이중 조건으로 이용하여 이루어지는 것을 특징으로 하는 운동학 및 형상 정보를 활용한 다중 표적 추적 방법.
  6. 제 3항에 있어서,
    상기 연관확률 생성은 생성된 유효 행렬을 통해 고려된 사건에 대해서만 이루어지는 것을 특징으로 하는 운동학 및 형상 정보를 활용한 다중 표적 추적 방법.
  7. 제 1항에 있어서,
    상기 갱신 단계는, 상기 표적의 미탐지 발생사건, 및 다수의 잠적 항적의 연관 표적의 개수를 고려한 동일 항적(track)발생의 경우, 잠적 항적의 게이트 값에 대한 정보를 기반으로 잠적 항적을 제거하거나 관리하는 단계;를 포함하는 것을 특징으로 하는 운동학 및 형상 정보를 활용한 다중 표적 추적 방법.
  8. 제 1항에 있어서,
    상기 유효 행렬은 수학식.
    Figure 112014034389275-pat00075
    (여기서, 이진수
    Figure 112014034389275-pat00076
    는 번째 측정치가 표적
    Figure 112014034389275-pat00077
    의 게이트내에 존재하면 1 이고, 그렇지 않으면 0 이고,
    Figure 112014034389275-pat00078
    는 측정치의 이노베이션으로,
    Figure 112014034389275-pat00079
    번째 측정치와 표적
    Figure 112014034389275-pat00080
    로 인해 주어지는 측정 예측치의 차이로 정의되며,
    Figure 112014034389275-pat00081
    는 측정치 이노베이션의 오차 공분산 행렬,
    Figure 112014034389275-pat00082
    는 게이트를 정의하는 임계치이고,
    Figure 112014034389275-pat00083
    는 표적
    Figure 112014034389275-pat00084
    의 이미지 값과,
    Figure 112014034389275-pat00085
    번째 검출된 이미지의 2차원 이미지 상관도 함수이며,
    Figure 112014034389275-pat00086
    값은 이 함수에 대한 임계치 값으로 정의되는 것을 특징으로 특징으로 하는 운동학 및 형상 정보를 활용한 다중 표적 추적 방법.
  9. 제 8 항에 있어서,
    상기 연관확률은,
    Figure 112014034389275-pat00087
    (여기서,
    Figure 112014034389275-pat00088
    Figure 112014034389275-pat00089
    번째 측정치가
    Figure 112014034389275-pat00090
    번째 트랙에 연관되는 어떤 사건
    Figure 112014034389275-pat00091
    에 대한 복합확률이며,
    Figure 112014034389275-pat00092
    는 이때 발생하는 사건행렬,
    Figure 112014034389275-pat00093
    가중치값으로 곱해지는 상관도 결과값으로 정의되는 것을 특징으로 하는 운동학 및 형상 정보를 활용한 다중 표적 추적 방법.
KR1020140043001A 2014-04-10 2014-04-10 운동학 및 형상 정보를 활용한 다중 표적 추적 방법 KR101402206B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140043001A KR101402206B1 (ko) 2014-04-10 2014-04-10 운동학 및 형상 정보를 활용한 다중 표적 추적 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140043001A KR101402206B1 (ko) 2014-04-10 2014-04-10 운동학 및 형상 정보를 활용한 다중 표적 추적 방법

Publications (1)

Publication Number Publication Date
KR101402206B1 true KR101402206B1 (ko) 2014-05-30

Family

ID=50895910

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140043001A KR101402206B1 (ko) 2014-04-10 2014-04-10 운동학 및 형상 정보를 활용한 다중 표적 추적 방법

Country Status (1)

Country Link
KR (1) KR101402206B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101628154B1 (ko) 2015-03-05 2016-06-08 국방과학연구소 수신 신호 세기를 이용한 다중 표적 추적 방법
CN107659989A (zh) * 2017-10-24 2018-02-02 东南大学 无线传感器网络节点分布式测量休眠和目标跟踪方法
KR20180078983A (ko) * 2016-12-30 2018-07-10 기아자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR20180078986A (ko) * 2016-12-30 2018-07-10 기아자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR20180080004A (ko) * 2017-01-03 2018-07-11 국방과학연구소 가림환경에서의 표적 형상정보를 활용한 표적 추적 방법
EP3477333A1 (en) 2017-10-26 2019-05-01 Continental Automotive GmbH Method and device of determining kinematics of a target
CN110542885A (zh) * 2019-08-13 2019-12-06 北京理工大学 一种复杂交通环境下的毫米波雷达目标跟踪方法
KR102168288B1 (ko) * 2019-05-20 2020-10-21 충북대학교 산학협력단 다중 라이다를 이용한 다중 물체 추적 시스템 및 방법
CN112731371A (zh) * 2020-12-18 2021-04-30 重庆邮电大学 一种激光雷达与视觉融合的集成化目标跟踪***及方法
CN113627104A (zh) * 2021-08-12 2021-11-09 北京中安智能信息科技有限公司 多约束条件下的水下潜艇航迹模拟方法和装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030045624A (ko) * 2001-12-03 2003-06-11 마이크로소프트 코포레이션 멀티플 큐를 사용하는 다수의 개인들의 자동 검출 및 트래킹
KR20110020961A (ko) * 2009-08-25 2011-03-04 삼성전자주식회사 모바일 플랫폼의 동적 물체 검출 및 추적 방법
KR101280348B1 (ko) 2012-01-18 2013-07-01 국방과학연구소 다중 표적 추적 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030045624A (ko) * 2001-12-03 2003-06-11 마이크로소프트 코포레이션 멀티플 큐를 사용하는 다수의 개인들의 자동 검출 및 트래킹
KR20110020961A (ko) * 2009-08-25 2011-03-04 삼성전자주식회사 모바일 플랫폼의 동적 물체 검출 및 추적 방법
KR101280348B1 (ko) 2012-01-18 2013-07-01 국방과학연구소 다중 표적 추적 방법

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101628154B1 (ko) 2015-03-05 2016-06-08 국방과학연구소 수신 신호 세기를 이용한 다중 표적 추적 방법
KR101996419B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996418B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR20180078986A (ko) * 2016-12-30 2018-07-10 기아자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
US10821946B2 (en) 2016-12-30 2020-11-03 Hyundai Motor Company Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method
KR20180078983A (ko) * 2016-12-30 2018-07-10 기아자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
US10814840B2 (en) 2016-12-30 2020-10-27 Hyundai Motor Company Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method
US11584340B2 (en) 2016-12-30 2023-02-21 Hyundai Motor Company Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method
KR101913214B1 (ko) * 2017-01-03 2018-12-28 국방과학연구소 가림환경에서의 표적 형상정보를 활용한 표적 추적 방법
KR20180080004A (ko) * 2017-01-03 2018-07-11 국방과학연구소 가림환경에서의 표적 형상정보를 활용한 표적 추적 방법
CN107659989A (zh) * 2017-10-24 2018-02-02 东南大学 无线传感器网络节点分布式测量休眠和目标跟踪方法
CN107659989B (zh) * 2017-10-24 2020-08-04 东南大学 无线传感器网络节点分布式测量休眠和目标跟踪方法
WO2019081108A1 (en) 2017-10-26 2019-05-02 Continental Automotive Gmbh METHOD AND DEVICE FOR DETERMINING THE KINEMATICS OF A TARGET
EP3477333A1 (en) 2017-10-26 2019-05-01 Continental Automotive GmbH Method and device of determining kinematics of a target
KR102168288B1 (ko) * 2019-05-20 2020-10-21 충북대학교 산학협력단 다중 라이다를 이용한 다중 물체 추적 시스템 및 방법
CN110542885A (zh) * 2019-08-13 2019-12-06 北京理工大学 一种复杂交通环境下的毫米波雷达目标跟踪方法
CN110542885B (zh) * 2019-08-13 2021-09-21 北京理工大学 一种复杂交通环境下的毫米波雷达目标跟踪方法
CN112731371A (zh) * 2020-12-18 2021-04-30 重庆邮电大学 一种激光雷达与视觉融合的集成化目标跟踪***及方法
CN112731371B (zh) * 2020-12-18 2024-01-23 重庆邮电大学 一种激光雷达与视觉融合的集成化目标跟踪***及方法
CN113627104A (zh) * 2021-08-12 2021-11-09 北京中安智能信息科技有限公司 多约束条件下的水下潜艇航迹模拟方法和装置及设备
CN113627104B (zh) * 2021-08-12 2024-02-06 北京中安智能信息科技有限公司 多约束条件下的水下潜艇航迹模拟方法和装置及设备

Similar Documents

Publication Publication Date Title
KR101402206B1 (ko) 운동학 및 형상 정보를 활용한 다중 표적 추적 방법
Cao et al. Observation-centric sort: Rethinking sort for robust multi-object tracking
CN1940591B (zh) 使用传感器融合进行目标跟踪的***和方法
KR101628154B1 (ko) 수신 신호 세기를 이용한 다중 표적 추적 방법
JP6860586B2 (ja) 物体の動作を予測する方法
CN103760556B (zh) 基于集中式mimo雷达的多目标认知跟踪方法
CN102881024A (zh) 一种基于tld的视频目标跟踪方法
JP6681682B2 (ja) 移動体計測システム及び移動体計測方法
WO2022151627A1 (zh) 基于目标速度特征的航迹起始方法及***
CN104793200A (zh) 一种基于迭代处理的动态规划检测前跟踪方法
Chen et al. A graph-based track-before-detect algorithm for automotive radar target detection
EP2980605B1 (en) Updating intensities in a phd filter based on a sensor track id
CN106291530B (zh) 一种基于最近邻法的概率数据关联优化方法
CN111259332A (zh) 一种杂波环境下的模糊数据关联方法及多目标跟踪方法
CN114002667A (zh) 一种基于随机矩阵法的多近邻扩展目标跟踪算法
EP2980602B1 (en) Adjusting weight of intensity in a phd filter based on sensor track id
Attari et al. Target tracking formulation of the SVSF as a probabilistic data association algorithm
KR101045348B1 (ko) 직각 좌표계에서 도플러 속도를 이용한 표적 추적 방법
CN115220002B (zh) 一种固定单站的多目标数据关联跟踪方法和相关装置
CN103679746A (zh) 一种基于多信息融合的目标跟踪方法
Attari et al. A Multi-Target Tracking Formulation of SVSF With the Joint Probabilistic Data Association Technique
Schubert et al. Performance evaluation of multiple target tracking in the absence of reference data
Li et al. A track initiation method for the underwater target tracking environment
JP2005083867A (ja) 目標追尾装置
Hu et al. Target tracking with distance-dependent measurement noise in wireless sensor networks

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170504

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180503

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190503

Year of fee payment: 6