KR20180077865A - 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치 및 방법 - Google Patents

Abstract

본 발명은 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치 및 방법으로, 지연 결정을 기반으로 MHT(multiple hypothesis tracking) 프레임 워크를 채택하였으며, 다중 카메라에 대한 MHT의 연산 부하를 줄이기 위해 2 차원(2D) 이미지 좌표에서 트랙렛(추정된 목표 궤적의 부분 파편)을 사용하기 위한 것으로서, 다중 카메라의 각 카메라별로 프레임을 통해 탐지되는 탐지 결과를 트랙렛(tracklet)으로 변환하는 트랙렛 생성부와, 상기 트랙렛 생성부에서 변환된 트랙렛들을 가지고 가능한 모든 시간적·공간적 결합을 통해 3차원 공간 상 추적 결과가 될 수 있는 후보트랙을 생성하는 후보트랙 생성부와, 상기 후보트랙 생성부에서 생성된 후보트랙 중 확률 상으로 표적의 경로(trajectory)일 확률이 높은 후보트랙을 최적 트랙으로 선별하고, 선별된 최적 트랙을 피드백하면서 연속하여 최적 트랙을 선별하는 트랙 선별부와, 상기 후보트랙 생성부에서 생성된 후보들 및 상기 트랙 선별부에서 선별된 최적 트랙을 기반으로 트랙의 길이 및 탐지된 개체의 예상 높이 등을 이용하여 근사 글로벌 확률(AGTP) 또는 N 스캔 백 방식을 이용하여 트랙 여부를 확인하여 확인되지 않은 트랙을 제거하고, 그 결과를 상기 후보트랙 생성부로 전달하는 트랙 제거부를 포함하여 구성되는데 있다.

Description

다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치 및 방법{Online apparatus and method for Multiple Camera Multiple Target Tracking Based on Multiple Hypothesis Tracking}

본 발명은 카메라 트래킹 장치 및 방법에 관한 것으로, 특히 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치 및 방법에 관한 것이다.

다중 표적 트래킹은 컴퓨터 비전에서 필수적인 기술로서 집중적으로 연구되어왔으며, 표적의 외관과 동적인 정보를 활용하는 온라인 및 묶음 방법이 최근 제안되었다.

그러나 이런한 방법은 단일 카메라를 사용한 영상 추적을 위해 제안되었다. 단일 카메라를 사용할 경우, 주변 장애물이나 추적 대상끼리의 가려짐에 의해 시각적 차단이 빈번히 일어나게 되고, 이는 감시 대상의 밀도가 높거나 환경이 복잡한 경우 전체적인 추적 성능의 하락으로 귀결된다. 특히 교실이나 상점과 같이 인구 밀도가 높고 다양한 장애로 인해 교착 상태가 많은 복잡한 환경에서는 성능이 떨어지게 된다.

이러한 문제를 극복하기 위해, Possegger et al.(H. Possegger, T. Mauthner, P. M. Roth, and H. Bischof, "Occlusion geodesics for online multi-object tracking," in Computer ision and Pattern Recognition (CVPR), 2014 IEEE Conference on. IEEE, 2014, pp. 1306.1313.)은 감시 환경 내에 존재하는 장애물에 대한 사전 정보를 사용하여 가려짐을 추론하고 이를 추적 단계에서 활용하는 방법을 제안하였다. 이를 통해 고정된 장애물 환경 하에서 견고한 성능을 보여주었으나, 동적인 장애물이 존재하거나 장애물에 대한 사전정보가 없는 상황에서는 적절한 성능을 보장할 수 없다는 문제점이 있었다.

이러한 다중 표적 트래킹에서 가려짐 문제를 해결하기 위해, 겹쳐지는 시야를 가진 다중 카메라를 사용하는 방법이 제안되었다. 이러한 다중 카메라 다중 표적 트래킹 (MCMTT) 문제에서는 서로 다른 시각, 서로 다른 카메라에서 탐지된 결과들 중 같은 대상으로부터 탐지된 것을 찾아야 한다. 때문에 시간적, 공간적 결합의 문제를 동시에 해결해야한다.

공간적 결합에서는 동일 표적에 대해 서로 다른 카메라에서 관측된 결과를 결합하고, 시간적 결합에서는 동일 표적이 시간이 흐름에 따라 서로 다른 프레임에서 출현하는 것들을 결합한다.

따라서 MCMTT는 시간적 결합만을 고려하는 단일 카메라 추적보다 복잡하다. 이러한 이유로 최근 MCMTT 알고리즘의 대부분은 우수한 성능을 보장하기 위해 배치 방식에 기반하고 있다. 하지만 이러한 배치 기반 알고리즘들은 실시간으로 추적을 처리해야 하는 많은 실제 응용 시스템들에서 사용할 수 없다는 큰 문제점이 있다.

등록특허공보 제10-1208427호 (등록일자 2012.11.29) 등록특허공보 제10-1195942호 (등록일자 2012.10.23)

따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치 및 방법으로, 지연 결정에 기반한 다중 가설 트레킹(Multiple Hypothesis Tracking, 이하 MHT) 프레임 워크를 채택하였다. 또한, 다중 카메라에 대한 MHT의 연산 부하를 줄이기 위해 2 차원(2D) 이미지 좌표에서 트랙렛(추정된 목표 궤적의 부분 파편)을 사용하는데 그 목적이 있다.

본 발명의 다른 목적은 최첨단 MCMTT 방법들이 공간적 결합에 있어 기하정보만 고려하기 때문에 갖게 되는 한계점을 해결하기 위한 것으로서, 본 발명의 점수는 기하정보 뿐 아니라 표적의 모양 및 동작 정보를 고려하여 보다 높은 결합 정확도를 갖는 것을 목적으로 한다.

본 발명의 또 다른 목적은 MHT 기반 방식의 높은 연산량을 해결하기 위한 것으로서, 본 발명의 확률 문제 해결 솔류선은 이전 프레임의 솔루션 중 K최고들을 이용하는 분할 및 정복 방식을, 최신의 휴리스틱 알고리즘과 결합하는 것을 목적으로 한다.

본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치의 특징은 다중 카메라의 각 카메라별로 프레임을 통해 탐지되는 탐지 결과를 트랙렛(tracklet)으로 변환하는 트랙렛 생성부와, 상기 트랙렛 생성부에서 변환된 트랙렛들을 가지고 가능한 모든 시간적·공간적 결합을 통해 3차원 공간 상 추적 결과가 될 수 있는 후보트랙을 생성하는 후보트랙 생성부와, 상기 후보트랙 생성부에서 생성된 후보트랙 중 확률 상으로 표적의 경로(trajectory)일 확률이 높은 후보트랙을 최적 트랙으로 선별하고, 선별된 최적 트랙을 피드백하면서 연속하여 최적 트랙을 선별하는 트랙 선별부와, 상기 후보트랙 생성부에서 생성된 후보들 및 상기 트랙 선별부에서 선별된 최적 트랙을 기반으로 트랙의 길이 및 탐지된 개체의 예상 높이 등을 이용하여 근사 글로벌 확률(AGTP) 또는 N 스캔 백 방식을 이용하여 추적 결과가 될 수 있는 가능성을 진단하여 그 가능성이 설정된 임계치보다 낮은 트랙을 제거하고, 그 결과를 상기 후보트랙 생성부로 전달하는 트랙 제거부를 포함하여 구성되는데 있다.

바람직하게 상기 트랙렛은 연속적인 프레임들로부터의 검출들 간의 시간적 결합을 통해 생성되며, 상기 후보트랙 생성부는 생성되는 트랙렛들의 움직임 정보 및 모양 정보를 고려한 연결 과정을 통해 후보 트랙을 생성하는 것을 특징으로 한다.

바람직하게 상기 트랙렛 생성부는 각 탐지 결과 및 기존에 이미 생성된 트랙렛들 사이의 유사도를 산출하는 매칭 스코어 산출부와, 상기 매칭 스코어 산출부에서 산출된 유사도를 기반으로 물리적으로 같은 표적으로부터 기인한 탐지 결과 및 트랙렛인지 여부를 최종적으로 환인 및 판단하는 매치 확인부와, 상기 매치 확인부에서 검출되는 트랙렛을 관리하는 트랙렛 관리부를 포함하여 구성되는 것을 특징으로 한다.

바람직하게 상기 후보트랙 생성부는 트랙렛 생성부에서 도출되어 3차원 좌표계 상으로 변환된 트랙렛들 중 새로운 트랙렛으로 생성하거나 일치하는 결과가 있는 기존 트랙렛을 업데이트하는 트랙 업데이트부와, 상기 트랙 업데이트부의 결과를 이용하여 트랙렛 생성부(100)에서 변환된 트랙렛들 중 같은 사람에게서 생성된 트랙렛들끼리 적어도 하나 이상의 묶음으로 결합하는 트랙렛 결합부와, 상기 트랙렛 결합부에서 결합된 묶음별로 3차원 공간상에 3차원 좌표를 갖는 트랙을 생성하고, 생성된 트랙에 스코어를 부여하는 트랙 생성부와, 상기 트랙 업데이트부의 결과 및 트랙 생성부에서 생성된 트랙 스코어를 적용하여 추적 결과가 될 수 있는 후보들을 확립하는 후보트랙 확립부를 포함하여 구성되는 것을 특징으로 한다.

바람직하게 상기 트랙 선별부는 피드백되는 최적 트랙 정보를 이용하여 일치하는 그룹을 갖는 트랙들을 서브-그룹으로 분류하는 MWCP 구조부와, 상기 MWCP 구조부에서 분류된 서브-그룹별 실제 표적의 경로일 정의된 임계치를 갖는 확률보다 높은 트랙을 선별하고, 선별된 트랙을 상기 MWCP 구조부로 피드백하는 글로벌 가설 형성부를 포함하여 구성되는 것을 특징으로 한다.

바람직하게 상기 트랙 제거부는 트랙 선별부에서 선별된 최적 트랙들을 제거하기 위한 글로벌 가설을 설정하는 AGTP(Approximation of Global Track Probability)부와, 상기 AGTP부에서 설정된 글로벌 가설을 기준으로 검출된 트랙들 중 근사 글로벌 확률(AGTP)이 없는 트랙을 제거하는 미확인 트랙 제거부와, 상기 AGTP부에서 설정된 글로벌 가설을 기준으로 N 프레임을 스캔하여 상기 글로벌 가설에 따라 대상의 위치를 수정하고, 고정된 위치의 대상과 호환되지 않는 모든 트랙을 제거하는 N 스캔 백 제거부를 포함하여 구성되는 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 방법의 특징은 (A) 다중 카메라의 각 카메라에서 이미지를 받아온 매 프레임에서 보행자를 탐지하고, 이러한 탐지 결과를 시간별로 짝을 지어 한 사람에 대한 트랙렛(tracklet)으로 변환하는 단계와, (B) 후보트랙 생성부를 통해 상기 변환된 트랙렛들을 가지고 가능한 모든 시간적·공간적 결합을 통해 3차원 상 추적 결과가 될 수 있는 후보트랙을 생성하는 단계와, (C) 트랙 선별부를 통해 생성된 후보트랙 중 확률 상으로 표적의 경로(trajectory)일 확률이 설정된 임계치 보다 높은 후보트랙을 최적 트랙으로 선별하고, 선별된 최적 트랙을 피드백하면서 연속하여 최적 트랙을 선별하는 단계와, (D) 트랙 제거부를 통해 생성된 후보들 및 상기 트랙 선별부에서 선별된 최적 트랙을 기반으로 트랙의 길이 및 탐지된 개체의 예상 높이 등을 이용하여 근사 글로벌 확률(AGTP) 또는 N 스캔 백 방식을 이용하여 추적 결과가 될 수 있는 가능성을 진단하여 그 가능성이 설정된 임계치보다 낮은 트랙을 제거하고, 그 결과를 상기 후보트랙 생성부로 피드백하는 단계를 포함하여 이루어지는데 있다.

바람직하게 상기 (A) 단계는 매칭 스코어 산출부를 통해 각 탐지 결과 및 기존에 이미 생성된 트랙렛들 사이의 유사도를 산출하는 단계와, 매치 확인부를 통해 상기 산출된 유사도를 기반으로 물리적으로 같은 트랙렛 여부를 확인하여 매치되는 트랙렛을 검출하는 단계로 이루어지는 것을 특징으로 한다.

바람직하게 상기 트랙렛의 검출은 트랙렛 관리부를 통해 유효한 일치 항목으로 트랙렛을 업데이트하고, 트랙렛에 대해 일치하는 탐지가 없으면 오탐지로 간주하여 추적 렛이 종료하며, 현재 탐지와 일치하는 트랙렛이 없을 때는 새로운 트랙렛으로 생성하는 단계를 더 포함하는 것을 특징으로 한다.

바람직하게 상기 (B) 단계는 트랙렛 결합부를 통해 상기 업데이트 결과를 이용하여 트랙렛 생성부에서 변환된 트랙렛들 중 같은 사람에게서 생성된 트랙렛들끼리 적어도 하나 이상의 묶음으로 결합하는 단계와, 트랙 생성부를 통해 결합된 묶음별로 3차원 공간상에 3차원 좌표를 갖는 트랙을 생성하는 단계와, 상기 생성된 트랙에 스코어를 부여한 후, 후보트랙 확립부를 통해 업데이트 결과 및 생성된 트랙 스코어를 적용하여 추적 결과가 될 수 있는 후보들을 확립하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

바람직하게 상기 결합 단계에서 결합은 공간적 결합(Spatial Association), 시간적 결합(temporal association), 그리고 상기 공간적 결합 및 시간적 결합의 병합(merge) 중 어느 하나로 이루어지며, 상기 공간적 결합은 시간적으로 겹치는 트랙렛 사이의 결합성에 의해 정의되며, 상기 시간적 결합은 시간적 결합성이 동일한 카메라의 연속적인 트랙렛 사이의 결합성에 의해 정의되는 것을 특징으로 한다.

바람직하게 상기 생성된 트랙에 스코어를 부여는 다섯 가지 요소를 고려하면서 각 트랙에 대해 스코어를 부여하며, 첫 번째 것은 트랙의 위치가 탐지와 동일한지를 나타내는 재구성 스코어

, 두 번째는 트랙의 연속 위치의 기하학적 적합성을 고려한 연결 스코어

, 세 번째와 네 번째는 시작 스코어

와 종료 스코어

, 마지막 하나는 트랙과 관련된 탐지 간의 시각적 유사도를 나타내는 시각적 스코어

인 것을 특징으로 한다.

바람직하게 상기 (C) 단계는 MWCP 구조부를 통해 피드백되는 최적 트랙 정보를 이용하여 일치하는 그룹을 갖는 트랙들을 서브-그룹으로 분류하는 단계와, 글로벌 가설 형성부를 통해 상기 분류된 서브-그룹별 실제 표적의 경로일 확률이 높은 최적 트랙을 선별하는 단계와, 상기 선별된 최적 트랙을 상기 MWCP 구조부로 피드백하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

바람직하게 상기 (D) 단계는 AGTP(Approximation of Global Track Probability)부를 통해 선별된 최적 트랙들을 제거하기 위한 글로벌 가설을 설정하는 단계와, 미확인 트랙 제거부를 통해 설정된 글로벌 가설을 기준으로 상기 검출된 트랙들 중 근사 글로벌 확률(AGTP)이 없는 트랙을 제거하는 단계와, N 스캔 백 제거부를 통해 설정된 글로벌 가설을 기준으로 N 프레임을 스캔하여 상기 글로벌 가설에 따라 대상의 위치를 수정하고, 고정된 위치의 대상과 호환되지 않는 모든 트랙을 제거하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

바람직하게 상기 글로벌 가설은 트랙렛의 파티션에 의해 생성된 트랙 집합으로, 호환 가능한 트랙 세트로 정의되어 트랙들 간의 호환성에 따라 생성되며, 이전 섹션에서 정의한 트랙 점수에 따라 글로벌 가설 중에서 트랙 점수가 가장 높은 글로벌 가설

을 검출하는 것을 특징으로 한다.

이상에서 설명한 바와 같은 본 발명에 따른 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치 및 방법은 성능뿐만 아니라 계산상의 복잡도를 완화시키는 효과가 있다. 즉, 각 반복마다 높은 점수를 얻은 트랙을 찾고 K 반복 동안 K 개의 트랙을 얻는 단일 카메라 케이스에 대한 배치 모드 K-best 접근법과 달리, 본 발명에 따른 온라인 체계는 K 개의 호환 트랙 세트를 찾도록 설계되어 여러 카메라 설정의 각 프레임에서 여러 대상 추적을 가장 잘 설명한다.

또한 본 발명은 우리의 계획이 피드백 정보를 기반으로 한 분할 및 정복 알고리즘을 사용하여 제안된 온라인 체계에 의해 거의 최적의 해를 찾을 수 있도록 도와준다. 즉, 과거 프레임의 결과에 대한 피드백 정보는 트랙렛 구성, 후보 트랙 생성 및 MWCP 구성 분할 / 정복에 크게 기여한다.

또한 트랙렛을 구성하기 위해 결합 조건은 현재 탐지와 과거 트랙렛을 연결하도록 설계됨에 따라, 후보 트랙을 생성하기 위해, 현재의 트랙렛을 과거의 후보 트랙과 링크시키는 트랙 트리가 제안되고, MWCP는 이전 프레임의 추적 솔루션을 기반으로 여러 하위 문제로 재구성하여 계산을 줄이는 효과가 있다.

또한 MWCP를 위한 최첨단 휴리스틱 알고리즘인 BSL(Breakout Local Search) 이라는 반복적 휴리스틱 알고리즘을 적용함으로써, 각 하위 문제를 해결할 때의 계산량을 줄이는 효과가 있다. 즉, BLS는 거의 최적의 솔루션을 신속하게 찾아낼 뿐만 아니라 약간 수정 된 온라인 전략에 대해 여러 지역 최적 솔루션을 생성한다. 이러한 하위 문제를 해결 한 후에 결과 솔루션을 신뢰할 수 없는 트랙을 제거하기 위해 잘라내기 계획에 활용한다.

도 1 은 본 발명의 실시예에 따른 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치의 구성을 나타낸 구성도
도 2 는 본 발명의 실시예에 따른 설명에 앞서 기재된 기호들을 정의한 도면
도 3 은 본 발명의 실시예에 따른 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 방법을 설명하기 위한 흐름도
도 4 및 도 5 는 도 3에서 트랙렛 생성부를 통해 보행자를 탐지하고, 탐지 결과를 시간별로 짝을 지어 한 사람에 대한 트랙렛(tracklet)으로 변환하는 과정을 설명하기 위한 도면
도 6 및 도 7 은 도 3에서 후보트랙 생성부를 통해 3차원 상 추적 결과가 될 수 있는 후보트랙을 생성하는 과정을 설명하기 위한 도면
도 8 은 도 3에서 미확인 트랙 제거부를 통해 설정된 글로벌 가설을 기준으로 트랙을 제거하는 과정을 설명하기 위한 도면

본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

본 발명에 따른 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치 및 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

한편, 본 발명에서 각 뷰 내의 트랙렛은 지상 평면 가정에 기초한 역 투영에 의해 3차원(3D) 공간에서 조립된다. 지면 평면 가정에서, 모든 표적은 지면 평면이라 불리는 3D 가상 평면상에서 움직이는 것으로 가정된다. 이 가정과 카메라 네트워크 보정 정보를 사용하여 삼각 측량없이 각 트랙렛에 대한 3D 위치를 얻을 수 있음에 따라 3D 결합 문제는 접지 평면에서 2D 결합 문제로 단순화된다.

도 1 은 본 발명의 실시예에 따른 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치의 구성을 나타낸 구성도이다.

도 1에서 도시하고 있는 것과 같이, 다중 카메라의 각 카메라별로 프레임을 통해 탐지되는 탐지 결과를 트랙렛(tracklet)으로 변환하는 트랙렛 생성부(100)와, 상기 트랙렛 생성부(100)에서 변환된 트랙렛들을 가지고 가능한 모든 시간적·공간적 결합을 통해 3차원 공간 상 추적 결과가 될 수 있는 후보트랙을 생성하는 후보트랙 생성부(200)와, 상기 후보트랙 생성부(200)에서 생성된 후보트랙 중 확률 상으로 표적의 경로(trajectory)일 확률이 높은 후보트랙을 최적 트랙으로 선별하고, 선별된 최적 트랙을 피드백하면서 연속하여 최적 트랙을 선별하는 트랙 선별부(300)와, 상기 후보트랙 생성부(200)에서 생성된 후보들 및 상기 트랙 선별부(300)에서 선별된 최적 트랙을 기반으로 트랙의 길이 및 탐지된 개체의 예상 높이 등을 이용하여 근사 글로벌 확률(AGTP) 또는 N 스캔 백 방식을 이용하여 추적 결과가 될 수 있는 가능성을 진단하여 그 가능성이 설정된 임계치보다 낮은 트랙을 제거하고, 이때의 정보를 상기 후보트랙 생성부(200)로 전달하는 트랙 제거부(400)로 구성된다.

이때, 상기 트랙렛은 연속적인 프레임들로부터의 검출들 간의 시간적 결합을 통해 생성되며, 후보트랙 생성부(200)는 생성되는 트랙렛의 모션 및 모양 정보와 연결하여 후보 트랙을 생성한다.

상기 트랙렛 생성부(100)는 각 탐지 결과 및 기존에 이미 생성된 트랙렛들 사이의 유사도를 산출하는 매칭 스코어 산출부(110)와, 상기 매칭 스코어 산출부(110)에서 산출된 유사도를 기반으로 물리적으로 같은 트랙렛 여부를 확인하여 매치되는 트랙렛을 검출하는 매치 확인부(120)와, 상기 매치 확인부(120)에서 검출되는 트랙렛을 관리하는 트랙렛 관리부(130)로 구성된다.

상기 후보트랙 생성부(200)는 트랙렛 생성부(100)에서 변환된 트랙렛들 중 새로운 트랙렛으로 생성하거나 일치하는 결과가 있는 기존 트랙렛을 업데이트하는 트랙 업데이트부(210)와, 상기 트랙 업데이트부(210)의 결과를 이용하여 트랙렛 생성부(100)에서 변환된 트랙렛들 중 같은 사람에게서 생성된 트랙렛들끼리 적어도 하나 이상의 묶음으로 결합하는 트랙렛 결합부(220)와, 상기 트랙렛 결합부(220)에서 결합된 묶음별로 3차원 공간상에 3차원 좌표를 갖는 트랙을 생성하고, 생성된 트랙에 스코어를 부여하는 트랙 생성부(230)와, 상기 트랙 업데이트부(210)의 결과 및 트랙 생성부(230)에서 생성된 트랙 스코어를 적용하여 추적 결과가 될 수 있는 후보들을 확립하는 후보트랙 확립부(240)로 구성된다.

상기 트랙 선별부(300)는 피드백되는 최적 트랙 정보를 이용하여 일치하는 그룹을 갖는 트랙들을 서브-그룹으로 분류하는 MWCP 구조부(310)와, 상기 MWCP 구조부(310)에서 분류된 서브-그룹별 실제 표적의 경로일 확률이 높은 최적 트랙을 선별하고, 선별된 최적 트랙을 상기 MWCP 구조부(310)로 피드백하는 글로벌 가설 형성부(320)로 구성된다.

상기 트랙 제거부(400)는 트랙 선별부(300)에서 선별된 최적 트랙들을 제거하기 위한 글로벌 가설을 설정하는 AGTP(Approximation of Global Track Probability)부(410)와, 상기 AGTP부(410)에서 설정된 글로벌 가설을 기준으로 검출된 트랙들 중 근사 글로벌 확률(AGTP)이 없는(AGTP는 KH 최상의 글로벌 가설에 의해 정의되기 때문에 KH 최고의 글로벌 가설에 속하지 않는) 트랙을 제거하는 미확인 트랙 제거부(420)와, 상기 AGTP부(410)에서 설정된 글로벌 가설을 기준으로 N 프레임을 스캔하여 상기 글로벌 가설에 따라 대상의 위치를 수정하고, 고정된 위치의 대상과 호환되지 않는 모든 트랙을 제거하는 N 스캔 백 제거부(430)로 구성된다.

이때, 상기 AGTP부(410)에서의 트랙 제거의 경우, 동일한 트랙 트리에서 확인되지 않은 트랙은 측정이 거의 동일하기 때문에 비슷합니다. 따라서 모든 트랙을 확인되지 않은 트랙 트리에 보관하는 것은 비효율적입니다.

즉, 상기 AGTP부(410)는 미확인 트랙 제거부(420)를 통해 AGTP(Approximation of Global Track Probability)에 따라 각 트리의 베스트 트랙을 제외하고 미확인 트랙 트리에서 모든 트랙을 삭제한다. 그러나 최선의 글로벌 가설을 유지하기 위해 미확인 궤도가 최고의 트랙에 포함되지 않더라도 최상의 글로벌 가설을 유지한다. 이때, 확인된 트랙 트리의 경우, 각 트리의 트랙 수가 기하급수적으로 증가하기 때문에 각 트리에 모든 트랙을 유지하는 것은 어렵습니다.

따라서 확인된 트랙 트리에 N 스캔 백 접근법을 적용하여 지연된 결정을 기반으로 하는 트랙을 제거하여야 한다. 이를 위해, 상기 AGTP부(410)는 N 스캔 백 제거부(430)를 통해 가장 좋은 글로벌 가설을 찾은 후 N 프레임을 스캔하여 현재 가장 좋은 글로벌 가설에 따라 대상의 위치를 수정한다. 그런 다음 고정된 위치의 대상과 호환되지 않는 모든 트랙을 잘라낸다. 한편, 상기 N 스캔 백 제거부(430)는 트리 구조의 관점에서 볼 때 현재 최상의 글로벌 가설에서 트랙을 포함하는 분기를 제외하고 이전에 N 개의 프레임에서 각 트랙 트리의 분기를 잘라낸다.

이와 같이 구성된 본 발명에 따른 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 도 1과 동일한 참조부호는 동일한 기능을 수행하는 동일한 부재를 지칭한다. 그리고 설명에 앞서 기재된 기호들을 다음 도 2에서 정의한다.

도 3 은 본 발명의 실시예에 따른 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 방법을 설명하기 위한 흐름도이다.

도 3을 참조하여 설명하면, 먼저 트랙렛 생성부(100)를 통해 도 4 및 도 5에서 도시하고 있는 것과 같이, 다중 카메라의 각 카메라에서 이미지를 받아온 매 프레임에서 보행자를 탐지하고, 이러한 탐지 결과를 시간별로 짝을 지어 한 사람에 대한 트랙렛(tracklet)으로 변환한다(S10). 이는 각 카메라별로 독립적으로 수행된다.

상기 S10 단계를 상세히 설명하면, 매칭 스코어 산출부(110)를 통해 각 탐지 결과 및 기존에 이미 생성된 트랙렛들 사이의 유사도를 산출한 후, 매치 확인부(120)를 통해 상기 산출된 유사도를 기반으로 물리적으로 같은 트랙렛 여부를 확인하여 매치되는 트랙렛을 검출한다. 그리고 트랙렛 관리부(130)를 통해 상기 검출되는 트랙렛을 관리한다.

상기 매칭 스코어 산출부(110)를 통해 유사도를 산출하는 방법을 상세히 설명하면 다음과 같다.

시간 t에서 새롭게 검출된 검출로서

를 정의하고, 마지막 검출이 시간 인덱스 t-1을 갖는 모든 트랙렛의 세트로서의

는 다음 수학식 1과 같다.

이때, 트랙렛

과 검출

사이의 매칭 스코어는 다음 수학식 2 및 수학식 3과 같이 정의된다.

여기서, 상기

는 트랙렛

에 의해 포함된 시간 t에서의 검출이다. 그리고 상기

는 비교 간격의 길이이다. 또한 상기

및

은 후술하는 움직임 추정 기술에 기초한 양방향(순방향 및 역방향) 추적 결과이다.

는 시간

(+1 : 순방향, -1 : 역방향)에서

의 추정치로서, 여기서 목표의 크기가 연속 프레임 사이에서 갑자기 변하지 않는다고 가정하면,

는 다음 수학식 4와 같이 정의된다.

여기서

는 다음에서 설명하는 모션 추정에서

와

사이의 주요 불일치를 나타낸다.

모션 추정에서 매칭 스코어 산출부(110)는

로부터 특징점을 추출하고 시간

에서 프레임상의 KLT 특징 추적 알고리즘으로 추적한다.

시각

에서 성공적으로 추적된 j번째(

) 시점과 시간

에서의 추적 결과 사이의 불일치로

를 정의하면, 불일치 세트

는 다음 수학식 5와 같이 정의된다.

여기서 상기

는 정적 특징 점으로부터의 불일치를 거부하는 설계 매개 변수이고,

의 관계수(cardinality)가 모든 추적된 특징 지점의 수 절반보다 작은 경우

는 이동하지 않으므로

으로 결정합니다.

그렇지 않으면, 매칭 스코어 산출부(110)는 다음 수학식 6과 같이 가장 큰 이웃 집합을 갖는 큰 불일치를 찾는다.

여기서

가

에 비례하는 이웃 윈도우 크기를 나타낼 때, 다음 수학식 7과 같다.

상기에서 순방향 추적을 사용함으로써,

는

, 즉 이전 프레임에서의 트랙렛의 최종 검출로부터 얻어진다.

다음으로 매치 확인부(120)를 통해 산출된 유사도를 기반으로 도 6에서 도시하고 있는 것과 같이, 물리적으로 같은 트랙렛 여부를 확인하여 매치되는 트랙렛을 검출하는 방법을 상세히 설명하면 다음과 같다.

각 프레임에서, 상기 수학식 2에서 정의된 점수로 기존의 Hungarian 방법(H. W. Kuhn, "The hungarian method for the assignment problem,"Naval research logistics quarterly, vol. 2, no. 1-2, pp. 83. 97, 1955.)에 의한 탐지와 추적을 매치한다.

이때, 트랙렛의 강건성을 높이기 위해 다음과 같은 두 가지 3D 기하 조건을 사용하여 각 일치를 확인한다.

첫 번째 조건은 일치하는 탐지와 일치하는 추적의 마지막 탐지 사이의 3D 공간에서의 거리이다. 이는 매치가 유효 할 때 거리가 충분히 가깝다고 가정한다. 탐지 간의 3D 거리를 측정하려면 탐지된 각 보행자의 3D 위치를 단일 탐지로 알아야한다. 이에 따라 모든 보행자가 특정 3D 평면으로 이동한다고 가정하여 단일 탐지에서 발생하는 심도 모호성을 해결한다.

가정 및 Tsai 카메라 보정 모델을 사용하여 카메라

의 이미지 좌표

를 3D 지면 평면의 좌표로 전송하는 역 투영 함수

를 정의 할 수 있다. 이때, 검출

와 트랙렛

사이의 일치가 유효하면,

와

, 마지막 검출

는 다음 수학식 8의 조건을 만족해야 한다.

여기서

는 동일한 트랙렛에서 연속 탐지 간의 허용 가능한 최대 3D 거리이며, 입력 비디오의 프레임 속도 및 대상의 평균 이동 속도와 관련된 설계 매개 변수이다.

두 번째 조건은 탐지된 개체의 예상 높이에 대한 것이다. 이는 표적의 높이가 갑자기 변하지 않는다고 가정 할 때,

와

는 그들 사이의 일치가 유효 할 때 유사한 높이를 가질 것이다. 이에 따라, 검출된 물체의 높이를 추정하는 함수로

을 정의할 때,

와

는 다음 수학식 9의 조건을 만족 시켜서

와

사이의 일치 유효성을 보장해야 한다.

여기서

는 연속 프레임 사이의 목표 높이의 최대 허용 변화량에 대한 설계 매개 변수이다.

이처럼, 유효성 검사가 끝나면 트랙렛 관리부(130)를 통해 유효한 일치 항목으로 트랙렛을 업데이트하고, 트랙렛에 대해 일치하는 탐지가 없으면 오탐지로 간주하여 추적 렛이 종료된다. 그리고 현재 탐지와 일치하는 트랙렛이 없을 때는 새로운 트랙렛으로 생성된다.

이어 후보트랙 생성부(200)를 통해 상기 변환된 트랙렛들을 가지고 가능한 모든 시간적·공간적 결합을 통해 3차원 상 추적 결과가 될 수 있는 후보트랙을 생성한다(S20).

상기 S20 단계를 상세히 설명하면, 트랙 업데이트부(210)를 통해 변환된 트랙렛들 중 새로운 트랙렛으로 생성하거나 일치하는 결과가 있는 기존 트랙렛을 업데이트하고, 트랙렛 결합부(220)를 통해 상기 업데이트 결과를 이용하여 트랙렛 생성부(100)에서 변환된 트랙렛들 중 같은 사람에게서 생성된 트랙렛들끼리 적어도 하나 이상의 묶음으로 결합한다. 그리고 트랙 생성부(230)를 통해 결합된 묶음별로 3차원 공간상에 3차원 좌표를 갖는 트랙을 생성하고, 생성된 트랙에 스코어를 부여한 후, 후보트랙 확립부(240)를 통해 업데이트 결과 및 생성된 트랙 스코어를 적용하여 추적 결과가 될 수 있는 후보들을 확립한다.

상기 트랙렛 결합부(220)를 통해 트랙렛들끼리 묶음으로 결합하는 방법을 상세히 설명하면 다음과 같다.

트랙렛 간의 데이터 연결은 동일한 대상에서 생성 된 트랙렛을 결정하는 것이다. 즉, 연계를 통해 전체 트랙렛은 여러 개의 하위 집합으로 분할된다. 각 하위 집합은 대상 또는 거짓 경보와 관련되어 있다고 가정하며, 거짓 경보는 비 표적 클러터(clutter)에 의해 생성된 트랙렛이다.

는 전체 트랙 세트

의 모든 가능한 파티션의 집합이라고 하면, MCMTT 문제의 목표는 표적 추적을 가장 잘 설명하는 파티션

를 찾는 것이다.

i번째(

) 파티션은

로 정의되고, 이때, 상기

는 잘못된 경보 집합이라고 하는 잘못된 경보 집합이고, 상기

는 i번째(

) 파티션에서 k번째(

) 목표로부터 추정된 트랙렛의 집합이며 결합 집합이라고 부른다.

대응하는 결합 집합이 주어질 때 결정적 방식으로 트랙을 생성 할 수 있음에 유의하여야 한다. 따라서 가능한 모든 결합 집합을 열거하는 것은 가능한 모든 트랙을 나열하는 것과 같다.

파티션 인덱스 없이 가능한 모든 결합 집합의 모든(universe) 집합을 다음 수학식 10과 같이 정의한다.

여기서는 편의를 위해 인수

를 생략한다. 그리고

의 해당 트랙을

로 표기하고

와 결합된 검출 세트를

로 표기한다. 또한 결합 집합의 생성 방식을 설명하기 위해 공간적 결합(Spatial Association), 시간적 결합(temporal association) 및 병합(merge)으로 세 가지 연산을 정의한다.

상기 첫 번째의 공간적 결합은 도 7(b)의

및

에 도시 된 바와 같이, 공간적 결합성은 시간적으로 겹치는 트랙렛 사이의 결합성에 의해 정의된다. 트랙렛

과

이 같은 표적인지 아닌지를 결정하기 위해, 트랙렛에서 동시 검출 사이의 거리가 섹트(Sect)에 기술된 역 투영 함수

를 갖는

에 의해 한정되는지를 검사하는 다음 수학식 11의 공간 결합성 조건을 나타낸다.

그리고 두 번째의 시간적 결합은 시간적 결합성이 동일한 카메라의 연속적인 트랙렛 사이의 결합성에 의해 정의되며, 동일한 트랙렛은 동일한 표적에서 나온 것으로 간주된다. 즉, 시간 결합을 위해, 선행하는 트랙렛

및 후속하는 트랙렛

은 다음의 두 조건을 만족해야한다.

조건 1 : 각 표적이 각 뷰에서 최대 하나의 검출을 생성 할 수 있다는 사실에 따라,

및

은 일시적으로 중첩되지 않아야한다. 그건, 다음 수학식 12에서 나타낸다.

조건 2 : 대상이 갑자기 위치를 변경할 수 없기 때문에

,

의 마지막 감지 및

의 첫 번째 감지인

은 3D 공간에서 충분히 근접하다. 따라서

가 한 프레임 동안 대상이 움직일 수 있는 최대 거리로 정의되는 경우, 다음 수학식 13의 조건을 갖는다.

마지막으로 세 번째 병합은 두 결합관계 집합의 결합 집합이 모든 공간적 및 시간적 결합조건을 충족시키는 경우 이 집합도 결합 집합이다. 이 두 결합 집합을 병합 가능이라고 한다. 이를 토대로, 이들 간의 병합 연산

는 다음 수학식 14와 같이 정의된다.

각

와

의 트랙렛은 이미 모든 연결 조건을 만족하므로

의 트랙렛과

의 트랙렛 사이의 조건 만족을 검사하여 두 결합성 집합이 병합 가능한지 여부를 결정하면 된다.

그리고 트랙 생성부(230)를 통해 트랙을 생성하는 방법을 상세히 설명하면 다음과 같다.

결합 집합

가 주어 졌을 때, 트랙 생성부(230)는 시간 t에서의

의 검출 집합

을 결정할 수 있다. 그리고

를 사용하면 시간 t에서의 트랙

의 위치

는 재구성 및 평활화의 두 단계로 추정된다.

이 섹션에서, 재구성의 정의는 시간

에서 트랙

의 추정된 3D 위치

를 생성하는 것이다. 그리고

가 공집합이 아닌 경우

는

의 기하학적 중심점으로 다음 수학식 15와 같이 정의된다.

목표물이 시간

에 임의의 카메라에 의해 검출되지 않으면,

이다. 이 경우에, 인접한 두 개의 재구성된 위치의 보간에 의해

를 추정한다. 즉,

와

은 각각 비어 있지 않은 감지 집합을 가진 t에서 가장 가까운 선행 시간과 다음 시간을 나타내면, 다음 시간 t에서 재구성된 3D 위치는 다음 수학식 16과 같이 정의된다.

재구성 단계에서 발견된

는 다른 시간에

의 다른 3D 위치와는 독립적이다. 그러나 인접한 위치는 대상이 특정 동작에서 움직이기 때문에 상호 결합성이 높다.

이러한 종속성을 고려하기 위해 재구성된 3D 위치를 부드럽게 처리하기 위해,

의 모든 개개의 재구성된 3D 위치가 발견되면, 시간 t에서

의 최종 3D 위치인

는 다음 수학식 17에 의해 얻어진다.

여기서

는 시간 t에서 평활화된 위치를 반환하는 함수이다.

한편, 생성된 트랙에 스코어를 부여는 다섯 가지 요소를 고려하면서 각 트랙에 대해 스코어를 제안한다.

첫 번째 것은 트랙의 위치가 탐지와 동일한지를 나타내는 재구성 스코어

이다. 두 번째는 트랙의 연속 위치의 기하학적 적합성을 고려한 연결 스코어

이다. 세 번째와 네 번째는 시작 스코어

와 종료 스코어

이다. 이때, 각 트랙은 트랙의 시작 또는 끝 위치의 적합성을 평가합니다. 그리고 트랙이 보이는 영역 또는 입구의 경계에서 시작하거나 끝나면 트랙의 시작 또는 종료 스코어가 낮습니다. 마지막 하나는 트랙과 관련된 탐지 간의 시각적 유사도를 나타내는 시각적 스코어

이다.

그런 다음 트랙 점수는 다음 수학식 18에 의해 정의된다.

다음으로 트랙 선별부(300)를 통해 생성된 후보트랙 중 확률 상으로 표적의 경로(trajectory)일 확률이 높은 후보트랙을 최적 트랙으로 선별하고, 선별된 최적 트랙을 피드백하면서 연속하여 최적 트랙을 선별한다(S30).

상기 S30 단계를 상세히 설명하면, MWCP 구조부(310)를 통해 피드백되는 최적 트랙 정보를 이용하여 일치하는 그룹을 갖는 트랙들을 서브-그룹으로 분류한다. 그리고 글로벌 가설 형성부(320)를 통해 상기 분류된 서브-그룹별 실제 표적의 경로일 확률이 높은 최적 트랙을 선별하고, 선별된 최적 트랙을 상기 MWCP 구조부(310)로 피드백한다.

이때, 상기 글로벌 가설 형성부(320)를 통해 최적 트랙을 선별하는 방법은 이미 공지되어 있는 BLS(Breakout Local Search) 알고리즘을 사용한다. 그러나 이는 하나의 일 실시예일 뿐, 혼합 정수 프로그래밍(Mixed Integer Programming)이 가능한 임의의 해석(solving) 알고리즘은 모두 이용이 가능하다. 즉 상기 S3 단계는 해석(solving) 알고리즘의 형식에 특장점이 있다고 보기보다 매 프레임을 해석할 때, BLS 알고리즘을 사용하기 이전에, 피드백을 통해 전 프레임에서의 해설 결과를 토대로 나타나는 문제의 크기를 줄이는데 그 특징이 있다.

이처럼, 피드백을 이용함에 따라 다음과 같은 효용성을 가지게 된다. 첫째는 해당 형식(Formulation)의 경우, 문제를 푸는데 드는 연산량은 한 번에 고려되는 트랙의 개수에 지수적으로 비례하고, 둘째, 피드백 정보를 이용하여 하나의 큰 문제를 N 개의 작은 문제로 쪼갤 수 있다. 즉, 본디 하나만 풀어도 되는 문제를 N개의 문제로 변환하였으나, 각 문제의 크기가 원래의 문제 크기에 비해 매우 작기 때문에, 속도가 훨씬 빨라진다. 셋째, 풀고자하는 문제가 트랙킹(Tracking) 문제이기 때문에, 피드백 정보를 활용하여 서브 그룹(sub-group)으로 나누어 풀어도 본래 문제를 푼 것과 성능 차이가 거의 없게 된다.

이어 트랙 제거부(400)를 통해 생성된 후보들 및 상기 트랙 선별부(300)에서 선별된 최적 트랙을 기반으로 트랙의 길이 및 탐지된 개체의 예상 높이 등을 이용하여 근사 글로벌 확률(AGTP) 또는 N 스캔 백 방식을 이용하여 추적 결과가 될 수 있는 가능성을 진단하여 그 가능성이 설정된 임계치보다 낮은 트랙을 제거하고, 이때의 정보를 상기 후보트랙 생성부(200)로 전달한다(S40).

상기 S40 단계를 상세히 설명하면, AGTP(Approximation of Global Track Probability)부(410)를 통해 선별된 최적 트랙들을 제거하기 위한 글로벌 가설을 설정한다. 이때, 상기 글로벌 가설은 트랙렛의 파티션에 의해 생성된 트랙 집합이므로, 호환 가능한 트랙 세트로 정의 될 수도 있다. 따라서 특정 트랙 세트로부터, 여러 글로벌 가설들은 트랙들 간의 호환성에 따라 생성 될 수 있다. 그리고 추적 방법의 목표는 이전 섹션에서 정의한 트랙 점수에 따라 글로벌 가설 중에서 가장 좋은 글로벌 가설

을 찾는 것이다.

상기 후보트랙 생성부(200)는

를 빠르게 찾는 온라인 체계를 제시한다. 이를 위해, 모든 프레임에서, t번째(

) 프레임의 전체 트랙 세트인

로부터 모든 가능한 글로벌 가설 중에서

를 찾는 최적화 문제로서 MWCP를 공식화한다.

상기 후보트랙 생성부(200)는 계산을 줄이고 성능을 향상시키기 위해 이전 프레임의 최적 솔루션인

을 사용한다. 그러나 최상의 솔루션만 현재 프레임까지 전파 할 때 로컬 최적 조건에 갇히기 쉽다. 이 문제를 해결하기 위해 최상의 솔루션뿐만 아니라 각 프레임에서

최선의 솔루션

를 찾아 다음 프레임에서 여러 MWCP를 구성하는데 사용한다.

상기 후보트랙 생성부(200)는 MWCP를 해결하기 위한 최첨단 발견적 BLS인 BLS를 아래와 같이 수정하고 이를 다중 솔루션의 신속한 생성을 위한 온라인 체계에 적용한다.

먼저 MCMTT를 위한 MWCP를 설명하면, t 번째(

) 프레임에서 높은 스코어와 호환 가능한 트랙으로 구성된 글로벌 가설을 찾는

MWCPs를 구성한다. 각 MWCP는

,

로 구성되어, 이전 최상의 글로버 가설이

이라는 가정 하에 현재 최고의 글로벌 가설의 후보인 트랙 세트이다. 본 명세서에서는

을

의 관련 트랙 세트라고 부른다.

여기에는 트랙의 3타입을 포함한다. (i)

의 트랙, (ii) (ii)의, 즉

의 자식 중 현재 프레임에서 새로 생성된 트랙, 그리고 (iii) 확인되지 않은 트랙을 포함한다.

상기 확인되지 않은 트랙은

프레임보다 짧은 트랙으로, 미확인 트랙은 너무 짧아 가양성 여부를 판단 할 수 없다. 따라서 미확인 트랙이 이전 솔루션에 없는 경우에도 미확인 트랙을 관련 트랙 세트에 지속적으로 삽입한다. 그러면

은 다음 수학식 19과 같이 주어진다.

그리고

에 대한 각

에 대한 MWCP는 다음 수학식 20과 같이 공식화된다.

이때, 상기

은

의 접합성(compatibility) 집합이다. 문제의 솔루션은

과 같은 선택 변수

로 나타낼 수 있다.

상기 후보트랙 생성부(200)는 각 MWCP를 확장된 BLS로 풀어내며, 단일 MWCP에서 여러 개의 로컬 최적 솔루션을 신속하게 생성한다. 이에

을

에 대한 MWCP를 푸는 과정을 통해, 현재 프레임의 모든 MWCP에서 발견 할 수 있는 전체 솔루션을

으로 구할 수 있다.

즉, 총 트랙 점수에 따라

에서

최적 솔루션

를 선택한다. 그러면 현재 프레임의 추적 솔루션이

에서 가장 좋은 추적 솔루션이며, 다음 수학식 21로 산출된다.

입력 비디오 시퀀스의 시작 프레임에서

일 때, 전체 트랙 집합

를 갖는 단일 MWCP를 구성하고 풀 수 있다. 그리고 MWCP를 해결하는 계산은 그것을 해결할 때 트랙 수에 기하급수적으로 비례한다.

보통의 경우,

는

보다 훨씬 작다. 따라서 일반적으로 온라인 체계는 여러 MWCP를 해결해야만 원래 문제를 해결하는 것보다 빠르다.

다음으로 MCMTT를 위한 BLS를 설명하면, BLS는 최첨단 휴리스틱 알고리즘으로 표적이 없는(undirected) 그래프에서 최대 가중 클릭(clique)을 찾는다. 또한 BLS는 지역 탐색과 랜덤 혼란(random perturbation)으로 구성된 반복을 기반으로 한다. 따라서 로컬 검색에서 로컬 최적 솔루션을 얻으면 현재 솔루션을 임의로 교란하여 다른 로컬 최적 솔루션을 찾는다. 또한 지역 검색이 연속적으로 같은 해결책으로 끝나면 BLS는 지역 분지에서 벗어나기 위해 점차 교란 강도를 증가시킨다. 이것을 적응 혼란(adaptive perturbation)이라고 하며 BLS의 핵심 개념이다.

온라인 체계에서 BLS는 각 MWCP를 해결하기 위해 다음 세 가지 변화(variants)를 적용합니다.

1) 여러 솔루션 : 원래 BLS는 현재로서는 최적의 솔루션만 유지한다. 대조적으로, 본 발명은 알고리즘이 종료 조건을 만족시킬 때까지 발견된 모든 지역적 최적 솔루션을 유지한다. 그 다음, 그 해를

으로 묶어 n 번째 MWCP의 해결 결과로 반환한다.

2) 종료 조건 : 발견된 솔루션의 글로벌 최적성을 보장할 방법이 없기 때문에 BLS는 종료 조건으로 최대 반복 횟수만 사용한다. 따라서 반복의 최대 횟수는 더 나은 해결책을 찾을 수 있는 더 많은 기회를 갖기 위해 거대한 상수로 설정된다. 그러나 실시간 요구 사항을 요구하는 실용적인 알고리즘은 다루기가 어렵다. 따라서 적절한 반복 수는 그래프의 복잡성에 비례한다고 가정한다. 그리고 호환성 세트의 크기인

은 그래프의 복잡성을 반영한다고 가정한다. 그래서 본 명세서에서는 최대 반복 횟수

를 다음 수학식 22와 같이 제안한다.

여기에서

는 미리 결정된 매개 변수이며, 여기서는 모든 실험 중에 10으로 설정한다. 그러나 수학식 22는 실용적인 애플리케이션에 국한되어야 한다. 따라서 미리 정한 매개 변수인

를 사용하여 최대 반복 횟수를 적용한다.

3) 초기 해법 : BLS는 호환 가능한 트랙의 랜덤 선택에 의해 초기 솔루션을 생성하여 사전 정보가 없을 때 자연스럽다. 그러나 온라인 MCMTT에서 대상이 연속 프레임 간에 원활하게 이동하기 때문에 이전 프레임의 솔루션은 현재 MWCP에 대한 강력한 사전 정보가 될 수 있다. 따라서

을

으로 설정하고 로컬 검색을 수행하여 초기 솔루션을 개선한다. 그러나 추적이 진행됨에 따라 트랙 간의 호환성이 변경 될 수 있으므로 실행 불가능할 때 로컬 검색 전에

을 복구해야 한다.

의 복구는 다음과 같은 방식으로 수행된다.

첫째, 초기 솔루션의 후보 트랙인

를

으로 설정한다. 그런 다음

에서 가장 높은 트랙 스코어를 가진 트랙을

에 삽입하고

를

로 업데이트 한다. 그리고

가 빈 세트가 될 때까지 이러한 삽입 및 업데이트를 반복한다.

이어 미확인 트랙 제거부(420)를 통해 설정된 글로벌 가설을 기준으로 도 8에서 도시하고 있는 것과 같이, 상기 검출된 트랙들 중 근사 글로벌 확률(AGTP)이 없는(AGTP는 KH 최상의 글로벌 가설에 의해 정의되기 때문에 KH 최고의 글로벌 가설에 속하지 않는) 트랙을 제거한다. 또한 N 스캔 백 제거부(430)를 통해 설정된 글로벌 가설을 기준으로 N 프레임을 스캔하여 상기 글로벌 가설에 따라 대상의 위치를 수정하고, 고정된 위치의 대상과 호환되지 않는 모든 트랙을 제거한다. 이때, 상기 근사 글로벌 확률(AGTP) 및 N 스캔 백 제거는 이미 공지되어 있는 기술내용으로 이에 따른 상세한 설명은 생략한다.

상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (15)

1. 다중 카메라의 각 카메라별로 프레임을 통해 탐지되는 탐지 결과를 트랙렛(tracklet)으로 변환하는 트랙렛 생성부와,
   상기 트랙렛 생성부에서 변환된 트랙렛들을 가지고 가능한 모든 시간적·공간적 결합을 통해 3차원 공간 상 추적 결과가 될 수 있는 후보트랙을 생성하는 후보트랙 생성부와,
   상기 후보트랙 생성부에서 생성된 후보트랙 중 확률 상으로 표적의 경로(trajectory)일 확률이 높은 후보트랙을 최적 트랙으로 선별하고, 선별된 최적 트랙을 피드백하면서 연속하여 최적 트랙을 선별하는 트랙 선별부와,
   상기 후보트랙 생성부에서 생성된 후보들 및 상기 트랙 선별부에서 선별된 최적 트랙을 기반으로 트랙의 길이 및 탐지된 개체의 예상 높이 등을 이용하여 근사 글로벌 확률(AGTP) 또는 N 스캔 백 방식을 이용하여 추적 결과가 될 수 있는 가능성을 진단하여 그 가능성이 설정된 임계치보다 낮은 트랙을 제거하고, 그 결과를 상기 후보트랙 생성부로 전달하는 트랙 제거부를 포함하여 구성되는 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치.
2. 제 1 항에 있어서,
   상기 트랙렛은 연속적인 프레임들로부터의 검출들 간의 시간적 결합을 통해 생성되며, 상기 후보트랙 생성부는 생성되는 트랙렛의 모션 및 모양 정보와 연결하여 후보 트랙을 생성하는 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치.
3. 제 1 항에 있어서, 상기 트랙렛 생성부는
   각 탐지 결과 및 기존에 이미 생성된 트랙렛들 사이의 유사도를 산출하는 매칭 스코어 산출부와,
   상기 매칭 스코어 산출부에서 산출된 유사도를 기반으로 물리적으로 같은 트랙렛 여부를 확인하여 매치되는 트랙렛을 검출하는 매치 확인부와,
   상기 매치 확인부에서 검출되는 트랙렛을 관리하는 트랙렛 관리부를 포함하여 구성되는 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치.
4. 제 1 항에 있어서, 상기 후보트랙 생성부는
   트랙렛 생성부에서 변환된 트랙렛들 중 새로운 트랙렛으로 생성하거나 일치하는 결과가 있는 기존 트랙렛을 업데이트하는 트랙 업데이트부와,
   상기 트랙 업데이트부의 결과를 이용하여 트랙렛 생성부에서 변환된 트랙렛들 중 같은 사람에게서 생성된 트랙렛들끼리 적어도 하나 이상의 묶음으로 결합하는 트랙렛 결합부와,
   상기 트랙렛 결합부에서 결합된 묶음별로 3차원 공간상에 3차원 좌표를 갖는 트랙을 생성하고, 생성된 트랙에 스코어를 부여하는 트랙 생성부와,
   상기 트랙 업데이트부의 결과 및 트랙 생성부에서 생성된 트랙 스코어를 적용하여 추적 결과가 될 수 있는 후보들을 확립하는 후보트랙 확립부를 포함하여 구성되는 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치.
5. 제 1 항에 있어서, 상기 트랙 선별부는
   피드백되는 최적 트랙 정보를 이용하여 일치하는 그룹을 갖는 트랙들을 서브-그룹으로 분류하는 MWCP 구조부와,
   상기 MWCP 구조부에서 분류된 서브-그룹별 실제 표적의 경로일 정의된 임계치를 갖는 확률보다 높은 트랙을 선별하고, 선별된 트랙을 상기 MWCP 구조부로 피드백하는 글로벌 가설 형성부를 포함하여 구성되는 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치.
6. 제 1 항에 있어서, 상기 트랙 제거부는
   트랙 선별부에서 선별된 최적 트랙들을 제거하기 위한 글로벌 가설을 설정하는 AGTP(Approximation of Global Track Probability)부와,
   상기 AGTP부에서 설정된 글로벌 가설을 기준으로 검출된 트랙들 중 근사 글로벌 확률(AGTP)이 없는 트랙을 제거하는 미확인 트랙 제거부와,
   상기 AGTP부에서 설정된 글로벌 가설을 기준으로 N 프레임을 스캔하여 상기 글로벌 가설에 따라 대상의 위치를 수정하고, 고정된 위치의 대상과 호환되지 않는 모든 트랙을 제거하는 N 스캔 백 제거부를 포함하여 구성되는 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치.
7. (A) 다중 카메라의 각 카메라에서 이미지를 받아온 매 프레임에서 보행자를 탐지하고, 이러한 탐지 결과를 시간별로 짝을 지어 한 사람에 대한 트랙렛(tracklet)으로 변환하는 단계와,
   (B) 후보트랙 생성부를 통해 상기 변환된 트랙렛들을 가지고 가능한 모든 시간적·공간적 결합을 통해 3차원 상 추적 결과가 될 수 있는 후보트랙을 생성하는 단계와,
   (C) 트랙 선별부를 통해 생성된 후보트랙 중 확률 상으로 표적의 경로(trajectory)일 확률이 설정된 임계치 보다 높은 후보트랙을 최적 트랙으로 선별하고, 선별된 최적 트랙을 피드백하면서 연속하여 최적 트랙을 선별하는 단계와,
   (D) 트랙 제거부를 통해 생성된 후보들 및 상기 트랙 선별부에서 선별된 최적 트랙을 기반으로 트랙의 길이 및 탐지된 개체의 예상 높이 등을 이용하여 근사 글로벌 확률(AGTP) 또는 N 스캔 백 방식을 이용하여 추적 결과가 될 수 있는 가능성을 진단하여 그 가능성이 설정된 임계치보다 낮은 트랙을 제거하고, 그 결과를 상기 후보트랙 생성부로 피드백하는 단계를 포함하여 이루어지는 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 방법.
8. 제 7 항에 있어서, 상기 (A) 단계는
   매칭 스코어 산출부를 통해 각 탐지 결과 및 기존에 이미 생성된 트랙렛들 사이의 유사도를 산출하는 단계와,
   매치 확인부를 통해 상기 산출된 유사도를 기반으로 물리적으로 같은 트랙렛 여부를 확인하여 매치되는 트랙렛을 검출하는 단계로 이루어지는 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 방법.
9. 제 8 항에 있어서,
   상기 트랙렛의 검출은 트랙렛 관리부를 통해 유효한 일치 항목으로 트랙렛을 업데이트하고, 트랙렛에 대해 일치하는 탐지가 없으면 오탐지로 간주하여 추적 렛이 종료하며, 현재 탐지와 일치하는 트랙렛이 없을 때는 새로운 트랙렛으로 생성하는 단계를 더 포함하는 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 방법.
10. 제 7 항에 있어서, 상기 (B) 단계는
    트랙렛 결합부를 통해 상기 업데이트 결과를 이용하여 트랙렛 생성부에서 변환된 트랙렛들 중 같은 사람에게서 생성된 트랙렛들끼리 적어도 하나 이상의 묶음으로 결합하는 단계와,
    트랙 생성부를 통해 결합된 묶음별로 3차원 공간상에 3차원 좌표를 갖는 트랙을 생성하는 단계와,
    상기 생성된 트랙에 스코어를 부여한 후, 후보트랙 확립부를 통해 업데이트 결과 및 생성된 트랙 스코어를 적용하여 추적 결과가 될 수 있는 후보들을 확립하는 단계를 포함하여 이루어지는 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 방법.
11. 제 10 항에 있어서,
    상기 결합 단계에서 결합은 공간적 결합(Spatial Association), 시간적 결합(temporal association), 그리고 상기 공간적 결합 및 시간적 결합의 병합(merge) 중 어느 하나로 이루어지며,
    상기 공간적 결합은 시간적으로 겹치는 트랙렛 사이의 결합성에 의해 정의되며, 상기 시간적 결합은 시간적 결합성이 동일한 카메라의 연속적인 트랙렛 사이의 결합성에 의해 정의되는 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 방법.
12. 제 10 항에 있어서,
    상기 생성된 트랙에 스코어를 부여는 다섯 가지 요소를 고려하면서 각 트랙에 대해 스코어를 부여하며,
    첫 번째 것은 트랙의 위치가 탐지와 동일한지를 나타내는 재구성 스코어

    

    , 두 번째는 트랙의 연속 위치의 기하학적 적합성을 고려한 연결 스코어

    

    , 세 번째와 네 번째는 시작 스코어

    

    와 종료 스코어

    

    , 마지막 하나는 트랙과 관련된 탐지 간의 시각적 유사도를 나타내는 시각적 스코어

    

    인 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 방법.
13. 제 7 항에 있어서, 상기 (C) 단계는
    MWCP 구조부를 통해 피드백되는 최적 트랙 정보를 이용하여 일치하는 그룹을 갖는 트랙들을 서브-그룹으로 분류하는 단계와,
    글로벌 가설 형성부를 통해 상기 분류된 서브-그룹별 실제 표적의 경로일 확률이 높은 최적 트랙을 선별하는 단계와,
    상기 선별된 최적 트랙을 상기 MWCP 구조부로 피드백하는 단계를 포함하여 이루어지는 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 방법.
14. 제 7 항에 있어서, 상기 (D) 단계는
    AGTP(Approximation of Global Track Probability)부를 통해 선별된 최적 트랙들을 제거하기 위한 글로벌 가설을 설정하는 단계와,
    미확인 트랙 제거부를 통해 설정된 글로벌 가설을 기준으로 상기 검출된 트랙들 중 근사 글로벌 확률(AGTP)이 없는 트랙을 제거하는 단계와,
    N 스캔 백 제거부를 통해 설정된 글로벌 가설을 기준으로 N 프레임을 스캔하여 상기 글로벌 가설에 따라 대상의 위치를 수정하고, 고정된 위치의 대상과 호환되지 않는 모든 트랙을 제거하는 단계를 포함하여 이루어지는 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 방법.
15. 제 14 항에 있어서,
    상기 글로벌 가설은 트랙렛의 파티션에 의해 생성된 트랙 집합으로, 호환 가능한 트랙 세트로 정의되어 트랙들 간의 호환성에 따라 생성되며,
    이전 섹션에서 정의한 트랙 점수에 따라 글로벌 가설 중에서 트랙 점수가 가장 높은 글로벌 가설

    

    을 검출하는 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 방법.
    

Images