KR101406334B1 - 신뢰도와 지연된 결정을 활용한 다중 객체 추적 시스템 및 방법 - Google Patents

Abstract

본 발명에 의하면, 영상이 입력되면 배경 모델을 갱신하여, 상기 영상으로부터 새로운 배경 영상을 생성하고, 상기 영상과 상기 배경 영상의 차연산을 통해 배경을 제거한 전경영상을 획득하는 배경제거부; 특징 트리를 참조하여 상기 영상과 상기 전경영상에 나타난 특징점을 결정하고, 결정된 특징점을 추출하는 특징점 결정부; 상기 특징점 결정부를 통하여 추출된 특징점을 이용하여 영상에 나타난 객체의 상황을 기 분류된 상황 중 어느 하나로 선택하는 상황 선택부; 상기 객체의 상태가 오크루젼으로 선택될 경우 기 저장된 객체 모델과 오크루젼이 발생한 상기 영상에서 추출한 특징점을 비교하여 상기 객체를 분리하고 상기 객체의 움직임을 결정하는 객체 결정부; 및 상기 객체 결정부를 통하여 결정된 상기 객체의 움직임을 업데이트하고, 상기 객체의 움직임을 예측한 후 예측된 객체의 움직임을 추적 인폼(Inform)을 통해 상기 상황 선택부로 전달하는 객체 추적부를 포함하는 다중 객체 추적 시스템이 제공될 수 있다.

Description

신뢰도와 지연된 결정을 활용한 다중 객체 추적 시스템 및 방법{SYSTEM AND METHOD FOR TRACKING MULTIPLE OBJECT USING RELIABILITY AND　DELAYED DECISION}

본 발명은 다중 객체 추적 시스템 및 방법에 관한 것으로, 보다 상세히 다중으로 구성된 카메라 환경 하에서 실시간으로 객체를 추적하고 모니터링 할 수 있는 다중 객체 추적 시스템 및 방법에 관한 것이다.

최근 범죄와 사고의 예방 및 신속한 해결을 위해 영상 감시 시스템의 수요가 증가하고 이와 관련된 시장도 증가하고 있는 실정이다. 영상 감시 시스템은 항공해양 및 산불감시부터 학교, 아파트, 은행, 기업, 지하철, 백화점 같은 지역에 이르기까지 다양한 분야에서 사용되고 있다. 이와 같이 영상 감시 시스템의 설치 지역 및 용도가 다양해지면서 사용자는 보다 지능화된 영상 감시 시스템을 요구하고 있다. 영상 감시 시스템 업체는 이러한 요구에 따라 다중 객체 및 다중 카메라 환경에서 객체의 추적을 이용하여 객체의 이벤트 기록 및 사람의 행동 분석 등의 복잡한 기능을 가진 지능형 영상 감시 시스템 개발에 많은 노력을 하고 있다.

지능형 영상 감시 시스템은 감시 시스템에 영상이 입력되면 영상의 변화를 감지하여 영상에 나타난 객체를 검출하고 분류한다. 분류된 객체는 식별 정보를 결정한 후에 객체를 추적한다. 이러한 과정을 통해 이벤트 분류 및 사람의 행동 분석과 같은 복잡한 응용에 적용이 가능하다.

복잡한 기능을 가진 지능형 감시 시스템을 개발하기 위해서는 기존의 영상 감시 시스템의 객체 분류 및 객체 인식, 객체 추적과 같은 세부 알고리즘의 성능 향상이 필요하다. 특히 지능형 영상 감시 시스템은 객체 추적을 통해 객체의 이벤트를 기록하고 객체의 행동을 결정할 수 있기 때문에 정확한 객체 추적이 필수적이다. 또한 지능형 영상 감시 시스템은 다수의 객체가 동시에 나타나고 움직일 수 있기 때문에 단일 객체뿐만 아니라 다중 객체를 추적할 수 있어야 한다.

다중 객체 추적은 추적하는 객체의 수가 많고 그 수가 고정되어 있지 않기 때문에 단일 객체 추적보다 상황이 복잡하고 다양해진다. 주어진 시간 안에 객체의 추적을 성공적으로 완료하려면 몇 가지 고려해야 할 점들이 생긴다. 첫 번째로 다중 객체 추적은 단일 객체 추적에 비하여 얻을 수 있는 객체의 정보가 한정되기 때문에 객체 간의 오크루젼(Occlusion)이 발생할 경우에 오크루젼을 해결할 수 있어야하며 두 번째로 객체의 수와 사용하는 특징에 따라 시간을 효율적으로 사용하여 최대한의 추적 정확도를 제공하는 실시간 처리가 이루어져야 한다.

종래의 다중 객체 추적에 관한 연구는 추적의 정확도 향상과 실시간 처리를 위하여 다양한 방법으로 이루어지고 있다. 다중 객체를 추적하기 위해서 일반적으로는 블랍(Blob) 기반의 객체 추적 방법을 많이 사용한다. 그러나 블랍 기반의 객체 추적 방법은 객체가 장애물에 의해 가려지거나 분리되는 상황과 여러 개의 객체가 겹쳐진 상황에서 객체를 정상적으로 추적하지 못하는 오크루젼 해결 문제가 많이 나타난다. 따라서 이런 문제를 해결하기 위해 외형(Appearance) 기반의 추적 방법이 개발되었다.

외형 기반의 추적 방법은 오크루젼 문제를 어느 정도 해결하였지만 여전히 오크루젼 문제는 다중 객체 추적에 있어 가장 중요한 문제점이다. 또한 외형 기반의 추적 방법은 오크루젼을 인지하지 못하거나 정상적으로 해결하지 못하는 경우 객체 모델에 잘못된 정보로 갱신하여 추적 전체에 문제가 발생할 수 있고, 추적의 정확도 향상을 위해 연산량을 높이거나 추적하는 객체의 수가 너무 많아지면 실시간으로 객체 추적이 필요한 응용에서 객체 추적 자체가 실패할 수 있다. 따라서 새로운 다중 객체 추적 방법은 정확하게 오크루젼 해결 문제를 해결하면서 주어진 시간 안에 연산이 이루어져야 하는 과제를 가지고 있다.

다중 객체 추적의 정확도를 향상하기 위해 M.Azari이 제안한 방법은 가우시안 혼합 모델(GMM, Gaussian Mixture Model) 배경 제거 알고리즘을 사용하여 검출된 블랍의 위치정보와 이전 프레임에서 칼만 필터에 의해 연산된 추정 위치정보를 비교하여 거리를 계산하는 방법이다. 이 결과를 이용하여 현재의 상황을 5가지로 분류할 수 있다. 이 때 하나의 블랍에 두 개 이상의 추정정보가 정합이 되면 오크루젼 상황으로 판단한다. 오크루젼 상황인 블랍은 템플릿 정합을 사용하여 오크루젼을 해결한다. 이 방법은 연산이 비교적 빠르지만 객체의 외형이 다른 객체나 장애물에 의해 변하는 경우에 오크루젼의 해결이 어렵다는 문제점을 가지고 있다.

GC.Chao는 이런 문제를 해결할 수 있는 방법을 제시하였다. GC.Chao은 외형 모델을 이용하여 영상에 템플릿 정합 시켜서 객체의 블랍을 검출한다. 검출된 블랍은 파티클 필터에 의해 연산된 위치정보를 이용하여 현재의 상황을 3가지로 분류한다. 분류 결과 오크루젼 상황인 블랍은 겹쳐진 객체들의 외형 모델을 사용하여 오크루젼을 해결한다. 이 방법은 M.Azari이 제안하는 방법보다 많은 양의 데이터를 사용하기 때문에 객체가 많이 변하는 경우에도 덜 민감하게 반응하여 보다 정확한 겹침 해결 결과를 제공한다. 그러나 이 방법은 상황의 분류가 매우 간단하고, 영상 전체에 템플릿 정합을 적용하여 추적하는 객체를 검출하기 때문에 연산에 많은 시간이 소요되는 문제점이 있다.

C.Zhang은 객체 모델의 색상정보와 특징점의 수, 움직이는 방향을 고려하여 오크루젼을 검출하였다. 이 방법에서 사용한 특징점은 KLT(Kanade?Lucas?Tomasi)이며 M.Azari와 마찬가지로 현재 프레임의 블랍은 배경 제거를 통해 검출하였다. 오크루젼을 해결하기 위해 KLT 특징점을 파티클 필터를 사용하여 예측된 위치정보를 블랍에 적용한 후에 K-평균 알고리즘을 이용하여 오크루젼을 해결하였다. 특징점을 이용하는 방법에서 복잡한 연산의 특징점을 사용하면 정확도는 향상되지만 전체 시스템이 느려져서 실시간으로 객체를 추적할 수 없고, 반대로 단순한 연산의 특징점을 사용하면 시스템의 속도는 향상되지만 정확한 오크루젼 해결이 어렵기 때문에 응용에 적합한 특징점을 선택해야 한다.

앞에 소개한 기존의 다중 객체 추적 알고리즘들은 정확한 다중 객체 추적을 위해 주어진 상황을 미리 정의된 상황으로 분류하였다. 그러나 칼만 필터나 파티클 필터의 정확하지 않은 예측정보로 인해 이런 상황에 포함되지 않는 복잡한 상황이 발생할 수 있지만 이를 고려하고 있지 않다. 또한 오크루젼 상황의 경우 오크루젼 해결 결과가 애매한 경우에 즉시 상황을 해결하기 때문에 많은 오류가 발생한다. 오크루젼 해결 결과가 잘못된 경우 객체 모델의 정보가 잘못 갱신 될 수 있고 결과적으로 객체의 추적에 실패할 수 있다. 그러나 추적의 성공을 위해 오크루젼을 완전하게 해결하려 무리한 연산을 수행하게 되면 객체 추적의 연산 시간이 길어지고 결국 실시간 추적이 필요한 응용 분야에서는 사용이 불가능하다는 문제점을 피할 수 없다.

상기 문제점을 해결하기 위하여 안출된 본 발명은 객체의 수, 특징들의 특성, 현재 신뢰도 수준을 참고하여 주어진 시간 동안 최대한의 정확도를 향상시킬 수 있는 특징을 소요되는 비용에 따라 체계화된 특징 트리에서 선택하여 사용함으로서 객체의 실시간 추적이 가능해질 수 있도록 하는 다중 객체 추적 시스템 및 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은 객체 식별 결정이 애매한 경우를 대비해 결정이 지연된 식별 결정 상황을 추가하여 현재 프레임에서 객체의 식별이 애매한 경우에 즉시 결정하지 않고 다음 프레임의 정보를 이용하여 객체 식별을 결정할 수 있도록 하여 잘못된 식별 결정으로 인한 추적의 실패 확률을 낮출 수 있게 하는 다중 객체 추적 시스템 및 방법을 제공하는 것을 또 다른 목적으로 한다.

상기 목적을 달성하기 위한 본 발명에 의하면, 영상이 입력되면 배경 모델을 갱신하여, 상기 영상으로부터 새로운 배경 영상을 생성하고, 상기 영상과 상기 배경 영상의 차연산을 통해 배경을 제거한 전경영상을 획득하는 배경제거부; 특징 트리를 참조하여 상기 영상과 상기 전경영상에 나타난 특징점을 결정하고, 결정된 특징점을 추출하는 특징점 결정부; 상기 특징점 결정부를 통하여 추출된 특징점을 이용하여 영상에 나타난 객체의 상황을 기 분류된 상황 중 어느 하나로 선택하는 상황 선택부; 상기 객체의 상태가 오크루젼으로 선택될 경우 기 저장된 객체 모델과 오크루젼이 발생한 상기 영상에서 추출한 특징점을 비교하여 상기 객체를 분리하고 상기 객체의 움직임을 결정하는 객체 결정부; 및 상기 객체 결정부를 통하여 결정된 상기 객체의 움직임을 업데이트하고, 상기 객체의 움직임을 예측한 후 예측된 객체의 움직임을 추적 인폼(Inform)을 통해 상기 상황 선택부로 전달하는 객체 추적부를 포함하는 다중 객체 추적 시스템이 제공될 수 있다.

더욱 상세히, 상기 배경제거부는 기대치 최대화(Expectation Maximization) 알고리즘을 사용하여 갱신되는 가우시안 혼합 모델(Gaussian Mixture Model)을 이용하여 차연산을 수행하여 전경영상을 획득하는 것을 특징으로 한다.

또한, 상기 특징 트리는 복수의 특징들을 연산 시간을 기반으로 연산비용에 따라 복수의 단계로 분류하여 저장하는 것을 특징으로 한다.

더더욱 상세히, 상기 특징 트리는 물리적인 거리, 또는 색상의 히스토그램을 포함하는 저비용 특징, 기울기 정보, 또는 텍스쳐를 포함하는 중간 비용 특징, 코너, 또는 블랍을 포함하는 고비용 특징으로 단계화되는 것을 특징으로 한다.

또한, 상기 상황 선택부는 우선 저비용의 특징점을 이용하여 상황을 선택한 후 추가적인 연산이 필요한 경우 단계적으로 점차 고비용의 특징점을 이용하여 상황을 선택하는 것을 특징으로 한다.

한편, 상기 기 분류된 상황이란 객체의 사라짐, 새로운 객체, 정상적인 추적, 오크루젼, 객체의 분리, 지연된 결정으로 분류되는 것을 특징으로 한다.

더욱 상세히, 하나의 추적 정보와 정합되는 블랍이 없는 경우 상기 사라짐, 하나의 블랍과 정합되는 추적 정보가 없는 경우 상기 새로운 객체, 하나의 추적 정보와 하나의 블랍이 정합되는 경우 상기 정상적인 추적, 두 개의 블랍이 하나의 추적 정보와 정합되는 경우 상기 오크루젼, 하나의 블랍에 두 개의 추적 정보가 정합되는 경우 상기 객체의 분리, 두 개 이상의 추적 정보와 두 개 이상의 블랍이 정합되는 경우 상기 지연된 결정으로 판단되는 것을 특징으로 한다.

또한, 객체의 상황 분류에 허용된 모든 시간 또는 특징을 사용하고도 상기 상황의 신뢰도가 소정 임계치(Threshold)를 넘지 않는 경우 연결정(Soft Decision)을 적용하여 지연된 결정으로 분류하는 것을 특징으로 한다.

또한 본 발명에 의하면, 배경제거부에서 영상이 입력되면 배경 모델을 갱신하여, 상기 영상으로부터 새로운 배경 영상을 생성하고, 상기 영상과 상기 배경 영상의 차연산을 통해 배경을 제거한 전경영상을 획득하는 단계; 특징점 결정부에서 특징 트리를 참조하여 상기 영상과 상기 전경영상에 나타난 특징점을 결정하고, 결정된 특징점을 추출하는 단계; 상황 선택부에서 상기 특징점 결정부를 통하여 추출된 특징점을 이용하여 영상에 나타난 객체의 상황을 기 분류된 상황 중 어느 하나로 선택하는 단계; 객체 결정부에서 상기 객체의 상태가 오크루젼으로 선택될 경우 기 저장된 객체 모델과 오크루젼이 발생한 상기 영상에서 추출한 특징점을 비교하여 상기 객체를 분리하고 상기 객체의 움직임을 결정하는 단계; 및 객체 추적부에서 상기 객체 결정부를 통하여 결정된 상기 객체의 움직임을 업데이트하고, 상기 객체의 움직임을 예측한 후 예측된 객체의 움직임을 추적 인폼(Inform)을 통해 상기 상황 선택부로 전달하는 단계를 포함하는 다중 객체 추적 방법이 제공될 수 있다.

더욱 상세히, 상기 특징 트리는 복수의 특징들을 연산 시간을 기반으로 연산비용에 따라 복수의 단계로 분류하여 저장하는 것을 특징으로 한다.

더더욱 상세히, 상기 상황 선택부는 우선 저비용의 특징점을 이용하여 상황을 선택한 후 추가적인 연산이 필요한 경우 단계적으로 점차 고비용의 특징점을 이용하여 상황을 선택하는 것을 특징으로 한다.

또한, 상기 기 분류된 상황이란 객체의 사라짐, 새로운 객체, 정상적인 추적, 오크루젼, 객체의 분리, 지연된 결정으로 분류되는 것을 특징으로 한다.

또한, 객체의 상황 분류에 허용된 모든 시간 또는 특징을 사용하고도 상기 상황의 신뢰도가 소정 임계치(Threshold)를 넘지 않는 경우 연결정(Soft Decision)을 적용하여 지연된 결정으로 분류하는 것을 특징으로 한다.

또한, 본 발명에 의하면, 위 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체가 제공될 수 있다.

본 발명은 객체를 추적함에 있어서 주어진 시간 동안 최대한의 정확도를 향상시킬 수 있는 특징을 소요되는 비용에 따라 체계화한 특징 트리에서 선택하여 사용함으로서 객체의 실시간 추적이 가능해질 수 있다.

또한 본 발명은 객체 식별 결정이 애매한 경우를 대비해 결정이 지연된 식별 결정 상황을 추가하여 현재 프레임에서 객체의 식별이 애매한 경우에 즉시 결정하지 않고 다음 프레임의 정보를 이용하여 객체 식별을 결정할 수 있도록 하여 잘못된 식별 결정으로 인한 추적의 실패 확률을 낮출 수 있게 된다.

도 1은 본 발명의 바람직한 일 실시예에 따른 다중 객체 추적 시스템을 도시한 도면이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 실제 데이터와 가우시안의 개수에 따른 정합을 보여는 도면이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 영상의 배경제거에 가장 많이 사용되는 GMM 알고리즘과 OpenCV 에서 제공하는 FGD(ForeGround Detection) 배경제거 알고리즘을 실제 영상에 적용하여 전경의 객체를 검출한 영상을 나타낸 도면이다.
도 4는 본 발명의 바람직한 일 실시예에 따른 특징점의 종류를 구분하여 설명한 도면이다.
도 5는 본 발명의 바람직한 일 실시예에 따른 색상(Hue) 정보 히스토그램의 평가 결과를 나타낸 도면이다.
도 6은 본 발명의 바람직한 일 실시예에 따른 텍스쳐 기반의 특징 중의 하나인 LBP를 이용하는 경우 상관관계를 나타낸 도면이다.
도 7은 본 발명의 바람직한 일 실시예에 따른 템플릿 정합을 이용한 경우의 상관관계를 나타낸 도면이다.
도 8은 본 발명의 바람직한 일 실시예에 따른 코너 특징점 기반의 특징인 FAST의 실험결과를 나타낸 도면이다.
도 9는 본 발명의 바람직한 일 실시예에 따른 실질적인 알고리즘의 구성을 도시한 도면이다.
도 10 본 발명의 바람직한 일 실시예에 따른 새로운 객체 추가를 예시한 도면이다.
도 11은 본 발명의 바람직한 일 실시예에 따른 객체의 사라짐을 예시한 도면이다.
도 12는 본 발명의 바람직한 일 실시예에 따른 객체의 정상적인 추적을 예시한 도면이다.
도 13은 본 발명의 바람직한 일 실시예에 따른 객체의 오크루젼을 예시한 도면이다.
도 14는 본 발명의 바람직한 일 실시예에 따른 오크루젼된 객체의 분리를 예시한 도면이다.
도 15는 본 발명의 바람직한 일 실시예에 따른 객체의 식별 결정이 지연된 상황을 예시한 도면이다.
도 16은 본 발명의 바람직한 일 실시예에 따른 3차원으로 구성된 정합 행렬의 예시를 도시한 도면이다.
도 17은 본 발명의 바람직한 일 실시예에 따른 현재 상황 결정 행렬을 도시한 도면이다.
도 18은 본 발명의 바람직한 일 실시예에 따른 객체 식별 결정 알고리즘이 동작하여 지연된 객체 식별 결정을 상황에서의 프레임별 알고리즘의 흐름을 도시한 도면이다.
도 19는 본 발명의 바람직한 일 실시예에 따른 다중 객체 추적 알고리즘을 실험한 MOTA 결과를 나타낸 도면이다.
도 20은 본 발명의 바람직한 일 실시예에 따른 다중 객체 추적 알고리즘의 MOTP 결과를 나타낸 도면이다.
도 21은 M.D. Breitenstein, Alex Leykin, P.K. Sharma, J. Yang, J. Berclaz의 연구 결과를 보여주는 도면이다.
도 22는 본 발명의 바람직한 일 실시예에 따른 다중 객체 추적에 필요한 시간을 나타낸 도면이다.
도 23은 본 발명의 바람직한 일 실시예에 따른 하나의 프레임에서 객체를 추적하는데 걸리는 시간을 기록한 도면이다.
도 24는 본 발명의 일 실시예에 따른 현재 상황의 MOTA와 MOTP 값을 나타낸 도면이다.
도 25는 본 발명의 바람직한 일 실시예에 따른 프레임율에 따른 MOTA와 MOTP 값을 나타낸 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하에서는, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

전체 시스템 구조

도 1은 본 발명의 바람직한 일 실시예에 따른 다중 객체 추적 시스템을 도시한 도면이다.

도 1을 참조하면, 본 발명의 다중 객체 추적 시스템은 배경제거부(100), 특징점 결정부(200), 상황 선택부(300), 객체 결정부(400) 및 객체 추적부(500)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 배경제거부(100), 특징점 결정부(200), 상황 선택부(300), 객체 결정부(400) 및 객체 추적부(500)는 그 중 적어도 일부가 상호 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 다중 객체 추적 시스템에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 다중 객체 추적 시스템과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 한정되지는 않는다.

상기 배경제거부(100)는 배경 모델(110)을 이용하여 배경을 제거한다. 보다 상세히, 초기에 입력된 영상을 이용하여 배경 모델을 생성하고, 초기 배경 모델을 생성 후에 새로운 영상이 입력되면 배경 모델을 갱신하여, 새롭게 입력된 영상에서 사용할 새로운 배경 영상을 생성한다. 다음으로 배경 모델을 통하여 상기 배경 영상과 새롭게 입력된 영상과의 차연산을 통해 배경을 제거하게 된다. 이와 같이 배경을 제거하여 전경 영상을 획득하게 된다. 객체의 블랍 검출을 위해 본 발명에 따른 다중 객체 추적 시스템은 배경제거 알고리즘을 사용한다. 배경제거 방법은 다른 객체 검출 방법에 비해 방법이 단순하고 연산량이 적은 장점이 있다.

상기 특징점 결정부(200)는 상기 배경제거부(100)를 통하여 획득된 전경 영상에 있어 특징점을 추출하여 결정한다. 보다 상세히, 특징 트리(210)를 참조하여 상기 입력된 영상과 상기 전경 영상에 나타난 특징점을 결정하고, 결정된 특징점을 추출하게 된다.

상기 상황 선택부(300)는 상기 특징점 결정부(200)를 통하여 추출된 특징점을 이용하여 영상에 나타난 객체의 상황을 6가지 경우로 분류된 상황 중 어느 하나로 선택하게 된다. 상기 6가지 경우란 객체의 사라짐, 새로운 객체, 정상적인 추적, 오크루젼, 객체의 분리, 지연된 결정일 수 있다.

한편 상기 객체 결정부(400)는 상기 6가지 경우 중 객체의 상태가 오크루젼, 객체의 분리, 지연된 결정 중 어느 하나로 선택될 경우 객체 모델(410)을 참조하여 상기 객체의 움직임을 결정한다.

상기 객체 추적부(500)는 상기 객체 결정부(400)를 통하여 결정된 객체의 움직임을 업데이트 하고, 객체의 움직임을 예측한다. 예측된 객체의 움직임은 추적 인폼(Inform)(510)을 통해 상기 상황 선택부(300)로 전달된다. 상기 결정된 객체들의 다음 영상에서의 위치정보를 예측하기 위해 칼만 필터나 파티클 필터 같은 추적 알고리즘을 사용할 수 있다.

이와 같은 본 발명은 실시간 처리와 추적의 정확도 향상에 초점을 맞춘 새로운 객체 추적 시스템을 제공할 수 있다. 본 발명에서 제안하는 시스템은 크게 3 가지의 특징을 가지고 있다.

첫 번째로 실시간 추적 시스템을 지원하고 추적의 정확도를 높이기 위해 특징 트리(Feature Tree)를 구성하여 사용한다. 다양한 특징들을 특성과 연산 시간을 기반으로 분류하여 특징 트리를 생성한 후에, 사용 가능한 특징을 선택하여 연산을 수행하여 객체의 식별 정보를 갱신한다. 하드웨어의 성능에 따라 실시간으로 처리가 가능하도록 설계되었기 때문에 임베디드 시스템과 같이 하드웨어 성능이 제한된 곳에서도 시스템의 큰 변경 없이 적용이 가능하다. 하드웨어의 성능이 떨어지는 경우 객체 추적의 정확도는 낮아질 수 있으나, 주어진 시간을 초과하여 시스템 전체에 영향을 미치는 경우는 발생하지 않는다.

두 번째로 저비용 특징들을 이용하여 현재 상황을 결정하는 방법을 제공한다. M.Azari는 블랍과 칼만 필터의 예측 위치를 정합하여 얻어진 결과로 5가지의 현재 상황을 제안하였다. 그러나 본 발명에서는 객체 식별 결정이 애매한 경우를 위해 결정이 지연된 식별 결정 상황(Delayed Decision)을 추가하여 잘못된 식별 결정이 일어나 추적이 실패할 확률을 낮출 수 있다. 또한 상황을 좀 더 세분화하기 위해 추적의 종류를 단일 객체 추적과 다중 객체 추적으로 분류하여 처리한다. 결과적으로 본 발명에서는 결정이 지연된 상황을 포함하여 6개의 상황으로 분류하며, 추적의 종류에 따라 현재 상황을 세분화할 수 있다. 객체 추적 중에 객체 식별 정보가 애매한 경우 지연된 결정 상황으로 분류하여 정확하게 객체의 식별이 결정되도록 진행하여 추적의 실패를 방지하게 된다.

마지막으로 추적의 정확도를 높이기 위해 객체의 오크루젼을 해결하는 경우 발생하는 애매함을 해결하기 위한 새로운 알고리즘을 제공한다. 상황이 결정되면 각각의 상황에 따라 객체의 추적 정보를 갱신하기 위해 추적하는 객체의 식별을 결정해야 한다. 객체 식별 결정 중에 객체의 식별 결정이 애매한 경우가 발생할 수 있고 이는 두 가지 경우로 나누어 생각할 수 있다. 현재 프레임에서 주어진 객체 정보가 부족한 경우와, 객체 정보를 연산할 시간이 부족한 경우이다.

본 발명에서는 특징 트리를 이용하여 주어진 시간동안 다양한 특징들을 선택하여 객체 식별 정보로 활용하기 위해 신뢰도 기반의 객체 식별 결정 방법을 사용한다. 객체 식별 결정이 애매한 경우 특징 트리의 고비용 특징들을 이용하여 신뢰도 수준을 갱신하며, 신뢰도가 일정한 임계치(Threshold)를 달성하면 그 객체의 식별 결정을 완료하게 된다.

그러나 영상 감시 시스템에서 추적 연산을 위해 주어진 시간은 한정되어 있다. 추적의 정확도를 향상하기 위해서 무조건 많은 정보를 획득하여 사용하면 늘어난 연산시간으로 인하여 실시간으로 객체 추적이 불가능하게 된다. 본 발명에 따른 추적 방법에서는 특징 트리에서 특징을 선택하는 경우 객체의 수, 특징들의 특성, 현재 신뢰도 수준을 참고하여 현재 주어진 시간 동안 최대한의 정확도를 향상시킬 수 있는 실시간 객체 추적 시스템을 사용한다.

또한 현재 프레임에서 사용할 수 있는 모든 시간과 특징을 사용하고도 객체 식별이 애매한 경우에 객체 식별 결정을 할 수 있는 방법이 필요하다. 기존의 방법들은 객체의 식별 결정을 현재의 프레임에서 경결정(Hard Decision)하였으나 제안하는 방법에서는 연결정(Soft Decision)을 적용하여 현재 프레임에서 객체의 식별이 애매한 경우에 즉시 결정하지 않고 다음 프레임의 정보를 이용하여 객체 식별을 결정할 수 있도록 한다. 이런 방법은 잘못된 객체식별의 결정으로 인해 추적이 실패하는 경우를 방지하여 결과적으로 객체 추적의 정확도를 높이게 된다.

이하에서는 도면을 참조로 하여 본 발명에 따른 다중 객체 시스템에 사용되는 배경제거 알고리즘, 객체 추적 알고리즘, 특징의 종류 분석, 신뢰도 갱신 방법에 대해 보다 상세히 설명하도록 하겠다.

배경제거 알고리즘

감시 영상에서 움직이는 객체를 추적하기 위해서는 먼저 객체의 움직임을 감지하여 객체를 검출해야 한다. 객체를 검출하는 방법으로는 포인트 검출기(Point Detectors)를 이용한 방법, 분할(Segmentation)을 이용한 방법, 배경제거 (Background Subtraction)를 이용한 방법, 학습 분류기(Supervised Classifiers)를 이용한 방법이 있다. 이 중에서 배경제거 방법은 움직이는 객체의 감지와 검출이 동시에 가능하고 상대적으로 연산량이 적기 때문에 많은 객체 추적 알고리즘에서 객체 검출을 위한 방법으로 사용하고 있다. 배경제거 방법은 순차적으로 입력받은 영상에서 배경을 제거하여 전경의 객체를 검출하는 방법으로 아래 수학식 1과 같이 표현될 수 있다.

상기 수학식 1에서

는 입력 영상의 현재 프레임 번호를 나타내며

는 연산된 화소가 전경인지 배경인지를 결정하기 위한 문턱값(Threshold)이다. 화소별 연산 결과가 문턱값보다 크면 전경으로 결정되고 아니면 배경으로 결정된다.

그러나 배경 영상은 시간에 따라 일정하지 않고 주위 환경에 따라 변할 수 있다. 배경 영상에 영향을 주는 변화는 조명의 변화, 움직임의 변화, 기하학 변화로 구분할 수 있다.

첫 번째로 조명의 변화는 고정된 카메라 환경에서 장시간 배경을 촬영하면 해가 뜨고 짐에 따라 조명이 서서히 변하는 점진적인 조명의 변화와 구름이나 비행체가 해를 가리거나 자동차의 전조등 등에 의해 조명이 급격하게 변하는 갑작스런 조명의 변화가 있다. 두 번째로 움직임의 변화는 고정된 카메라가 바람이나 지진에 의해 순간적으로 흔들리거나 바람에 의해 흔들리는 나뭇가지와 바다의 파도와 같이 배경이 지속적으로 반복적인 움직임을 보이는 배경 객체가 있는 경우에 발생한다. 마지막으로 기하학적 변화는 배경에 속해 있던 객체가 사라지거나 새로 나타난 객체가 오랜 시간 동안 움직이지 않아 배경에 포함되어 배경이 변경되는 경우이다.

배경제거 방법을 사용하여 영상에서 객체를 검출하는 경우 배경 영상을 정확하게 생성해야 객체 검출도 정확하게 검출 할 수 있다.따라서 배경 영상을 생성할 때 위와 같은 변화들을 고려하여 배경 변화에 적응할 수 있는 배경 모델링 방법이 필요하다.

배경제거 알고리즘의 가장 기본적인 방법은 아래 수학식 2에 나타난 바와 같이 이전 프레임을 배경 영상으로 계산하는 영상 차분(Frame difference) 방법이다. 이 방법은 작은 변화에도 민감하게 작용하기 때문에 객체의 움직이는 속도와 영상의 프레임율이 특정한 환경인 경우에서만 사용할 수 있으며, 문턱값에 따라 결과가 상이한 단점을 가지고 있다.

이런 단점을 극복하기 위해 이전의 n개의 프레임의 평균 또는 중간값을 배경 영상으로 사용하는 방법이 제안되었다. 이러한 방법들은 처리 속도가 상당히 빠른 편이지만 n개의 프레임을 저장할 수 있는 많은 양의 메모리가 필요하게 된다. 따라서 메모리의 낭비를 막기 위해 배경 모델을 사용하는 방법이 일반적으로 사용되고 있다.

종래 알려진 배경 모델을 이용하는 배경제거 방법에는 이동 평균, 선택적 이동 평균, 가우시안 혼합 모델, 시간적 중간값 필터, KDE(Kernel Density Estimation), Eigen background, SKDA(Sequential Kernel Density Approximation), Mean Shift 알고리즘 등을 예로 들 수 있으며, 이와 같은 배경제거 알고리즘을 비교한 결과 가우시안 혼합 모델 알고리즘이 상대적으로 속도가 빠르면서 정확도도 높고 적은 양의 메모리를 요구하는 것을 알 수 있다. 실질적으로 가우시안 혼합 모델을 이용하는 배경 제거 방법은 영상처리 분야에서 보편적으로 사용되고 있는 기술이며 본 발명에서 제공하는 객체 추적 시스템에서도 객체 검출을 위해 사용하였다.

앞서 언급한 가우시안 이동 평균 알고리즘은 배경 모델에 하나의 가우시안 분포를 사용하기 때문에 복잡한 배경에 적용할 수 없는 단점을 가졌다. 이런 단점을 해결하기 위해

개의 가우시안을 혼합해서 사용하는 아래 수학식 3과 같은 가우시안 혼합 모델(GMM, Gaussian Mixture Model) 방법이 개발되었다.

이 방법은 다양한 배경 분포를 사용할 수 있지만, 사용할 가우시안의 개수를 미리 정의해야하며(일반적으로 2~5개의 가우시안 분포를 사용) 가우시안의 초기화 방법과 갱신 방법을 결정해야 한다. GMM은 매 프레임마다

_i를 갱신하거나 표준화해야 한다.

와

는 이동 평균 알고리즘을 사용하여 갱신된다.

그러나 최근에 개발된 GMM 알고리즘은 이동 평균 알고리즘을 대신하여 기대치 최대화(Expectation Maximization, EM) 알고리즘을 사용하여 갱신한다. EM 알고리즘은 보이지 않은 잠재 변수에 의존하는 확률모델에서 특징들의 최대우도 (Maximum Likelihood) 추정치를 찾는 알고리즘이다. 도 2는 본 발명의 바람직한 일 실시예에 따른 실제 데이터와 가우시안의 개수에 따른 정합을 보여는 도면이다.

한편, 도 3은 본 발명의 바람직한 일 실시예에 따른 영상의 배경제거에 가장 많이 사용되는 GMM 알고리즘과 OpenCV 에서 제공하는 FGD(ForeGround Detection) 배경제거 알고리즘을 실제 영상에 적용하여 전경의 객체를 검출한 영상을 나타낸 도면이다.

도 3을 참조하면, 검출된 객체에 모폴로지 연산을 적용하여 객체의 외형을 정리하였고, 객체를 블랍 형태로 구성하기 위해 Connect Component 방법을 적용하였다. (a)는 입력된 영상이며 순서대로 (b)와 (c)는 FGD와 GMM을 적용한 배경제거 결과이다. 실험 영상을 보면 GMM을 이용한 배경제거 알고리즘이 FGD 알고리즘을 이용한 방법보다 정확성 측면에서 성능이 더 뛰어나며 GMM을 이용한 경우가 더 자연스럽게 전경을 표현하는 것을 확인할 수 있다. 따라서 본 발명에서는 움직이는 객체를 감지하고 검출하기 위해서 GMM 알고리즘을 사용하여, 객체 검출 성능이 좋으면서도 다른 객체 검출 방법과 비교하여 연산 시간을 줄였다.

GMM 알고리즘을 이용하여 배경 영상을 만들고 입력된 영상에서 배경을 제거하면 현재 프레임에서 움직이는 객체들로 이루어진 전경을 얻을 수 있다. 이렇게 검출된 블랍은 고유의 번호를 가지게 되며 이전 프레임에 있던 객체의 번호와 정합하여 현재 상황을 결정하는 알고리즘에 사용한다.

객체 추적 알고리즘

지능형 감시 시스템의 성능을 향상하기 위해서는 기존의 객체 분류 및 객체 인식, 객체 추적 알고리즘의 성능 향상이 필요하다. 특히 지능형 영상 감시시스템은 객체 추적을 통해 객체의 움직임을 관찰하고 객체의 행동을 결정할 수 있기 때문에 정확하게 객체를 추적해야 한다. 감시 영상에서 객체를 추적하면 객체의 이벤트 기록, 피감시자의 행동 분석, 피감시자의 동선 분석 같은 응용을 사용할 수 있다. 반대로 객체 추적이 실패하면 이와 같은 응용에서 치명적인 오류를 일으킬 수 있다. 따라서 객체 추적에 대한 개발은 오래전부터 꾸준하게 이루어지고 있고, 그 성능은 날로 향상되고 있다. 영상에서 단일 객체를 추적하는 알고리즘은 다양하다. 단일 객체 추적 알고리즘들은 포인트 추적, 커널 추적, 실루엣 추적으로 분류될 수 있다.

포인트 추적은 연속된 프레임에서 포인트로 표현되는 객체를 포인트 정합을 통하여 추적하는 방법이고, 커널 추적은 커널-객체의 모양, 형태, 외형(Appearance, 관련된 히스토그램을 가지고 있는 사각형 템플릿이나 타원모양) 연속된 프레임에서 커널의 움직임(변형, 회전, 어파인)을 계산함으로써 추적하는 방법이다. 마지막으로 실루엣 추적은 객체 영역(외형 밀도와 형태 모델)안에서 인코딩된 정보를 사용하는 방법으로 주어진 객체 모델이 있을 때 실루엣은 형태 정합이나 외곽선 진화에 의해 추적된다.

최근에는 시스템의 하드웨어의 성능이 향상됨에 따라 알고리즘이 복잡하고 연산량이 많아지더라도 객체 추적의 정확도를 높일 수 있는 방향으로 새로운 알고리즘들이 많이 개발되고 있다. 객체 추적 알고리즘의 성능은 지속된 연구를 통하여 점차 향상되고 있지만 여전히 객체 추적 알고리즘에는 다음과 같은 몇 가지의 문제점들이 있다.

감시 카메라를 통하여 입력된 영상은 3D로 구성된 영상을 2D로 영사되기 때문에 많은 정보가 손실된다.

영상에 나타나는 노이즈와 조명의 변화로 인하여 객체를 추출하는데 오류가 생겨서 객체 추적에 문제가 생길 수 있다.

여러 개의 객체를 추적하는 경우 객체가 겹치면 추적 정보가 다른 객체와 바뀌어 오류가 발생할 수 있다.

추적의 정확도를 높이기 위하여 추적 방법을 복잡하게 하면 연산량이 많아져서 실시간 추적이 불가능해지거나 임베디드 시스템에 사용할 수 없다.

이러한 문제점들을 해결하기 위해 여러 가지 방향으로 개발이 진행되고 있다. 먼저 번 문제를 해결하기 위해서는 Stereo 카메라를 설치하여 객체간의 거리를 계산하여 3D로 표현하여 정보의 손실을 최소화 할 수 있다. 번 문제를 해결하기 위해서는 객체 추적의 전처리 과정으로 사용되는 배경 제거 알고리즘의 성능을 향상시켜야 한다. 결국 번과 번 문제점은 객체 추적 알고리즘 외적으로 해결이 가능한 문제이며, 실제로 객체 추적 알고리즘을 개발하는데 있어서 가장 큰 문제점은 번과 번이다.

최근에 다중 객체 추적에 대한 연구에서는 번 문제를 해결하기 위해 많은 연구가 이루어지고 있으며, 번 문제를 해결하기 위해 실시간으로 다중 객체를 추적 할 수 있는 알고리즘도 많이 연구되고 있다.

지능형 영상 감시 시스템에서는 여러 개의 객체가 한 영상에서 나타나고 움직일 수 있기 때문에 다중 객체의 추적이 가능한 알고리즘이 사용되어야 한다. 다중 객체 추적을 위해 일반적으로 단일 객체 추적 알고리즘을 확장하여 사용하지만 객체의 모양이나 색상이 비슷한 경우에 객체를 올바르게 식별하지 못하는 경우가 자주 발생한다.

다중 객체 추적은 두 개 이상의 객체가 겹쳐지는 오크루젼 상황이 자주 발생한다. 계속하여 객체를 추적하기 위해서는 오크루젼된 객체를 식별하여 분리할 수 있는 알고리즘이 필요하다. 만약에 오크루젼된 객체를 정상적으로 분리하지 못하는 경우 객체의 추적을 실패할 수 있기 때문에 오크루젼을 해결하는 방법은 다중 객체 추적에서 매우 중요한 부분이다.

두 개 이상의 객체가 오크루젼된 상황에서 가장 정확하게 객체를 분리하여 오크루젼을 해결할 수 있는 방법은 다시점 영상을 사용하는 방법이다. 그러나 다시점 영상을 사용하기 위해서는 2대 이상의 영상 감시 카메라가 사용되기 때문에 시스템을 새로 설치하는 경우에 설치비용이 높으며 이미 1대의 카메라가 설치된 영상 감시 시스템을 업그레이드하는 경우에도 많은 비용이 소요된다. 또한 객체의 거리를 구하는 연산에도 많은 시간이 소요되기 때문에 시스템의 속도 역시 느리다.

따라서 대부분의 다중 객체 추적 시스템에서 오크루젼 상황을 해결하기 위하여 템플릿 정합, 움직임의 방향 또는 색상 히스토그램을 이용한다. 이러한 방법들은 구현이 쉽고 연산속도가 빠르지만 오크루젼을 정확하게 해결하지 못하는 경우가 많다. 또한 객체의 수가 많거나 주어진 상황이 복잡해지면 오크루젼 해결이 어려워져서 추적의 정확도가 낮아진다.

이러한 단점을 보완하기 위해 최근의 몇몇 연구에서는 오크루젼 해결을 새로운 방법으로 접근하고 있다. 가장 활발하게 연구가 이루어지는 방법은 특징점을 이용하여 객체를 분리하는 방법이다. 객체의 추적 중에 객체의 특징점을 추출하여 객체 모델을 생성한 후, 영상에서 오크루젼이 발생하는 경우 저장된 객체 모델과 오크루젼이 발생한 영상에서 추출한 특징점을 비교하여 객체를 분리하여 식별한다. 이런 방법은 이전의 방법들에 비해 정확도가 높지만 특징점을 추출하고 비교하는데 많은 시간이 소요되기 때문에 객체 추적 시스템 전체가 느려지는 경우가 발생할 수 있다. 본 발명 역시 특징점을 이용하여 객체를 분리하는 방법을 사용한다.

도 4는 본 발명의 바람직한 일 실시예에 따른 특징점의 종류를 구분하여 설명한 도면이다.

도 4를 참조하면, 객체 추적에서 사용가능한 특징은 물리적인 거리, 색상의 히스토그램, 기울기 정보, 텍스쳐, 코너, 블랍과 같이 6가지로 분류될 수 있고, 연산시간에 따라 저비용 특징, 중간 비용 특징, 고비용 특징의 3단계로 분류할 수 있다.

먼저 저비용 특징에는 유클리디언(Euclidean) 거리와 해밍(Hamming) 거리와 같은 물리적인 거리를 계산하여 특징으로 사용하는 방법과 색상의 히스토그램을 특징으로 사용하는 방법이 있다. 색상의 히스토그램을 특징으로 사용하는 경우에는 조명의 변화와 무관하게 색을 표현하는 Hue(색상)값을 사용한다. 이런 특징들은 연산량이 매우 작기 때문에 제안하는 다중 객체 추적 시스템에서 현재 상황을 결정하기 위해 사용한다.

중간비용 특징과 고비용 특징은 객체의 식별을 결정하기 위해서 부가적인 정보가 필요한 경우에 사용하며, 주어진 시간에 연산이 가능한 특징을 선택하여 사용한다. 중간비용 특징으로 사용할 수 있는 특징은 LoG와 DoG 같은 기울기 정보나 LBP와 Template Matching 같은 텍스쳐 기반의 특징을 사용하며 고비용 특징은 Harris와 FAST 같은 코너의 특징점을 검출하여 정합하는 알고리즘들과 SIFT와 SURF 같은 블랍의 특징점을 검출하여 정합하는 알고리즘들을 사용한다.

앞에서 설명한 특징들을 사용하여 트리를 구성하기 위해서는 특징들의 특성과 연산 시간 및 정확도를 분석해야 한다. 표 1은 특징들의 특성과 연산 시간을 간단한 실험을 통하여 정리한 것이다. 여기에서 분석한 결과는 제안하는 객체 추적 시스템에서 사용하는 특징 트리를 구성하는데 사용한다.

특징들은 각각 다른 특성을 가지고 있으며, 표 1의 특징 특성에 사용한 기호 중 S는 Scale의 약자로 크기 변화를, R은 Rotation의 약자로 회전 변화를, I는 Illumination의 약자로 조명 변화를, V는 Viewpoint의 약자로 방향 변화를, A는 Affine의 약자로 벡터 공간 변화를, T는 Transition의 약자로 이동 변화를, O는 Occlusion의 약자로 객체의 겹침을, N은 Noise의 약자로 영상의 잡음을 각 의미한다. 각각의 기호에 표시된 o표시는 주어진 특성에 강함을 의미하며 다양한 특징들을 동일한 측정방법으로 연산 시간을 평가하기는 어렵기 때문에 각각의 특성에 맞는 방법으로 연산 시간을 평가하였다.

알고리즘	특징 형식	특징 특성								연산 시간	측정 방법
		S	R	I	V	A	T	O	N
Euclidean	거리									0.062 [us/point]	SSD
Hamming	거리									0.272 [us/point]	XOR
Color(Hue)	히스토그램			O						0.029 [ms/patch]	Similarity
LoG	기울기			O					O	3.100 [ms/patch]	Convolution
DoG	기울기			O					O	0.160 [ms/patch]	Difference
LBP	텍스쳐			O						15.500 [ms/patch]	8-Neighborhood difference
Template matching	텍스쳐						O			1.500 [ms/patch]	Similarity
Harris	코너						O			0.852 [ms/keypoint]	Eigen value
Tomasi	코너						O			0.426 [ms/keypoint]	Minimum Eigen value
FAST	코너						O			0.005 [ms/keypoint]	ID3
ORB	코너	O	O		O	O	O		O	0.021 [ms/keypoint]	oFAST
FREAK	코너	O	O	O	O	O	O		O	0.111 [ms/keypoint]	AGAST
MSER	블랍	O	O		O	O	O			0.945 [ms/keypoint]	Thresholding
SIFT	블랍	O	O	O	O	O	O	O	O	0.424 [ms/keypoint]	DoG
SURF	블랍	O	O	O	O	O	O		O	0.290 [ms/keypoint]	Hessian

또한 특징들이 객체를 얼마나 정확하게 표현하는지 평가하기 위해 간단한 실험을 통해 분석하였다. 색상의 히스토그램, 기울기 정보, 텍스쳐, 코너, 블랍을 대표하는 알고리즘을 하나씩 선정하여 정확도를 평가하였다. 이 실험은 영상에서 하나의 객체를 선택한 후, 그 객체가 포함된 다른 영상에서 객체를 얼마나 정확하게 검출할 수 있는가를 평가한 방법으로 평가지표는 상관관계(Correlation)를 사용하였다.

도 5는 본 발명의 바람직한 일 실시예에 따른 색상(Hue) 정보 히스토그램의 평가 결과를 나타낸 도면이다.

도 5를 참조하면, 색상 정보의 히스토그램을 이용한 경우 평균 0.8 이상의 높은 수준의 상관관계를 보여주었다. 색상 정보의 히스토그램은 연산 비용이 다른 특징들을 사용하는 것보다 훨씬 낮으면서도 정확하게 객체를 식별할 수 있는 특징이다. 그러나 151 프레임과 같이 비슷한 색상을 가진 다른 객체가 나타나는 경우 정확도가 급격하게 떨어지는 단점을 가지고 있다.

도 6은 본 발명의 바람직한 일 실시예에 따른 텍스쳐 기반의 특징 중의 하나인 LBP를 이용하는 경우 상관관계를 나타낸 도면이다.

도 6을 참조하면, 색상 정보를 이용하는 경우보다 평균적인 정확도는 낮지만 색상 히스토그램과는 다르게 비교적 높은 정확도를 지속적으로 보여주고 있다.

도 7은 본 발명의 바람직한 일 실시예에 따른 템플릿 정합을 이용한 경우의 상관관계를 나타낸 도면이다.

도 7을 참조하면, 텍스쳐 기반의 다른 특징인 템플릿 정합을 이용하는 경우는 색상 정보 히스토그램이나 LBP 특징보다 높은 수준의 상관관계를 보여주었다. 실험 결과 템플릿 정합은 평균적으로 0.9 이상의 높은 상관관계를 지속적으로 보여주고 있다. 그러나 템플릿 정합은 정합하는 영상의 크기에 따라 연산 시간이 급격하게 늘어나기 때문에 제안하는 객체 추적 시스템에서는 특징을 추출하려는 객체의 크기가 작은 경우에만 사용하였다.

마지막으로 도 8은 본 발명의 바람직한 일 실시예에 따른 코너 특징점 기반의 특징인 FAST의 실험결과를 나타낸 도면이다.

도 8을 참조하면, 특징점을 기반으로 하는 코너 기반의 특징들과 블랍 기반의 특징들은 상관관계로는 정확도를 평가하기 어렵다. 따라서 이런 특징들을 제대로 평가하기 위해서는 특징점의 밀집도를 분석하는 방법으로 평가를 해야 하지만 다른 특징과의 비교를 위해 같은 방법으로 평가했기 때문에 실험에 사용된 다른 특징들보다 상관관계 값이 상당히 떨어지는 것을 볼 수 있다.

위와 같은 특징을 이용하여 상황을 결정한 후에 상황에 따라 추가적인 연산이 필요한 경우에는 그 보다 연산량이 많은 기울기 정보와 텍스쳐를 이용한다. 객체의 정확한 결정을 위하여 추가적인 연산이 더 필요하다면 코너와 블랍으로 구성되는 특징점 추출을 이용한다. 그러나 여기에서 주의할 점이 있다. 높은 연산량을 요구하는 특징을 이용하는 것이 높은 정확도를 제공하는 것은 아니다. 영상의 환경에 따라서 연산량이 가장 적은 물리적인 거리나 색상 정보 등이 더 좋은 정확도를 제공할 수도 있다. 따라서 본 발명에서 제공하는 특징 트리는 정확도와는 무관하게 연산량과 특징의 특성에 따른 구성을 제공한다.

도 9는 본 발명의 바람직한 일 실시예에 따른 실질적인 알고리즘의 구성을 도시한 도면이다.

도 9를 참조하면, 상황을 결정하기 위한 저비용 특징으로 유클리디언(Euclidean) 거리와 색상 정보(Hue) 히스토그램을 사용한다. 상황이 결정되면 추가적인 연산을 사용하여 객체의 식별을 결정한다. 객체의 식별에 사용하는 특징은 텍스쳐 기반의 템플릿 정합과 LBP를 사용한다. 만약 색상 정보 히스토그램 결과가 좋지 않은 경우 색상 정보를 더 이상 사용하는 것은 무의미하기 때문에 조명에 민감하지 않은 LBP를 사용하고 색상 정보 히스토그램 결과가 좋은 경우에는 템플릿 정합을 사용한다. 텍스쳐 기반의 특징을 사용한 후에도 객체의 식별이 애매한 경우에는 ORB와 FAST같은 코너 기반의 특징을 사용한다. FAST 알고리즘은 코너를 추출하는 알고리즘으로 최근에 빠른 속도로 인해 많은 곳에 적용이 되고 있으며, FAST를 변형한 알고리즘인 ORB는 다양한 특성에 강하다. 마지막으로 남은 유휴시간을 계산한 후에 상황에 따라 SIFT와 SURF 같은 블랍 기반의 특징 알고리즘을 사용하여 특징점을 추출하여 정합한다. SURF나 SIFT 같은 알고리즘은 연산량이 많지만 블랍 전체의 특징점을 추출하여 정합하기 때문에 정확도는 상당히 높은 편이다. SURF 알고리즘이 SIFT 알고리즘보다 연산량이 적기 때문에 남은 시간에 따라 알고리즘을 선택하여 사용할 수 있다. 그러나 사람과 같이 객체의 모습이 크게 달라지는 경우에는 비효율적일 수 있다. 따라서 본 발명에서 SURF와 SIFT는 객체 식별 결정을 위해 신뢰도를 향상시키는 도구로만 사용한다.

본 발명에서는 다중 객체 추적을 위해 현재의 상황을 결정하는 알고리즘을 사용한다. 저비용 특징을 사용하여 이전 프레임의 객체 예측 정보와 정합을 연산한다.

본 발명에서 사용하는 현재 상황은 6가지로 분류한다. 먼저 이전 프레임에 없었던 객체가 새로 나타나는 상황은 객체의 나타남(Appearance)으로 정의하며, 이전 프레임에 있던 객체가 사라지는 상황은 객체의 사라짐(Disappearance)으로 정의한다. 또한 이전 프레임에 나타난 객체가 현재 프레임에도 정상적으로 나타나는 상황은 정상적인 추적(Normal)으로 정의한다. 이런 상황들은 추가적인 연산 없이 바로 다음 과정을 진행 할 수 있다. 그 외의 상황으로 오크루젼(Occlusion)상황과, 객체의 분리(Separation)상황이 있다. 일반적으로 오크루젼 상황에서는 이전 프레임의 두 개 이상의 추정 정보와 하나의 블랍이 정합되는 경우이며, 객체의 분리 상황은 하나의 추정 정보가 두 개 이상의 블랍과 정합되는 경우이다. 또한 본 발명에서는 그 외의 상황으로 지연된 결정(Delayed Decision) 상황을 사용한다. 지연된 결정 상황은 객체의 결정이 애매한 경우에 나타나며 일반적으로 2개 이상의 추정 정보와 2개 이상의 블랍이 정합되는 경우이다.

본 발명에서는 저비용 특징을 사용하여 간단하게 객체 추적이 가능한 객체에 소비되는 시간을 줄이고, 객체의 식별이 애매한 경우를 지연된 결정 상황으로 만들어서 남은 시간을 이용하여 최대한 정확하게 식별을 결정할 수 있도록 한다.

또한 현재 상황을 결정하기 위해 트랙의 종류를 구분한다. 이러한 분류는 현재 상황 결정뿐 아니라, 현재 상황을 좀 더 세부적으로 만들기 위해 사용할 수 있다. 본 발명에서 사용하는 트랙의 분류는 다음과 같다.

(1) 0 (NULL Track) : 객체가 사라진 트랙

(2) 1 (NORMAL Track) : 정상적인 1:1 트랙

(3) 2 (INIT Track) : 초기화 중인 정상 트랙

(4) 3 (TEMP Track) : 객체가 결정되지 못한 임시 트랙

(5) 4 (OCCLUSION Track) : 오크루젼된 트랙

(6) 5 (VIRTUAL Track) : 오크루젼된 객체의 가상 트랙

도 10 본 발명의 바람직한 일 실시예에 따른 새로운 객체 추가를 예시한 도면이고, 도 11은 본 발명의 바람직한 일 실시예에 따른 객체의 사라짐을 예시한 도면이고, 도 12는 본 발명의 바람직한 일 실시예에 따른 객체의 정상적인 추적을 예시한 도면이고, 도 13은 본 발명의 바람직한 일 실시예에 따른 객체의 오크루젼을 예시한 도면이고, 도 14는 본 발명의 바람직한 일 실시예에 따른 오크루젼된 객체의 분리를 예시한 도면이고, 도 15는 본 발명의 바람직한 일 실시예에 따른 객체의 식별 결정이 지연된 상황을 예시한 도면이다.

도 10 내지 15를 참조하면, P_Track은 이전 프레임에 있는 객체의 번호이며 트랙의 종류에 따라 형식을 부여하였다. 객체는 현재 프레임에 나타난 블랍의 임시 번호이며, N_Track은 식별이 결정된 현재 프레임의 객체의 번호와 종류를 나타낸다. 객체가 새로 나타나 객체 정보가 초기화되지 않은 경우에는 형식 2번의 임시 트랙을 사용하며 객체 식별 결정 알고리즘을 통해 객체가 확실하게 식별되지 않은 경우에는 형식 3번의 임시 트랙을 사용한다.

본 발명에서 사용하는 현재 상황 결정은 먼저 저비용 특징을 이용하여 이전 프레임의 객체 정보와 현재 프레임의 블랍의 정합 정보를 연산해야 한다. 본 발명에서는 물리적인 거리와 객체 간의 겹치는 면적 및 색상의 히스토그램을 사용한다.

도 16은 본 발명의 바람직한 일 실시예에 따른 3차원으로 구성된 정합 행렬의 예시를 도시한 도면이고, 도 17은 본 발명의 바람직한 일 실시예에 따른 현재 상황 결정 행렬을 도시한 도면이다.

도 16 및 도 17을 참조하면, 현재 상황을 결정하기 위해서 블랍과 추정정보의 정합 개수로 이루어진 행렬을 사용한다. 하나의 추적 정보와 정합되는 블랍이 없다면 그 객체는 현재 프레임에서 사라진 객체이며, 하나의 블랍과 정합되는 추적 정보가 없다면 새로운 객체가 나타난 것이며, 하나의 추적 정보와 하나의 블랍이 정합되면 정상적으로 하나의 객체가 추적되는 경우이다.

또한 두 개의 블랍이 하나의 추적 정보와 정합된다면 이전 프레임의 두 개의 객체가 현재 프레임에서 겹쳐진 경우이며, 하나의 블랍에 두 개의 추적 정보가 정합된다면 이전 프레임에서 겹쳐졌던 객체가 분리된 경우이다. 마지막으로 두 개 이상의 추적 정보와 두 개 이상의 블랍이 정합되는 지연된 결정 경우로 분류한다.

이런 현재 상황은 위에서 설명한 트랙 분류를 이용하면 6개로 분류된 현재 상황을 세부적으로 나누어서 구성도 가능하다. 본 발명에서는 6개의 주어진 상황을 트랙의 종류에 따라 13가지의 상황으로 분류하였다. 트랙의 종류는 크게 단일 객체(1, 2, 3 번 타입)와 집합 객체(4번 타입)로 구분하여 분류한다. 본 발명에서 사용하는 전체 상황은 표 2와 같다.

현재 상황	세부 상황	내용
새로운 객체(Appearance)		새로운 트랙 지정 (2번 트랙)
객체의 사라짐(Disappearance)	1번 트랙	객체 제거
	4번 트랙	객체 제거 및 가상 트랙도 제거
정상적인 추적(Normal)	1번 트랙	정상 추적 (객체 갱신)
	4번 트랙	정상 추적 (가상 추적의 객체 갱신)
오크루젼(Occlusion)	(1,1) 트랙	Occlusion (2개의 객체)
	(1,4) 트랙	Occlusion (1+n개의 객체) n >= 2
	(4,4) 트랙	Occlusion (n+n개의 객체) n >= 2
객체의 분리(Separation)	1번 트랙	장애물에 객체가 가려진 경우
	4번 트랙	Occlusion된 객체를 분리
지연된 결정(Delayed Decision)	(1,1) 트랙	객체 두 개를 분리
	(1,4) 트랙	객체 한 개와 한 그룹으로 분리
	(4,4) 트랙	두 개의 그룹으로 분리

저비용 특징을 사용하여 상황을 결정한 후에 오크루젼, 객체의 분리, 지연된 결정 상황인 경우에는 추가적인 연산이 필요하다. 이와 같은 상황은 객체가 명확하게 결정되지 않거나, 하나의 블랍을 다수의 객체로 분리해야 하는 경우이다. 주어진 시간 동안에 이런 작업을 마치려면 연산의 우선순위를 정하여 중요한 일부터 처리해야 한다. 본 발명에서는 고비용 특징을 사용하여 객체의 식별을 결정하는 과정에서 다음과 같은 연산 순서를 따른다.

(1) 전 프레임에서 결정되지 않은 지연된 결정 상황의 객체

(2) 현재 프레임이 지연된 결정 상황인 경우 객체 결정

(3) 전 프레임에서 분리되었지만 결정되지 않은 객체

(4) 현재 프레임에서 분리된 객체

(5) 현재 프레임의 겹쳐진 객체의 가상 정보 갱신을 위한 분리

주어진 시간 안에서 위의 순서에 따라 연산이 진행되며 식별이 애매한 객체를 결정하기 위해서 신뢰도 기반의 객체 식별 결정 알고리즘을 사용한다. 다중 객체를 추적하는 중에 객체가 다중으로 정합이 되거나 겹쳐진 객체가 분리되는 경우에 객체의 식별 결정이 애매한 경우가 있다. 이러한 객체 식별의 애매함은 두 가지로 분류할 수 있다. 첫 번째는 추가적인 객체의 정보를 얻을 수 있는 연산 시간이 부족하여 객체의 식별을 확신하지 못하는 경우이다. 이 경우에는 다른 특징들을 사용하여 객체 정보를 향상시킬 수 있기 때문에 다음 프레임에서 추가적인 연산을 할 수 있도록 해야 한다.

두 번째로 연산시간이 충분하여 사용할 수 있는 모든 특징들을 연산하여 객체 정보로 사용하였지만, 객체의 식별을 확신하지 못하는 경우이다. 이런 경우에는 많은 시간이 추가적으로 주어지더라도 더 이상의 객체 정보의 향상이 없다. 따라서 연산 시간이 남더라도 다음 프레임으로 객체 식별 결정 역할을 넘겨야 한다. 다음 프레임에서는 객체 식별 결정을 위해 새로운 영상에 특징들을 적용하여 새로운 객체 정보를 획득하여 객체 식별을 결정한다.

객체 식별의 애매함을 제거하기 위해서는 이웃의 정보, 즉 다음 프레임의 정보를 사용해야 한다. 객체 식별이 애매한데도 객체 식별을 결정하면 결국 추적에 오류가 발생하여 추적이 실패하거나, 최악의 경우 객체 모델의 손상까지 일으킬 수 있다. 따라서 다음 프레임의 객체 정보를 사용하기 위해 발명에서는 신뢰도 기반의 객체 결정 알고리즘을 사용한다.

본 발명에서 객체의 식별 정보의 신뢰도를 향상시키기 위해서 연속되는 프레임을 이웃 값을 참조한다(실질적으로는 다음 프레임의 값을 참조한다). 제안하는 알고리즘은 객체 식별 결정이 애매한 상황이 발생하면서부터 객체가 완전하게 식별될 때까지 유지된다. 그러나 감시 영상은 상황이 급변하기 때문에 정확성을 위해 너무 오랫동안 객체 식별 결정 알고리즘을 진행할 수 없기 때문에 빠른 시간 안에 객체 식별을 결정해야한다.

신뢰도 갱신 방법

도 18은 본 발명의 바람직한 일 실시예에 따른 객체 식별 결정 알고리즘이 동작하여 지연된 객체 식별 결정을 상황에서의 프레임별 알고리즘의 흐름을 도시한 도면이다.

도 18을 참조하면, t는 알고리즘이 시작한 이후의 프레임 번호이며 알고리즘이 시작하면 0부터 시작하여 최대 max(t)까지 연산할 수 있다.

제시된 객체 식별 결정 알고리즘의 동작을 간단하게 설명하면 현재 프레임에서 객체 상황 결정이 끝나면 남은 시간동안 고비용 특징을 이용하여 객체의 신뢰도를 갱신하며 결과값이 문턱값을 넘으면 즉시 결정을 하고 알고리즘을 종료한다. 그렇지 않은 경우, max(t) 시간동안 알고리즘을 진행하여 신뢰도를 갱신하며 결정이 되지 않는 경우에는 마지막 프레임에서의 결과값을 이용하여 객체를 결정하게 된다. 알고리즘이 다음 프레임으로 진행되는 경우에 상황 결정을 위해 사용되는 저비용 특징의 연산으로 객체의 식별이 확실해지면 더 이상의 갱신을 하지 않고 바로 종료 시킬 수 있다.

본 발명에 따른 객체 식별 결정 알고리즘을 아래와 같다. 먼저 조명에 대한 특성과 남은 시간을 고려하여 알고리즘이 진행되며 현재 프레임에서 시간이 부족한 경우는 트랙의 형식을 임시 트랙으로 지정하여 다음 프레임에서 추가적으로 얻어지는 정보를 이용하여 객체의 식별을 완전하게 결정하게 된다.

객체 결정 알고리즘이 시작되면 먼저 신뢰도를 초기화해야 한다. 신뢰도가 지정한 문턱값보다 작으면 먼저 주어진 남은 시간을 계산한다. 남은 시간이 다른 연산하기 충분하다면, 연산 가능한 특징을 선택하게 된다. 선택된 특징을 연산하여 신뢰도를 갱신하여 문턱값과 다시 비교하기를 반복한다. 만약에 시간이 부족한 경우엔 임시 트랙으로 지정해 두고 다음 프레임으로 객체 식별 결정을 지연한다.

다음 프레임에서 계산된 저비용 특징을 이용하여 새로운 신뢰도를 구하여 문턱값과 비교한다. 만약에 문턱값을 넘게 되면 객체를 결정하고 종료하게 되지만 그렇지 않으면, 결과값을 이용하여 신뢰도를 갱신 한다. 그리고 다시 문턱값과 비교하고 이전 프레임에서 했던 일을 반복하게 된다.

그러나 max(t) 동안에 결정이 되지 않는 경우에는 최종 프레임에서의 신뢰도를 기반으로 객체를 임의로 결정하게 된다. 이 경우에 추적의 오류가 발생할 수 있지만 우리에게 주어진 시간이 충분하다면 이러한 알고리즘을 사용하여 확실하게 객체를 결정하는 것도 가능하다. 신뢰도를 갱신하는 알고리즘을 수식으로 나타내면 수학식 4와 같다.

여기에서

은 알고리즘이 시작한 후 t시간이 지난 상황에서 오크루젼된 블랍 k와 오크루젼된 트랙 n과의 객체 식별 정도의 신뢰성을 나타낸다. 만약에 갱신된

이면 k블랍과 n트랙의 정합을 확신하게 되며 객체 식별 결정을 완료하게 된다. 반대로

이면 k블랍과 n트랙은 정합되지 않는다고 결정하며 알고리즘을 완료한다. 여기에서

은 즉시 객체 식별 결정을 완료하기 위한 문턱값이며,

은 즉시 객체 식별을 무효하기 위한 문턱값으로 연산에 사용한 블랍과 트랙은 관계가 없는 것으로 결정하고 알고리즘을 완료한다. 객체 식별 결정 알고리즘에 사용된 변수는 아래와 같이 사용한다.

(1)

, max(t) : 최대 연산 프레임

(2)

, number(features) : 사용하는 특징의 수

(3)

,

number(OcclusionBlobs) 2 : 오크루젼된 블랍의 수

(4)

number(OcclusionTracks) 2 : 오크루젼된 트랙(객체)의 수

은 f번째 특징의 가중치 값이며 사용한 특징에 따라 신뢰도의 갱신 값이 달라진다. 만약에 가중치가 높은 특징을 사용하는 경우 객체의 식별 결정에 영향을 크게 미친다. 일반적으로 가중치가 높은 특징들은 색상 정보와 위치 정보 같이 연산량이 적은 특징들이 선택된다. 이러한 특징들은 오크루젼에 취약한 것으로 알려져 있지만 반대로 이러한 특징들에서 완벽하게 분리가 된다면 가장 정확한 식별 정보가 될 수 있다.

객체가 결정이 되면 시스템은 추적의 종류를 갱신 한다. 그 후에 현재 프레임에서 객체가 다음 프레임에서 어떻게 변화하는지 예측하기 위해 트래커를 이용한다. 일반적으로 다중 객체 추적을 위해서 칼만 필터와 파티클 필터가 많이 사용된다. 파티클 필터는 칼만 필터에 비해 비교적 좋은 추적 성능을 보이지만 연산시간이 많이 소요된다. 본 발명에서 제안하는 방법에서는 시간이 중요하기 때문에 칼만 필터를 이용하는 것이 더 적합하다.

칼만 필터는 위치 제어, 영상 처리 등의 분야에서 시스템의 주요 변수를 예측하는데 사용하는 방법이다. 영상 감시에서는 추적하는 객체의 위치를 예측하기 위해 사용한다. 칼만 필터는 일반적으로 선형 시스템이며, 상태를 예측해서 발생할 수 있는 오류를 최소화하면서 예측한다. 칼만 필터는 크게 정정(Correct)과 예측(Predict)으로 나눌 수 있으며 각각 측정값과 시간을 갱신 시킨다.

본 발명에서는 측정값으로 객체의 x좌표와 y좌표를 이용한다. 즉 칼만 필터를 사용하여 영상에서 객체의 위치를 예측하는 것이다. 이렇게 구해진 예측 위치는 다음 프레임에서 나타나는 블랍과 거리를 측정하여 하나의 특징으로 사용된다.

성능시험결과

본 발명에서 제안한 시스템을 이용하여 다수의 사람을 실시간으로 추적하는 응용 시스템을 구현하여 성능 시험을 실시하였다. 전체 시스템은 C++로 코딩되었으며, 프로그램 코딩 및 컴파일을 위해 Microsoft Visual Studio 2010을 사용하였다. 또한 OpenCV 2.4.3 버전을 이용하여 영상의 입출력 및 간단한 영상처리 알고리즘 등을 적용하였다.

다중 객체 추적을 위한 실험 영상은 PETS 2009 데이터 셋을 사용하였다. PETS(Performance Evaluation of Tracking and Surveillance)는 추적과 감시의 성능 평가를 위한 국제 워크숍으로 영상을 이용하여 객체의 추적과 감시 알고리즘의 성능을 평가할 수 있는 데이터 셋을 제공하고 있으며 가장 최근에 발표한 데이터 셋이 PETS 2009이다.

PETS 2009는 다양한 환경의 데이터를 제공한다. 본 발명에서는 그 중에서 사람의 추적을 위해서 제공하는 영상인 S2 데이터 셋을 사용하였다. 이 데이터 셋은 다수의 사람이 복잡하게 움직이는 영상으로 이루어져 있으며 다양한 상황이 존재하기 때문에 본 발명에서 제안한 시스템을 적용하기에 적당하다.

실험에 사용하는 데이터 셋에 포함된 영상은 Axis 223M 모델의 카메라를 사용하여 획득한 영상으로 768576개의 화소로 이루어져 있으며, JPEG으로 압축된 정지영상의 모음으로 제공되고 있다.

객체 추적 시스템의 성능의 평가지표로 가장 많이 사용되는 것은 추적의 정확도이다. 객체 추적 시스템의 정확도를 평가하는 방법은 매우 다양하지만 대부분의 평가 방법이 단일 객체 추적에 대한 평가이며, 다중 객체 추적에 대한 평가가 어렵다. 따라서 다중 객체 추적 시스템의 평가를 위한 연구가 진행되었고, CLEAR(the CLassification of Events, Activities, and Relationships) 2006, 2007 워크숍을 통해서 새로운 평가 방법이 제안되었다. 이 평가 방법은 CLEAR MOT 측정이라 불리며 다중 객체 추적의 정확성(Accuracy, Precision)을 평가한다.

본 발명에서 제안된 다중 객체 추적 시스템의 정확성을 평가하기 위해 CLEAR MOT Metrics를 사용한다. CLEAR MOT Metrics는 MODA(Multiple Object Detection Accuracy), MODP(Multiple Object Detection Precision), MOTA(Multiple Object Tracking Accuracy), MOTP(Multiple Object Tracking Precision)의 4가지 도구를 제공한다. 이 중에서 MODA와 MODP는 영상에서 다중 객 검출의 정확성을 평가하는 도구이기 때문에 본 발명에서는 평가하지 않는다.

MOTA와 MOTP는 다중 객체 추적의 정확성을 평가하는 도구이며 두 가지 평가방법에는 차이가 있다. 먼저 MOTA는 주어진 지상 실측 정보(Ground Truth)와 객체 추적 시스템의 추적 정보 결과를 비교하여 추적 정보를 놓치는 경우(Missed Detects), 가긍정적 판단(False Positives)인 경우와 추적 정보가 다른 객체와 바뀌는 경우(Identification Switches)를 계산한다. 이렇게 계산된 결과를 아래와 같은 수학식 5에 적용하여 MOA를 구한다.

여기에서

는 연산에 사용된 총 프레임의 수이고,

는

프레임에서 추적 정보를 놓치는 경우의 수이고,

는

프레임에서 가긍정적 판단을 한 경우의 수이며,

는

프레임에 나타난 객체와

프레임에 나타난 객체의 식별번호(ID)가 바뀐 경우의 수를 나타낸다. 또한 MOTA에서는 각각의 경우에

과

d의 가중치를 적용하여 계산한다.

는 초기에 0이기 때문에 가중치

도 1로 시작한다.

이와 반면에 MOTP는 주어진 지상 실측 정보(Ground Truth)와 객체 추적 시스템의 추적 정보 결과 사이의 시공간적으로 겹쳐진 부분을 계산한다. MOTP는 추적의 정확도를 제공할 뿐만 아니라 병합되거나 분할된 추적 정보의 기여를 보여준다. MOTP는 아래의 수학식 6을 이용하여 계산된다.

여기에서

는 시스템에서 병합과 분할을 고려하여 추적이 정합된 모든 객체를 나타내며,

는

번째 프레임에서 정합된 객체의 수를 나타낸다.

는

번째 프레임에서

번째 객체의 지상 실측 정보(Ground Truth)를 나타내며

는

번째 프레임에서

번째 객체의 실험 결과를 나타낸다.

MOTP는 추적하는 객체의 위치와 크기 그리고 객체의 식별번호(ID)가 얼마나 정확하게 일치하는지 계산하는 방법으로 객체의 추적뿐만 아니라 객체의 정확한 검출에도 많은 영향을 받는다.

PETS 2009 영상을 이용하여 다중 객체 추적의 정확도를 실험하였으며 결과는 MOTA와 MOTP로 계산되었다.

도 19는 본 발명의 바람직한 일 실시예에 따른 다중 객체 추적 알고리즘을 실험한 MOTA 결과를 나타낸 도면이다.

도 19를 참조하면, 초반에는 정확한 추적을 하다가 객체가 오크루젼된 상태에서 가상 추적에 오류가 발생하였으나, 분리(Separation)된 상황에서 정상적으로 객체를 분리하였기 때문에 실제 실험 영상에서는 정상적으로 추적을 하고 있는 것으로 나타난다.

또한 도 20은 본 발명의 바람직한 일 실시예에 따른 다중 객체 추적 알고리즘의 MOTP 결과를 나타낸 도면이다.

도 20을 참조하면, MOTP는 객체의 크기와 위치를 함께 평가하기 때문에 객체 검출 알고리즘의 성능에 크게 좌우된다. 또한 본 발명에서는 객체가 배경에 가져지거나 오크루젼된 경우에 눈에 보이는 부분만을 객체로 결정했기 때문에 PETS 2009에서 제공하는 지상 실측 정보(Ground Truth)와는 많은 차이를 나타낸다.

본 발명에서 제안한 시스템의 성능을 비교하기 위해 기존의 다중 객체 추적 시스템의 연구 결과 중에서 평가방법으로 CLEAR MOT Metrics를 사용하고 실험 데이터 셋을 PETS 2009를 사용한 방법들과 비교하였다. 비교에 사용한 발명들은 M.D. Breitenstein, Alex Leykin, P.K. Sharma, J. Yang, J. Berclaz가 연구한 발명들이며 도 21과 같은 결과를 보여주고 있다.

비교 결과 MOTA는 기존의 알고리즘에 비해 좋은 성능을 보여주고 있으나, MOTP는 기존의 알고리즘보다 성능이 나아졌지만 큰 차이는 보이지 못하고 있다. MOTP는 객체 추적의 성능보다는 객체 검출의 성능에 많은 영향을 받기 때문에 객체 검출 알고리즘의 성능을 높이면 좀 더 나은 성능을 보여줄 것이다.

객체 추적 시스템의 성능의 평가지표로 정확도를 많이 사용하지만 본 발명에 따른 시스템은 실시간을 지향하기 때문에 시간에 대한 평가는 매우 중요하다. 실시간으로 처리를 한다는 의미는 주어진 시간 동안에 최선의 결과를 도출하여 시간이 초과해서 결과를 얻지 못하는 경우가 없음을 의미한다. 대부분의 실시간 추적 시스템에 대한 연구는 단순히 연산 시간을 감소시키는 것에만 초점을 맞추고 있으나, 본 발명에서는 주어진 시간을 효율적으로 이용하여 최선의 결과를 얻는다.

본 발명에서 제안하는 다중 객체 추적 시스템은 실시간을 지향하기 때문에 한 프레임에 주어진 시간 동안에 객체 추적을 완료해야 한다. 따라서 제안하는 시스템에 사용되는 각각의 알고리즘의 연산 시간을 정확하게 파악해야 한다. 또한 연산 시간은 시스템의 H/W 성능에 따라 크게 달라질 수 있기 때문에 알고리즘들의 연산 시간을 시스템에 맞게 초기화를 해야 한다.

도 22는 본 발명의 바람직한 일 실시예에 따른 다중 객체 추적에 필요한 시간을 나타낸 도면이다.

도 22를 참조하면, 영상을 한 프레임 입력받으면 먼저 GMM 배경 제거 알고리즘을 통하여 블랍을 생성하고 생성된 블랍과 이전 프레임에서 제공한 추적정보를 저비용 특징을 이용하여 현재 상황을 결정한다. 각각의 상황에 따라서 객체 결정 알고리즘을 실행하며, 칼만 필터를 통해 다음 프레임에서의 추정정보를 얻는다. GMM 배경 제거 알고리즘은 매 프레임에서 고정된 시간이 필요하며, 현재 상황 결정과 칼만 필터 예측은 현재 프레임의 객체의 개수에 따라 달라진다. 이러한 시간을 제외한 나머지 시간 동안에 객체 결정 알고리즘을 사용할 수 있다. 남은 시간이 많을수록 객체 결정의 정확도는 높아진다. 객체 추적 알고리즘에 사용되는 각각의 연산에 소요되는 시간은 아래의 표 3과 같다.

연산 범위	연산 내용	시간
배경 제거	GMM 배경제거 모폴로지 연산	30ms/Frame
전처리	블랍 정리	0.1ms/Object
상황 결정	현재 상황 결정	0.1~0.2ms /TrackObject
객체 결정	객체 결정 알고리즘	특징 연산 시간 참조
위치 예측	다음 프레임 위치 예측	0.1ms/Track
후처리	정보 및 영상 저장	3~4ms/Frame
	화면 표시	0.1ms/Track

7fps로 구성된 영상은 한 프레임 당 연산할 수 있는 시간이 140ms정도이다. 따라서 그 시간 안에 추적을 완료하지 않으면 실시간으로 객체 추적이 불가능하다.

도 23은 본 발명의 바람직한 일 실시예에 따른 하나의 프레임에서 객체를 추적하는데 걸리는 시간을 기록한 도면이다.

도 23을 참조하면, 보통 60 ~ 80ms의 시간이 소요되었으며, 객체가 많아지거나 상황이 복잡해지면 100ms 정도의 시간이 소요되는 것을 확인할 수 있다. 본 발명에서는 다중 객체 추적의 상황을 6개로 분류하였다. 상황별 추적의 정확도를 비교하기 위해 각각의 상황별 연산 시간의 평균을 계산하였다. 객체 결정 알고리즘을 사용하는 오크루젼, 객체의 분리, 지연된 결정의 3가지 상황에서는 객체를 결정하기 위해 몇 개의 프레임이 사용될 수 있지만 여기서는 하나의 프레임에서 소요되는 시간으로 계산한다. 또한 추적에 필요한 연산 시간은 상황이 결정된 이후부터 칼만 필터를 사용해서 다음 프레임의 예측 정보를 연산할 때까지 소요된 시간으로 정의한다.

도 24는 본 발명의 일 실시예에 따른 현재 상황의 MOTA와 MOTP 값을 나타낸 도면이다.

도 24를 참조하면, 가로축은 현재의 상황을 나타내며 세로축은 MOTA와 MOTP의 값을 나타낸다. 각각의 상황을 표시한 기호 S1은 객체가 새로 나타남을 S2는 객체가 사라짐을, S3는 정상적인 추적을 S4는 오크루젼의 발생을, S5는 분리(Separation)의 발생을 S6는 복잡하고 다양한 상황을 의미한다. 실험 결과 객체가 새로 나타나는 상황에서 MOTA가 상대적으로 매우 낮은 결과를 보여주었다. 그 이유는 추적의 안정성을 위해 객체가 새로 나타나는 경우 일정 크기 이상의 객체 모습이 보여야 새로운 객체로 인정하는 알고리즘 때문일 것이라 분석된다. 또한 오크루젼 객체가 분리되거나 복잡한 상황에서도 비교적 낮은 MOTA 값을 보여주고 있다. MOTP도 마찬가지로 오크루젼 객체가 분리되거나 복잡한 상황에서 비교적 낮은 값을 보여주고 있지만, 큰 차이는 보이지 않는다.

본 발명에서 제안한 다중 객체 추적 시스템은 실시간을 지향하기 때문에 주어진 시간 안에서 최대한의 연산을 수행한다. 즉, 주어진 시간이 많으면 더 정확한 추적이 가능하며 시간이 부족한 경우에는 정확도는 낮아지더라도 주어진 시간 동안 최선의 결과를 제공한다. 여기에서 주어진 시간은

이며 입력영상에 따라 달라진다.

이 실험에서는 PETS 2009 데이터 셋을 각각 다른 프레임율로 인코딩하여 MOTA와 MOTP의 결과를 비교한다. 실험에서 사용한 영상은 1.75

3.5

, 7

의 프레임율로 인코딩되었다.

도 25는 본 발명의 바람직한 일 실시예에 따른 프레임율에 따른 MOTA와 MOTP 값을 나타낸 도면이다.

도 25를 참조하면 프레임율이 낮아지면 MOTA와 MOTP 값이 낮아지는 것을 볼 수 있다. 특히 1.75fps과 같이 낮은 프레임율에서는 급격하게 MOTA와 MOTP가 낮아지고 있다. 그 이유는 프레임율이 낮은 경우에 현재 상황을 결정하기 위해서 저비용 특징인 물리적인 거리를 계산하면 예측범위와 오차가 커서 정합자체가 이루어지지 않아 상황 결정 자체가 불가하기 때문에 오류가 발생하는 것이다. 이러한 상황을 보완하기 위해서 칼만 필터를 수정하여 정확한 위치 예측을 해야 한다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-optical Media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 보아야 할 것이다.

100: 배경제거부
110: 배경 모델
200: 특징점 결정부
210: 특징 트리
300: 상황 선택부
400: 객체 결정부
410: 객체 모델
500: 객체 추적부
510: 추적 인폼

Claims (14)

1. 영상이 입력되면 배경 모델을 갱신하여, 상기 영상으로부터 새로운 배경 영상을 생성하고, 상기 영상과 상기 배경 영상의 차연산을 통해 배경을 제거한 전경영상을 획득하는 배경제거부;
   특징 트리를 참조하여 상기 영상과 상기 전경영상에 나타난 특징점을 결정하고, 결정된 특징점을 추출하는 특징점 결정부;
   상기 특징점 결정부를 통하여 추출된 특징점을 이용하여 영상에 나타난 객체의 상황을 기 분류된 상황 중 어느 하나로 선택하는 상황 선택부;
   상기 객체의 상태가 오크루젼으로 선택될 경우 기 저장된 객체 모델과 오크루젼이 발생한 상기 영상에서 추출한 특징점을 비교하여 상기 객체를 분리하고 상기 객체의 움직임을 결정하는 객체 결정부; 및
   상기 객체 결정부를 통하여 결정된 상기 객체의 움직임을 업데이트하고, 상기 객체의 움직임을 예측한 후 예측된 객체의 움직임을 추적 인폼(Inform)을 통해 상기 상황 선택부로 전달하는 객체 추적부를 포함하는 다중 객체 추적 시스템.
2. 제 1항에 있어서,
   상기 배경제거부는 기대치 최대화(Expectation Maximization) 알고리즘을 사용하여 갱신되는 가우시안 혼합 모델(Gaussian Mixture Model)을 이용하여 차연산을 수행하여 전경영상을 획득하는 것을 특징으로 하는 다중 객체 추적 시스템.
3. 제 1항에 있어서,
   상기 특징 트리는 복수의 특징들을 연산 시간을 기반으로 연산비용에 따라 복수의 단계로 분류하여 저장하는 것을 특징으로 하는 다중 객체 추적 시스템.
4. 제 3항에 있어서,
   상기 특징 트리는 물리적인 거리, 또는 색상의 히스토그램을 포함하는 저비용 특징, 기울기 정보, 또는 텍스쳐를 포함하는 중간 비용 특징, 코너, 또는 블랍을 포함하는 고비용 특징으로 단계화되는 것을 특징으로 하는 다중 객체 추적 시스템.
5. 제 4항에 있어서,
   상기 상황 선택부는 우선 저비용의 특징점을 이용하여 상황을 선택한 후 추가적인 연산이 필요한 경우 단계적으로 점차 고비용의 특징점을 이용하여 상황을 선택하는 것을 특징으로 하는 다중 객체 추적 시스템.
6. 제 1항에 있어서,
   상기 기 분류된 상황이란 객체의 사라짐, 새로운 객체, 정상적인 추적, 오크루젼, 객체의 분리, 지연된 결정으로 분류되는 것을 특징으로 하는 다중 객체 추적 시스템.
7. 제 6항에 있어서,
   하나의 추적 정보와 정합되는 블랍이 없는 경우 상기 사라짐, 하나의 블랍과 정합되는 추적 정보가 없는 경우 상기 새로운 객체, 하나의 추적 정보와 하나의 블랍이 정합되는 경우 상기 정상적인 추적, 두 개의 블랍이 하나의 추적 정보와 정합되는 경우 상기 오크루젼, 하나의 블랍에 두 개의 추적 정보가 정합되는 경우 상기 객체의 분리, 두 개 이상의 추적 정보와 두 개 이상의 블랍이 정합되는 경우 상기 지연된 결정으로 판단되는 것을 특징으로 하는 다중 객체 추적 시스템.
8. 제 1항에 있어서,
   객체의 상황 분류에 허용된 모든 시간 또는 특징을 사용하고도 상기 상황의 신뢰도가 소정 임계치(Threshold)를 넘지 않는 경우 연결정(Soft Decision)을 적용하여 지연된 결정으로 분류하는 것을 특징으로 하는 다중 객체 추적 시스템.
9. 배경제거부에서 영상이 입력되면 배경 모델을 갱신하여, 상기 영상으로부터 새로운 배경 영상을 생성하고, 상기 영상과 상기 배경 영상의 차연산을 통해 배경을 제거한 전경영상을 획득하는 단계;
   특징점 결정부에서 특징 트리를 참조하여 상기 영상과 상기 전경영상에 나타난 특징점을 결정하고, 결정된 특징점을 추출하는 단계;
   상황 선택부에서 상기 특징점 결정부를 통하여 추출된 특징점을 이용하여 영상에 나타난 객체의 상황을 기 분류된 상황 중 어느 하나로 선택하는 단계;
   객체 결정부에서 상기 객체의 상태가 오크루젼으로 선택될 경우 기 저장된 객체 모델과 오크루젼이 발생한 상기 영상에서 추출한 특징점을 비교하여 상기 객체를 분리하고 상기 객체의 움직임을 결정하는 단계; 및
   객체 추적부에서 상기 객체 결정부를 통하여 결정된 상기 객체의 움직임을 업데이트하고, 상기 객체의 움직임을 예측한 후 예측된 객체의 움직임을 추적 인폼(Inform)을 통해 상기 상황 선택부로 전달하는 단계를 포함하는 다중 객체 추적 방법.
10. 제 9항에 있어서,
    상기 특징 트리는 복수의 특징들을 연산 시간을 기반으로 연산비용에 따라 복수의 단계로 분류하여 저장하는 것을 특징으로 하는 다중 객체 추적 방법.
11. 제 10항에 있어서,
    상기 상황 선택부는 우선 저비용의 특징점을 이용하여 상황을 선택한 후 추가적인 연산이 필요한 경우 단계적으로 점차 고비용의 특징점을 이용하여 상황을 선택하는 것을 특징으로 하는 다중 객체 추적 방법.
12. 제 9항에 있어서,
    상기 기 분류된 상황이란 객체의 사라짐, 새로운 객체, 정상적인 추적, 오크루젼, 객체의 분리, 지연된 결정으로 분류되는 것을 특징으로 하는 다중 객체 추적 방법.
13. 제 9항에 있어서,
    객체의 상황 분류에 허용된 모든 시간 또는 특징을 사용하고도 상기 상황의 신뢰도가 소정 임계치(Threshold)를 넘지 않는 경우 연결정(Soft Decision)을 적용하여 지연된 결정으로 분류하는 것을 특징으로 하는 다중 객체 추적 방법.
14. 제 9항 내지 제 13항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.

Images