KR101426775B1 - 객체 추적 장치 및 방법 - Google Patents

Abstract

본 발명은 객체 추적 장치 및 방법에 관한 것으로서, 본 발명의 실시예에 따른 객체 추적 장치는 임의의 대상을 촬영하여 촬영 영상을 제공하는 촬상부, 촬영 영상을 이용하여 추적이 필요한 객체를 포함하는 템플릿(template) 영역을 설정하는 입력부, 및 촬영 영상 중 템플릿 영역에 매칭되는 추적 영역을 템플릿 영역과 비교하여 촬영 영상의 추적 영역을 검출하는 영역 추적부를 포함하되, 영역 추적부는 비교 결과가 기설정된 조건을 만족할 때 추적 영역을 새로운 템플릿 영역으로 재설정하며, 재설정한 템플릿 영역을 기준 템플릿으로 추적 영역을 검출하는 것을 특징으로 한다.

Description

객체 추적 장치 및 방법{Apparatus and Method for Object Tracking}

본 발명은 객체 추적 장치 및 방법에 관한 것으로서, 더 상세하게는 예컨대 템플릿 매칭을 이용한 객체의 추적시 객체의 크기나 각도, 그리고 해당 템플릿 영역에서의 배경의 변화가 발생할 때 임의의 저장 공간 내의 다수의 템플릿을 이용함으로써 추적의 정확도를 높일 수 있는 객체 추적 장치 및 방법에 관한 것이다.

감시시스템, 의료시스템, 증강현실 등 현재사회는 실시간 객체추적을 위한 컴퓨터 비전 기술을 많이 필요로 하고 있다. 컴퓨터 비전 기술을 이용하여 실시간 객체 추적을 구현하기란 매우 어려운 일임에도 불구하고, 컴퓨터 성능의 발달로 인해 영상처리기법의 발전과 더불어 객체 인식과 객체 추적에 관한 연구가 활발히 진행되고 있다. 객체 추적은 카메라로부터 입력된 영상에서 움직임을 보이는 객체를 인식하고, 그 움직임을 추정하여 추적하는 것이다.

현재 많이 사용되는 객체 추적 기법에는 객체의 지역적인 특징점들을 추출하여 그 개수와 좌표를 이용하여 추적하는 방법, 추적하고자 하는 객체 영역의 이미지를 템플릿으로 지정하여 추적하는 방법, 해당 영역의 색상 히스토그램을 사용하여 추적할 객체와 비교하며 추적하는 방법 등이 있다. 하지만 이런 실시간 객체 추적 방법에서 중요한 물체 겹침 상황 문제는 꾸준히 발생하고 있는 상황이며 현재도 이런 문제를 해결하기 위하여 활발한 연구가 진행 중에 있다.

그 가운데 실시간 객체 추적에 있어 탁월한 성능을 보이는 것이 템플릿 매칭을 활용한 방법이다. 템플릿 매칭은 객체와의 비교 연산이 매우 간단하고 구현하기 쉬워 실시간 객체 추적에 있어서 매우 뛰어난 성능을 보여준다.

템플릿 매칭은 3가지 방법이 존재한다. 제곱차(squared difference) 매칭 방법, 상관관계 매칭 방법, 그리고 상관계수(correlation coefficient) 매칭 방법이다. 이에 대한 설명을 위해 입력 영상을 I, 템플릿을 T, 결과 영상을 R 이라고 표기한다. 그리고 (x, y)는 결과 영상 R의 위치, (x`, y`)는 템플릿 영역 T의 위치, (x``, y``)는 (x`, y`) 위치의 특정한 값을 얻기 위하여 변위 값을 나타낸다.

제곱차 매칭 방법은 픽셀값의 제곱차를 이용한다. 그러므로 완벽하게 일치하면 0을 반환하게 되고 그렇지 않으면 값이 커지게 된다. 이는 <수학식 1>과 같이 표현될 수 있다.

상관관계 매칭 방법은 템플릿과 입력 영상의 곱을 제곱하여 모두 더한다. 그러므로 완벽하게 일치하면 값이 크게 나오고, 일치하지 않으면 작은 값이 나온다. 이는 <수학식 2>와 같이 나타낼 수 있다.

상관계수 방법은 템플릿과 입력 영상 각각의 평균을 고려한 매칭을 수행한다. 그러므로 완벽하게 일치하면 1을 반환하고 완전히 불일치하면 -1을 반환하며 두 영상 사이에 전혀 연관성이 없음을 의미한다. 이는 <수학식 3>과 같이 나타낼 수 있다.

일반적으로 제곱차 방법과 같은 간단한 방법보다는 상관계수 같이 복잡한 형태의 매칭 방법을 사용하는 것이 보다 정확한 결과를 얻을 수 있다.

도 1 및 2는 종래 상관계수 매칭 방법의 각 수식을 설명하기 위한 도면이다.

도 1에서 볼 때, x''는 1~w, y''는 1~h의 값을 가지며 T(x', y')의 픽셀과 T의 평균 픽셀의 차를 구하여 T'(x', y')에 대입한다. 또한 도 2에서 볼 때, x는 1~W, y는 1~H, x''는 1~w, y''는 1~h의 값을 가진다. 그리고 입력 영상에서 템플릿 영역이 위치한 영역을 계산하는데 I, I'는 입력영상 전체의 좌표를 나타내기 때문에 T, T'와는 달리 (x+x', y+y')로 나타내어야 한다. 따라서 I(x+x', y+y')의 픽셀과 I의 평균 픽셀의 차를 구하여 I'(x+x', y+y')에 대입한다.

이 같은 템플릿 매칭은 실시간 추적에 있어서 뛰어난 성능을 보이고 있다. 그러나 템플릿 매칭 방법의 연산 특성상 템플릿 객체의 크기나 각도의 변환, 특히 물체의 겹침 상황이 생기면 상관계수의 값의 오차가 크게 발생하여 추적의 성능이 현저히 떨어지는 현상이 발생한다.

본 발명의 실시예는 가령 특정 영역의 버퍼들을 사용하여 템플릿 매칭 방법의 취약점인 물체 겹칩 상황을 해결하려는 객체 추적 장치 및 방법을 제공함에 그 목적이 있다.

본 발명의 실시예에 따른 객체 추적 장치는 임의의 대상을 촬영하여 촬영 영상을 제공하는 촬상부; 상기 촬영 영상을 이용하여 추적이 필요한 객체를 포함하는 템플릿(template) 영역을 설정하는 입력부; 및 상기 촬영 영상 중 상기 템플릿 영역에 매칭되는 추적 영역을 상기 템플릿 영역과 비교하여 상기 촬영 영상의 추적 영역을 검출하는 영역 추적부를 포함하되, 상기 영역 추적부는 비교 결과가 기설정된 조건을 만족할 때 상기 추적 영역을 새로운 템플릿 영역으로 재설정하며, 상기 재설정한 템플릿 영역을 기준 템플릿으로 상기 추적 영역을 검출하는 것을 특징으로 한다.

상기 객체 추적 장치는, 상기 템플릿 영역 및 상기 새로운 템플릿 영역에 대한 정보를 각각 저장하는 저장부를 더 포함하는 것을 특징으로 한다.

상기 객체 추적 장치는, 상기 정보가 상기 저장부의 저장 용량을 초과할 때, 사용 빈도 수가 낮은 영역의 정보를 삭제하고, 상기 빈도 수가 같은 경우 저장 시간이 오래된 영역의 정보를 삭제하는 제어부를 더 포함하는 것을 특징으로 한다.

상기 영역 추적부는 상기 비교 결과가 기설정된 임계값을 초과하는지의 여부에 근거하여 상기 새로운 템플릿 영역을 재설정하는 것을 특징으로 한다.

본 발명의 실시예에 따른 객체 추적 방법은 임의의 대상에 대한 촬영 영상을 이용해 추적이 필요한 객체를 포함하는 템플릿(template) 영역을 설정하는 단계; 설정한 상기 템플릿 영역과 상기 템플릿 영역에 매칭되는 상기 촬영 영상의 추적 영역을 비교하여 상기 추적 영역을 검출하는 단계; 비교 결과가 기설정된 조건을 만족할 때 상기 추적 영역을 새로운 템플릿 영역으로 재설정하는 단계; 및 상기 재설정한 템플릿 영역을 기준 템플릿으로 상기 촬영 영상의 추적 영역을 검출하는 단계를 포함하는 것을 특징으로 한다.

상기 객체 추적 방법은, 상기 템플릿 영역 및 상기 새로운 템플릿 영역에 대한 정보를 저장부에 저장하는 단계를 더 포함하는 것을 특징으로 한다.

상기 객체 추적 방법은, 상기 정보가 상기 저장부의 저장 용량을 초과하는지를 판단하는 단계; 및 판단 결과 초과할 때 사용 빈도 수가 낮은 영역의 정보를 삭제하는 단계를 더 포함하는 것을 특징으로 한다.

상기 객체 추적 방법은, 상기 사용 빈도 수가 같은 때, 저장 시간이 오래된 영역의 정보를 삭제하는 단계를 더 포함하는 것을 특징으로 한다.

상기 객체 추적 방법은, 상기 재설정한 템플릿 영역을 이용하여 상기 촬영 영상의 추적 영역과 비교하는 단계; 및 비교 결과가 기설정된 임계값보다 작거나 같을 때 상기 추적 영역을 상기 재설정 이전의 템플릿 영역과 비교하는 단계를 더 포함하는 것을 특징으로 한다.

상기 촬영 영상의 추적 영역을 검출하는 단계는, 상기 비교 결과가 기설정된 임계값보다 작거나 같을 때 상기 템플릿 영역을 재설정하는 것을 특징으로 한다.

도 1 및 도 2는 종래 상관계수 매칭 방법의 각 수식을 설명하기 위한 도면,
도 3은 본 발명의 실시예에 따른 객체 추적 장치의 구조를 나타내는 블록다이어그램,
도 4는 도 3의 영역 추적부의 세부 구조를 예시한 도면,
도 5는 본 발명의 실시예에 따른 제안 방법을 사용해 나온 프레임별 PSNR을 나타내는 도면,
도 6은 70 프레임일 때 추적 모습을 나타내는 도면,
도 7은 150 프레임일 때 추적 모습을 나타내는 도면,
도 8은 본 발명의 실시예에 따른 객체 추적 방법을 나타내는 흐름도이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.

도 3은 본 발명의 실시예에 따른 객체 추적 장치의 구조를 나타내는 블록다이어그램이다.

도 3에 도시된 바와 같이, 본 발명의 실시예 따른 객체 추적 장치는 예컨대 백내장 수술 등에 사용되는 장비로서, 촬상부(300), 제어부(310), 디스플레이부(320), 입력부(330) 및 영역 추적부(340)의 일부 또는 전부를 포함할 수 있다. 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

촬상부(300)는 CCD(Charge Coupled Device) 카메라 등을 구비할 수 있다. 이를 통해 촬상부(300)는 가령 환자의 안구를 실시간으로 촬영하여 촬영된 안구에 대한 영상은 프레임 단위로 제어부(310)로 제공할 수 있다. 이의 과정에서 예를 들어 촬상부(300)는 제어부(310)의 요청에 따라 템플릿(template)을 설정하기 위한 기준 영상을 먼저 촬상한 후, 안구를 실시간으로 촬영할 수도 있을 것이다.

제어부(310)는 객체 추적 장치를 구성하는 촬상부(300), 디스플레이부(320), 입력부(330) 및 영역 추적부(340)의 전반적인 제어를 담당한다. 예를 들어, 의사와 같은 사용자로부터 요청이 있는 경우 제어부(310)는 촬상부(300)를 제어하여 촬상부(300)에서 제공하는 촬상 이미지를 수신하거나, 실시간으로 수신되는 안구에 대한 촬영 영상을 저장한 후 디스플레이부(320)에 표시할 수 있다. 또한 제어부(310)는 영역 추적부(340)를 통해 검출된 객체의 추적 결과를 표시할 수 있으며, 나아가 입력부(330)를 통한 사용자 명령에 따라 촬상된 안구 이미지에서 가령 인공수정체가 삽입될 영역에 대응되는 템플릿을 설정하여 설정한 템플릿 영역에 대한 정보를 영역 검출부(340) 내의 저장부에 저장할 수 있을 것이다.

디스플레이부(320)는 제어부(310)의 제어 하에 다양한 종류의 영상을 표시한다. 예컨대 입력부(330)를 통해 사용자가 인공수정체의 삽입영역에 대응되는 템플릿을 설정하기 위한 기준 영상을 요청하면 디스플레이부(320)는 해당 기준 영상을 표시해 줄 수 있고, 또한 디스플레이부(320)는 촬상부(300)를 통해 실시간으로 제공되는 안구에 대한 영상을 표시할 수 있으며, 영역 추적부(340)를 통해 처리된 영상도 표시해 주게 된다.

입력부(330)는 다양한 기능을 수행하도록 요청하기 위한 키(key) 혹은 버튼, 레버, 마우스 등을 포함할 수 있다. 사용자가 입력부(330)를 통해 특정 명령을 지시할 때, 제어부(310)는 해당 명령에 따라 촬상부(300), 디스플레이부(320) 및 영역 추적부(340)를 제어할 수 있을 것이다. 예컨대 입력부(330)는 안구에 대한 촬영이 이루어지도록 요청하거나, 기준 영상으로부터 인공수정체 삽입을 위한 템플릿 설정을 명령할 수 있으며, 영역 추적부(340)에서 처리된 영상을 디스플레이부(320)를 통해 다시 볼 수 있도록 제어부(310)로 요청할 수 있다. 여기서, 템플릿 설정과 관련해 좀더 살펴보면 입력부(330)는 가령 실시간으로 촬상된 안구 영상 중 하나의 프레임에 대해 너비 w, 높이 h를 가지는 템플릿을 설정하는 사용자 명령을 입력받을 수 있다. 이때 템플릿은 템플릿 매칭(matching) 알고리즘을 통해 추적하고자 하는 영역의 이미지를 의미할 수 있다. 그러나 이러한 입력부(330)는 가령 디스플레이부(320)가 터치스크린 방식으로 이루어진 경우라면 객체 추적 장치에 포함되지 않을 수도 있다. 따라서 본 발명의 실시예에서는 객체 추적 장치가 입력부(330)를 포함하느냐 포함하지 않느냐에 특별히 한정하지는 않을 것이다.

영역 추적부(340)는 실시간으로 제공되는 가령 안구의 촬영 영상, 즉 입력 영상을 수신하여 사용자가 설정한 템플릿과 그 템플릿에 대응되는 입력 영상을 비교하여 비교값을 산출한다. 이때 비교값은 상관관계의 정도를 수량적으로 표시한 상관계수일 수 있고, 또는 화소별 차이값 등을 이용한 다양한 값이 이에 해당될 수 있다. 또한 영역 추적부(340)는 이러한 비교값이 특정 임계값을 초과하는지의 여부에 따라 가령 초과한다면 매칭이 되었다는 의미이므로 최초로 저장된 템플릿을 근거로 계속 반복하여 추적한다. 만약 그렇지 않은 경우에는 물체 겹침 상황으로 판단하여 최초로 저장된 템플릿 영역 이외에 저장된 템플릿이 없을 경우에는 인덱스(index) 값을 하나 증가시키고 새로운 템플릿 영역을 저장하여 다시 추적을 시작한다. 만약 이전에 저장된 템플릿이 있을 경우 저장된 템플릿 영역과 입력 영상의 상관계수 값을 구하여 제일 큰 값을 선택하되, 임계값보다 크면 해당 템플릿 영역을 기준으로 하여 다시 추적을 시작하고, 크지 않으며 인덱스 값을 하나 증가시키고 새로운 템플릿 영역을 저장하여 다시 추적을 시작한다.

위의 기능을 수행하기 위하여 영역 추적부(340)는 도 4에 도시된 바와 같이 템플릿 매칭 수행부(400) 및 저장부(410)를 포함할 수 있다. 템플릿 매칭 수행부(400)는 입력부(330)의 사용자 명령에 따라 저장부(410)에 저장된 템플릿과 그 템플릿에 매칭되는 입력 영상의 추적 영역을 비교하여 상관계수 또는 화소값의 차이 등을 산출하게 된다. 그리고 산출된 결과가 임의의 특정값, 즉 임계값보다 크거나 같은지, 또는 작은지 등을 비교할 수 있으며, 비교 결과는 제어부(310)로 제공해 줄 수 있을 것이다. 이때 템플릿 매칭 수행부(400)는 바람직하게는 템플릿 매칭을 위한 알고리즘을 수행하여 실시간 입력 영상을 추적한 후 추적 결과를 제어부(310)에 제공해 줄 수 있을 것이다. 한편 저장부(410)는 버퍼부 또는 메모리부로 지칭될 수 있는데, 템플릿 매칭 수행부(400)의 비교 결과에 따라 다양한 형태의 템플릿을 저장한 후 제어부(310)의 요청시 출력할 수 있을 것이다.

예컨대, 제어부(310)는 사용자의 요청에 따라 안구에 대한 템플릿을 설정하여 저장부(410)의 template[0]에 저장하였다고 가정하자. 이때 촬상부(300)를 통해 실시간으로 입력되는 입력 영상이 안구에 대한 영상에서 핀셋 등이 투입된 상황으로 바뀌었다면 템플릿에 대응되는 추적 영역은 template[0]에 저장된 템플릿과 상관관계를 비교한 결과값이 낮게 산출될 것이다. 그리고 이러한 결과값은 특정 임계값보다 작을 것이므로 제어부(310)는 최초 템플릿에 대응되는 추적 영상을 새로운 템플릿으로 template[1]에 저장하게 된다. 이후, 제어부(310)는 저장부(410)의 template[1]에 저장된 템플릿을 기준으로 추적하다가 다시 상황이 변경되면 이전에 template[0]에 저장된 템플릿과 다시 비교하고, 이때 이전에 저장된 템플릿과 상관계수가 높게 나타난다면 해당 템플릿을 기준으로 추적을 하게 되지만, 그렇지 않은 경우에는 template[2]에 새로운 템플릿을 저장할 수 있다.

이와 같은 방식으로 본 발명의 실시예에 따른 객체 추적 장치는 가령 100개 정도의 버퍼를 사용하여도 실시간 객체 추적에 큰 무리가 없다면, 템플릿 영역이 저장되는 영역을 100으로 고정하고, 버퍼가 꽉 차는 경우가 발생하면 사용되는 빈도 수가 가장 낮은 영역을 비우고 같을 시에는 가장 시간이 오래된 영역부터 비우는 기법을 사용할 수 있을 것이다. 따라서 본 발명의 실시예에 따른 객체 추적 장치는 버퍼 수를 몇 개로 고정하느냐에 특별히 한정하지는 않을 것이다.

상기의 구성 결과 본 발명의 실시예에 따른 객체 추적 장치는 템플릿 매칭 방법의 특성상 객체의 크기나 각도 그리고 해당 템플릿 영역에서의 배경 변화가 발생하더라도 추적의 정확도를 높일 수 있을 것이다.

이하에서는 본 발명의 실시예에 따른 실험 결과 및 분석을 살펴본다.

본 발명의 실시예에서는 제안한 방법의 추적성능을 평가하기 위하여 템플릿 매칭과 본 발명의 제안 방법을 주어진 영상과 비교하였고, 비교척도로 PSNR(Peak Signal to Noise Ratio)을 사용하였다.

도 5는 본 발명의 실시예에 따른 제안 방법을 사용하여 나온 프레임별 PSNR을 나타내는 도면이고, 도 6은 70 프레임일 때 추적모습을, 도 7은 150 프레임일 때 추적모습을 각각 나타내는 도면이다.

도 5에서 볼 때, 실험 영상의 50 프레임부터 추적할 삽입 영역을 지정하여 350 프레임까지 템플릿 매칭과 제안 방법으로 추적하였다. 추적 영역의 변화가 적은 150 프레임까지는 두 가지 방법이 유사한 성능을 보이고 있다. 그러나 150 프레임 이후 템플릿 매칭을 사용한 추적 방법의 PSNR이 계속 감소하는 현상을 보이는데 이는 추적 영역의 배경에 변화가 발생하였기 때문이다.

도 6 및 도 7을 참조하면, 도 5의 PSNR로도 알 수 있듯이 도 6은 추적영역(동그라미 부분)의 배경에 변화가 없어 두 방법 모두 큰 이탈 없이 추적 가능했다. 그런데 도 7에서와 같이 150 프레임일 때에는 템플릿 매칭을 사용하였을 경우 추적이 잘못되어 이탈한 모습을 보이게 된다. 도 5의 템플릿 매칭을 사용하여 나온 PSNR을 분석하면 150 프레임부터 PSNR이 점점 감소하여 200 프레임 이후로는 완전히 추적 영역을 이탈하고 있다. 그러나 본 발명의 실시예에 따른 제안 방법을 사용했을 경우 큰 이탈 없이 추적할 수 있음을 알 수 있다.

결론적으로 본 발명의 실시예는 실시간 객체 추적에 있어서 뛰어나지만 물체 겹침 상황에 취약한 템플릿 매칭 방법을 특정 영역의 버퍼를 활용하는 방식으로 해결하였다. 가령 제안한 알고리즘을 이용하여 템플릿 매칭 방법의 뛰어난 실시간 객체 추적과 더불어 물체 겹침 상황에도 추적 성능이 우수함을 알 수 있다.

도 8은 본 발명의 실시예에 따른 객체 추적 방법을 나타내는 흐름도이다. 도 8의 변수들에 대하여 먼저 간략하게 소개하면 다음과 같다.

◇ template[]: 템플릿 영역들이 저장되는 버퍼

◇ curframe: 입력 영상

◇ index: 기준이 되는 template[]의 인덱스

◇ count: template[] 버퍼의 총 개수

◇ corr: 입력 영상과의 상관관계 값

◇ threshold: 물체 겹침 상황 판단을 위한 임계값

도 8을 설명의 편의상 도 3과 함께 참조하면, 본 발명의 실시예에 따른 객체 추적 장치는 촬상부(300)로부터 입력되는 촬영 영상을 이용해 추적하려는 객체를 포함한 템플릿 영역을 설정하고, 입력 영상을 한 프레임씩 읽어 드리게 된다(S801). 다시 말해 입력 영상에 대하여 최초로 템플릿을 설정한 경우에는 해당 템플릿 영역에 대한 정보를 저장부의 template[0]에 저장한다. 이때 최초 템플릿 영역을 설정하기 위한 기준 영상은 촬상부(300)에서 단위 프레임으로 촬상된 이미지이거나 실시간으로 입력된 촬영 영상으로부터 선택된 단위 프레임일 수 있다.

이어 객체 추적 장치는 읽어드린 프레임에 영상이 존재하는지를 판단할 수 있다(S803). 이는 다시 말해, 실시간으로 입력된 단위 프레임에서 템플릿에 매칭되는 영상이 존재하는지를 판단하는 과정이라 이해될 수 있을 것이다. 그러나 실질적으로 안구에 대한 촬영 영상은 대체적으로 템플릿 영역에 대응되는 추적 영역을 포함하고 있으므로 S803 단계는 종료 이전에 이루어질 수도 있을 것이다.

그리고 객체 추적 장치는 해당 영상이 없는 경우 시스템을 종료하겠지만, 해당 영상, 더 정확하게는 추적 영역이 존재하는 경우 template[0]에 저장된 템플릿을 근거로 입력 영상의 추적 영역과 비교하여 비교값, 가령 상관계수를 산출하고, 산출한 상관계수가 기설정된 특정 임계값을 초과하는지의 여부를 판단한다(S805, S807). 초과하는 경우는 매칭이 되었다는 의미이므로 계속 반복하여 추적한다.

만약 상관계수가 임계값보다 작거나 같을 때 객체 추적 장치는 최초로 저장된 템플릿 영역 이외에 저장된 템플릿이 존재하는지를 판단할 수 있다(S809).

만약 S809 단계에서 최초 저장된 템플릿 영역 이외에 저장된 템플릿이 없다면, 객체 추적 장치는 인덱스 값을 하나 증가시키고 template[index], 즉 두 번째 버퍼인 template[1]에 새로운 템플릿 영역을 저장하여 해당 템플릿을 근거로 다시 추적을 시작한다(S811).

그러나 S809 단계에서 최초 저장된 템플릿 영역 이외에 저장된 템플릿이 존재한다고 판단되면, 객체 추적 장치는 인덱스 값을 감소 또는 증가시켜 해당 인덱스에 저장된 템플릿 영역과 상관계수를 비교하고, 특정 임계값을 초과하는지를 판단하게 된다(S813, S815, S817).

만약 S817 단계에서 특정 임계값을 초과한다면, 기존에 저장된 템플릿 영역과 매칭이 이루어진 것이므로 해당 템플릿 영역을 기준으로 추적을 반복하게 된다(S819).

그러나 S817 단계에서 특정 임계값보다 작거나 같다면, S813 단계에서보다 인덱스를 하나 더 추가 또는 감소시켜 추가적으로 비교 가능한 템플릿 영역이 있는지를 판단할 수 있다(S821).

만약 판단 가능한 템플릿 영역이 있다면 S815 단계로 피드백되어 해당 템플릿 영역과 현재의 추적 영역을 비교하겠지만, 새로운 상황으로 판단되는 경우에는 인덱스를 추가시켜 새로운 템플릿 영역을 저장할 수 있을 것이다(S823).

결국 S813 단계 이후를 다시 정리해 보면, 객체 추적 장치는 최초 저장된 템플릿 영역 이외에 새로이 저장된 템플릿 영역이 존재하는 경우, 각 템플릿 영역과 입력 영상과의 상관계수 값을 구하여 제일 큰 값을 선택하되, 임계값보다 크면 해당 템플릿 영역을 기준으로 하여 다시 추적을 시작하고, 크지 않으면 인덱스 값을 하나 증가시키고 template[index]에 새로운 템플릿 영역을 저장하여 저장한 새로운 템플릿 영역을 기준 템플릿으로 다시 추적을 시작하게 되는 것이다.

상기의 방법 결과 본 발명의 실시예에 따른 객체 추적 방법은 템플릿 매칭 방법의 연산 특성상 템플릿 객체의 크기나 각도의 변환, 특히 물체의 겹침 상황이 발생하더라도 상관계수 값의 오차를 줄여 추적 성능을 현저히 증가시킬 수 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

300: 촬상부 310: 제어부
320: 디스플레이부 330: 입력부
340: 영역 추적부 400: 템플릿 매칭 수행부
410: 저장부

Claims (10)

1. 추적이 필요한 객체를 포함하는 촬영 영상을 제공하는 촬상부;
   상기 객체를 추적하는데 이용할 템플릿(template)을 설정받는 입력부; 및
   상기 설정받은 템플릿과 상기 촬영 영상을 비교하여 상기 객체를 추적하는 영역 추적부;를 포함하며,
   상기 영역 추적부는,
   상기 설정받은 템플릿과 상기 촬영 영상의 비교 결과가 기 설정된 조건을 만족하면, 상기 설정된 템플릿을 다른 템플릿으로 교체하며, 상기 다른 템플릿은 상기 촬영 영상에 대해서 사용된 이력이 있는 템플릿 중 하나인 것을 특징으로 하는 객체 추적 장치.
2. 제1항에 있어서,
   템플릿에 대한 정보를 저장하는 저장부를 더 포함하는 것을 특징으로 하는 객체 추적 장치.
3. 제2항에 있어서,
   상기 저장부의 저장 용량이 초과되었을 때, 객체 추적에 사용되는 사용 빈도 수가 낮은 상기 템플릿에 대한 정보를 상기 저장부에서 삭제하고, 상기 사용 빈도 수가 같은 경우 저장 시간이 오래된 상기 템플릿에 대한 정보를 상기 저장부에서 삭제하는 제어부;를 더 포함하는 것을 특징으로 하는 객체 추적 장치.
4. 제1항에 있어서,
   상기 기 설정된 조건은,
   상기 비교 결과가 기설정된 임계값 이하인 조건인 것을 특징으로 하는 객체 추적 장치.
5. 객체 추적 방법에 있어서,
   추적이 필요한 객체를 포함하는 촬영 영상을 입력받는 단계;
   상기 객체를 추적하는데 이용할 템플릿을 설정받는 단계;
   상기 설정 받은 템플릿과 상기 촬영 영상을 비교하여, 상기 객체를 추적하는 단계; 및
   상기 설정 받은 템플릿과 상기 촬영 영상의 비교 결과가 기 설정된 조건을 만족하면, 상기 설정된 템플릿을 다른 템플릿으로 교체하는 단계;를 포함하고,
   상기 교체하는 단계는,
   상기 촬영 영상에 대해서 사용된 이력이 있는 템플릿 중 하나로 교체하는 것을 특징으로 하는 객체 추적 방법.
6. 제5항에 있어서,
   상기 설정받은 템플릿에 대한 정보를 저장부에 저장하는 단계;를 더 포함하는 것을 특징으로 하는 객체 추적 방법.
7. 제6항에 있어서,
   상기 객체 추적 방법은,
   상기 저장부의 저장 용량이 초과되었는지를 판단하는 단계; 및
   판단 결과 초과할 때, 객체 추적에 사용되는 사용 빈도 수가 낮은 상기 템플릿에 대한 정보를 상기 저장부에서 삭제하는 단계;를 더 포함하는 것을 특징으로 하는 객체 추적 방법.
8. 제7항에 있어서,
   상기 객체 추적 방법은, 상기 사용 빈도 수가 같은 때, 저장 시간이 오래된 상기 템플릿에 대한 정보를 상기 저장부에서 삭제하는 단계;를 더 포함하는 것을 특징으로 하는 객체 추적 방법.
9. 삭제
10. 제5항에 있어서,
    상기 기 설정된 조건은, 상기 비교 결과가 기설정된 임계값 이하인 조건인 것을 특징으로 하는 객체 추적 방법.

Images