KR101129328B1 - 타겟 추적 장치 및 방법 - Google Patents

타겟 추적 장치 및 방법 Download PDF

Info

Publication number
KR101129328B1
KR101129328B1 KR1020100019110A KR20100019110A KR101129328B1 KR 101129328 B1 KR101129328 B1 KR 101129328B1 KR 1020100019110 A KR1020100019110 A KR 1020100019110A KR 20100019110 A KR20100019110 A KR 20100019110A KR 101129328 B1 KR101129328 B1 KR 101129328B1
Authority
KR
South Korea
Prior art keywords
feature points
frame
target
tracking
homography
Prior art date
Application number
KR1020100019110A
Other languages
English (en)
Other versions
KR20110100038A (ko
Inventor
우운택
김기영
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020100019110A priority Critical patent/KR101129328B1/ko
Priority to US12/968,053 priority patent/US8660302B2/en
Publication of KR20110100038A publication Critical patent/KR20110100038A/ko
Application granted granted Critical
Publication of KR101129328B1 publication Critical patent/KR101129328B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 적어도 일 실시예에 의한 타겟 추적 장치 및 방법은, 미리 마련된 기준 타겟 영상들 중 이전 프레임의 촬영 영상과 가장 유사한 하나 이상의 타겟 후보 영상들을 획득하고, 상기 촬영 영상에 따라 상기 타겟 후보 영상들 중 하나를 타겟 확정 영상으로 결정하고, 결정된 타겟 확정 영상과 상기 촬영 영상간의 호모그래피를 계산하고, 계산된 호모그래피에 따라 이전 프레임의 촬영 영상에서 특징점들을 검색하고 검색된 특징점들의 이전 프레임부터 현재 프레임까지의 프레임간 변화를 추적하여, 연속적인 프레임들로 주어지는 촬영 영상에서의 타겟 검출 및 추적을 신속 정확히 수행한다.

Description

타겟 추적 장치 및 방법 {Apparatus and method for tracking target}
본 발명은 타겟 추적에 관한 것으로, 특히, 증강 현실 구현을 위한 타겟 추적 방안에 관한 것이다.
종래의 타겟 추적 방안은 촬영된 영상의 매 프레임마다, 그 촬영된 영상에서 타겟으로 추정되는 영상을 검출하고 검출을 마치고 난 뒤에야 비로소 그 검출된 영상을 추적할 수 있다. 검출에 소요되는 시간이 추적에 소요되는 시간에 비해 상대적으로 길다는 점에서 종래의 이러한 처리 방안은 많은 처리 지연을 초래하였다. 이러한 문제점은 촬영 영상의 데이터가 클수록 그러한 검출 자체에 소요되는 시간도 길어져 더욱 악화된다.
본 발명의 적어도 일 실시예가 이루고자 하는 기술적 과제는, 연속적인 프레임들로 주어지는 촬영 영상에서의 타겟 검출과 추적을 신속 정확히 수행할 수 있는 타겟 추적 장치를 제공하는 데 있다.
본 발명의 적어도 일 실시예가 이루고자 하는 다른 기술적 과제는, 연속적인 프레임들로 주어지는 촬영 영상에서의 타겟 검출과 추적을 신속 정확히 수행할 수 있는 타겟 추적 방법을 제공하는 데 있다.
본 발명의 적어도 일 실시예가 이루고자 하는 또 다른 기술적 과제는 연속적인 프레임들로 주어지는 촬영 영상에서의 타겟 검출과 추적을 신속 정확히 수행할 수 있는 타겟 추적 방법을 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기 과제를 이루기 위해, 본 발명의 적어도 일 실시예에 의한 타겟 추적 장치는 미리 마련된 기준 타겟 영상들 중 이전 프레임의 촬영 영상과 가장 유사한 하나 이상의 타겟 후보 영상들을 획득하고, 상기 촬영 영상에 따라 상기 타겟 후보 영상들 중 하나를 타겟 확정 영상으로 결정하고, 결정된 타겟 확정 영상과 상기 촬영 영상간의 호모그래피를 계산하는 검출부; 및 상기 계산된 호모그래피에 따라 상기 이전 프레임의 촬영 영상에서 특징점들을 검색하고 검색된 특징점들의 상기 이전 프레임부터 현재 프레임까지의 프레임간 변화를 추적하는 추적부를 포함한다.
여기서, 상기 검출부와 상기 추적부는 병렬적으로 수행된다.
여기서 상기 검출부는 미리 마련된 기준 타겟 영상들 각각의 vocabulary 트리와 상기 촬영 영상의 vocabulary 트리간의 유사도를 대비하여 상기 기준 타겟 영상들 중 가장 유사한 기 설정된 개수의 기준 타겟 영상들 각각을 타겟 후보 영상으로서 획득한다.
여기서, 상기 검출부는 상기 획득된 타겟 후보 영상들 각각의 k-d 트리에 상기 촬영 영상의 특징점들을 대입하여 가장 높은 매칭 개수를 제공하는 상기 타겟 후보 영상을 상기 타겟 확정 영상으로 결정한다.
여기서, 상기 검출부는 상기 타겟 확정 영상의 특징점들과 상기 촬영 영상의 특징점들 간의 호모그래피를 계산함으로써 상기 호모그래피를 계산한다.
여기서, 상기 검출부는 상기 계산된 호모그래피에 따른 inlier의 개수를 세고, 상기 추적부는 상기 inlier의 개수 및 상기 계산된 호모그래피를 고려하여 동작한다.
여기서, 상기 추적부는 제2 프레임에서의 상기 추적되는 특징점들의 개수가 기준 개수를 초과하는지 검사하고 기준 개수를 초과한다고 검사되면, 상기 추적되는 특징점들의 제1 및 상기 제2 프레임 간 호모그래피를 계산하고 계산된 호모그래피를 분할하고 분할된 결과에 따라 상기 제2 프레임에서의 상기 특징점들을 추적한다. 이 때, 상기 추적부는 상기 호모그래피를 회전 성분과 이동 성분으로 분할하고 분할된 결과에 따라 상기 제2프레임에서의 상기 특징점들을 추적한다.
여기서 상기 추적부는 상기 특징점들을 검색한 프레임의 직전 프레임에서 검색된 상기 특징점들과 상이한 특징점들을 검색한 경우 상기 검색된 특징점들의 프레임간 변화를 추적한다.
상기 다른 과제를 이루기 위해, 본 발명의 적어도 일 실시예에 의한 타겟 검출 방법은 (a) 미리 마련된 기준 타겟 영상들 중 이전 프레임의 촬영 영상과 가장 유사한 하나 이상의 타겟 후보 영상들을 획득하고, 상기 촬영 영상에 따라 상기 타겟 후보 영상들 중 하나를 타겟 확정 영상으로 결정하고, 결정된 타겟 확정 영상과 상기 촬영 영상간의 호모그래피를 계산하는 단계; 및 (b) 상기 계산된 호모그래피에 따라 상기 이전 프레임의 촬영 영상에서 특징점들을 검색하고 검색된 특징점들의 상기 이전 프레임부터 현재 프레임까지의 프레임간 변화를 추적하는 단계를 포함한다.
여기서, 상기 (a) 단계 및 상기 (b) 단계는 병렬적으로 수행된다.
여기서, 상기 (a)단계는 미리 마련된 기준 타겟 영상들 각각의 vocabulary 트리와 상기 촬영 영상의 vocabulary 트리간의 유사도를 대비하여 상기 기준 타겟 영상들 중 가장 유사한 기 설정된 개수의 기준 타겟 영상들 각각을 타겟 후보 영상으로서 획득한다.
여기서, 상기 (a) 단계는 상기 획득된 타겟 후보 영상들 각각의 k-d 트리에 상기 촬영 영상의 특징점들을 대입하여 가장 높은 매칭 개수를 제공하는 상기 타겟 후보 영상을 상기 타겟 확정 영상으로 결정한다.
여기서, 상기 (a) 단계는 상기 타겟 확정 영상의 특징점들과 상기 촬영 영상의 특징점들 간의 호모그래피를 계산함으로써 상기 호모그래피를 계산한다.
여기서, 상기 (a) 단계는 상기 계산된 호모그래피에 따른 inlier의 개수를 세고, 상기 (b) 단계는 상기 inlier의 개수, 및 상기 계산된 호모그래피를 고려하여 동작한다.
여기서, 상기 (b)단계는 제2 프레임에서의 상기 추적되는 특징점들의 개수가 기준 개수를 초과하는지 검사하고 기준 개수를 초과한다고 검사되면, 상기 추적되는 특징점들의 제1 및 상기 제2 프레임 간 호모그래피를 계산하고 계산된 호모그래피를 분할하고 분할된 결과에 따라 상기 제2 프레임에서의 상기 특징점들을 추적한다. 이 때, 상기 (b) 단계는 상기 호모그래피를 회전 성분과 이동 성분으로 분할하고 분할된 결과에 따라 상기 제2프레임에서의 상기 특징점들을 추적한다.
여기서, 상기 (b) 단계는 상기 특징점들을 검색한 프레임의 직전 프레임에서 검색된 상기 특징점들과 상이한 특징점들을 검색한 경우 상기 검색된 특징점들의 프레임간 변화를 추적한다.
상기 또 다른 과제를 이루기 위해, 본 발명의 적어도 일 실시예에 의한 컴퓨터로 읽을 수 있는 기록매체는, 미리 마련된 기준 타겟 영상들 중 이전 프레임의 촬영 영상과 가장 유사한 하나 이상의 타겟 후보 영상들을 획득하고, 상기 촬영 영상에 따라 상기 타겟 후보 영상들 중 하나를 타겟 확정 영상으로 결정하고, 결정된 타겟 확정 영상과 상기 촬영 영상간의 호모그래피를 계산하는 단계; 및 상기 계산된 호모그래피에 따라 상기 이전 프레임의 촬영 영상에서 특징점들을 검색하고 검색된 특징점들의 상기 이전 프레임부터 현재 프레임까지의 프레임간 변화를 추적하는 단계;를 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장한다.
본 발명의 적어도 일 실시예에 의한 타겟 추적 장치 및 방법은, 미리 마련된 기준 타겟 영상들 중 이전 프레임의 촬영 영상과 가장 유사한 하나 이상의 타겟 후보 영상들을 획득하고, 상기 촬영 영상에 따라 상기 타겟 후보 영상들 중 하나를 타겟 확정 영상으로 결정하고, 결정된 타겟 확정 영상과 상기 촬영 영상간의 호모그래피를 계산하고, 계산된 호모그래피에 따라 이전 프레임의 촬영 영상에서 특징점들을 검색하고 검색된 특징점들의 이전 프레임부터 현재 프레임까지의 프레임간 변화를 추적하여, 연속적인 프레임들로 주어지는 촬영 영상에서의 타겟 검출 및 추적을 신속 정확히 수행한다.
도 1은 본 발명의 적어도 일 실시예에 의한 타겟 추적 장치를 나타내는 블록도이다.
도 2는 도 1에 도시된 검출부(110)의 동작을 설명하기 위한 참고도이다.
도 3은 도 1에 도시된 검출부(110) 및 추적부(120)의 병렬 동작을 설명하기 위한 참고도이다.
도 4는 본 발명의 적어도 일 실시예에 의한 타겟 추적 방법을 나타내는 플로우챠트이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 그 첨부 도면을 설명하는 내용을 참조하여야만 한다.
이하, 본 발명의 적어도 일 실시예에 의한 타겟 검출 장치 및 방법을 첨부한 도면들을 참조하여 다음과 같이 설명한다.
도 1은 본 발명의 적어도 일 실시예에 의한 타겟 추적 장치를 나타내는 블록도로서 검출부(110), 추적부(120)를 포함하고, 도 2는 도 1에 도시된 검출부(110)의 동작을 설명하기 위한 참고도이고, 도 3은 도 1에 도시된 검출부(110), 추적부(120)의 병렬 동작을 설명하기 위한 참고도이다.
검출부(110)는 미리 마련된 기준 타겟 영상들 중 이전 프레임의 촬영 영상과 가장 유사한 하나 이상의 타겟 후보 영상들을 획득하고, 상기 촬영 영상에 따라 상기 타겟 후보 영상들 중 하나를 타겟 확정 영상으로 결정하고, 결정된 타겟 확정 영상과 상기 촬영 영상간의 호모그래피를 계산한다. 본 명세서에서, 촬영 영상이란 카메라 등 촬영 장치에 의해 촬영된 영상을 의미하고, 기준 타겟 영상이란 검출하고자 하는 영상으로서 기 설정된 영상을 의미한다.
보다 구체적으로 검출부(110)의 동작을 설명하면 다음과 같다.
검출부(110)는 미리 마련된 기준 타겟 영상들 중 제n(단 n은 양의 정수) 프레임의 촬영 영상과 가장 유사한 하나 이상의 타겟 후보 영상을 검출한다. 보다 구체적으로, 검출부(110)는 제n 프레임의 촬영 영상에서 특징점(feature point)들을 추출하고, 추출된 특징점들을 이용하여 k-d 트리(tree)를 생성하고, 생성된 k-d 트리(tree)를 이용하여 vocabulary 트리를 구축하고 구축된 vocabulary트리를 고려하여 타겟 후보 영상을 검출한다. SIFT(Scale Invariant Feature Transform) 특징점은 본 명세서에서의 특징점의 일 례이다. k-d 트리의 각 노드는 특징점이며 vocabulary트리는 k-d 트리에 대해 머징(merging)과 양자화(quantization)를 수행함으로써 구축된다. k-d 트리에 대한 상세한 내용은 Lowe DG Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision 60(2):91- 110(2004)에 개시되어 있고, vocabulary 트리에 대한 상세한 내용은 Nister D, Stewenius H (2006) Scalable recognition with a vocabulary tree. In: Conference on Computer Vision and Pattern Recognition에 개시되어 있다.
검출부(110)가 vocabularay 트리를 고려하여 타겟 후보 영상을 검출한다는 의미는 미리 마련된 기준 타겟 영상들 중 촬영 영상의 vocabulary 트리와 기준 타겟 영상의 vocabulary 트리간의 유사도가 가장 유사한 기 설정된 개수의 기준 타겟 영상들 각각을 ‘타겟 후보 영상’이라 명명하며 검출하는 것을 의미한다. 검출부(110)가 검출하는 타겟 후보 영상의 개수는 복수 개일 수 있으며, 이하에서는 설명의 편의상 검출부(110)는 2개의 타겟 후보 영상들을 검출한다고 가정한다.
검출부(110)가 그 검출된 타겟 후보 영상들 중 하나를 ‘촬영 영상’에 따라 타겟 확정 영상으로 결정한다는 것은, 그 검출된 타겟 후보 영상들 각각의 k-d트리에 촬영 영상의 SIFT 특징점들을 대입했을 때의 매칭 개수가 가장 높은 타겟 후보 영상을 타겟 확정 영상이라 결정하는 것을 의미한다. 검출부(110)가 결정하는 타겟 확정 영상의 개수는 1개이다.
검출부(110)는 타겟 확정 영상의 특징점들과 촬영 영상의 특징점들 간의 호모그래피(H: homography)를 계산한다. 다시 말해, 검출부(110)는 타겟 확정 영상의 특징점들과 촬영 영상의 특징점들 간의 상관 관계를 계산한다.
이 후, 검출부(110)는 그 계산된 호모그래피에 따른 inlier들을 센다.
검출부(110)의 동작은 이상에서 설명된 바와 같고, 이하에서는, 추적부(120)의 동작에 대해 설명한다.
이상에서 언급된 검출부(110)의 동작은 제n 프레임에 대한 동작이다.
추적부(120)는 검출부(110)에 의해 계산된 호모그래피에 따라 이전 프레임의 촬영 영상에서 특징점들을 검색하고, 검색된 특징점들의 이전 프레임부터 현재 프레임까지의 프레임간 변화를 추적한다.
보다 구체적으로 추적부(120)의 동작을 설명하면 다음과 같다.
추적부(120)는 제n 프레임에 대해 검출부(110)에 의해 계산된 호모그래피 및 그 계산된 호모그래피에 따른 inlier 들을 인식하고, 제n 프레임의 촬영 영상에서 특징점들을 검색한다.
추적부(120)가 검출부(110)로부터 그 세어진 inlier들에 대한 정보를 받아 그러한 검색을 수행하는 이유는 다음과 같다. 동일한 프레임에 대해 추적부(120)의 동작 완료 시간은 검출부(110)의 동작 완료 시간보다 짧다. 한편 본 발명에 따른 추적부(120)는 제n 프레임에 대한 동작을 검출부(110)의 제n 프레임에 대한 동작이 완료된 뒤에야 비로소 수행하는 것이 아니라 검출부(110)의 제n 프레임에 대한 동작이 개시될 때 추적부(120) 역시 제n 프레임에 대해 동작을 개시하는 것이고, 추적부(120)는 제n 프레임에 대한 동작을 완료하면(이 때 추적부(120)의 제n 프레임에 대한 동작은 추적부(120)가 검출부(110)로부터 inlier들에 대한 정보를 받기 전의 동작임) 검출부(110)가 제n 프레임에 대한 동작을 완료하기 전이라도 제n+1 프레임에 대한 동작을 개시하고 도 3의 경우처럼 제n+2 프레임에 대한 동작도 개시하는데, 제n+2프레임에 대한 ‘추적’을 수행하고 있는 도중에 제n 프레임에 대한 검출부(110)의 동작이 완료되면 그제서야, 제n 프레임 내지 제n+2 프레임에 대해 추적부(120)가 동작을 온전히 마무리 지을 수 있다. 결국, 추적부(120)가 검출부(110)로부터 그 세어진 inlier들에 대한 정보를 받아 그러한 검색을 수행하는 이유는 검출부의 제n 프레임에 대한 동작이 완료될 당시에 추적부(120)는 제n 프레임에 대해 동작하는 것이 아니고 제n+2 프레임(물론 이는 도 3의 경우를 예로 든 예시에 불과하다)에 대해 동작하고 있기 때문이다. 도 3 에서 I1, I2, I3, I4 각각은 제1 프레임, 제2 프레임, 제3 프레임, 제4 프레임을 의미한다.
이처럼 검출부(110)와 추적부(120)는 병렬적으로 동작한다. 즉, 검출부(110)가 어떠한 프레임에 대해 수행을 완료하고 난 뒤에야 비로소 추적부(120)가 그 어떠한 프레임에 대한 동작을 개시하는 것이 아니라, 추적부(120)는 검출부(110)가 그 어떠한 프레임에 대한 동작을 완료하기 전에 이미 그 어떠한 프레임에 대한 동작을 완료하고 다음 프레임에 대한 동작도 수행하는 것이다.
추적부(120)의 제n 프레임에 대한 추적 과정을 보다 상술하면, 추적부(120)는 제n 프레임의 촬영 영상에서 특징점들을 추출하고, 추출된 특징점들 중에 제n-1 프레임의 촬영 영상에서 추출된 특징점들과 상이한 특징점이 존재하는지 검사한다.
만일 존재하지 않는다고 검사되면 추적부(120)는 제n+1 프레임에 대해 특징점들을 추출하고 제n 프레임에 대해서는 특징점들을 추출하지 않는다.
반면, 존재한다고 검사되면, 추적부(120)는 제n 프레임의 그 추출된 특징점들을 추적한다. 본 명세서에서 ‘추적’은 프레임 간 추적, 즉, 직전 프레임과 현재 프레임간의 추적이다. 추적부(120)가 제n 프레임에 대한 특징점들을 추적한다는 것은 제n-1 프레임에서의 특징점들 각각이 제n 프레임으로 감에 따라 얼마나 이동하고 얼마나 회전하였는가를 추적함을 의미한다. 다만 추적부(120)가 이와 같이 특징점들을 추적하기 위해서는 그러한 ‘이동(translation)’ 정보와 ‘회전(rotation)’ 정보를 인식해야 하는 바, 이는 이하의 추적부(120)의 동작을 통해 획득된다. 후술한다.
추적부(120)의 이와 같은 제n 프레임에서의 추적을 위해, 추적부(120)는 제n 프레임에서의 그 추적하고자 하는 특징점들의 개수가 기 설정된 기준 개수를 초과하는지 검사하고, 기준 개수를 초과한다고 검사되면, 그 추적하고자 하는 특징점들의 제n-1 프레임 및 제n 프레임 간 호모그래피를 계산한다. 이 때, 제n-1 프레임 및 제n 프레임 간 호모그래피(homography)란 제n-1 프레임에서의 특징점들과 제n 프레임에서의 특징점들간의 상관 관계를 나타낸다. 추적부(120)가 이와 같이 호모그래피를 계산하는 이유는 촬영 영상을 생성한 카메라의 포즈(pose)를 계산하기 위함이다.
추적부(120)는 제n 프레임에 대해 계산한 그 호모그래피를 ‘이동’ 성분과 ‘회전’ 성분으로 분할하고 분할된 결과에 따라 제n 프레임에서의 특징점들을 추적하는 것이다.
본 문단의 직전 다섯 문단에서는 제n 프레임에 대한 특징점들의 추적을 설명하였으나, 검출부(110)에 의한 제n 프레임에 대한 검출이 완료되면, 추적부(120)는 제n+1 프레임에 대한 특징점들의 추적, 및 제n+2 프레임에 대한 특징점들의 추적 모두를 수행한다(도 3 참조).
도 4는 본 발명의 적어도 일 실시예에 의한 타겟 추적 방법을 나타내는 플로우챠트이다.
본 발명의 적어도 일 실시예에 의한 타겟 추적 장치는, 미리 마련된 기준 타겟 영상들 중 ‘vocabulary 트리가 제n 프레임의 촬영 영상의 vocabulary 트리와 가장 유사한’ 복수 개(예컨대, 두 개)의 기준 타겟 영상들을 타겟 후보 영상들로서 검출한다(제410 단계).
그 검출된 타겟 후보 영상들 각각마다, 본 발명의 적어도 일 실시예에 의한 타겟 추적 장치는 그 검출된 타겟 후보 영상의 k-d트리에 그 촬영 영상의 SIFT 특징점들을 대입하여 매칭 개수를 센다(제412 단계).
본 발명의 적어도 일 실시예에 의한 타겟 추적 장치는 그 세어진 매칭 개수가 기 설정된 임계치 이상인지 판단한다(제414 단계).
만일, 그 검출된 타겟 후보 영상들 모두, 그 세어진 매칭 개수가 임계치 미만이라고 판단되면(제414 단계), 제410 단계로 진행한다.
반면 그 검출된 타겟 후보 영상들 중 어떤 하나의 타겟 후보 영상의 그 세어진 매칭 개수가 임계치 이상이라고 판단되면(제414단계), 본 발명의 적어도 일 실시예에 의한 타겟 추적 장치는 그 어떤 하나의 타겟 후보 영상을 타겟 확정 영상으로 결정한다.
제414 단계 후에, 본 발명의 적어도 일 실시예에 의한 타겟 추적 장치는 타겟 확정 영상의 특징점들과 그 촬영 영상의 특징점들간의 호모그래피를 계산한다(제416 단계).
제416 단계 후에, 본 발명의 적어도 일 실시예에 의한 타겟 추적 장치는 제416 단계에서 계산된 호모그래피에 따른 inlier들을 센다(제418 단계).
본 발명의 적어도 일 실시예에 의한 타겟 추적 장치는 제416 단계에서 계산된 호모그래피 및 제418 단계에서 센 inlier들을 고려하여 제m 프레임(단, m은 2이상의 정수)의 촬영 영상에서 특징점들을 검색한다(제420 단계). 제420 단계라 식별번호를 부여하였으나, 제420 단계 이하의 단계들은 제410 단계 내지 제418 단계와 병렬적으로 수행되는 단계임은 이미 앞서 언급한 바이다. 제m 프레임은 제n 프레임일 수도 있고 제n+1 프레임일 수도 있고 제n+2 프레임일 수도 있다(도 3에 도시된 일 례에 따를 경우).
제420 단계 후에, 본 발명의 적어도 일 실시예에 의한 타겟 추적 장치는 제m-1 프레임에서의 검색된 특징점들과 상이한 특징점이 제m 프레임에서 검색되는지 판단한다(제422 단계).
제422 단계에서 새로운 특징점이 검색되지 않았다고 판단되면, 본 발명의 적어도 일 실시예에 의한 타겟 추적 장치는 다음 프레임에 대해 제420 단계를 수행한다.
반면, 제422 단계에서 새로운 특징점이 검색되었다고 판단되면 본 발명의 적어도 일 실시예에 의한 타겟 추적 장치는 제m프레임에 대한 특징점들의 추적을 개시한다(제424 단계). 여기서, 제m 프레임에 대한 특징점들의 추적이란 제m-1 프레임에서 제m 프레임으로 변환됨에 따라 제m-1 프레임의 특징점들이 제m 프레임에서의 특징점들로 어떻게 이동되고 변환되었는지를 추적하는 것을 의미한다.
제424 단계에서 추적의 대상인 특징점의 개수가 기 설정된 기준 개수를 초과하는지 판단한다(제426 단계).
제426 단계에서 초과하지 않는다고 판단되면, 제420 단계로 진행한다.
반면, 제426 단계에서 초과한다고 판단되면, 본 발명의 적어도 일 실시예에 의한 타겟 추적 장치는 제m-1 프레임에서의 특징점들과 제m 프레임에서의 특징점들간의 호모그래피를 계산한다(제428 단계).
본 발명의 적어도 일 실시예에 의한 타겟 추적 장치는 제426 단계에서 계산된 호모그래피를 이동 성분과 회전 성분으로 분할하고(제430 단계), 이들 분할된 정보들은 제424 단계로 전달되고 이로써 제m 프레임에 대한 제424 단계의 수행이 완료된다.
이상에서 언급된 본 발명에 의한 타겟 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록매체에 저장될 수 있다.
여기서, 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬(ROM), 플로피 디스크, 하드 디스크 등), 및 광학적 판독 매체(예를 들면, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc))와 같은 저장매체를 포함한다.
이제까지 본 발명을 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점들은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (19)

  1. 기준 타겟 영상들 중 상기 기준 타겟 영상들의 특징점에 대한 vocabulary 트리와 이전 프레임의 촬영 영상의 특징점에 대한 vocabulary 트리간의 유사도를 기준으로 적어도 하나의 타겟 후보 영상들을 획득하고, 상기 촬영 영상에 따라 상기 타겟 후보 영상들 중 하나를 타겟 확정 영상으로 결정하고, 결정된 타겟 확정 영상과 상기 촬영 영상간의 호모그래피를 계산하는 검출부; 및
    상기 계산된 호모그래피에 따라 상기 이전 프레임의 촬영 영상에서 특징점들을 검색하고 검색된 특징점들의 상기 이전 프레임부터 현재 프레임까지의 프레임간 변화를 추적하는 추적부를 포함하는 타겟 추적 장치.
  2. 제1 항에 있어서,
    상기 검출부와 상기 추적부는 병렬적으로 수행되는 것을 특징으로 하는 타겟 추적 장치.
  3. 삭제
  4. 제1 항에 있어서, 상기 검출부는
    상기 획득된 타겟 후보 영상들 각각의 k-d 트리에 상기 촬영 영상의 특징점들을 대입하여 가장 높은 매칭 개수를 제공하는 상기 타겟 후보 영상을 상기 타겟 확정 영상으로 결정하는 것을 특징으로 하는 타겟 추적 장치.
  5. 제1 항에 있어서, 상기 검출부는
    상기 타겟 확정 영상의 특징점들과 상기 촬영 영상의 특징점들 간의 호모그래피를 계산함으로써 상기 호모그래피를 계산하는 것을 특징으로 하는 타겟 추적 장치.
  6. 제1 항에 있어서, 상기 검출부는 상기 계산된 호모그래피에 따른 inlier를 세고, 상기 추적부는 상기 inlier 들, 및 상기 계산된 호모그래피를 고려하여 동작하는 것을 특징으로 하는 타겟 추적 장치.
  7. 제1 항에 있어서, 상기 추적부는
    제2 프레임에서의 상기 특징점들의 개수가 기준 개수를 초과하는지 검사하고 기준 개수를 초과한다고 검사되면, 상기 특징점들의 제1 및 상기 제2 프레임 간 호모그래피를 계산하고 계산된 호모그래피를 분할하고 분할된 결과에 따라 상기 제2 프레임에서의 상기 특징점들을 추적하는 것을 특징으로 하는 타겟 추적 장치.
  8. 제7 항에 있어서, 상기 추적부는
    상기 호모그래피를 회전 성분과 이동 성분으로 분할하고 분할된 결과에 따라 상기 제2프레임에서의 상기 특징점들을 추적하는 것을 특징으로 하는 타겟 추적 장치.
  9. 제1 항에 있어서, 상기 추적부는
    상기 특징점들을 검색한 프레임의 직전 프레임에서 검색된 상기 특징점들과 상이한 특징점들을 검색한 경우 상기 검색된 특징점들의 프레임간 변화를 추적하는 것을 특징으로 하는 타겟 추적 장치.
  10. (a) 기준 타겟 영상들 중 상기 기준 타겟 영상들의 특징점에 대한 vocabulary 트리와 이전 프레임의 촬영 영상의 특징점에 대한 vocabulary 트리간의 유사도를 기준으로 하나 이상의 타겟 후보 영상들을 획득하고, 상기 촬영 영상에 따라 상기 타겟 후보 영상들 중 하나를 타겟 확정 영상으로 결정하고, 결정된 타겟 확정 영상과 상기 촬영 영상간의 호모그래피를 계산하는 단계; 및
    (b) 상기 계산된 호모그래피에 따라 상기 이전 프레임의 촬영 영상에서 특징점들을 검색하고 검색된 특징점들의 상기 이전 프레임부터 현재 프레임까지의 프레임간 변화를 추적하는 단계를 포함하는 타겟 추적 방법.
  11. 제10 항에 있어서,
    상기 (a) 단계 및 상기 (b) 단계는 병렬적으로 수행되는 것을 특징으로 하는 타겟 추적 방법.
  12. 삭제
  13. 제10 항에 있어서, 상기 (a) 단계는
    상기 획득된 타겟 후보 영상들 각각의 k-d 트리에 상기 촬영 영상의 특징점들을 대입하여 가장 높은 매칭 개수를 제공하는 상기 타겟 후보 영상을 상기 타겟 확정 영상으로 결정하는 것을 특징으로 하는 타겟 추적 방법.
  14. 제10 항에 있어서, 상기 (a) 단계는
    상기 타겟 확정 영상의 특징점들과 상기 촬영 영상의 특징점들 간의 호모그래피를 계산함으로써 상기 호모그래피를 계산하는 것을 특징으로 하는 타겟 추적 방법.
  15. 제10 항에 있어서, 상기 (a) 단계는 상기 계산된 호모그래피에 따른 inlier를 세고, 상기 (b) 단계는 상기 inlier들, 및 상기 계산된 호모그래피를 고려하여 동작하는 것을 특징으로 하는 타겟 추적 방법.
  16. 제10 항에 있어서, 상기 (b) 단계는
    제2 프레임에서의 상기 특징점들의 개수가 기준 개수를 초과하는지 검사하고 기준 개수를 초과한다고 검사되면, 상기 특징점들의 제1 및 상기 제2 프레임 간 호모그래피를 계산하고 계산된 호모그래피를 분할하고 분할된 결과에 따라 상기 제2 프레임에서의 상기 특징점들을 추적하는 것을 특징으로 하는 타겟 추적 방법.
  17. 제16 항에 있어서, 상기 (b) 단계는
    상기 호모그래피를 회전 성분과 이동 성분으로 분할하고 분할된 결과에 따라 상기 제2프레임에서의 상기 특징점들을 추적하는 것을 특징으로 하는 타겟 추적 방법.
  18. 제10 항에 있어서, 상기 (b) 단계는
    상기 특징점들을 검색한 프레임의 직전 프레임에서 검색된 상기 특징점들과 상이한 특징점들을 검색한 경우 상기 검색된 특징점들의 프레임간 변화를 추적하는 것을 특징으로 하는 타겟 추적 방법.
  19. 제10 항, 제11항, 및 제13항 내지 제18 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체.
KR1020100019110A 2010-03-03 2010-03-03 타겟 추적 장치 및 방법 KR101129328B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100019110A KR101129328B1 (ko) 2010-03-03 2010-03-03 타겟 추적 장치 및 방법
US12/968,053 US8660302B2 (en) 2010-03-03 2010-12-14 Apparatus and method for tracking target

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100019110A KR101129328B1 (ko) 2010-03-03 2010-03-03 타겟 추적 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110100038A KR20110100038A (ko) 2011-09-09
KR101129328B1 true KR101129328B1 (ko) 2012-03-26

Family

ID=44531380

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100019110A KR101129328B1 (ko) 2010-03-03 2010-03-03 타겟 추적 장치 및 방법

Country Status (2)

Country Link
US (1) US8660302B2 (ko)
KR (1) KR101129328B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9521270B1 (en) * 2013-05-14 2016-12-13 Google Inc. Changing in real-time the perspective of objects captured in images
CN103761523A (zh) * 2014-01-02 2014-04-30 北京理工大学 一种机载遥感视频特定人造区域自动识别跟踪方法
CN105513094A (zh) * 2015-12-17 2016-04-20 上海交通大学 基于三维Delaunay三角剖分的立体视觉跟踪方法及***
CN106327526B (zh) 2016-08-22 2020-07-07 杭州保新科技有限公司 图像目标跟踪方法与***
CN107516303A (zh) * 2017-09-01 2017-12-26 成都通甲优博科技有限责任公司 多目标跟踪方法及***
US10839531B2 (en) * 2018-11-15 2020-11-17 Sony Corporation Object tracking based on a user-specified initialization point
CN110428445B (zh) * 2019-06-26 2023-06-27 西安电子科技大学 一种分块跟踪方法及其装置、设备、存储介质
CN112037258B (zh) * 2020-08-25 2024-03-08 广州视源电子科技股份有限公司 目标跟踪方法、装置、设备和存储介质
CN114119990B (zh) * 2021-09-29 2023-10-27 北京百度网讯科技有限公司 用于图像特征点匹配的方法、装置及计算机程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050027796A (ko) * 2003-09-16 2005-03-21 한국과학기술원 물체 인식 및 추적방법
KR20080073933A (ko) * 2007-02-07 2008-08-12 삼성전자주식회사 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
US7688349B2 (en) * 2001-12-07 2010-03-30 International Business Machines Corporation Method of detecting and tracking groups of people
US7194110B2 (en) * 2002-12-18 2007-03-20 Intel Corporation Method and apparatus for tracking features in a video sequence
US8184155B2 (en) * 2007-07-11 2012-05-22 Ricoh Co. Ltd. Recognition and tracking using invisible junctions
US8160296B2 (en) * 2005-04-15 2012-04-17 Mississippi State University Research And Technology Corporation Change analyst
US7646922B2 (en) * 2005-12-30 2010-01-12 Honeywell International Inc. Object classification in video images
US20090232355A1 (en) * 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data using eigenanalysis
FR2933218B1 (fr) * 2008-06-30 2011-02-11 Total Immersion Procede et dispositif permettant de detecter en temps reel des interactions entre un utilisateur et une scene de realite augmentee
KR100958379B1 (ko) * 2008-07-09 2010-05-17 (주)지아트 복수 객체 추적 방법과 장치 및 저장매체
US8422781B2 (en) * 2008-12-03 2013-04-16 Industrial Technology Research Institute Methods and systems for creating a hierarchical appearance model
KR101080375B1 (ko) * 2010-04-23 2011-11-04 광주과학기술원 객체 학습 방법, 객체 학습 방법을 이용한 객체 추적 방법, 객체 학습 및 추적 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050027796A (ko) * 2003-09-16 2005-03-21 한국과학기술원 물체 인식 및 추적방법
KR20080073933A (ko) * 2007-02-07 2008-08-12 삼성전자주식회사 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치

Also Published As

Publication number Publication date
US8660302B2 (en) 2014-02-25
KR20110100038A (ko) 2011-09-09
US20110216939A1 (en) 2011-09-08

Similar Documents

Publication Publication Date Title
KR101129328B1 (ko) 타겟 추적 장치 및 방법
US11941845B2 (en) Apparatus and method for estimating camera pose
US8073208B2 (en) Method and system for classifying scene for each person in video
US9373054B2 (en) Method for selecting frames from video sequences based on incremental improvement
KR101517750B1 (ko) 비디오들을 비교하기 위한 방법들 및 장치
US20160260226A1 (en) Method and apparatus for detecting object in moving image and storage medium storing program thereof
US9064171B2 (en) Detection device and method for transition area in space
CN110363790B (zh) 目标追踪方法、装置和计算机可读存储介质
US20150304705A1 (en) Synchronization of different versions of a multimedia content
KR101700276B1 (ko) 특징점 설정 장치 및 방법과 이를 이용한 객체 추적 장치 및 방법
Yang et al. Multiscale video sequence matching for near-duplicate detection and retrieval
KR101111046B1 (ko) 객체 검출 정보를 이용한 유사 동영상 검색 시스템 및 방법
Ozkan et al. Finding people frequently appearing in news
KR20100094803A (ko) 세그먼트 특징을 이용한 내용 기반 동영상 검출 방법
Le et al. Temporally subsampled detection for accurate and efficient face tracking and diarization
KR101756916B1 (ko) 행위 인식 장치 및 방법
Helm et al. Video Shot Analysis for Digital Curation and Preservation of Historical Films.
KR101999338B1 (ko) 실시간 객체 트래킹 방법 및 장치
JP2010263327A (ja) 特徴量算出装置およびプログラム
Yuan et al. Shot boundary detection using color clustering and attention mechanism
JP2009302723A (ja) 画像処理装置、方法およびプログラム
Ngo et al. Motion Driven Approaches to Shot Boundary Detection, Low-Level Feature Extraction and BBC Rushes Characterization at TRECVID 2005.
CN117455958B (zh) 一种面向***识别的轨迹追踪方法和装置
Le et al. Efficient and Accurate Tracking for Face Diarization via Periodical Detection
Mori et al. Video content detection with single frame level accuracy using dynamic thresholding technique

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee