KR101309519B1 - 객체 추적 장치 및 방법 - Google Patents

객체 추적 장치 및 방법 Download PDF

Info

Publication number
KR101309519B1
KR101309519B1 KR1020120017442A KR20120017442A KR101309519B1 KR 101309519 B1 KR101309519 B1 KR 101309519B1 KR 1020120017442 A KR1020120017442 A KR 1020120017442A KR 20120017442 A KR20120017442 A KR 20120017442A KR 101309519 B1 KR101309519 B1 KR 101309519B1
Authority
KR
South Korea
Prior art keywords
motion
image frame
parameter
current image
denotes
Prior art date
Application number
KR1020120017442A
Other languages
English (en)
Other versions
KR20130095985A (ko
Inventor
백준기
이승원
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020120017442A priority Critical patent/KR101309519B1/ko
Publication of KR20130095985A publication Critical patent/KR20130095985A/ko
Application granted granted Critical
Publication of KR101309519B1 publication Critical patent/KR101309519B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

객체 추적 장치 및 방법이 개시된다. 본 발명은, 영상으로부터 촬영 장치의 움직임을 나타내는 움직임 모델 행렬을 추정하고, 추정된 움직임 모델 행렬을 이용하여 객체 상태 예측 모델을 보정하며, 보정된 객체 상태 예측 모델을 기반으로 영상에서 객체를 추적한다. 본 발명에 따르면, 촬영 장치의 빠른 움직임이나 불규칙한 움직임이 있어도 영상에서 객체를 안정적으로 추적할 수 있다.

Description

객체 추적 장치 및 방법{Apparatus and method for tracking object}
본 발명은 객체 추적 장치 및 방법에 관한 것으로, 더욱 상세하게는 촬영 장치의 움직임을 고려하여 영상에서 객체를 추적하는 장치 및 방법에 관한 것이다.
객체 추적 기술은 비디오 감시, 사용자 인터페이스, 증강 현실, 지능형 공간, 물체기반 비디오 압축, 운전자 보조 등과 같은 다양한 컴퓨터 비전 응용 분야에서 활용되고 있다.
이러한 객체 추적 기술의 성능을 향상시키기 위해 객체간의 겹침, 복잡한 배경, 조도 변화, 물체의 형태 변화, 영상 잡음, 카메라 움직임 등과 같은 성능에 부정적인 영향을 미치는 요인을 극복하기 위한 연구도 활발히 이루어지고 있다.
KR 10-0849499 (성균관대학교 산학협력단) 2008. 7. 24. 특허문헌 1은 능동 카메라를 이용한 물체 추적 방법 및 장치로서, 특허문헌 1에는 영상 정보를 분석하여 카메라의 움직임에 따른 배경의 변화를 보상하고, 배경 변화가 보상된 영상간의 차감 영상을 생성하며, 생성된 차감 영상을 이용하여 물체 추적을 수행하는 내용이 개시되어 있다. KR 10-2011-0092781 (삼성테크윈 주식회사) 2011. 8. 18. 특허문헌 2는 모션 트래킹을 위한 영상 처리 방법 및 장치로서, 특허문헌 2에는 입력 영상의 흔들림을 검출하고, 검출된 입력 영상의 흔들림을 보상하며, 보상된 입력 영상으로부터 모션 데이터를 추출하고, 추출한 모션 데이터를 기초로 모션 트래킹을 수행하는 내용이 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는, 촬영 장치의 움직임을 고려하여 영상에서 객체를 추적하는 객체 추적 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 촬영 장치의 움직임을 고려하여 영상에서 객체를 추적하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 객체 추적 장치는, 입력 영상 중 현재 영상 프레임과 상기 현재 영상 프레임에 시간적으로 앞서 있는 이전 영상 프레임으로부터 상기 입력 영상을 촬영한 촬영 장치의 움직임 변화 정도를 나타내는 로컬 어파인 움직임 파라미터(local affine motion parameter)를 획득하고, 상기 획득된 로컬 어파인 움직임 파라미터로 이루어진 움직임 모델 행렬을 추정하는 움직임 추정부; 상기 이전 영상 프레임에서의 객체의 상태로부터 상기 현재 영상 프레임에서의 상기 객체의 상태를 예측하는 객체 상태 예측 모델을 통해 상기 현재 영상 프레임에서의 객체의 위치를 예측하고, 상기 예측된 객체의 위치를 상기 움직임 모델 행렬을 통해 보정하는 객체 예측부; 및 상기 객체 예측부에 의해 보정된 객체의 위치를 기반으로 상기 현재 영상 프레임에서 객체를 추적하는 객체 추적부;를 구비하며, 상기 움직임 추정부는 다음의 [수학식 A]와 같은 움직임 모델 행렬
Figure 112013056287444-pat00142
을 추정한다.
[수학식 A]
Figure 112013056287444-pat00143

여기서, 상기
Figure 112013056287444-pat00144
, 상기
Figure 112013056287444-pat00145
, 상기
Figure 112013056287444-pat00146
및 상기
Figure 112013056287444-pat00147
는 선형 어파인 파라미터(linear affine parameter)를 나타내고, 상기
Figure 112013056287444-pat00148
및 상기
Figure 112013056287444-pat00149
는 트랜스레이션 파라미터(translation parameter)를 나타내며, 상기 로컬 어파인 움직임 파라미터는 상기 선형 어파인 파라미터 및 상기 트랜스레이션 파라미터를 나타낸다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 객체 추적 방법은, 입력 영상 중 현재 영상 프레임과 상기 현재 영상 프레임에 시간적으로 앞서 있는 이전 영상 프레임으로부터 상기 입력 영상을 촬영한 촬영 장치의 움직임 변화 정도를 나타내는 로컬 어파인 움직임 파라미터를 획득하는 움직임 파라미터 획득 단계; 상기 획득된 로컬 어파인 움직임 파라미터로 이루어진 움직임 모델 행렬을 추정하는 움직임 모델 행렬 추정 단계; 상기 이전 영상 프레임에서의 객체의 상태로부터 상기 현재 영상 프레임에서의 상기 객체의 상태를 예측하는 객체 상태 예측 모델을 통해 상기 현재 영상 프레임에서의 객체의 위치를 예측하는 객체 위치 예측 단계; 상기 예측된 객체의 위치를 상기 움직임 모델 행렬을 통해 보정하는 객체 위치 보정 단계; 및 상기 보정된 객체의 위치를 기반으로 상기 현재 영상 프레임에서 객체를 추적하는 객체 추적 단계;를 가지며, 상기 움직임 모델 행렬 추정 단계에서 다음의 [수학식 A]와 같은 움직임 모델 행렬
Figure 112013056287444-pat00150
을 추정한다.
[수학식 A]
Figure 112013056287444-pat00151

여기서, 상기
Figure 112013056287444-pat00152
, 상기
Figure 112013056287444-pat00153
, 상기
Figure 112013056287444-pat00154
및 상기
Figure 112013056287444-pat00155
는 선형 어파인 파라미터(linear affine parameter)를 나타내고, 상기
Figure 112013056287444-pat00156
및 상기
Figure 112013056287444-pat00157
는 트랜스레이션 파라미터(translation parameter)를 나타내며, 상기 로컬 어파인 움직임 파라미터는 상기 선형 어파인 파라미터 및 상기 트랜스레이션 파라미터를 나타낸다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 컴퓨터로 읽을 수 있는 매체는 상기한 방법 중 어느 하나를 컴퓨터에서 실행시키기 위한 프로그램을 기록한다.
본 발명에 따른 객체 추적 장치 및 방법에 의하면, 촬영 장치의 빠른 움직임이나 불규칙한 움직임이 있어도 영상에서 객체를 안정적으로 추적할 수 있다. 또한, 젤로 현상(jello effect)을 가지는 촬영 장치 움직임이 있어도 영상에서 객체를 지속적으로 추적할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 객체 추적 장치를 설명하기 위한 블록도,
도 2 및 도 3은 본 발명의 바람직한 실시예에 따른 움직임 모델 행렬을 영상에 실제 적용한 예를 나타내는 도면,
도 4는 본 발명의 바람직한 실시예에 따른 움직임 모델 행렬을 이용하여 객체 상태를 보정한 후 객체 추적의 예를 나타내는 도면,
도 5는 본 발명의 바람직한 실시예에 따른 객체 추적 방법을 설명하기 위한 흐름도, 그리고,
도 6 내지 도 9는 본 발명의 바람직한 실시예에 따른 객체 추적 동작의 성능을 설명하기 위한 도면이다.
이하에서 첨부한 도면을 참조하여 본 발명에 따른 객체 추적 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 객체 추적 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 객체 추적 장치(100)는 촬영 장치(도시하지 않음)의 움직임을 고려하여 영상에서 객체를 추적한다. 이를 위해, 객체 추적 장치(100)는 움직임 추정부(110), 객체 예측부(130) 및 객체 추적부(150)를 구비한다. 한편, 객체 추적 장치(100)는 촬영 장치와 일체로 이루어지거나 촬영 장치, 저장 장치(도시하지 않음) 등의 다른 장치로부터 영상을 제공받을 수 있다.
움직임 추정부(110)는 유연 정합(elastic registration : ER) 알고리즘을 이용하여 입력 영상으로부터 입력 영상을 촬영한 촬영 장치의 움직임 정도를 나타내는 움직임 모델 행렬을 추정한다.
여기서, 유연 정합(elastic registration : ER) 알고리즘은 서로 시간적으로 연속하여 촬영된 두 개의 영상 사이의 움직임 정도를 측정하는 데 이용된다. 유연 정합(elastic registration : ER) 알고리즘은 서로 시간적으로 연속하는 두 개의 영상으로부터 움직임 변화 정도를 나타내는 로컬 어파인 움직임(local affine motion), 대비(contrast) 변화 정도 및 밝기(brightness) 변화 정도를 획득할 수 있다. 즉, 로컬 어파인 움직임(local affine motion)에 더하여 대비 파라미터(contrast parameter)와 밝기 파라미터(brightness parameter)의 강도 변화(intensity variation)도 고려된다.
한편, 입력 영상 중 시간적으로 연속하는 두 개의 영상 프레임은 짧은 시간 차이를 두고 장면(scene)을 촬영한 것이어서 두 개의 영상 프레임 사이의 조명 변화는 작기 때문에, 대비(contrast) 변화 정도를 제외한 로컬 어파인 움직임(local affine motion) 및 밝기(brightness) 변화 정도를 획득할 수 있는 수정된 유연 정합(elastic registration : ER) 알고리즘을 이용할 수도 있다. 이하, 본 발명에서는 수정된 유연 정합(elastic registration : ER) 알고리즘을 사용하는 것으로 설명한다. 물론, 유연 정합(elastic registration : ER) 알고리즘이 본 발명에 적용될 수도 있다.
어파인 변환(affine transform)은 다음의 [수학식 1]과 같이 표현된다.
Figure 112012013943388-pat00001
여기서,
Figure 112012013943388-pat00002
는 움직임 모델 행렬, 즉, 어파인 카메라 모델 행렬(afiine camera model matrix)을 나타내고,
Figure 112012013943388-pat00003
,
Figure 112012013943388-pat00004
,
Figure 112012013943388-pat00005
및
Figure 112012013943388-pat00006
는 선형 어파인 파라미터(linear affine parameter)를 나타내며,
Figure 112012013943388-pat00007
및
Figure 112012013943388-pat00008
는 트랜스레이션 파라미터(translation parameter)를 나타낸다. 그리고, 로컬 어파인 움직임 파라미터(local affine motion parameter)는 선형 어파인 파라미터(linear affine parameter)와 트랜스레이션 파라미터(translation parameter)를 말한다.
수정된 유연 정합(elastic registration : ER) 알고리즘은 다음의 [수학식 2]와 같이 표현된다.
Figure 112012013943388-pat00009
여기서,
Figure 112012013943388-pat00010
가 입력 영상 중 현재 영상 프레임을 나타내고,
Figure 112012013943388-pat00011
는 현재 영상 프레임에 시간적으로 앞서 있는 이전 영상 프레임을 나타내며,
Figure 112012013943388-pat00012
는 밝기 파라미터(brightness parameter)를 나타낸다.
서로 시간적으로 연속하는 두 개의 영상 프레임으로부터 선형 어파인 파라미터(linear affine parameter)
Figure 112012013943388-pat00013
,
Figure 112012013943388-pat00014
,
Figure 112012013943388-pat00015
및
Figure 112012013943388-pat00016
와 트랜스레이션 파라미터(translation parameter)
Figure 112012013943388-pat00017
및
Figure 112012013943388-pat00018
와 밝기 파라미터(brightness parameter)
Figure 112012013943388-pat00019
를 추정하기 위해, 다음의 [수학식 3]과 같은 수정된 에러 함수(error function)를 최소화한다.
Figure 112012013943388-pat00020
여기서,
Figure 112012013943388-pat00021
는
Figure 112012013943388-pat00022
를 나타내고,
Figure 112012013943388-pat00023
는 입력 영상을 나타낸다.
그러나, 이 에러 함수는
Figure 112012013943388-pat00024
의 비선형 함수(nonlinear function)이므로 최적의 답이 존재하지 않는다. 이에 따라, 이 에러 함수를 최소화하는 벡터
Figure 112012013943388-pat00025
를 찾기 위해 뉴턴(Newton-Raphson) 알고리즘과 같은 반복적인 접근(iterative approach) 방법을 이용한다. 그러므로, 에러 함수
Figure 112012013943388-pat00026
를 최소화하는 대신에 일차 단락 테일러 시리즈(first-order truncated Taylor series)을 이용하여 에러 함수
Figure 112012013943388-pat00027
를 다음의 [수학식 4]와 같이 근사화한다.
Figure 112012013943388-pat00028
여기서,
Figure 112012013943388-pat00029
는
Figure 112012013943388-pat00030
의 수평 방향(horizontal direction)으로의 공간적 미분(spatial derivative)을 나타내고,
Figure 112012013943388-pat00031
는
Figure 112012013943388-pat00032
의 수직 방향(vertical direction)으로의 공간적 미분(spatial derivative)을 나타내며,
Figure 112012013943388-pat00033
는
Figure 112012013943388-pat00034
의 시간적 미분(temporal derivative)을 나타낸다.
[수학식 4]를 간소화하면 근사화된 에러 함수는 다음의 [수학식 5]로 표현된다.
Figure 112012013943388-pat00035
여기서,
Figure 112012013943388-pat00036
는
Figure 112012013943388-pat00037
를 나타내고,
Figure 112012013943388-pat00038
는
Figure 112012013943388-pat00039
를 나타낸다. 근사화된 에러 함수
Figure 112012013943388-pat00040
는
Figure 112012013943388-pat00041
의 이차 함수(quadratic function)임으로 이 에러 함수를 최소화하는 벡터
Figure 112012013943388-pat00042
는
Figure 112012013943388-pat00043
에 대하여 미분하고 그 결과를 0으로 설정하는 것에 의해 찾을 수 있다. 여기서, 그 결과는
Figure 112012013943388-pat00044
를 구하는데 이용되는 다음의 [수학식 6]과 같은 선형 방정식(linear equation)의 집합(set)이다.
Figure 112012013943388-pat00045
여기서,
Figure 112012013943388-pat00046
는
Figure 112012013943388-pat00047
를 나타내고 7x7 행렬이다. 행렬
Figure 112012013943388-pat00048
의 역(inverse)이 존재하는 보장은 없지만, 입력 영상
Figure 112012013943388-pat00049
가 충분히 크고 충분한 콘텐츠(content)가 있다면, 행렬
Figure 112012013943388-pat00050
의 역(inverse)은 일반적으로 존재한다.
도 2 및 도 3은 본 발명의 바람직한 실시예에 따른 움직임 모델 행렬을 영상에 실제 적용한 예를 나타내는 도면이다.
도 2는 추정된 카메라 움직임을 이용하여 입력 영상을 어파인 변환(affine transformation)한 결과를 보여준다. 즉, 도 2의 (a)는 입력 영상 중 현재 영상을 나타내고, 도 2의 (b)는 입력 영상 중 이전 영상을 나타내며, 도 2의 (c)는 현재 영상을 어파인 변환(affine transformation)한 결과를 나타내고, 도 2의 (d)는 (a) 와 (b) 사이의 차분 영상(difference image)을 나타내며, 도 2의 (e)는 (b)와 (c) 사이의 차분 영상(difference image)을 나타낸다.
도 3은 롤링 셔터(rolling shutter)에 의해 야기되는 젤로 현상(jello effect)과 함께 추정된 움직임을 이용하여 입력 영상을 어파인 변환(affine transformation)한 결과를 보여준다. 즉, 도 3의 (a)는 입력 영상 중 현재 영상을 나타내고, 도 3의 (b)는 입력 영상 중 이전 영상을 나타내며, 도 3의 (c)는 현재 영상을 어파인 변환(affine transformation)한 결과를 나타내고, 도 3의 (d)는 (a)와 (b) 사이의 차분 영상(difference image)을 나타내며, 도 3의 (e)는 (b)와 (c) 사이의 차분 영상(difference image)을 나타낸다.
이와 같이, 현재 영상과 이전 영상의 차이는 큰 반면, 현재 영상을 어파인 변환(affine transformation)한 영상과 이전 영상의 차이는 작음을 알 수 있다.
객체 예측부(130)는 움직임 추정부(110)에 의해 추정된 움직임 모델 행렬을 이용하여 입력 영상에 대한 객체 상태 예측 모델을 통해 예측된 객체의 위치를 보정한다. 즉, 객체 예측부(130)는 움직임 모델 행렬, 즉, 어파인 카메라 모델 행렬(afiine camera model matrix)을 이용하여 객체 상태 예측 모델을 통해 예측된 객체의 위치를 다음의 [수학식 7]을 통해 보정한다.
Figure 112012013943388-pat00051
여기서, 는 보정된 객체의 위치를 나타내고,
Figure 112012013943388-pat00053
는 보정전 객체의 위치를 나타낸다.
보다 자세하게 설명하면, 객체 추적에 대한 베이지안 방법(Bayesian approach)은 주어진 시간
Figure 112012013943388-pat00054
에 따른 측정 또는 관측 모델
Figure 112012013943388-pat00055
을 통해 시간
Figure 112012013943388-pat00056
에서의 객체
Figure 112012013943388-pat00057
의 상태(state) 추정을 반복적으로 갱신한다. 상태 벡터(state vector)는 객체의 2D 또는 3D 위치
Figure 112012013943388-pat00058
, 객체의 크기(scale)
Figure 112012013943388-pat00059
등과 같은 복수의 상태로 구성된다. 시간
Figure 112012013943388-pat00060
까지 측정된 모든 주어진 시간
Figure 112012013943388-pat00061
에서의 상태(state)의 확률 밀도 함수(probability density function)
Figure 112012013943388-pat00062
를 알고 있다면, 시간
Figure 112012013943388-pat00063
에서의 상태(state)는 다음의 [수학식 8]과 같은 채프먼-콜모고로프 방정식(Chapman-Kolmogorov equation)을 이용하여 예측된다.
Figure 112012013943388-pat00064
여기서,
Figure 112012013943388-pat00065
는 사전 밀도(prior density)를 나타낸다. 그러면, 시간
Figure 112012013943388-pat00066
에서의 주어진 새로운 측정 모델
Figure 112012013943388-pat00067
는 베이즈 법칙(Bayes' rule)을 이용하여 다음의 [수학식 9]와 같이 갱신된다.
Figure 112012013943388-pat00068
여기서,
Figure 112012013943388-pat00069
는 사후 밀도(posterior density)를 나타낸다.
Figure 112012013943388-pat00070
는 관측 모델을 나타낸다. [수학식 8] 및 [수학식 9]는 최적의 베이스 해(optimum Bayes' solution)을 기초로 형성된다. 일반적으로 이러한 밀도들의 재귀적인 전파(recursive propagation)는 다루기 힘들다. 이에 따라, 이 해를 근사화기 위해 다른 방법들이 이용된다. 이러한 다른 방법들 중의 하나가 순차적인 중요 샘플링(sequential importance sampling)을 사용하는 몬테 카를로(Monte Carlo : MC) 방법과 같은 파티클 필터(particle filter)이다. 파티클 필터(particle filter)에서 사후 밀도
Figure 112012013943388-pat00071
는 중요 가중치(importance weight)
Figure 112012013943388-pat00072
를 가지는
Figure 112012013943388-pat00073
개의 샘플들
Figure 112012013943388-pat00074
의 유한 집합(finite set)에 의해 근사화된다. 후보 샘플들(candidate samples)
Figure 112012013943388-pat00075
은 중요 분포(importance distribution)
Figure 112012013943388-pat00076
로부터 샘플링에 의해 독립적으로 선택되고, 후보 샘플들의 가중치는 다음의 [수학식 10]과 같다.
Figure 112012013943388-pat00077
후보 샘플들은 축퇴(degeneracy)를 피하기 위해 그들의 중요 가중치(importance weight)에 따라 비가중 파티클 집합(unweighted particle set)을 생성도록 재샘플링된다. 부트스트랩 필터(bootstrap filter)의 경우,
Figure 112012013943388-pat00078
는
Figure 112012013943388-pat00079
과 동일하고 가중치는 관측 모델
Figure 112012013943388-pat00080
가 된다. 파티클 필터(particle filter)의 기본 아이디어는 연관된 가중치(associated weight)를 가지는 랜덤 샘플들의 집합에 의해 사후 밀도(posterior density)로 대표되는 것이고, 이러한 가중치들과 샘플들을 이용하여 예상된 값(expected value)과 같은 이러한 상태들의 추정을 계산하는 것이다.
예측 모델
Figure 112012013943388-pat00081
는 이계 자기 회귀(second-order autoregressive process)와 가우시안 함수(gaussian function)에 의해 정의되는 잡음 모델(noise model)을 이용한다. 관측 모델은 카메라 움직임에서 안정적인 조명 변화를 위해 음영 효과(shading effect)로부터 색채 정보(chromatic information)를 분리시키는 색상-채도-명도 컬러 히스토그램(Hue-Saturation-Value color histogram)으로 활용된다. 색상-채도-명도 컬러 히스토그램(HSV histogram)은
Figure 112012013943388-pat00082
빈스(bins)로 구성되고,
Figure 112012013943388-pat00083
는 시간
Figure 112012013943388-pat00084
의 위치
Figure 112012013943388-pat00085
에서 빈 인덱스(bin index)로 정의된다.
컬러 분포(color distribution)
Figure 112012013943388-pat00086
는 다음의 [수학식 11]과 같은 시간
Figure 112012013943388-pat00087
에서의
Figure 112012013943388-pat00088
를 나타낸다.
Figure 112012013943388-pat00089
여기서,
Figure 112012013943388-pat00090
는 크로네커 델타 함수(kronecker delta function)를 나타내고,
Figure 112012013943388-pat00091
는 정규화 상수(normalization constant)를 나타내며,
Figure 112012013943388-pat00092
는 샘플링된 객체 영역을 나타낸다. 관측 모델과 참조 모델 사이의 유사도 측정을 위해 바타챠랴 거리 측정(Bhattacharyya distance measurement)
Figure 112012013943388-pat00093
를 사용하고 다음의 [수학식 12]와 같이 정의된다.
Figure 112012013943388-pat00094
여기서,
Figure 112012013943388-pat00095
는 참조 컬러 모델(reference color model)을 나타낸다. 참조 분포(reference distribution)는 초기 시간
Figure 112012013943388-pat00096
에서 획득된다.
관측 모델로서 유사도 측정은 다음의 [수학식 13]과 같은 바타챠랴 거리(Bhattacharyya distance)에 의해 정의된다.
Figure 112012013943388-pat00097
예컨대, 시간
Figure 112012013943388-pat00098
에서의 상태(state)의 최대 사후(maximum a posteriori : MAP) 추정은 다음의 [수학식 14]와 같이
Figure 112012013943388-pat00099
개의 파티클들(샘플들)로부터 얻어진다.
Figure 112012013943388-pat00100
파티클들의 수가 증가함에 따라, 파티클 필터(particle filter)는 최적의 베이지안 추정(optimal Bayesian estimate)에 접근한다. 샘플링 방법은 순차적인 몬테 카를로(sequential MC), 마코프 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 및 Wang-Landau MC를 포함하는 파티클들을 생성하기 위해 사용된다.
객체의 움직임이 부드러운 경우, 파티클 필터(particle filter)는 객체를 추적 시 잘 동작한다. 그러나, 객체의 갑작스러운 움직임이나 카메라 움직임에 의해 유발된 불규칙한 객체의 움직임의 경우, 객체의 상태(state)를 정확하게 예측하기 어려워 파티클 필터(particle filter)는 추적이 실패하기 쉽다.
이에 따라, 본 발명에서는 추정된 움직임 모델 행렬을 이용하여 객체 상태 예측 모델을 보정하는 다른 접근법을 이용한다. 위의 [수학식 8]은 예측 모델을 이용한 객체의 예측 상태(predicted state)와 객체의 이전 상태(previous state)를 대표한다. 객체의 위치가 보정된 객체 상태에서 구현된 샘플링 방법은 카메라 움직임 하에서도 효과적으로 객체를 추적할 수 있다.
도 4는 본 발명의 바람직한 실시예에 따른 움직임 모델 행렬을 이용하여 객체 상태를 보정한 후 객체 추적의 예를 나타내는 도면이다.
도 4는 보정된 파티클들의 결과를 나타낸다. 즉, 도 4의 (a)는 입력 영상 중 현재 영상을 나타내고, 도 4의 (b)는 입력 영상 중 이전 영상을 나타내며, 도 4의 (c)는 보정된 파티클들을 나타낸다. 여기서, 파란색은 원래의 파티클을 나타내고, 자주색(magenta)은 보정된 파티클을 나타낸다. 이와 같이, 보정된 파티클과 원래의 파티클을 비교한 결과, 보정된 파티클이 우원래의 파티클보다 객체에 더 근접함을 알 수 있다.
객체 추적부(150)는 객체 예측부(130)에 의해 보정된 객체 상태 예측 모델을 기반으로 입력 영상에서 객체를 추적한다.
도 5는 본 발명의 바람직한 실시예에 따른 객체 추적 방법을 설명하기 위한 흐름도이다.
객체 추적 장치(100)는 유연 정합(elastic registration : ER) 알고리즘을 이용하여 입력 영상으로부터 입력 영상을 촬영한 촬영 장치의 움직임 정도를 나타내는 움직임 모델 행렬, 즉, 어파인 카메라 모델 행렬(afiine camera model matrix)을 추정한다(S510). 즉, 객체 추적 장치(100)는 서로 시간적으로 연속하는 두 개의 영상 프레임으로부터 선형 어파인 파라미터(linear affine parameter), 트랜스레이션 파라미터(translation parameter) 및 밝기 파라미터(brightness parameter)를 획득하고, 획득된 선형 어파인 파라미터(linear affine parameter) 및 트랜스레이션 파라미터(translation parameter)로 이루어진 움직임 모델 행렬을 추정한다.
이후, 객체 추적 장치(100)는 움직임 모델 행렬을 이용하여 입력 영상에 대한 객체 상태 예측 모델을 통해 예측된 객체의 위치를 보정한다(S530). 그런 다음, 객체 추적 장치(100)는 위치가 보정된 객체를 기반으로 입력 영상에서 객체를 추적한다(S550).
도 6 내지 도 9는 본 발명의 바람직한 실시예에 따른 객체 추적 동작의 성능을 설명하기 위한 도면이다.
카메라가 장착된 스마트 폰(smart phone)과 같은 휴대 디바이스(handheld device)를 통해 촬영된 영상을 이용하여 본 발명에 따른 객체 추적 동작의 성능을 시험한다. 여기서, 촬영된 영상은 초당 29 프레임이고 해상도는 640x480이다. 촬영 대상으로는 도 6에 도시된 바와 같이 물고기와 도 8에 도시된 바와 같이 야외이다. 특히, 야외에서는 사람이 카메라를 쥐고 걸어가면서 주위 장면을 촬영함으로써 빠르고 불규칙한 움직임이 발생된다. 본 발명의 성능의 비교 대상으로는 종래의 파티클 필터(conventional particle filter)와 마코브 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 방법을 사용한다. 300개의 파티클들이 파티클 필터(particle filter)에 사용되고, 초기 시간
Figure 112012013943388-pat00101
에서 초기 객체 영역은 수동적으로 선택된다. 본 발명의 성능 평가에 사용되는 파라미터
Figure 112012013943388-pat00102
,
Figure 112012013943388-pat00103
및
Figure 112012013943388-pat00104
은 각각 10으로 설정되고
Figure 112012013943388-pat00105
는 20으로 설정된다.
본 발명의 성능을 평가하기 위해, 객체의 센터(center)에 대해 수동적으로 분류된 그라운드 참 위치(manually-labeled ground truth position)와 객체의 추정된 센터(center) 위치 사이의 유클리드 거리(Euclidian distance)를 다음의 [수학식 15]를 통해 계산한다.
Figure 112012013943388-pat00106
여기서,
Figure 112012013943388-pat00107
및
Figure 112012013943388-pat00108
는 각각 객체 영역의 추정된 센터(center)의 수평 좌표(horizontal coordinate) 및 수직 좌표(vertical coordinate)를 나타내고,
Figure 112012013943388-pat00109
및
Figure 112012013943388-pat00110
는 각각 그라운드 참 센터(ground truth center)의 수평 좌표(horizontal coordinate) 및 수직 좌표(vertical coordinate)를 나타낸다.
도 6은 물고기를 촬영한 영상에서 객체를 추적한 실험 결과를 나타낸다. 즉, 도 6의 (a)는 종래의 파티클 필터(conventional particle filter)를 이용하여 영상에서 객체를 추적한 실험 결과를 나타내고, 도 6의 (b)는 마코브 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 방법을 이용하여 영상에서 객체를 추적한 실험 결과를 나타내며, 도 6의 (c)는 본 발명에 따른 어파인 카메라 움직임(affine camera motion) 기반의 파티클 필터(particle filter)를 이용하여 영상에서 객체를 추적한 실험 결과를 나타내고, 도 6의 (d)는 본 발명에 따른 어파인 카메라 움직임(affine camera motion) 기반의 마코브 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 방법을 이용하여 영상에서 객체를 추적한 실험 결과를 나타낸다. 여기서, 녹색 부분이 객체 영역을 나타낸다.
종래의 파티클 필터(conventional particle filter)를 이용한 방법은 도 6의 (a)에 도시된 바와 같이 카메라 움직임 때문에 객체 영역의 추정이 부정확함을 알 수 있다. 도 7을 참조하면, 종래의 파티클 필터(conventional particle filter) 방법(①)은 321번째 프레임 이후에 객체 추적이 실패함을 알 수 있다. 또한, 마코브 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 방법(②)은 전반적으로 객체를 놓치는 경우가 있음을 알 수 있다. 반면에, 본 발명에 따른 어파인 카메라 움직임(affine camera motion) 기반의 파티클 필터(particle filter) 방법(③)이나 마코브 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 방법(④)은 객체 추적에 대한 전반적인 성능이 안정적임을 알 수 있다. 즉, 본 발명에 따른 객체 추적은 불규칙한 카메라 움직임이 있어도 지속적인 객체 추적이 가능하다.
도 8은 야외를 촬영한 영상에서 객체를 추적한 실험 결과를 나타낸다. 즉, 도 8의 (a)는 종래의 파티클 필터(conventional particle filter)를 이용하여 영상에서 객체를 추적한 실험 결과를 나타내고, 도 8의 (b)는 마코브 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 방법을 이용하여 영상에서 객체를 추적한 실험 결과를 나타내며, 도 8의 (c)는 본 발명에 따른 어파인 카메라 움직임(affine camera motion) 기반의 파티클 필터(particle filter)를 이용하여 영상에서 객체를 추적한 실험 결과를 나타내고, 도 8의 (d)는 본 발명에 따른 어파인 카메라 움직임(affine camera motion) 기반의 마코브 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 방법을 이용하여 영상에서 객체를 추적한 실험 결과를 나타낸다. 여기서, 녹색 부분이 객체 영역을 나타낸다.
종래의 파티클 필터(conventional particle filter) 방법과 마코브 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 방법은 도 8의 (a) 및 (b)에 도시된 바와 같이 젤로 현상(jello effect)을 가지는 카메라 움직임 때문에 객체를 놓치거나 객체 영역의 추정이 부정확함을 알 수 있다. 도 9를 참조하면, 종래의 파티클 필터(conventional particle filter) 방법(①)은 81번째 프레임 이후에 객체 추적이 실패함을 알 수 있고, 마코브 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 방법(②)은 121번째 프레임 이후에 객체 추적이 실패함을 알 수 있다. 반면에, 본 발명에 따른 어파인 카메라 움직임(affine camera motion) 기반의 파티클 필터(particle filter) 방법(③)이나 마코브 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 방법(④)은 젤로 현상(jello effect)을 가지는 카메라 움직임에서도 지속적인 객체 추적이 가능하다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 롬(ROM), 램(RAM), CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 유무선 통신망으로 연결된 컴퓨터 장치에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 다음의 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100: 객체 추적 장치, 110: 움직임 추정부,
130: 객체 예측부, 150: 객체 추적부

Claims (7)

  1. 입력 영상 중 현재 영상 프레임과 상기 현재 영상 프레임에 시간적으로 앞서 있는 이전 영상 프레임으로부터 상기 입력 영상을 촬영한 촬영 장치의 움직임 변화 정도를 나타내는 로컬 어파인 움직임 파라미터(local affine motion parameter)를 획득하고, 상기 획득된 로컬 어파인 움직임 파라미터로 이루어진 움직임 모델 행렬을 추정하는 움직임 추정부;
    상기 이전 영상 프레임에서의 객체의 상태로부터 상기 현재 영상 프레임에서의 상기 객체의 상태를 예측하는 객체 상태 예측 모델을 통해 상기 현재 영상 프레임에서의 객체의 위치를 예측하고, 상기 예측된 객체의 위치를 상기 움직임 모델 행렬을 통해 보정하는 객체 예측부; 및
    상기 객체 예측부에 의해 보정된 객체의 위치를 기반으로 상기 현재 영상 프레임에서 객체를 추적하는 객체 추적부;를 포함하며,
    상기 움직임 추정부는 다음의 [수학식 A]와 같은 움직임 모델 행렬
    Figure 112013056287444-pat00158
    을 추정하는 것을 특징으로 하는 것을 특징으로 하는 객체 추적 장치:
    [수학식 A]
    Figure 112013056287444-pat00112

    여기서, 상기
    Figure 112013056287444-pat00113
    , 상기
    Figure 112013056287444-pat00114
    , 상기
    Figure 112013056287444-pat00115
    및 상기
    Figure 112013056287444-pat00116
    는 선형 어파인 파라미터(linear affine parameter)를 나타내고, 상기
    Figure 112013056287444-pat00117
    및 상기
    Figure 112013056287444-pat00118
    는 트랜스레이션 파라미터(translation parameter)를 나타내며, 상기 로컬 어파인 움직임 파라미터는 상기 선형 어파인 파라미터 및 상기 트랜스레이션 파라미터를 나타낸다.
  2. 삭제
  3. 제 1항에 있어서,
    상기 객체 예측부는 다음의 [수학식 B]를 통해 객체의 위치를 보정하는 것을 특징으로 하는 객체 추적 장치:
    [수학식 B]
    Figure 112013056287444-pat00119

    여기서, 상기
    Figure 112013056287444-pat00120
    는 보정된 객체의 위치를 나타내고, 상기
    Figure 112013056287444-pat00121
    는 보정전 객체의 위치를 나타낸다.
  4. 입력 영상 중 현재 영상 프레임과 상기 현재 영상 프레임에 시간적으로 앞서 있는 이전 영상 프레임으로부터 상기 입력 영상을 촬영한 촬영 장치의 움직임 변화 정도를 나타내는 로컬 어파인 움직임 파라미터를 획득하는 움직임 파라미터 획득 단계;
    상기 획득된 로컬 어파인 움직임 파라미터로 이루어진 움직임 모델 행렬을 추정하는 움직임 모델 행렬 추정 단계;
    상기 이전 영상 프레임에서의 객체의 상태로부터 상기 현재 영상 프레임에서의 상기 객체의 상태를 예측하는 객체 상태 예측 모델을 통해 상기 현재 영상 프레임에서의 객체의 위치를 예측하는 객체 위치 예측 단계;
    상기 예측된 객체의 위치를 상기 움직임 모델 행렬을 통해 보정하는 객체 위치 보정 단계; 및
    상기 보정된 객체의 위치를 기반으로 상기 현재 영상 프레임에서 객체를 추적하는 객체 추적 단계;를 포함하며,
    상기 움직임 모델 행렬 추정 단계에서 다음의 [수학식 A]와 같은 움직임 모델 행렬
    Figure 112013056287444-pat00159
    을 추정하는 것을 특징으로 하는 것을 특징으로 하는 객체 추적 방법:
    [수학식 A]
    Figure 112013056287444-pat00123

    여기서, 상기
    Figure 112013056287444-pat00124
    , 상기
    Figure 112013056287444-pat00125
    , 상기
    Figure 112013056287444-pat00126
    및 상기
    Figure 112013056287444-pat00127
    는 선형 어파인 파라미터(linear affine parameter)를 나타내고, 상기
    Figure 112013056287444-pat00128
    및 상기
    Figure 112013056287444-pat00129
    는 트랜스레이션 파라미터(translation parameter)를 나타내며, 상기 로컬 어파인 움직임 파라미터는 상기 선형 어파인 파라미터 및 상기 트랜스레이션 파라미터를 나타낸다.
  5. 삭제
  6. 제 4항에 있어서,
    상기 객체 위치 보정 단계에서 다음의 [수학식 B]를 통해 객체의 위치를 보정하는 것을 특징으로 하는 객체 추적 방법:
    [수학식 B]
    Figure 112013056287444-pat00130

    여기서, 상기
    Figure 112013056287444-pat00131
    는 보정된 객체의 위치를 나타내고, 상기
    Figure 112013056287444-pat00132
    는 보정전 객체의 위치를 나타낸다.
  7. 제 4항 또는 제 6항에 기재된 객체 추적 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020120017442A 2012-02-21 2012-02-21 객체 추적 장치 및 방법 KR101309519B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120017442A KR101309519B1 (ko) 2012-02-21 2012-02-21 객체 추적 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120017442A KR101309519B1 (ko) 2012-02-21 2012-02-21 객체 추적 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130095985A KR20130095985A (ko) 2013-08-29
KR101309519B1 true KR101309519B1 (ko) 2013-09-24

Family

ID=49219065

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120017442A KR101309519B1 (ko) 2012-02-21 2012-02-21 객체 추적 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101309519B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10318826B2 (en) * 2016-10-07 2019-06-11 Ford Global Technologies, Llc Rear obstacle detection and distance estimation
KR101885839B1 (ko) * 2017-03-14 2018-08-06 중앙대학교 산학협력단 객체추적을 위한 특징점 선별 장치 및 방법
KR102332113B1 (ko) * 2020-03-31 2021-11-30 한국과학기술원 Visuomotor 시스템을 이용한 모델 예측 제어에 기반한 풀바디 모델링 방법 및 장치
CN114445267B (zh) * 2022-01-28 2024-02-06 南京博视医疗科技有限公司 一种基于视网膜图像的眼动跟踪方法及装置
KR20240084401A (ko) * 2022-12-06 2024-06-13 숭실대학교산학협력단 연속적인 rgb-d 프레임 세트를 활용한 고품질 깊이 영상 생성 방법 및 이의 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050061115A (ko) * 2003-12-18 2005-06-22 한국전자통신연구원 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
KR20100084015A (ko) * 2009-01-15 2010-07-23 삼성테크윈 주식회사 지능형 영상 감시 시스템에서의 물체 추적 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050061115A (ko) * 2003-12-18 2005-06-22 한국전자통신연구원 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
KR20100084015A (ko) * 2009-01-15 2010-07-23 삼성테크윈 주식회사 지능형 영상 감시 시스템에서의 물체 추적 방법 및 장치

Also Published As

Publication number Publication date
KR20130095985A (ko) 2013-08-29

Similar Documents

Publication Publication Date Title
KR101749099B1 (ko) 영상에서의 객체 추적 방법, 장치 및 이를 컴퓨터 상에서 수행하는 프로그램이 기록된 기록 매체
CN109076198B (zh) 基于视频的对象跟踪遮挡检测***、方法和设备
CN109711304B (zh) 一种人脸特征点定位方法及装置
Jeyakar et al. Robust object tracking with background-weighted local kernels
KR101681538B1 (ko) 영상 처리 장치 및 방법
KR101309519B1 (ko) 객체 추적 장치 및 방법
KR100660725B1 (ko) 얼굴 추적 장치를 가지는 휴대용 단말기
WO2008069995A2 (en) Estimating a location of an object in an image
KR102465960B1 (ko) 변화점 검출을 활용한 다중클래스 다중물체 추적 방법
JP2008538832A (ja) 歩行者の追跡による、ビデオ系列からの３次元道路配置の推定
KR101868903B1 (ko) 손 추적 장치 및 방법
KR20120138627A (ko) 안면 추적 장치 및 방법
CN111383252B (zh) 多相机目标追踪方法、***、装置及存储介质
CN110689555A (zh) 基于前景检测的kcf跟踪目标丢失检测方法及***
KR100994367B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
CN112164093A (zh) 一种基于边缘特征和相关滤波的人物自动跟踪方法
KR101460317B1 (ko) 불안정한 카메라 환경에서의 이동 객체 검출 장치 및 방법
CN106651918B (zh) 抖动背景下的前景提取方法
Nguyen et al. Real time human tracking using improved CAM-shift
KR101806453B1 (ko) 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법
CN109410254B (zh) 一种基于目标和相机运动建模的目标跟踪方法
KR100996209B1 (ko) 변화값 템플릿을 이용한 객체 모델링 방법 및 그 시스템
KR101945487B1 (ko) 동영상에 포함된 객체를 인식하기 위한 장치 및 방법
JP4879257B2 (ja) 移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラム
KR100994366B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170626

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180625

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190807

Year of fee payment: 7