KR100970119B1

KR100970119B1 - 적응적으로 객체를 추적하는 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체

Info

Publication number: KR100970119B1
Application number: KR1020090113560A
Authority: KR
Inventors: 최송기; 허충빈
Original assignee: (주)올라웍스
Priority date: 2009-11-23
Filing date: 2009-11-23
Publication date: 2010-07-15
Also published as: US20120093368A1; JP2013512481A; EP2506562B1; JP5205561B2; WO2011062430A2; EP2506562A2; WO2011062430A3; EP2506562A4

Abstract

본 발명은 적응적으로 객체를 추적하는 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다. 본 발명의 일 태양에 따르면, 적응적으로 객체를 추적하는 방법으로서, (a) 제1 프레임에서 특정 객체에 해당하는 영역을 가리키는 제1 블록과 제2 프레임에 포함되는 적어도 하나의 블록을 비교하여, 상기 제2 프레임에 포함되는 적어도 하나의 블록 중 상기 제1 블록과의 일치도가 가장 높은 블록을 상기 특정 객체에 해당하는 영역을 가리키는 제2 블록으로 결정하는 단계, 및 (b) 상기 제1 블록과 상기 제2 블록 사이의 일치도가 기설정된 임계값 미만이면, 객체 검출 기술을 이용하여 상기 제2 프레임의 적어도 일부 영역으로부터 상기 특정 객체를 검출하고 상기 검출된 특정 객체에 해당하는 영역을 기준으로 하여 상기 제2 프레임에서 상기 제2 블록을 재설정하는 단계를 포함하는 방법이 제공된다. 본 발명에 의하면, 동영상 프레임에 포함된 객체를 적응적으로 추적하는 알고리즘을 제공할 수 있으므로, 동영상 내에서의 객체 추적(특히, 얼굴 추적)이 보다 신속하고 정확하게 수행되도록 할 수 있게 되는 효과를 달성할 수 있다.

객체 추적, 얼굴 추적, 적응적, 검출, 블록 매칭

Description

적응적으로 객체를 추적하는 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체{METHOD, SYSTEM, AND COMPUTER-READABLE RECORDING MEDIUM FOR TRACKING OBJECT ADAPTIVELY}

본 발명은 적응적으로 객체를 추적하는 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다. 보다 상세하게는, 본 발명은, 객체 검출 기술과 블록 매칭 기술을 선택적으로 사용하여 동영상 프레임에 포함된 객체(예를 들면, 인물의 얼굴)를 적응적으로 추적하는 알고리즘을 제공함으로써, 동영상 내에서의 객체 추적이 보다 빠르고 정확하게 수행될 수 있도록 하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.

근래에 들어, 동영상을 촬영할 수 있는 디지털 카메라, 휴대용 전화기 등의 카메라 장치의 기능이 점점 지능화되어 감에 따라, 카메라 장치의 인공지능에 대한 사용자의 기대치가 높아지고 있으며, 특히, 동영상에 포함된 사람의 얼굴 영역을 추적할 수 있도록 하는 얼굴 추적 기능 등이 카메라 장치의 기본 기능으로서 탑재되고 있는 실정이다. 또한, 고성능 프로세서가 탑재되기 어려운 모바일 카메라 장치의 제한된 연산 속도와 모바일 카메라 장치에서 기본적으로 실행되어야 하는 다 른 프로세스로 인한 연산 부담을 감안할 때 보다 효율적인 얼굴 추적 기술이 요구되고 있는 상황이다.

동영상에서 얼굴 등의 객체를 추적함에 있어서 매 프레임(frame)의 전체 영역에서 객체 검출(Object Detection)을 수행하는 경우 빠른 수행 속도를 기대할 수 없기 때문에, 동영상에서 얼굴 등의 객체를 효과적으로 추적하기 위해서는 객체 추적에 적합한 다른 기술이 요구된다.

먼저, 종래의 객체 추적 기술의 일 예로서, 기본적으로 이전 프레임에서 검출된 객체의 주변 영역에서만 부분적으로 객체 검출을 수행하고(Partial Detection: PD) 얼굴 추적의 정확도를 높이기 위하여 가끔씩 일부 프레임에 대해서만 전체 영역에서의 객체 검출을 수행하는(Full Detection: FD) 기술이 있다. 위의 종래 기술에 의하면, 기존의 객체 검출 알고리즘만을 적절히 혼합하여 객체 추적의 속도를 향상시킬 수 있다는 장점이 있지만, 객체 검출 알고리즘은 본질적으로 많은 연산량을 요구하고 수행 속도가 느린 알고리즘이기 때문에 모바일 카메라 장치에 적용되기 부적합하다는 문제점이 있다.

다른 종래 기술로서는, 블록 매칭(Block Matching) 알고리즘, 평균 이동(Mean Shift) 알고리즘 등을 사용하는 기술을 예로 들 수 있다. 위의 종래 기술에 의하면, 객체 검출 알고리즘을 이용하는 기술에 비하여 적은 연산량이 요구되기 때문에 수행 속도를 높일 수 있지만, 추적의 대상이 되는 객체의 외관, 위치 등이 크게 변할 수 있는 실제적인 환경에서는 추적의 성공률이 그다지 높지 않다는 문제점이 있다.

따라서, 객체 추적의 정확성을 높이면서도 추적 속도를 빠르게 하여 모바일 카메라 장치 상에서 객체 추적이 끊기지 않고 정확하게 수행되도록 하는 기술의 필요성이 대두되고 있다.

본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.

또한, 본 발명은 소정의 임계치를 기준으로 하여 객체 검출 기술과 블록 매칭 기술을 선택적으로 사용함으로써 동영상 프레임(frame)에 포함된 객체를 적응적으로 추적하는 알고리즘을 제공할 수 있도록 하는 것을 다른 목적으로 한다.

또한, 본 발명은 촬영 환경의 콘트라스트(contrast)를 고려하여 객체 추적 방법 전환의 기준이 되는 임계치를 조절하고, 추적 대상이 되는 객체의 움직임을 추정하여 블록 매칭 시의 탐색 영역을 결정하며, 급격한 상황 변화에 대응하여 자동으로 객체 검출을 수행할 수 있도록 하는 것을 또 다른 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.

본 발명의 일 태양에 따르면, 적응적으로 객체를 추적하는 방법으로서, (a) 제1 프레임에서 특정 객체에 해당하는 영역을 가리키는 제1 블록과 제2 프레임에 포함되는 적어도 하나의 블록을 비교하여, 상기 제2 프레임에 포함되는 적어도 하나의 블록 중 상기 제1 블록과의 일치도가 가장 높은 블록을 상기 특정 객체에 해당하는 영역을 가리키는 제2 블록으로 결정하는 단계, 및 (b) 상기 제1 블록과 상기 제2 블록 사이의 일치도가 기설정된 임계값 미만이면, 객체 검출 기술을 이용하여 상기 제2 프레임의 적어도 일부 영역으로부터 상기 특정 객체를 검출하고 상기 검출된 특정 객체에 해당하는 영역을 기준으로 하여 상기 제2 프레임에서 상기 제2 블록을 재설정하는 단계를 포함하는 방법이 제공된다.

본 발명의 다른 태양에 따르면, 적응적으로 객체를 추적하는 시스템으로서, 동영상 프레임의 적어도 일부 영역으로부터 특정 객체를 검출하는 객체 검출부, 제1 프레임에서 특정 객체에 해당하는 영역을 가리키는 제1 블록과 제2 프레임에 포함되는 적어도 하나의 블록을 비교하여, 상기 제2 프레임에 포함되는 적어도 하나의 블록 중 상기 제1 블록과의 일치도가 가장 높은 블록을 상기 특정 객체에 해당하는 영역을 가리키는 제2 블록으로 결정하는 블록 매칭부, 및 상기 제1 블록과 상기 제2 블록 사이의 일치도가 기설정된 임계값 미만이면, 상기 객체 검출부에 의하여 상기 제2 프레임의 적어도 일부 영역으로부터 검출되는 상기 특정 객체에 해당하는 영역을 기준으로 하여 상기 제2 프레임에서 상기 제2 블록을 재설정하는 추적 방법 결정부를 포함하는 시스템이 제공된다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

본 발명에 의하면, 동영상 프레임(frame)에 포함된 객체를 적응적으로 추적하는 알고리즘을 제공할 수 있으므로, 동영상 내에서의 객체 추적(특히, 얼굴 추적)이 보다 신속하고 정확하게 수행되도록 할 수 있는 효과를 달성할 수 있다.

또한, 본 발명에 의하면, 촬영 환경의 콘트라스트, 객체의 움직임, 객체 주변의 상황 변화 등을 감안한 적응적인 객체 추적 알고리즘을 제공할 수 있으므로, 상황 변화에 강인한 객체 추적 기술을 구현할 수 있게 되는 효과를 달성할 수 있다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

본 명세서에 있어서, 동영상 프레임으로부터 객체를 "직접" 검출한다는 것은 시간적으로 인접하는 다른 프레임을 참조하지 않은 채 해당 동영상 프레임의 픽셀 에 포함된 정보만을 이용하여 해당 동영상 프레임에 포함되어 있는 객체를 찾아 내는 방법을 의미하는 것으로서, 시간적으로 인접하는 다른 동영상 프레임을 참조하여 해당 동영상 프레임에 포함되어 있는 객체를 찾아 내는 블록 매칭 방법과 구별되는 것으로 이해되어야 할 것이다.

객체 추적 시스템의 구성

이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 객체 추적 시스템의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.

본 발명의 일 실시예에 따르면, 개인용 컴퓨터(예를 들어, 데스크탑 컴퓨터, 노트북 컴퓨터 등), 서버, 워크스테이션, PDA, 웹 패드, 이동 전화기, 카메라 장치 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 장치라면 얼마든지 본 발명의 객체 추적 시스템(100)으로서 채택될 수 있다.

도 1은 본 발명의 일 실시예에 따른 객체 추적 시스템의 내부 구성을 예시적으로 나타내는 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 객체 추적 시스템(100)은, 객체 검출부(110), 블록 매칭부(120), 추적 방법 결정부(130), 상황 적응부(140), 통신부(150) 및 제어부(160)를 포함할 수 있고, 상황 적응부(140)는 임계치 조절부(141), 객체 움직임 추정부(142), 자동 갱신부(143)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 객체 검출부(110), 블록 매칭부(120), 추적 방법 결정부(130), 상황 적응부(140), 통신부(150) 및 제어부(160)는 그 중 적어도 일부가 외부 시스템(미도시됨)과 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 객체 추적 시스템(100)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 객체 추적 시스템(100)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.

먼저, 본 발명의 일 실시예에 따르면, 객체 검출부(110)는 소정의 객체 검출 기술을 사용하여 동영상을 구성하는 프레임(frame)에 포함되어 있는 객체(예를 들면, 인물의 얼굴)를 검출하는 기능을 수행한다. 보다 구체적으로, 본 발명의 일 실시예에 따른 객체 검출부(110)는 프레임의 전체 영역, 즉, 프레임을 구성하는 모든 픽셀을 대상으로 하여 객체 검출을 수행할 수도 있으며(Full Detection: FD), 프레임의 일부 영역, 즉, 프레임 중 탐색 영역으로 설정된 픽셀만을 대상으로 하여 객체 검출을 수행할 수도 있다(Partial Detection: PD). 후술할 바와 같이, 객체 검출부(110)에 의하여 검출된 객체가 해당 프레임 내에서 차지하는 영역은 블록 매칭부(120)가 블록 매칭을 수행하는 과정에 있어서 참조 블록으로서 활용될 수 있다.

위에서 언급한 바와 같이, 객체 검출부(110)에서 동영상 프레임에 포함되어 있는 객체를 검출하기 위해서는 소정의 객체 검출 기술을 사용해야 하는데, 이러한 객체 검출 기술로서, Chang HUANG 외 3인이 공동으로 저술하고 2005년 ICCV(International Conference on Computer Vision)에서 발표된 "Vector Boosting for Rotation Invariant Multi-View Face Detection"이라는 논문을 참조할 수 있을 것이다(상기 논문의 내용은 그 전체가 본 명세서에 병합되어 있는 것으로 고려되어야 한다). 상기 논문에는 이미지에 포함된 다양한 객체의 각도를 구별해 낼 수 있는 vector boosting 알고리즘을 사용하여 이미지에 포함된 얼굴이 특정 각도로 틀어져 있더라도 얼굴 영역을 정확하게 검출하는 방법에 대하여 기재되어 있다. 물론, 본 발명에 적용 가능한 객체 검출 기술이 상기 논문에 기재된 방법에만 한정되는 것은 아니며, 다양한 변형예를 적용하여 본 발명을 구현할 수 있을 것이다.

다음으로, 본 발명의 일 실시예에 따르면, 블록 매칭부(120)는 소정의 블록 매칭 기술을 사용하여 동영상에 포함되는 제1 프레임에 포함되어 있는 객체의 위치를 참조로 하여 해당 동영상에 포함되는 제2 프레임에 포함되어 있는 객체의 위치를 결정하는 기능을 수행할 수 있다(Block Matching: BM).

도 3은 본 발명의 일 실시예에 따라 블록 매칭을 수행하는 구성을 예시적으로 나타내는 도면이다. 도 3을 참조하면, 블록 매칭부(120)는 시간적으로 인접하는 두 프레임(310, 320)에 대하여 블록 매칭을 수행함으로써 연속된 프레임에 포함되어 있는 특정 객체를 계속적으로 추적할 수 있다. 이하에서는, 시간적으로 인접하는 제1 프레임(310) 및 제2 프레임(320)에서 객체 A(317)를 추적하는 과정에 대하여 구체적으로 살펴보기로 한다. 참고로, 제1 프레임(310)과 제2 프레임(320)은 서로 동일한 픽셀 배열을 갖고 있으며, 제1 프레임(310)이 제2 프레임(320)보다 시간적으로 선행하는 것으로 가정할 수 있다.

먼저, 본 발명의 일 실시예에 따르면, 제1 프레임(310)에 포함되어 있는 객체 A(317)를 가리키는 M x N 픽셀 크기의 제1 블록(315)이 결정되어 있을 수 있는데, 이러한 제1 블록은 앞서 언급한 객체 검출 기술 등을 이용하여 제1 프레임(310)으로부터 객체 A(317)를 직접 검출함으로써 얻어지는 것일 수 있다.

다음으로, 본 발명의 일 실시예에 따르면, 블록 매칭부(120)는 제2 프레임(320)에서 제1 프레임(310)의 제1 블록(315)과 가장 일치하는(matching) 블록을 찾기 위하여 제2 프레임(320)의 적어도 일부 영역(325)을 탐색할 수 있다. 여기서, 제2 프레임 중 탐색의 대상이 되는 영역, 즉, 탐색 영역(325)은 제1 프레임(310)에서의 제1 블록(310)의 위치를 기준으로 하여 설정될 수 있는데, 예를 들면, 탐색 영역(325)은 제1 프레임(310)에서의 제1 블록(315)의 위치를 중심으로 하는 X x Y 픽셀 크기의 직사각형 영역으로 설정될 수 있다(X>M, Y>N). 즉, 본 발명의 일 실시예에 따른 블록 매칭부(120)는 제2 프레임(320)의 탐색 영역(325) 내의 가능한 M x N 픽셀 크기의 모든 또는 일부 블록(즉, 후보 블록)을 제1 프레임(310)의 제1 블록(315)과 비교하여 그 중 제1 블록(315)과 가장 일치하는 블록을 제2 프레임(320)에서의 객체 A(317)를 가리키는 블록인 제2 블록으로 결정할 수 있다.

한편, 후보 블록이 제1 블록(315)과 일치하는 정도를 산출하는 방법으로는, 제1 블록(315)에서 후보 블록을 뺌으로써(혹은 후보 블록에서 제1 블록(315)을 뺌으로써) 구해지는 오차 에너지(residual energy)(예를 들면, 픽셀 값의 SSD(Sum of Squared Distance))가 작을수록 해당 후보 블록이 제1 블록(315)과의 일치하는 정도가 높은 것으로 판단하는 방법이 적용될 수 있는데, 반드시 이에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양한 기술들이 적절히 취사 선택될 수 있을 것이다.

다음으로, 본 발명의 일 실시예에 따르면, 추적 방법 결정부(130)는 객체 검출부(110) 혹은 블록 매칭부(120)에 의하여 수행된 객체 추적의 결과를 참조로 하여 동영상 프레임에서 객체를 추적하기 위한 방법으로서 객체 검출 방법 및 블록 매칭 방법 중 하나를 결정하는 기능을 수행한다.

보다 구체적으로, 본 발명의 일 실시예에 따른 추적 방법 결정부(130)는 동영상 프레임에서 객체를 추적함에 있어서 기본적으로 블록 매칭에 의하여 객체가 추적되도록 할 수 있고, 매 프레임마다 블록 매칭의 결과를 평가하여 블록 매칭의 신뢰도가 소정의 임계치 미만인 경우에는 해당 프레임에 대한 객체 추적 방법을 속도를 느리지만 정확도가 높은 객체 검출 방법으로 전환할 수 있다.

도 4는 본 발명의 일 실시예에 따라 객체 추적 방법을 결정하는 과정을 예시적으로 나타내는 상태도이다. 도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 객체 추적 시스템(100)은, 동영상 프레임에서 객체를 추적하기 위한 방법으로서, 프레임의 전체 영역, 즉, 프레임을 구성하는 모든 픽셀을 대상으로 하여 객체 검출을 수행하는 전체 검출(Full Detection: FD) 방법, 프레임의 일부 영역, 즉, 프레임 중 탐색 영역으로 설정된 픽셀만을 대상으로 하여 객체 검출을 수행하는 부분 검출(Partial Detection: PD) 방법, 및 시간적으로 인접하는 프레임에 포함되는 객체 영역을 가리키는 블록을 참조로 하여 객체를 추적하는 블록 매칭(Block Matching: BM) 방법을 선택적으로 사용할 수 있다.

이하에서는, 본 발명의 일 실시예에 따른 객체 추적 과정에 대하여 구체적으로 살펴보기로 한다. 참고로, 이하의 객체 추적 과정에서 추적의 대상이 되는 객체가 인물의 얼굴인 것으로 가정하였으나, 반드시 이에 한정되는 것은 아니며, 동영상 프레임 내에서 그 형상이 특정될 수 있는 객체라면 모두 본 발명에 말하는 객체 추적의 대상이 될 수 있을 것이다.

먼저, 본 발명의 일 실시예에 따른 객체 추적 시스템(100)은, 객체 추적이 시작되는 시작 프레임의 전체 영역에 대하여 전체 검출(FD)을 수행하여 시작 프레임에서 얼굴 A에 해당하는 영역을 검출함으로써 얼굴 A에 대한 추적 과정을 시작할 수 있다(410). 위와 같이, 시작 프레임에 대하여 전체 검출(FD)을 수행한 결과 검출된 얼굴 A 영역은 추후에 수행되는 블록 매칭의 기준이 될 수 있다(411). 한편, 시작 프레임에 대하여 전체 검출(FD)을 수행하였음에도 불구하고 인물의 얼굴이 검출되지 않는 경우에는 객체 추적 과정을 종료할 수도 있을 것이다(412).

다음으로, 본 발명의 일 실시예에 따른 객체 추적 시스템(100)은, 시간적으로 인접하는 두 프레임(제1 및 제2 프레임)에 대하여 블록 매칭을 수행함으로써 제1 프레임에서의 얼굴 A 영역에 해당하는 제1 블록을 참조로 하여 제2 프레임에서의 얼굴 A 영역에 해당하는 제2 블록을 특정할 수 있다(420).

보다 구체적으로, 본 발명의 일 실시예에 따른 객체 추적 시스템(100)은 제1 프레임에 포함된 M x N 픽셀 크기의 제1 블록과 가장 일치하는(matching) 블록을 제2 프레임 내에서 찾기 위하여 제2 프레임의 적어도 일부 영역을 탐색할 수 있다. 여기서, 제2 프레임 중 탐색의 대상이 되는 영역, 즉, 탐색 영역은 제1 프레임에서 의 제1 블록의 위치를 기준으로 하여 설정될 수 있는데, 예를 들면, 탐색 영역은 제1 프레임에서의 제1 블록의 위치를 중심으로 하는 X x Y 픽셀 크기의 직사각형 영역으로 설정될 수 있다(X>M, Y>N). 즉, 본 발명의 일 실시예에 따른 객체 추적 시스템(100)은 제2 프레임의 탐색 영역 내의 가능한 M x N 픽셀 크기의 모든 또는 일부 블록(즉, 후보 블록)을 제1 프레임의 제1 블록과 비교하여 일치도를 판단하고, 그 중 제1 블록과 가장 일치하는 블록이 기설정된 임계치 이상의 일치도를 가지는 경우 상기 제1 블록과 가장 일치하는 블록을 제2 프레임에서의 객체 A 영역을 가리키는 블록인 제2 블록으로 결정할 수 있다.

구체적으로, 본 발명의 일 실시예에 따른 객체 추적 시스템(100)은 블록 매칭의 기준이 된 제1 프레임의 제1 블록과 블록 매칭을 수행한 결과 도출된 제2 프레임의 제2 블록 사이의 일치도가 기설정된 임계치 이상인 경우에, 블록 매칭 결과가 신뢰할 수 있다는 판단 하에 제2 블록이 제2 프레임에서의 얼굴 A 영역을 가리키는 블록인 것으로 확정할 수 있다(421). 반대로, 블록 매칭의 기준이 된 제1 프레임의 제1 블록과 블록 매칭을 수행한 결과 도출된 제2 프레임의 제2 블록 사이의 일치도가 기설정된 임계치 미만인 경우에는, 블록 매칭 결과를 신뢰하기 어렵다는 판단 하에 제2 블록이 제2 프레임에서의 얼굴 A 영역을 가리키는 블록인 것으로 확정하는 대신 제2 프레임의 탐색 영역에 대하여 부분 검출(Partial Detection: PD)을 수행하여 제2 프레임에서의 얼굴 A 영역을 직접 검출할 수 있다(422). 참고로, 제1 블록과 제2 블록 사이의 일치도를 산출하는 구체적인 방법에 대하여는 앞에서 충분히 언급되었으므로 자세한 설명을 생략하기로 한다.

다음으로, 본 발명의 일 실시예에 따른 객체 추적 시스템(100)은 블록 매칭의 신뢰도(즉, 제1 블록과 제2 블록 사이의 일치도)가 기설정된 임계치 미만인 경우에, 해당 프레임의 일부 영역, 즉, 프레임 중 탐색 영역으로 설정된 픽셀만을 대상으로 얼굴 A 영역을 직접 검출할 수 있으며, 이로써 객체 추적의 신뢰도가 기설정된 수준 이상으로 유지되도록 할 수 있다(430).

위와 같이, 탐색 영역 내에서 부분 검출(PD)을 수행한 결과 얼굴 A 영역이 검출된 경우에, 부분 검출(PD)된 얼굴 A 영역은 해당 프레임에서의 얼굴 A를 가리키는 영역인 것으로 확정될 수 있으며, 추후에 수행되는 블록 매칭의 기준이 될 수 있다(431). 반대로, 탐색 영역 내에서 부분 검출(PD)을 수행하였음에도 불구하고 얼굴 A 영역이 검출되지 않는 경우에, 객체 검출 시스템(100)은 해당 프레임의 전체 영역에 대하여 전체 검출(FD)을 수행함으로써 얼굴 A에 대한 객체 추적 과정이 계속 이어질 수 있도록 할 수도 있다(432).

이상에서 살펴본 바와 같이, 추적 방법 결정부(130)는 동영상 프레임에 포함된 객체를 추적함에 있어서 객체 검출 방법과 블록 매칭 방법을 적절히 혼합하여 사용함으로써, 동영상 프레임에 포함된 객체에 대한 추적이 보다 신속하고 정확하게 수행될 수 있도록 할 수 있다.

다음으로, 본 발명의 일 실시예에 따르면, 상황 적응부(140)는 객체 추적 알고리즘이 동영상이 촬영되는 상황에 따라(또는, 프리뷰 상태에서 영상이 입력되는 상황에 따라) 적응적으로 수행될 수 있도록 하는 기능을 수행한다. 도 2를 참조하면, 본 발명의 일 실시예에 따른 상황 적응부(140)는 임계치 조절부(141), 객체 움 직임 추정부(142) 및 자동 갱신부(143)를 포함할 수 있다. 이하에서는, 상황 적응부(140)의 각 구성요소의 기능에 대하여 구체적으로 살펴보기로 한다.

먼저, 본 발명의 일 실시예에 따른 임계치 조절부(141)는, 촬영 환경의 명암(明暗)과 촬영 장치의 특성에 의하여 달라질 수 있는 촬영 환경의 콘트라스트(contrast, 대조)에 따라 추적 방법 결정부(130)에서의 블록 매칭 결과의 신뢰도 판단의 기준이 되는 기설정된 임계치를 적응적으로 조절하는 기능을 수행할 수 있다.

예를 들어, 동영상의 프레임이 밝은 곳에서 촬영되어 촬영 환경의 콘트라스트가 높은 경우 실제로 일치도가 높은 블록 사이에도 오차 에너지(residual energy)(예를 들면, 픽셀 값의 SSD(Sum of Squared Distance))가 크게 나타날 수 있고, 반대로, 동영상 프레임이 어두운 곳에서 촬영되어 촬영 환경의 콘트라스트가 낮은 경우 실제로 일치도가 낮은 블록 사이에도 오차 에너지가 작게 나타날 수 있다. 따라서, 블록 매칭 결과의 신뢰도 판단의 기준이 되는 기설정된 임계치로서 고정된 값을 사용하게 되면, 동영상 프레임이 콘트라스트가 높은 밝은 환경에서 촬영된 경우 블록 매칭이 정확하게 이루어졌음에도 불구하고 오차 에너지가 큰 것으로 나타나 부분 검출 혹은 전체 검출이 필요 이상으로 너무 자주 호출되어 객체 추적의 속도가 저하되는 문제점이 발생할 수 있고, 동영상 프레임이 콘트라스트가 낮은 어두운 환경에서 촬영된 경우 블록 매칭이 정확하게 이루어지지 않았음에도 불구하고 오차 에너지가 작은 것으로 나타나 부분 검출 혹은 전체 검출로 전환되지 않고 부정확한 객체 추적이 계속되는 문제점이 발생할 수 있다.

이에, 본 발명의 일 실시예에 따른 임계치 조절부(141)는 위와 같은 문제점을 해결하기 위하여 촬영 환경의 명암(明暗)과 촬영 장치의 특성에 의하여 달라질 수 있는 촬영 환경의 콘트라스트에 따라 블록 매칭 결과의 신뢰도 판단의 기준이 되는 기설정된 임계치를 적응적으로 조절할 수 있다. 즉, 임계치 조절부(141)는 촬영 환경의 콘트라스트가 높은 경우에 상기 일치도에 관한 기설정된 임계치를 상대적으로 낮게 설정할 수 있고, 반대로 촬영 환경의 콘트라스트가 낮은 경우에는 상기 일치도에 관한 기설정된 임계치를 상대적으로 높게 설정할 수 있다. 여기서, 촬영 환경의 콘트라스트는, 블록 매칭의 기준이 되는 블록을 구성하는 픽셀 값의 분산(intensity variance)에 의하여 추정될 수 있는데, 예를 들면, (비례 상수) x (블록 매칭의 기준이 되는 블록을 구성하는 픽셀 값의 분산)으로 추정될 수도 있다. 다만. 이에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 적절히 변경될 수 있을 것이다.

다음으로, 본 발명의 일 실시예에 따른 객체 움직임 추정부(142)는 핸드 헬드(hand held) 카메라 장치를 이용하여 동영상을 촬영하는 사용자의 핸드 워크에 따른 객체의 움직임을 고려하여 블록 매칭 및 부분 검출에서의 탐색 영역의 위치를 적응적으로 설정하는 기능을 수행할 수 있다.

일반적으로, 사용자의 핸드 워크 등에 의하여 동영상 프레임에 포함된 객체가 빠른 속도 또는 가속도를 갖고 움직이는 경우가 발생할 수 있는데, 이를 보정하기 위한 기술로서 Kalman filtering 등과 같이 종래의 기술이 소개된 바 있다. 하지만, 탐색 영역을 설정함에 있어서 객체의 추정된 움직임을 가감 없이 그대로 반 영하게 되면 하기와 같은 문제가 생길 수 있다. 가령, 진동, 흔들림 등에 의하여 객체의 급격한 방향 전환이 이루어지는 경우에 그러한 급격한 방향 전환에 따라 탐색 영역을 설정하게 되면 오히려 객체 추적의 성능을 저하시킬 우려가 있게 된다. 이는, 객체의 추정된 움직임에 따라 블록 매칭 또는 부분 검출에서의 탐색 영역을 재설정한다고 하더라도 상기 재설정된 탐색 영역이 실제로 반영되는 시점에는 이미 해당 객체가 반대 방향으로 이동해 있을 수도 있기 때문이다.

따라서, 본 발명의 일 실시예에 따른 객체 움직임 추정부(142)는 블록 매칭 또는 부분 검출에서의 탐색 영역을 재설정함에 있어서 Kalman filtering 등의 움직임 추정 기술에 의하여 추정된 객체의 움직임(속도, 가속도 등)의 일부만을 반영시킴으로써 상기의 문제를 해결하도록 할 수 있다. 예를 들면, 움직임 추정부(142)는 추정된 객체의 움직임의 절반만을 반영하여 블록 매칭 또는 부분 검출에서의 탐색 영역을 재설정할 수 있을 것이다. 이로써, 본 발명에 따른 객체 추적 시스템(100)은 객체의 움직임에 대한 섣부른 추정에 의하여 객체 추적이 부정확하게 수행되는 것을 방지하고 객체의 움직임에 보다 유연하게 대응할 수 있게 된다.

다음으로, 본 발명의 일 실시예에 따른 자동 갱신부(143)는, 블록 매칭(BM)을 이용하여 객체 추적을 수행함에 있어서 조명 변화, 동영상 프레임 내에서의 객체의 크기 또는 자세 변화 등에 의하여 추적 대상이 되는 객체의 외관이 급격하게 변화하는 것에 대응하여 전체 검출(FD) 또는 부분 검출(PD)을 호출함으로써 동영상 프레임 내의 해당 객체 영역을 자동으로 갱신할 수 있다. 동영상 프레임 상에 표시되는 객체의 외관이 급격하게 변하는 경우에는 블록 매칭 방법만으로 객체 추적 을 정확하게 수행하기 어렵기 때문에, 본 발명에 따라 전체 검출 방법 또는 부분 검출 방법을 이용하여 외관이 급격하게 변화된 객체를 자동으로 검출함으로써 객체 추적이 보다 정확하게 이루어지도록 할 수 있다.

한편, 본 발명의 일 실시예에 따르면, 데이터베이스(미도시됨)에는 객체 추적의 대상이 되는 동영상 프레임이 저장되어 있을 수 있다. 본 발명에 있어서 데이터베이스(미도시됨)는, 협의의 데이터베이스뿐만 아니라, 컴퓨터 파일 시스템에 기반한 데이터 기록 등을 포함하는 넓은 의미의 데이터베이스까지도 포함하는 개념으로서, 단순한 연산 처리 로그의 집합이라도 이를 검색하여 소정의 데이터를 추출할 수 있다면 본 발명에서 말하는 데이터베이스에 포함될 수 있음이 이해되어야 한다. 또한, 본 발명의 일 실시예에 따른 데이터베이스(미도시됨)는 본 발명을 구현하는 당업자의 필요에 따라 객체 추적 시스템(100)에 포함되어 구성되거나 객체 추적 시스템(100)과 별개로 구성될 수도 있을 것이다.

다음으로, 본 발명의 일 실시예에 따른 통신부(150)는 객체 추적 시스템(100)이 이동 통신 서버(미도시됨), 웹 서버(미도시됨) 등의 외부 장치와 통신할 수 있도록 하는 기능을 수행한다.

마지막으로, 본 발명의 일 실시예에 따른 제어부(160)는 객체 검출부(110), 블록 매칭부(120), 추적 방법 결정부(130), 상황 적응부(140) 및 통신부(150) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 제어부(160)는 외부로부터의 또는 객체 추적 시스템의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 객체 검출부(110), 블록 매칭부(120), 추적 방법 결정부(130), 상황 적응부(140) 및 통신 부(150)에서 각각 고유 기능을 수행하도록 제어한다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

도 1 및 도 2는 본 발명의 일 실시예에 따른 객체 추적 시스템의 내부 구성을 예시적으로 나타내는 도면이다.

도 3은 본 발명의 일 실시예에 따라 블록 매칭을 수행하는 구성을 예시적으로 나타내는 도면이다.

도 4는 본 발명의 일 실시예에 따라 객체 추적 방법을 결정하는 과정을 예시적으로 나타내는 상태도이다.

<주요 도면부호에 관한 간단한 설명>

100: 객체 추적 시스템

110: 객체 검출부

120: 블록 매칭부

130: 추적 방법 결정부

140: 상황 적응부

141: 임계치 조절부

142: 객체 움직임 추정부

143: 자동 갱신부

150: 통신부

160: 제어부

Claims

적응적으로 객체를 추적하는 방법으로서,

(a) 제1 프레임에서 특정 객체에 해당하는 영역을 가리키는 제1 블록과 제2 프레임에 포함되는 적어도 하나의 블록을 비교하여, 상기 제2 프레임에 포함되는 적어도 하나의 블록 중 상기 제1 블록과의 일치도가 가장 높은 블록을 상기 특정 객체에 해당하는 영역을 가리키는 제2 블록으로 결정하는 단계, 및

(b) 상기 제1 블록과 상기 제2 블록 사이의 일치도가 기설정된 임계값 미만이면, 객체 검출 기술을 이용하여 상기 제2 프레임의 적어도 일부 영역으로부터 상기 특정 객체를 검출하고 상기 검출된 특정 객체에 해당하는 영역을 기준으로 하여 상기 제2 프레임에서 상기 제2 블록을 재설정하는 단계

를 포함하는 방법.
제1항에 있어서,

상기 제1 및 제2 프레임은 시간적으로 서로 인접한 프레임인 것을 특징으로 하는 방법.
제1항에 있어서,

상기 (a) 단계에서,

상기 제1 블록은, 객체 검출 기술에 의하여 상기 제1 프레임의 전체 영역을 대상으로 하여 검출된 상기 특정 객체를 기준으로 하여 설정되는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 (a) 단계에서,

상기 제2 프레임에 포함되는 적어도 하나의 블록은, 상기 제2 프레임 중 상기 제1 프레임에서의 상기 제1 블록의 위치를 기준으로 하여 설정되는 탐색 영역 내에 존재하는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 일치도는 상기 제1 블록의 각 픽셀값과 상기 제2 블록의 각 픽셀값 사이의 제곱 거리 합(Sum of Squared Distance)을 참조로 하여 결정되는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 (b) 단계에서,

상기 제2 프레임의 적어도 일부 영역으로부터의 상기 특정 객체의 검출은, 상기 제2 프레임 중 상기 제1 프레임에서의 상기 제1 블록의 위치를 기준으로 하여 설정되는 탐색 영역에 대하여만 수행되는 것을 특징으로 하는 방법.
제6항에 있어서,

상기 (b) 단계에서,

상기 제2 프레임의 상기 탐색 영역으로부터 상기 특정 객체의 검출이 실패하면, 상기 제2 프레임의 전체 영역으로부터 상기 특정 객체를 검출하고 상기 제2 프레임의 전체 영역으로부터 검출된 상기 특정 객체에 해당하는 영역을 기준으로 하여 상기 제2 프레임에서 상기 제2 블록을 재설정하는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 (b) 단계는,

(b-1) 촬영 환경의 콘트라스트(contrast, 대조)에 따라 상기 기설정된 임계값을 적응적으로 결정하는 단계

를 포함하는 것을 특징으로 하는 방법.
제8항에 있어서,

상기 (b-1) 단계에서,

상기 콘트라스트가 클수록 상기 기설정된 임계값을 낮게 설정하는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 (b) 단계는,

(b-2) 상기 제2 프레임에서 블록 매칭 또는 객체 검출의 대상이 되는 영역을 설정함에 있어서 상기 특정 객체의 움직임을 추정하고 상기 추정된 움직임의 일부만을 반영하여 상기 영역을 설정하는 단계

를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 (b) 단계는,

(b-3) 상기 제1 프레임에 포함된 상기 특정 객체의 외관과 상기 제2 프레임에 포함된 상기 특정 객체의 외관 사이에 기설정된 정도를 초과하는 급격한 변화가 발생하면, 객체 검출 기술을 이용하여 상기 제2 프레임의 적어도 일부 영역으로부터 상기 특정 객체를 검출하고 상기 검출된 특정 객체에 해당하는 영역을 기준으로 하여 상기 제2 프레임에서 상기 제2 블록을 자동으로 재설정하는 단계

를 포함하는 것을 특징으로 하는 방법.
적응적으로 객체를 추적하는 시스템으로서,

동영상 프레임의 적어도 일부 영역으로부터 특정 객체를 검출하는 객체 검출부,

제1 프레임에서 특정 객체에 해당하는 영역을 가리키는 제1 블록과 제2 프레임에 포함되는 적어도 하나의 블록을 비교하여, 상기 제2 프레임에 포함되는 적어도 하나의 블록 중 상기 제1 블록과의 일치도가 가장 높은 블록을 상기 특정 객체 에 해당하는 영역을 가리키는 제2 블록으로 결정하는 블록 매칭부, 및

상기 제1 블록과 상기 제2 블록 사이의 일치도가 기설정된 임계값 미만이면, 상기 객체 검출부에 의하여 상기 제2 프레임의 적어도 일부 영역으로부터 검출되는 상기 특정 객체에 해당하는 영역을 기준으로 하여 상기 제2 프레임에서 상기 제2 블록을 재설정하는 추적 방법 결정부

를 포함하는 시스템.
제12항에 있어서,

상기 제1 및 제2 프레임은 시간적으로 서로 인접한 프레임인 것을 특징으로 하는 시스템.
제12항에 있어서,

상기 제1 블록은, 객체 검출 기술에 의하여 상기 제1 프레임의 전체 영역을 대상으로 하여 검출된 상기 특정 객체를 기준으로 하여 설정되는 것을 특징으로 하는 시스템.
제12항에 있어서,

상기 블록 매칭부에서,

상기 제2 프레임에 포함되는 적어도 하나의 블록은, 상기 제2 프레임 중 상기 제1 프레임에서의 상기 제1 블록의 위치를 기준으로 하여 설정되는 탐색 영역 내에 존재하는 것을 특징으로 하는 시스템.
제12항에 있어서,

상기 일치도는 상기 제1 블록의 각 픽셀값과 상기 제2 블록의 각 픽셀값 사이의 제곱 거리 합(Sum of Squared Distance)을 참조로 하여 결정되는 것을 특징으로 하는 시스템.
제12항에 있어서,

상기 추적 방법 결정부에서,

상기 제2 프레임의 적어도 일부 영역으로부터의 상기 특정 객체의 검출은, 상기 제2 프레임 중 상기 제1 프레임에서의 상기 제1 블록의 위치를 기준으로 하여 설정되는 탐색 영역에 대하여만 수행되는 것을 특징으로 하는 시스템.
제17항에 있어서,

상기 추적 방법 결정부는, 상기 제2 프레임의 상기 탐색 영역으로부터 상기 특정 객체의 검출이 실패하면, 객체 검출부에 의하여 상기 제2 프레임의 전체 영역으로부터 검출된 상기 특정 객체에 해당하는 영역을 기준으로 하여 상기 제2 프레임에서 상기 제2 블록을 재설정하는 것을 특징으로 하는 시스템.
제12항에 있어서,

촬영 환경의 콘트라스트(contrast, 대조)에 따라 상기 기설정된 임계값을 적응적으로 결정하는 임계값 조절부

를 더 포함하는 것을 특징으로 하는 시스템.
제19항에 있어서,

상기 임계값 조절부는, 상기 콘트라스트가 클수록 상기 기설정된 임계값을 낮게 설정하는 것을 특징으로 하는 시스템.
제12항에 있어서,

상기 제2 프레임에서 블록 매칭 또는 객체 검출의 대상이 되는 영역을 설정함에 있어서 상기 특정 객체의 움직임을 추정하고 상기 추정된 움직임의 일부만을 반영하여 상기 영역을 설정하는 객체 움직임 추정부

를 더 포함하는 것을 특징으로 하는 시스템.
제12항에 있어서,

상기 제1 프레임에 포함된 상기 특정 객체의 외관과 상기 제2 프레임에 포함된 상기 특정 객체의 외관 사이에 기설정된 정도를 초과하는 급격한 변화가 발생하면, 객체 검출 기술을 이용하여 상기 제2 프레임의 적어도 일부 영역으로부터 상기 특정 객체를 검출하고 상기 검출된 특정 객체에 해당하는 영역을 기준으로 하여 상기 제2 프레임에서 상기 제2 블록을 자동으로 재설정하는 자동 갱신부

를 더 포함하는 것을 특징으로 하는 시스템.
제1항 내지 제11항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.