KR100827846B1

KR100827846B1 - 동영상에 포함된 특정 인물을 검색하여 원하는 시점부터재생하기 위한 방법 및 시스템

Info

Publication number: KR100827846B1
Application number: KR1020070105043A
Authority: KR
Inventors: 류중희
Original assignee: (주)올라웍스
Priority date: 2007-10-18
Filing date: 2007-10-18
Publication date: 2008-05-07
Also published as: US20090116815A1; US8254752B2

Abstract

본 발명은 동영상에 나타나는 적어도 하나의 인물 중 특정 인물이 등장하는 장면을 선택적으로 재생하기 위한 방법 및 시스템에 관한 것으로서, 동영상에 포함된 인물의 얼굴을 얼굴 인식 기술에 의해 인식하여 등장 인물을 구별하는 단계; 등장 인물별로 썸네일 등의 식별자, 얼굴의 특성(feature) 데이터, 등장 인물이 나타나는 스타팅 시각과 엔딩 시각을 획득하는 단계; 동영상에 대한 재생 요청이 있으면, 등장 인물의 식별자를 디스플레이하는 단계; 및 식별자 중 특정 식별자가 포인팅 디바이스에 의해 선택되면, 특정 식별자에 해당되는 상기 특정 인물에 관하여 획득된 스타팅 시각에서부터 상기 동영상을 재생하는 단계로 이루어진다. 이러한 본 발명에 의하면, 다양한 동영상에서 특정 인물이 등장하는 장면을 신속히 서치하여 그 장면부터 동영상을 재생할 수 있도록 도와 주므로 사용자 편의적인 단말 장치를 구현할 수 있다.

얼굴 검출(face dectection), 얼굴 인식(face recognition), 장면 서치(scene search), 인물 서치(person search), 비디오 카메라(video camera)

Description

동영상에 포함된 특정 인물을 검색하여 원하는 시점부터 재생하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR REPLAYING A MOVIE FROM A WANTED POINT BY SEARCHING SPECIFIC PERSON INCLUDED IN THE MOVIE}

본 발명은 적어도 하나의 동영상 중 특정 하나를 재생함에 있어서 사용자가 특정 인물이 등장하는 장면을 보다 수월하게 서치하여 재생하기 위한 방법 및 시스템에 관한 것으로서, 구체적으로는, 대상 동영상에 대해 얼굴 검출(face detection), 얼굴 인식(face recognition), 얼굴 트래킹(face tracking) 기법을 적용하여 등장 인물에 대한 얼굴의 인식률을 높임으로써, 대상 동영상에서 특정 인물이 등장하는 장면을 신속히 서치하여 그 장면부터 동영상을 재생할 수 있도록 도와 주는 사용자 편의적인 방법 및 시스템에 관한 것이다.

근래에 들어 비디오 카메라, 디지털 캠코더 등의 촬영 전용 디지털 기기를 비롯하여, 촬영 가능한 장치가 내장된 이동통신 단말기 및 MP3 플레이어 등의 디지털 기기가 널리 보급되면서 동영상과 같은 디지털 데이터를 생성하는 사용자의 수가 크게 증가하게 되었다.

이에 따라, 생성되는 디지털 데이터의 양 역시 급증하게 되었으며, 방대해진 데이터의 양을 체계적으로 관리하고 이용할 수 있는 시스템 구축의 필요성이 요구되게 되었다.

이와 같은 디지털 데이터의 관리를 체계적으로 수행하고, 사용자가 보다 편리하게 디지털 데이터를 이용할 수 있도록 하기 위하여, 디지털 데이터 내의 인물 식별을 통해 태그를 부여하는 기술이 제안된 바 있으며, 보다 높은 정확도로 디지털 데이터로부터 태그를 추출하는 다양한 방법들이 시도되고 있다. 여기서, “태그”란 데이터에 대한 신속한 억세스 또는 검색을 위해 디지털 데이터에 부착되는 부가 데이터로 이해될 수 있으며, 일련의 문자, 숫자, 또는 문자 및 숫자의 조합으로 이루어지는 것이 일반적이다.

인물 식별을 통해 디지털 데이터에 태그를 부여하기 위해 필요로 되는 기술 중 하나로서 얼굴 검출(face detection) 기술을 일 예로 들 수 있다. 얼굴 검출 기술은 디지털 카메라나 캠코더 등의 촬영수단에 의해 포착된 사진 또는 동영상의 화질을 강화하기 위해 널리 채용되고 있는 기술로서, 별도로 마련된 버튼을 누르면 촬영 범위 내에 단일 또는 복수의 인물이 있는 경우 얼굴 부분을 자동으로 인식하여 초점과 노출을 조절하는 기능을 수행한다. 가령, 최근 소니(Sony)사, 후지필름(FujiFilm)사, 니콘(Nikon)사, 캐논(Canon)사 등이 앞다투어 선보이고 있는 얼굴 검출 기능이 부가된 촬영수단의 경우 상기의 기능을 사용하여 사진, 동영상 등을 편리하게 촬영하여 편집, 저장할 수 있다.

그러나, 상기와 같은 장점에도 불구하고, 비디오 카메라나 캠코더 등으로 복수의 이벤트(event)에 관련하여 각각의 동영상을 시간적으로 무작위로 이어서 생성 하였을 때 이러한 복수의 동영상 중 적어도 하나에 포함된 특정 인물이 등장하는 장면만을 선택하여 재생하고 싶을 경우, 또는 하나의 동영상 내에서 특정 인물만이 등장하는 장면만을 선택하여 재생하고 싶을 경우, 빨리감기나 되감기 등으로 그 위치를 일일이 찾아서 확인해야 한다는 단점이 존재하게 된다. 이러한 단점에 대한 보다 구체적인 내용은 이하에서 살펴본다.

첫째, 종래 기술에 의하면 어떤 이벤트에 관련된 동영상에 등장하는 복수의 인물 중 특정 인물이 나오는 장면만을 쉽게 찾아서 재생하기가 극히 곤란하다는 단점이 있다. 예를 들어, 오후 12:00부터 15:00까지 진행된 자녀의 생일잔치를 촬영수단으로 촬영하여 저장한 후, 이를 재생한다고 가정해 보자. 자녀의 생일잔치에 등장하는 인물은 자녀뿐만 아니라 가족, 친구들을 포함하여 많은 사람들이 있는데, 그 중 자신의 자녀가 나오는 장면만을 찾는 것(이를 “인물 서치(people search)”라고함)은 쉬운 일이 아니다. 특정 인물을 서치하기 위해서는, DVD player의 prev/next 버튼이나 비디오 레코더의 Rew/FF 버튼을 조작하여 특정 인물이 나오는 시간대를 체크해 두었다가(가령, 자녀가 12:00~12:20, 12:45~13:05, 14:40~15:00의 특정 시간대에 등장했다는 사실은 상기 버튼을 일일이 눌러가며 체크함으로써 비로소 알 수 있을 것이다) 그 시간대에 해당하는 장면을 별도로 찾아서 시청해야 하는데 이는 여간 번거로운 작업이 아니다.

둘째, 어떤 이벤트에 관련된 동영상에 어떠한 인물들이 어떠한 시간대에 등장하는지 전체적으로 파악하기가 곤란하다는 점을 들 수 있다. 가령, 상기 자녀의 생일잔치에 등장하는 인물이 누구인지, 어느 시간대에 어떠한 인물들이 등장하는지 또는 어느 시간대에 자신의 자녀와 자녀의 친구들이 동시에 등장하는지 등에 대한 정보를 찾기(이를 “인물 서치(scene search)”라고 함)가 어렵다는 점이다.

따라서, 본 발명의 목적은, 종래 기술의 문제점을 해결하고 사용자가 원하는 인물이 등장하는 장면부터 동영상을 편리하게 재생하기 위하여, 적어도 하나의 이벤트에 관련하여 생성된 적어도 하나의 동영상에서 특정 인물이 등장하는 장면만을 선택하여 손쉽게 재생할 수 있도록 하는 것이다.

더 나아가, 본 발명의 추가적인 목적은, 얼굴 검출, 얼굴 인식, 얼굴 트래킹 등의 기술을 동영상 기록 시에 실시간으로 적용하거나 이미 생성된 동영상에 대해 온라인 또는 오프라인 상에서 적용함으로써, 적어도 하나의 특정 이벤트에 관련되어 생성된 적어도 하나의 동영상에 어떠한 인물들이 어떠한 시간대에 등장하는지 일목요연하게 파악할 수 있는 사용자 인터페이스를 제공할 수 있도록 하는 것이다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 기능을 수행하기 위한, 본 발명의 특징적인 구성은 하기와 같다.

본 발명의 일 태양에 따르면, 동영상에 나타나는 적어도 하나의 인물 중 특정 인물이 등장하는 장면을 선택적으로 재생하기 위한 방법으로서, (a) 상기 동영상에 포함된 인물의 얼굴을 얼굴 인식 기술에 의해 인식하여 상기 동영상에 나타나는 등장 인물을 구별하는 단계; (b) 상기 구별된 등장 인물별로 상기 등장 인물의 식별자(identifier), 상기 등장 인물의 얼굴의 특성(feature) 데이터, 상기 등장 인물이 나타나는 시간대 정보 - 상기 시간대 정보는 스타팅 시각과 엔딩 시각을 포 함함 - 를 획득하는 단계; (c) 상기 동영상에 대한 재생 요청이 있으면, 상기 등장 인물마다 상기 식별자를 디스플레이하는 단계; 및 (d) 상기 식별자 중 특정 식별자가 포인팅 디바이스에 의해 선택되면, 상기 특정 식별자에 해당되는 상기 특정 인물에 관하여 획득된 상기 시간대 정보에 포함된 상기 스타팅 시각에서부터 상기 동영상을 재생하는 단계를 포함하는 방법을 제공한다.

본 발명의 다른 태양에 따르면, 동영상에 나타나는 적어도 하나의 인물 중 특정 인물이 등장하는 장면을 선택적으로 재생하기 위한 시스템으로서, 상기 동영상에 포함된 인물의 얼굴을 얼굴 인식 기술에 의해 인식하여 상기 동영상에 나타나는 등장 인물을 구별하고, 상기 구별된 등장 인물별로 상기 등장 인물의 식별자, 상기 등장 인물의 얼굴의 특성 데이터, 상기 등장 인물이 나타나는 시간대 정보 상기 시간대 정보는 스타팅 시각과 엔딩 시각을 포함함 - 를 획득하는 등장 인물 식별부; 상기 등장 인물별로 상기 식별자, 상기 특성 데이터, 상기 시간대 정보를 저장하는 등장인물정보 DB; 상기 동영상에 대한 재생 요청이 있으면, 상기 등장 인물의 식별자를 디스플레이하는 인터페이스부; 및 상기 식별자 중 특정 식별자가 포인팅 디바이스에 의해 선택되면, 상기 특정 식별자에 해당되는 상기 특정 인물에 관하여 획득된 상기 시간대 정보에 포함된 상기 스타팅 시각에서부터 상기 동영상의 재생을 명령하는 제어부를 포함하는 시스템을 제공한다.

본 발명에 따르면, 장면 서치(scene search) 모드에서는 적어도 하나의 동영상을 재생함에 있어서 각각의 동영상에 나타나는 등장 인물들과 상기 등장 인물들 이 등장하는 시간대(또는 시간 클러스터)를 리스팅하여 디스플레이해 주는 인터페이스를 제공하므로, 동영상별로 각각 등장 인물들의 나열을 참조하여 각각의 등장 인물들이 각 동영상에 있어서 처음 등장하기 시작하는 시점부터 재생하기가 수월하다는 효과가 있다.

또한, 본 발명에 따르면, 인물 서치(person search) 모드에서는 영상 기록 장치에 저장된 적어도 하나의 동영상에 포함된 특정 인물에 대한 적어도 하나의 썸네일 등의 식별자 및 상기 특정 인물이 등장하는 적어도 하나의 시간대를 리스팅하여 디스플레이해 주는 인터페이스를 제공하므로, 사용자가 관심을 가지고 있는 특정 인물의 등장 화면만을 전체적으로 선택하여 재생하기가 수월하다는 효과가 있다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된 다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일 또는 유사한 기능을 지칭한다.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하도록 한다.

도 1은 본 발명의 실시예에 따라, 동영상에 등장하는 인물의 얼굴을 검출 및 인식함으로써, 등장 인물들 전부 또는 일부가 상기 동영상에서 나타나는 시간대를 등장 인물별로 리스팅하여 원하는 시점에서 재생하기 편하도록 도와주는 전체 시스템(100)의 구성도이다.

도 1에 도시되어 있는 바와 같이, 전체 시스템(100)은 얼굴 검출부(110), 얼굴 인식부(120), 동영상 저장부(130), 등장인물정보 DB(140), 인터페이스부(150), 통신부(160), 제어부(170) 등을 포함할 수 있다.

본 발명의 일 실시예에 따르면, 얼굴 검출부(110), 얼굴 인식부(120), 동영상 저장부(130), 등장인물정보 DB(140), 인터페이스부(150), 통신부(160)는 그 중 적어도 일부가 비디오 레코더, 캠코더, 핸드폰, PC캠 등의 다양한 사용자 단말 장치에 포함되거나 사용자 단말 장치와 통신하는 프로그램 모듈들일 수 있다. 뿐만 아니라, 본 발명의 다른 실시예에 따르면, 얼굴 검출부(110), 얼굴 인식부(120), 동영상 저장부(130), 등장인물정보 DB(140), 인터페이스부(150), 통신부(160)는 그 중 적어도 일부가 서버에 포함되거나 서버와 통신하는 프로그램 모듈들일 수 있으며, 본 발명의 또 다른 실시예에 따르면, 얼굴 검출부(110), 얼굴 인식부(120), 동 영상 저장부(130), 등장인물정보 DB(140), 인터페이스부(150), 통신부(160)는 그 중 일부는 단말 장치에 포함되고 그 중 일부는 서버에 포함될 수도 있을 것이다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 포함될 수 있으며, 물리적으로 여러가지 공지의 기억 장치 상에 저장될 수도 있다. 또한, 이러한 프로그램 모듈들은 사용자 단말 장치 또는 서버와 통신 가능한 원격 기억 장치에 저장될 수도 있다. 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다. 한편, 후술하는 얼굴 검출부(110), 얼굴 인식부(120)는 얼굴 검출 및 인식의 기능을 수행하기 위해 편의상 분류한 것이므로, 반드시 이에 한정되는 것은 아님을 밝혀둔다.

얼굴 검출부(110)는 비디오 레코더 등에 의해 동영상을 생성하면서 실시간으로 동영상에 찍히는 인물들의 얼굴 영역을 검출할 수도 있고 이미 생성된 동영상에 대해 상기 동영상에 등장하는 인물들에 대한 얼굴 영역을 검출할 수도 있다. 동영상 생성이나 동영상 재생, 또는 동영상에 대한 그 밖의 다양한 프로세스 진행 중, 특정 인물에 대한 얼굴 영역이 검출되면, 상기 검출된 얼굴 영역을 주기적 또는 비주기적인 시간 간격으로 트래킹(또는 추적)해 가면서 상기 특정 인물에 대한 얼굴 영역을 수시로 검출할 수 있다. 이에 대해서는 도 2를 참조로 이하에서 설명한다.

도 2는 얼굴 검출 및 얼굴 트래킹 기술을 사용하여 얼굴의 인식률을 높이기 위한 방법을 도시한 도면이다.

도 2를 참조하면, 등장 인물의 얼굴이 검출되면 상기 얼굴에 대한 트래킹 작업을 수행하면서 정기적 또는 비정기적으로 상기 얼굴에 대한 재검출을 수행할 수 있는데, 이러한 검출 및 트래킹 기술을 이용하면 등장 인물의 다양한 표정 및 얼굴의 각도에도 불구하고 얼굴의 인식율을 높일 수 있다는 장점이 있다.

한편, 얼굴 인식부(120)는 상기 얼굴 검출부(110)에 의해 검출된 등장 인물들의 얼굴 영역에 포함된 얼굴에 대해 얼굴 인식 기술을 적용하여 상기 인물의 정체를 알아내는 기능을 수행한다.

이러한 얼굴 검출 및 인식 기술에 있어서, 주요 구성요소 분석법(principal component analysis), 선형 판별법(linear discriminant analysis) 등의 방법을 상정해 볼 수 있고, W. Zhao, R. Chellappa, A. Rosenfeld, P.J. Phillips가 저술하고, 2003년 ACM Computing Surveys에 게재된 논문인 “Face Recognition：A Literature Survey”또는 W.S. Yambor가 저술하고, 2000년 콜로라도 주립대학 컴퓨터 사이언스 학부의 Technical Report에 게재된 논문인 “Analysis of PCA-based and Fisher Discriminant-Based Image Recognition Algorithms”등에 개시된 관련 기술을 예로서 고려할 수 있을 것이다.

구체적으로, 얼굴 인식을 수행함에 있어서, 눈, 코, 입, 얼굴의 윤곽, 머리카락 등의 특성(feature)을 참조로 하여 등장인물정보 DB(140)에 이미 저장되어 있는 인물들의 특성과의 비교를 통한 얼굴 매칭 과정을 수행함으로써, 얼굴 인식률을 높일 수 있다.

이러한 얼굴의 특성을 참조로 한 얼굴 매칭과 관련된 기술로서, Baker, S. 외 1인이 저술하고, 2004년 IJCV(Internation Journal of Computer Vision)에 게재된 논문인 “Lucas-Kanade 20 Years On: A Unifying Framework”를 예로 들 수 있다. 상기 논문은 템플릿 매칭 방법을 이용하여 인물의 얼굴이 포함된 이미지로부터 눈의 위치를 효율적으로 검출할 수 있는 방법에 대하여 기재하고 있다.

얼굴 검출부(110) 및/또는 얼굴 인식부(120)는 이와 같은 기술에 의해 검출된 눈의 위치에 기초하여 코와 입의 위치를 추정할 수 있으며, 이와 같이 추출된 눈, 코, 입 등의 부분을 등장인물정보 DB(140) 등에 포함된 눈, 코, 입 등에 관한 이미지와 비교하여 얼굴 인식률을 높일 수 있다.

여기서, 눈, 코, 입 등의 각 부위의 검색 방법은 얼굴의 검색 방법과 같이 P. N. Belhumeur 외 2인이 저술하고, 1997년 IEEE TRANSACTIONS ON PATTERN ALAYSIS AND MACHINE INTELLIGENCE에 게재된 논문인 “Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection”에 개시된 “선형 판별법”등의 기술을 사용하여 행하여질 수 있다.

상기와 같은 방법으로 행하여진 얼굴의 각 부위의 유사도로부터 가중치 합(weighted sum) 등을 이용하여 전체 얼굴의 유사도를 구할 수 있을 것이다. 여기서, 각 부위의 가중치는 인간 인지(human perception)에서의 중요성에 기반하여 정해질 수 있다.

동영상 저장부(130)는 비디오 레코더 등으로 생성한 동영상들 또는 서버나 단말로부터 수신한 동영상들이 저장되는 기록 매체 등으로 구현 가능하다. 한편, 동영상 스트리밍 등과 같은 경우에는 동영상 저장부(130)에 저장되지 않을 수도 있 지만, 이 경우에도 이하에서 설명될 본 발명의 프로세스를 적용하는데 아무런 문제가 없음은 물론이다.

등장인물정보 DB(140)에는 상기 동영상 저장부(130)에 저장된 동영상(또는, 상기 동영상 저장부(130)에 저장되지 않은 기타 동영상)에 등장하는 인물들의 썸네일, 상기 인물들 각각의 특성(feature) 데이터, 상기 인물들이 등장하는 시간대에 관한 정보(일명, 클러스터 정보)가 저장되어 있다.

여기서, 상기 동영상들에 등장하는 인물들의 썸네일은 각각의 인물이 어느 동영상에 처음 등장하는 시점의 이미지로 결정할 수 있고, 한 동영상 내에서도 오래 동안 등장하지 않다가 다시 등장하는 시점의 이미지로 결정할 수 있다. 물론 이에 한정되는 것이 아님은 물론이다. 또한, 상기 특성 데이터는 상기에서 언급한 바와 같은 각 얼굴의 눈, 코, 입 등의 특성에 대한 데이터를 포함할 수 있으며, 상기 클러스터 정보는 각 인물이 연속적으로 등장하는 시간대 정보, 즉 스타팅 시각(starting time)과 엔딩 시각(ending time)을 포함할 수 있다. 여기서, 연속적으로 등장한다는 말은 무조건 계속 화면에 등장해야 된다는 의미는 아니며, 특정 임계 시간을 정하여 상기 특정 임계 시간보다 작은 시간 범위 동안 화면에 나타나지 않아도 이를 연속적이라고 간주할 수 있음은 물론이다.

등장인물정보 DB(140)는, 동영상을 생성하는 도중에 실시간으로 또는 이미 생성된 동영상에 대해 비(非)실시간으로 인물을 검출하고 인식해 나가면서 채워가게 된다.

예를 들면, 동영상을 생성하는 도중 또는 동영상의 재생, 그 밖의 재생에 준 하는 처리 도중에 얼굴 인식부(120)가 인식한 특정 얼굴을 상기 동영상 내에 처음으로 등장한 인물로서 판단하는 경우, 상기 처음으로 등장한 특정 인물의 썸네일을 실시간 또는 비실시간으로 등장인물정보 DB(140)에 기록할 수 있고, 한 동영상 내에서 특정 인물이 특정 임계 시간 이상으로 오래 동안 등장하지 않다가 다시 등장하기 시작하는 경우에도, 상기 다시 등장하기 시작하는 시점의 상기 특정 인물의 썸네일을 등장인물 정보 DB(140)에 기록할 수 있다.

또한, 화면 상에 처음으로 등장한 인물 또는 예전에 이미 등장한 인물의 얼굴의 다양한 각도 및 다양한 표정으로부터 획득될 수 있는 특성 데이터를 등장인물정보 DB(140)에 기록할 수 있으며, 인물이 연속적으로 등장하는 시간대인 클러스터 정보에 대해서도 등장인물정보 DB(140)에 기록할 수 있다. 여기서, 클러스터 정보는 스타팅 시각과 엔딩 시각에 대한 정보를 포함해야 하는데, 특정 인물이 연속적으로 등장하는 중간에는 엔딩 시각을 알 수 없으므로, 상기 특정 인물이 특정 임계 시간 이상으로 등장하지 않고 있음을 실시간으로 감지한 경우 상기 특정 인물이 마지막으로 등장한 시각을 엔딩 시각으로 결정하여 등장인물정보 DB(140)에 기록할 수 있다. 이에 대해서는 이하에서 도 3을 참조로 자세히 설명될 것이다.

이러한 등장인물정보 DB(140)는 협의의 데이터베이스뿐만 아니라, 파일 시스템에 기반한 데이터 기록 등을 포함하는 넓은 의미의 데이터베이스도 포함한다. 등장인물정보 DB(140)는 시스템(100) 내에 포함되어 있을 수도 있으나, 시스템(100)과 통신 가능한 원격 기억 장치에 존재할 수도 있을 것이다.

한편, 인터페이스부(150)는 얼굴 검출부(110) 및 얼굴 인식부(120)에 의해 인식된 인물들의 썸네일 및 상기 인물들이 등장하는 시간대에 관한 클러스터 정보를 사용자의 단말기에 디스플레이하고, 사용자가 인물들 중 어느 한 명을 선택함으로써 해당 인물이 등장하는 시간대의 동영상을 손쉽게 시청할 수 있도록 해 준다.

통신부(160)는 시스템(100) 내부의 각 구성 모듈 사이의 신호를 송수신하거나 다양한 외부 장치와의 데이터 송수신을 수행하는 것을 담당한다.

본 발명에 따른 제어부(170)는 얼굴 검출부(110), 얼굴 인식부(120), 동영상 저장부(130), 등장인물정보 DB(140), 인터페이스부(150), 통신부(160) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 본 발명에 따른 제어부(170)는 통신부(160)를 통하여 각 구성 모듈 간에 송수신되는 신호를 제어함으로써, 얼굴 검출부(110), 얼굴 인식부(120), 동영상 저장부(130), 등장인물정보 DB(140), 인터페이스부(150)에서 각각의 고유의 기능을 수행하도록 제어한다.

도 3은 본 발명에 따라, 상기 동영상에 등장하는 인물의 썸네일 정보, 특성 데이터, 클러스터 정보를 클리핑(clipping)하는 예를 도시한 도면이다.

여기서 클리핑이란 얼굴 검출 및 인식 기술 등을 이용하여 동영상에 등장하는 각 인물들의 썸네일 이미지, 특성 데이터, 클러스터 정보 등을 등장인물정보 DB(140)에 저장 및 관리하는 기술의 총체라고 말할 수 있다.

도 3을 참조하면, 동영상은 2007년 08월 15일의 오후 18:04~18:29 사이에 생성되어 동영상 저장부(130)에 저장된다. 아울러, 앞서 언급한 바와 같이 상기 동영상에 등장하는 인물들의 썸네일 이미지, 특성 데이터, 클러스터 정보 등이 등장인물정보 DB(140)에 저장될 것이다.

동영상에 A라는 인물은 오후 18:04~18:17에 등장하는데, 오후 18:04 당시에 동영상을 생성하는 와중에 화면에 나타난 인물에 대하여 다양한 얼굴 인식 기술을 적용하여 인식된 정체는 A라는 것을 알 수 있고, A는 본 동영상에서 오후 18:04에 처음 등장하는 것이므로 오후 18:04 에서의 A의 인물 이미지로부터 썸네일을 생성하여 등장인물정보 DB(140)에 저장하고, A가 연속적으로 등장하는 시간대의 스타팅 시각과 엔딩 시각에 해당하는 시각, 즉 오후 18:04와 18:17에 관한 정보가 등장인물정보 DB(140)에 저장된다.

이 때, A라는 인물이 연속적으로 등장하는지의 여부는 얼굴 인식 기술을 바탕으로 수행되며, 이 때 ‘연속적’의 개념은 앞서 언급된 바와 같다. 이에 대해 보다 구체적으로 살펴보기 위해 도 3의 참조번호 30을 참조하면, A라는 인물이 일정 시간 동안 등장하지 않는 시간 갭(time gap)의 개념을 도시하고 있음을 알 수 있는데, 이러한 시간 갭이 특정 임계 시간을 넘어가면 A라는 인물이 연속적으로 등장하지 않는 것으로 간주할 수 있다.

도 3을 참조하면, A라는 인물이 오후 18:14 경에 등장을 멈추고 수 분이 경과 후 다시 등장하여 오후 18:17까지 등장하는 것으로 나타나는데, 잠깐 등장을 멈춘 상태인 시간 갭이 특정 임계 시간을 넘지 않는다면 자동 스티칭 알고리즘(automatic stitching algorithm) 등을 사용하여 클러스터를 분리하지 않고 오후 18:04 부터 오후 18:17 까지를 A 인물에 해당되는 하나의 클러스터로 간주할 수 있다. 물론, 상기 시간 갭이 특정 임계 시간을 넘는다면 이를 별개의 클러스터로 간주하여 등장인물정보 DB(140)에 각각의 클러스터의 스타팅 시각 및 엔딩 시각을 기 록할 수 있을 것이다. 이와 같이, 나머지 등장 인물인 B, C, D 등에 대해서도 같은 작업을 수행할 수 있음은 물론이다.

자동 스티칭 알고리즘과 관련된 종래 기술의 일 예로, Yang Linhong, Masaahito Hirakawa가 공동으로 저술한 논문인 ‘A Stitching Algorithm of Still Pictures with Camera Translation’등을 참조할 수 있을 것이다. 하지만, 자동 스티칭 알고리즘의 예는 이에 한정되는 것은 아니며, 다양한 변형예를 상정할 수 있음은 물론이다.

비록 도 3에는 오후 18:04~18:29 시간대에 촬영된 하나의 동영상 내에 등장하는 인물 A, B, C, D 등의 클러스터 정보만이 도시되고 있지만, 상기 동영상의 촬영 전 또는 촬영 후에 또 다른 이벤트에 관련하여 촬영한 별개의 동영상이 생성되어 있는 경우에는 상기 인물 A, B, C, D 및/또는 상기 또 다른 이벤트에 등장하는 다른 인물, 가령 E, F, G 등의 인물 각각에 대해서 썸네일 정보, 특성 데이터, 클러스터 정보가 등장인물정보 DB(140)에 기록되어 있을 수 있고 사용자의 요청이 있을 시 이를 등장인물정보 DB(140)로부터 읽어들여 화면에 디스플레이하도록 할 수 있음은 물론이다.

도 4는 본 발명에 따른 시스템(100)을 이용하여 장면 서치(scene search)와 인물 서치(person search)가 이루어지는 예를 도시한 도면이다.

도 4를 참조하면, 장면 서치 화면(40) 및 인물 서치 화면(45)이 화면에 디스플레이되는 예를 보여주고 있다.

구체적으로, 장면 서치 화면(40)은 섹션(section) 영역(40a), 리스트 영 역(40b) 등을 포함할 수 있으며, 인물 서치 화면(45)은 리스트 영역(45a) 등을 포함할 수 있다.

여기서, 섹션 영역(40a)은 도 4에서와 같이 두 개 이상일 수도 있지만, 한 개일 수도 있으며, 섹션 영역(40a)이 두 개 이상인 경우는 다른 장소 또는 다른 시간에 촬영된 동영상이 두 편 이상이라는 의미이며, 섹션 영역(40a)이 한 개인 경우는 한 편의 동영상만이 촬영되었다는 의미로 볼 수 있다.

도 4의 섹션 영역(40a)을 살펴보면, 2007년 8월 15일의 오후 18:04~18:29 시간대에 촬영한 제1 동영상과 2007년 10월 17일의 오전 11:40~11:47 시간대에 촬영한 제2 동영상이 동영상 저장부(130)에 저장되어 있음을 알 수 있다.

또한, 리스트 영역(40b)은 각 동영상에 해당되는 섹션 영역(40a)마다 존재할 수 있으며, 리스트 영역(40b)에는 해당 동영상에 등장하는 인물들의 썸네일 및/또는 상기 인물들이 등장하는 시간대에 대한 정보를 디스플레이해 준다. 이와 같이 리스트 영역(40b)에 디스플레이되는 정보는 앞서 언급된 바와 같은 실시간 또는 비실시간 프로세스를 거쳐 획득될 수 있을 것이다.

한편, 장면 서치 화면(40)의 리스트 영역(40b)에 열거된 각 인물의 썸네일 중 상기 제1 동영상의 가장 좌측의 썸네일(이에 해당되는 인물을 A라고 함)을 선택하는 경우, 도 4의 인물 서치 화면(45)에서 볼 수 있듯이, 기록된 모든 동영상(즉, 제1 및 제2 동영상) 중 적어도 한 편에 등장하는 얼굴의 이미지 중 상기 인물 A의 얼굴과 가장 유사도가 높은 얼굴 이미지의 순서로 썸네일을 디스플레이해 줄 수 있다. 마찬가지로 이러한 썸네일들은 앞서 언급된 바와 같은 프로세스를 거쳐 획득 될 수 있을 것이다. 물론, 얼굴 인식률이 상당히 높다면, 인물 서치 화면(45)에 디스플레이되는 썸네일은 전부 A의 얼굴 이미지일 것이다. 즉, A에 해당되는 클러스터 정보마다 대응되는 썸네일이 디스플레이될 것이다.

요컨대, 장면 서치 화면(40)의 리스트 영역(40b)에 디스플레이되는 복수의 인물 중 시청을 원하는 인물의 썸네일을 선택함으로써, 상기 선택된 인물이 복수의 동영상에 등장하는 시간대, 즉 클러스터 정보, 및/또는 해당 썸네일을 획득하여 인물 서치 화면(45)의 리스트 영역(45a)에 디스플레이할 수 있게 된다. 이 때, 인물 서치 화면(45)의 리스트 영역(45a)에 선택된 인물에 대한 썸네일 및/또는 클러스터 정보를 디스플레이함에 있어서, 특정 동영상에 포함된 썸네일 및/또는 클러스터 정보만을 제공해 줄 수도 있는 등 다양한 변형예가 존재할 수 있음은 물론이다.

한편, 장면 서치 화면(40)의 제1 동영상의 리스트 영역(40b)의 가장 좌측 썸네일에 포함된 인물(즉, 인물 A)와 제1 동영상의 리스트 영역(40b)의 가장 우측 썸네일에 포함된 인물(즉, 인물 A′)은 동일 인물일 수도 있으며, 이는 하나의 동영상 내에 동일 인물이 두 개의 클러스터를 가지는 경우에 해당될 것이다.

다른 변형예로, 하나의 동영상 내에 동일 인물이 복수 개의 클러스터를 가지는 경우에 제일 앞 클러스터에 해당되는 썸네일만 리스트 영역(40b)에 도시할 수도 있으며, 이 때에는 상기 썸네일을 선택한 경우 인물 서치 화면(45)의 리스트 영역(45a)에 상기 인물의 상기 복수 개의 클러스터를 전부 디스플레이해 주는 형식을 취함으로써 마찬가지의 정보를 획득할 수 있을 것이다.

도 4의 인물 서치 화면(45)을 참조하면, 인물 A는 2007년 8월 15일에 촬영된 제1 동영상에서 오후 18:04~18:17 시간대 및 18:25~18:29 시간대에 등장하고, 2007년 10월 17일에 촬영된 제2 동영상에서 오전 11:40~11:43 시간대에 등장하는데, 이와 같은 인물 A에 관한 세 개의 클러스터 중 어느 하나가 선택되면 해당 부분부터 재생이 가능함은 물론이다.

도 5를 참조하면, 비디오 리코더 등을 통한 일반적인 재생 화면(50)이 도시되어 있다. 이러한 화면(50)은 재생되기 전의 정지 화면일 수도 있고, 재생되는 중의 화면일 수도 있으며, 재생되는 중간에 중지된 화면일 수도 있다. 이와 같은 화면(50)의 우측 하단에는 “Person”이라고 쓰여진 버튼이 존재하는데, 이 버튼을 선택하면 도 4에 도시된 바와 같은 해당 동영상에 대한 장면 서치 화면(40)이 디스플레이된다. 참고로, 도 5에서는 장면 서치 화면(40)의 섹션 영역(40a)이 하나만 존재하는 것으로 도시하였다. 이러한 장면 서치 화면(40)의 하단에는 화면(50)으로 되돌아갈 수 있는 “Back” 버튼이 있고, 도 4에 도시된 바와 같은 인물 서치 화면(45)을 띄울 수 있는 “Similar” 버튼이 있으며, “Back” 버튼과 “Similar” 버튼 사이에는 특정 썸네일에 해당되는 클러스터를 재생할 수 있는 재생 버튼이 존재한다. 상기 재생 버튼은 인물 서치 화면(45)의 하단에도 존재하며 이와 같은 재생 버튼을 선택하면 화면(55)이 제공되며, 이러한 화면(55)에는 선택된 썸네일에 해당되는 클러스터를 재생할 수 있는 “Continue” 버튼과 장면 서치 화면(40) 또는 인물 서치 화면(45)으로 되돌아 갈 수 있는 “Back to list” 버튼이 존재한다. 이와 같은 사용자 인터페이스의 예는 이에 한정되지 않으며 다양한 변형예를 포함할 수 있음은 물론이다.

한편, 본 발명은 상기에서 살펴본 바와 같이 실시간으로 비디오 데이터를 처리하는 경우뿐만 아니라, 실시간이 아닌 상태에서 비디오 데이터를 처리하는 경우에도 적용되는데, 이와 같은 실시간 및 비실시간 처리에 대한 용어는 보다 구체적으로 다음과 같이 정의될 수 있을 것이다.

즉, 특정 비디오 데이터에 대한 하나의 프레임의 처리 속도가 상기 특정 비디오 데이터의 프레임 간격보다 같거나 짧으면 실시간 처리라고 할 수 있으며, 특정 비디오 데이터에 대한 하나의 프레임의 처리 속도가 상기 특정 비디오 데이터의 프레임 간격보다 길면 비실시간 처리라고 할 수 있을 것이다.

예를 들어, 한 프레임을 처리하는 시간이 1/5 초이고 입력 비디오가 5 frames/sec 라면 실시간 인덱싱으로 볼 수 있지만, 한 프레임을 처리하는 시간이 1/5 초이고 입력 비디오가 30 frames/sec 라면 비실시간 인덱싱이라 할 것이다.

한편, 상기의 비실시간 인덱싱 방법은 온라인에서 수행되는 경우와 오프라인에서 수행되는 경우가 있을 수 있다. 우선, 온라인에서 수행되는 경우에는 현재 처리하는 프레임과 그 이전의 프레임들에 대해서만 그 정보를 알고 있는 경우인데, 이와 같이 앞으로 어떤 데이터가 입력될 지 알 수 없는 상황에서 하나의 프레임의 처리 속도가 비디오 데이터의 프레임 간격보다 길 경우가 이에 해당될 것이다. 또한, 오프라인에서 수행되는 경우에는 온라인과 달리 비디오 데이터 전체를 미리 알고 있는 경우일 것이다. 이와 같은 비실시간으로 비디오 데이터를 처리하는 경우에도, 동영상에 나타나는 등장 인물들과 상기 등장 인물들이 등장하는 시간대를 리스팅하여 디스플레이해 줌으로써, 각각의 등장 인물들이 각 동영상에 있어서 처음 등장하기 시작하는 시점부터 재생하기가 수월하다는 효과를 마찬가지로 달성할 수 있을 것이다.

한편, 본 발명은 도 4 및 도 5에 도시된 바와 같이 각 등장인물의 썸네일을 화면 상에 표시할 수도 있지만, 등장인물의 이름, ID, 전화번호, 이메일 등과 같이 각 등장인물의 다양한 식별자(identifier)를 이용하여 표시할 수도 있음은 물론이다.

본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

도 1은 본 발명의 실시예에 따라, 비디오 레코더 등에 의해 동영상을 생성하는 중에 자동 및 실시간으로 인물의 얼굴을 검출 및 인식함으로써, 등장 인물들 전부 또는 일부가 상기 동영상에서 나타나는 시간대를 등장 인물별로 리스팅하여 원하는 시점에서 재생하기 편하도록 도와주는 전체 시스템(100)의 구성도이다.

도 3은 본 발명에 따라, 동영상 생성 중에 상기 동영상에 등장하는 인물의 썸네일 정보, 특성 데이터, 클러스터 정보를 실시간 클리핑(clipping)하는 예를 도시한 도면이다.

도 5는 본 발명에 따른 시스템(100)을 이용하여 장면 서치와 인물 서치 기능을 제공하기 위한 사용자 인터페이스(User Interface)의 예를 도시한 도면이다.

<도면의 주요 부분에 대한 부호의 설명>

100 : 본 발명의 시스템

110 : 얼굴 검출부

120 : 얼굴 인식부

130 : 동영상 저장부

140 : 등장인물정보 데이터베이스

150 : 인터페이스부

160 : 통신부

170 : 제어부

30 : 시간 갭(gap)

40 : 장면 서치 화면

40a : 섹션(section) 영역

40b : 리스트 영역

45 : 인물 서치 화면

45a : 리스트 영역

50 : 화면

55 : 화면

Claims

동영상에 나타나는 적어도 하나의 인물 중 특정 인물이 등장하는 장면을 선택적으로 재생하기 위한 방법으로서,

(a) 상기 동영상에 포함된 인물의 얼굴을 얼굴 인식 기술에 의해 인식하여 상기 동영상에 나타나는 등장 인물을 구별하는 단계;

(b) 상기 구별된 등장 인물별로 상기 등장 인물의 식별자(identifier), 상기 등장 인물의 얼굴의 특성(feature) 데이터, 상기 등장 인물이 나타나는 시간대 정보 - 상기 시간대 정보는 스타팅 시각과 엔딩 시각을 포함하고, 상기 등장 인물이 특정 임계 시간 이상으로 계속해서 등장하지 않는 경우, 상기 엔딩 시각은 상기 등장 인물이 마지막에 등장했던 시각으로 결정됨 - 를 획득하는 단계;

(c) 상기 동영상에 대한 재생 요청이 있으면, 상기 등장 인물마다 상기 식별자를 디스플레이하는 단계; 및

(d) 상기 식별자 중 특정 식별자가 포인팅 디바이스에 의해 선택되면, 상기 특정 식별자에 해당되는 상기 특정 인물에 관하여 획득된 상기 시간대 정보에 포함된 상기 스타팅 시각에서부터 상기 동영상을 재생하는 단계

를 포함하는 방법.
제1항에 있어서,

상기 (a) 및 상기 (b) 단계는,

상기 동영상을 동영상 리코더에 의해 생성하면서 실시간으로 수행되는 것을 특징으로 하는 방법.
제2항에 있어서,

상기 (a) 단계는,

상기 인물의 얼굴을 인식하기 위하여, 상기 동영상이 생성되고 있을 때 실시간으로 상기 비디오 카메라의 화면에 디스플레이되는 인물의 얼굴을 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
제3항에 있어서,

상기 (a) 단계는,

상기 인물의 얼굴을 인식하기 위하여, 상기 동영상이 생성되고 있을 때 실시간으로 상기 인물의 얼굴이 검출되면, 주기적 또는 비주기적인 시간 간격으로 상기 검출된 얼굴을 트래킹(tracking)하는 단계를 포함하는 것을 특징으로 하는 방법.
시계열적으로 연속된 복수의 프레임을 포함하는 동영상에 나타나는 적어도 하나의 인물 중 특정 인물이 등장하는 장면을 선택적으로 재생하기 위한 방법으로서,

(a) 상기 동영상의 특정 프레임에 포함된 인물의 얼굴을 얼굴 인식 기술에 의해 인식하여 상기 동영상에 나타나는 등장 인물을 구별하는 단계;

(b) 상기 구별된 등장 인물별로 상기 등장 인물의 식별자(identifier), 상기 등장 인물의 얼굴의 특성(feature) 데이터 - 상기 특성 데이터는 상기 동영상 데이터로부터 검출된 얼굴을 주기적 또는 비주기적인 시간 간격으로 트래킹 작업을 수행하여 획득되는 상기 얼굴의 적어도 일부에 대한 특성을 포함하고, 상기 특성 데이터는 상기 특정 프레임 보다 시간적으로 후행하는 프레임에 포함된 상기 등장 인물을 구별하는데 사용됨 -, 상기 등장 인물이 나타나는 시간대 정보 - 상기 시간대 정보는 스타팅 시각과 엔딩 시각을 포함함 - 를 획득하는 단계;

(c) 상기 동영상에 대한 재생 요청이 있으면, 상기 등장 인물마다 상기 식별자를 디스플레이하는 단계; 및

(d) 상기 식별자 중 특정 식별자가 포인팅 디바이스에 의해 선택되면, 상기 특정 식별자에 해당되는 상기 특정 인물에 관하여 획득된 상기 시간대 정보에 포함된 상기 스타팅 시각에서부터 상기 동영상을 재생하는 단계

를 포함하는 방법.
제4항에 있어서,

상기 식별자는 상기 등장인물에 관한 썸네일인 것을 특징으로 하는 방법.
제6항에 있어서,

상기 (c) 단계는,

상기 썸네일 및 상기 시간대 정보를 동시에 디스플레이하는 것을 특징으로 하는 방법.
제7항에 있어서,

상기 (b) 단계는,

상기 등장 인물의 썸네일을 상기 등장 인물에 해당되는 상기 스타팅 시각에서의 상기 등장 인물의 정지 이미지로 정하는 것을 특징으로 하는 방법.
삭제
제8항에 있어서,

상기 (b) 단계는,

상기 등장 인물이 상기 특정 임계 시간 미만으로 계속해서 등장하지 않는 경우, 상기 시간대 정보의 상기 엔딩 시각은 미정(未定) 상태인 것을 특징으로 하는 방법.
제10항에 있어서,

상기 (b) 단계는,

상기 등장 인물이 상기 특정 임계 시간 미만으로 계속해서 등장하지 않는 타임 갭이 존재하는 경우, 자동 스티칭 알고리즘(automatic stitching algorithm)에 의해 상기 타임 갭을 무시하는 것을 특징으로 하는 방법.
제11항에 있어서,

상기 (b) 단계는,

상기 동영상 리코더에 의해 생성된 동영상이 적어도 한 편 이상인 경우, 상기 동영상마다 상기 등장 인물의 상기 썸네일, 상기 특성 데이터, 상기 시간대 정보를 획득하는 것을 특징으로 하는 방법.
제12항에 있어서,

상기 (c) 단계는,

상기 동영상마다 상기 동영상을 타동영상과 구별하는 정보를 포함하는 섹션 영역, 상기 동영상에 나타나는 상기 등장 인물들의 썸네일 및 시간대 정보를 디스플레이하는 것을 특징으로 하는 방법.
제13항에 있어서,

상기 (d) 단계는,

(d1) 상기 썸네일 중 상기 특정 썸네일이 포인팅 디바이스에 의해 선택되면, 상기 특정 썸네일에 해당되는 상기 특정 인물이 등장한 시간대 정보를 모두 디스플레이해 주는 단계, 및

(d2) 상기 디스플레이된 모든 시간대 정보 중 특정 시간대 정보가 상기 포인팅 디바이스에 의해 선택되면, 상기 특정 시간대 정보에 포함된 상기 스타팅 시각에서부터 상기 동영상을 재생하는 단계를 포함하는 것을 특징으로 하는 방법.
제14항에 있어서,

상기 (d1) 단계는,

상기 모든 시간대 정보는 상기 적어도 하나의 동영상으로부터 획득하는 것을 특징으로 하는 방법.
제15항에 있어서,

상기 (d1) 단계는,

상기 썸네일 중 상기 특정 썸네일이 포인팅 디바이스에 의해 선택되면, 상기 특정 썸네일에 해당되는 상기 특정 인물이 등장한 상기 모든 시간대 정보와 함께 상기 시간대 정보에 포함된 상기 스타팅 시각에서의 정지 영상을 이용하여 썸네일 을 생성하여 디스플레이해 주는 것을 특징으로 하는 방법.
제16항에 있어서,

상기 (d1) 단계는,

상기 썸네일을 디스플레이함에 있어서, 상기 썸네일에 포함된 인물의 얼굴이 상기 특정 인물의 얼굴과 유사한 순서대로 디스플레이하는 것을 특징으로 하는 방법.
제17항에 있어서,

상기 (d1) 단계는,

상기 썸네일을 유사한 순서대로 디스플레이함에 있어서, 상기 특정 인물에 대한 상기 특성 데이터와의 비교를 통해 유사한 순서를 결정하는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 (a) 단계 및 상기 (b) 단계는,

단말에서 수행되는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 (a) 단계 및 상기 (b) 단계는,

서버에서 수행되는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 동영상은 이미 생성된 상태의 동영상인 것을 특징으로 하는 방법.
제21항에 있어서,

상기 (a) 단계 및 상기 (b) 단계는,

상기 동영상에 대한 하나의 프레임의 처리 속도가 상기 동영상의 프레임 간격보다 긴 경우, 비(非)실시간으로 수행되는 것을 특징으로 하는 방법.
제22항에 있어서,

상기 (a) 단계는,

상기 인물의 얼굴을 인식하기 위하여, 상기 동영상이 재생하면서 인물의 얼굴을 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
제23항에 있어서,

상기 (a) 단계는,

상기 인물의 얼굴을 인식하기 위하여, 상기 동영상이 재생되고 있을 때 상기 인물의 얼굴이 검출되면, 주기적 또는 비주기적인 시간 간격으로 상기 검출된 얼굴을 트래킹하는 단계를 포함하는 것을 특징으로 하는 방법.
제24항에 있어서,

상기 (b) 단계는,

상기 얼굴의 검출 및 트래킹 작업을 수행하면서 상기 특성 데이터를 획득하는 것을 특징으로 하는 방법.
제25항에 있어서,

상기 식별자는 상기 등장인물에 관한 썸네일인 것을 특징으로 하는 방법.
제1항 내지 제8항 및 제10항 내지 제26항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능매체.
동영상에 나타나는 적어도 하나의 인물 중 특정 인물이 등장하는 장면을 선택적으로 재생하기 위한 시스템으로서,

상기 동영상에 포함된 인물의 얼굴을 얼굴 인식 기술에 의해 인식하여 상기 동영상에 나타나는 등장 인물을 구별하고, 상기 구별된 등장 인물별로 상기 등장 인물의 식별자, 상기 등장 인물의 얼굴의 특성 데이터, 상기 등장 인물이 나타나는 시간대 정보 - 상기 시간대 정보는 스타팅 시각과 엔딩 시각을 포함하고, 상기 엔딩 시각은 상기 등장 인물이 특정 임계 시간 이상으로 계속해서 등장하지 않는 경우, 상기 등장 인물이 마지막에 등장했던 시각을 참조로 획득됨 - 를 획득하는 등장 인물 식별부;

상기 등장 인물별로 상기 식별자, 상기 특성 데이터, 상기 시간대 정보를 저장하는 등장인물정보 DB;

상기 동영상에 대한 재생 요청이 있으면, 상기 등장 인물의 식별자를 디스플레이하는 인터페이스부; 및

상기 식별자 중 특정 식별자가 포인팅 디바이스에 의해 선택되면, 상기 특정 식별자에 해당되는 상기 특정 인물에 관하여 획득된 상기 시간대 정보에 포함된 상기 스타팅 시각에서부터 상기 동영상의 재생을 명령하는 제어부

를 포함하는 시스템.
제28항에 있어서,

상기 등장 인물 식별부는,

상기 동영상을 동영상 리코더에 의해 생성하면서 실시간으로 상기 등장 인물을 구별하는 것을 특징으로 하는 시스템.
제29항에 있어서,

상기 식별자는 상기 등장인물에 관한 썸네일인 것을 특징으로 하는 시스템.
제30항에 있어서,

상기 등장 인물 식별부는,

상기 동영상 리코더에 의해 상기 동영상을 생성하면서 실시간으로 상기 썸네일, 상기 특성 데이터, 상기 시간대 정보를 획득하는 것을 특징으로 하는 시스템.
제31항에 있어서,

상기 등장 인물 식별부는,

상기 인물의 얼굴을 인식하기 위하여, 상기 동영상이 생성되고 있을 때 실시간으로 상기 비디오 카메라의 화면에 디스플레이되는 인물의 얼굴을 검출하는 인물 검출부를 포함하는 것을 특징으로 하는 시스템.
제32항에 있어서,

상기 인물 검출부는,

상기 동영상이 생성되고 있을 때 실시간으로 상기 인물의 얼굴이 검출되면, 주기적 또는 비주기적인 시간 간격으로 상기 검출된 얼굴을 트래킹하는 것을 특징으로 하는 시스템.
시계열적으로 연속된 복수의 프레임을 포함하는 동영상에 나타나는 적어도 하나의 인물 중 특정 인물이 등장하는 장면을 선택적으로 재생하기 위한 시스템으로서,

상기 동영상의 특정 프레임에 포함된 인물의 얼굴을 얼굴 인식 기술에 의해 인식하여 상기 동영상에 나타나는 등장 인물을 구별하고, 상기 구별된 등장 인물별로 상기 등장 인물의 식별자, 상기 등장 인물의 얼굴의 특성 데이터 - 상기 특성 데이터는 상기 동영상 데이터로부터 검출된 얼굴을 주기적 또는 비주기적인 시간 간격으로 트래킹 작업을 수행하여 획득되는 상기 얼굴의 적어도 일부에 대한 특성을 포함하고, 상기 특성 데이터는 상기 특정 프레임 보다 시간적으로 후행하는 프레임에 포함된 상기 등장 인물을 구별하는데 사용됨 -, 상기 등장 인물이 나타나는 시간대 정보 - 상기 시간대 정보는 스타팅 시각과 엔딩 시각을 포함함 - 를 획득하는 등장 인물 식별부;

상기 등장 인물별로 상기 식별자, 상기 특성 데이터, 상기 시간대 정보를 저장하는 등장인물정보 DB;

상기 동영상에 대한 재생 요청이 있으면, 상기 등장 인물의 식별자를 디스플레이하는 인터페이스부; 및

상기 식별자 중 특정 식별자가 포인팅 디바이스에 의해 선택되면, 상기 특정 식별자에 해당되는 상기 특정 인물에 관하여 획득된 상기 시간대 정보에 포함된 상기 스타팅 시각에서부터 상기 동영상의 재생을 명령하는 제어부

를 포함하는 시스템.
제33항에 있어서,

상기 등장 인물 식별부는,

상기 등장 인물의 썸네일을 상기 등장 인물에 해당되는 상기 스타팅 시각에서의 상기 등장 인물의 정지 이미지로부터 획득하는 것을 특징으로 하는 시스템.
삭제
제35항에 있어서,

상기 등장 인물 식별부는,

상기 등장 인물이 상기 특정 임계 시간 미만으로 계속해서 등장하지 않는 경우, 상기 시간대 정보의 상기 엔딩 시각은 미정(未定) 상태로 두는 것을 특징으로 하는 시스템.
제37항에 있어서,

상기 등장 인물 식별부는,

상기 등장 인물이 상기 특정 임계 시간 미만으로 계속해서 등장하지 않는 타임 갭이 존재하는 경우, 자동 스티칭 알고리즘을 적용하여 단일 클러스터로 취급하는 것을 특징으로 하는 시스템.
제38항에 있어서,

상기 인터페이스부는,

상기 등장 인물의 상기 썸네일 및 상기 시간대 정보를 동시에 상기 동영상 리코더의 화면에 디스플레이하는 것을 특징으로 하는 시스템.
제39항에 있어서,

상기 등장 인물 식별부는,

상기 동영상 리코더에 의해 생성된 동영상이 적어도 한 편 이상인 경우, 상기 동영상마다 상기 등장 인물의 상기 썸네일, 상기 특성 데이터, 상기 시간대 정보를 획득하는 것을 특징으로 하는 시스템.
제40항에 있어서,

상기 인터페이스부는,

상기 동영상마다 상기 동영상을 타동영상과 구별하는 정보를 포함하는 섹션 영역, 상기 동영상에 나타나는 상기 등장 인물들의 썸네일 및 시간대 정보를 상기 동영상 리코더의 화면에 디스플레이하는 것을 특징으로 하는 시스템.
제41항에 있어서,

상기 인터페이스부는,

상기 썸네일 중 상기 특정 썸네일이 포인팅 디바이스에 의해 선택되면, 상기 특정 썸네일에 해당되는 상기 특정 인물이 등장한 시간대 정보를 모두 디스플레이해 주는 것을 특징으로 하는 시스템.
제42항에 있어서,

상기 제어부는,

상기 디스플레이된 모든 시간대 정보 중 특정 시간대 정보가 상기 포인팅 디바이스에 의해 선택되면, 상기 특정 시간대 정보에 포함된 상기 스타팅 시각에서부터 상기 동영상의 재생을 명령하는 것을 특징으로 하는 시스템.
제43항에 있어서,

상기 등장 인물 식별부는,

상기 모든 시간대 정보를 상기 적어도 하나의 동영상으로부터 획득하는 것을 특징으로 하는 시스템.
제44항에 있어서,

상기 인터페이스부는,

상기 썸네일 중 상기 특정 썸네일이 포인팅 디바이스에 의해 선택되면, 상기 특정 썸네일에 해당되는 상기 특정 인물이 등장한 상기 모든 시간대 정보와 함께 상기 시간대 정보에 포함된 상기 스타팅 시각에서의 정지 영상을 이용하여 썸네일 을 생성하여 디스플레이해 주는 것을 특징으로 하는 시스템.
제28항에 있어서,

상기 식별자는 상기 등장인물에 관한 이름, ID, 전화번호, 이메일 중 적어도 하나를 포함하는 것을 특징으로 하는 시스템.
제28항에 있어서,

상기 동영상은 이미 생성된 상태의 동영상인 것을 특징으로 하는 시스템.
제47항에 있어서,

상기 등장 인물 식별부는,

상기 동영상을 재생하면서 비실시간으로 상기 등장 인물을 구별하는 것을 특징으로 하는 시스템.
제48항에 있어서,

상기 식별자는 상기 등장인물에 관한 썸네일인 것을 특징으로 하는 시스템.
제49항에 있어서,

상기 등장 인물 식별부는,

상기 동영상을 재생하면서 상기 썸네일, 상기 특성 데이터, 상기 시간대 정 보를 획득하는 것을 특징으로 하는 시스템.