KR20100055946A

KR20100055946A - 동영상 썸네일 생성 방법 및 장치

Info

Publication number: KR20100055946A
Application number: KR1020080114858A
Authority: KR
Inventors: 고성식; 김경재
Original assignee: 삼성전자주식회사
Priority date: 2008-11-18
Filing date: 2008-11-18
Publication date: 2010-05-27
Also published as: US20100123816A1

Abstract

본 발명은 동영상 썸네일 생성 방법 및 장치에 관한 것으로, 본 발명의 일 실시 예에 따른 동영상 썸네일 생성 방법은 입력 프레임들로부터 얼굴 영역을 검출하고, 얼굴 특징 검출과 특성 판단을 통해 입력 프레임들 중 썸네일 영상을 생성하기 위한 후보 프레임들을 결정하고, 후보 프레임들 중 설정된 썸네일 영상 조건에 상응하는 후보 프레임을 썸네일 영상으로 생성함으로써, 사용자의 의도에 부합하는 썸네일 이미지를 얻을 수 있다.

동영상, 썸네일, 얼굴, 특징, 특성

Description

동영상 썸네일 생성 방법 및 장치{Method and apparatus for generating thumbnail of moving picture}

본 발명은 썸네일 생성 방법 및 장치에 관한 것으로, 동영상 촬영시 썸네일을 생성하는 방법 및 장치에 관한 것이다.

디지털 스틸 카메라 또는 디지털 캠코더로 동영상 촬영 시 동영상을 썸네일 이미지만으로 구별 가능하도록 하는 기술들이 개발되어 있다.

종래의 동영상의 썸네일 생성 기술은 촬영한 동영상의 내용에 상관없이 적절한 타이밍에서 선택된 프레임의 영상을 썸네일 이미지로 생성하거나 또는 영상에 얼굴 영역이 일정크기 이상으로 등장하면 썸네일을 추출하는 것이다.

일본공개특허 2007-266655호에는 동화의 특징을 좋게 표현한 동화용의 섬 네일 생성하는 기술이 공지되어 있으며, 동영상을　구성하는 촬영 화상　내에 존재하는 인물의 얼굴 영역을 검출하는 얼굴 영역 검출 수단을 가지고,　검출되는 얼굴 영역을 후보군으로 선택하고, 후보군들 중에서 여러 가지 썸네일 생성 트리거에 따라 썸네일을 생성한다. 이는 얼굴 검출과 관련하여 신뢰도 높은 썸네일 추출에 한계가 있다. 특히, 동영상 썸네일 생성은 얼굴의 존재 여부와 사이즈만 가지고 판단하기 때문에 얼굴의 표정과 무관하게 선택되며, 본인 위주의 썸네일을 구성하는 수단이 없다. 스마일과 블링크 표정에 대해서 판단하는 수단이 없다.

기존의 동영상 썸네일은 정해진 프레임을 일괄적으로 적용하는 방식이었거나 검출 방법이 미약하여 신뢰도가 높지 못하다.

본 발명은 전술한 종래기술의 문제점을 해결하기 위해 안출된 것으로, 얼굴 검출과 스마일 검출, 블링크 검출 등을 이용하여 동영상 촬영 중 등장 인물을 중심으로 후보군을 선정하고, 그 후보군들 중에서　본인을 위주로 가장 우수한 장면을 검출해 썸네일로 생성할 수 있는 동영상 썸네일 생성 방법 및 장치를 제공하는 데 목적이 있다.

또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 제공하는 데 다른 목적이 있다.

또한, 상기 동영상 썸네일 생성 장치를 포함하는 디지털 촬영 장치를 제공하는 데 또 다른 목적이 있다.

상기 기술적 과제를 달성하기 위한, 본 발명의 일 실시 예에 따른 동영상 썸네일 생성 방법은 입력 프레임들로부터 얼굴 영역들을 검출하는 단계; 각각의 프레임들로부터 검출한 얼굴 영역을 기초로 얼굴 특징을 검출하는 단계; 상기 얼굴 영역들을 기초로 소정의 특성을 판단하는 단계; 상기 검출한 얼굴 특징과 상기 판단한 특성을 이용하여 상기 입력 프레임들 중 썸네일 영상을 생성하기 위한 후보 프레임들을 결정하는 단계; 및 상기 후보 프레임들 중 설정된 썸네일 영상 조건에 상응하는 후보 프레임을 썸네일 영상으로 생성하는 단계를 포함한다.

바람직하게, 상기 얼굴 특징은 스마일, 블링크, 얼굴 크기, 얼굴 위치 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.

바람직하게, 상기 특성은 본인 여부, 성별, 나이 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.

바람직하게, 상기 후보 프레임 결정 단계는 상기 얼굴 특징과 상기 특성에 따른 파라미터 값을 계산하고, 각각의 후보 프레임과 상기 후보 프레임의 파라미터 값을 저장하는 것을 특징으로 한다.

바람직하게, 상기 방법은 상기 후보 프레임의 파라미터 값과 상기 설정된 썸네일 영상 조건값과 비교하는 단계; 및 상기 비교 결과, 상기 썸네일 영상 조건값에 상응하는 파라미터 값에 해당하는 후보 프레임을 썸네일 영상으로 생성하도록 제어하는 단계를 더 포함하는 것을 특징으로 한다.

바람직하게, 상기 방법은 스마일, 블링크, 얼굴 크기, 얼굴 위치, 본인 여부, 성별, 나이 중 적어도 하나 이상을 포함하는 썸네일 영상 조건을 설정하는 단계를 더 포함하는 것을 특징으로 한다.

바람직하게, 사용자의 선택에 따라 상기 썸네일 영상 조건마다 가중치를 다르게 부여하는 것을 특징으로 한다.

바람직하게, 상기 비교 단계 이전에 사용자의 선택에 따라 동영상 촬영을 종료하는 단계를 더 포함하는 것을 특징으로 한다.

바람직하게, 상기 특성 판단 단계는 얼굴 인식을 기반으로 하는 것을 특징으로 한다.

상기 다른 기술적 과제를 달성하기 위한, 본 발명의 다른 실시 예에 따른 동영상 썸네일 생성 장치는 입력 프레임들로부터 얼굴 영역들을 검출하는 얼굴 영역 검출부; 각각의 프레임들의 검출한 얼굴 영역들을 기초로 얼굴 특징을 검출하는 얼굴 특징 검출부; 상기 얼굴 영역들을 기초로 소정의 특성을 판단하는 특성 판단부; 상기 검출한 얼굴 특징과 상기 판단한 특성을 이용하여 상기 입력 프레임들 중 썸네일 영상을 생성하기 위한 후보 프레임들을 결정하는 후보 프레임 결정부; 및 상기 후보 프레임들 중 설정된 썸네일 영상 조건에 상응하는 프레임을 썸네일 영상으로 생성하는 썸네일 영상 생성부를 포함한다.

바람직하게, 상기 후보 프레임 결정부 상기 얼굴 특징과 상기 특성에 따른 파라미터 값을 계산하고, 각각의 후보 프레임과 상기 후보 프레임의 파라미터 값을 저장하는 것을 특징으로 한다.

바람직하게, 상기 장치는 상기 후보 프레임의 파라미터 값과 상기 설정된 썸네일 영상 조건값과 비교하고, 상기 비교 결과, 상기 썸네일 영상 조건값에 상응하는 파라미터 값에 해당하는 후보 프레임을 썸네일 영상으로 생성하도록 제어하는 제어부를 더 포함하는 것을 특징으로 한다.

바람직하게, 상기 장치는 스마일, 블링크, 얼굴 크기, 얼굴 위치, 본인 여 부, 성별, 나이 중 적어도 하나 이상을 포함하는 썸네일 영상 조건을 설정하는 썸네일 조건 설정부를 더 포함하는 것을 특징으로 한다.

바람직하게, 상기 썸네일 조건 설정부는 사용자의 선택에 따라 상기 썸네일 영상 조건마다 가중치를 다르게 부여하는 것을 특징으로 한다.

바람직하게, 상기 특성 판단부는 얼굴 인식을 기반으로 하는 것을 특징으로 한다.

상기 또 다른 기술적 과제를 달성하기 위한, 본 발명의 또 다른 실시 예에 따른 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.

상기 또 다른 기술적 과제를 달성하기 위한, 본 발명의 또 다른 실시 예에 따른 동영상 썸네일 생성 장치를 포함하는 디지털 촬영 장치를 포함한다.

바람직하게, 상기 디지털 촬영 장치는 디지털 스틸 카메라 또는 디지털 캠코더를 포함하는 것을 특징으로 한다.

본 발명의 일 실시 예에 따른 동영상 썸네일 생성 방법은 입력 프레임들로부터 얼굴 영역을 검출하고, 얼굴 특징 검출과 특성 판단을 통해 입력 프레임들 중 썸네일 영상을 생성하기 위한 후보 프레임들을 결정하고, 후보 프레임들 중 설정된 썸네일 영상 조건에 상응하는 후보 프레임을 썸네일 영상으로 생성함으로써, 사용자의 의도에 부합하는 썸네일 이미지를 얻을 수 있다.

또한, 얼굴, 얼굴 위치 및 크기, 스마일, 블링크, 본인 여부, 성별, 나이 등을 고려하여 여러 후보를 정하고, 가장 보기 좋은 장면 또는 미리 설정된 장면을 썸네일로 저장하여 재생시 동영상 판별 능력을 높일 수 있다.

이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 수 있다.

또한, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

도 1은 본 발명의 디지털 촬영 장치(100)의 일 실시 예로서, 디지털 촬영 장치의 블록도이다. 또한, 도 1과 함께 설명할 도 2는 상기 디지털 촬영 장치의 디지털 신호 처리부(70)를 설명하기 위한 블록도이다. 본 발명의 바람직한 실시 예에 따른 디지털 촬영 장치(100)는 고해상도의 동영상 촬영을 할 수 있으며, 초당 20프레임 이상의 동영상을 촬영할 수 있다. 여기서, 디지털 촬영 장치(100)는 컴팩트 디지털 카메라 또는 DSLR을 포함하는 디지털 스틸 카메라에 한정되지 않고, 디지털 캠코더 또는 동영상 촬영이 가능한 영상 기기를 모두 포함한다.

도 1에 도시된 바에 따르면, 디지털 촬영 장치(100)는 광학부(10), 광학 구동부(11), 촬상소자(15), 촬상소자 제어부(16), 조작부(20), 프로그램 저장부(30), 버퍼 저장부(40), 데이터 저장부(50), 표시 제어부(60), 데이터 구동부(61), 주사 구동부(63), 표시부(65) 및 디지털 신호 처리부(DSP, 70)를 포함한다.

광학부(10)는 피사체로부터의 광학 신호가 입력되어 촬상 소자(13)로 제공한다. 광학부(10)는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등 적어도 하나의 렌즈를 포함할 수 있다. 예를 들면 동영상 촬영중 광학 5배 줌을 하여 근거리에서 원거리까지 다양한 동영상 촬영을 할 수 있다. 또한, 광학부(10)는 광량을 조절하는 조리개를 더 포함할 수 있다.

광학 구동부(11)는 렌즈의 위치, 조리개의 개폐 등을 조절한다. 렌즈의 위치를 이동시켜 초점을 맞출 수 있다. 또한, 조리개의 개폐를 조절하여 광량을 조절할 수 있다. 실시간으로 입력되는 동영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 광학 구동부(11)가 광학부(10)를 제어할 수 있다.

광학부(10)를 투과한 광학 신호는 촬상 소자(15)의 수광면에 이르러 피사체의 상을 결상한다. 촬상 소자(15)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor) 등을 사용할 수 있다. 이와 같은 촬상소자(15)는 촬상소자 제어부(16)에 의해 감도 등이 조절될 수 있다. 촬상소자 제어부(16)도 실시간으로 입 력되는 동영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상소자(15)를 제어할 수 있다.

조작부(20)는 사용자 등의 외부로부터의 제어 신호를 입력할 수 있는 곳이다. 조작부(20)는 정해진 시간 동안 촬상 소자(15)를 빛에 노출하여 사진을 촬영하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원을 공급하기 위해 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 하는 광각-줌 버튼 및 망원-줌 버튼과, 문자 입력 또는 촬영 모드, 재생 모드 등의 모드 선택, 화이트 밸런스 설정 기능 선택, 노출 설정 기능 선택 등의 다양한 기능 버튼들이 있다. 본 발명의 바람직한 실시 예에서, 사용자는 조작부(20)에 구비된 동영상 촬영 시작 또는 종료 버튼을 누름으로써 동영상 촬영을 할 수 있다. 또한, 사용자는 조작부(20)를 통해 촬영할 동영상 데이터 중에서 원하는 썸네일 영상에 대한 조건, 예를 들면 얼굴 크기, 얼굴 위치, 스마일, 블링크, 본인 여부, 성별, 나이 등에 대한 조건을 입력할 수 있다.

조작부(20)는 상기와 같이 다양한 버튼의 형태를 가질 수도 있지만, 이에 한정되는 것은 아니며, 키보드, 터치 패드, 터치 스크린, 리모트 컨트롤러 등과 같이 사용자가 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.

또한, 디지털 촬영 장치(100)는 이를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장하는 프로그램 저장부(30), 연산 수행 중에 필요한 데이터 또는 결과 동영상 데이터들을 임시로 저장하는 버퍼 저장부(40), 영상 신호를 포함하는 동영상 파일을 비롯하여 프로그램에 필요한 다양한 정보들을 저장하는 데이터 저장 부(50)를 포함한다.

아울러, 디지털 촬영 장치(100)는 이의 동작 상태 또는 디지털 촬영 장치(100)에서 촬영한 동영상 정보를 표시하도록 제어하는 표시 제어부(60), 표시 제어부(60)로부터 입력되어 표시 데이터를 전달하는 데이터 구동부(61)와 주사 구동부(63), 데이터 구동부(61)와 주사 구동부(63)로부터 입력되는 신호에 따라 소정의 동영상을 표시하는 표시부(65)를 포함한다. 표시부(65)는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EDD) 등으로 이루어질 수 있다.

그리고 디지털 촬영 장치(100)는 입력되는 동영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어하는 DSP(70)를 포함한다.

디지털 신호 처리부(70)에 관하여 도 2를 함께 참조하여 설명한다.

도 2를 참조하면, 디지털 신호 처리부(70)는 제어부(71), 영상 신호 처리부(72), 얼굴 영역 검출부(73), 얼굴 특징 검출부(74), 특성 판단부(75), 후보 프레임 결정부(76), 썸네일 조건 설정부(77) 및 썸네일 영상 생성부(78)를 포함한다. 이하 설명에서는 디지털 신호 처리부(70)로서 설명하지만, 청구범위에 사용된 동영상 썸네일 생성 장치와 동일한 용어로 이해되어야 한다.

제어부(71)는 디지털 신호 처리부(70)의 전반적인 동작을 제어한다.

영상 신호 처리부(72)는 촬상 소자(15)로부터 입력된 동영상 신호를 디지털 신호로 변환하고, 사람의 시각에 맞게 동영상 신호를 변환하도록 감마 컬렉션(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 영상 신호 처리를 수행한다. 또한, 영상 신호 처리부(72)는 그 기능이 설정된 경우 오토화이트밸런스(Auto White Balance)나 오토익스포저(Auto Exposure) 알고리즘을 수행할 수 있다. 또한, 동영상 데이터를 스케일러를 이용하여 그 크기를 조절하며, 예를 들면 MPEG-4 압축방식을 사용하여 동영상 데이터를 압축하여 소정 형식의 동영상 파일을 형성한다. 반대로 동영상 파일의 압축을 해제하기도 한다. 영상 신호 처리부(72)는 사진 촬영 전 라이브-뷰 모드에서 실시간으로 입력되는 동영상 신호와 셔터-릴리즈 신호에 의해 입력된 동영상 신호에 대해 상기와 같은 영상 신호 처리들을 행할 수 있다. 이때, 상기 영상 신호들 각각에 대해 다른 영상 신호 처리가 행해질 수 있다.

얼굴 영역 검출부(73)는 동영상 촬영을 통해 실시간으로 입력되는 입력 프레임들로부터 얼굴 영역을 검출한다. 여기서, 입력 프레임들은 영상 신호 처리부(72)를 통해 영상 처리된 영상일 수 있으며, 영상 처리된 입력 프레임들에서 얼굴 영역을 검출한다. 얼굴 영역 검출은 입력 프레임 영상에서 어느 위치에 얼굴이 있는지를 검출한다. 얼굴 영역 검출부(73)는 미리 기억된 얼굴의 특징 데이터와 입력된 영상 데이터를 비교하여 입력된 영상 중에 얼굴의 특징 데이터가 있는지 여부를 인식함으로써, 얼굴 영역을 검출한다. 얼굴 영역 검출과 관련하여 많은 종래기술들이 존재하며, 아다부스팅(Adaboosting) 알고리즘, 피부색상 정보를 이용하여 얼굴 영역을 검출할 수도 있다.

얼굴 특징 검출부(74)는 얼굴 영역 검출부(73)를 통해 검출된 각각의 프레임 들의 얼굴 영역들에서 얼굴 특징을 검출한다. 여기서, 얼굴 특징은 스마일, 블링크, 얼굴 크기, 얼굴 위치 등을 포함한다. 이러한 얼굴 특징 검출을 위해, AAM(Active Appearance Models) 또는 ASM(Active Shape Models) 등을 이용할 수 있다. ASM은 눈의 위치를 검출하고, 검출된 눈의 위치를 기준으로 일반적인 모델(generic model)에 따른 다른 부위 예를 들어 코, 입, 눈썹 등의 모양(shape) 정보를 이용하여 위치를 결정하는 모델이다. AAM은 모양 정보뿐만 아니라, 질감 정보(texture information)를 더욱 고려하여 얼굴 특징을 효율적으로 설명할 수 있는 특징점을 검출하는 모델이다. 예를 들면 AAM을 이용하여 눈썹 2개, 눈 2개, 코 1개, 입술 양끝 2개, 윗입술 1개로 이루어진 8개의 특징점을 검출한다. 이러한 얼굴 특징점 검출을 통해, 스마일, 블링크 등을 검출할 수 있으며, 얼굴의 크기, 얼굴의 위치 등을 검출할 수 있다. 본 발명의 바람직한 실시 예에서는 AAM 또는 ASM을 위주로 설명하였지만, 이에 한정되지 않고 다른 검출 알고리즘을 사용하여 스마일, 블링크 등을 판단할 수 있음은 물론이다.

특성 판단부(75)는 검출한 얼굴 영역들을 기초로 소정의 특성을 판단한다. 여기서, 특성은 본인 얼굴인지 타인 얼굴인지, 성별, 나이 등을 포함한다. 이러한 특성 판단은 검출한 얼굴에 대한 얼굴 인식을 기반으로 한다. 일반적으로, 얼굴 인식은 검출한 얼굴 영역들에서 추출한 특징 벡터와 인식할 얼굴, 예를 들면 본인 얼굴 데이터베이스에 저장되어 있는 얼굴의 특징 벡터와 비교함으로써 본인인지 여부를 판단할 수 있다. 얼굴 인식과 관련하여 다양한 종래기술을 사용할 수 있음은 물론이다. 이러한 얼굴 인식을 기반으로 하여 특성, 즉 성별, 나이 등을 판단할 수 있다.

후보 프레임 결정부(76)는 얼굴 특징 검출부(74)에서 검출한 얼굴 특징과 특성 판단부(75)에서 판단한 특성을 이용하여 입력 프레임들 중 썸네일 영상을 생성하기 위한 후보 프레임들을 결정한다. 예를 들면 1초동안 촬영한 20개의 프레임들 중에서 10번 프레임부터 얼굴 영역이 검출되었다면, 10번 프레임부터 20번 프레임까지 11개의 프레임을 후보 프레임으로 결정한다. 또한, 후보 프레임 결정부(76)는 각각의 입력 프레임에 나타난 얼굴 특징과 특성에 대한 파라미터 값을 프레임 번호와 함께 저장하도록 한다. 즉, 각각의 후보 프레임에서 검출된 얼굴 특징들과 판단한 특성들에 대한 파라미터 값을 부여하여 프레임 번호와 함께 저장하도록 한다.

썸네일 조건 설정부(77)는 사용자의 선택에 따라 썸네일 영상 조건마다 가중치를 다르게 부여한다. 여기서, 썸네일 영상 조건은 얼굴 크기, 얼굴 위치, 스마일, 블링크, 본인 여부, 성별 나이 등을 포함한다. 따라서, 사용자는 동영상 촬영을 하면서 본인이 원하는 썸네일 영상을 얻을 수 있다. 예를 들면 사용자는 본인의 웃는 얼굴을 썸네일 영상으로 저장하기를 원한다면, 스마일과 본인 여부에 가중치를 주어 본인의 웃는 얼굴이 나오는 프레임 영상을 썸네일 영상으로서 저장할 수 있다.

제어부(71)는 후보 프레임 결정부(76)에서 결정된 후보 프레임의 파라미터 값과 썸네일 조건 설정부(77)를 통해 설정된 썸네일 영상 조건값과 비교한다. 비교 결과, 썸네일 영상 조건값과 일치하거나 가장 유사한 파라미터 값에 해당하는 후보 프레임을 썸네일 영상으로 생성하도록 제어한다.

썸네일 영상 생성부(78)는 제어부(71)의 제어에 따라 후보 프레임들 중 설정된 썸네일 영상 조건에 상응하는 프레임을 썸네일 영상으로 생성한다. 여기서, 동영상 데이터의 특정 프레임의 영상을 다운 샘플링하여 작은 사이즈의 썸네일 영상으로 생성한다.

도 3은 본 발명의 다른 실시 예에 따른 동영상 썸네일 생성 방법을 설명하기 위한 흐름도이다.

도 3을 참조하면, 단계 300에서, 사용자의 동영상 촬영 시작 버튼을 누름에 따라 동영상 촬영을 시작한다. 단계 302에서, 순차적으로 프레임들을 입력한다. 단계 304에서, 순차적으로 입력되는 프레임들에서 얼굴 영역을 검출한다. 단계 304에서, 얼굴 영역을 검출한 경우에는 단계 306으로 진행하여 얼굴 특징을 검출하고, 단계 308에서, 특성을 판단한다. 여기서, 얼굴 특징은 얼굴 위치, 얼굴 크기, 스마일, 블링크를 포함하고, 특성은 본인 여부, 성별, 나이를 포함한다. 본 발명의 바람직한 실시 예에서는, 얼굴 특징과 특성을 예시적으로 설명하였지만, 이에 한정되지 않고, 다른 얼굴 특징과 특성들을 포함할 수 있음은 물론이다. 또한, 단계 306과 308은 그 순서에 한정되지 않고 동시에 또는 역으로 수행할 수도 있다.

단계 310에서, 검출한 얼굴 특징과 판단한 특성을 기초로 후보 프레임을 결정한다. 단계 312에서, 후보 프레임과 함께 얼굴 특징과 특성에 대한 파라미터 값을 함께 저장한다.

단계 304에서, 입력 프레임에서 얼굴 영역을 검출하지 못한 경우에는 단계 312로 진행하여 해당 프레임을 저장한다.

단계 314에서, 사용자의 선택에 의해 동영상 촬영 종료 버튼을 누름에 따라 촬영이 종료되었는지 판단한다. 단계 314에서, 촬영이 종료된 경우, 단계 316으로 진행하여 단계 314에서 저장된 후보 프레임과 해당 후보 프레임의 파라미터 값과 설정 조건값과 일치하거나 가장 유사한 후보 프레임을 선택한다. 여기서, 설정 조건 값은 사용자에 의해 설정된 값이거나 디폴트로 설정된 조건 값일 수 있다.

단계 318에서, 선택된 후보 프레임을 썸네일 영상으로 생성한다.

도 4 및 5는 종래기술과 본 발명의 또 다른 실시 예에 따른 동영상 썸네일 생성 방법을 비교하여 설명하기 위한 예시 도이다.

도 4에는 종래기술에 따라 촬영한 20개의 프레임 영상 중에서 썸네일 영상이 어떻게 선택되는지가 도시되어 있다.

도 4를 참조하면, 동영상 썸네일 생성은 얼굴 검출, 얼굴 위치 및 얼굴 크기만을 가지고 판단한다. 따라서, 얼굴 검출이 시작된 6번 프레임부터 16번 프레임, 다시 얼굴 검출이 된 18 및 19 프레임이 후보 프레임들(400)으로 선정되었고, 얼굴의 위치가 중앙이고, 가장 크게 검출된 12번 프레임(410)이 최종 썸네일 생성을 위한 프레임으로 선택된다. 하지만, 결과는 타인의 얼굴이어서 사용자가 원하는 결과가 아니다. 즉, 얼굴의 크기, 위치만으로 썸네일을 선택하므로서, 얼굴 검출 기반 후보군을 선정할 수 있지만, 본인의 얼굴이 아닌 다른 사람의 얼굴이 썸네일로 최종 선정될 수 있다는 것이다.

도 5는 동일한 동영상의 20개의 프레임에 대해 썸네일 영상이 어떻게 생성되 는지가 도시되어 있다.

도 5를 참조하면, 썸네일 생성을 위한 조건은 얼굴 검출, 얼굴 위치, 얼굴 크기와, 스마일 검출, 블링크 검출, 본인 얼굴이다. 이 경우, 20개의 프레임 중에서 썸네일 후보 프레임은 18 및 19번 프레임이다. 즉, 1번부터 17, 20번 프레임은 얼굴 검출이 되었거나 얼굴 크기가 조건에 부합하지만, 본인 얼굴이 아니기 때문에 후보 프레임으로 결정되지 않는다. 따라서, 18 및 19번의 후보 프레임 중에서 본인 얼굴이 검출되었고, 스마일, 블링크, 얼굴 위치 및 얼굴 크기에 따라 최종적으로 19번 프레임이 썸네일 생성을 위한 후보 프레임으로 선택된다. 따라서, 본인 얼굴이 포함된 19번 프레임의 영상을 썸네일 영상으로 생성한다. 이러한 결과는 사용자가 원하는 결과이다.

본 발명의 바람직한 실시 예에 따른 동영상 썸네일 생성은 얼굴 검출과 스마일 검출, 블링크 검출 등을 이용하여 동영상 촬영 중 등장 인물을 중심으로 후보군을 선정하고, 그 후보군들 중에서　본인을 위주로 가장 우수한 장면을 검출해 썸네일로 선택하는 것이다.

전술한 실시 예들은 본 발명이 적용될 수 있는 디지털 촬영장치의 일예로서 디지털 카메라를 중심으로 기술하였으나, 이에 한정하는 것은 아니다. 당업자라면 본 발명이 디지털 캠코더, 카메라 기능이 부가된 카메라폰, PDA(personal digital assistant), PMP(portable multimedia player)에도 적용될 수 있음을 이해할 것이다.

한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

도 1은 본 발명의 일 실시 예에 따른 디지털 촬영 장치(100)의 개략적인 블록도이다.

도 2는 도 1에 도시된 디지털 신호 처리부(70)의 개략적인 블록도이다.

도 4는 종래기술에 따른 동영상 썸네일 생성 방법을 설명하기 위한 예시 도이다.

도 5는 본 발명의 또 다른 실시 예에 따른 동영상 썸네일 생성 방법을 설명하기 위한 예시 도이다.

<도면의 주요 부분에 대한 부호의 설명>

100: 디지털 촬영 장치 70: 디지털 신호 처리부

71: 제어부 72: 영상 신호 처리부

73: 얼굴 영역 검출부 74: 얼굴 특징 검출부

75: 특성 판단부 76: 후보 프레임 결정부

77: 썸네일 조건 설정부 78: 썸네일 영상 생성부

306: 얼굴 특징 검출 308: 특성 판단

310: 후보 프레임 결정

400, 500: 썸네일 후보 프레임

410, 510: 최종 썸네일 프레임

Claims

입력 프레임들로부터 얼굴 영역들을 검출하는 단계;

각각의 프레임들로부터 검출한 얼굴 영역을 기초로 얼굴 특징을 검출하는 단계;

상기 얼굴 영역을 기초로 소정의 특성을 판단하는 단계;

상기 검출한 얼굴 특징과 상기 판단한 특성을 이용하여 상기 입력 프레임들 중 썸네일 영상을 생성하기 위한 후보 프레임들을 결정하는 단계; 및

상기 후보 프레임들 중 설정된 썸네일 영상 조건에 상응하는 후보 프레임을 썸네일 영상으로 생성하는 단계를 포함하는 동영상 썸네일 생성 방법.
제 1 항에 있어서,

상기 얼굴 특징은,

스마일, 블링크, 얼굴 크기, 얼굴 위치 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 동영상 썸네일 생성 방법.
제 2 항에 있어서,

상기 특성은,

본인 여부, 성별, 나이 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 동영상 썸네일 생성 방법.
제 3 항에 있어서,

상기 후보 프레임 결정 단계는,

상기 얼굴 특징과 상기 특성에 따른 파라미터 값을 계산하고, 각각의 후보 프레임과 상기 후보 프레임의 파라미터 값을 저장하는 것을 특징으로 하는 동영상 썸네일 생성 방법.
제 4 항에 있어서,

상기 후보 프레임의 파라미터 값과 상기 설정된 썸네일 영상 조건값과 비교하는 단계; 및

상기 비교 결과, 상기 썸네일 영상 조건값에 상응하는 파라미터 값에 해당하는 후보 프레임을 썸네일 영상으로 생성하도록 제어하는 단계를 더 포함하는 것을 특징으로 하는 동영상 썸네일 생성 방법.
제 3 항에 있어서,

스마일, 블링크, 얼굴 크기, 얼굴 위치, 본인 여부, 성별, 나이 중 적어도 하나 이상을 포함하는 썸네일 영상 조건을 설정하는 단계를 더 포함하는 것을 특징으로 하는 동영상 썸네일 생성 방법.
제 6 항에 있어서,

사용자의 선택에 따라 상기 썸네일 영상 조건마다 가중치를 다르게 부여하는 것을 특징으로 하는 동영상 썸네일 생성 방법.
제 5 항에 있어서,

상기 비교 단계 이전에,

사용자의 선택에 따라 동영상 촬영을 종료하는 단계를 더 포함하는 것을 특징으로 하는 동영상 썸네일 생성 방법.
제 3 항에 있어서,

상기 특성 판단 단계는,

얼굴 인식을 기반으로 하는 것을 특징으로 하는 동영상 썸네일 생성 방법.
제 1 항 내지 제 9 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.
입력 프레임들로부터 얼굴 영역을 검출하는 얼굴 영역 검출부;

각각의 프레임들의 검출한 얼굴 영역을 기초로 얼굴 특징을 검출하는 얼굴 특징 검출부;

상기 얼굴 영역을 기초로 소정의 특성을 판단하는 특성 판단부;

상기 검출한 얼굴 특징과 상기 판단한 특성을 이용하여 상기 입력 프레임들 중 썸네일 영상을 생성하기 위한 후보 프레임들을 결정하는 후보 프레임 결정부; 및

상기 후보 프레임들 중 설정된 썸네일 영상 조건에 상응하는 프레임을 썸네일 영상으로 생성하는 썸네일 영상 생성부를 포함하는 동영상 썸네일 생성 장치.
제 11 항에 있어서,

상기 얼굴 특징은,

스마일, 블링크, 얼굴 크기, 얼굴 위치 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 동영상 썸네일 생성 장치.
제 12 항에 있어서,

상기 특성은,

본인 여부, 성별, 나이 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 동영상 썸네일 생성 장치.
제 13 항에 있어서,

상기 후보 프레임 결정부,

상기 얼굴 특징과 상기 특성에 따른 파라미터 값을 계산하고, 각각의 후보 프레임과 상기 후보 프레임의 파라미터 값을 저장하는 것을 특징으로 하는 동영상 썸네일 생성 장치.
제 14 항에 있어서,

상기 후보 프레임의 파라미터 값과 상기 설정된 썸네일 영상 조건값과 비교하고, 상기 비교 결과, 상기 썸네일 영상 조건값에 상응하는 파라미터 값에 해당하는 후보 프레임을 썸네일 영상으로 생성하도록 제어하는 제어부를 더 포함하는 것을 특징으로 하는 동영상 썸네일 생성 장치.
제 13 항에 있어서,

스마일, 블링크, 얼굴 크기, 얼굴 위치, 본인 여부, 성별, 나이 중 적어도 하나 이상을 포함하는 썸네일 영상 조건을 설정하는 썸네일 조건 설정부를 더 포함하는 것을 특징으로 하는 동영상 썸네일 생성 장치.
제 16 항에 있어서,

상기 썸네일 조건 설정부는,

사용자의 선택에 따라 상기 썸네일 영상 조건마다 가중치를 다르게 부여하는 것을 특징으로 하는 동영상 썸네일 생성 장치.
제 13 항에 있어서,

상기 특성 판단부는,

얼굴 인식을 기반으로 하는 것을 특징으로 하는 동영상 썸네일 생성 장치.
제 11 항 내지 제 18 항 중 어느 한 항에 따른 동영상 썸네일 생성 장치를 포함하는 디지털 촬영 장치.
제 19 항에 있어서,

상기 디지털 촬영 장치는,

디지털 스틸 카메라 또는 디지털 캠코더를 포함하는 것을 특징으로 하는 디지털 촬영 장치.