KR101423916B1

KR101423916B1 - 복수의 얼굴 인식 방법 및 장치

Info

Publication number: KR101423916B1
Application number: KR1020070124532A
Authority: KR
Inventors: 이종하; 김정배; 이성덕; 황영규
Original assignee: 삼성전자주식회사
Priority date: 2007-12-03
Filing date: 2007-12-03
Publication date: 2014-07-29
Also published as: US20090141949A1; US8452047B2; KR20090057796A

Abstract

본 발명은 복수의 얼굴 인식 방법 및 장치에 관한 것으로, 본 발명의 일실시 예에 따른 방법은 입력 영상 프레임들로부터 얼굴들을 검출하고, 소정의 인식 주기 프레임에서 검출한 얼굴들로부터 하나의 얼굴씩 인식하고, 인식한 얼굴들을 순차적으로 디스플레이함으로써, 매 프레임마다 얼굴 검출과 인식을 한 꺼번에 수행하는데 소요되는 계산량을 줄일 수 있다.

얼굴, 검출, 인식, 등록

Description

복수의 얼굴 인식 방법 및 장치{Method and apparatus for recognizing the plural number of faces}

본 발명은 복수의 얼굴을 인식할 수 있는 방법 및 장치에 관한 것이다.

최근 DSC, DSLR, 폰 카메라, 캠코더 등 라이브 뷰(live view) 용 얼굴인식 기능이 필요한 장치, 관심 인물에 대해 고화질 영상 취득이 필요한 영상취득 장치, 실시간으로 수많은 사람의 얼굴인식이 필요한 장치 등에 있어서 얼굴 인식이 일반적으로 사용되고 있다.

전술한 영상 취득 장치, 예를 들면 디지털 카메라에서 관심 인물을 검출하고 인식하는데 있어서 촬영하고자 하는 영상에서 얼굴 부분만을 검출하는 지능형 기능 을 지원하고 있다.

하지만, 영상 취득 장치에서 사용자가 직접 등록할 얼굴에 대한 아이디(ID)를 부여하는 얼굴 등록 방법은 편의성을 추구하는 사용자에게 불편함을 느끼게 한다. 또한, 종래의 카메라 인터페이스에서 얼굴 등록 시 아이디(ID)를 부여하기 위해서, 예를 들면 ID 입력 자판, 또는 외부 연결을 통한 입력 등의 부가적인 사용자 인터페이스를 추가해야만 한다.

또한, 종래의 디지털 카메라는 매 프레임마다 카메라 고유 기능인 AE, AF와 부가적인 사용자 인터랙션 정보 등을 처리해야 하므로 실시간 동작이 필요하다. 따라서, 관심 인물 중심의 고화질 영상 취득을 위해 얼굴 검출 모듈 및 얼굴 인식 모듈을 추가할 경우, 부가적인 하드웨어 자원이 요구된다.

또한, 얼굴 검출/인식을 하드웨어로 구현하여 멀티 쓰레드(multi-thread)로 동작시킨다 하더라도, 얼굴 인식의 경우 처리시간이 검출된 얼굴 수에 비례하여 증가하므로, 검출된 얼굴 수가 많아질 경우, 처리된 결과가 수 프레임 또는 수십 프레임 지연되어 나타나는 문제가 있다. 이 경우 인식된 결과와 현재 디스플레이되는 프레임에 시간 차가 나타나서 싱크(sync)가 맞는 적절한 처리가 불가능하다.

따라서, 얼굴 검출 및 인식이 카메라 고유의 기능에 하드웨어적으로 부담을 주지 않으면서 시간 지연 현상을 없애는 방법이 필요하다.

본 발명은 검출된 각각의 얼굴들에 대해 얼굴 인식을 시 분할하여 수행하고 얼굴 검출과 얼굴 추적을 결합함으로써 인식 결과를 효과적으로 디스플레이할 수 있는 복수의 얼굴 인식 방법 및 장치를 제공하는 데 목적이 있다.

또한, 검출한 얼굴들을 관심 얼굴로 자동 분류하여 등록 관리함으로써 얼굴 인식에서 번거로운 얼굴 등록 절차를 간소화할 수 있는 얼굴 등록 방법 및 장치를 제공하는 데 다른 목적이 있다.

또한, 자동 얼굴 등록과 복수의 얼굴 인식을 이용하여 인물 중심의 고화질 영상을 취득할 수 있는 영상 촬영 방법 및 시스템을 제공하는 데 또 다른 목적이 있다.

본 발명의 일 실시 예에 따른 복수의 얼굴 인식 방법은 입력 영상 프레임들로부터 얼굴들을 검출하고, 소정의 인식 주기 프레임에서 상기 검출한 얼굴들로부터 하나의 얼굴씩 인식하고, 상기 인식한 얼굴들을 순차적으로 디스플레이하여 이루어진다.

본 발명의 다른 실시 예에 따른 얼굴 등록 방법은 입력 영상 프레임으로부터 얼굴들을 검출하고, 검출한 얼굴들의 특징을 추출하여 등록하고, 상기 등록한 얼굴들과 기 등록된 얼굴들을 비교하여 클러스터링하고, 상기 클러스터링 결과 정보를 소정의 기준에 따라 판단함으로써 등록한 얼굴들 중 관심 얼굴을 설정하여 이루어진다.

본 발명의 또 다른 실시 예에 따른 촬영 방법은 입력 영상 프레임들로부터 얼굴들을 검출하고, 상기 검출한 얼굴들 중에서 관심 얼굴들을 설정하여 등록하고, 상기 등록한 관심 얼굴들을 인식하여 상기 관심 얼굴들의 위치를 결정하고 표시하고, 상기 등록한 관심 얼굴의 위치 정보를 기초로 촬영 제어 정보를 생성하여 이루어진다.

본 발명의 또 다른 실시 예에 따른 복수의 얼굴 인식 장치는 입력 영상 프레임들로부터 얼굴들을 검출하는 검출부와, 소정의 인식 주기 프레임에서 상기 검출한 얼굴들로부터 하나의 얼굴씩 인식하는 인식부와, 상기 인식한 얼굴들을 순차적으로 디스플레이하는 표시부를 포함하여 이루어진다.

본 발명의 또 다른 실시 예에 따른 얼굴 등록 장치는 입력 영상 프레임으로부터 얼굴들을 검출하는 검출부와, 검출한 얼굴들의 특징을 추출하여 등록하는 등록부와, 상기 등록한 얼굴들과 기 등록된 얼굴들을 비교하여 클러스터링하는 클러스터링부와, 상기 클러스터링 결과 정보를 소정의 기준에 따라 판단함으로써 등록한 얼굴들 중 관심 얼굴을 설정하는 관심 얼굴 설정부를 포함하여 이루어진다.

본 발명의 또 다른 실시 예에 다른 촬영 시스템은 입력 영상 프레임들로부터 얼굴들을 검출하는 얼굴 검출 장치와, 상기 검출한 얼굴들 중에서 관심 얼굴들을 설정하여 등록하는 얼굴 등록 장치와, 상기 등록한 관심 얼굴들을 인식하여 상기 관심 얼굴들의 위치를 결정하고 표시하는 복수의 얼굴 인식 장치와, 상기 등록한 관심 얼굴의 위치 정보를 기초로 촬영 제어 정보를 생성하는 촬영 제어 장치를 포함하여 이루어진다.

본 발명의 또 다른 실시 예에 따른 상기 방법들을 컴퓨터에서 실행시키기 위 한 프로그램을 기록한 기록매체를 포함한다.

본 발명의 세부 및 개선 사항은 종속항에 개시된다.

이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다.

도 1은 본 발명의 일 실시 예에 따른 복수의 얼굴 인식 장치(100)의 개략적인 블록도이다.

도 1을 참조하면, 복수의 얼굴 인식 장치(100)는 검출부(110), 정규화부(120), 저장부(130), 인식부(140), 표시부(150) 및 추적부(160)를 포함한다.

본 발명의 일 실시 예에 따른 복수의 얼굴 인식 장치(100)는 소정의 영상촬영 시스템에서 시분할 얼굴 인식을 수행하고, 그에 따른 검출 및/또는 추적을 효율적으로 결합함으로써 검출과 인식 성능을 향상시킨다. 여기서, 영상 촬영 시스템은 디지털 카메라, DSC, DSLR, 폰 카메라, PDA 카메라, 캠코더 등을 포함한다.

또한, 시분할 얼굴 인식은 획득한 영상에서 검출된 얼굴들에 대해 인식 결과를 순차적으로 표현하고, 얼굴 수만큼 산술적으로 늘어나는 인식 시간을 시간 축으로 분할하는 것이다. 즉, 하나의 프레임에서 모든 얼굴을 인식함으로써 발생하는 인식 시간 증가를 해소할 수 있다.

검출부(110)는 영상 획득 장치(미도시)를 통해 획득한 영상에서 얼굴 후보 영역들과 학습한 얼굴 영상과 비교하여 얼굴을 검출한다. 얼굴 검출은 종래의 알 려진 다양한 검출 알고리즘, 예를 들면 입력 영상으로부터 특징을 추출하여 캐스케이드 구조의 멀티 분류기에서 충분한 객체 특징을 보이지 않는 입력은 버리면서 연속적으로 스테이지를 진행하거나, 또는 충분한 얼굴 특징을 보이지 않는 입력뿐만 아니라 얼굴 특징을 보이는 입력은 얼굴로 분류하면서 캐스케이드 구조의 분류기에서 분류 계산 동작을 순차적으로 진행시켜 얼굴을 검출하는 방법을 사용할 수 있다. 여기서, 검출한 얼굴 영상은 적어도 하나 이상인 경우로서, 즉 영상에 복수의 얼굴이 존재하는 경우이다.

본 발명의 일 실시 예에 따른 검출부(110)는 얼굴 검출 주기(T_D)을 설정하여, 모든 프레임에서 얼굴을 검출하지 않고, 검출 주기, 즉 검출을 수행하는 프레임에서만 검출 동작을 수행한다. 따라서, 검출 속도의 한계를 극복할 수 있다.

또한, 본 발명의 일 실시 예에서, 검출부(110)는 복수의 얼굴 인식 장치(100)에 포함하여 구성하였지만, 별도의 검출 모듈로서 분리하여 구현하는 것도 가능하다.

정규화부(120)는 검출한 얼굴 영상을 정규화한다. 즉, 다양한 크기의 얼굴 영상을 일정한 크기의 영상으로 정규화한다.

저장부(130)는 정규화한 얼굴 영상을 저장한다. 또는 정규화부(120) 단계 없이 검출된 프레임과 검출된 결과정보, 즉 얼굴의 위치를 나타내는 좌표 등을 저장한다. 이 경우 정규화부(120)는 인식부(140)에 포함되어 동작하게 된다.

인식부(140)는 소정의 인식 주기(T_R) 프레임마다 순차적으로 하나의 얼굴 영 상에 대해 인식을 수행한다. 여기서, 얼굴 인식은 종래에 알려진 다양한 얼굴 인식 알고리즘, 예를 들면 SVM(Support Vector Machine)를 이용한 클래스 분류를 통해 저장된 얼굴 영상에 대한 인식을 수행한다. 즉, 인식 주기에 해당하는 프레임에서만 하나의 얼굴 인식을 수행함으로써 매 프레임마다 모든 얼굴을 인식함으로써 들이는 계산을 줄여줄 수 있다.

표시부(150)는 인식 결과를 디스플레이한다. 예를 들면 프리뷰용 LCD창에 복수의 얼굴이 있는 경우에, 각각의 얼굴에 특정 ID, 예를 들면 A,B,C 등으로 표시하여 나타낸다. 이 경우에도, 프레임마다 인식결과를 하나씩 표시되며 한 번 표시된 ID는 추적부(160)의 계산 결과에 따라 매 프레임 지속적으로 표시가 되거나 되지 않는다.

추적부(160)는 검출부(110)에서 검출한 얼굴 영상에 대해 특징을 추출하고 다음 프레임에서 비슷한 특징이 분포하는 영역을 검출된 영역 근방에서 찾아 냄으로써 검출보다는 매우 짧은 시간에 다음 프레임에서의 얼굴 위치를 찾아 냄으로써 얼굴을 추적하는 것이다. 여기서, 추적부(160)는 공지의 추적 알고리즘을 이용하여 검출된 얼굴 영상을 추적한다. 그리고, 추적 결과를 표시부(150)에 제공하여, 현재 프레임에서 추적한 얼굴 영상에 대한 표시를 하도록 한다.

추적부(160)는 표시부(150)로부터 해당 프레임에서 인식한 얼굴에 위치 정보를 제공받아 다음 프레임에서 이를 기초로 추적을 수행하고, 추적한 결과를 다시 검출부(110)에 제공하여 추적 정보를 기반으로 검출을 수행하도록 한다.

본 발명의 일 실시 예에 따른 추적부(160)는 최대 추적 프레임 수(C_MAX)를 가지며, 최대로 추적할 수 있는 프레임의 한계를 가지도록 하여, 추적을 통한 에러 전파 현상을 억제함으로써 지속적인 추적 에러를 방지하도록 한다.

도 2는 본 발명의 다른 실시 예에 따른 복수의 얼굴 인식 방법을 설명하기 위한 흐름도이다.

도 2를 참조하면, 단계 200에서, 프리뷰용 영상을 캡쳐한다. 단계 202에서, 캡쳐한 영상에서 얼굴을 검출한다. 단계 204 및 206에서, 검출한 얼굴 영상을 정규화하여 저장한다.

단계 208에서, 첫 번째(n=1) 얼굴에 대해 인식을 수행하여, 단계 210에서, 첫 번째 얼굴에 대한 ID를 표시한다. 단계 212에서, 인식한 얼굴을 추적한다.

단계 214에서, 다음번 인식주기, 즉 다음 인식 프레임에서 n을 증가시킨다. 단계 216에서, n=N인지, 즉 저장한 얼굴 영상에 대해 모두 인식을 수행했는지 판단한다. 여기서 N은 단계 204에서 검출된 얼굴의 수를 의미한다. 아직 인식하지 않은 얼굴 영상이 있는 경우, 두 번째(n=2) 얼굴에 대한 인식을 수행한다. 이를 반복하여, 모든 얼굴 영상에 대해 인식을 수행할 때까지 반복하고 종료한다.

본 발명의 일 실시 예에 따른 복수의 얼굴 인식 방법은 매 인식 주기(T_R)프레임에서 순차적으로 한 명씩 인식을 수행하고, 그 결과를 프리뷰 표시창, 예를 들면 LCD에 디스플레이한다. 또한, 검출된 얼굴 수가 N개일 경우, 검출된 얼굴은 N*T_R 프레임 동안 검출 및 추적 알고리즘이 적용되고, 인식이 수행된 얼굴에 대해서 는 이후부터 인식 결과를 함께 표시한다. N*T_R 프레임이 진행되는 동안, 중간에 새로운 얼굴이 검출되면 검출된 결과 정보를 업데이트한다.

도 3은 본 발명의 또 다른 실시 예에 따른 복수의 얼굴 인식 방법을 설명하기 위한 흐름도이다.

도 3을 참조하면, 단계 300에서, 얼굴 영상을 검출한다. 단계 302에서, 현재 프레임에서 얼굴 검출이 성공한 경우에는 단계 304로 진행하고, 얼굴 검출이 실패한 경우에는 단계 304에서, 다음 프레임으로 넘어가 얼굴 검출을 수행한다.

단계 306에서, 검출한 얼굴을 인식한다. 단계 306에 앞서 정규화 및 저장 프로세스를 수행할 수도 있다. 단계 308에서, 인식한 얼굴에 대해 ID를 결정하고, 단계 310에서, 추적을 초기화한다. 즉 최대 추적 프레임을 카운트하기 위해서, 카운트를 0으로 설정하고 추적을 위한 특징을 다시 추출한다. 이어, 단계 312에서, 프리뷰에 얼굴의 위치와 ID를 표시한다.

단계 314에서, 일정 프레임이 증가하고 난 후, 단계 316에서, 얼굴 검출 주기(T_D)에 해당하는지, 현재 프레임에서 얼굴 검출을 수행하는지를 판단한다. 얼굴 검출 주기인 경우에는, 이전 프레임의 추적 정보, 예를 들면 이전 프레임의 얼굴의 위치, 크기 또는 ID 정보를 이용하여 얼굴을 검출한다. 그리고 나머지 영역, 이전 프레임의 추적 정보가 없는 경우에는 일반적인 검출을 수행한다. 단계 320에서, 검출에 성공한 경우에는 단계 322로 진행하여, 이전 프레임에서 결정된 ID에 인식 가중치를 부여한다. 즉, 비슷한 위치에 동일 인물이 있을 확률이 높다는 것을 이 용한다. 따라서, 이전 프레임에서의 ID 정보를 이용함으로써 잡음에 강한 얼굴 인식을 수행할 수 있다.

단계 320에서, 얼굴 검출에 실패한 경우, 단계 324에서 현재 프레임이 최대 추적 프레임(C_MAX)에 해당하는지 판단한다. 아직 최대 추적 프레임에 해당하지 않은 경우에는 단계 326에서, 얼굴 추적을 수행한다.

단계 316에서, 얼굴 검출 주기가 아닌 경우에는, 단계 326에서, 얼굴 추적을 수행한다.

단계 326에서, 얼굴 추적에 성공한 경우에는 단계 312에서 추적 결과를 프리뷰에 표시한다.

본 발명의 일 실시 예에 따른 복수의 얼굴 인식 방법은 얼굴 검출 주기(T_D)와 최대 추적 프레임 수(C_MAX)를 설정함으로써, 얼굴 검출 대신 상대적으로 속도가 빠른 추적 기능을 일정 시간 동안 수행함으로써, 상대적으로 느린 검출 속도를 보완할 수 있다. 또한, 정확도가 높은 얼굴 검출을 일정 주기(T_D) 마다 실행되도록 하고, 검출 실패 시 추적이 지속적으로 이루어지도록 하여 검출과 추적을 상호 보완할 수 있다.

도 4는 본 발명의 또 다른 실시 예에 따른 복수의 얼굴 인식 방법을 설명하기 위한 도면이다.

도 4를 참조하면, 8 프레임마다 얼굴 검출을 실행하고, 즉, 얼굴 검출 주 기(T_D)는 8이고, 2 프레임마다 얼굴 인식을 실행, 즉 얼굴 인식 주기(T_R)는 2이다. U는 미지의 ID, 즉 검출한 얼굴 영상에서 아직 인식되지 않은 얼굴이고, A 내지 G는 등록된 ID이다.

먼저, 0 프레임에서, 최초 얼굴 검출이 수행되어 3개의 얼굴, U1, U2 및 U3이 검출된다. 0 프레임에서는 인식이 수행되기 전이므로 모두 U로 표시된다. 1 프레임에서는, 0 프레임에서 검출된 3개의 얼굴 중 하나를 A로 인식하여 표시하고, 표시함과 동시에 인식된 A에 대해서도 추적을 계속 수행하고, 나머지 두 개의 얼굴, U2 및 U3는 추적을 수행한다. 또한, 선택적으로, 1 프레임의 동작은 0 프레임에서 얼굴 검출 후 바로 수행하는 것도 가능하다.

2 프레임에서, 얼굴 인식 주기(T_R)에 따라 인식은 수행하지 않고, 3개의 검출된 얼굴 모두에 대해 추적을 수행한다. 여기서, A는 인식되어 있는 상태이다.

3 프레임에서, 인식 주기에 따라, 인식되지 않은 다음 얼굴을 인식하여, ID B로 표시하고, U3는 추적을 계속한다. 하지만, 이 경우에도 인식된 A, B에 대한 추적은 계속한다.

5 프레임에서, 인식 주기에 따라 나머지 U3를 ID C로 인식하고 표시한다.

7 프레임에서, 검출된 3개의 얼굴이 각각 ID A,B,C로 인식된 상태에서 추적이 수행되고, 여기서 ID B의 얼굴은 추적 조건에 맞지 않아 추적을 중단한 경우이다. 7 프레임은 인식 주기에 해당하지만, 인식할 대상이 없으므로 인식을 수행하지 않는다.

8 프레임에서, 다시 얼굴 검출 주기가 되어 얼굴 검출이 수행되고 2개의 얼굴, U3 및 U4가 검출되고, 검출된 U3, U4의 영상은 인식 수행을 위해 정규화하여 저장부에 저장한다. 여기서 ID C의 얼굴은 추적에 의해 검출된 얼굴과 동일한 얼굴로 판명되어 ID C를 그대로 유지하는데, C는 검출이 다시 되어 검출된 위치에서 다시 추적을 시작한다. 또한, ID A의 얼굴은 재검출된 얼굴이 아니므로 그대로 추적을 수행한다.

9 프레임에서, 8 프레임에서 U3의 얼굴은 인식이 수행되지 않았지만 추적에 의해 ID C로 판명되었으므로 U4에 대해 먼저 인식을 수행한다. 인식 결과 U4는 ID D로 표시한다.

11 프레임에서, 8 프레임에서 U3는 ID C로 판명된 상태이나 인식 정확성을 위해 다시 인식을 수행할 수 있으며, ID C로 동일하게 인식되어 표시된다.

16 프레임에서, ID D를 제외한 6개의 새로운 얼굴, U1, U2, U3, U4, U5 및 U6을 검출한다. ID D는 현재 프레임까지 추적에 의해 유지된다.

17 및 19 프레임에서, 각각의 인식 주기에 따라 A 및 B에 대해 인식을 수행한다. 그리고, 20 프레임에서, U6에 대해서는 아직 인식이 수행되지 않았지만 추적에 실패하여 인식을 수행할 대상에서 제외된다.

21 프레임에서, U3는 등록된 얼굴로 인식되지 않아 U3로 계속해서 표시한다.

24 프레임에서, U7에 대해서는 인식이 수행되지 않은 상태에서 새롭게 검출이 되었으므로 인식할 정규화 영상을 16 프레임에서 추출된 정규화 영상 대신 24 프레임에서 만들어진 정규화 영상으로 대체한다. 또는 대체하지 않고 추가하여 두 영상 모두에 대하여 연속 프레임 또는 정해진 인식 주기로 인식을 수행할 수 있다.

도 5는 본 발명의 또 다른 실시 예에 따른 얼굴 등록 장치(500)의 개략적인 블록도이다.

도 5를 참조하면, 얼굴 등록 장치(500)는 검출부(510), 등록부(520), 클러스터링부(530) 및 관심 얼굴 설정부(540)를 포함한다.

얼굴 등록 장치(500)는 사용자가 등록하여 관리하고자 하는 관심 인물에 대해 자동으로 관심 인물의 얼굴을 등록한다. 본 발명의 일 실시 예에 따른 얼굴 등록 장치(500)는 사용자가 직접 관심 인물에 특정 ID를 부여하지 않고서도 관심 인물을 인식하여 관심 인물 중심의 고화질 영상을 얻을 수 있다. 따라서, 사용자는 관심 인물 중심의 영상 획득을 할 수 있고, 번거로운 얼굴등록 절차를 피하여 사용자의 편의성을 증대시키고, 관심 인물에 대해 자동 판별할 수 있다.

검출부(510)는 영상 획득 장치(미도시)를 통해 획득한 영상에서 얼굴 후보 영역들과 학습한 얼굴 영상과 비교하여 얼굴을 검출한다. 얼굴 검출은 종래에 알려진 다양한 검출 알고리즘을 이용할 수 있다.

또한, 본 발명의 일 실시 예에서, 검출부(510)는 얼굴 등록 장치(500)에 포함하여 구성하였으나, 별도의 검출 모듈로서 얼굴 등록 장치(500)와 분리하여 구현하는 것도 가능하다.

등록부(520)는 검출된 얼굴 영상에 대해 등록한다.

클러스터링부(530)는 등록된 얼굴들을 서로 비교하여 클러스터링을 수행하여 ID를 부여한다. 여기서, 클러스터링이란 한 군집에 포함된 데이터들 간의 유사한 성질을 갖도록 데이터를 묶는 것으로 패턴 인식, 영상 처리 등의 분야에서 널리 사용되는, 데이터마이닝 기술이다. 예를 들면, 등록된 얼굴들의 정보를 서로 비교하여 동일 인물들끼리 그룹화하는 것이다.

관심 얼굴 설정부(540)는 클러스터링 결과에 따른 동일인물로 그룹핑된 얼굴의 수, 퀄러티, 등록 시각 등이 일정 임계치 이상인 경우에 관심 얼굴로 설정한다. 예를 들면, 획득한 영상에서 얼마나 자주 등장하는 얼굴인지, 얼마나 양호하게 획득되었는지, 얼마나 최근에 획득된 것인지 등의 정보를 이용하여 등록된 얼굴의 우선 순위를 결정한다. 따라서, 촬영 횟수가 증가할수록 관심 인물의 등록 영상이 많아지고, 관심 인물의 인식률이 향상된다.

도 6은 본 발명의 또 다른 실시 예에 따른 얼굴 등록 방법을 설명하기 위한 흐름도이다.

도 6을 참조하면, 먼저, 단계 600에서, 온라인 등록을 할 것인지 여부를 질의한다. 사용자가 온라인 등록을 선택하는 경우, 단계 602에서, 프리뷰용 영상을 캡쳐한다. 그리고 온라인 등록을 선택하지 않은 경우에는 단계 604에서, 미리 촬영된 영상 또는 저장된 영상을 로딩한다. 단계 606에서, 관심 얼굴을 자동 등록한다. 관심 얼굴 자동 등록 과정은 도 7을 참조하여 후술한다.

도 7은 본 발명의 또 다른 실시 예에 따른 얼굴 등록 방법을 설명하기 위한 흐름도이다.

도 7을 참조하면, 단계 700에서, 프리뷰용으로 캡쳐한 영상 또는 미리 촬영하여 로딩한 영상에서 얼굴 영상을 검출한다. 단계 702에서, 검출된 다수의 얼굴 들 중에서 등록할 얼굴을 선택한다. 여기서, 사용자가 등록할 얼굴을 임의로 선택하거나 또는 자동으로 선택할 수도 있다. 또한, 단계 702는 생략 가능하며, 이 경우 검출된 모든 얼굴들에 대해 이후 과정을 수행한다.

단계 704에서, 선택한 얼굴 영상 또는 모든 얼굴 영상에 대해 인식 특징을 추출하고, 단계 706에서, 추출한 정보를 등록한다. 단계 708에서, 등록한 얼굴들을 클러스터링을 수행하는데, 동일 인물의 얼굴들을 하나의 묶어서 ID를 부여한다. 또한, 해당 ID에 대하여 사용자가 직접 우선순위를 부여할 수도 있고, 사용자가 ID를 부여하지 않은 경우에는 임의의 ID를 부여한다.

단계 710에서, ID를 부여한 후, 소정의 기준에 따라 관심 인물로 설정할 것인지 여부를 결정하고, 관심 인물의 경우 우선순위를 갱신한다. 여기서, 해당 ID에 사용자가 직접 부여한 우선 순위와 ID 별 등록 영상에 대한 얼굴 수, 등록된 시간 정보 등으로부터 우선순위 점수를 계산하여 이 점수에 따라 자동으로 우선 순위를 설정한다. 여기서, 소정의 기준은 등록된 얼굴의 수, 등록된 시간 정보 등을 포함한다. 우선 순위 점수는 다음 수학식 1에 따라 계산할 수 있다.

우선순위 점수= w1*(등록된 얼굴 수) + w2*(시간 우선순위 점수) + w3* (현재 ID의 우선 순위 점수)

여기서, 시간 우선 순위 점수는 최근의 시간일수록 높은 점수를 부여하고, 현재 ID의 우선 순위 점수는 사용자가 직접 우선 순위를 정한 것일수록 높은 점수 부여하는 방식으로 설정할 수 있다. 또한, w1, w2 및 w3는 각각의 팩터들에 대한 가중치로 등록된 얼굴 수, 시간 우선 순위 또는 현재 ID 우선 순위의 중요도에 따라 적절하게 설정할 수 있다.

또한, 선택적으로, 우선 순위 점수가 특정 임계치보다 낮을 경우는 관심 인물에서 배제할 수도 있다.

본 발명의 일 실시 예에 따른 얼굴 등록 방법은 검출된 얼굴을 등록하고, 등록된 얼굴들을 서로 비교하여 동일 인물끼리 클러스터링하고, 동일 인물에 대한 등록 얼굴의 수와 영상의 퀄러티, 등록 시각 등의 정보를 이용하여 관심 인물 여부를 결정함으로써, 복수 얼굴 인식 시에 상기 정보를 이용하여 AE, AF, AWB 대상이 되는 얼굴의 우선순위 결정에 활용할 수 있다.

도 8은 본 발명의 또 다른 실시 예에 따른 영상 촬영 시스템(800)의 개략적인 블록도이다.

도 8을 참조하면, 영상 촬영 시스템(800)은 얼굴 검출 장치(810), 얼굴 등록 장치(820), 복수의 얼굴 인식 장치(830) 및 촬영 제어 장치(840)를 포함한다.

영상 촬영 시스템(800)은 관심 인물을 자동으로 등록하고, 인물 인식 결과를 검출, 추적 기능을 결합하여 표현하고, 인물 중심의 촬영제어를 수행함으로써 인물 중심의 고화질 영상을 취득할 수 있다. 여기서, 영상 촬영 시스템(800)은 디지털 카메라, DSC, DSLR, 폰 카메라, PDA 카메라, 캠코더 등을 포함한다.

얼굴 검출 장치(810)는 소정의 영상 획득 장치(미도시)로부터 획득한 영상에서 얼굴 영상을 검출한다.

얼굴 등록 장치(820)는 얼굴 검출 장치(810)로부터 얼굴 영상을 입력받아, 검출된 얼굴을 등록하고, 등록된 얼굴들을 서로 비교하여 클러스터링을 수행하여 동일 인물로 그룹핑된 얼굴의 수와, 영상 품질, 등록 시간 정보를 기초로 관심 얼굴로 등록한다.

복수의 얼굴 인식 장치(830)는 얼굴 검출 장치(810)로부터 복수의 얼굴 영상을 입력받아, 검출된 각각의 얼굴들에 대해 얼굴인식을 시분할 수행하여 인식한다. 따라서, 계산량이 많은 얼굴 인식을 한꺼번에 수행하지 않음으로써 시간 지연 현상을 없애고, 인식 결과를 적절하게 디스플레이시킨다. 또한, 복수의 얼굴 인식 장치(830)는 검출과 인식 사이에 추적을 수행함으로써 검출과 인식 사이의 비-동기화(desynchronization) 문제를 해결할 수 있다.

촬영 제어 장치(840)는 복수의 얼굴 인식 장치(830)로부터 인식된 얼굴의 위치 정보를 제공받아, 등록된 얼굴의 위치, 거리, 조도, 컬러 특성을 추정하고, 추정 결과를 이용하여 초점, 노출, 플래시, 화이트 밸런스 등을 포함하는 촬영 제어 정보를 생성한다. 도면에 도시되지는 않았지만, 이러한 촬영 제어 정보를 이용하여 관심 인물의 얼굴을 중심으로 인물을 촬영하는 촬영부와 촬영한 영상에 대한 후 처리를 수행하는 후 처리부를 더 포함할 수 있다.

도 9는 본 발명의 또 다른 실시 예에 따른 영상 촬영 방법을 설명하기 위한 흐름도이다.

도 9를 참조하면, 단계 900에서, 관심 인물의 얼굴을 자동으로 등록한다. 단계 902에서, 등록된 얼굴을 인식하여 위치를 파악하고, 표시한다. 단계 904에 서, 등록된 얼굴의 위치, 거리, 조도, 컬러 특성을 추정하여 초점, 노출, 플래시, 화이트 밸런스(White Balance) 등을 제어하는데, 추정한 정보들을 이용하여 촬영 제어 정보를 생성함으로써 이루어진다. 단계 906에서, 단계 904에서 생성한 촬영 제어 정보를 이용하여 영상을 촬영한다.

한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

<도면의 주요 부분에 대한 부호의 설명>

110, 510: 검출부 120: 정규화부

130: 저장부 140: 인식부

150: 표시부 160: 추적부

520: 등록부 530: 클러스터링부

540: 관심 얼굴 설정부 810: 얼굴 검출 장치

820: 얼굴 등록 장치 830: 촬영 제어 장치

Claims

입력 영상 프레임들로부터 다수의 얼굴들을 검출하는 단계;

얼굴 인식이 수행되는 소정의 얼굴 인식 주기에 일치하는 소정의 프레임들에서, 다수의 검출된 얼굴들 중에서 한 번에 하나의 검출된 얼굴을 연속적으로 인식하는 단계를 포함하고,

상기 얼굴 인식이 수행되는 각각의 다음 소정의 얼굴 인식 주기에서, 상기 다수의 검출된 얼굴들 중 다음 검출된 얼굴이 연속적으로 인식되는 것을 특징으로 하는 복수의 얼굴 인식 방법.
제 1 항에 있어서,

상기 인식 단계는,

상기 인식 주기 프레임 동안, 상기 검출한 얼굴들을 추적하는 단계를 더 포함하고,

상기 검출 단계는,

이전 영상 프레임의 추적 결과를 기초로 얼굴들을 검출하는 것을 특징으로 하는 복수의 얼굴 인식 방법.
제 2 항에 있어서,

상기 이전 영상 프레임의 추적 결과를 기초로 얼굴을 검출한 경우,

상기 인식 단계는,

상기 이전 영상 프레임에서 검출하여 인식한 얼굴에 가중치를 부여하는 것을 특징으로 하는 복수의 얼굴 인식 방법.
제 1 항에 있어서,

상기 검출 단계 다음에,

상기 검출한 얼굴들을 정규화하는 단계; 및

상기 정규화한 얼굴들을 저장하는 단계를 더 포함하는 것을 특징으로 하는 복수의 얼굴 인식 방법.
제 2 항에 있어서,

상기 추적 단계는,

상기 검출한 얼굴들을 최대 추적 프레임 동안 지속적으로 추적하는 것을 특징으로 하는 복수의 얼굴 인식 방법.
제 1 항에 있어서,

상기 검출 단계는,

소정의 검출 주기 동안에 상기 얼굴들을 검출하는 것을 특징으로 하는 복수의 얼굴 인식 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
제 1 항 내지 제 6 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.
입력 영상 프레임들로부터 다수의 얼굴들을 검출하는 검출부; 및

얼굴 인식이 수행되는 소정의 얼굴 인식 주기에 일치하는 소정의 프레임들에서, 다수의 검출된 얼굴들 중에서 한 번에 하나의 검출된 얼굴을 연속적으로 인식하는 인식부를 포함하고,

상기 인식부는,

상기 얼굴 인식이 수행되는 각각의 다음 소정의 얼굴 인식 주기에서, 상기 다수의 검출된 얼굴들 중 다음 검출된 얼굴이 연속적으로 인식되는 것을 특징으로 하는 복수의 얼굴 인식 장치
제 15 항에 있어서,

상기 인식 주기 프레임 동안, 상기 검출한 얼굴들을 추적하는 추적부를 더 포함하고,

상기 검출부는 이전 영상 프레임의 추적 결과를 기초로 얼굴들을 검출하고, 상기 검출 결과를 상기 인식부에 제공하고,

상기 인식부는 상기 제공받은 검출 결과에 따라 상기 이전 영상 프레임에서 검출하여 인식한 얼굴에 가중치를 부여하는 것을 특징으로 하는 복수의 얼굴 인식 장치.
제 15 항에 있어서,

상기 검출한 얼굴들을 정규화하는 정규화부; 및

상기 정규화한 얼굴들을 저장하는 저장부를 더 포함하는 것을 특징으로 하는 복수의 얼굴 인식 장치.
삭제
삭제
삭제