KR20090118095A

KR20090118095A - 분류기 체인을 이용한 조명 검출

Info

Publication number: KR20090118095A
Application number: KR1020097020698A
Authority: KR
Inventors: 린더트 블론크; 피터 콜코란; 미흐네아 간제아
Original assignee: 포토네이션 비젼 리미티드
Priority date: 2007-03-05
Filing date: 2008-02-28
Publication date: 2009-11-17
Also published as: EP2137670A2; US20120207358A1; JP2010520542A; WO2008107112A2; EP2137670B1; US8503800B2; WO2008107112A3; KR101129405B1; US20080219517A1; JP5174045B2

Abstract

얼굴 조명 규격화 방법은 고르지 않게 조명된 것으로 나타나는 얼굴을 포함하는 디지털 이미지를 획득하는 단계를 포함한다. 하나 이상의 비균일 조명 분류기 프로그램은 디지털 이미지 및/또는 얼굴의 비균일 조명 조건내에 얼굴이 존재하는 지를 판단하기 위해 얼굴 데이터에 적용된다. 보다 균일한 조명을 가지는 것으로, 예를 들어, 얼굴 인지 화질이 개선되는 것으로 나타나는 정정된 얼굴 이미지를 생성하기 위해, 이 비균일 조명 조건이 정정될 수 있다.

Description

분류기 체인을 이용한 조명 검출{Illumination detection using classifier chains}

본 발명은 특히, 고르지 않은 조명 조건 하에서의 얼굴 검출 및 감지와 관련된다.

Viola-Jones는 순차적인 특징 검출기의 연속으로 이루어진 분류기 체인을 제안한다. 상기 분류기는 얼굴을 나타내지 않는 이미지 패턴들을 거절하고 얼굴을 나타내는 이미지 패턴들을 받아들인다.

얼굴 감지 과정에서의 문제점은 고르지 않게 조명된 얼굴들이 올바른 분류를 어렵게 하며 얼굴 공간의 넓은 영역에 분포할 때 발생한다. 유사한 조명을 가지는 얼굴들은 서로 클러스터(cluster)를 이루는 경향이 있고 동일한 사람의 이미지들에 대한 올바르게 클러스터링 하는 것이 어렵다. 이미지들의 범위 안에서 고르지 않게 조명된 얼굴들, 또는 비정면 자세(non-frontal pose)를 가지는 얼굴과 같이, 다른 어려운 얼굴 특징이 존재하는 곳에서, 얼굴 검출을 할 수 있는 것이 요망된다. 또한, 예를 들어, 얼굴 인식 및/또는 다른 얼굴에 기초한 애플리케이션을 사용하는 데 있어서, 얼굴의 조명을 규격화하는 방법을 가지는 것이 요망된다.

얼굴 조명 규격화 방법이 제공된다. 고르지 않게 조명된 것으로 나타나는 얼굴에 대응하는 데이터를 포함하여 디지털 이미지가 획득된다. 하나 이상의 조명 분류기 프로그램이 얼굴 데이터에 적용되고, 얼굴 데이터가 상기 얼굴에 대응되는 것으로 식별된다. 얼굴에 대한 비균일 조명 조건이 상기 하나 이상의 비균일 조명 분류기 프로그램을 적용한 결과로서 판단된다. 상기 판단에 근거하여, 균일한 조명을 갖는 것으로 나타나는 정정된 얼굴 이미지를 생성하기 위해, 상기 얼굴에 대한 비균일 조명 조건이 정정된다. 본 방법은 또한 상기 정정된 얼굴 이미지를 전자적으로 저장, 전송, 얼굴 인지 프로그램에 적용, 편집, 또는 디스플레이하거나, 이들을 조합하여 수행하는 단계를 포함한다.

얼굴 인지 프로그램이 상기 정정된 얼굴 이미지에 적용될 수 있다. 얼굴을 검출하는 것과 상기 얼굴의 비균일 조명 조건을 판단하는 것이 동시에 수행될 수 있다. 비얼굴 데이터(non-face data)가 얼굴 데이터로 식별되는 것을 거절하기 위해 특징 검출기 프로그램의 세트가 적용될 수 있다.

정면 조명 분류기 프로그램이 상기 얼굴 데이터에 또한 적용될 수 있다. 조명 조건은 상기 분류기 프로그램 중 하나에 의한 얼굴 데이터의 수락(acceptance)에 기초하여 결정될 수 있다. 상기 디지털 이미지는 상기 얼굴을 포함하는 시리즈에서 다중의 이미지들 중의 하나이고, 상기 정정 단계는, 상기 시리즈에서 상기 조명 조건이 결정된 디지털 이미지와는 다른 이미지에 적용될 수 있다.

상기 비균일 조명 분류기 프로그램은, 탑 조명 분류기, 바텀 조명 분류기, 오른쪽 및 왼쪽 조명 분류기들 중 어느 하나 또는 양쪽 모두를 포함할 수 있다. 정면 조명 분류기 프로그램이 상기 얼굴 데이터에 적용될 수 있다. 하나의 조명 조건도 적용되지 않고, 얼굴 데이터가 얼굴로 거절되지 않음을 판단한 후에 두 개 이상의 전체 분류기 세트가 적용될 수 있다.

얼굴 검출 방법이 제공된다. 얼굴 검출 방법은 디지털 이미지를 획득하는 단계와 상기 이미지로부터 서브-윈도우를 추출하는 단계를 포함한다. 얼굴 영역의 특징에 선택적으로 민감하도록 훈련된 두 개 이상의 단축된 얼굴 검출 분류기 캐스케이드가 적용된다. 상기 적용에 근거하여, 상기 특징의 일정 형태를 가지는 얼굴이 서브-윈도우 내에 존재할 확률이 결정된다. 상기 특징의 일정 형태에 민감하도록 훈련된 확장된 얼굴 검출 분류기 캐스케이드가 적용된다. 상기 이미지 서브-윈도우 내에 얼굴이 존재한다는 최종 판단이 제공된다. 이미지 및/또는 하나 이상의 특징들로부터 하나 이상의 서브-윈도우들에 대하여 상기 방법이 반복된다.

상기 특징 또는 특징들은 얼굴 영역의 지향성 조명, 얼굴 영역의 인-플레인 회전, 얼굴 영역의 3D 자세 변화, 미소의 정도, 눈 깜박임(eye-blinking)의 정도, 눈짓(eye-winking)의 정도, 입을 벌린 정도, 얼굴 흐려짐, 눈의 결함(eye-defect), 얼굴의 음영, 얼굴의 폐색(occlusion), 얼굴의 색, 얼굴의 모양, 또는 이들의 조합을 포함할 수 있다.

상기 특징은 지향성 조명을 포함하며, 비균일 조명조건이 하나 이상의 비균일 조명 분류기 캐스케이드를 적용함으로써 결정될 수 있다. 정면 조명 분류기 캐스케이드가 또한 적용될 수 있다. 얼굴에 대한 조명 조건이 상기 분류기 캐스케이드 중 하나에 의한 수락에 근거하여 서브-윈도우 내에서 결정될 수 있다. 상기 디지털 이미지는 얼굴을 포함하는 시리즈에서 다중의 이미지들 중의 하나이고, 비균일 조명 조건이 상기 조명 조건이 결정된 상기 디지털 이미지와 다른, 상기 시리즈에 있는 이미지 내에서 정정될 수 있다. 상기 비균일 조명 분류기 캐스케이드는, 탑 조명 분류기, 바텀 조명 분류기, 오른쪽 및 왼쪽 조명 분류기들 중 어느 하나 또는 양쪽 모두를 포함할 수 있다.

디지털 이미지를 획득하는 단계와 상기 이미지로부터 서브-윈도우를 추출하는 단계를 포함하는 얼굴 검출 방법이 더 제공된다. 지향성 얼굴 조명에 선택적으로 민감하도록 훈련된 두 개 이상의 단축된 얼굴 검출 분류기 캐스케이드가 적용될 수 있다. 서브-윈도우 내에서 일정 형태를 가지는 지향성 얼굴 조명을 가지는 얼굴이 존재할 확률이 결정될 수 있다. 지향성 얼굴 조명의 상기 일정 형태에 민감하도록 훈련된 확장된 얼굴 조명 검출 분류기 캐스케이드가 적용될 수 있다.

상기 디지털 이미지는 얼굴을 포함하는 시리즈에서 다중의 이미지들 중의 하나일 수 있고, 비균일 조명 조건이 상기 조명 조건이 결정된 상기 디지털 이미지와 다른, 상기 시리즈에 있는 이미지 내에서 정정될 수 있다.

상기 비균일 조명 분류기 캐스케이드는, 탑 조명 분류기, 바텀 조명 분류기, 오른쪽 및 왼쪽 조명 분류기들 중 어느 하나 또는 양쪽 모두를 포함할 수 있다. 정면 조명 분류기 캐스케이드가 또한 적용될 수 있다. 얼굴에 대한 조명 조건은 상기 분류기 캐스케이드 중 하나에 의한 수락에 근거하여 서브-윈도우 내에서 결정될 수 있다.

디지털 이미지를 획득하기 위한 광전자 시스템과, 여기서 기술된 얼굴 조명 규격화 방법을 수행하는 프로세서를 프로그램하는 프로세서가 읽을 수 있는(processor-readable) 코드가 저장된 디지털 메모리;를 포함하는 디지털 이미지 획득 소자가 또한 제공된다.

도 1은 본 발명의 바람직한 실시예에 의한 이미지 처리 장치의 본질적인 구성요소들을 보이는 블록도이다.

도 2는 도 1의 이미지 처리 장치의 동작을 설명하는 흐름도이다.

도 3A 내지 도 3D는 바람직한 실시예의 장치에 의해 처리된 이미지들의 예들을 보인다.

도 4는 실시예에 의한 이미지 처리 시스템의 블록도이다.

도 5는 실시예에 의한 주요 이미지 분류/회수의 동작 흐름을 보인다.

도 6A는 이미지 수집 데이터 세트를 위한 예시적인 데이터 저장 구조를 보인다.

도 6B 및 도 6D는 개개의 패턴들에 대한 특징 벡터들이 평균된 패턴(평균 얼굴)에 상대적인 것으로 결정될 수 있는 경우 및 개개의 패턴들에 대한 특징 벡터들이 절대적인 항목(컬러 상관도)으로 판단될 수 있는 경우 각각에 대하여 이미지 분류기의 양상들을 보인다.

도 6C 및 도 6E는 이미지 수집체의 이미지 내에서 다른 모든 분류기 패턴에 대하여 선택된 분류기 패턴으로부터 유사성 측정 거리의 각각의 세트에 대한 계산을 보인다.

도 6F는 어떻게 다중의 분류기가 규격화되고 그들의 유사성 척도들이 단일의 유사성 척도를 제공하기 위해 결합되는지를 보인다.

도 7은 실시예에 의한 이미지 처리 시스템의 인-카메라 블록도를 보인다.

도 8은 실시예에 의한 얼굴 조명 규격화 방법을 보인다.

도 9A 및 9B는 실시예에 의한 얼굴 검출 방법들을 보인다.

도 10A 및 10B는 실시예에 의한 방법을 더 보인다.

도 1은 실시예에 의한 얼굴 검출 및 트래킹 시스템의 서브시스템들을 보인다. 실선은 이미지 데이터의 흐름을 나타내고, 점선은 모듈로부터의 제어 입력 또는 정보 출력(예를 들어 검출된 얼굴의 위치(들))을 나타낸다. 이 실시예에서 이미지 처리 장치는 디지털 스틸 카메라(DSC), 비디오 카메라, 이미지 획득 기능이 구비된 휴대폰 또는 내장 또는 외장된 카메라가 구비된 손에 쥘 수 있는 컴퓨터가 될 수 있다.

디지털 이미지는 이미지 센서(CCD 또는 CMOS)(105)로부터 미가공의 포맷(raw format)으로 획득되고, 이미지 서브샘플러(112)는 주요 이미지의 더 작은 사본을 생성한다. 디지털 카메라는 이미지 서브샘플링(subsampling)을 수행하기 위해, 예를 들어, 카메라 디스플레이 및/또는 카메라 동작 구성요소들에 미리보기 이미지를 제공하기 위한 전용의 하드웨어 서브 시스템을 포함할 수 있다. 서브샘플된 이미지는 비트맵 포맷 (RGB 또는 YCC)으로 제공될 수 있다. 한편으로, 보통 이미지 획득 체인(normal image acquisition chain)은 약간의 휘도나 컬러 균형을 포함할 수 있는 미가공 이미지(110)에 대해 후처리를 수행한다. 일정의 디지털 이미징 시스템에서, 서브 샘플링은 후처리 후에, 또는 일정의 후처리 필터들이 적용된 후 그러나 전체 후처리 필터 체인이 완료되기 전에 발생할 수 있다.

서브샘플된 이미지는 다음, 서브샘플된 이미지로부터 통합 이미지를 ㅅ생성하는 통합 이미지 생성기(115)로 전달된다. 통합 이미지는 다음, 고정 크기 얼굴 검출기(120)로 전달된다. 얼굴 검출기는 전체 통합 이미지에 적용되지만, 이것은 주 이미지의 서브 샘플된 사본의 통합이미지이기 때문에, 얼굴 검출기에 의해 요구되는 처리는 비례하여 감소될 수 있다. 만약, 서브샘플이 주 이미지의 1/4이라면, 이것은 처리 시간이 전체 이미지의 처리 시간의 겨우 25%임을 의미한다.

이러한 접근법은 서브샘플된 이미지 메모리 공간이 고정된 크기의 DMA 윈도우에 의해 스캔되고 하-특징(Haar-feature) 분류기 체인을 수행하기 위한 디지털 로직이 이 DMA 윈도우에 적용되는 곳에서, 특히 하드웨어 구현체에 순응한다. 그러나, 어떤 구현체는 하나 이상의 다른 크기의 분류기 또는 여러 크기의 분류기를 사용할 수 있으며, 또는 중첩된 고정 크기의 분류기가 (예를 들어, 하드웨어 구현체에서) 사용된다. 작은 통합이미지가 계산된다는 것이 이점이다.

빠른 얼굴 검출기(280)를 적용한 후에, 새롭게 검출된 후보의 얼굴 영역[141)이, 얼굴 트래킹이 요구될 때 얼굴 트래킹 모듈(111)로 전달될 수 있으며, 여기서, 이전의 분석(145)으로부터 확인된 하나 이상의 얼굴 영역이 얼굴 트래커(290)에 제공되기 전에 새로운 후보의 얼굴 영역과 병합될 수 있다.

얼굴 트래커(290)는 확인된 후보 영역들(143)의 세트를 트래킹 모듈(111)에 제공한다. 이들 확인된 영역들(143)이 얼굴 영역인지 확인하거나 또는 얼굴 트래커(290)에 의해 그렇지 않은 것으로 확인되는 경우 그 영역들을 후보로 유지하기 위해, 추가적인 이미지 처리 필터들이 트래킹 모듈(111)에 의해 적용된다. 최종 얼굴 영역의 세트(145)는 카메라의 다른 곳에서 사용되거나 또는 그 안에 저장되거나 또는 획득된 이미지와 연합하여 이후의 처리에서 카메라 또는 오프라인에서 사용되기 위해, 뿐만 아니라, 얼굴 트래킹의 다음 반복에서 사용되기 위해, 모듈(111)에 의해 위해 출력될 수 있다.

주 이미지 획득 체인이 완료된 후에, 보통, 전체 크기의 주 이미지 사본이 이미지 획득 시스템의 시스템 메모리(140)에 있게 될 것이다. 이것은 얼굴 트래킹 모듈(111)로부터 얻어진 후보 얼굴 영역 데이터(142)에 기초하여 이미지 패치들(patches)을 선택하는 얼굴 트래커(290)의 후보 영역 추출기(125)에 의해 접근될 수 있다. 각 후보 영역에 대한 이 이미지 패치들은, 결과된 통합 이미지들을 가변 크기 검출기(121), 가능한 예로서, VJ 검출기에 전달하는 통합 이미지 생성기(115)에 전달되고, 다음, 분류기 체인, 일부 실시예에서는 32보다 작은 것이 사용될 수 있지만, 바람직하게는 적어도 32 분류기 체인을 각각의 후보 영역에 대해 다른 스케일 범위에 걸쳐 통합 이미지에 적용한다.

얼굴 검출기(121)에 채용된 스케일(144)의 범위는 얼굴 검출기 모듈(111)에 의해 판단되고 공급되며, 부분적으로 현재의 후보 얼굴 영역(142)의 이력와 관련된 통계 정보에 기초를 두고, 부분적으로 외부의 이미지 획득 시스템내의 다른 서브시스템들로부터 결정된 외부의 메타데이터(metadata)에 기초를 둔다.

전자의 예로서, 만약, 후보 얼굴 영역이 획득된 이미지 프레임들의 일정 개수에 대해 특정 크기를 일관되게 유지하는 경우, 얼굴 검출기(121)는 이 특정 스케일에, 그리고 한 스케일 높은(1.25배 큰) 스케일과 한 스케일 낮은(1.25배 낮은) 스케일에 적용될 수 있다.

후자의 예로서, 만약 이미지 획득 시스템의 초점이 무한대로 옮겨진 경우, 가장 작은 스케일링이 얼굴 검출기(121)에 적용될지도 모른다. 보통, 이 스케일링은 채용되지 않을지도 모르는데, 이들이 후보 얼굴 영역에 이를 완벽하게 커버하기 더 많은 회수로 적용되기 때문이다. 후보 얼굴 영역은 더 이상 줄어들 수 없는 최소 크기를 가질 수 있으며, 이것은 프레임들 사이에서 사용자에 의한 카메라의 국소적 움직임을 가능하게 하기 위한 것이다. 움직임 센서를 구비하는 어떤 이미지 획득 시스템에 있어서, 이러한 국소적 움직임을 추적하는 것이 가능할 수 있으며, 이 정보는 후보 영역들의 스케일과 크기의 선택을 더욱 개선하기 위해 채용될 수 있다.

후보 영역 트래커(290)는 이미지 패치들의 완전한 가변 크기 얼굴 검출에 근거하여 얼굴 트래킹 모듈에 확인된 얼굴 영역들[143)의 세트를 제공한다. 확실히, 몇몇 후보 영역들은 확인되어 있을 수 있고, 반면 다른 것들은 거절되어 있을 수 있고, 이들은 트래커(290)에 의해 명백하게 되돌려지거나 트래킹 모듈(111)에 의해 확인된 영역들(143)과 후보 영역들(142)의 차이를 분석함으로써 계산될 수 있다. 각 경우에, 얼굴 트래킹 모듈(111)은 그 다음에, 트래커(290)에 의해 거절된 후보 영역들에 대하여, 이들이 트래킹의 다음 사이클에 후보 영역들(142)로 유지되어야 하는지, 또는 이들이 트래킹으로부터 정말로 제거되어야 하는지를 판단하기 위해, 선택적인 테스트를 적용할 수 있다.

확인된 후보 영역들(145)의 세트가 얼굴 트래킹 모듈(111)에 의해 일단 결정되면, 모듈(111)은 언제, 다음 획득 이미지가 서브 샘플링되어 검출기(280)에 제공되고, 또한 다음 획득 이미지가 서브 샘플링 될 해상도(146)를 제공할지를 결정하기 위해 서브 샘플러(112)와 통신한다.

다음 이미지가 획득될 때 검출기(280)가 동작하지 않는 곳에서, 다음 획득 이미지를 위해 추출기(125)에 제공된 후보 영역은 트래킹 모듈(111)에 의해 최후의 획득 이미지로부터 확인된 영역(145)이 될 것이다. 반면, 얼굴 검출기(280)가 새로운 세트의 후보 영역들(141)을 얼굴 트래킹 모듈(111)에 제공할 때, 이 후보 영역은 다음 획득 이미지를 위해 후보 영역(142)의 세트를 추출기(124)에 제공하기 위해, 이전의 확인된 영역들(145)의 세트에 병합된다.

도 2는 예시적인 작업 흐름을 보인다. 도시된 과정은 (ⅰ) 완전한 이미지의 서브 샘플된 버전에 대해 동작하는 빠른 얼굴 검출기(280)을 사용하여 새로운 후보 얼굴 영역(141)을 찾는 위상 검출 및 초기화, (ⅱ)후보 영역들을 위해 추출된 이미지 패치들에 동작하고, 하나 이상의 이전의 획득 이미지 프레임들의 위치에 근거하여 결정되는 2차 얼굴 검출 과정(290), (ⅲ) 확인된 얼굴 영역들(143)의 통계적인 이력을 계산하고 저장하는 주요 트래킹 과정으로 나뉘어진다. 빠른 얼굴 검출기(280)의 적용이 후보 영역 트래커(290)의 적용 이전에 발생하는 것으로 도시되어 있지만, 이 순서는 중요하지 않으며, 빠른 검출은 모든 프레임에서 실행될 필요는 없으며, 일정 환경에서는 중첩된 프레임에 걸쳐 전개될 수 있다. 또한, 얼굴 검출은 얼굴 트래킹이 사용되던지 않던지, 얼굴 인식과 같은 다양한 적용예를 위해 사용될 수 있다.

단계 205에서 주 이미지가 획득되고, 단계 210에서 도 1과 관련된 설명에서 기술된대로 주 이미지의 초기 이미지 처리가 수행된다. 앞서 기술된 바와 같이 단계 211에서, 서브 샘플된 이미지는 서브샘플러(112)에 의해 생성되고, 통합 이미지는 생성기(115)에 의해 이로부터 생성된다. 단계 220에서, 통합된 이미지는 고정 크기 얼굴 검출기(120)에 전달되고, 고정 크기 윈도우는 통합 이미지 내에서 얼굴 트래킹 모듈에 얼굴 영역들(141)의 세트를 제공한다. 이 영역들의 크기는 오얼굴 트래킹 모듈에 의해 서브 샘플러에 지정된 서브 샘플링 스케일(146)에 의해 결정되고, 이 스케일은 카메라의 초점과 이동과 같은 다른 입력들 뿐 아니라, 검출기(280)에 의한 이전의 서브샘플되고 통합된 이미지들, 트랙커(290)에 의해 이전에 획득된 이미지들로부터의 패치에 대한 분석에 기초한다.

단계 242에서, 후보 영역들의 세트(141)는 확인을 위해 제공된 후보 영역들의 병합된 세트(142)를 생성하기 위해 기존의 확인된 영역들의 세트(145)에 병합된다. 단계 225에서, 얼굴 트래킹 모듈(111)에 의해 지정된 후보 영역들(142)에 대하여, 후보 영역 추출기(125)는 획득된 이미지로부터 대응하는 전체 행상도 패치들을 추출한다. 단계 230에서 각각의 추출된 패치에 대해 통합 이미지가 생성되고, 예를 들어, 완전한 Viola-Jones 분석과 같이, 가변 크기의 얼굴 검출이 얼굴 검출기(121)에 의해 각 통합 이미지 패치에 적용된다. 단계 240에서, 이 결과들(143)은 얼굴 트래킹 모듈(111)에 역으로 피드백 된다.

트래킹 모듈(111)은 확인된 영역들의 세트(145)가 출력되기 훨씬 이전에 이 영역들(143)을 처리한다. 이 관점에서, 단계 245에서, 추가적인 필터들이 트래커(290)에 의해 확인된 영역들을 위해, 또는 트래커(290)에 의해 확인되지 않을 수 있거나 검출기(280)에 의해 픽업된 후보 영역들(142)을 유지하기 위해, 모듈 (111)에 의해 적용될 수 있다.

예를 들어, 얼굴 영역이 일련의 획득된 이미지들에 걸쳐 트래킹된 다음 잃어버려졌을 때, 카메라에 마주하는 피사체가 단순히 돌아선 것인지를 체크하기 위해 스킨 견본(skin prototype)이 모듈에 적용될 수 있다. 만약 그렇다면, 다음 획득 이미지에서 피사체가 카메라를 마주하도록 다시 돌아서는지를 체크하기 위해이 후보 영역이 유지될 수 있었을 것이다. 단계 250에서, 어떤 주어진 시간에서든지 유지되는 확인된 영역의 크기들과 그 크기들의 이력, 예를 들어, 그들이 커지거나 작아지는지에 의존하여, 모듈(111)은 검출기(280)에 의해 분석될 다음 획득 이미지의 서브 샘플링을 위해 스케일(146)을 결정하고, 이것을 서브 샘플러(112)에 제공한다.

빠른 얼굴 검출기(280)은 모든 획득 이미지에 대해 동작할 필요는 없다. 예를 들어, 서브 샘플된 이미지들 중 단 하나의 소스만이 사용가능한 곳에서, 카메라가 초당 60개의 프레임을 획득하는 경우, 초당 15-25 서브샘플된 프레임(fps)은 사용자의 미리보기를 위해 카메라 디스플레이에 제공될 것이 요구될 수 있다. 이 이미지들은 같은 스케일로, 그리고 디스플레이를 위해 충분히 높은 해상도로 서브샘 플된다. 남은 35-45 fps의 일부 또는 전부는 얼굴 검출과 트래킹 목적을 위해 트래킹 모듈(111)에 의해 결정된 스케일로 샘플될 수 있다.

연속된 흐름으로부터 이미지들이 선택되는 주기에 관한 결정은 고정 수 또는 선택적으로 런-타임 변수에 기초할 수 있다. 이러한 경우들에 있어서, 다음 샘플된 이미지에 관한 결정은 캡쳐된 실시간 스트림과 얼굴 트래킹 처리 사이의 동시성을 유지하기 위해, 이전 이미지에서 걸렸던 처리 시간에 결정될 수 있다. 따라서, 복잡한 이미지 환경에서 샘플 비율은 감소할 수 있다.

선택적으로, 다음 샘플에 대한 결정은 선택된 이미지들의 내용 처리에 기초하여 수행될 수 있다. 만약, 이미지 스트림에 의미있는 변화가 없는 경우, 전체 얼굴 트래킹 과정은 수행되지 않을지도 모른다. 이러한 경우들에서, 샘플링 비율이 일정하다고 하더라도, 이미지들은 단순한 이미지 비교를 겪게 되고, 정당화될 만한 차이가 있다고 결정될 때만 얼굴 트래킹 알고리즘이 착수된다.

얼굴 검출기(280)가 규칙적인 또는 비규칙적인 간격으로 동작할 수 있다는 점이 주목되어야 할 것이다. 예를 들어, 카메라 초점이 두드러지게 변한다면, 얼굴 검출기는 크기가 변하여야 할 얼굴들을 검출하기 위해 보다 빈번하게, 특히 서브 샘플된 이미지의 스케일을 다르게 하면서, 동작할 것이다. 선택적으로, 초점이 급격히 변하는 곳에서, 검출기(280)는 초점이 안정될 때까지 중간 개재된 프레임들을 건너뛸 수 있다. 그러나, 일반적으로 가장 높은 해상도의 통합 이미지가 생성기(115)에 의해 생성되는 것은 초점이 무한대로 갈 때뿐이다.

이 후자의 경우에, 어떤 환경에서 검출기는 한 프레임에서 획득되고 서브샘 플된 이미지의 전체 영역을 커버하지 못할 수도 있다. 이에 따라, 검출기는 첫번째 프레임에서 획득되고 서브샘플된 이미지의 일부에 걸쳐서만, 그리고 뒤따르는 획득 이미지 프레임에서의 이미지의 잔류 부분에 걸쳐 적용될 수 있다. 실시예에서, 검출기는 주변으로부터의 이미지에 들어오는 작은 얼굴들을 파악하기 위해 첫번째 획득 이미지 프레임에서 얻어진 이미지의 바깥 영역에, 그리고 뒤따르는 프레임에서 이미지의 더 중앙 영역에 적용된다.

얼굴 검출기(120)가 적용될 이미지 영역을 제한하는 선택적인 방법은 피부 톤을 포함하는 이미지 영역을 식별하는 것을 포함한다. US 6,661,907은 피부 톤을 검출하고 뒤따라 두드러진 피부 컬러를 가지는 영역에서 얼굴 검출만을 적용하는 이러한 한 기술을 개시한다.

실시예에서, 피부 구분(190)은 바람직하게는, 획득된 이미지의 서브 샘플된 버전에 적용된다. 서브 샘플된 버전의 해상도가 충분하지 않은 경우, 다음, 이미지 저장소(150)에 저장된 이전 이미지 또는 다음의 서브 샘플된 이미지가, 두 이미지들이 현재 획득된 이미지와 내용상 크게 다르지 않을 때, 선호적으로 사용된다. 선택적으로, 피부 구분(190)은 전체 크기의 비디오 이미지(130)에 적용될 수 있다.

어느 경우에서나, 피부 톤을 포함하는 영역은 직사각형으로 경계지음에 의해 식별되고 이 직사각형 경계지음은, 트래커 통합 이미지 생성기(115)와 유사한 방식으로 직사각형에 대응하는 통합 이미지 패치들을 산출하는 통합 이미지 생성기(115)에 제공된다.

이 접근은 통합 이미지 산출 및 얼굴 검출의 구동과 관련된 처리 비용을 줄 일 뿐만 아니라, 일정 실시예들에서는, 이 피부 톤 영역이 실제로 얼굴을 포함할 가능성이 더 높기 때문에, 얼굴 검출기(120)가 직사각형 경계지음에 더 완화된 얼굴 검출을 적용하는 것을 가능하게 한다. 따라서, VJ 검출기(120)의 경우, 더 짧은 분류기 체인이, 얼굴을 명확하게 검출하는데 요구되는 더 긴 VJ 분류기를 가지는 전체 이미지에 걸쳐 얼굴 검출을 구동하는데 있어서, 유사한 품질의 결과를 보다 효과적으로 제공하기 위해 채용될 수 있다.

얼굴 검출에 대한 한층 더 나아간 개선이 또한 가능하다. 예를 들어, 얼굴 검출은 조명 조건에 상당히 의존하는데 조명의 매우 작은 변화는 다소 불안정한 검출 반응을 야기하며, 얼굴 검출이 되지 않게 할 수 있다.

실시예에서, 확인된 얼굴 영역들(145)은, 분석될 관심 대상의 이미지 영역이 원하는 변수를 가지도록 조명 보정이 수행되어야 할, 연이어 얻어진 서브샘플된 이미지의 영역을 식별하기 위해 사용된다. 이러한 보정의 한 예는 확인된 얼굴 영역들(145)에 의해 정의된 서브 샘플된 이미지 영역 내에서의 휘도 콘트라스트를 개선할 수 있다.

콘트라스트 강화는 이미지의 국소적 콘트라스트를 증가시키기 위해, 특히, 사용할 수 있는 이미지 데이터가 근접한 콘트라스트 값들로 표현될 때, 사용될 수 있다. 이러한 조절을 통해, 히스토그램 상에 표현되는 영역의 픽셀에 대한 세기는 더 잘 분포되며, 그렇지 않았다면 근접하게 분포되었을 것이다. 이것은 낮은 국소 콘트라스트를 가지는 영역이 전체적인 콘트라스트에 영향을 주지 않고 더 높은 콘트라스트를 얻는 것을 가능하게 한다. 히스토그램 균등화는 최다 빈도의 세기 값을 효과적으로 펼침에 의해 이를 수행한다.

이 방법은 배경과 전경을 가지며 이들이 모두 밝거나 또는 모두 어두운 이미지들에 유용하다. 특히, 이 방법은 노출 과다 또는 노출 부족의 사진에서 더 나은 디테일에 이르게 할 수 있다. 선택적으로, 이 휘도 보정은 생성기(115)의 "보정된" 통합 이미지의 계산에 포함될 수도 있다.

다른 개선에서, 얼굴 검출이 사용될 때, 카메라 애플리케이션은, 얼굴 검출이 얼굴에 잠금을 제공할 때까지, 노출을 계산된 디폴트로부터 더 높은 값으로(프레임에서 프레임으로, 장면을 약간 과다노출하며) 동적으로 조절하도록 조절된다. 별개의 실시예에서, 얼굴 검출기(120)는 이미지들간이 실질적으로 다른 영역들에 적용될 수 있다. 내용 변경을 위해 두 샘플된 이미지들을 비교하기 전에, 카메라의 줌(zoom), 팬(pan), 틸트(tilt)와 같은 카메라의 움직임에 의해 야기되는 카메라에 있어서의 변화 가변성을 제거하기 위해 이미지들 간의 등록 스테이지가 필요할 수 있음에 주목해라.

카메라 펌웨어로부터 줌 정보를 얻는 것이 가능하며, 또한, 카메라 메모리(140) 도는 이미지 저장소(150)에 있는 이미지를 분석하는 소프트웨어 기술을 사용하여 한 이미지에서 다른 이미지로의 카메라의 팬 또는 틸트의 정도를 판단하는 것이 가능하다.

실시예에서, 획득 소자에는 도 1에 도시된 바와 같이, 소프트웨어에서 카메라 움직임을 결정하는 처리 요구를 피할 수 있도록, 한 이미지에서 다른 이미지로의 팬의 정도 및 방향을 결정하기 위한, 움직임 센서(180)가 구비된다. 움직임 센 서는 예를 들어, 가속도계에 근거하여, 그러나, 선택적으로는 자이로스코픽 원리에 근거하여 주 이미지의 캡쳐 동안에 손 떨림을 경고하거나 보상하는 것을 주요한 목적으로 하며, 디지털 카메라에 포함된다. 이러한 맥락에서, US 특허 4,448,510에서 Murakoshi는 통상의 카메라에 대하여 이러한 시스템을 개시하며, US 특허 6,747,690에서 Molgaard는 새로운 디지털 카메라 내에 적용된 가속도 센서를 개시한다.

움직임 센서가 카메라에 구비된 곳에서, 이것은 광축 주위에서의 작은 움직임에 대해 최적화될 수 있다. 가속도계는 경험된 가속에 근거하여 신호를 생성하는 감지 모듈과 효과적으로 측정될 수 있는 가속 범위를 결정하는 증폭기 모듈을 포함할 수 있다. 가속도계는 민감도 조절을 가능하게 하는 증폭기 상태에 대한 소프트웨어 제어를 허용할 수 있다.

움직임 센서(180)는 차세대 소비자 카메라 및 카메라 폰에 구비될 수 있는 종류의 MEMS 센서에 의해 동일하게 수행될 수 있다. 어느 경우든지, 카메라가 얼굴 트래킹 모드에서 동작할 때, 즉, 일정한 비디오 획득이 주 이미지의 획득과 구별될 때, 이미지 품질이 낮기 때문에 손떨림 보정이 사용되지 않을 수 있다. 이것은 움직임 센서 증폭기 모듈을 낮은 게인에 세팅함으로써 큰 움직임을 감지하도록, 움직임 센서(180)를 구성할 기회를 제공한다. 센서(180)에 의해 감지되는 움직임의 크기와 방향은 얼굴 트래커(111)에 제공된다. 추적되는 얼굴들의 대략적인 크기는 이미 알려져 있으며, 이것은 각 얼굴의 카메라로부터 거리의 추정을 가능하게 한다. 이에 따라, 센서(180)로부터 큰 움직임의 대략적인 크기를 아는 것은, 각 후보 얼 굴 영역의 대략적인 변위를, 이들이 카메라로부터의 거리가 달라지고 있다고 하더라도, 결정할 수 있게 한다.

큰 움직임이 검출될 대, 얼굴 트래커(111)은 움직임의 방향과 크기에 대한 함수로써 후보 영역의 위치를 이동한다. 선택적으로, 트래킹 알고리즘이 적용될 영역의 크기는 또한 움직임의 방향과 크기에 대한 함수로써 커질 수 있다. (만약 필요하다면, 더 큰 이미지 영역의 스캐닝을 보상하기 위해 트래커의 정교함은 감소될 수 있다.)

카메라가 주 이미지를 캡쳐하기 위해 구동될 때 또는 다른 어떤 이유로든지 카메라가 얼굴 트래킹 모드에서 나갈 때, 움직임 센서(180)의 증폭기 게인은 보통으로 되돌아오며, 완전한 크기의 이미지를 위한 주 이미지 획득 체인(105,110)이 움직임 센서(180)로부터의 정보에 근거하여 보통의 손떨림 보장 알고리즘을 채용하는 것이 가능해진다. 선택적인 실시예에서, 카메라 디스플레이를 위한 서브 샘플된 미리보기 이미지는, 이미지 서브샘플러(112)로 공급되고 이미지 서브샘플러로부터 공급받는 이미지들과는 달리, 별도의 파이프를 통해 공급될 수 있고, 따라서 모든 획득된 이미지와 이의 서브샘플된 사본은 카메라 디스플레이 뿐만 아니라 검출기(280)에서도 사용가능하다.

비디오 스트림(stream)으로부터 샘플을 주기적으로 획득하는 것에 더하여, 이 과정은 또한 디지털 카메라에 의해 얻어진 하나의 스틸 이미지에 적용될 수 있다. 이 경우, 얼굴 트래킹을 위한 스트림은 미리보기 이미지들을 위한 스트림을 포함하며, 시리즈에서의 최종 이미지는 전체 해상도로 획득된 이미지이다. 이러한 경 우, 얼굴 트래킹 정보는, 도 2에서 설명한 것과 유사한 방법으로, 최종 이미지에 의해 검증될 수 있다. 이에 더하여, 얼굴의 좌표 또는 마스크와 같은 정보는 최종 이미지와 함께 저장될 수 있다. 이러한 데이터는 예를 들어, 획득 소자에서 또는 외부 소자에 의한 다음 스테이지에서의 미래의 후처리를 위해, 저장된 이미지 헤더에 입력으로 적합해질 수 있다.

도 3A 내지 3D는 작업된 예들을 통한 일 실시예들의 동작을 보인다. 도 3A는 비디오 또는 스틸 시리즈 내에서의 스틸 프레임에서 검출 및 트래킹 사이클의 끝에서의 결과를 보이며, 다른 스케일의 두 확인된 얼굴 영역(301,302)을 보인다. 이 실시예에서, 실용적인 이유로, 직사각형 영역에 대해 계산하는 것이 보다 쉽기 때문에, 각 얼굴 영역은 직사각형의 경계 박스를 가진다. 이 정보는 도 1의 트래킹 모듈(111)에 의해, 기록 및 145로 출력된다. 얼굴 영역(301,302)의 이력에 기초하여, 트래킹 모듈(111)은 이에 따라 제공되고 분석될 통합 이미지를 가지는 얼굴 영역(301) 크기의 분류기 윈도우를 가지는 빠른 얼굴 트래킹을 실행할 것을 결정할 수 있다.

도 3B는 비디오 열에서 다음 프레임이 캡쳐되고, 새로운 이미지에 빠른 얼굴 검출기가 적용된 상황을 보인다. 양 얼굴은 모두 움직였고(311,312), 이전의 얼굴 영역(301, 302)에 대하여 보여진다. 세번째 얼굴 영역(303)이 나타났고 빠른 얼굴 검출기(303)에 의해 검출되었다. 이에 더하여, 빠른 얼굴 검출기는 이전의 두 확인된 얼굴들(304) 중에서 더 작은 것을 발견하였는데, 이것이 빠른 얼굴 검출기에 대하여 올바른 위치에 있기 때무이다. 영역(303)과 영역(304)는 후보 영역(141)으로 서, 트래킹 모듈(111)에 제공된다. 트래킹 모듈은 영역(303,304,302)를 포함하는 후보 영역의 세트를 후보 영역 추출기(290)에 제공하기 위해, 이 새로운 후보 영역 정보(141)를 영역(301,302)를 포함하는 이전의 확인된 영역 정보(145)에 병합한다. 트래킹 모듈(111)은 영역(302)이 검출기(280)에 의해 픽업되지 않았다는 것을 안다. 이것은 얼굴이 사라지고, 검출기(280)에 의해 검출될 수 없었을 크기로 남아있기 때문이거나 또는 검출기(280)에 의해 검출될 수 없었던 크기로 크기가 변했기 때문이다. 따라서, 이 영역에 대하여, 모듈(111)은 큰 패치(305)를 지정할 것이다.

큰 패치(305)는 도 3C에 도시된 바와 같이, 트래커(290)에 의해 체크되도록 영역(302) 주위에 있을 수 있다. 새롭게 검출된 얼굴 후보를 경계짓는 영역(303)만이 트래커(290)에 의해 체크될 필요가 있으며, 반면, 얼굴(301)은 움직이고 있기 때문에, 이 영역을 둘러싸는 상대적으로 큰 패치(306)는 트래커(290)에 지정된다.

도 3C는 후보 영역 추출기가 이미지들에 동작한 후에, 확인된 얼굴 영역들(301,302) 양자에 둘러싸인, 이전의 비디오 프레임뿐만 아니라 새로운 영역(303)으로부터의 후보 영역(306,305)이 전체 해상도 이미지(130)로부터 추출된 상황을 보인다. 이 후보 영역의 크기는, 부분적으로는 현재 얼굴 후보의 이력과 관계된 통계 정보에 기초하여, 부분적으로는 이미지 획득 시스템 내에서의 다른 서브시스템으로부터 결정된 외부 메타 데이터에 기초하여 계산되었다. 이 추출된 후보 영역은 스케일 범위에 걸쳐 VJ 얼굴 검출기를 후보 영역에 적용하는 가변 크기의 얼굴 검출기(121) 상으로 전달된다. 하나 이상의 확인된 얼굴 영역들의 위치는, 만약 있다면, 얼굴 트래킹 모듈(111)로 되돌려 전달된다.

도 3D는 얼굴 트래킹 모듈(111)이 빠른 얼굴 검출기(280)와 얼굴 트래커(290) 양자로부터의 결과들을 병합하고 다양한 확인 필터들을 확인된 얼굴 영역들에 적용한 후의 상황을 보인다. 이 확인된 얼굴 영역은 패치들(305,306,303) 내에서 검출되었다(307,308,309). 가장 큰 영역(307)은 알려지만 이전 비디오 프렝임으로부터 이동되었고, 적절한 데이터가 얼굴 영역의 이력에 추가되었다. 움직인 다른 이전에 알련진 영역(308)은 이중 확인을 위해 기능하는 빠른 얼굴 검출기로부터 또한 검출되었고 이 데이터는 이력에 추가되었다. 최종적으로, 새로운 얼굴 영역(303)은 검출 및 확인되었고, 새로운 얼굴 영역 이력이 이 새롭게 검출된 얼굴을 위해 초기화되어야 한다. 이 세 얼굴 영역들은 다음 사이클에서 확인된 얼굴 영역들(145)의 세트를 제공하기 위해 사용된다.

얼굴 검출 모듈에 의해 제공된 영역(145)을 위한 많은 가능한 애플리케이션이 있다. 예를 들어, 각 영역들(145)에 대한 경계 박스는 카메라가 자동적으로 장면 내에서 검출된 얼굴을 트래킹한다는 것을 나타내기 위해 카메라 상에 중첩될 수 있다. 이것은 다양한 프리-캡쳐 변수들을 개선하기 위해 사용될 수 ㅇ lㅆ따. 한 예는 노출인데, 얼굴들이 잘 노출되었다는 것을 보증한다. 다른 예는 자동 초점 조절인데, 이미지 안에서 최적의 표현을 위해, 초점이 검출된 얼굴 상에 놓이거나 또는 다른 캡쳐 세팅을 정말로 조절하는 것을 보증한다.

보정은 전처리 조절의 일부로서 행해질 수 있다. 얼굴 검출의 위치는 또한 후처리를 위해, 특히 얼굴들을 가지는 영역들이 화질 개선될 수 있는 곳에서의 선택적인 후처리를 위해, 이용될 수 있다. 이러한 예들은 윤곽 선명하게 하기, 채도 개선, 밝게 하기 또는 국소 콘트라스트의 증가를 포함한다. 얼굴들의 위치를 이용한 전처리는 얼굴이 없는 영역에서, 예를 들어, 선택적인 흐리게 함, 채도 감소 또는 어둡게 함을 통하여 그들의 시각적인 중요성을 줄이기 위해, 또한 이용될 수 있다.

몇가지 얼굴 영역들이 추적되는 곳에서, 가장 길게 살아남거나 또는 가장 큰 얼굴은 포커싱을 위해 이용될 수 있으며, 그로서 강조될 수 있다. 또한, 영역들(145)은 예를 들어, 필요한 경우에 적목(red-eye) 처리가 행해지는 영역을 제한하기 위해 사용될 수 있다. 경량의 얼굴 검출과 연계되어 사용될 수 있는, 앞서 기술한 다른 후처리는 얼굴 인지이다. 특히, 이러한 접근은 상기에서 또는 자원 소모적인 알고리즘을 더 많이 실행하기 위해 충분한 자원을 가지는 오프라인 소자에서 동작하는, 보다 강건한 얼굴 검출 및 인지와 결합될 때 유용해 질 수 있다.

이 경우, 얼굴 트래킹 모듈(111)은 어떤 확인된 얼굴 영역이든지의 위치를 인-카메라 펌 웨어에 바람직하게는 신뢰 인자와 함께 기록한다. 신뢰 인자가 적어도 하나의 얼굴이 이미지 프레임에 실제로 존재하는 것을 나타내며, 한 영역에 대해 충분히 높을 때, 카메라 펌웨어는 얼굴의 위치에서 경량 얼굴 인지 알고리즘(160), 예를 들어, DCT-기반의 알고리즘을 실행한다. 얼굴 인지 알고리즘(160)은 개인 식별자들과 이들과 관련된 얼굴 변수들을 포함하는 카메라에 선호적으로 저장된 데이터베이스(161)을 사용한다.

동작중에, 모듈(160)은 프레임의 시리즈에 걸쳐 식별자를 수집한다. 미리보기 프레임의 개수에 걸쳐 추적된 검출된 얼굴의 식별자들이 두드러지게 특히 한 사 람에 대한 것일 때, 그 사람은 인지 모듈에 의해 이미지 안에 존재하는 것으로 간주된다. 사람의 식별자와 최후로 알려진 얼굴 위치 중 어느 하나 또는 양쪽 모두가 이미지(헤더 안의) 또는 카메라 저장소에 저장된 별개의 파일에 저장된다. 사람의 ID에 대한 이러한 저장은 인지 모듈(160)이 직전의 프레임들에 대해 실패하고 그러나 이에 대해 얼굴 영역이 모듈(111)에 의해 여전히 검출되고 추적될 때에도 발생할 수 있다.

이미지가 카메라 저장소로부터 디스플레이 또는 PC와 같은 영구 저장 소자에 복사될 때, 사람의 ID는 이미지와 함께 복사된다. 이러한 소자들은 일반적으로, 강건한 얼굴 인지(만약 있다면)로부터 인지 결과들을 더욱 강화하며, 더 강건한 얼굴 검출 및 인지 알고리즘을 실행, 다음, 결과들을 카메라로부터의 인지 결과들과 결합하는 것을 더 잘할 수 있다. 결합된 식별 결과들은 사용자에게 제시되거나, 또는, 만약 식별이 가능하지 않았다면, 발견된 사람의 이름을 입력하도록 사용자에게 요청된다. 사용자가 식별을 거절하거나 또는 새로운 이름이 입력되었을 때, PC는 얼굴 인쇄 데이터베이스를 재훈련하고, 경량 데이터베이스(161)에의 저장을 위해 캡쳐 소자의 적절한 변화들을 다운로드한다. 중첩 확인된 얼굴 영역들(145)이 검출될 때, 인지 모듈(160)은 이미지 내에서 다수의 사람을 검출하고 인지할 수 있다.

사람이 인지될 때까지 또는 얼굴 인쇄 데이터베이스 안에 사람들이 존재하지 않는다는 것이 명확할 때까지 사진을 찍지 않거나, 선택적으로 사람이 인지되었을 때 적절한 지표를 표시하는 모드를 카메라에 도입하는 것이 가능하다. 이것은 이미지 내에서 사람에 대한 신뢰성 있는 식별을 가능하게 한다.

이 특징은 얼굴 검출과 인지를 위해 단 하나의 이미지를 사용하는 알고리즘이 올바르게 수행될 확률이 낮은 곳에서의 문제점을 해결한다. 한 예에서, 인지에 있어서, 만약 얼굴이 어떤 엄격한 제한사항 내에 정렬되지 않았을 때, 사람을 정확하게 인지하는 것이 가능하지 않다. 이 방법은 이 목적을 위해 미리보기 프레임들의 시리즈를 사용하는데, 조금씩 다른 샘플들의 더 많은 변화량 사용가능할 때 신뢰할 만한 얼굴 인지가 행해질 수 있다고 기대되기 때문이다.

여기서 기술된 시스템들의 효율을 위해 더 나아간 개선들이 가능하다. 예를 들어, 얼굴 검출 알고리즘은 다른 방위, 0, 90, 180, 270도의 사진에 있는 얼굴들을 검출하기 위한, 방법들을 채용하거나 분류기들을 사용할 수 있다. 더 나아간 실시예에 따르면, 카메라에는 방위 센서가 더 구비될 수 있다. 이것은 카메라가 똑바로 놓였는지, 뒤집어졌는지, 또는 시계 방향 또는 반시계 방향으로 기울어졌는지를 판단하기 위해 하드웨어 센서를 포함할 수 있다. 선택적으로, 방위 센서는 획득되고 있는 이미지들이 세로(portrait) 모드인지 가로(landscape) 모드인지 그리고 카메라가 시계방향으로 기울었는지 반시계방향으로 기울었는지를 빠르게 판단하기 위해, 각각 도 1에 도시된 바와 같은, 이미지 획득 하드웨어(105,110) 또는 카메라 메모리(140) 또는 이미지 저장소(150)에 연결된 이미지 분석 모듈을 포함할 수 있다.

이러한 결정이 일단 있으면, 카메라의 방위는 얼굴 검출기(120,121)의 하나 또는 양쪽 모두로 공급된다. 다음, 검출기들은, 결정된 카메라의 방위와 함께 얻어진 이미지에서의 얼굴의 가능한 방위에 따라 얼굴 검출에 적용되기만 하면 된다. 이 특징은 예를 들어, 얼굴을 검출할 가능성이 낮거나 또는 주어진 방위에서 얼굴들을 더 자주 더 잘 검출하기 위해 분류기들을 실행함으로써 그 정확성을 높이는 분류기의 채용을 피함으로써, 얼굴 검출 과정의 비용부담을 현저하게 줄일 수 있다.

다른 실시예에 의하면, 디지털 이미지들의 수집체 내에서 이미지 인지를 위한 방법이 제공되며, 이 방법은 이미지 분류기들을 훈련시키는 단계와 상기 수집체로부터 이미지들의 서브-세트를 회수하는 단계를 포함한다. 이미지 분류기의 훈련 단계는 바람직하게는 다음 중 어느 하나, 하나 이상 또는 모두를 포함할 수 있다. 수집체 내의 각 이미지에 대하여, 얼굴에 대응하는 이미지 내부의 모든 영역이 식별된다. 각각의 얼굴 영역과 모든 관련된 주변 영역에 대하여, 특징 벡터(feature vector)들인 각각의 이미지 분류기에 대하여 결정된다. 특징 벡터들은 연합된 얼굴 영역에 관련된 데이터와 연합하여 저장된다.

수집체로부터 이미지의 서브-세트를 회수하는 단계는 바람직하게는 다음 중 어느 하나, 하나 이상 또는 모두를 포함할 수 있다. 인지될 얼굴을 포함하는 적어도 하나의 참조 영역(들)이 이미지로부터 선택된다. 상기 회수의 근거가 될 적어도 하나의 분류기가 이미지 분류기들로부터 선택된다. 각각의 선택된 분류기에 대한 각각의 특징 벡터가 참조 영역에 대해 결정된다. 이미지들의 서브-세트는 참조 영역에 대해 결정된 특징 벡터와 이미지 수집체의 얼굴 영역에 대한 특징 벡터 사이의 거리에 따라 이미지 수집체 내부로부터 회수된다.

디지털 이미지의 수집체에서 이미지 인지에 대한 구성요소는 이미지 분류기 들을 훈련하기 위한 훈련 모듈과 수집체로부터 이미지들의 서브-세트를 회수하기 위한 회수 모듈을 포함한다.

훈련 모듈은 바람직하게는 다음 중 하나, 하나 이상 또는 모두에 따라 구성될 수 있다. 수집체에서 각 이미지에 대하여, 이미지에서 얼굴에 대응하는 모든 영역이 식별된다. 각 얼굴 영역 및 모든 연관된 주변 영역에 대하여, 특징 벡터들은 각 이미지 분류기들에 대해 결정된다. 특징 벡터들은 연합된 얼굴 영역에 관련된 데이터와 연합하여 저장된다.

회수 모듈은 바람직하게는 다음 중 한, 하나 이상 또는 모두에 따라 구성될 수 있다. 인지될 얼굴을 포함하는 적어도 하나의 참조 영역이 이미지로부터 선택된다. 회수의 근거가 될 적어도 하나의 이미지 분류기가 선택된다. 각각의 특징 벡터는 참조 영역의 각각의 선택된 분류기에 대해 결정된다. 이미지들의 서브-세트는 참조 영역에 대해 결정된 특징 벡터와 이미지 수집체의 얼굴 영역에 대한 특징 벡터 사이의 거리에 따라 이미지 수집체 내부로부터 선택된다.

더 나아간 양태에서, 이미지 인지에 대한 대응 요소가 제공된다. 이 실시예에서, 훈련 과정은 이미지 수집체의 각 이미지를 통해 자동적으로 주기를 이루며, 이미지 내부에서 얼굴 영역의 위치를 검출하는 얼굴 검출기를 채용한다. 이것은 다음, 이 영역과, 예를 들어, 결정된 얼굴 영역과 연합된 사람의 머리, 옷, 및/또는 자세를 나타내는 되는 관련된 비얼굴 주변 영역을 추출하고 규격화한다. 초기 훈련 데이터는 각 얼굴 분류기에 대하여 기초 벡터를 결정하는데 사용된다.

기초 벡터 세트는 부속물들의 선택된 세트와 특정의 분류기에 대한 이 부속 물들에 대한 참조 값들을 포함한다. 예를 들어, DCT 뷴류기에 있어서, 기초 벡터는 선택된 이미지 영역이 미래의 매칭 및/또는 구별을 위해 가장 잘 특징지워지는 빈도들의 선택된 세트와, 각 빈도에 대한 참조값을 포함한다. 다른 분류기에 있어서, 참조값은 벡터 공간에서 단순히 원점( 0의 값)일 수 있다.

다음, 각 결정되고 추출되고 규격화된 얼굴 영역에 대하여, 적어도 하나의 특징 벡터가 적어도 하나의 얼굴 영역 기반의 분류기에 대하여 생성되고, 연관된 비얼굴 영역이 사용가능한 곳에, 적어도 하나의 특징 벡터가 각각의 비얼굴 영역 기반의 분류기에 대해 더 생성된다. 특징 벡터는 기초 벡터 공간 내에서 참조값에 상대적인, 식별된 영역의 좌표로 생각될 수 있다.

이 데이터는 적절한 이미지와 얼굴/주변 영역과 연합되고 미래의 참조를 위해 저장된다. 이 실시예에서 이미지 회수(retrieval)는 사용자가 선택한 얼굴 영역을 채용하거나 또는 선택된 이미지 수집체 내에서 다른 얼굴 영역들과 비교하기 위해 새롭게 획득된 이미지에서 자동적으로 얼굴 영역을 결정하고 선택할 수 있다. 일단 적어도 하나의 얼굴 영역이 선택되면, 회수 과정은 적어도 하나의 얼굴 기반의 분류기와 적어도 하나의 비얼굴 기반의 분류기와 연관된 특징 벡터를 결정(또는, 만약 이미지가 이전에 "훈련"되었다면, 공급)한다. 선택된 얼굴 영역과 현재 이미지 수집체에서 다른 모든 얼굴 영역간의 비교는 다음, 각 분류기에 대해 거리 측정치(measures) 세트를 산출할 것이다. 더욱이, 이 거리 측정치 세트를 계산하는 동안 각 분류기에 대한 거리 측정치의 통계 분포와 연관된 평균 및 분산값이 계산될 것이다. 최종적으로, 이 거리 측정치들은 바람직하게는 각 분류기에 대한 평균 및 분산을 사용하여 규격화되고, 최종 랭크된 유사성 목록을 생성하기 위해 사용되는 결합된 거리 측정치를 제공하기 위해 합쳐진다.

다른 실시예에서, 분류기들은 얼굴 영역들을 인식하기 위해 웨이브렛 도메인(wavelet domain) PCA(principld component analysis) 분류기와 2D-DCT(discrete cosine transform) 분류기를 포함한다. 이 분류기들은 이미지 수집체에 추가된 각기의 새로운 이미지에 대한 훈련 상태를 요구하지 않는다. 예를 들어, ICA 기술이나 또는 LDA(linear discriminant analysis)를 채용하는 피셔 페이스(Fisher Face)기술은 훈련 상태 동안에 기초 벡터를 클러스터 유사 이미지들에 적합화시키고 이 클러스터들의 분리(separation)를 최적화하는 잘 알려진 얼굴 인지 기술이다.

이 분류기들의 조합은 얼굴 자세의 다른 변화들, 조명, 얼굴 표정, 이미지 품질 및 초점(선명도)에 대해 강건(robust)하다. PCA(principle component analysis)는 고유얼굴(eigenface) 방법으로 또한 알려져 있다. 이러한 방법을 활용한 통상적인 기술의 요약이 "Eigenfaces for recognition, Journal of Cognitive Neuroscience, 3(1), 1991 to Turk et al"에 나타나 있다. 이 방법은 얼굴 표정, 적은 정도의 회전과 다른 조명들에 민감하다. 바람직한 실시예에서, 얼굴 외관에서 작은 변화의 원인이 되는 빈도가 높은 구성요소들은 이미지로부터 걸러진다. 저역 투과 필터된 서브 밴드로부터 얻어진 웨이브렛 분해로부터의 특징들은 얼굴 표정, 적은 정도의 회전과 다른 조명에 대해 통상의 PCA보다 상당히 더 강건하다.

일반적으로, PCA/Wavelet 기술을 수행하는데 포함되는 단계들은 다음을 포함한다. (ⅰ)추출되고 규격화된 얼굴 영역이 그레이 스케일로 변환되고; (ⅱ)Daubechie 웨이브렛을 사용하여 웨이브렛 분해가 적용되고; (ⅲ)그레이 스케일 LL 서브밴드 표현상에 히스토그램 균등화가 행해지고; 다음, (ⅳ)평균의 LL 서브밴드가 계산되고 모든 얼굴로부터 제거되며; (ⅴ)첫번째 레벨의 LL 서브밴드가 코배리언스(covariance) 매트릭스와 주요 요소(아이겐벡터)의 계산을 위해 사용된다. 결과된 아이겐벡터들(기초 벡터 세트)과 평균 얼굴은 훈련된 후에 파일에 저장되고, 따라서, 검출된 얼굴 영역에 대한 특징 벡터에 대하여 주요 요소들을 결정하는데 사용될 수 있다. 대체적인 실시예는 H. Lai, P.C.Yuen과 G.C.Feng 의 "Face recognition using holistic Fourier invariant features, Pattern Recognition, Vol.34, pp.95-109, 2001"에서의 논의와 구별될 수 있다.

2D 이산 코사인 변환(Discrete Cosine Transform) 분류기에서 얼굴 영역의 DCT 변환에 대한 스펙트럼은 더 큰 강건함을 얻기 위해 더 처리될 수 있다. (Application of the DCT Energy Histogram for Face Recognition, in Proceedings of the 2nd International Conference on Information Technology for Application(ICITA 2004), Tjahyadi et al.을 참조할 것)

이 기술에 포함된 단계들은 일반적으로 다음과 같다.(ⅰ)크기가 다시 정해진 얼굴은 256 컬러 gif 컬러맵을 사용하여 인덱스된 이미지로 변환되고; (ⅱ) 2D DCT 변환이 적용되고; (ⅲ) 분류를 위해 결과된 스펙트럼이 사용되며; (ⅳ) DCT 스펙트럼들간의 유사성 비교를 위해 Euclidian 거리가 사용된다. 비얼굴 기반의 분류기의 예들은 컬러 히스토그램, 컬러 모멘트(moment), 컬러 상관도(correlogram), 밴드 컬러 상관도(banded color correlogram), 웨이브렛 텍스처(wavelet texture) 분석 기술에 기초한다. 컬러 히스토그램의 수행이 "CBIR method based on color spatial feature, IEEE Region 10th Ann. Int. Conf. 1999 (TENCON '99, Cheju, Korea, 1999)"에 기술된다. 컬러 히스토그램의 사용은, 그러나, 하나 이상의 이미지 서브 영역들 내에 포함된 컬러 정보에 근거한 분류로 통상 제한된다.

컬러 모멘트는 컬러 히스토그램을 분류기로 사용할 때 발생하는 양자화 효과를 피하기 위해 사용될 수 있다.("Similarity of color images", SPIE Proc. pp. 2420 (1995), Stricker et al. 을 참조할 것). 첫번째 세 모멘트들(평균, 표준편차와 스큐)은 세 컬러 채널로부터 추출되며, 따라서 9차원의 특징 벡터를 형성한다.

컬러 자동상관도(auto-correlogram)(US 6,246,790, Stricker et al.을 참조할 것)는, 컬러와 픽셀간 거리로 인덱스된 3차원 테이블에 기초하며, 저장된 이미지에서 컬러 변화의 공간 상관도가 거리에 따라 어떻게 변하는지를 표현하는 이미지 분석 기술을 제공한다. 컬러 상관도는 데이터베이스에서 다른 이미지들로부터 한 이미지를 구별하는데 사용될 수 있다. 단 하나의 분류기에서 컬러와 텍스처 특징을 결합하는데 효과적이다.("Image indexing using color correlograms", IEEE Conf. Computer Vision and Pattern Recognition, PP. 762 et seq(1997), Huang et al.을 참조할 것).

일 실시예에서, 컬러 상관도는 이미지를 RGB 컬러 공간으로부터 변환하고 최소 분산 양자화에 기초한 디더링(dithering) 기술을 사용하여 이미지 컬러맵을 감소시킴에 의해 실행될 수 있다. 변형된 대체적인 실시예들은 "Variance based color image quantization for frame buffer display, Color Res. Applicat., vol.15, no. 1, pp.52-58, 1990, Wan et al."와 구별될 수 있다. 16, 64, 256 컬러의 감소된 컬러맵이 획득될 수 있다. 16컬러를 위해, VGA 컬러맵이 사용될 수 있으며, 64, 256 컬러를 위해 gif 컬러맵이 사용될 수 있다. 최대 거리 세트 D=1;3;5;7가 N×D 차원의 특징 벡터를 구성하기 위한 자동-상관도를 계산하기 위해 사용될 수 있으며, 여기서, N은 컬러의 수이고, D는 최대 거리이다.

컬러 자동상관도와 밴드 상관도는 빠른 알고리즘을 사용하여 계산될 수 있다("Image Indexing Using Color Correlograms' Proceedings of the 1997 Conference on Computer Vision and Pattern Recognition (CVPR '97), Huang et al.을 참조할 것). 웨이브렛 텍스처 분석 기술("Texture analysis and classification with tree-structured wavelet transform", IEEE Trans. Image Processing 2(4), 429(1993), Chang et al.을 참조할 것)은 또한 유리하게 사용될 수 있다. 웨이브렛 기반의 텍스쳐를 추출하기 위해, 원래의 이미지는 3-레벨 웨이브렛 변환을 통해, 10개의 연관이 깨진(de-correlated) 서브밴드들로 분해된다. 각 서브밴드에서, 웨이브렛 계수의 표준 편차가 추출되고, 10차원의 특징 벡터가 결과로서 생겨난다.

다른 실시예는 도 4와 관련하여 기술된다. 이것은 데스크탑 컴퓨터(1150)에서 수행되는 소프트웨어 모듈(1162)의 세트의 형태를 취한다. 두번째 바람직한 실시예는 디지털 카메라와 같은 내장 이미징 기기 내에서의 실행수단을 제공한다.

이 실시예에서, 프로그램은 데스크탑 환경에 채용될 수 있고, 또는 독립(stand-alone) 프로그램으로서 작동되거나, 또는 선택적으로, 기존 애플리케이션 이나 운영 시스템에 그 기능을 향상시키기 위해, 통합될 수 있다.

<이미지 분석 모듈>

도 4에 도시된 바와 같이, 이미지 분석 모듈(1156)은 복수의 얼굴 및 비얼굴 분류기에 대해 특징 벡터들을 결정하기 위해 이미지들의 세트(1170-1,...,1180-2)를 순환하며, 얼굴 영역들과 연관된 주변 영역들을 결정하고, 추출하고, 규격화하고 분석한다. 모듈은 다음, 이 추출된 정보를 이미지 데이터 세트 레코드에 기록한다. 이 모듈의 요소는 또한 훈련과 실시예의 모드들을 분류/회수하는데 사용된다. 이 모듈은 높은 레벨의 작업 흐름도에서 호출되며, 사용상의 보통 모드에서, 분석된 이미지들의 세트에 전달된다(2202). 이 모듈은 다음 이미지(2202)를 공급/획득하며, 상기 이미지(2204)에서 모든 얼굴 영역들을 검출한다. 만약, 얼굴 영역이 발견되지 않는다면, 이미지 영역이 발견되지 않았음을 나타내기 위해, 그 이미지에 대한 이미지 데이터 레코드에서 플래그들이 업데이트 된다. 만약, 현재 이미지가, 분석되고(2208) 있고 이미지 서브샘플링(2232), 얼굴 및 주변 영역 추출(2206), 영역 규격화(2207) 되고 있는 이미지 세트에서의 마지막 이미지가 아닌 경우, 다음 이미지가 공급/획득된다. 만약, 이것이 마지막 이미지였다면, 모듈은 호출 모듈로 나갈 것이다. 적어도 하나의 얼굴 영역이 검출되는 곳에서, 모듈은 바로, 각각의 검출된 얼굴 영역을, 그리고, 가능한 곳이라면 모든 관련된 주변영역을 추출하고 규격화한다.

얼굴 영역 규격화 기술의 범위는, 간단한 얼굴 영역의 크기 재설정으로부터 보다 정교한 2차원 회전 및 아핀(affine) 변환 기술 및 보다 정교한 3차원 얼굴 모델링 방법에까지 이른다.

이미지 분류/회수 과정

이미지 분류(sorting)/회수(retrieval) 과정 또는 모듈에 대한 작업 흐름도는 도 5, 도 6A-6F에 나타나며, 이미지 선택 또는 획득 과정으로부터(US 2006/0140455 참조) 최종 과정 단계(1140)로서 시작된다. 이미지 분류/획득 모듈이 활성화될 때(1140), (ⅰ)검색/구분(sort)/분류(classification) 기준을 결정하기 위해 사용되는 이미지 및 (ⅱ)이에 대한 검색이 수행되는 이미지 수집 데이터에의 접근을 제공하는 적어도 두 개의 입력 변수가 제공될 것이라는 것이 가정된다. 데이터 레코드가 사용가능하지 않은 것으로 결정되고, 사람을 선택하고 이미지(1308)에서의 기준을 검색하기 위해 진행되는 검색 이미지에 대해 아직 결정되지 않은 경우, 주 이미지 분석 모듈은 바로 데이터 레코드(1200)를 생성하기 위해 적용된다. 이미지는 바로, 검색을 위해 사용될 얼굴 영역 및/또는 검색에서 사용될 분류기들에 대해 일정의 선택을 할 수 있는 옵션이 제공된 사용자에게 디스플레이 된다. 선택적으로, 검색 기준은 미리 정해지거나 또는 그렇지 않으면 구성 파일을 통해 자동화되고, 따라서, 단계(1308)는 자동화될 수 있다. 사용자 인터페이스의 양태들은 US 2006/0140455에 상세히 기술된다.

회수 과정에서 사용될 얼굴 및/또는 주변 영역을 포함하는 참조 영역이 선택(또는 자동적으로 결정)된 후에, 주요 회수 과정은 사용자와의 상호작용에 의해 또는 검색 기준이 구성 파이로부터 자동적으로 결정되는 경우, 자동적으로 초기화된다(1310). 주요 회수 과정은 단계(1312)에 기술되며, 분류/회수 과정에서 사용될 각각의 분류기에 대해 반복적으로 수행되는 세 개의 주요 서브-과정들을 포함한다.

(ⅰ)참조 영역에 대한 특징 벡터와 검색될(1312-1) 이미지 수집체 내의 모든 이미지들에 대한 얼굴/주변 영역들에 대한 대응하는 특징 벡터(들) 사이의 거리들이 현재의 분류기 공간에서 계산된다. 바람직한 실시예에서, 유클리드(Euclidean) 거리는 이미지 수집체 내에서 참조 영역과 얼굴/주변 영역들 사이의 유사성의 척도의 역할을 하는 이 거리들을 계산하기 위해 사용된다.

(ⅱ)계산된 거리들의 통계적 평균과 표준편차가 결정되고 임시적으로(1312-2) 저장된다.

(ⅲ)이미지 수집체 내에서 참조 영역과 얼굴/주변 영역 사이의 결정된 거리는 바로 단계(1312-2)에서 결정된 평균과 표준편차를 이용하여 바로 규격화된다.

이 규격화된 데이터 세트는 이미지들의 분류지어진 출력 목록을 생성하는 결정 통합 과정(1314)에서 이제 결합된다. 이들은 다음, UI 모듈(1316)에 의해 디스플레이 될 수 있다.

과정 단계들(1312-1,1312-2 및 1312-3)에 대한 추가적인 전망은 US 2006/0140455에 주어진다. 분류기에 대한 분류기 공간(1500)은 US 2006/0140455에 기술된 웨이브렛/PCA 얼굴 인지와 같은 것일 수 있다. 기초 벡터 세트 [λ₁,λ₂, ...λ_n]는 이 분류기에 대해 특징 벡터를 결정하기 위해 사용될 수 있다. 평균 또는 중간의 얼굴이 위상 훈련 동안에 계산되고(1510), 분류기 공간(1500)에서의 벡터 위치(1507)가 모든 얼굴 영역들의 절대적 위치로부터 제거된다. 따라서, 예시적인 얼굴 영역들(1504-1a, 1504-2a 및 1504-3a)은 평균 얼굴(1501)에 상대적인 벡터 항목들로 정의되는 분류기 공간에서 그들의 위치들(1054-1b, 1504-2b 및 1504-3b)를 갖는다.

특정의 얼굴 영역(1504-2a)이 사용자(1308)에 의해 선택된 후에, 특정 이미지 수집체 내에서 다른 모든 얼굴 영역들까지의 거리가 계산된다. 얼굴 영역들(1504-1a, 1504-3a)은 설명을 위한 예로서 보여진다. 연관된 거리(또는 규격화되지 않은 랭킹들)은 1504-1c 및 1504-3c로 주어진다.

분류기 공간에서 거리가 평균된 또는 중간 얼굴의 위치에 대해 상대적으로 측정되는 것이 아니라 원점으로부터의 절대적인 값으로 측정될 때, 유사한 경우가 발생한다. 예를 들어, 일정 실시예들에서 사용된 컬러 상관도 기술은 등가의 평균 얼굴을 갖지 않는 이러한 타입의 분류기이다.

참조 영역(1504-2a, 1509-2a)에 대한 특징 벡터로부터 다른 모든 얼굴 영역들에 대한 특징 벡터들 간의 거리들은 몇가지 방법으로 계산될 수 있다. 일 실시예에서, 유클리드 거리가 사용되지만, 여기서 기술된 것들과 다른 일정 분류기에 대해서는 다른 거리 측정 기준이 유리하게 사용될 수 있다.

분류기 유사성 측정치들을 위한 방법들

통계적 규격화 방법

최종 유사성 랭킹에 도달하기 위해 다양한 분류기들을 규격화하고 결합하기 위한 기법이 선호적으로 사용된다. 이 과정은 다양한 분류기들, C₁, C₂, ..., C_N의 세트를 포함할 수 있고, 현재의 분류기(실시예에서 얼굴 또는 주변영역들)에 적절한 모든 패턴들의 선택된 참조 영역으로부터의 거리 분포에 대한 통계적 결정에 근거할 수 있다. 대부분이 분류기에 있어서, 이 통계적 분석은 통상적으로 평균이 M_Cn이고 분산이 V_Cn인 이 정규분포를 산출한다.

인-카메라 실행

이미징 기기들의 처리 능력, 메모리 및 비휘발성 저장 능력이 계속적으로 증가함에 따라, 디지털 카메라에 대한 당업자에게 있어서, 인-카메라 이미지 분류 서브 시스템으로 제공되는 많은 이점이 명백할 것이다. 예시적인 실시예가 도 7에 나타난다.

주 이미지 획득 과정(2202)에 따라, 획득된 이미지의 사본이, 제거될 수 있는 컴팩트-플래시 또는 멀티미디어 데이터 카드(2214)에 통상 저장될 수 있는 주 이미지 수집체(2212)에 저장된다. 획득된 이미지는 또한, 주 이미지의 최적화된 서브샘플된 사본을 생성하고 이것을 서브샘플된 이미지 수집체(2216)에 저장하는 이미지 서브샘플러(2232)에 전달된다. 이 서브샘플된 이미지들은 획득된 이미지들의 분석에 유리하게 채용될 수 있다.

획득된 이미지(또는 이들의 서브샘플된 사본)는 또한, 얼굴 및 주변 영역 추출 모듈(2206)과 영역 규격화 모듈(2207)에 잇달아 얼굴 검출기 모듈(2204)에 전달된다. 추출되고 규격화된 영역들은 바로, 현재의 이미지에 대하여 이미지 데이터 레코드(1409)를 생성하는 주 이미지 분석 모듈(2206)에 전달된다. 주 이미지 분석 모듈은 또한 훈련 모듈(2230)과 이미지 분류/회수 모듈(2218)로부터 호출될 수 있다.

UI 모듈(2220)은 이미지의 브라우징(browsing)과 분류/회수 과정(2218)에서 사용하기 위해 하나 이상의 얼굴 영역(2214)을 선택하는 것을 촉진한다. 이에 더하여, 분류기는 UI 모듈(2220)로부터 선택되고 결합될 수 있다(2226).

디지털 카메라에서 일정 모듈이 실행되는 곳에서 다양한 조합들이 가능하며, 데스크탑 컴퓨터에서 다른 것들이 실행된다.

조명 분류기들

분기된 분류기 체인이 얼굴들의 분류와 비균일(또는 균일) 조명의 분류에 동시적으로 이용될 수 있다. 일정 실시예에서, 분류기 체인은 이미지 내에서 대다수의 대상물을 비얼굴로 거절하는 특징 검출기들의 초기 세트 이후에 예를 들어 3, 4, 5, 6, 7, 8, 또는 9 특징 검출기들의 세트를 적용하도록 구성된다. 특징 검출기들은 위(top), 아래(botton), 그리고, 왼쪽 또는 오른쪽에서(얼굴들이 좌우 대칭이기 때문에) 조명된 얼굴을 받아들이거나, 또는, 위, 아래, 그리고, 왼쪽 또는 오른쪽, 그리고 균일 조명으로 조명된 얼굴을 받아들이거나, 또는 위, 아래, 왼쪽, 오른쪽, 그리고 균일 조명으로 조명된 얼굴을 받아들이거나, 또는 위, 왼쪽, 오른쪽, 아래, 오른쪽 아래(bottom-right), 왼쪽 아래(bottom-left), 오른쪽 위, 왼쪽 위에서 조명된 얼굴을 받아들이거나, 또는 위, 왼쪽, 오른쪽, 아래, 오른쪽 위, 왼쪽 위, 오른쪽 아래, 왼쪽 아래 그리고 균일 조명으로 조명된 얼굴을 받아들이거나, 또는 위, 아래, 오른쪽 또는 왼쪽 또는 양쪽 모두, 오른쪽 위 또는 왼쪽 위 또는 양쪽 모두, 오른쪽 아래 또는 왼쪽 아래 또는 양쪽 모두 그리고 균일 조명에서 조명된 얼굴을 받아들이도록 조정될 수 있다. 다른 조합들이 가능하며, 일부는 배제될 수도 있는데, 예를 들어, 한 분류기의 적용이 얼굴이 특정 조명의 이미지 또는 이미지의 서브 윈도우 내에 존재한다는 결정을 제공한 경우이다. 분류기 브랜치 중의 하나가 얼굴을 받아들일 때, 얼굴과, 얼굴의 조명이 검출된다고 말할 수 있다. 이 검출은 비얼굴보다 얼굴이 더 큰 관심이 있는 이미지 처리 및/또는 비균일 조명 조건의 수정, 얼굴 인식 결과의 개선을 위해 사용될 수 있다.

선택적으로, 한 검출 프레임에서 검출된 조명 문제들은 다음 프레임에서 수정될 수 있으며, 따라서, 얼굴 검출 알고리즘이 얼굴을 발견할 수 있는 더 나은 기회를 갖게 된다. 분류기 체인의 길이가 이전 설계에서보다 길지 않기 때문에 조명 검출은 본질적으로 자유롭게 일어난다.

도 8은 실시예에 따른 얼굴 조명 규격화 방법을 보인다. 디지털 이미지는 602에서 얻어진다. 하나 이상의 비균일 조명 분류기 세트가 한번에 하나의 캐스케이드(cascade)로 시작하며, 604에서 데이터에 적용된다. 이 세트는 얼굴을 찾고 및/또는 이미 검출된 얼굴 이미지 내에서 비균일(또는 균일) 조명 조건을 결정하기 위해 사용될 수 있다. 604에서 회수된 데이터에 의존하여, 다른 실시예에 의한 방 법은 다음, 606에서 이미지 내에서 얼굴을 식별하거나, 608 또는, 606과 608에서 동시적으로나 순차적으로, 비균일(균일) 조명 조건을 결정할 것이다. 예를 들어, 얼굴이 발견될 수 있으며, 그 다음, 얼굴에 대해 발견된 조명조건이나 대상물의 조명 조건이, 대상물이 얼굴인지 여부에 대한 판단에 따라 찾아질 것이다.

618에 어떤 조명 조건도 존재하지 않는다는 것이 결정될 수 있다. 606에서 얼굴이 존재하는 것으로 결정된다면, 특징 검출기 프로그램의 세트는 비얼굴 데이터가 얼굴로 식별되는 것을 거절하기 위해 (또는 얼굴 데이터를 얼굴로 식별되도록 받아들이기 위해) 적용될 수 있다.

만약, 비균일 조명조건이 608에서 결정된다면, 610에서 이미지 또는 이미지 시리즈에서의 다른 이미지에서 얼굴의 비균일 조명 조건이 정정될 수 있다. 예를 들어, 원래의 이미지가 미리보기 이미지일 수 있으며, 전체 해상도 이미지는 획득 중에(플래시 조건을 조정하거나 또는 카메라 사용자에게 사진을 찍기 전에 움직일 것을 제안함에 의해), 카메라 내에서 영구 이미지를 저장하기 전 또는 후나 나중에 외부 기기에서, 정정된다. 정정된 이미지 데이터는 612에서 보다 균일한 조명을 가지는 것으로 나타나며 생성될 수 있고, 정정된 얼굴 이미지는 614에서, 저장, 전송, 얼굴 인지 프로그램에 적용, 편집 및/또는 디스플레이 될 수 있다.

만약, 618에서, 어떤 조명 조건도 적용되지 않는것으로 결정되면, 얼굴 데이터는 620에서 얼굴로 거절되지 않으며, 다음, 622에서 두 개 이상의 분류기 세트의 조합이 그 데이터에 적용될 수 있다.

도 9A-9B는 일정 실시예에 따른 얼굴 검출 방법들을 보인다. 디지털 이미지 는 702에서 획득된다. 서브 윈도우는 704에서 그 이미지로부터 추출된다. 706에서 두 개 이상의 단축된 얼굴 검출 분류기 캐스케이드들이 서브 윈도우에 적용된다. 이 캐스케이드들은 얼굴 영역의 특징에 선택적으로 민감하도록 훈련된다.

708에서, 상기 특징의 일정 형태를 가지는 얼굴이 서브 윈도우 내에 존재하는 확률이 결정된다. 상기 특징은 조명 조건, 또는 카메라에 대한 얼굴의 자세 또는 방향, 또는 해상도, 크기, 위치, 움직임, 상흐림, 얼굴 표정, 눈깜박임 조건, 적색, 금색, 흰색 눈 상태, 폐색(occlusion) 상태, 또는, 예를 들어 다른 특징들 중에서도 면도 여부, 헤어 스타일, 보석 착용 여부과 같은 다양한 외관을 가지는 수집체 내에서의 얼굴의 외관을 포함한다. 710에서 상기 특징의 형태에 민감하도록 훈련된 확장 얼굴 검출 분류기 캐스케이드가 적용된다. 서브 윈도우 내에 얼굴이 존재하는 지 여부에 대한 최종 결정이 712에서 제공된다. 이러한 경우, 714에서 선택적으로, 이미지 내에서 및/또는 이미지 시리즈의 다른 이미지 내에서 검출된 특징에 근거하여 얼굴에 대한 비균일 조명 조건이 정정된다. 이에 더하여, 이미지로부터 서브 윈도우를, 만약 있다면,더 추출하기 위해, 과정이 704로 되돌아온다.

742에서 디지털 이미지가 획득되고, 744에서, 이로부터 서브 윈도우가 추출된다. 746에서, 지향성 얼굴 조명에 선택적으로 민감하도록 훈련된 두 개 이상의 단축된 얼굴 검출 분류기 캐스케이드가 746에서 적용될 수 있다. 748에서, 서브 윈도우 내에 일정 형태의 지향성 조명 조건을 가지는 얼굴이 존재할 확률이 결정된다. 750에서, 지향성 얼굴 조명의 일정 형태, 예를 들어, 위, 아래, 오른쪽, 왼쪽, 오른쪽 위 또는 왼쪽 위, 오른쪽 아래 또는 왼쪽 아래 및/또는 균일성에 민감하도 록 훈련된 확장된 얼굴 검출 분류기 캐스케이드가 적용된다. 752에서, 이미지 서브 윈도우 내에 얼굴이 존재하는지에 대한 최종 결정이 제공된다. 서브 윈도우는, 만약 더 있다면, 단계를 744로 되돌림으로써 추출되며, 및/또는 754에서, 얼굴에 대한 비균일 조명 조건이 이미지 내에서 및/또는 이미지 시리즈의 다른 이미지 내에서 정정된다.

휘도에 대한 "체인 분기(chain branching)" 아이디어는 이것이 훈련 알고리즘을 수정할 것을 요구하지 않기 때문에, 실행하고 테스트 하기가 상당히 수월하다. 얼굴의 변화(variations)/변형(mutations)들은 별개의 대상물로 여겨지며 각각은 별개의 분류기의 검출기/캐스케이드를 받는다. 검출기들은 모두 같은, 선형의, 전체 범위의 체인들이다.

검출에서 직접적인 접근은 모든 검출기들을 남김없이 동작시키고, 어느것이 윈도우를 받아들이는지 보고 다음 최상의 점수를 선택한다. 이것은 올바른 검출기가 마지막에 선택됨을 의미한다. 그러나, 이것은 매우 시간소모적인 것으로, 우리가 테스트했던 것이 아니다.

Chain1=cls11+cls12+...+cls1M

...

ChainN=clsN1+clsN2+...+clsNM

검출기들은 직렬적으로 또는 병력적으로 또는 이들의 조합으로 작동될 수 있으며, 적어도 부분적인 신뢰도가 누적된다. 즉,

Partial1=cls11+cls12+...+cls1P

...

PartialN=clsN1+clsN2+...+clsNP, 여기서, P<M

최상의 검출기는 최대의 부분적 신뢰도 값을 갖는 점에서 선택된다. 검출기가 다음과 같이 실행이 계속된다면;

ChainMax=PartialMax+clsMax(P+1)+clsMax(P+2)+...+clsMaxM

따라서, 예시적인 작업 흐름도는 다음과 같다:

Partial ---

... ＼

PartialMax ---(choose Max) -> continue with the rest of Max

... /

PartialN ---

이 접근은 얼굴 자세 변환 및/또는 조명 조건 또는 다른 특징에 대해 적용될 수 있다. 조명의 경우에서, (ⅰ)정면에서 조명된 얼굴들; (ⅱ) 위(top)로부터 조명된 얼굴들; (ⅲ) 아래(bottom)로부터 조명된 얼굴들; (ⅳ) 왼쪽으로부터 조명된 얼굴들; (ⅴ)오른쪽으로부터 조명된 얼굴들의 어떤 조합이든지 사용될 수 있다. 얼굴들의 대칭적인 본성때문에, 얻어진 분류기 사이에 대칭성이 있는 (ⅳ)(ⅴ) 중 하나만이 사용될 수도 있다. 이 분류기 세트들을 결정하기 위해 사용되는 훈련 이미지들은 탑/바텀 조명의 레벨에 대응하도록 훈련된 한 변수와 왼쪽/오른쪽 조명에 대응하도록 훈련된 두번째 변수를 가지는 AAM 모델을 사용하여 생성될 수 있다.

도 10A-10B는 예시적인 상세한 작업흐름도를 보인다. 802에서 서브-윈도우는 정면 조명된 부분적 분류기 세트(예를 들어 3-5분류기들을 사용하여)를 가지고 테스트된다. 만약, 누적 확률이 첫번째 문턱값을 넘는 것으로 804에서 판단된 경우, 806에서, 얼굴은 정면 조명되는 것으로 판단되고, 과정은 전체 분류기 체인을 가지고 지속된다. 만약, 누적 확률이 두번째 문턱값 (이것은 첫번째 문턱값보다 낮다) 낮은 것으로 판단되면, 812에서, 서브 윈도우는 얼굴을 포함하지 않는 것으로 판단되고, 과정은 864를 통해 802로 되돌아간다. 808에서 누적 확률이 두번째 문턱값을 넘는 것으로 판단되고, 그러나, 804에서 첫번째 문턱값보다 낮은 것으로 것으로 판단되면, 810에서 서브 윈도우는 여전히 얼굴일 수 있지만 정면에서 조명된 것은 아닌 것으로 간주된다. 따라서, 다음 조명 특정 부분적 분류기 세트가 814에서 적용된다.

814에서, 서브-윈도우는 위에서 조명된 부분적 분류기 세트를 가지고(예를 들어, 3-5분류기들을 사용하여) 테스트되지만, 분류기는 어떤 순서로든지 적용될 수 있다. 만약 누적 확률이 첫번째 문턱값을 넘는 것으로 816에서 판단되면, 818에서 얼굴은 위에서 조명된 것으로 판단되고, 과정은 전체 분류기 체인을 가지고 지속된다. 만약 820에서 누적 확률이 첫번째 문턱값과 두번째 문턱값의 사이에 있다고 여겨지면, 822에서, 서브-윈도우는 여전히 얼굴을 포함할 수 있지만 위에서 조명된 것은 아닌 것으로 판단되며, 따라서 과정은 다음의 조명 특정 부분적 분류기 세트를 적용하기 위해, 826으로 이동된다. 누적 확률이 두번째 문턱값보다 작은 것으로 여겨지면, 824에서, 서브-윈도우는 얼굴을 포함하지 않는 것으로 판단되고, 과정은 864를 통해 다음 서브-윈도우와 802로 되돌아간다.

826에서, 아래에서 조명된 부분적 분류기 세트를 가지고(예를 들어, 3-5 분류기들을 사용하여) 서브-윈도우가 테스트된다. 828에서 누적 확률이 첫번째 문턱값을 넘는 것으로 판단되며, 얼굴은 위에서 조명된 것으로 판단되고, 830에서 과정은 이 전체 분류기 체인을 가지고 지속된다. 만약, 누적 확률이 첫번째 문턱값보다 낮지만 더 낮은 두번째 문턱값보다 높은 것으로 832에서 판단되면, 834에서, 서브-윈도우는 아래에서 조명된 것은 아니라고 하더라도, 여전히 얼굴을 포함할 수 있는 것으로 판단되고, 과정은 다음의 조명 특정 부분적 분류기 세트를 적용하기 위해 838 및 도 10B로 이동된다. 만약, 그럼에도, 누적 확률이 이 두번째 문턱값보다 낮은 것으로 판단되면, 836에서, 서브-윈도우는 얼굴을 포함하지 않으며, 과정은 864를 통해 802 및 다음 서브-윈도우로 이동한다. 서브-윈도우가 810에서도 822에서도 거절되지 않았다면, 836에서 서브-윈도우를 거절하기 전에 확인이 더 행해질 수 있으며, 이것은 824에도 적용되고 도 10B의 846, 858에도 마찬가지이다.

838에서, 왼쪽에서 조명된 부분적 분류기 세트로(예를 들어, 3-5분류기들을 사용하여) 서브-윈도우가 테스트된다. 840에서, 누적 확률이 첫번재 문턱값을 넘는 것으로 여겨진다면, 얼굴은 위에서 조명된 것으로 판단되고, 842에서, 과정은 이 전체 분류기 체인을 가지고 계속된다. 그렇지 않으면, 만약, 누적 확률이 여전히 두번째 문턱값을 넘고 첫번째 문턱값보다 낮은 것으로 844에서 여겨지면, 846에서, 이미지 데이터의 서브-윈도우는 왼쪽에서 조명된 것을 아니라고 하더라도 여전히 얼굴을 포함할 수 있으며, 따라서 850에서 다음의 조명 특정 부분적 분류기 세트가 적용된다. 만약, 누적 확률이 두번째 문턱값보다 낮으면, 848에서 서브-윈도우는 얼굴을 포함하지 않는 것으로 여겨지고, 따라서 과정은 864를 통해 도 10A의 802로 되돌아간다.

850에서, 오른쪽에서 조명된 부분적 분류기 세트로(예를 들어, 3-5분류기들을 사용하여) 서브-윈도우가 테스트된다. 852에서, 누적 확률이 첫번째 문턱값을 넘는 것으로 여겨진다면, 얼굴은 위에서 조명된 것으로 판단되고, 854에서, 과정은 이 전체 분류기 체인을 가지고 계속된다. 그러나, 852에서, 누적 확률이 첫번째 문턱값보다 낮은 것으로 여겨지고, 그러나, 856에서 첫번째 문턱값보다 낮은 두번째 문턱값보다 높은 것으로 여겨지면, 서브-윈도우는, 오른쪽에서 조명된 것은 아니라고 하더라도, 여전히 얼굴을 포함할 수 있는 것으로 여겨지고, 이제, 862에서 특정 부분적 분류기 세트의 쌍들(pairs)이 적용된다. 이 시점에서, 이것은 윈도우가 첫번째 문턱값에서 어떤 조명 특정 분류기도 통과하지 못했고 그러나 얼굴로 거절되지도 않았기 때문이다. 따라서, 가능한 시나리오는 서브-윈도우가 조명 타입의 조합에 의해 표현되는 얼굴을 포함한다는 것이다. 따라서, 두 개의 가장 높은 확률 문턱값이 위/아래, 및/또는 오른쪽/왼쪽 조명되는지 여부를 판단하기 위해 먼저 적용되고, 다음, 이것이 얼굴로 살아남는지를 판단하기 위해 전체 분류기 세트 양쪽 모두가 적용된다. 856에서, 만약 누적 확률이 두번째 문턱값보다 낮은 것으로 여겨지면, 860에서, 서브-윈도우는 얼굴을 포함하지 않는 것으로 여겨지고, 과정은 864를 통해 다음 이미지의 서브-윈도우로 이동한다.

이에 더하여, 여기서의 바람직한 실시예들에 따라 수행될 수 있고 위에서 기술한 방법들에서, 작용들은 선택된 인쇄상의 순서를 따라 기술되었다. 그러나, 이 순서들은 인쇄상의 편의를 위해 선택되고 순서지워진 것이며, 특정한 순서가 명백히 제시된 곳이나 또는 이 기술분야의 당업자가 특정한 순서가 필요한 것으로 생각하는 경우를 제외하고는, 작용 단계들을 수행함에 있어 어떤 특정한 순서를 내포하는 것으로 의도된 것은 아니다.

Claims

(a) 고르지 않게 조명된 것으로 나타나는 얼굴에 대응하는 데이터를 포함하는 디지털 이미지를 획득하는 단계;

(b) 얼굴 데이터에 대하여, 하나 이상의 비균일 조명 분류기 프로그램을 적용하는 단계;

(c) 상기 디지털 이미지 내에서 상기 얼굴 데이터를 상기 얼굴에 대응하는 것으로 식별하는 단계;

(d) 상기 하나 이상의 비균일 조명 분류기 프로그램을 적용한 결과로서, 상기 얼굴에 대해 비균일 조명 조건을 판단하는 단계;

(e) 상기 판단에 근거하여, 보다 균일한 조명을 갖는 것으로 나타나는 정정된 얼굴 이미지를 생성하기 위해, 상기 얼굴에 대한 비균일 조명 조건을 정정하는 단계; 및

(f) 상기 정정된 얼굴 이미지를 전자적으로 저장, 전송, 얼굴 인지 프로그램에 적용, 편집, 또는 디스플레이하거나, 이들을 조합하여 수행하는 단계;를 포함하는 얼굴 조명 규격화 방법.
제1항에 있어서,

상기 정정된 얼굴 이미지에 얼굴 인지 프로그램을 적용하는 단계를 더 포함하는 방법.
제1항에 있어서,

상기 얼굴을 검출하고, 상기 얼굴의 비균일 조명 조건을 판단하는 것이 동시에 수행되는 방법.
제1항에 있어서,

비얼굴 데이터(non-face data)가 얼굴 데이터로 식별되는 것을 거절하기 위해 특징 검출기 프로그램의 세트를 적용하는 단계를 더 포함하는 방법.
제1항에 있어서,

상기 얼굴 데이터에 정면 조명 분류기 프로그램을 적용하는 단계를 더 포함하는 방법.
제5항에 있어서,

상기 분류기 프로그램 중 하나에 의한 얼굴 데이터의 수락(acceptance)에 기초하여 조명 조건을 결정하는 단계를 더 포함하는 방법.
제6항에 있어서,

상기 디지털 이미지는 상기 얼굴을 포함하는 시리즈에서 다중의 이미지들 중의 하나이고,

상기 정정 단계는, 상기 시리즈에서 상기 조명 조건이 결정된 디지털 이미지와는 다른 이미지에 적용되는 방법.
제1항에 있어서,

상기 비균일 조명 분류기 프로그램은,

탑(top) 조명 분류기, 바텀(bottom) 조명 분류기, 오른쪽 및 왼쪽 조명 분류기들 중 어느 하나 또는 양쪽 모두를 포함하는 방법.
제8항에 있어서,

상기 얼굴 데이터에 정면 조명 분류기 프로그램을 적용하는 단계를 더 포함하는 방법.
제1항에 있어서,

상기 적용 단계는,

하나의 조명 조건도 적용되지 않고 얼굴 데이터가 얼굴로 거절되지 않음을 판단한 후에 두 개 이상의 전체 분류기 세트를 적용하는 단계를 더 포함하는 방법.
(a) 디지털 이미지를 획득하는 단계;

(b) 상기 이미지로부터 서브-윈도우를 추출하는 단계;

(c) 얼굴 영역의 특징에 선택적으로 민감하도록 훈련된, 두 개 이상의 ㄷ다 단축된 얼굴 검출 분류기 캐스케이드를 적용하는 단계;

(d) 상기 적용에 근거하여, 상기 특징의 일정 형태를 가지는 얼굴이 서브-윈도우 내에 존재할 확률을 결정하는 단계;

(e) 상기 결정에 근거하여, 상기 특징의 일정 형태에 민감하도록 훈련된 확장된 얼굴 검출 분류기 캐스케이드를 적용하는 단계;

(f) 상기 이미지 서브-윈도우 내에 얼굴이 존재한다는 최종 판단을 제공하는 단계;

(g) 이미지 또는 하나 이상의 특징들, 또는 양쪽 모두로부터 하나 이상의 서브-윈도우들에 대하여 (b)-(e)의 단계를 한 번 이상 반복하는 단계;를 포함하는 얼굴 검출 방법.
제11항에 있어서,

상기 특징 또는 특징들은 얼굴 영역의 지향성 조명, 얼굴 영역의 인-플레인 회전, 얼굴 영역의 3D 자세 변화, 미소의 정도, 눈 깜박임(eye-blinking)의 정도, 눈짓(eye-winking)의 정도, 입을 벌린 정도, 얼굴 흐려짐, 눈의 결함(eye-defect), 얼굴의 음영, 얼굴의 폐색(occlusion), 얼굴의 색, 얼굴의 모양, 또는 이들의 조합을 포함하는 방법.
제11항에 있어서,

상기 특징은 지향성 조명을 포함하며,

상기 방법은 하나 이상의 비균일 조명 분류기 캐스케이드를 적용함으로써 비균일 조명 조건을 결정하는 단계를 더 포함하는 방법.
제13항에 있어서,

정면 조명 분류기 캐스케이드를 적용하는 단계를 더 포함하는 방법.
제14항에 있어서,

상기 분류기 캐스케이드 중 하나에 의한 수락에 근거하여 서브-윈도우 내에서 얼굴에 대한 조명 조건을 결정하는 단계를 더 포함하는 방법.
제15항에 있어서,

상기 디지털 이미지는 얼굴을 포함하는 시리즈에서 다중의 이미지들 중의 하나이고,

상기 조명 조건이 결정된 상기 디지털 이미지와 다른, 상기 시리즈에 있는 이미지 내에서 비균일 조명 조건을 정정하는 단계를 더 포함하는 방법.
제13항에 있어서,

상기 비균일 조명 분류기 캐스케이드는,

탑 조명 분류기, 바텀 조명 분류기, 오른쪽 및 왼쪽 조명 분류기들 중 어느 하나 또는 양쪽 모두를 포함하는 방법.
디지털 이미지를 획득하기 위한 광전자 시스템;

전술한 청구항들에 의한 얼굴 조명 규격화 방법을 수행하도록 프로세서를 프로그램하기 위한, 프로세서가 읽을수 있는 코드가 저장된 디지털 메모리;를 포함하는 디지털 이미지 획득 소자.