KR100874817B1 - 스테레오 결합 메커니즘을 사용하는 얼굴 특징 검출 방법,매체 및 장치 - Google Patents

스테레오 결합 메커니즘을 사용하는 얼굴 특징 검출 방법,매체 및 장치 Download PDF

Info

Publication number
KR100874817B1
KR100874817B1 KR1020040049380A KR20040049380A KR100874817B1 KR 100874817 B1 KR100874817 B1 KR 100874817B1 KR 1020040049380 A KR1020040049380 A KR 1020040049380A KR 20040049380 A KR20040049380 A KR 20040049380A KR 100874817 B1 KR100874817 B1 KR 100874817B1
Authority
KR
South Korea
Prior art keywords
face
facial features
model
facial
points
Prior art date
Application number
KR1020040049380A
Other languages
English (en)
Other versions
KR20050002611A (ko
Inventor
구리에
지큉리
장홍-지앙
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20050002611A publication Critical patent/KR20050002611A/ko
Application granted granted Critical
Publication of KR100874817B1 publication Critical patent/KR100874817B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7553—Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Golf Clubs (AREA)

Abstract

바깥쪽 또는 안쪽 얼굴 특징을 지닌 얼굴 모델이 제1 및 제2 모델의 얼굴 특징으로 매치된다. 제1 및 제2 모델의 얼굴 특징 각각은, 1) 제1 및 제2 모델의 안쪽 특징에 대해 대응하는 에피폴라 제약조건과 2) 제1 및 제2 모델의 바깥쪽 및 안쪽 특징 둘 다의 로컬 그레이 레벨 구조(local grey-level structure)를 이용하여, 제1 및 제2 모델의 바깥쪽 및 안쪽 얼굴 특징을 매칭하는 각각에 대해 조정된 복수의 포인트들로 표현된다. 제1 및 제2 모델 각각에 대해, 얼굴 모델의 포인트와 매치하는 것으로 밝혀진 제1 및 제2 모델 각각의 바깥쪽 및 안쪽 얼굴 특징 각각에 대한 포인트들이 미리 결정된 수렴 허용범위 내에서 상대 오프셋을 지닐 때까지, 매칭 및 조정이 반복된다. 이 안쪽 얼굴 특징으로는 한 쌍의 눈, 코 및 입을 포함한다. 바깥쪽 얼굴 특징으로는 한 쌍의 눈썹, 턱, 턱끝, 및 뺨의 실루엣을 포함한다.
Figure R1020040049380
얼굴 인식, 얼굴 모델, 얼굴 특징, 에피폴라 기하학

Description

스테레오 결합 메커니즘을 사용하는 얼굴 특징 검출 방법, 매체 및 장치{STEREO-COUPLED FACE SHAPE REGISTRATION}
도 1a - 1b는 동일한 얼굴의 서로 다른 2개의 2차원 뷰에서 각 얼굴 특징 주위에서 윤곽을 형성하는 포인트로서 다른 얼굴 특징들의 모서리(corner)를 매치하는 메커니즘을 도시하고 있으며, 이 때 얼굴은 2가지 다른 자세로 있고, 메커니즘은 기본 매트릭스 추정(fundamental matrix estimation)을 사용한다.
도 2는 얼굴을 안쪽 및 바깥쪽 얼굴 특징들로 분해하는 것을 도시하고 있으며, 이 각각은 복수의 포인트들을 연결하는 선으로 윤곽이 그려진다.
도 3a - 3b는 다른 포즈(pose)로 있는 얼굴의 2차원 뷰 각각을 보여주고 있고, 이 뷰들은 본 발명을 구현하는 데 사용될 수 있는 시작 이미지(starting image)를 나타낸다.
도 4a - 4b는 본 발명의 구현에 따라 이미지의 서로 다른 2개의 2차원 뷰상의 포인트들간의 대응관계를 묘사하는 에피폴라 기하학도(epipolar geometry illustration)이다.
도 5a - 5b는 본 발명의 구현에 따라, 에피폴라 기하학을 기본 매트릭스 내에서 암호화된 것으로 사용함으로써, 서로 다른 2개의 뷰(도 3a - 3b) 각각에서 대응하는 얼굴 특징들을 식별하는 스테레오 결합 메커니즘(stereo-coupling mechanism)의 제1 반복(iteration)을 나타낸다.
도 6a - 6b, 7a - 7b, 및 8a - 8b는 도 5a - 5b에 대해 사용되었듯이, 스테레오 결합 메커니즘의 반복을 각각 나타낸다.
도 9는 본 발명의 구현에 따라, 스테레오 결합 메커니즘을 사용하는 얼굴 특징 검출 프로시져의 흐름도이고, 이 프로시져는 도 3a - 3b의 이미지에 사용되어 도 5a - 5b 내지 도 8a - 8b에서 보여지는 각각의 반복 결과를 달성할 수 있다.
도 10은 본 발명의 구현에 따라, 서버 또는 클라이언트 둘 중의 하나를 구현하는 데 사용될 수 있는 네트워크화된 컴퓨터의 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
1042: 컴퓨팅 환경
1044: 처리 장치
1046: 시스템 메모리
1048: 버스
본 발명은 얼굴 인식에 관한 것이며, 보다 구체적으로는, 얼굴의 다수 이미지를 사용하여 얼굴 특징상에 포인트들의 위치를 정함으로써 얼굴 특징을 인식하는 것에 관한 것이다.
3차원 물체(object)는 2차원으로 표현될 수 있다. 사실, 2차원 뷰를 사용하 여 3차원 물체를 표현하는 것은 물체 모델링(object modeling) 및 합성(synthesis)에서 이점이 있다. 이러한 2차원 표현에서, 물체의 3차원 특징은 명시적으로 복구될 필요는 없으며, 이로 인해 3차원 기반 방법에서 어려움을 피할 수 있다. 오히려, 뷰 기반 모델을 사용하여 다수의 2차원 뷰 튜영으로 물체를 표현하는 것이 일반적이다. 물체를 하나 이상의 2차원 뷰로 표현할 때, 각각의 2차원 뷰들간에 픽셀 관련 대응 맵(pixel-wise correspondence map)이 일반적으로 요구된다. 대안으로, 물체상의 특징 포인트들의 작은 집합 또는 특징의 테두리간의 대략적인 대응 맵(sparse correspondence map)이 각각의 2차원 뷰들간에 사용될 수 있다. 대응 맵은 계산될 수 있고 물체의 형상을 물체의 텍스처와 분리시키는 데에 적용될 수 있다. 이와 같이, 물체의 형상 및 물체의 텍스처 이 두 가지는, 특정 위치로부터 선형 부분 공간(linear subspace)에서 모델링될 수 있다.
물체를 하나 이상의 2차원 뷰로 표현할 때, 물체상의 특징을 나타내는 포인트들(특징 포인트들(feature points))을 설정하는 것이 유익할 수 있다. 다수의 2차원 뷰간의 대응에 기반한 특징 포인트들은, 빛의 강도(light intensity) 및 컬러 변화(color variations)를 다루는 데 있어 더 안정적이기 때문에 일부 적용예에서 유익하고, 물체를 빽빽하게 표현하는 것보다 계산을 덜 해도 된다. 따라서, 물체의 이미지 클래스를 정확하게 모델링하기 위해, 2가지의 문제가 다뤄지고 해결될 수 있다. 제1 문제는 2차원 뷰의 훈련 집합을 사용함으로써 물체의 특징상에 특징 포인트의 위치를 정하는 것이다. 일단 물체상에 특징의 특징 포인트들의 위치가 정해지면, 제2 문제는 대응하는 많은 2차원 뷰로부터 2개 이상의 특징 포인트들 집 합들간에 기초를 이루는 대응관계를 확립하는 것이다.
다수의 2차원 뷰를 사용하여 복잡하고 단단하지 않은 물체의 특징들의 위치를 정할 때 어려움이 추가로 발생한다. 이러한 어려움은 그 물체 그 자체에 관한 기존 지식을 사용함으로써 해결될 수 있다. 예를 들어, 물체의 변형할 수 있는 모델이 이러한 기존 지식의 예다. 변형할 수 있는 모델은 물체상의 특징의 위치에 제약을 제공할 수 있다. 이러한 제약들은, 그 물체에 관해 이미지 데이터로부터 파생된 것일 수 있으며, 물체의 세그멘테이션 또는 물체상의 특징 검출과 같은 문제를 다루는 데 사용될 수 있다. 특히, Cootes 등에 의해 제안된 활성 형상 모델(active shape model;ASM, T.F.Cootes, C.Taylor, D.Cooper 및 J.Graham. 활성 형상 모델 - 그들의 훈련 및 그들의 애플리케이션. 컴퓨터 비젼 및 이미지 이해, 61(1):39-59, 1995년 1월)은 물체의 모델 인스턴스가 그 모델이 파생되었던 훈련 집합으로부터 습득한 방식으로만이 변형될 수 있다는 이점을 제공하였다. 즉, 모델은 물체의 분할에 있어, 그 특징의 검출에 있어 상당한 변화성(variability)을 수용할 수 있지만, 모델은 여전히 그 모델이 나타내는 물체의 클래스에 고유해야만 한다. ASM은 주성분 분석 기술(principle component analysis technique, 이하 "PCA"라고 함)을 사용하여 물체의 2차원 형상 변화 및 물체의 로컬 그레이 레벨 구조 두가지에 의해 물체를 모델링한다. 특히, ASM은 물체의 2차원 이미지에서 정보를 얻고(interrogating), 물체상의 각 특징을 나타내는 포인트들(특징 포인트들)을 사용하여 물체상의 특징 형상의 근사치를 구하는 것을 포함하는 프로세스이다.
동일한 물체의 서로 다른 2개 이상의 2차원 뷰가 주어졌을 때, 각 뷰에 대해 물체상의 특징들이 ASM를 사용하여 물체의 모델로 매치될 수 있다. 각 뷰에 대한 모델 매칭이 수행된 후, 예를 들면 서로 다른 뷰들간의 밀접한 관계에 의해, 서로 다른 뷰들에 대해 물체 특징의 각각의 특징 포인트들간의 대응관계를 찾는 것이 바람직할 것이다. 그러나, 물체의 각 특징에 대해 검출된 특징 포인트들은 다른 뷰들간에 기하학적으로 일관되지 않을 수 있다. 이러한 불일관성은 ASM이 다른 뷰들간의 대응관계보다는, 하나의 뷰만을 고려하기 때문에 발생한다. 모델을 서로 다른 뷰들 각각에 매치하는 것은 멀티 뷰 기하학(multi-view geometry)을 사용함으로써 이득을 얻을 수 있다. 이것이 달성되면서, 물체상의 각 특징의 모든 주요 특징 포인트들은 2차원 뷰들 각각에서 여전히 볼 수 있어야 한다.
ASM을 사용하는 한 기술은 다른 위치들(viewpoints)로부터 한 얼굴 뷰의 일련의 훈련 예제들 사용과 관련된다. 한 얼굴의 이들 뷰로부터, 얼굴상의 얼굴 특징의 일련의 특징 포인트들은 수작업으로 라벨을 붙여 분류된다. 이러한 수작업 레이블링(labeling)은 얼굴을 다른 얼굴 특징들 및 그 얼굴 특징들을 구성하는 각각의 포인트들로 변형시키는 것을 나타낸다. 예를 들어, 이들 특징은 코, 눈, 및 입을 포함할 수 있다. 특징 포인트들은 얼굴상의 얼굴 특징을 표시하는 이들 포인트들이다. ASM은 얼굴의 변형을 나타내는 일련의 훈련 데이터를 사용하여, 다른 얼굴의 뷰들을 사용함으로써 다른 얼굴상의 얼굴 특징들을 분석한다. 그러나, 이러한 종래의 ASM 기술은 분석되는 얼굴 뷰에 얼굴 특징의 위치를 정하는 데 있어 부정확하다는 문제점이 있다. 게다가, 종래의 ASM 기술은 훈련 데이터 집합에 있는 얼굴이 변형되었던 방법으로 분석되는 얼굴을 변형만 할 수 있다. 본래부터의 부정확함을 극복하는 한 가지 부분적인 해결방법은 더 큰 훈련 데이터베이스를 사용하는 것이다. 이러한 솔루션은 얼굴의 다른 뷰들에 대한 로컬 그레이 레벨 모델 피팅(local grey-level model fitting)을 고려하지 않기 때문에 단지 부분적이다. 로컬 그레이 레벨 모델 피팅은, 얼굴 특징의 실제 테두리일 필요가 없는 가장 강력한 광도 측정 테두리(strongest photometric edge)를 향해 얼굴 특징을 이동시키기 위해 데이터를 해석하는 경향이 있고, 따라서 더 부정확해진다. 게다가, 추가적인 데이터가 수용할 수 있는 얼굴 특징 형상을 분석되는 얼굴에 대한 부정확한 영역까지 확대하려는 경향이 있기 때문에, 더 큰 훈련 데이터베이스를 사용하는 것은 정확도를 더욱 떨어뜨릴 수 있다.
지금까지의 문제점 외에도, ASM은 동일한 얼굴의 약간 다른 2개의 뷰에 있는 동일한 얼굴 특징을 찾는 데 있어 일관성이 없다. ASM은 훈련 물체에 대해 훈련 데이터에서 식별된 특징들이 다른 물체의 약간 다른 2개의 뷰를 검색할 때 유사한 특징을 산출할 것이라는 것을 항상 보장하지 않는다. 이러한 할 수 없는 것은 서로 다른 2차원 뷰에서 물체를 회전시킴으로써 그 결과 물체에 생기는 조명 변화에 기인하거나, 다른 초기 매개변수에 기인한 것일 수 있다. 이 환경에서 종래의 ASM을 사용할 때 2가지 부정적인 결과가 발생할 수 있다. 하나는 종래의 ASM 모델이 물체상의 특징을 잘못 식별하거나 또는 물체상의 특징에 대한 특징 포인트들의 위치를 부정확하게 정할 수 있다는 것이다. 어느 것이든, 종래의 ASM를 사용하면, 동일한 물체의 서로 다른 2차원 뷰들은 2차원 뷰들간에 매치하지 않는 특징들을 산출할 것이다. 그 결과, 종래의 ASM 기술을 사용하면, 다른 뷰들의 식별된 특징들 간의 대응관계는 부정확하다.
동일한 물체의 서로 다른 뷰들에서 동일한 특징들을 정확하게 그리고 일관성 있게 식별하는 기술을 개발하는 것은 종래 기술에 대한 진보가 될 것이다.
본 발명의 구현은 눈 모서리 또는 코 끝과 같은 얼굴 특징들에 대해 포인트들의 위치를 정함으로써, 얼굴 특징을 식별한다. 그렇게 하기 위해, 얼굴의 다수 2차원 뷰들의 훈련 집합을 사용하여 일련의 훈련 데이터를 전개한다. 훈련 데이터 집합이 한 얼굴의 서로 다른 2개의 2차원 뷰와 함께 수학 모델에서 사용된다. 수학 모델을 사용하여, 서로 다른 2개의 2차원 뷰상의 안쪽 및 바깥쪽 얼굴 특징 둘 다를 식별하고, 그리하여 얼굴의 서로 다른 2개의 뷰 각각의 얼굴 특징을 식별하는 스테레오 결합 메커니즘을 소개한다. 수학 모델은 에피폴라 기하학을 기본 매트릭스 내에서 암호화된 것으로 사용하여, 얼굴 특징들이 위치할 서로 다른 2개의 뷰 각각의 영역을 제한한다. 수학 모델은 동일한 얼굴의 서로 다른 2개의 뷰 각각에서 각 얼굴 특징에 대한 포인트들간의 기하학적 대응관계를 찾는다.
본 발명의 또 다른 구현에서, 얼굴 모델의 바깥쪽 및 안쪽 얼굴 특징은 제1 얼굴 이미지의 제1 모델 및 제2 얼굴 이미지의 제2 모델의 얼굴 특징과 매치된다. 제1 및 제2 모델의 매칭된 바깥쪽 및 안쪽 얼굴 특징 각각은 제1 및 제2 모델에 대해 대응하는 에피폴라 제약조건을 사용하여 조정된다. 제1 및 제2 얼굴 이미지는 실질적으로 동일한 각각의 카메라 방향에서 포착된 동일한 얼굴의 이미지이다. 다른 구현에서, 이미지들은 편요각에 의해 달라지는 얼굴 포즈 영역을 지니고 있다.
본 발명의 다른 구현에서, 제1 및 제2 얼굴 이미지 각각에 대해 제1 및 제2 모델의 얼굴 모델을 사용함으로써 초기화가 수행된다. 제1 및 제2 모델 각각은 복수의 포인트들에 의해 정의된 바깥쪽 및 안쪽 얼굴 특징들을 지닌다. 기본 매트릭스가 제1 및 제2 모델에 대해 추정된다. 제1 및 제2 모델의 안쪽 얼굴 특징 각각에 대해 각 포인트에 대한 각각의 로컬 텍스처(local texture)를 사용함으로써 포인트들이 갱신된다. 그리고 나서, 제1 및 제2 모델의 안쪽 얼굴 특징 각각이 갱신된다. 제1 및 제2 모델의 안쪽 얼굴 특징 각각에 대한 포인트들이 기본 매트릭스 및 대응하는 에피폴라 제약조건을 사용하여 갱신된다. 그리고 나서, 제1 및 제2 모델의 바깥쪽 얼굴 특징 각각이 갱신된다. 제1 모델이 얼굴 모델의 미리 결정된 허용범위(predetermined tolerance) 내에서 수렴될 경우, 제1 모델의 안쪽 및 바깥쪽 얼굴 특징 표현이 출력된다. 제2 모델이 얼굴 모델의 미리 결정된 허용범위 내에서 수렴될 경우, 제2 모델의 안쪽 및 바깥쪽 얼굴 특징의 표현이 출력된다.
첨부된 도면과 함께 이하의 상세한 설명을 참조함으로써 본 발명의 구현을 더 잘 이해할 수 있을 것이다.
본 발명은 얼굴 모델링(face modeling) 및 얼굴 특징 식별(identification of facial features)에 관한 것이다. 본 발명의 구현은 얼굴 형상 분석에 있어서 에피폴라 기하학(epipolar geometry)을 이용하여 코, 눈, 눈썹, 입 등과 같은 얼굴의 특징을 결정한다. 본 명세서에서는 독자들이 에피폴라 기하학을 이해하고 있다고 가정하여 상세하게 기술된다.
기본 매트릭스 추정
도 1a - 1b는 두 목표 이미지간의 기본 매트릭스 Ε를 추정하여 측정된(calibrate) 두 목표 이미지를 보여준다. 한 쌍의 이미지에 대해 기본 매트릭스 Ε를 계산하는 공식의 한 예가 Zhang 등에 의해 제시되었다.(Z. Zhang, 에피폴라 기하학 및 그 불확실성을 결정하는 것: 리뷰. 컴퓨터 비젼의 국제 저널, 27(2):161-195, 1998). 머리는 정면을 향하고 2개의 뷰간에 편요각(yaw) 방향으로 움직이면서 고정된 카메라로 2개의 이미지를 찍었다. 머리가 회전할 때 조명이 바뀌기 때문에, 2개의 이미지에서 동일한 물리적 포인트의 색상이 달라 보일 수 있다. 이와 같이, 얼굴 특징 식별은 광류 흐름 기반 방식(optical flow based method)보다 명암도 변화에 보다 굳건하기 때문에 얼굴의 얼굴 특징을 식별하는 데 유익하다. 기본 매트릭스 Ε의 추정은 4가지 다른 단계: 1) 서로 다른 2개의 이미지간의 차이점을 결정함으로써 얼굴의 위치를 근사하는 단계; 2) 이미지의 각 얼굴 특징의 모서리들을 검출하는 단계; 3) 서로 다른 2개의 이미지간의 상관관계에 의해 각 얼굴 특징의 모서리들을 매칭하는 단계; 4) 오류 매치는 받아들이지 않고, 최소 중위 제곱(least median square)으로 기본 매트릭스를 추정하는 단계를 포함한다. 도 1a - 1b는 얼굴 이미지 한 쌍, 및 이 기술로 확립된 얼굴 특징의 모서리 매치의 집합을 보여준다. 그럼에도 불구하고, 서로 다른 2개의 이미지간의 얼굴 특징을 더 정확하게 연관시키기 위해 얼굴 모델이 필요하다. 이러한 얼굴 모델은, 도 2에 나타나고 이하에 기술되듯이, 얼굴 특징들 즉 코, 눈, 눈썹, 입 등과 같은 얼굴 특징을 나타낸다.
얼굴 형상 모델의 분해
얼굴 형상의 훈련 집합,
Figure 112004028459602-pat00001
이 제공될 수 있고, 형상 벡터(shape vector)는
Figure 112004028459602-pat00002
로 나타난다. 형상 벡터인 Si는 얼굴상의 다른 특징들을 구성하는 포인트들(특징 포인트(feature points))을 나타낸다. 도 2에 나타나듯이, 얼굴이 안쪽의 얼굴 특징들(눈, 코, 및 입)로 분해되었고, 이들 각각은 복수의 포인트들을 연결시키는 선으로 윤곽이 그려진다. 도 2는 이 3가지 다른 안쪽 얼굴 특징을 구성하는 63개의 포인트들을 보여준다. 얼굴은 또한 바깥쪽 얼굴 특징들(한 쌍의 눈썹, 턱, 턱끝, 및 뺨의 실루엣)로 분해될 수 있고, 이들 각각은 복수의 포인트들을 연결시키는 선으로 윤곽이 그려진다. 도 2는 이 2가지 다른 바깥쪽 얼굴 특징을 구성하는 19개의 포인트들을 보여준다. 이와 같이, 도 2의 아랫 부분에 있는 분해된 얼굴 특징의 합성에서 볼 수 있듯이, 전체 83개의 포인트들이 서로 다른 5개의 얼굴 특징들을 구성한다.
실루엣상의 포인트들은 얼굴 영역을 그 배경과 분할시켜주므로 유용하다. 그러나, 편요각 방향에서의 머리 회전으로 인해 생기는 자체 가려짐(self occlusion)으로 인해, 이 포인트들이 에피폴라 제약조건(epipolar constraint)을 따르지 않기 때문에, 실루엣상의 포인트들을 동일한 얼굴의 서로 다른 2개의 뷰에 정확하게 관련시키는 것이 어렵다. 이러한 어려움을 극복하기 위해, 분해된 얼굴 모델이 사용된다. 도 2에 나타나듯이, 형상 벡터 Si는 2 부분, 안쪽 벡터 Sin 과 바깥쪽 벡터 Sout로 나뉘어진다. Sin는 안쪽에 있는 3개의 얼굴 특징을 구성하는 64개 의 포인트를 의미하고, Sout는 눈썹 및 실루엣 또는 얼굴 윤곽을 정의하는 나머지 19개의 포인트를 의미한다. 물론, 각각의 얼굴 특징을 나타내는 데 다른 갯수의 포인트들을 선택할 수 있다. 턱, 턱끝, 및 뺨의 실루엣을 분리시키는 또 다른 이유는, 훈련 이미지에 나타난 배경이 어질러져 있을 경우, 이들의 로컬 그레이 레벨 모델(local grey-level model)이 3개의 안쪽 얼굴 특징을 구성하는 포인트들보다 덜 안정적이라는 사실 때문이다. 눈썹 주위가 다른 안쪽 얼굴 특징들보다 검출하기가 더 어렵고, 다른 헤어스타일 등과 같이 다른 요인에 더 쉽게 영향을 받는다는 것을 고려하여, 눈썹은 또한 Sout 형상 벡터로 할당된다.
반복 ASM 프로시져에서 모든 형상 벡터 (Sin , Sout)를 평균 형상
Figure 112004028459602-pat00003
의 탄젠트 공간으로 정렬시킨 다음, 정규화된 형상 벡터 집합
Figure 112004028459602-pat00004
이 획득되며, 여기서 T는 회전(θ), 비례축소(scaling)(S) 및 (Xi,Yi)에 의한 평행이동(translation)을 수행함으로써 유클리드 변환(Euclidean transformation)을 나타낸다. 사용될 수 있는 이러한 반복 ASM 프로시져의 예는 상기한 Cootes 등에 의해 제시된다.
분해 전략에 따라, 각 정렬된 얼굴
Figure 112004028459602-pat00005
는 2개의 벡터
Figure 112004028459602-pat00006
로 분리된다. ASM의 PCA를
Figure 112004028459602-pat00007
로서 사용하여, 2개의 저차원 형상 공간(two low dimensional shape spaces)인 UF 및 Uin이 계산되며, 여기서 UF 는
Figure 112004028459602-pat00008
에서 k개의 순열의 주요 모드(principal modes of variations)로 구성된 매트릭스 이며, Uin은 로부터 얻어진 것이다. 훈련 집합의 형상 i에서의 각 얼굴 특징의 각 포인트 j에 대해, j 주위를 중심으로 하는 그레이 레벨 프로필(grey level profile) gij가 추출된다. gij의 미분 벡터(derivation vector) dij가 계산되고
Figure 112004028459602-pat00010
로 정규화되며, 여기서 k는 프로필에 따른 포인트들의 인덱스이다. PCA를 다시 사용하여 벡터
Figure 112004028459602-pat00011
의 순열을 모델링한다. ASM의 PCA의 한 예는, 여기서 사용되듯이, 상기한 Cootes 등에 의해 제시된다.
스테레오 결합 모델 검색(stereo-coupled model searching)
동일한 얼굴의 2가지 뷰의 대응하는 얼굴 특징을 매치시키는 스테레오 결합 모델은 두 이미지에서의 얼굴 위치 및 평균 형상 벡터의 최초 추측으로 시작된다. ASM이 2개의 뷰 각각에 적용되어 로컬 텍스처 통계(local texture statistics)(예를 들어, 각 포인트에 근접하는 광도 측정 데이터(photometric data))에 따라 각 얼굴 특징의 각 포인트를 갱신한다. 그렇게 하기 위해, 포인트들은 모델 경계와 수직인 방향을 따라 이동된다. 맞춤의 품질(quality of the fit)이 평가되고, 이것으로부터 각 포인트의 새 위치가 제안된다. 광도 측정 데이터의 크기(magnitude)에 기반한 강력한 테두리(strong edge)상에서 베스트 매치가 종종 발견된다.
다음 단계는 이전의 형상 분포(prior shape distribution) 및 에피폴라 제약조건 둘 다를 충족시키는 가장 그럴듯한 형상을 찾는 것에 관한 것이다. 2개의 이 미지에서 형상 모델의 최적 매개변수 집합(optimal parameter set) c를 찾음으로써 모델 피팅(model fitting)을 공식화할 수 있고, 2개의 제약으로 손실 함수(loss function) L(c)를 최소화할 수 있다. 즉,
Figure 112004028459602-pat00012
제약 대상
Figure 112004028459602-pat00013
여기서, d(x,y)는 포인트들 x와 y간의 유클리드 거리(Euclidean distance)이며, Sin1 및 Sin2는 로컬 텍스처 기반의 갱신 이후에 관측된 특징 포인트들이다.
Figure 112004028459602-pat00014
그리고,
Figure 112004028459602-pat00015
및
Figure 112004028459602-pat00016
는 모델 인스턴스를 의미한다:
Figure 112004028459602-pat00017
매개변수 bin1 및 bin2는 바람직하게 정확한 얼굴 형상을 생성하기 위해 2번째 조건을 충족시켜야 한다.
L(c)는 모델 인스턴스 및 관측된 특징 포인트들간의 차이를 평가하는 데 사용된다. 대안으로, 에피폴라 기하학에 대해, 또한 L(c)를 정확한 대응 포인트들을 찾는 방법으로 볼 수 있다. 검색 프로시져동안, 형상 Sin1, Sin2 사이의 전형적인 관측된 매칭
Figure 112008069490662-pat00018
은 노이즈가 있을 수 있고(noisy), 옳은 것을 복구시키는 것이 바람직하다. L(c)는 최초의 특징 포인트들
Figure 112008069490662-pat00019
와 옳은 대응 포인트들
Figure 112008069490662-pat00020
간의 거리를 의미하며, 여기서
Figure 112008069490662-pat00021
는 형상 인스턴스
Figure 112008069490662-pat00022
의 포인트들이다. 포인트들
Figure 112008069490662-pat00023
상에
Figure 112008069490662-pat00024
의 가우스 오차 분포(Gaussian error distribution)가 있을 것이라고 가정하고, 이것은 이어서 서로 다른 2개의 뷰상의 포인트들간에 정확한 대응을 나타내는 가장 가능성 높은 값에 대해 손실 함수 L(c)를 최소화시킬 것이다.
서로 다른 2개의 뷰상의 포인트들간의 정확한 대응을 찾아내는 프로시져는 형상 모델의 분해 및 에피폴라 제약조건(방정식 3) 및 사전 형상 제약(prior shape constraint)(방정식 4) 두 가지를 결합한 제약조건과 관련되어 있다. 일반적으로, 이러한 프로시져는 얼굴 검출 결과에 대해 동일한 얼굴의 서로 다른 2개의 뷰상에서 형상 모델을 초기화함으로써 시작된다. 본 명세서에서 사용될 수 있는 서로 다른 2개의 뷰상의 형상 모델 초기화의 한 예는 Li 등에 의해 제시되었다.(S.Z.Li, Q.D.Fu, L.Gu, B.Scholkopf, Y.M.Cheng, H.J.Zhang, "멀티 뷰 얼굴 검출 및 포즈 추정에 대한 커널 기계 기반 지식(Kernel machine based learning for multi-view face detection and pose estimation)", 제8회 IEEE 컴퓨터 비젼 국제 학회의 회의록에서. 뱅쿠버, 캐나다, 7월 9일-12일, 2001). 다른 뷰들의 형상 모델이 초기화된 이후, 각 얼굴 특징의 포인트들이 각 포인트에 근접한 텍스처(예를 들어, 광도 측정 데이터)를 이용하여 독립적으로 갱신된다. 그리고 나서, 안쪽 형상 이미지가 갱신된다. 그렇게 하기 위해, 안쪽 형상 벡터 Sin1, Sin2에 대해 초기의 추정이 주어진다. 이 초기 추정은 얼굴의 서로 다른 2개의 뷰에 대한 이미지 데이터에 맞춰진다. 매개변수 Tin1, Tin2, bin1, bin2 의 최적화를 찾고, 사전 형상 제약조건에 따라
Figure 112008069490662-pat00025
이내에서 bin1, bin2 를 버린다. 버림 이후에, 에피폴라 제약조건에 따라 안쪽 얼굴 특징(코, 눈 및 입)의 포인트들을 갱신한다.
서로 다른 2개의 뷰에 대한 안쪽 얼굴 특징의 포인트들이 아직 에피폴라 제약조건을 충족시키지 못했기 때문에,
Figure 112004028459602-pat00026
의 매칭으로부터
Figure 112004028459602-pat00027
의 옳은 대응을 찾기 위해 비선형 최적화 솔루션(nonlinear optimization solution)이 소개된다. 도 4a - 4b에 도시된 에피폴라 기하학도에 의해 보여지듯이, lμ은 동일한 얼굴의 제2 뷰 또는 제2 이미지의 특징 포인트 μ의 에피폴라 선(epipolar line)이다. 선
Figure 112004028459602-pat00028
은
Figure 112004028459602-pat00029
로부터 lμ에 직교로 그려지며, 포인트 M에서 lμ와 교차한다. 선 lv은 e2에서
Figure 112004028459602-pat00030
상의 포인트 v를 지나는 에피폴라 선이다. 그러므로, 포인트 v는 제2 이미지의 에피폴라 선의 속(pencil)을 정의한다. 이 속은 매개변수 λ에 의해 매개변수화될 수 있고, 이것은 v와
Figure 112004028459602-pat00031
사이의 서명된 거리이다. 매개변수
Figure 112004028459602-pat00032
는 lv로 투영되어
Figure 112004028459602-pat00033
를 획득한다. 매개변수
Figure 112004028459602-pat00034
은 동일한 얼굴의 제1 뷰 또는 제1 이미지의 에피 폴라 선
Figure 112004028459602-pat00035
이다. 매개변수 μ는
Figure 112004028459602-pat00036
로 투영되어
Figure 112004028459602-pat00037
를 획득한다. (2)와 같이 L(c)를 최소화하는 최적의 λopt를 찾기 위해, 전통적인 Levenberg-Marquardt 옵티마이저가 사용될 수 있고, 여기서 λ의 초기 값은
Figure 112004028459602-pat00038
로 설정된다. 최적의 λ값을 얻기 위해 여러번 반복될 수 있다. 마침내, 모든 얼굴 특징에 대한 모든 포인트들 S1,S2가 제1 단계에서 수행되었듯이 갱신된다.
일반적으로, 한 실시예에서, 내부의 에너지 함수를 최소화하기 위해, 앞서의 단계에 의해 얼굴 형상을 근사한다. 에피폴라 제약조건은 동일한 얼굴의 서로 다른 2개의 2차원 뷰 각각에 대해 얼굴 특징의 포인트들간의 최고의 대응관계를 찾는 것을 목표로 하는 특별한 에너지 항을 나타낸다.
도 5a - 5b 내지 8a - 8b는 에피폴라 기하학을 사용한 스테레오 결합 메커니즘의 한 실시예의 각각의 반복 결과를 보여주며, 여기서 도 3a - 3b는 동일한 얼굴의 최초 2개의 뷰를 나타낸다. 마지막 뷰인 8a - 8b에서 보여지듯이, 스테레오 결합 모델은 서로 다른 2개의 뷰에서 얼굴 특징 각각을 정확하게 위치시키고, 각 뷰의 얼굴 특징들의 수렴(convergence)도 유사하다. 안쪽 얼굴 특징(눈, 코, 및 입)에 부과된 기하학 제약조건이 서로 다른 2개의 뷰 모델간의 대응 매핑을 조절하기 때문에 이 수렴이 가능하다.
도 9의 프로시져(900)는 얼굴 모델을 이용하여 동일한 얼굴의 서로 다른 2개의 뷰상에서 수행되는 단계 1 내지 단계 8을 포함하는 본 발명의 일 구현을 도시하고 있다. 얼굴에 대해 동일한 각각의 카메라 방향(the same relative camera orientation)에서 2개의 뷰가 찍히며, 여기서 얼굴은 서로 다른 2개의 뷰간에서 편요각 방향으로 회전된다. 2개의 뷰는 동시에 처리된다. 단계 2 내지 단계 7은 프로시져(900)내에서 반복된다.
프로시져(900)의 입력은 2개의 얼굴 이미지이고, 그 예가 도 3a - 3b에 제공되어 있다. 이 입력은 프로시져(900)의 단계 1의 블록(902-904)에 각각 제1 및 제2 얼굴(예를 들어, 동일한 얼굴의 서로 다른 2개의 뷰)로 나타나 있다. 프로시져(900)의 단계 1 이후, 단계 2로 진행되고, 이 단계의 블록(908-910)에서 제1 및 제2 얼굴의 형상 모델을 초기화함으로써 두 이미지 각각에서 각 얼굴의 각 얼굴 특징의 모서리 포인트를 검출한다. 블록(908-910)은 동시에 실행될 수 있다. 안쪽 얼굴 특징에 대해, 입의 모서리 포인트들은 복수의 입 모서리를 포함한다. 각 눈의 모서리 포인트들은 복수의 눈 모서리를 포함하고, 코의 모서리 포인트는 코 끝을 포함한다.
각 얼굴 특징의 모서리 포인트가 검출된 후, 블록(908-910)의 제1 및 제2 얼굴의 형상 모델 초기화는 또한 2가지 모서리 포인트 집합간의 대응관계를 확립한다. 다른 언급이 없다면, 블록(908-910)은 제1 및 제2 얼굴 이미지 각각에 대해 제1 및 제2 모델의 초기화를 요구한다. 이 초기화는 바깥쪽 및 안쪽 얼굴 특징을 지니는 얼굴 모델을 이용하고, 각 얼굴 특징은 복수의 포인트에 의해 정의되고, 제1 및 제2 모델 각각은 바깥쪽 및 안쪽 얼굴 특징을 지니고 있다. 한 예로서, 도 5a - 5b는 프로시져(900)가 적용된 서로 다른 2개의 뷰의 예를 제공한다. 도 2는 안쪽 및 바깥쪽 얼굴 특징 둘 다를 지니고, 이들 각각은 복수의 포인트들로 정의되는 얼굴 모델의 한 예를 제공한다. 도 2의 안쪽 얼굴 특징은 코, 입 및 한 쌍의 눈이다. 도 2의 바깥쪽 얼굴 특징은 아치형의 얼굴 아래 테두리 및 한 쌍의 눈썹이다. 도 3a - 3b의 초기 입력에서 나타나듯이, 제1 및 제2 얼굴 이미지는 실질적으로 동일한 각각의 카메라 방향에서 포착된 동일한 얼굴이다. 제1 및 제2 얼굴 이미지의 각각의 얼굴 포즈는 실질적으로 피치(pitch) 및 횡전(roll)에 관해 동일하고, 편요각에 관해서는 약 3 도(degree)에서 10 도(10°)까지의 영역에서 다르다.
서로 다른 2개의 뷰에서 얼굴 특징의 모서리 포인트간의 대응관계를 확립한 후, 블록(906)에서 제1 및 제2 얼굴(모델)에 대한 기본 매트릭스 'E'를 추정한다. 프로시져(900)의 블록(905)에서 사용될 수 있는 기본 매트릭스 'E'를 추정하는 기술의 한 예가 상술된 Pentland 등에 기재되어 있다.
프로시져(900)의 단계 3에서, 각 포인트에 대해 각각의 로컬 텍스처를 사용하여 제1 및 제2 모델(예를 들어, 제1 및 제2 얼굴)의 안쪽 얼굴 특징 각각에 대해 복수의 포인트들을 갱신한다. 이 갱신은 프로시져(900)의 블록(912-914)에서 일어나며, 각 포인트에 대한 로컬 텍스처는 포인트의 광도 측정 데이터 및 포인터에 근접한 것을 포함한다. 단계 4의 블록(916-918)에서, 단계 3에서 행해진 포인트에 대한 갱신의 결과를 사용하여 제1 및 제2 모델의 안쪽 얼굴 특징 각각을 갱신한다.
단계 1 내지 단계 4에서는 동일한 얼굴의 다른 뷰를 각각 나타내는 서로 다른 2개의 모델을 갱신한다. 단계 5의 블록(920)에서, 단계 1 내지 단계 4의 한 쌍 의 동작 대신 하나의 동작이 수행된다. 블록(920)은 기본 매트릭스 및 대응하는 에피폴라 제약조건을 사용하여 제1 및 제2 모델의 안쪽 얼굴 특징 각각에 대한 복수의 포인트들을 갱신한다. 다른 언급이 없다면, 블록(920)에서 수행되는 동작들은 상기 방정식(3) 및 방정식(4)에서 수학적으로 표현된 2개의 제약조건을 사용함으로써 갱신된 제1 및 제2 모델을 다듬는다.
단계 6의 블록(922-924)에서는 다시 한 쌍의 동작을 수행하고, 제1 및 제2 모델의 바깥쪽 얼굴 특징 각각을 갱신한다. 단계 7에서는 한 쌍의 질의가 수행된다. 이 질의는 제1 및 제2 모델에 대해 블록(926,928)에서 각각 발생한다. 블록(926)에서, 제1 모델이 얼굴 모델의 미리 결정된 허용범위(predetermined tolerance) 내에서 수렴될 경우, 제1 얼굴 모델의 안쪽 및 바깥쪽 얼굴 특징 표현이 출력된다. 그렇지 않을 경우, 제1 모델에 대한 수렴이 얼굴 모델의 미리 결정된 허용범위 이내가 될 때까지 단계 3 내지 단계 7이 반복된다. 유사하게, 블록(928)에서, 제 2 모델이 얼굴 모델의 미리 결정된 허용범위 내에서 수렴될 경우, 제2 얼굴 모델의 안쪽 및 바깥쪽 얼굴 특징의 표현이 출력된다. 그렇지 않을 경우, 제2 모델에 대한 수렴이 얼굴 모델의 미리 결정된 허용범위 이내가 될 때까지 단계 3 내지 단계 7이 반복된다. 단계 3 내지 단계 7의 4가지 반복 결과의 한 예가 도 5a - 5b 내지 8a - 8b에 각각 나타나 있다.
서로 다른 2개의 뷰간의 얼굴 특징 수렴에 이어, 프로시져(900)의 결과가 얼굴 인식 프로세스에서 사용될 수 있다. 예를 들어, 데이터베이스에서 제1 및 제2 얼굴 이미지 중 적어도 하나와 매치하는 사람의 얼굴을 식별할 수 있다. 여기서, 매칭 프로세스는 제1 및 제2 모델 중 하나 또는 그 둘 다의 안쪽 및 바깥쪽 얼굴 특징의 출력 표현을 이용할 수 있다.
컴퓨터 시스템
도 10은 본 명세서에 기술된 구현에 사용될 수 있는 예시적인 컴퓨터 시스템을 보여준다. 컴퓨터(1042)는 하나 이상의 프로세서 또는 처리 장치(1044), 시스템 메모리(1046), 및 시스템 메모리(1046)를 포함한 각종 시스템 컴포넌트를 처리 장치(1044)에 연결시키는 버스(1048)를 포함한다. 버스(1048)는 메모리 버스 또는 메모리 콘트롤러, 주변장치 버스, AGP(accelerated graphics port) 및 각종 버스 아키텍처 중 임의의 것을 사용하는 프로세서 또는 로컬 버스를 포함한 몇가지 유형의 버스 구조 중 어느 것이라도 될 수 있다. 시스템 메모리(1046)는 판독 전용 메모리(ROM)(1050) 및 랜덤 액세스 메모리(RAM)(1052)를 포함한다. 시동 시 컴퓨터(1042) 내의 구성요소들간의 정보의 전송을 돕는 기본 루틴을 포함하는 기본 입/출력 시스템(BIOS)(1054)은 ROM(1050)에 저장되어 있다. 컴퓨터(1042)는 하드 디스크(도시 생략)로의 기록 또는 그로부터의 판독을 위한 하드 디스크 드라이브(1056), 이동식 자기 디스크(1060)로의 기록 또는 그로부터의 판독을 위한 자기 디스크 드라이브(1058), CD-ROM 또는 기타 광학 매체 등의 이동식 광학 디스크(1064)로의 기록 또는 그로부터의 판독을 위한 광학 디스크 드라이브(1062)를 포함한다. 하드 디스크 드라이브(1056), 자기 디스크 드라이브(1058), 및 광학 디스크 드라이브(1062)는 SCSI 인터페이스(1066) 또는 기타 적절한 인터페이스에 의해 버스(1048)에 접속된다. 드라이브들 및 이들과 관련된 컴퓨터 판독가능 매체는, 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 및 컴퓨터(1042)의 다른 데이터에 대한 불휘발성 저장장치를 제공한다. 본 명세서에서 기술된 예시적인 환경이 하드 디스크, 이동식 자기 디스크(1060), 및 이동식 광학 디스크(1064)를 사용하지만, 당업자라면 자기 카세트, 플래쉬 메모리 카드, DVD, RAMs, ROMs 등과 같이 컴퓨터가 액세스할 수 있는 데이터 저장가능한 기타 유형의 컴퓨터 판독가능 매체 또한 예시적인 운영 환경에서 사용될 수 있다는 것을 이해할 것이다.
운영 체제(1070), (디자인 애플리케이션과 같은)하나 이상의 애플리케이션 프로그램(1072), 기타 프로그램 모듈(1074), 및 프로그램 데이터(1076)를 포함하는 많은 프로그램 모듈들이 하드 디스크(1056), 자기 디스크(1060), 광학 디스크(1064), ROM(1050) 또는 RAM(1052)에 저장될 수 있다. 사용자는 키보드(1078) 및 포인팅 디바이스(1080) 등의 입력 장치를 통해 명령 및 정보를 컴퓨터(1042)에 입력할 수 있다. 다른 입력 장치(도시 생략)로는 마이크, 조이스틱, 게임 패드, 위성 안테나, 스캐너 등이 있을 수 있다. 이들 및 기타 입력 장치는 종종 버스(1048)에 연결된 인터페이스(1082)를 통해 처리 장치(1044)에 접속된다. 모니터(1084) 또는 다른 유형의 디스플레이 장치도 비디오 어댑터(1086)와 같은 인터페이스를 통해 버스(1048)에 접속될 수 있다. 모니터 이외에, 퍼스널 컴퓨터는 또한 스피커 및 프린터 등의 다른 주변 출력 장치(도시 생략)를 포함할 수 있다.
컴퓨터(1042)는 일반적으로 하나 이상의 원격 컴퓨터(1088)로의 논리적 접속을 사용하여 네트워크화된 환경에서 동작할 수 있다. 원격 컴퓨터(1088)는 또 하나의 퍼스널 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 장치 또는 기타 공통 네트 워크 노드일 수 있고, 일반적으로 컴퓨터(1042)와 관련하여 위에서 설명한 컴포넌트의 대부분 또는 그 전부를 포함한다. 도 10에 도시된 논리적 접속으로는 LAN(local area network)(1090) 및 WAN(wide area network)(1092)이 있다. 이러한 네트워킹 환경은 사무실, 회사 전체에 걸친 컴퓨터 네트워크, 인트라넷 및 인터넷에서 통상적인 것이다. LAN 네트워킹 환경에서 사용될 때, 컴퓨터(1042)는 네트워크 인터페이스 또는 어댑터(1094)를 통해 LAN에 접속된다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(1042)는 일반적으로 인터넷과 같은 WAN(1092)상에서의 통신을 설정하기 위한 모뎀(1096) 또는 기타 수단을 포함한다. 내장형 또는 외장형일 수 있는 모뎀(1096)은 직렬 포트 인터페이스(1068)를 통해 시스템 버스(1048)에 연결된다. 네트워크화된 환경에서, 퍼스널 컴퓨터(1042) 또는 그의 일부와 관련하여 기술된 프로그램 모듈은 원격 메모리 저장 장치에 저장될 수 있다. 도시된 네트워크 접속은 예시적인 것이며 이 컴퓨터들간의 통신 링크를 설정하는 다른 수단이 사용될 수 있다는 것을 이해할 것이다.
일반적으로, 컴퓨터(1042)의 데이터 프로세서는 컴퓨터의 여러 컴퓨터 판독가능 저장 매체에 다른 때에 저장된 명령어에 의해 프로그램된다. 프로그램 및 운영 체제는 일반적으로, 예를 들어 플로피 디스크 또는 CR-ROM에 분산된다. 플로피 디스크 또는 CD-ROM으로부터, 프로그램이 설치되고 컴퓨터의 제2 메모리로 로드된다. 실행 시, 프로그램은 최소한 부분적으로 컴퓨터의 주 전자 메모리(primary electronic memory)로 로드된다. 본 명세서에 기술된 시스템은 이러한 매체가 마이크로 프로세서 또는 기타 데이터 프로세서와 함께 기술된 블록을 구현하기 위해 명령어 또는 프로그램을 포함할 때, 이들 및 기타 각종 유형의 컴퓨터 판독가능 저장 매체를 포함한다. 기술된 시스템은 또한 본 명세서에 기술된 방법 및 기술에 따라 프로그램될 때 컴퓨터 그 자체를 포함한다.
도시의 목적을 위해, 프로그램 및 운영 체제와 같은 기타 실행가능 프로그램 컴포넌트가 별도의 블록으로서 본 명세서에 도시되었으며, 이러한 프로그램 및 컴포넌트는 컴퓨터의 여러 저장 컴포넌트에서 다양한 때에 상주할 수 있고, 컴퓨터의 데이터 프로세스에 의해 실행된다는 것을 이해할 것이다.
결론
본 발명의 구현은 얼굴 특징의 표현 및 눈 모서리, 코 끝등과 같은 얼굴 특징에 대한 포인트의 위치를 정해준다. 동일한 얼굴의 서로 다른 한 쌍의 뷰에 대해 얼굴 특징을 연관시키는 것은 에피폴라 기하학을 사용하여 가능하다. 수학적 모델은 얼굴의 안쪽 얼굴 특징 및 얼굴의 바깥쪽 실루엣 둘 다의 형상 변화를 포착한다. 알고리즘은 안쪽 및 바깥쪽 얼굴 특징으로 분해된 얼굴 모델을 사용하여 동일한 얼굴의 한 쌍의 서로 다른 뷰상의 얼굴 특징의 매칭을 개선시킨다.
본 발명이 구조적인 특징 및/또는 방법론적인 단계 고유의 언어로 기술되었지만, 첨부된 청구범위에 정의된 본 발명이 기술된 특정 특징 또는 단계에 제한될 필요가 없다는 것을 이해할 것이다. 오히려, 특정 특징 및 단계는 청구된 발명을 구현하는 예시적인 형태로 개시된다.
서로 다른 2개의 뷰간의 얼굴 특징 수렴에 이어, 얼굴 인식 프로세스에서 프 로시져(900)의 결과를 사용할 수 있다. 예를 들어, 데이터베이스에서 제1 및 제2 얼굴 이미지 중 적어도 하나와 매치하는 사람의 얼굴을 식별할 수 있다. 여기서, 매칭 프로세스는 제1 및 제2 모델 중 하나 또는 그 둘 다의 안쪽 및 바깥쪽 얼굴 특징의 출력 표현을 이용할 수 있다.

Claims (55)

  1. 얼굴 모델링 및 얼굴 특징들의 식별을 위한 방법에 있어서,
    얼굴 모델의 바깥쪽 및 안쪽 얼굴 특징들을 결정하는 단계;
    정면에서의 얼굴의 제1 얼굴 이미지에 대해 제1 모델의 바깥쪽 및 안쪽 얼굴 특징들에 대응하도록, 및
    편요각 방향으로 움직이는 상기 얼굴의 제2 얼굴 이미지에 대해 제2 모델의 바깥쪽 및 안쪽 얼굴 특징들에 대응하도록, 상기 얼굴의 이미지들을 취하는 것에 의해 상기 얼굴 모델의 바깥쪽 및 안쪽 얼굴 특징들을 초기화하는 단계 - 상기 제1 및 제2 얼굴 이미지들은 실질적으로 동일한 각각의 카메라 방향에서 찍힌 사진임 - ;
    상기 제1 얼굴 이미지 및 상기 제2 얼굴 이미지 간의 상관관계에 의해 바깥쪽 및 안쪽 얼굴 특징들을 매칭시키는 단계;
    상기 제1 얼굴 이미지 및 상기 제2 얼굴 이미지 간의 얼굴 특징들의 더 정확한 상관관계를 위하여, 상기 제1 및 제2 모델에 대해 대응하는 에피폴라 제약조건(epipolar constraint)을 사용하여, 상기 제1 및 제2 모델의 상기 매칭하는 바깥쪽 및 안쪽 얼굴 특징들을 조정하는 단계; 및
    얼굴 인식을 위하여 얼굴 특징들을 식별하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 안쪽 얼굴 특징들은 코, 입, 및 한 쌍의 눈을 포함하고,
    상기 바깥쪽 얼굴 특징들은 상기 얼굴의 아치형 아래 테두리 및 한 쌍의 눈썹을 포함하는 방법.
  3. 제1항에 있어서, 복수의 포인트들이 상기 안쪽 얼굴 특징 각각에 대응하고,
    상기 입에 대응하는 복수의 입 모서리들,
    상기 눈에 대응하는 복수의 눈 모서리들, 및
    상기 코에 대응하는 코 끝을 포함하는 방법.
  4. 제1항에 있어서, 상기 제1 및 제2 얼굴 이미지는 상기 실질적으로 동일한 각각의 카메라 방향에서 포착된 동일한 얼굴인 방법.
  5. 제4항에 있어서, 상기 제1 및 제2 얼굴 이미지의 각각의 얼굴 포즈(pose)는,
    실질적으로 피치(pitch)에 대해 동일하고,
    실질적으로 횡전(roll)에 대해 동일하고, 및
    약 3도(degree)에서 10도까지의 영역에서 편요각(yaw)에 대해 다른 방법.
  6. 제1항에 있어서, 상기 제1 및 제2 얼굴 이미지는, 실질적으로 동일한 얼굴 포즈 영역이지만 상기 편요각에 의해 달라지는 동일한 얼굴의 상기 실질적으로 동일한 각각의 카메라 방향에서 찍힌 사진인 방법.
  7. 제1항에 있어서, 상기 얼굴의 포즈 영역은 약 10도(10˚)내에서 달라지는 편요각에 의해 상기 제1 및 제2 얼굴 이미지에서 다른 방법.
  8. 제1항에 있어서,
    상기 제1 얼굴 이미지는 사람 얼굴의 전체 정면 사진이고, 및
    상기 제2 얼굴 이미지는 약 10도(10˚)내에서 편요각에 의해 상기 제1 얼굴 이미지와는 다른 방법.
  9. 제1항에 있어서, 상기 제1 및 제2 모델 각각의 표현을 출력하는 단계를 더 포함하고, 상기 제1 및 제2 모델 각각은 상기 안쪽 및 바깥쪽 얼굴 특징들 각각을 포함하는 방법.
  10. 제9항에 있어서, 상기 출력하는 단계는,
    상기 제1 모델 상의 상기 바깥쪽 및 안쪽 얼굴 특징들의 매치 각각이 상기 얼굴 모델의 상기 바깥쪽 및 안쪽 얼굴 특징들 각각에 대해 미리 결정된 수렴 허용범위 이내가 될 때까지, 및
    상기 제2 모델 상의 상기 바깥쪽 및 안쪽 얼굴 특징들의 매치 각각이 상기 얼굴 모델의 상기 바깥쪽 및 안쪽 얼굴 특징들 각각에 대해 미리 결정된 수렴 허용범위 이내가 될 때까지
    상기 매칭 및 상기 조정 단계를 반복하는 단계를 더 포함하는 방법.
  11. 제1항에 있어서,
    상기 제1 모델 상의 상기 바깥쪽 및 안쪽 얼굴 특징들의 매치 각각이 상기 얼굴 모델의 상기 바깥쪽 및 안쪽 얼굴 특징들 각각에 대해 미리 결정된 수렴 허용범위 이내가 될 때까지, 및
    상기 제2 모델 상의 상기 바깥쪽 및 안쪽 얼굴 특징들의 매치 각각이 상기 얼굴 모델의 상기 바깥쪽 및 안쪽 얼굴 특징들 각각에 대해 미리 결정된 수렴 허용범위 이내가 될 때까지
    상기 매칭 및 조정 단계를 반복하는 단계를 더 포함하는 방법.
  12. 제1항에 있어서, 상기 제1 및 제2 모델의 상기 바깥쪽 및 안쪽 얼굴 특징들 각각을 사용함으로써, 상기 제1 및 제2 얼굴 이미지 중 적어도 하나와 매치하는 사람의 얼굴을 데이터베이스에서 식별하는 단계를 더 포함하는 방법.
  13. 실행될 때, 제1항의 방법을 수행하는 명령어를 포함하는 컴퓨터 판독가능 기록매체.
  14. 복수의 포인트들로 각각 표현되어지는 얼굴 모델의 바깥쪽 및 안쪽 얼굴 특징들을 결정하는 단계;
    정면에서의 얼굴의 제1 얼굴 이미지에 대해 제1 모델의 바깥쪽 및 안쪽 얼굴 특징들에 대응하도록, 및
    편요각 방향으로 움직이는 동일한 얼굴의 제2 얼굴 이미지에 대해 제2 모델의 바깥쪽 및 안쪽 얼굴 특징들에 대응하도록, 상기 얼굴의 이미지들을 취하는 것에 의해 상기 얼굴 모델의 바깥쪽 및 안쪽 얼굴 특징들을 초기화하는 단계;
    상기 제1 얼굴 이미지 및 상기 제2 얼굴 이미지 간의 상관관계에 의해 바깥쪽 및 안쪽 얼굴 특징들을 매칭시키는 단계;
    상기 제1 얼굴 이미지 및 상기 제2 얼굴 이미지 간의 얼굴 특징들의 더 정확한 상관관계를 위하여, 상기 제1 및 제2 모델에 대해 대응하는 에피폴라 제약조건(epipolar constraint)을 사용하여, 상기 제1 및 제2 모델의 매칭하는 바깥쪽 및 안쪽 얼굴 특징들 각각의 상기 복수의 포인트들을 조정하는 단계;
    상기 얼굴 모델의 상기 바깥쪽 및 안쪽 얼굴 특징들 각각과 매치하는 상기 제1 모델의 상기 바깥쪽 및 안쪽 얼굴 특징들 각각에 대해 상기 포인트들의 대다수가 미리 결정된 수렴 허용범위 이내에 상대 오프셋(relative offset)을 가질 때까지, 및
    상기 얼굴 모델의 상기 바깥쪽 및 안쪽 얼굴 특징들 각각과 매치하는 상기 제2 모델의 상기 바깥쪽 및 안쪽 얼굴 특징들 각각에 대해 상기 포인트들의 대다수가 상기 미리 결정된 수렴 허용범위 이내에 상대 오프셋을 가질 때까지
    상기 매칭 및 상기 조정 단계를 반복하는 단계;
    상기 미리 결정된 수렴 허용범위 이내에 상대 오프셋을 가지는 상기 제1 및 제2 모델을 출력하는 단계; 및
    얼굴 인식을 위하여 얼굴 특징들을 식별하는 단계
    를 포함하는 방법.
  15. 제14항에 있어서, 상기 제1 및 제2 모델 각각의 표현을 출력하는 단계를 더 포함하고, 상기 제1 및 제2 모델 각각은 상기 안쪽 및 바깥쪽 얼굴 특징들 각각을 포함하는 방법.
  16. 제14항에 있어서,
    상기 안쪽 얼굴 특징들은 코, 입, 및 한 쌍의 눈을 포함하고,
    상기 바깥쪽 얼굴 특징들은 상기 얼굴의 아치형 아래 테두리 및 한 쌍의 눈썹을 포함하는 방법.
  17. 제14항에 있어서, 상기 복수의 포인트들 및 대응하는 안쪽 얼굴 특징은,
    입에 대응하는 복수의 입 모서리들,
    눈에 대응하는 복수의 눈 모서리들, 및
    코에 대응하는 코 끝으로 구성된 그룹에서 선택된 방법.
  18. 제14항에 있어서, 상기 제1 및 제2 얼굴 이미지는 실질적으로 동일한 각각의 카메라 방향에서 포착된 동일한 얼굴인 방법.
  19. 제18항에 있어서, 상기 제1 및 제2 얼굴 이미지의 각각의 얼굴 포즈는,
    실질적으로 피치에 대해 동일하고,
    실질적으로 횡전에 대해 동일하고, 및
    약 3도에서 10도까지의 영역에서 편요각에 대해 다른 방법.
  20. 제14항에 있어서, 상기 제1 및 제2 얼굴 이미지는, 실질적으로 동일한 얼굴 포즈 영역이지만 상기 편요각에 의해 달라지는 동일한 얼굴의 실질적으로 동일한 각각의 카메라 방향에서 찍힌 사진인 방법.
  21. 제14항에 있어서, 상기 얼굴의 포즈 영역은 약 10도(10˚)내에서 달라지는 편요각에 의해 상기 제1 및 제2 얼굴 이미지에서 다른 방법.
  22. 제14항에 있어서,
    상기 제1 얼굴 이미지는 사람 얼굴의 전체 정면 사진이고, 및
    상기 제2 얼굴 이미지는 약 10도(10˚)내에서 편요각에 의해 상기 제1 얼굴 이미지와는 다른 방법.
  23. 제14항에 있어서, 상기 제1 및 제2 모델의 상기 바깥쪽 및 안쪽 얼굴 특징들에 각각 대응하는 상기 포인트들을 사용함으로써, 상기 제1 및 제2 얼굴 이미지 중 적어도 하나와 매치하는 사람의 얼굴을 데이터베이스에서 식별하는 단계를 더 포함하는 방법.
  24. 실행될 때, 제14항의 방법을 수행하는 명령어를 포함하는 컴퓨터 판독가능 기록매체.
  25. 얼굴 모델의 바깥쪽 및 안쪽 얼굴 특징들을 결정하는 단계;
    각각 복수의 포인트들을 포함하는 바깥쪽 및 안쪽 얼굴 특징들을 보유하는 얼굴 모델을 사용하여, 제1 및 제2 얼굴 이미지 각각에 대해 제1 및 제2 모델을 초기화하는 단계 - 제1 모델은 정면에서의 얼굴의 제1 이미지에 대한 것이고 제2 모델은 편요각 방향으로 움직이는 상기 얼굴의 제2 이미지에 대한 것임 - ;
    상기 제1 및 제2 모델에 대해 기본 매트릭스를 추정하는 단계;
    상기 포인트들 각각에 대해 각각의 로컬 텍스처를 사용함으로써, 상기 제1 및 제2 모델의 안쪽 얼굴 특징들 각각의 복수의 포인트들을 갱신하는 단계;
    상기 제1 및 제2 모델의 안쪽 얼굴 특징들 각각을 갱신하는 단계;
    상기 기본 매트릭스 및 대응하는 에피폴라 제약조건을 사용하여, 상기 제1 및 제2 모델의 상기 안쪽 얼굴 특징들 각각의 상기 복수의 포인트들을 갱신하는 단계;
    상기 제1 및 제2 모델의 상기 바깥쪽 얼굴 특징들 각각을 갱신하는 단계; - 상기 갱신은 상기 제1 얼굴 이미지 및 상기 제2 얼굴 이미지 간의 얼굴 특징들의 더 정확한 상관관계를 위한 것임 - ; 및
    얼굴 인식을 위하여 얼굴 특징들을 식별하는 단계
    를 포함하는 방법.
  26. 제25항에 있어서,
    상기 제1 모델이 상기 얼굴 모델의 미리 결정된 허용범위 내에서 수렴했을 경우, 상기 제1 모델의 상기 안쪽 및 바깥쪽 얼굴 특징들의 표현을 출력하고, 그렇지 않을 경우 상기 제1 모델에 대해 상기 네 개의 갱신단계를 반복하는 단계, 및
    상기 제2 모델이 상기 얼굴 모델의 미리 결정된 허용범위 내에서 수렴했을 경우, 상기 제2 모델의 상기 안쪽 및 바깥쪽 얼굴 특징들의 표현을 출력하고, 그렇지 않을 경우 상기 제2 모델에 대해 단계 상기 네 개의 갱신단계를 반복하는 단계
    를 더 포함하는 방법.
  27. 제25항에 있어서,
    상기 안쪽 얼굴 특징들은 코, 입, 및 한 쌍의 눈을 포함하고,
    상기 바깥쪽 얼굴 특징들은 상기 얼굴의 아치형 아래 테두리 및 한 쌍의 눈썹을 포함하는 방법.
  28. 제27항에 있어서,
    상기 안쪽 얼굴 특징인 상기 입에 대응하는 상기 복수의 포인트들은 복수의 입 모서리들을 포함하고,
    상기 안쪽 얼굴 특징인 각각의 눈에 대응하는 상기 복수의 포인트들은 복수의 눈 모서리들을 포함하고, 및
    상기 안쪽 얼굴 특징인 상기 코에 대응하는 상기 복수의 포인트들은 코 끝을 포함하는 방법.
  29. 제25항에 있어서, 상기 제1 및 제2 얼굴 이미지는 실질적으로 동일한 각각의 카메라 방향에서 포착된 동일한 얼굴인 방법.
  30. 제29항에 있어서, 상기 제1 및 제2 얼굴 이미지의 각각의 얼굴 포즈는,
    실질적으로 피치에 대해 동일하고,
    실질적으로 횡전에 대해 동일하고, 및
    약 3도에서 10도까지의 영역에서 편요각에 대해 다른 방법.
  31. 제25항에 있어서, 상기 제1 및 제2 얼굴 이미지는, 실질적으로 동일한 얼굴 포즈 영역이지만 상기 편요각에 의해 달라지는 동일한 얼굴의 실질적으로 동일한 각각의 카메라 방향에서 찍힌 사진인 방법.
  32. 제25항에 있어서, 상기 얼굴의 포즈 영역은 약 10도(10˚)내에서 달라지는 편요각에 의해 상기 제1 및 제2 얼굴 이미지에서 다른 방법.
  33. 제25항에 있어서,
    상기 제1 얼굴 이미지는 사람 얼굴의 전체 정면 사진이고, 및
    상기 제2 얼굴 이미지는 약 10도(10˚)내에서 편요각에 의해 상기 제1 얼굴 이미지와는 다른 방법.
  34. 제25항에 있어서, 상기 각 포인트에 대한 상기 로컬 텍스처는 상기 포인트의 또는 상기 포인트에 근접한 광도 측정 데이터(photometric data)를 포함하는 방법.
  35. 제25항에 있어서, 상기 제1 모델 및 상기 제2 모델의 상기 안쪽 및 바깥쪽 얼굴 특징들의 출력 표현 각각을 사용함으로써, 상기 제1 및 제2 얼굴 이미지 중 적어도 하나와 매치하는 사람의 얼굴을 데이터베이스에서 식별하는 단계를 더 포함하는 방법.
  36. 실행될 때, 제25항의 방법을 수행하는 명령어를 포함하는 컴퓨터 판독가능 기록매체.
  37. 메모리 - 상기 메모리는,
    하나 이상의 프로그램;
    각각이 복수의 포인트들로 표현되는 얼굴 모델의 바깥쪽 및 안쪽 특 징들;
    정면에서의 얼굴의 제1 얼굴 이미지; 및
    편요각 방향으로 움직이는 상기 얼굴의 제2 얼굴 이미지를 포함함 - ;
    상기 메모리 내의 상기 하나 이상의 프로그램을 실행하도록 구성된 하나 이상의 프로세서; 및
    얼굴 인식을 위한 상기 얼굴 특징들을 디스플레이하기 위한 모니터를 포함하며,
    상기 프로세서는,
    상기 얼굴 모델의 상기 바깥쪽 및 안쪽 얼굴 특징들의 상기 복수의 포인트들을
    제1 얼굴 이미지에 대해 제1 모델의 상기 바깥쪽 및 안쪽 얼굴 특징들, 및
    제2 얼굴 이미지에 대해 제2 모델의 상기 바깥쪽 및 안쪽 얼굴 특징들과 매칭시키는 단계;
    상기 제1 얼굴 이미지 및 상기 제2 얼굴 이미지 간의 얼굴 특징들의 더 정확한 상관관계를 위하여, 상기 제1 및 제2 모델에 대해 대응하는 상기 에피폴라 제약조건(epipolar constraint)을 사용하여, 상기 제1 및 제2 모델의 매칭하는 바깥쪽 및 안쪽 얼굴 특징들 각각의 상기 복수의 포인트들을 조정하는 단계; 및
    상기 얼굴 모델의 상기 바깥쪽 및 안쪽 얼굴 특징들 각각과 매치하는 상기 제1 모델의 상기 바깥쪽 및 안쪽 얼굴 특징들 각각에 대해 상기 포인트들의 대다수가 미리 결정된 수렴 허용범위 이내에 상대 오프셋을 가질 때까지, 및
    상기 얼굴 모델의 상기 바깥쪽 및 안쪽 얼굴 특징 각각과 매치하는 상기 제2 모델의 상기 바깥쪽 및 안쪽 얼굴 특징들 각각에 대해 상기 포인트들의 대다수가 상기 미리 결정된 수렴 허용범위 이내에 상대 오프셋을 가질 때까지
    상기 매칭 및 상기 조정 단계를 반복하는 단계를 포함하는 단계를 수행하는, 장치.
  38. 제37항에 있어서, 상기 단계는 상기 제1 및 제2 모델 각각의 표현을 출력하는 단계를 더 포함하고, 상기 제1 및 제2 모델 각각은 그것의 상기 안쪽 및 바깥쪽 얼굴 특징 각각을 포함하는 장치.
  39. 제37항에 있어서,
    상기 안쪽 얼굴 특징들은 코, 입, 및 한 쌍의 눈을 포함하고,
    상기 바깥쪽 얼굴 특징들은 상기 얼굴의 아치형 아래 테두리 및 한 쌍의 눈썹을 포함하는 장치.
  40. 제37항에 있어서, 상기 복수의 포인트들 및 대응하는 상기 안쪽 얼굴 특징은,
    입에 대응하는 복수의 입 모서리들,
    눈에 대응하는 복수의 눈 모서리들, 및
    코에 대응하는 코 끝으로 구성된 그룹에서 선택된 장치.
  41. 제37항에 있어서, 상기 제1 및 제2 얼굴 이미지는 실질적으로 동일한 각각의 카메라 방향에서 포착된 동일한 얼굴인 장치.
  42. 제41항에 있어서, 상기 제1 및 제2 얼굴 이미지의 각각의 얼굴 포즈는,
    실질적으로 피치에 대해 동일하고,
    실질적으로 횡전에 대해 동일하고, 및
    약 3도에서 10도까지의 영역에서 편요각에 대해 다른 장치.
  43. 제37항에 있어서, 상기 제1 및 제2 얼굴 이미지는, 실질적으로 동일한 얼굴 포즈 영역이지만 상기 편요각에 의해 달라지는 동일한 얼굴의 실질적으로 동일한 각각의 카메라 방향에서 찍힌 사진인 장치.
  44. 제37항에 있어서, 상기 얼굴의 포즈 영역은 약 10도(10˚)내에서 달라지는 편요각에 의해 상기 제1 및 제2 얼굴 이미지에서 다른 장치.
  45. 제37항에 있어서,
    상기 제1 얼굴 이미지는 사람 얼굴의 전체 정면 사진이고, 및
    상기 제2 얼굴 이미지는 약 10도(10˚)내에서 편요각에 의해 상기 제1 얼굴 이미지와는 다른 장치.
  46. 각각 복수의 포인트들을 포함하는 바깥쪽 및 안쪽 얼굴 특징을 보유하는 얼굴 모델을 사용하여, 제1 및 제2 얼굴 이미지 각각에 대해 제1 및 제2 모델을 초기화하는 수단 - 제1 모델은 정면에서의 얼굴의 제1 이미지에 대한 것이고 제2 모델은 편요각 방향으로 움직이는 상기 얼굴의 제2 이미지에 대한 것임 - ;
    상기 제1 얼굴 이미지 및 상기 제2 얼굴 이미지를 카메라로 생성하는 수단;
    상기 제1 및 제2 모델에 대해 기본 매트릭스를 추정하는 수단;
    상기 포인트들 각각에 대해 각각의 로컬 텍스처를 사용함으로써, 상기 제1 및 제2 모델의 상기 안쪽 및 바깥쪽 얼굴 특징들 각각에 대해 상기 복수의 포인트들을 갱신하는 수단;
    상기 제1 및 제2 모델의 상기 안쪽 얼굴 특징 각각을 갱신하는 수단;
    상기 기본 매트릭스 및 대응하는 에피폴라 제약조건을 사용하여, 상기 제1 및 제2 모델의 상기 안쪽 얼굴 특징들 각각의 상기 복수의 포인트들을 갱신하는 수단;
    상기 제1 및 제2 모델의 상기 안쪽 얼굴 특징 각각의 상기 복수의 포인트들을 사용함으로써, 상기 제1 및 제2 모델의 상기 바깥쪽 얼굴 특징 각각을 갱신하는 수단 - 상기 갱신은 상기 제1 얼굴 이미지 및 상기 제2 얼굴 이미지 간의 얼굴 특징들의 더 정확한 상관관계를 위한 것임 - ; 및
    얼굴 인식에 사용되는 모니터 상에 디스플레이하는 수단
    을 포함하는 장치.
  47. 제46항에 있어서,
    상기 얼굴 모델의 상기 바깥쪽 및 안쪽 얼굴 특징 각각과 매치하는 상기 제1 모델의 상기 바깥쪽 및 안쪽 얼굴 특징 각각에 대해 상기 포인트들의 대다수가 미리 결정된 수렴 허용범위 이내에 상대 오프셋을 가지는 경우, 상기 제1 모델의 상기 안쪽 및 바깥쪽 얼굴 특징들의 표현을 출력하는 수단, 및
    상기 얼굴 모델의 상기 바깥쪽 및 안쪽 얼굴 특징 각각과 매치하는 상기 제2 모델의 상기 바깥쪽 및 안쪽 얼굴 특징 각각에 대해 상기 포인트들의 대다수가 상기 미리 결정된 수렴 허용범위 이내에 상대 오프셋을 가지는 경우, 상기 제2 모델의 상기 안쪽 및 바깥쪽 얼굴 특징들의 표현을 출력하는 수단
    을 더 포함하는 장치.
  48. 제46항에 있어서,
    상기 안쪽 얼굴 특징들은 코, 입, 및 한 쌍의 눈을 포함하고,
    상기 바깥쪽 얼굴 특징들은 상기 얼굴의 아치형 아래 테두리 및 한 쌍의 눈썹을 포함하는 장치.
  49. 제48항에 있어서,
    상기 안쪽 얼굴 특징인 상기 입에 대응하는 상기 복수의 포인트들은 복수의 입 모서리들을 포함하고,
    상기 안쪽 얼굴 특징인 상기 각 눈에 대응하는 상기 복수의 포인트들은 복수 의 눈 모서리들을 포함하고, 및
    상기 안쪽 얼굴 특징인 상기 코에 대응하는 상기 복수의 포인트들은 코 끝을 포함하는 장치.
  50. 제46항에 있어서, 상기 제1 및 제2 얼굴 이미지는 실질적으로 동일한 각각의 카메라 방향에서 포착된 동일한 얼굴인 장치.
  51. 제46항에 있어서, 상기 제1 및 제2 얼굴 이미지의 각각의 얼굴 포즈는,
    실질적으로 피치에 대해 동일하고,
    실질적으로 횡전에 대해 동일하고, 및
    약 3도에서 10도까지의 영역에서 편요각에 대해 다른 장치.
  52. 제46항에 있어서, 상기 제1 및 제2 얼굴 이미지는, 실질적으로 동일한 얼굴 포즈 영역이지만 상기 편요각에 의해 달라지는 동일한 얼굴의 실질적으로 동일한 각각의 카메라 방향에서 찍힌 사진인 장치.
  53. 제46항에 있어서, 상기 얼굴의 포즈 영역은 약 10도(10˚)내에서 달라지는 편요각에 의해 상기 제1 및 제2 얼굴 이미지에서 다른 장치.
  54. 제46항에 있어서,
    상기 제1 얼굴 이미지는 사람 얼굴의 전체 정면 사진이고, 및
    상기 제2 얼굴 이미지는 약 10도(10˚)내에서 편요각에 의해 상기 제1 얼굴 이미지와는 다른 장치.
  55. 제46항에 있어서, 상기 각 포인트에 대한 상기 로컬 텍스처는 상기 포인트의 또는 상기 포인트에 근접한 광도 측정 데이터를 포함하는 장치.
KR1020040049380A 2003-06-30 2004-06-29 스테레오 결합 메커니즘을 사용하는 얼굴 특징 검출 방법,매체 및 장치 KR100874817B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/610,494 2003-06-30
US10/610,494 US7218760B2 (en) 2003-06-30 2003-06-30 Stereo-coupled face shape registration

Publications (2)

Publication Number Publication Date
KR20050002611A KR20050002611A (ko) 2005-01-07
KR100874817B1 true KR100874817B1 (ko) 2008-12-26

Family

ID=33452630

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040049380A KR100874817B1 (ko) 2003-06-30 2004-06-29 스테레오 결합 메커니즘을 사용하는 얼굴 특징 검출 방법,매체 및 장치

Country Status (7)

Country Link
US (1) US7218760B2 (ko)
EP (1) EP1496466B1 (ko)
JP (1) JP4466951B2 (ko)
KR (1) KR100874817B1 (ko)
CN (1) CN100530216C (ko)
AT (1) ATE377806T1 (ko)
DE (1) DE602004009863T2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160111376A (ko) * 2013-12-13 2016-09-26 삼성전자주식회사 얼굴의 키 포인트들에 대한 포지셔닝 방법 및 장치

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7421097B2 (en) * 2003-05-27 2008-09-02 Honeywell International Inc. Face identification verification using 3 dimensional modeling
US7236615B2 (en) * 2004-04-21 2007-06-26 Nec Laboratories America, Inc. Synergistic face detection and pose estimation with energy-based models
JP4459788B2 (ja) * 2004-11-16 2010-04-28 パナソニック株式会社 顔特徴照合装置、顔特徴照合方法、及びプログラム
KR101122513B1 (ko) * 2005-04-04 2012-03-15 (주)아이리스아이디 3차원 위치정보를 이용한 안구위치 추정시스템 및 안구위치추정방법
KR100810326B1 (ko) * 2006-10-10 2008-03-04 삼성전자주식회사 다해상도 3차원 모델 생성 방법
JP5003242B2 (ja) * 2007-03-28 2012-08-15 富士通株式会社 照合装置、照合方法および照合プログラム
US8860795B2 (en) * 2008-10-28 2014-10-14 Nec Corporation Masquerading detection system, masquerading detection method, and computer-readable storage medium
CN102035755B (zh) * 2010-10-15 2012-06-13 东莞宇龙通信科技有限公司 一种采用表情传输载体传输心情的方法、装置及聊天***
US8891876B2 (en) 2011-04-25 2014-11-18 Hewlett-Packard Development Company, L.P. Mouth corner candidates
US8903198B2 (en) * 2011-06-03 2014-12-02 International Business Machines Corporation Image ranking based on attribute correlation
US8983203B2 (en) * 2011-10-14 2015-03-17 Ulsee Inc. Face-tracking method with high accuracy
US9342735B2 (en) * 2011-12-01 2016-05-17 Finding Rover, Inc. Facial recognition lost pet identifying system
US8972310B2 (en) * 2012-03-12 2015-03-03 The Boeing Company Method for identifying structural deformation
JP5808282B2 (ja) * 2012-03-23 2015-11-10 三菱電機株式会社 映像信号記録再生装置及び監視方法
TWI510082B (zh) * 2012-06-06 2015-11-21 Etron Technology Inc 用於影像辨識之影像擷取方法及其系統
US9406135B2 (en) * 2012-10-29 2016-08-02 Samsung Electronics Co., Ltd. Device and method for estimating head pose
JP6528764B2 (ja) * 2014-03-28 2019-06-12 日本電気株式会社 顔照合装置、方法、及び、記録媒体
US9251427B1 (en) * 2014-08-12 2016-02-02 Microsoft Technology Licensing, Llc False face representation identification
US10326972B2 (en) 2014-12-31 2019-06-18 Samsung Electronics Co., Ltd. Three-dimensional image generation method and apparatus
JP6747443B2 (ja) * 2015-07-21 2020-08-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN106529409B (zh) * 2016-10-10 2019-08-09 中山大学 一种基于头部姿态的眼睛注视视角测定方法
CN108133221B (zh) * 2016-12-01 2022-06-07 佳能株式会社 对象形状检测装置和方法、图像处理装置及监视***
CN110763150B (zh) * 2018-07-26 2021-05-25 王东 一种面部轮廓测量方法
CN110728287A (zh) * 2019-10-10 2020-01-24 深圳铂石空间科技有限公司 图像识别方法及装置、电子设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020007744A (ko) * 2000-07-18 2002-01-29 최창석 미래 자녀 얼굴 모델링 방법과 미래 얼굴 모델링 방법
KR20020032048A (ko) * 2000-10-25 2002-05-03 이인동 얼굴 인식 보안방법
KR20020049504A (ko) * 2000-12-19 2002-06-26 호창성 2차원 얼굴 정면 이미지를 이용한 3차원 얼굴 모델 생성방법
KR20020057522A (ko) * 2001-01-05 2002-07-11 조양호 상관관계를 이용한 유사도 측정의 얼굴 인증 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994023390A1 (en) * 1993-03-29 1994-10-13 Matsushita Electric Industrial Co., Ltd. Apparatus for identifying person
US6301370B1 (en) * 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
KR100343223B1 (ko) * 1999-12-07 2002-07-10 윤종용 화자 위치 검출 장치 및 그 방법
US7020305B2 (en) 2000-12-06 2006-03-28 Microsoft Corporation System and method providing improved head motion estimations for animation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020007744A (ko) * 2000-07-18 2002-01-29 최창석 미래 자녀 얼굴 모델링 방법과 미래 얼굴 모델링 방법
KR20020032048A (ko) * 2000-10-25 2002-05-03 이인동 얼굴 인식 보안방법
KR20020049504A (ko) * 2000-12-19 2002-06-26 호창성 2차원 얼굴 정면 이미지를 이용한 3차원 얼굴 모델 생성방법
KR20020057522A (ko) * 2001-01-05 2002-07-11 조양호 상관관계를 이용한 유사도 측정의 얼굴 인증 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160111376A (ko) * 2013-12-13 2016-09-26 삼성전자주식회사 얼굴의 키 포인트들에 대한 포지셔닝 방법 및 장치
KR102068249B1 (ko) * 2013-12-13 2020-02-11 삼성전자주식회사 얼굴의 키 포인트들에 대한 포지셔닝 방법 및 장치

Also Published As

Publication number Publication date
CN100530216C (zh) 2009-08-19
JP2005025748A (ja) 2005-01-27
DE602004009863T2 (de) 2008-02-28
US7218760B2 (en) 2007-05-15
KR20050002611A (ko) 2005-01-07
EP1496466A2 (en) 2005-01-12
US20040264745A1 (en) 2004-12-30
EP1496466B1 (en) 2007-11-07
ATE377806T1 (de) 2007-11-15
DE602004009863D1 (de) 2007-12-20
EP1496466A3 (en) 2006-01-18
JP4466951B2 (ja) 2010-05-26
CN1577379A (zh) 2005-02-09

Similar Documents

Publication Publication Date Title
KR100874817B1 (ko) 스테레오 결합 메커니즘을 사용하는 얼굴 특징 검출 방법,매체 및 장치
Ploumpis et al. Combining 3d morphable models: A large scale face-and-head model
Dai et al. A 3d morphable model of craniofacial shape and texture variation
Bhagavatula et al. Faster than real-time facial alignment: A 3d spatial transformer network approach in unconstrained poses
Patel et al. 3d morphable face models revisited
Zhu et al. Discriminative 3D morphable model fitting
KR101304374B1 (ko) 객체 특징을 위치결정하는 방법
Dornaika et al. On appearance based face and facial action tracking
CN113012212A (zh) 一种基于深度信息融合的室内场景三维点云重建方法和***
Bas et al. What does 2D geometric information really tell us about 3D face shape?
US9202138B2 (en) Adjusting a contour by a shape model
ter Haar et al. Expression modeling for expression-invariant face recognition
US20140098988A1 (en) Fitting Contours to Features
Ye et al. 3d morphable face model for face animation
Zhu et al. Robust 3d morphable model fitting by sparse sift flow
Teijeiro-Mosquera et al. Performance of active appearance model-based pose-robust face recognition
Martins et al. Monocular head pose estimation
Paterson et al. 3D head tracking using non-linear optimization.
Amberg Editing faces in videos
Gökberk et al. 3D face recognition
Seeger et al. Feature extraction and registration: An overview
Jiménez et al. Face pose estimation and tracking using automatic 3D model construction
Dai et al. Symmetry-factored statistical modelling of craniofacial shape
Martins et al. Single view head pose estimation
Du et al. Robust non-rigid point set registration via building tree dynamically

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121119

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131115

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141117

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20171117

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20181115

Year of fee payment: 11