KR20050085583A - 표정 불변 얼굴 인식 - Google Patents

표정 불변 얼굴 인식 Download PDF

Info

Publication number
KR20050085583A
KR20050085583A KR1020057010692A KR20057010692A KR20050085583A KR 20050085583 A KR20050085583 A KR 20050085583A KR 1020057010692 A KR1020057010692 A KR 1020057010692A KR 20057010692 A KR20057010692 A KR 20057010692A KR 20050085583 A KR20050085583 A KR 20050085583A
Authority
KR
South Korea
Prior art keywords
image
facial
feature
captured
stored
Prior art date
Application number
KR1020057010692A
Other languages
English (en)
Inventor
바산스 필로민
스리니바스 구타
트라코빅 미로슬라브
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20050085583A publication Critical patent/KR20050085583A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 캡쳐된 이미지의 얼굴에 있는 표정이 저장된 이미지의 얼굴에 있는 표정과 다른 경우 향상된 정밀도를 갖는 식별 및/또는 검증 시스템에 관한 것이다. 한 사람에 대한 하나 이상의 이미지가 캡쳐된다. 이 캡쳐된 이미지의 표정 얼굴 특징이 검색된다. 본 시스템은 이 표정 얼굴 특징과 저장된 이미지의 표정 얼굴 특정을 비교한다. 만일 일치하는 것이 없으면, 캡쳐된 이미지 내에 일치하지 않는 표정 얼굴 특징의 위치가 저장된다. 이들 위치는 캡쳐된 이미지와 저장된 이미지를 전체적으로 비교한 후 제거된다. 전체 이미지를 후속적으로 비교한 후 이들 위치를 제거하면, 캡쳐된 이미지와, 일치하는 저장된 이미지의 얼굴 표정의 차이로부터 생기는 잘못된 거부를 줄일 수 있다.

Description

표정 불변 얼굴 인식{EXPRESSION INVARIANT FACE RECOGNITION}
본 발명은 일반적으로 얼굴 인식 기술에 관한 것이며, 보다 상세하게는 캡쳐된 이미지 내에 있는 사람의 표정이 저장된 이미지와 다른 경우에도 그 사람의 이미지를 인식할 수 있는 개선된 얼굴 인식 기술에 관한 것이다.
얼굴 인식 시스템은, 보안 시설에 대한 입장 권한을 얻으며, 홈 네트워크 환경에서와 같이 개별적인 서비스를 제공하기 위해 사람을 인식하며, 공공 시설에서 원하는 개인을 검색하는 것과 같이 많은 여러 응용을 위해, 개개인을 식별 및 검증하는데 사용된다. 임의의 얼굴 인식 시스템을 설계하는데 있어 궁극적인 목적은 최상의 분류(예측) 성능을 얻는 것이다. 얼굴 인식 시스템을 사용하는데 따라 그 비교 결과가 높은 정밀도를 가지는 것을 보장하는 것이 다소 중요할 수 있다. 높은 수준의 보안 응용에서 원하는 개개인을 식별하기 위해, 캡쳐된 이미지 대 저장된 이미지 사이의 사소한 차이에도 상관없이 그 개개인을 식별할 수 있는 것이 매우 중요하다.
일반적으로 얼굴 인식 과정은, 한 사람에 대해 하나의 이미지 또는 복수의 이미지를 캡쳐하고, 이 이미지(들)를 처리한 후, 이 처리된 이미지를 저장된 이미지와 비교하는 것을 요구한다. 만일 저장된 이미지와 캡쳐된 이미지 사이에 긍정적인 일치점이 있는 경우, 그 개인의 식원이 발혀지거나 검증될 수 있다. 이제부터, "일치(match)"라는 용어는 반드시 정확히 일치한다는 것을 의미하는 것이 아니라 저장된 이미지에 있는 사람이 캡쳐된 이미지 내 사람이나 대상과 동일할 신경을 의미한다. U.S. 특허 번호 6,292,575는 이러한 시스템을 기술하며 이는 본 명세서에 참조문헌으로 병합되어 있다.
이 저장된 이미지는, 일반적으로, 일정 종류의 분류기(classifier)에 이미지를 통과시킴으로써 얼굴 모델 형태로 저장되며, 이들 분류기 중 하나는, 수 개의 이미지가 신경 네트워크(Neural Network)에 통과된 후 얼굴 대상(예를 들어, 눈, 코, 입)이 분류되는 US 특허 출원 번호 09/794,443에 기술되어 있으며, 이 문헌은 본 명세서에 참조문헌으로 병합되어 있다. 위 문헌에서는 얼굴 모델 이미지가 생성된 후 캡쳐 이미지의 얼굴 모델과 후속적으로 비교하기 위하여 저장된다.
많은 시스템은, 캡쳐된 이미지 내 개인의 얼굴의 정열이 저장된 이미지와의 비교 정밀도를 보장하기 위하여 어느 정도 제어될 것을 요구한다. 나아가, 많은 시스템은, 그 조명 상태가 저장된 이미지의 조명 상태와 유사할 것을 보장하기 위해 캡쳐된 이미지의 조명 상태를 제어한다. 일단 사람이 적절히 위치되면, 카메라는 그 사람의 화상을 한장 또는 여러 장 촬영하여 얼굴 모델을 생성하며 이후 저장된 얼굴 모델과 비교한다.
이들 시스템에 따른 문제는 캡쳐된 이미지 내의 사람 얼굴의 표정이 저장된 이미지에 있는 것과 달라질 수 있다는 것이다. 한 사람이 저장된 이미지 내에서는 웃는 표정일 수 있으나, 캡쳐된 이미지에서는 그렇지 않을 수 있으며, 또는 한 사람이 저장된 이미지에서는 안경을 쓰고 있을 수 있는데 반해 캡쳐된 이미지에서는 콘택트 렌즈를 하고 있을 수 있다. 이것은 캡쳐된 이미지와 저장된 이미지의 일치 정밀도를 저하시키며 그 사람을 인식하지 못할 수도 있게 한다.
도 1은 여러 얼굴 표정을 갖는 한 사람의 이미지를 보여주는 도면.
도 2a는 얼굴 특징 검색기를 보여주는 도면.
도 2b는 표정 얼굴 특징의 위치를 갖는 얼굴 이미지를 보여주는 도면.
도 3은 본 발명의 바람직한 실시예를 도시하는 도면.
도 4는 본 발명의 바람직한 실시예의 흐름도.
도 5는 표정 특징을 비교한 것을 개략적으로 도시한 도면.
도 6은 본 발명에 따른 홈 네트워킹 얼굴 식별 시스템을 보여주는 도면.
따라서, 본 발명의 목적은 캡쳐된 이미지의 얼굴에 있는 표정 특징이 저장된 이미지의 얼굴에 있는 표정 특징과 다른 경우에도 향상된 정밀도를 갖는 식별 및/또는 검증 시스템을 제공하는 것이다.
본 발명의 바람직한 실시예에 따른 시스템은 한 사람의 하나의 이미지나 복수의 이미지를 캡쳐한다. 이 시스템은 캡쳐된 이미지의 표정 얼굴 특징을 검색하며 이 표정 얼굴 특징과 저장된 이미지의 표정 얼굴 특징을 비교한다. 만일 일치하는 것이 없는 경우, 캡쳐된 이미지 내 일치하지 않는 표정 얼굴 특징의 좌표가 표시되고(marked) 및/또는 저장된다. 이들 좌표 내 픽셀은 캡쳐된 이미지와 저장된 이미지 사이를 전체적으로 비교한 후 제거된다. 전체 이미지를 후속적으로 비교한 후 이들 픽셀을 제거하면 캡쳐된 이미지의 얼굴 표정과, 일치하는 저장된 이미지 사이의 차로부터 생기는 잘못된 거부를 줄일 수 있다.
본 발명의 다른 목적과 잇점은 본 명세서와 청구범위를 고려하여 명백하게 될 것이다.
이제 본 발명을 더 잘 이해하기 위해 첨부 도면을 참조하여 설명된다.
도 1은 변화하는 얼굴 표정을 갖는 한 사람의 6개의 이미지의 시퀀스를 예시적으로 도시한다. 이미지 (a)는 저장된 이미지이다. 이 얼굴은 거의 얼굴 표정을 갖지 않으며 화상 내에 중심이 잡혀 있다. 이미지 (b) 내지 (f)는 캡쳐된 이미지이다. 이들 이미지는 변화하는 얼굴 표정을 가지며 일부는 화상 내에 중심이 잡혀있지 않다. 만일 이미지(b-f)가 저장된 이미지(a)와 비교되는 경우, 서로 다른 얼굴 표정으로 인해 긍정적인 식별은 찾을 수 없을 것이다.
도 2a는 이미지 캡쳐 디바이스와 얼굴 특징 검색기를 도시한다. 비디오 그래버(video grabber)(20)는 이미지(들)를 캡쳐한다(capture). 이 비디오 그래버(20)는 이미지를 전기 이미지로 변환시키는 임의의 광(가시 광이나 적외선) 센싱 디바이스를 포함할 수 있다. 그러한 디바이스는, 비디오 카메라, 흑백 카메라, 컬러 카메라 또는 적외선 디바이스와 같은 스펙트럼의 비-가시광 부분에 민감한 카메라를 포함한다. 이 비디오 그래버는 또한 여러 가지 다른 타입의 비디오 카메라나 이미지를 캡쳐하기 위한 임의의 적절한 메커니즘으로 실현될 수 있다. 이 비디오 그래버는 여러 가지 이미지를 저장하는 저장 디바이스에 대한 인터페이스가 될 수도 있다. 이 비디오 그래버의 출력은, 예를 들어, RGB, YUV, HIS 또는 그레이 스케일 형태일 수 있다.
이 비디오 그래버(20)를 통해 획득된 이미지는 일반적으로 얼굴 이외의 부분을 포함한다. 이미지 내에서 이 얼굴을 검색하기 위해, 제 1 및 맨 처음 단계는 얼굴을 검색하는 것이다. 얼굴 검색은, 여러 가지 방법, 예를 들어, 전체 얼굴이 한번에 검출되는 전체(holistic)에 기초한 방법이나 또는 개별적인 얼굴 특징이 검출되는 특징(feature)에 기초한 방법으로 수행될 수 있다. 본 발명은 이 얼굴의 표정 부분을 검색하는 것에 관한 것이므로, 특징에 기초한 접근법이 눈 사이의 미간 거리(interloccular distance)를 검출하는데 사용된다. 특징에 기초한 얼굴 검출 접근법의 일례는, 본 명세서에 참조문헌으로 병합된, "Detection and Tracking of Faces and Facial Features, by Antonio Colmenarez, Brendan Frey and Thomas Huang" (International Conference on Image Processing, Kobe, Japan, 1999)에 기술되어 있다. 카메라를 마주보는 대신에, 자신의 이미지가 획득되고 있는 사람이 이미지 디바이스를 직접 보지 않을 수 있기 때문에 얼굴이 회전되어 있을 수 있는 것은 흔히 있는 일이다. 일단 얼굴이 재배열되어 있다면, 이 얼굴은 사이즈 조정될 수 있다. 얼굴 검출기/정규화기(21)는 얼굴 이미지를 미리 설정된 NxN 픽셀 어레이 사이즈로 정규화하며, 바람직한 실시예에서, 이 사이즈는 64x72 픽셀이며, 그래서 이미지 내 얼굴은 다른 저장된 이미지와 거의 동일한 사이즈가 된다. 이것은 검출된 얼굴의 미간 거리와 저장된 얼굴의 미간 거리를 비교함으로써 수행된다. 검출된 얼굴은 이 비교 결과가 나타내는 바에 따라 더 크게 되거나 더 작게 된다. 이 검출기/정규화기(21)는 이 기술 분야에 숙련된 자에게 알려져 있는 종래의 공정을 사용하여 세기 값(intensity value)의 NxN 어레이를 갖는 2차원 이미지로 각 검출된 얼굴 이미지를 특징화할 수 있다.
캡쳐된 정규화된 이미지(22)는 얼굴 모델 생성기(22)에 송신된다. 이 얼굴 모델 생성기(22)는 검출된 정규화된 얼굴을 촬영하며 개개인의 얼굴을 식별하기 위해 얼굴 모델을 생성한다. 얼굴 모델은 반경에 기초한 함수(RBG : Radial Basis Function) 네트워크를 사용하여 생성된다. 각 얼굴 모델은 검출된 얼굴 이미지와 동일한 사이즈이다. 반경에 기초한 함수 네트워크는 분류기 디바이스의 일종이며, 이것은 2001년 2월 27일에 출원된 "Classification of Objects through Model Ensembles"이라는 명칭의 공동 소유의 공동 계류중인 미국 특허 출원 번호 09/794,443에 기술되어 있으며, 이 문헌의 전체 내용과 개시 부분은 완전히 본 명세서에 진술되어 있는 것처럼 본 명세서에 참조문헌으로 병합되어 있다. 베이지안 네트워크(Bayesian Network), 최대 가능성의 거리 메트릭(ML)(Maximum Likelihood Distance Metric) 또는 반경에 기초한 함수 네트워크와 같이 거의 임의의 분류기가 얼굴 모델을 생성하는데 사용될 수 있다.
얼굴 특징 검색기(23)는, 도 2b에 도시된 바와 같이, 각 눈썹의 시점과 종점, 눈의 시점과 종점, 코 끝, 입의 시점과 종점, 및 추가적인 특징과 같은 얼굴 특징을 검색한다. 이 얼굴 특징은 손으로 이 특징을 선택하거나 또는 논문 " Detection and Tracking of Faces and Facial Features" (Antonio Colmenarez 및 Tomas Huang)에 기술되어 있는 바와 같은 ML 거리 메트릭을 사용하는 것에 의해 검색된다. 다른 특징 검출 방법은 광 흐름 방법(optical flow method)을 포함한다. 이 시스템에 따라, 반드시 모든 얼굴 특징을 검색하는 것이 필요한 것은 아니며 단지 사람 얼굴 표정이 변할 때 가장 변화하기 쉬울 것 같은 표정 얼굴 특징만을 검색하는 것도 가능하다. 이 얼굴 특징 검색기는 캡쳐된 이미지 내 얼굴 특징의 위치를 저장한다. (이 저장된 이미지는 또한 얼굴 모델 형태이며 특징 검출이 수행된 것이라는 것을 주의하여야 한다.)
얼굴 특징이 발견된 후, 얼굴 식별 및/또는 검증이 수행된다. 도 3은 본 발명의 바람직한 실시예에 따라 얼굴 식별/검증 시스템의 블록도를 도시한다. 도 3에 도시된 시스템은 제 1 및 제 2 스테이지를 포함한다. 제 1 스테이지는 도 2a에 도시된 바와 같으며 캡쳐 디바이스/얼굴 특징 검색기이다. 이 스테이지는, 사람의 이미지를 캡쳐하는 비디오 그래버(20)와, 이 이미지를 정규화하는 얼굴 검출기/정규화기(21)와, 얼굴 모델 생성기(22)와, 얼굴 특징 검색기(23)를 포함한다. 제 2 스테이지는 캡쳐된 이미지와 저장된 이미지를 비교하는 비교 스테이지이다. 이 스테이지는, 특징 차 검출기(24)와, 일치하지 않는 특징의 좌표를 저장하는 저장 디바이스(25)와, 일치하지 않는 표정 특징을 뺀 전체 이미지와 저장된 이미지를 비교하는 최종 비교 스테이지(26)를 포함한다.
이 특징 차 검출기(24)는 캡쳐된 이미지의 표정 특징과 저장된 얼굴 모델의 유사한 얼굴 특징을 비교한다. 일단 얼굴 특징 검색기가 각 특징에 대한 좌표를 검색하고 나면, 특징 차 검색기(24)는 캡쳐된 이미지의 얼굴 특징이 저장된 이미지의 유사한 얼굴 특징과 얼마나 다른지를 결정한다. 이것은 캡쳐된 이미지 내의 표정 특징의 픽셀과 저장된 이미지의 동일한 표정 특징의 픽셀을 비교함으로써 수행된다.
픽셀 사이의 실제 비교는 유클리드 거리(Euclidean distance)를 사용하여 수행된다. 2개의 픽셀, 즉 p1=[R1 G1 B1]과 p2=[R2 G2 B2]에 대해, 이 거리는 다음 식으로 연산된다:
.
d가 작으면 작을수록, 2개의 픽셀 사이의 일치는 더 가까워진다. 이것은 픽셀이 RGB 포맷으로 되어 있는 것을 가정한 것이다. 이 기술 분야에 숙련된 자라면, 이와 동일한 타입의 비교를 또한 다른 픽셀 포맷(예를 들어, YUV)에도 적용할 수 있을 것이다.
비교기(26)에 의해 전체 비교를 수행한 후 일치하지 않는 특징만이 제거된다는 것을 주의하여야 한다. 만일 특정 특징이 저장된 이미지 내의 유사한 특징과 일치한다면, 이는 표정 특징으로 고려되지 않으며 이 비교에서 유지된다. 일치한다는 것은 특정 허용 한계 내에 있다는 것을 의미할 수 있다.
예를 들어, 캡쳐된 이미지의 좌측 눈이 저장된 이미지의 좌측 눈 모두와 비교된다(도 5). 이 비교는 NxN 캡쳐된 이미지 내의 눈의 픽셀의 세기 값을 NxN 저장된 이미지의 눈의 픽셀의 세기 값과 비교함으로써 수행된다. 만일 캡쳐된 이미지의 표정 얼굴 특징과 저장된 이미지 내의 대응하는 표정 특징 사이에 일치하는 것이 없으면, 캡쳐된 이미지의 표정 얼굴의 좌표는 25에서 저장된다. 캡쳐된 이미지의 표정 얼굴 특징과 저장된 이미지의 대응하는 표정 얼굴 특징 사이에 일치하는 것이 없다는 사실은, 캡쳐된 이미지가 저장된 이미지와 일치하는 것이 없다는 것을 의미하거나 또는 이것은 캡쳐된 이미지 내의 눈은 감고 있는 반면, 일치하는 저장된 이미지 내의 눈은 뜨고 있는 것을 단순히 의미할 수 있다. 따라서, 이들 표정 특징은 전체 이미지를 비교하는데 사용될 필요가 없다.
다른 표정 얼굴 특징이 또한 비교되며, 저장된 이미지 내에서 대응하는 표정 얼굴 특징과 일치하지 않는 표정 특징의 좌표가 25에서 저장된다. 비교기(26)는, 캡쳐된 이미지를 취하여, 일치하지 않는 표정 얼굴 특징의 저장된 좌표 내에 있는 픽셀을 빼고, 캡쳐된 이미지의 비-표정 특징과 저장된 이미지의 비-표정 특징만을 비교하여, 일치 가능성을 결정하며, 또한 일치하는 캡쳐 이미지의 표정 얼굴 특징과 저장된 이미지의 표정 특징을 비교한다.
도 4는 본 발명의 바람직한 실시예에 따른 흐름도를 도시한다. 이 흐름도는 캡쳐된 이미지와 저장된 이미지 사이에 수행되는 전반적인 비교 과정을 설명한다. 단계 S100에서, 얼굴 모델이 캡쳐된 이미지로부터 생성되며, 표정 특징의 위치가 검색된다. 이 표정 특징은, 예를 들어, 눈, 눈썹, 코 및 입이다. 이들 표정 특징 중 일부 또는 모두가 식별될 수 있다. 이 표정 특징의 좌표는 이때 식별된다. S110에서 90으로 도시된 바와 같이, 캡쳐된 이미지의 좌측 눈의 좌표가 발견된다. 이들 좌표는 본 명세서에서 CLE1-4라고 표시된다. 이와 유사한 좌표가 우측 눈에 대해 CRE1-4로 표시되며 입에 대해서는 CM1-4로 표시된다. S120에서, 이 캡쳐된 이미지의 얼굴 특징은 저장된 이미지와 비교하기 위해 선택된다. 좌측 눈이 선택되었다고 가정해보자. 이 좌측 눈(CLE1-4)의 좌표 내의 픽셀은 S120에서 저장된 이미지의 좌측 눈의 좌표(SnLE1-4) 내의 대응하는 픽셀과 비교된다. (도 5 참조). S130에서, 캡쳐된 이미지의 좌측 눈의 좌표 내의 픽셀이 저장된 이미지의 좌측 눈의 좌표 중 어느 하나 내의 픽셀과 일치하지 않는 경우, 캡쳐된 이미지의 좌측 눈의 좌표(CLE1-4)는 S140에서 저장되며 그 다음 표정 얼굴 특징이 S120에서 선택된다. 만일 캡쳐된 이미지의 좌측 눈의 좌표 내의 픽셀이 S130에서 저장된 이미지 중 하나의 좌측 눈의 좌표 내의 픽셀과 일치하는 경우, 이 좌표는 "표정" 특징 좌표로 저장되지 않고, 다른 표정 얼굴 특징이 S120에서 선택된다. 일치한다(match)는 용어는 높은 일치 가능성, 근접한 일치 또는 정확한 일치를 의미한다는 것을 주의하여야 할 것이다.
일단 모든 표정 얼굴 특징이 비교되고 나면, 캡쳐된 이미지(CNxN)의 NxN 픽셀 어레이는 저장된 이미지의 NxN 어레이(S1NxN...SnNxN)와 비교된다. 그러나, 이 비교는 캡쳐된 이미지의 저장된 좌표 중 어느 하나 내에 있는 픽셀을 배제한 후 수행된다(S150). 예를 들어, 캡쳐된 이미지 내의 사람은 자기의 좌측 눈을 윙크하고 있으나, 저장된 이미지 내에 있는 그 사람은 윙크하고 있지 않는 경우, 이 비교는 아마 다음과 같이 된다:
((CNxN)-CLE1-4)가 ((S1NxN)-S1LE1-4)...(SnNxN)-SnLE1-4))와 비교된다.
이 비교에 의해 저장된 이미지와 일치할 가능성이 생성된다(S160). 일치하지 않는 표정 특징(좌측 눈의 윙크 표정)을 제거함으로써, 뜨고 있는 눈/감고 있는 눈과 연관된 차이는 이 비교 부분에 존재하지 않으며 그리하여 부정적인 거부를 줄일 수 있다.
이 기술 분야에 숙련된 자라면, 본 발명의 얼굴 검출 시스템은 보안 시스템 영역에 및 유저가 홈 선호도를 설정하기 위하여 식별되어야 하는 홈 네트워킹 시스템 영역에 특정 효용을 가지고 있다는 것을 알 수 있을 것이다. 이 경우 집에 있는 여러 사람의 이미지가 저장된다. 유저가 방에서 걸어가면서 이미지가 촬영되며 이 룸 내 개개인의 식별을 결정하기 위해 저장된 이미지와 바로 비교된다. 이 사람이 정상적인 일상적 활동으로 돌아다니는 것이기 때문에, 사람들이 특정 환경에 들어갈 때 사람들에 대한 얼굴 표정이 저장된 이미지 내에 있는 자기의 얼굴 특징과 많이 달라질 수 있다는 것을 쉽게 이해할 수 있을 것이다. 이와 유사하게, 공항과 같은 보안 응용에서, 자기가 체크하고 있는 사람의 이미지는 저장된 데이터베이스 내 자기의 이미지와는 다를 수 있다. 도 6은 본 발명에 따른 홈 네트워킹 시스템을 도시한다.
여기서 이미지 디바이스는 디지털 카메라(60)이며, 이 디바이스는 거실과 같은 방 내에 위치한다. 사람(61)이 소파/의자에 앉아 있을 때, 디지털 카메라는 이미지를 캡쳐한다. 이 이미지는 퍼스널 컴퓨터(62) 상의 데이터베이스에 저장된 이미지와 본 발명을 사용하여 비교된다. 일단 식별이 이루어지면, 텔레비전(63) 상의 채널이 이 사람이 좋아하는 채널로 변경되며 컴퓨터(62)는 이 사람의 디폴트 웹 페이지로 설정된다.
전술된 바는 본 발명의 바람직한 실시예인 것으로 도시되고 기술되었지만, 본 발명의 사상을 벗어남이 없이 형태 또는 세부 사항에 있어 여러 가지 변형과 변경이 용이하게 이루어질 수 있다는 것은 물론이다. 그러므로, 본 발명은 기술되고 예시된 정확한 형태만으로 제한되는 것이 아니며 첨부된 청구항의 범위 내에 있을 수 있는 모든 가능한 변형을 포함하는 것으로 구성되어야 하는 것으로 의도된다.
전술된 바와 같이, 본 발명은 캡쳐된 이미지와 저장된 이미지를 비교하여 개개인을 식별하는데 이용가능하다.

Claims (23)

  1. 캡쳐된 이미지와 저장된 이미지를 비교하는 방법으로서,
    표정 특징을 갖는 얼굴 이미지를 캡쳐(20)하는 단계와,
    상기 캡쳐된 얼굴 이미지의 표정 특징을 검색(23)하는 단계와,
    상기 캡쳐된 얼굴 이미지의 표정 특징과 상기 저장된 이미지의 유사한 표정 특징을 비교하고, 만일 상기 저장된 이미지 중에 유사한 표정 특징과 전혀 일치하는 것이 없는 경우, 상기 표정 특징을 표시된 표정 특징으로서 표시(25)하는 단계와,
    1) 상기 표시된 표정 특징을 뺀 캡쳐된 이미지와, 2) 상기 표시된 표정 특징에 대응하는 유사한 표정 특징을 뺀 저장된 이미지를 비교(26)하는 단계
    를 포함하는, 캡쳐된 이미지와 저장된 이미지를 비교하는 방법.
  2. 제 1 항에 있어서, 상기 캡쳐된 이미지는 얼굴 모델의 형태이며 상기 저장된 이미지는 얼굴 모델(22)의 형태인, 캡쳐된 이미지와 저장된 이미지를 비교하는 방법.
  3. 제 1 항에 있어서, 상기 표정 특징의 검색(23)은 광 흐름 기술(optic flow technique)을 사용하여 찾아지는, 캡쳐된 이미지와 저장된 이미지를 비교하는 방법.
  4. 제 2 항에 있어서, 상기 얼굴 모델(22)은 분류기를 사용하여 생성하는, 캡쳐된 이미지와 저장된 이미지를 비교하는 방법.
  5. 제 4 항에 있어서, 상기 분류기는 신경 네트워크(Neural Network)인, 캡쳐된 이미지와 저장된 이미지를 비교하는 방법.
  6. 제 4 항에 있어서, 상기 분류기는 최대 가능성의 거리 메트릭(Maximum-Likelihood distance metric)인, 캡쳐된 이미지와 저장된 이미지를 비교하는 방법.
  7. 제 4 항에 있어서, 상기 분류기는 베이지안 네트워크(Bayesian Network)인, 캡쳐된 이미지와 저장된 이미지를 비교하는 방법.
  8. 제 4 항에 있어서, 상기 분류기는 반경에 기초한 함수(radial basis function)인, 캡쳐된 이미지와 저장된 이미지를 비교하는 방법.
  9. 제 1 항에 있어서, 상기 비교하는 단계는, 상기 캡쳐된 이미지의 표정 특징 내에 있는 픽셀과, 상기 저장된 이미지의 표정 특징 내에 있는 유사한 픽셀을 비교하는, 캡쳐된 이미지와 저장된 이미지를 비교하는 방법.
  10. 제 1 항에 있어서, 상기 표시하는 단계는 상기 캡쳐된 이미지의 일치하지 않는 표정 특징의 좌표를 저장(25)하는, 캡쳐된 이미지와 저장된 이미지를 비교하는 방법.
  11. 캡쳐된 이미지 내의 픽셀과 저장된 이미지 내의 픽셀을 비교하는 장치에 있어서,
    표정 특징을 갖는 얼굴 이미지를 캡쳐하는 캡쳐링 디바이스(20)와,
    상기 캡쳐된 얼굴 이미지의 표정 특징을 검색하는 얼굴 특징 검색기(23)와,
    상기 캡쳐된 얼굴 이미지의 표정 특징과 상기 저장된 이미지의 유사한 표정 특징을 비교하는 비교기(24)로서, 만일 상기 저장된 이미지 중에 있는 표정 특징과 일치하는 것이 전혀 없으면, 상기 캡쳐된 이미지의 표정 특징을 표시된 표정 특징으로 표시(25)하는, 비교기(24)
    를 포함하며,
    상기 비교기는, 1) 상기 표시된 얼굴 특징을 뺀 캡쳐된 이미지와, 2) 상기 표시된 표정 특징에 대응하는 유사한 표정 특징을 뺀 저장된 이미지를 또한 비교(26)하는,
    캡쳐된 이미지 내의 픽셀과 저장된 이미지 내의 픽셀을 비교하는 장치.
  12. 제 11 항에 있어서, 상기 캡쳐된 이미지는 얼굴 모델 형태이며 상기 저장된 이미지는 얼굴 모델(23) 형태인, 캡쳐된 이미지 내의 픽셀과 저장된 이미지 내의 픽셀을 비교하는 장치.
  13. 제 11 항에 있어서, 상기 얼굴 특징 검색기(23)는 최대 가능성의 거리 메트릭인, 캡쳐된 이미지 내의 픽셀과 저장된 이미지 내의 픽셀을 비교하는 장치.
  14. 제 11 항에 있어서, 상기 캡쳐링 디바이스는 비디오 그래버(video grabber) (20)인, 캡쳐된 이미지 내의 픽셀과 저장된 이미지 내의 픽셀을 비교하는 장치.
  15. 제 11 항에 있어서, 상기 캡쳐링 디바이스는 저장 매체(20)인, 캡쳐된 이미지 내의 픽셀과 저장된 이미지 내의 픽셀을 비교하는 장치.
  16. 제 11 항에 있어서, 상기 비교기(24)는, 상기 캡쳐된 이미지의 표정 특징 내의 픽셀과 상기 저장된 이미지의 표정 특징 내의 유사한 픽셀을 비교하는, 캡쳐된 이미지 내의 픽셀과 저장된 이미지 내의 픽셀을 비교하는 장치.
  17. 제 11 항에 있어서, 상기 캡쳐된 이미지의 일치하지 않는 표정 특징의 좌표를 저장함으로써 상기 표정 특징을 표시하는 저장 디바이스(25)를 더 포함하는, 캡쳐된 이미지 내의 픽셀과 저장된 이미지 내의 픽셀을 비교하는 장치.
  18. 캡쳐된 이미지 내의 픽셀과 저장된 이미지 내의 픽셀을 비교하는 장치에 있어서,
    표정 특징을 갖는 얼굴 이미지를 캡쳐하는 캡쳐링 수단(20)과,
    상기 캡쳐된 얼굴 이미지의 표정 특징을 검색하는 얼굴 특징 검색 수단(23)과,
    상기 캡쳐된 얼굴 이미지의 표정 특징 내의 픽셀과 상기 저장된 이미지의 표정 특징 내의 픽셀을 비교하는 비교 수단(24)으로서, 만일 상기 저장된 이미지 중에 있는 표정 특징과 일치하는 것이 전혀 없는 경우, 상기 캡쳐된 이미지의 표정 특징의 위치를 메모리에 저장하는, 비교 수단(24)
    을 포함하며,
    상기 비교 수단은, 1) 상기 일치하지 않는 표정 특징의 위치 내의 픽셀을 뺀 캡쳐된 이미지 내의 픽셀과, 2) 상기 일치하지 않는 표정 특징의 위치 내의 픽셀을 뺀 저장된 이미지 내의 픽셀을 또한 비교(25)하는,
    캡쳐된 이미지 내의 픽셀과 저장된 이미지 내의 픽셀을 비교하는 장치.
  19. 제 18 항에 있어서, 상기 이미지는 얼굴 모델(23)로서 저장되는, 캡쳐된 이미지 내의 픽셀과 저장된 이미지 내의 픽셀을 비교하는 장치.
  20. 제 18 항에 있어서, 상기 검색기(23)는 최대 가능성의 거리 메트릭인, 캡쳐된 이미지 내의 픽셀과 저장된 이미지 내의 픽셀을 비교하는 장치.
  21. 제 19 항에 있어서, 상기 얼굴 모델(23)은 반경에 기초한 함수를 사용하여 생성되는, 캡쳐된 이미지 내의 픽셀과 저장된 이미지 내의 픽셀을 비교하는 장치.
  22. 제 19 항에 있어서, 상기 얼굴 모델(23)은 베이지안 네트워크를 사용하여 생성되는, 캡쳐된 이미지 내의 픽셀과 저장된 이미지 내의 픽셀을 비교하는 장치.
  23. 얼굴 검출 시스템에 있어서,
    표정 특징을 갖는 얼굴 이미지를 캡쳐하는 캡쳐링 디바이스(20)와,
    상기 캡쳐된 얼굴 이미지의 표정 특징을 검색하는 얼굴 특징 검색기(23)와,
    상기 캡쳐된 얼굴 이미지의 표정 특징 내의 픽셀과, 상기 저장된 이미지의 표정 특징 내의 픽셀을 비교하는 비교기(24)로서, 만일 상기 저장된 이미지 중에 있는 표정 특징과 일치하는 것이 전혀 없는 경우, 상기 캡쳐된 이미지의 표정 특징의 위치를 메모리(25)에 저장하는, 비교기(24)
    를 포함하며,
    상기 비교기는, 1) 상기 일치하지 않는 표정 특징의 위치를 뺀 캡쳐 이미지와, 2) 상기 일치하지 않는 표정 특징의 좌표를 뺀 저장된 이미지를 또한 비교(28)하는,
    얼굴 검출 시스템.
KR1020057010692A 2002-12-13 2003-12-10 표정 불변 얼굴 인식 KR20050085583A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US43337402P 2002-12-13 2002-12-13
US60/433,374 2002-12-13

Publications (1)

Publication Number Publication Date
KR20050085583A true KR20050085583A (ko) 2005-08-29

Family

ID=32595170

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057010692A KR20050085583A (ko) 2002-12-13 2003-12-10 표정 불변 얼굴 인식

Country Status (7)

Country Link
US (1) US20060110014A1 (ko)
EP (1) EP1573658A1 (ko)
JP (1) JP2006510109A (ko)
KR (1) KR20050085583A (ko)
CN (1) CN1723467A (ko)
AU (1) AU2003302974A1 (ko)
WO (1) WO2004055715A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101100429B1 (ko) * 2005-11-01 2011-12-30 삼성전자주식회사 포토 앨범 시스템의 반자동등록 방법 및 장치와, 이를 이용한 포토앨범 시스템

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7283649B1 (en) * 2003-02-27 2007-10-16 Viisage Technology, Inc. System and method for image recognition using stream data
US7272246B2 (en) * 2003-05-22 2007-09-18 Motorola, Inc. Personal identification method and apparatus
US8553949B2 (en) 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
SG123618A1 (en) * 2004-12-15 2006-07-26 Chee Khin George Loo A method and system for verifying the identity of a user
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US20090235364A1 (en) * 2005-07-01 2009-09-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Media markup for promotional content alteration
US7804983B2 (en) * 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
US7995741B1 (en) * 2006-03-24 2011-08-09 Avaya Inc. Appearance change prompting during video calls to agents
JP4197019B2 (ja) * 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置
WO2008020038A1 (en) * 2006-08-16 2008-02-21 Guardia A/S A method of identifying a person on the basis of a deformable 3d model
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
WO2009116049A2 (en) 2008-03-20 2009-09-24 Vizi Labs Relationship mapping employing multi-dimensional context including facial recognition
US9143573B2 (en) 2008-03-20 2015-09-22 Facebook, Inc. Tag suggestions for images on online social networks
EP2479710B1 (en) 2008-04-25 2018-09-26 Aware, Inc. Biometric identification and verification
KR100947990B1 (ko) * 2008-05-15 2010-03-18 성균관대학교산학협력단 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
WO2010063463A2 (en) 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
JP5456159B2 (ja) * 2009-05-29 2014-03-26 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 背景から前景の頭頂部を分離するための方法および装置
TWI447658B (zh) 2010-03-24 2014-08-01 Ind Tech Res Inst 人臉影像擷取方法與裝置
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
CN102385703B (zh) * 2010-08-27 2015-09-02 北京中星微电子有限公司 一种基于人脸的身份认证方法及***
WO2012104830A1 (en) * 2011-02-03 2012-08-09 Vizi Labs Inc. Systems and methods for image-to-text and text-to-image association
JP5791364B2 (ja) * 2011-05-16 2015-10-07 キヤノン株式会社 顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体
TWI439967B (zh) * 2011-10-31 2014-06-01 Hon Hai Prec Ind Co Ltd 安全監控系統及安全監控方法
US9104907B2 (en) * 2013-07-17 2015-08-11 Emotient, Inc. Head-pose invariant recognition of facial expressions
US20150227780A1 (en) * 2014-02-13 2015-08-13 FacialNetwork, Inc. Method and apparatus for determining identity and programing based on image features
WO2015137788A1 (en) * 2014-03-14 2015-09-17 Samsung Electronics Co., Ltd. Electronic apparatus for providing health status information, method of controlling the same, and computer-readable storage medium
CN104077579B (zh) * 2014-07-14 2017-07-04 上海工程技术大学 基于专家***的人脸表情图像识别方法
US10803160B2 (en) 2014-08-28 2020-10-13 Facetec, Inc. Method to verify and identify blockchain with user question data
CA2902093C (en) 2014-08-28 2023-03-07 Kevin Alan Tussy Facial recognition authentication system including path parameters
US10614204B2 (en) 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
US10915618B2 (en) 2014-08-28 2021-02-09 Facetec, Inc. Method to add remotely collected biometric images / templates to a database record of personal information
US10698995B2 (en) 2014-08-28 2020-06-30 Facetec, Inc. Method to verify identity using a previously collected biometric image/data
US11256792B2 (en) 2014-08-28 2022-02-22 Facetec, Inc. Method and apparatus for creation and use of digital identification
US10547610B1 (en) * 2015-03-31 2020-01-28 EMC IP Holding Company LLC Age adapted biometric authentication
US9977950B2 (en) 2016-01-27 2018-05-22 Intel Corporation Decoy-based matching system for facial recognition
USD987653S1 (en) 2016-04-26 2023-05-30 Facetec, Inc. Display screen or portion thereof with graphical user interface
US11995511B2 (en) 2018-02-08 2024-05-28 Digimarc Corporation Methods and arrangements for localizing machine-readable indicia
US10958807B1 (en) * 2018-02-08 2021-03-23 Digimarc Corporation Methods and arrangements for configuring retail scanning systems
US10880451B2 (en) 2018-06-08 2020-12-29 Digimarc Corporation Aggregating detectability metrics to determine signal robustness
CN110751067B (zh) * 2019-10-08 2022-07-26 艾特城信息科技有限公司 一种结合生物形态神经元模型的动态表情识别方法
CN112417198A (zh) * 2020-12-07 2021-02-26 武汉柏禾智科技有限公司 人脸图像检索方法
CN114724217B (zh) * 2022-04-07 2024-05-28 重庆大学 基于snn的边缘特征提取与面部表情识别方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4975969A (en) * 1987-10-22 1990-12-04 Peter Tal Method and apparatus for uniquely identifying individuals by particular physical characteristics and security system utilizing the same
US5229764A (en) * 1991-06-20 1993-07-20 Matchett Noel D Continuous biometric authentication matrix
JPH0546743A (ja) * 1991-08-09 1993-02-26 Matsushita Electric Ind Co Ltd 個人識別装置
US5450504A (en) * 1992-05-19 1995-09-12 Calia; James Method for finding a most likely matching of a target facial image in a data base of facial images
US6181805B1 (en) * 1993-08-11 2001-01-30 Nippon Telegraph & Telephone Corporation Object image detecting method and system
WO1995025316A1 (de) * 1994-03-15 1995-09-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Personenidentifikation mit bewegungsinformation
US5717469A (en) * 1994-06-30 1998-02-10 Agfa-Gevaert N.V. Video frame grabber comprising analog video signals analysis system
US5892838A (en) * 1996-06-11 1999-04-06 Minnesota Mining And Manufacturing Company Biometric recognition using a classification neural network
US6819783B2 (en) * 1996-09-04 2004-11-16 Centerframe, Llc Obtaining person-specific images in a public venue
JP2001506032A (ja) * 1997-09-16 2001-05-08 インビィジテック コーポレイション 相互相関の低い複合パラメータを使用した個人識別システム
US6292575B1 (en) * 1998-07-20 2001-09-18 Lau Technologies Real-time facial recognition and verification system
US6947578B2 (en) * 2000-11-02 2005-09-20 Seung Yop Lee Integrated identification data capture system
US6778705B2 (en) * 2001-02-27 2004-08-17 Koninklijke Philips Electronics N.V. Classification of objects through model ensembles
US6879709B2 (en) * 2002-01-17 2005-04-12 International Business Machines Corporation System and method for automatically detecting neutral expressionless faces in digital images
WO2003084000A1 (en) * 2002-03-27 2003-10-09 Molex Incorporated Differential signal connector assembly with improved retention capabilities

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101100429B1 (ko) * 2005-11-01 2011-12-30 삼성전자주식회사 포토 앨범 시스템의 반자동등록 방법 및 장치와, 이를 이용한 포토앨범 시스템

Also Published As

Publication number Publication date
US20060110014A1 (en) 2006-05-25
AU2003302974A1 (en) 2004-07-09
EP1573658A1 (en) 2005-09-14
JP2006510109A (ja) 2006-03-23
CN1723467A (zh) 2006-01-18
WO2004055715A1 (en) 2004-07-01

Similar Documents

Publication Publication Date Title
KR20050085583A (ko) 표정 불변 얼굴 인식
US11288504B2 (en) Iris liveness detection for mobile devices
US10445574B2 (en) Method and apparatus for iris recognition
US8180112B2 (en) Enabling persistent recognition of individuals in images
US7450740B2 (en) Image classification and information retrieval over wireless digital networks and the internet
JP4241763B2 (ja) 人物認識装置及びその方法
EP3440593B1 (en) Method and apparatus for iris recognition
KR101943433B1 (ko) 몽타주 인식을 통한 실시간 수배자 검출 시스템
Suma et al. Real time face recognition of human faces by using LBPH and Viola Jones algorithm
KR20120139100A (ko) 얼굴 인증을 이용한 보안 장치 및 방법
KR101252843B1 (ko) 이동 통신 단말기에서 이미지 관리 방법
KR20190093799A (ko) Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법
US20210256244A1 (en) Method for authentication or identification of an individual
JP2002189724A (ja) 画像データ検索装置
JP2024045460A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
Akhtar et al. Experiments with ocular biometric datasets: A practitioner’s guideline
US10621419B2 (en) Method and system for increasing biometric acceptance rates and reducing false accept rates and false rates
KR20080101388A (ko) 엔엠씨티 기반의 얼굴 검출 방법
JP2004128715A (ja) ビデオデータの記憶制御方法およびシステム、プログラム、記録媒体、ビデオカメラ
Yoshino et al. A new retrieval system for a database of 3D facial images
Prabowo et al. Application of" Face Recognition" Technology for Class Room Electronic Attendance Management System
Grabovskyi et al. Facial recognition with using of the microsoft face API Service
KR20000032853A (ko) 3차원 마스킹법에 의한 형상인식시스템 및 그 방법
Singletary et al. Learning visual models of social engagement
Ponmalar et al. Smart borderline Micro-Cannon using surveillance camera and sentry gun

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid