KR100795160B1 - 얼굴영역검출장치 및 검출방법 - Google Patents

얼굴영역검출장치 및 검출방법 Download PDF

Info

Publication number
KR100795160B1
KR100795160B1 KR1020070091033A KR20070091033A KR100795160B1 KR 100795160 B1 KR100795160 B1 KR 100795160B1 KR 1020070091033 A KR1020070091033 A KR 1020070091033A KR 20070091033 A KR20070091033 A KR 20070091033A KR 100795160 B1 KR100795160 B1 KR 100795160B1
Authority
KR
South Korea
Prior art keywords
face
image
detection
fdr
recognition
Prior art date
Application number
KR1020070091033A
Other languages
English (en)
Inventor
우정수
Original Assignee
주식회사 아트닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아트닉스 filed Critical 주식회사 아트닉스
Application granted granted Critical
Publication of KR100795160B1 publication Critical patent/KR100795160B1/ko
Priority to JP2008069196A priority Critical patent/JP2008259190A/ja
Priority to US12/052,025 priority patent/US20080232651A1/en
Priority to GB0805228A priority patent/GB2448050A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 얼굴영역 검출장치 및 검출방법에 관한 것으로서, 본 발명에 따른 얼굴영역 검출장치는 입력되는 영상물로부터 사람 얼굴의 이미지를 추출하는 얼굴검출단계(Face Detection; FD)에서 추출된 사람 얼굴 이미지(Face Image;FI)를, 내부연산을 통하여 얼굴특성코드(Face Feature Code;FC)로 부호화하여 데이터 베이스화 하는 얼굴검출인식부( Face Detection & Recoginition; FDR); 상기 얼굴특성코드(FC)를 네트워크를 통하여 전송시키며, 상기 전송된 얼굴특성코드(FC)와 저장된 기존의 얼굴특성코드 데이터베이스와 비교하여 얼굴 특성 일치 여부를 판단하여 상기 얼굴검출인식부로 상기 판단결과를 전송하는 얼굴검출서버(Face Server; FS);를 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따르면, 특정인물의 얼굴이미지(FI)를 얼굴 특성 코드화(FC)하여 특정인물의 인식 및 감지, DVR의 실시간 입력영상 또는 녹화되어 있는 영상화면에서 특정인물만의 검색 등의 작업에 적용이 가능하며, 외부인물영상의 도입에 있어, 적외선 발광 LED와 적외선 조리개를 구비하여, 불균등한 명암 분포 또는 불균등한 외부 광원환경에 영향을 받지 않는 안정적인 얼굴 영상을 획득할 수 있도록 하는 효과가 있다.
얼굴검출(Face Detection; FD),얼굴특성코드(Face Feature Code;FC)

Description

얼굴영역검출장치 및 검출방법{Apparatus for Face Detection and Recognition and Method for Face Detection and Recognition}
본 발명은 얼굴 검사 및 측정 특히 실시간으로 입력되는 동영상화면 중에서 얼굴 검사 및 측정을 하기 위한 방법과 시스템에 관한 것이다. 얼굴인식은 바이오 인식 중에서 data의 취득이 편리하고 기계와의 접촉 거부감이 없는 방법이다. 이 얼굴 검사 및 측정 프로그램은 입력되는 정지영상 혹은 동영상 중에서 얼굴의 특징적인 위치 ,크기 등을 인식하여 수치화하는 것이며 이 기술은 얼굴의 합성여부, 표정식별 등을 인식하여 특정인물을 감지하고 인식함으로써, 범죄 예방 ,로보트와 사람의 교류 등에 응용될 수 있다.
본 발명은 얼굴영역 검출장치 및 검출방법에 관한 것으로서, 보다 상세하게는 적외선 발광 LED와 적외선 조리개를 구비하여, 불균등한 명암 분포 또는 불균등한 외부 광원환경에 영향을 받지 않는 안정적인 얼굴 영상을 획득할 수 있는 얼굴영역 검출장치 및 상기 얼굴영역 검출장치를 이용하되 다단분류방법에 의한 얼굴정보 검출방법에 의해, 실시간으로 입력되는 외부 얼굴영상으로부터 얼굴이미지의 값을 실시간으로 빠르고 정확하게 검출해 낼 수 있는 얼굴영역 검출방법에 관한 것이다.
인간의 얼굴은 시각적인 판별과 신원확인에 중요한 요소로서, 종래에부터 얼굴의 인식과 얼굴 표정의 해석에 대한 분석이 광범위하게 개발되어 와다. 최근에 영상의 흐름 속에서 얼굴의 검색과 신원확인을 위한 기술들이 제시되어 오고 있다. 특히 이러한 얼굴인식기술이란 정지영상이나 동영상에 존재하는 한 사람 이상의 얼굴에 대하여 주어진 얼굴 데이터 베이스를 이용하여 그 신원을 확인하는 기술을 말한다. 이러한 얼굴인식기술은 다른 생체인식기술인 지문인식 등과는 다르게 자신의 신체 일부를 인식장치에 접촉시키지 않고도 생체정보의 획득이 가능하며, 이러한 점에서 강제성이 적지만 얼굴은 조명 및 자세의 변화에 따라 그 자체의 변화가 심하고 특히 주위환경에 매우 민감하기 때문에 타 생체 인식시스템에 비해서 식별력이 낮은 단점이 있어왔다.
또한, 얼굴인식은 상기 광원에 의해 입력되는 정지영상 혹은 동영상의 얼굴이미지에서 얼굴의 특징적인 위치, 크기 등을 인식하여 수치화하는 과정을 거치며, 이러한 기술은 얼굴의 합성여부, 표정식별 등을 인식하여 범죄예방 로보트와 사람의 교류 등에 응용될 수 있다.
얼굴 식별의 중요성은 영상 입력이 중요한 것이 아니라 입력된 영상의 식별이 중요하다. 이러한 얼굴의 입력된 영상의 식별방법에는 대표적으로 직접인식방법과 통계식을 이용한 방법이 있다.
직접인식방법으로는 화면에 나타나는 얼굴 영상의 윤곽 피부색 및 구성요소의 크기나 서로 간의 거리 등의 물리적인 특징을 이용한 규칙을 만들고 그 규칙에 따라 비교, 검사 및 측정한다. 이러한 규칙에 따라 얼굴 영상을 파악하는 방법에는 빠른 식별속도가 보장되는 장점이 있으나, 외부의 환경변화의 적응력이 떨어져 인식의 오류가 심하다.
다른 하나는 통계식을 이용한 방법으로 입력된 얼굴이 가지고 있는 고유의 특징들을 data화 하여 준비된 대량의 data base(얼굴과 그 외의 사물의 형체들(와 비교분석하는 방법이다. 그러나, 이러한 방법은 외부환경에서 인식의 정확도는 높으나 계산시간이 길어 실시간 식별이 불가능하고 많은 data가 필요한 문제가 발생했다.
또한, 종래의 상용화된 얼굴영역식별은 영상을 수집할 경우에 자연광이나 조명광을 이용한다. 그러나 이러한 방법은 빛의 변화에 따라 얼굴 영역 식별성능에 크게 영향을 끼치게 되며, 특히 외부의 빛의 변화가 있는 경우에는 형성될 이미지 얼굴의 명암분포에 큰 차이를 만들어 내게 되는 문제가 발생한다. 아울러 외부의 빛의 변화가 없는 상황이라도 비추는 얼굴영역에 순광, 역광, 편광 등과 같이 다른 요인이 발생하는 경우에 얼굴식별에 큰 영향을 주어 원하는 고 품질의 영상 이미지를 구현할 수 없는 치명적인 문제가 발생하게 된다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 특정인물의 얼굴이미지(FI)를 얼굴 특성 코드화(FC)하여 특정인물의 인식 및 감지, DVR 실시간 입력 영상 또는 녹화되어 있는 영상화면에서 특정인물만의 검색 등의 작업에 적용하여 사람의 얼굴이미지를 이용한 녹화 및 검색, 재생 작업을 용이하게 할 수 있는 얼굴영역 검출장치를 제공함을 목적으로 한다.
또한, 외부영상이미지를 도입함에 있어 적외선 발광 LED와 적외선 조리개를 구비하여, 불균등한 명암 분포 또는 불균등한 외부 광원환경에 영향을 받지 않는 안정적인 얼굴 영상을 획득할 수 있으며, 상기 얼굴 영상을 검출함에 있어, 다단분류방법에 의한 얼굴정보 검출방법에 의해, 실시간으로 입력되는 외부 얼굴영상으로부터 얼굴이미지의 값을 실시간으로 빠르고 정확하게 검출해 낼 수 있는 검출방법을 제공함을 목적으로 한다.
본 발명은 입력되는 영상물로부터 사람 얼굴의 이미지를 추출하는 얼굴검출단계(Face Detection; FD)에서 추출된 사람 얼굴 이미지(Face Image;FI)를 내부연산을 데이터 베이스화가 가능한 형태의 얼굴특성코드(Face Feature Code;FC)로 부호화하는 얼굴검출인식부( Face Detection & Recoginition; FDR)와 상기 얼굴특성코드(FC)를 네트워크를 통하여 전송시키며, 상기 전송된 얼굴특성코드(FC)와 저장된 기존의 얼굴특성코드 데이터베이스와 비교하여 얼굴 특성 일치 여부를 판단하여 상기 얼굴검출인식부로 상기 판단결과를 전송 및 관리하는 얼굴검출서버(Face Server; FS)를 구비하여 검출대상을 인식하고 선별할 수 있는 얼굴영역검출 장치를 제공한다.
특히, 상기 얼굴검출서버(FC) 대신에 전송선로에 따라 속도가 늦거나 한정된 공간에서 사용되어야 하는 경우에는 외장형 얼굴인식모듈(Face Recognition Module; FR Module)을 직접 상기 얼굴검출인식부(FDR)에 연결하여 얼굴인식기능의 장소와 속도의 효율성을 도모할 수 있도록 한다. 즉, 네트워크 등을 이용할 수 없는 폐쇄 환경 하에서도 얼굴검출서버(FS)의 역할을 대신 수행 할 수 있는 모듈 형태의 장치를 FDR 장치에 외장 연결 혹은 내장 함으로써 얼굴의 검출 및 인식을 가능하도록 한다.
본 발명에 따르면, 특정인물의 얼굴이미지(FI)를 얼굴 특성 코드화(FC)하여 특정인물의 인식 및 감지, DVR 영상화면에서 특정 인물만의 검색 등의 작업에 적용하여 사람의 얼굴이미지의 검출 및 검색작업을 용이하게 할 수 있는 효과가 있다.
또한, 발명에 따르면, 외부영상이미지를 도입함에 있어 적외선 발광 LED와 적외선 조리개를 구비하여, 불균등한 명암 분포 또는 불균등한 외부 광원환경에 영향을 받지 않는 안정적인 얼굴 영상을 획득할 수 있도록 하는 효과가 있다.
특히, 본 발명에 따르면, 다단분류방법에 의한 얼굴정보 검출방법에 의해, 실시간으로 입력되는 외부 얼굴영상으로부터 얼굴이미지의 값을 실시간으로 빠르고 정확하게 검출해 낼 수 있는 효과도 있다.
본 발명은 상술한 과제를 해결하기 위하여, 입력되는 영상물로부터 사람 얼굴의 이미지를 추출하는 얼굴검출단계(Face Detection; FD)에서 추출된 사람 얼굴 이미지(Face Image;FI)를, 내부연산을 통하여 데이터베이스화가 가능한 형태의 얼굴특성코드(Face Feature Code;FC)로 부호화하는 얼굴검출인식부( Face Detection & Recoginition; FDR); 상기 얼굴특성코드(FC)를 네트워크를 통하여 전송시키며, 상기 전송된 얼굴특성코드(FC)와 저장된 기존의 얼굴특성코드 데이터베이스와 비교하여 얼굴 특성 일치 여부를 판단하여 상기 얼굴검출인식부로 상기 판단결과를 전송하는 얼굴검출서버(Face Server; FS);를 포함하여 이루어지는 것을 특징으로 하는 얼굴영역검출장치를 제공하여 특정인물의 얼굴을 얼굴특성코드화하여 입력되는 얼굴의 정보를 효율적으로 판별할 수 있도록 한다.
또한, 본 발명은 상기 얼굴검출서버(FS)를 상기 얼굴검출인식부(FDR)에서 전송되는 얼굴특성코드(FC)를 자체 데이터 베이스에 저장하며, 상기 얼굴검출인식부(FDR)에서 추출된 얼굴이미지(FI)의 정보를 전송받아 별도로 데이터 베이스화 하는 것을 특징으로 하는 얼굴영역검출장치를 제공하여, 점진적인 데이타의 정밀도와 신뢰도를 높히며, 보다 많은 수의 사용자의 접속과 이용을 제공할 수 있도록 한다.
또한, 본 발명은 상기 얼굴검출서버(FS)가 FDR 장치 없이도 얼굴검출서버(FS)에 부가적으로 설치 연결되어 있는 카메라 혹은 파일 형태의 사진으로부터 영상을 입력 받아 자체적으로 얼굴검출작업(FD)과 상기 얼굴검출작업(FD)을 통해 얻어진 얼굴이미지(FI)를 얼굴특성코드(FC)로 전환하여 데이터 베이스를 추가 보강 관리할 수 있는 기능을 부여함으로써 얼굴검출서버(FS)장치의 효율성을 높일 수 있도록 한다.
또한, 본 발명은 상기 얼굴검출인식부(FDR)은 내부에 영상데이터를 디지털 신호로 전환하는 DVR( disital vedio recorder)를 더 포함하여 이루어지는 것을 특징으로 하는 얼굴영역검출장치를 제공하여, 상기 얼굴검출인식부(FDR) 내의 DVR 부분으로부터 제공되는 실시간 영상 및 기록 저장되어 있는 영상에 대하여 얼굴검출작업을 할 수 있도록 한다.
또한, 본 발명은 상기 외부에서 입력되는 영상을, 광원을 피사체에 조사하는 적외선 발광부와, 상기 적외선 발광부에서 도출된 광원이 피사체에서 반사되어 입사되는 적외선 광을 획득하는 카메라에 의해 획득된 영상인 것을 특징으로 하는 얼굴영역검출장치를 제공하여 외부광원에 영향을 받지 않고 안정적인 얼굴 영상을 획득할 수 있도록 한다.
또한, 본 발명은 상기 카메라는, 상기 카메라의 전면에 부설되어 적외선 이외의 광선을 여과하는 적외선 조리개를 더 포함하여 이루어지는 것을 특징으로 하는 얼굴영역 검출장치를 제공하여, 영상이미지의 획득에 효율적이고 안정적인 적외선의 파장을 선별할 수 있도록 한다.
또한, 본 발명은 상기 적외선 조리개는 적외선 파장을 선택하여 여과될 수 있도록 구성되며, 중심파장이 800nm~1000nm 의 파장을 선별하여 여과하는 것을 특 징으로 하는 얼굴영역검출장치를 제공하여 더욱 정확한 이미지의 얼굴 영상을 획득할 수 있도록 한다.
또한, 본 발명은 상기 적외선 조리개의 지름은 10~40nm,이며, 상기 적외선 발광부는 지름이 10~40nm인 적외선 발광 LED이되, 적외선방출 중심파장이 800nm~1000nm 인 것을 특징으로 하는 얼굴영역검출장치를 제공하여, 얼굴 영상의 획득에 효율적인 구조를 갖도록 한다.
또한, 본 발명은 입력되는 영상물로부터 사람 얼굴의 이미지를 추출하는 얼굴검출단계(Face Detection; FD)에서 추출된 사람 얼굴 이미지(Face Image;FI)를, 내부연산을 통하여 데이터베이스화가 가능한 형태의 얼굴특성코드(Face Feature Code;FC)로 부호화하는 얼굴검출인식부( Face Detection & Recoginition; FDR); 상기 얼굴검출인식부(FDR)의 외부에 USB를 통해 직접 장착되어 상기 얼굴검출인식부(FDR)에서 전송되는 얼굴특성코드(FC)와 자체 저장된 기존의 얼굴특성코드(FC)와 비교하여 얼굴특성의 일치 여부를 판단한 뒤, 판단 결과를 상기 얼굴검출 인식부에 재전송하는 얼굴인식 모듈(Face Recoginition Module); 를 포함하여 이루어지는 것을 특징으로 하는 얼굴영역검출장치를 제공하여, 전송선로로 인한 지연등으로 속도가 늦거나 한정된 공간에서만 사용되는 경우에 직접 상기 얼굴검출인식부(FDR)에 USB를 통해 외장형으로 연결하는 형식으로 얼굴인식모듈을 장착함으로써, 월등히 빠른 검색속도를 구현시킬 수 있도록 한다. 이러한 빠른 검색시스템을 도입함으로써, 기존의 홍체인식, 지문인식, 손정맥인식 등의 사람 인식시스템보다 사용자의 거부감을 완화하고, 인식의 속도를 월등히 개선하여 출입통제시스템에 범용적으로 적용이 가능할 수 있도록 한다.
또한, 본 발명은 상기 얼굴인식 모듈(Face Recoginition Module)은 상기 얼굴검출인식부(FDR)의 내부에 내장되어 장착되는 것을 특징으로 하는 얼굴영역검출장치를 제공할 수 있도록 한다.
또한, 본 발명은 DVR(disital vedio recorder)에 저장된 순차적인 영상물에 포함된 다수의 사람의 얼굴정보를, 청구항 1 또는 9에 기재된 얼굴영역검출방법에 의해, 특정 인물의 얼굴검출(FD)과 검출된 결과물인 얼굴이미지(FI)를 코드화한 얼굴특성코드(FC)로 분류하여 특정인물이 출현하는 부분의 영상물 부분 만를 검색 선별하여 디스플레이하는 얼굴영역검출장치의 이용방법을 제공한다. 이를 통해서 DVR에 저장되어 있는 다양한 인물의 군속에서 특정인물이 출현하는 부분의 섹션으로 이동하거나, 특정인물의 관련된 영상부분 만을 선별할 수 있는 검색지표로 상기 얼굴특성코드(FC)를 활용하여 검색의 새로운 활용성을 제공할 수 있도록 한다.
또한, 본 발명은 특정인물의 얼굴특성코드(FC)를 기준으로 청구항 1 또는 9에 기재된 얼굴영역검출방법에 의해 상기 특정인물이 가진 얼굴특성코드(FC)가 일치하는 사람의 얼굴로 인식하는 경우에만 영상을 녹화하는 것을 특징으로 하는 얼굴영역검출장치의 이용방법을 제공한다. 이를 통하여 범죄예방을 위하여 특정인물의 출현 등의 녹화의 필요성이 있는 경우에는 녹화기능이 있는 DVR등의 매체와 연결하여, 특정인물의 얼굴특성코드(FC)와 일치하는 인물이 출현한 경우에만 녹화기능을 작동하여 녹화를 할 수 있도록 하여 활용의 범용성을 구현할 수 있도록 한다.
또한, 본 발명은 다수의 사람의 군 속에서 카메라를 통하여 무작위로 도출되 는 다수의 사람얼굴을 얼굴검출(FD)과 검출된 결과물인 얼굴이미지(FC)를 코드화한 얼굴특성코드(FC)로 추출하여, 사용자가 지정한 얼굴특성코드(FC)와 일치하는 특정인물을 감지하여 도출하는, 청구항 4 내지 7에 기재된 얼굴영역 검출장치의 이용방법을 제공하여, 다수의 군중이 모여있는 곳을 카메라로 잡는 경우에 무작위로 도출되는 다수의 인물군의 얼굴특성코드를 추출하여 그 속에 숨어 있는 특정인물의 얼굴특성코드와 일치하는 인물을 인식 감지하는 장치를 제공하여, 인물 설정에 새로운 작용을 제공할 수 있도록 한다.
또한, 본 발명은,
(1)적외선 광원으로부터 피사체에 적외선을 조사하는 단계;
(2)상기 조사된 적외선이 피사체로부터 반사되어 카메라로 영상이미지로 입력되는 단계;
(3)얼굴검출인식부(Face Detection & Recoginition; FDR)에서 상기 입력된 영상이미지로부터 얼굴이미지(Face Image;FI)를 추출하고, 추출된 상기 얼굴이미지(FI)를 내부 연산을 통하여 얼굴특성코드(Face Code;FC)화 하는 단계;
(4) 상기 얼굴특성코드(FC)를 네트워크를 통하여 얼굴검출서버(Face Server; FS)로 전송하여, 상기 얼굴검출서버(FS)에 저장된 얼굴특성코드 데이터와 일치여부를 비교하여 비교결과를 얼굴검출인식부(FDR)로 재전송하는 단계;
를 포함하여 이루어지는 것을 특징으로 하는 얼굴영역검사방법을 제공한다.
또한, 본 발명은 상기 (1)단계는 적외선 발광 LED에 의해 이루어지는 단계인 것을 특징으로 하는 얼굴영역검사방법을 제공하여, 얼굴 영상의 획득의 효율성을 높힌다.
또한, 본 발명은 상기 (2)단계는 카메라 전면부에 설치된 조리개에 의해 여과된 적외선방출 중심파장이 800nm ~ 1000nm 인 영상이미지인 것을 특징으로 하는 얼굴영역검사방법을 제공하여 영상이미지의 정밀도를 향상시킬 수 있도록 한다.
또한, 본 발명은 상기 (3)단계는, 입력되는 영상이미지를 실시간으로 정면 얼굴의 정보를 검색측정하여 Data화 하되, Ada Boost 계산방법의 다단 분류기에 의해 시행되는 것을 특징으로 하는 얼굴영역검사방법을 제공하여, 통계, 분류, 단계적 구분의 방식에 의한 실시간 입력 얼굴영상을 검색하되, 그 측정속도 및 정확성을 높힐 수 있도록 한다.
또한, 본 발명은, 상기 Data화 과정은,
1)실시간으로 입력되는 영상이미지에서 얼굴화면을 추출하는 단계;
2)상기 추출된 얼굴화면을 Ada Boost 법에 의해 대략검사와 미세검사를 반복하여 data 값으로 도출하는 단계;
3)상기 2)단계에서 검출된 data 값을 식별위치로 전송하는 단계;
4)상기 전송된 data값에 의해 얼굴특징을 결정하는 단계;
5)상기 결정된 얼굴특징에 얼굴 각 부위의 기하학적 위치를 결정하고, 좌우 얼굴명암의 편차를 균일화하여 최종적인 얼굴화면을 도출하는 단계;
6)상기 5)단계에서 도출된 얼굴화면을 회전 ,확대, 또는 축소하여 표준에 일치하는 화상을 도출하는 단계; 를 포함하여 이루어지는 것을 특징으로 하는 얼굴영역검사방법을 제공한다.
이하, 첨부된 도면을 참조하여 본 발명의 구성과 작용을 구체적으로 설명한다.
도 1을 참조하면, 본 발명에 다른 얼굴영역검출장치는, 입력되는 영상물(10)로부터 사람 얼굴의 이미지를 추출하는 얼굴검출단계(Face Detection; FD)에서 추출된 사람 얼굴 이미지(Face Image;FI)를, 내부연산을 통하여 얼굴특성코드(Face Feature Code;FC)로 부호화하여 데이터 베이스화 하는 얼굴검출인식부( Face Detection & Recoginition; FDR)(20)와 상기 얼굴특성코드(FC)를 네트워크를 통하여 전송시키며, 상기 전송된 얼굴특성코드(FC)와 저장된 기존의 얼굴특성코드 데이터베이스와 비교하여 얼굴 특성 일치 여부를 판단하여 상기 얼굴검출인식부로 상기 판단결과(Face Recognition Result; FRR)를 전송하는 얼굴검출서버(Face Server; FS)(30)으로 이루어진다.
상기 얼굴검출인식부(FDR)(20)은 내부에 외부 입력영상에서 기본적으로 사람의 얼굴만을 검출한 얼굴이미지(FI)를 얼굴특성코드(FC)로 부호화하는 내부연산이 이루어지는 얼굴검출부(Face Detection;FD부)(21)와 얼굴특성코드를 저장하는 데이터베이스(DB1), 기본적인 일련의 작업을 제어하는 중앙처리제어장치(CPU)(22)로 이루어짐이 바람직하다.
상기 얼굴검출인식부(20)와 네트워크, 즉 인터넷이나 렌망을 통하여 연결되는 상기 얼굴검출서버(FS)(30)는 상기 얼굴검출인식부(20)로 부터 코드화된 입력영상의 얼굴특성코드(FC)를 전송받으며, 내부의 데이터베이스(DB2)에 저장된 기존의 얼굴특성코드와 일치하는 결과가 있는 지를 비교하여, 비교결과를 다시 상기 얼굴검출인식부(20)로 송부한다. 만일 외부입력영상이 기존의 데이터와 일치하는 값을 가진 얼굴특성코드라면, 일치하는 결과 값(Face Recognition Result;FRR)을 전송하게 되는 것이다.
또한 상기 얼굴검출서버(30)에는 상술한 바와 같이 별도의 데이터 베이스가 구축되어 있으며, 나아가 입력되는 새로운 얼굴특성코드(FC)를 저장할 수 있도록 하여 새로운 정보의 업데이트가 이루어질 수 있도록 함이 바람직하다.
상술한 얼굴검출서버(30)는 얼굴검출인식부(20)에서 작업이 이루어진 얼굴이미지(FI)의 코드화된 얼굴특성코드(FC)를 전송받아 기존의 데이터와 비교하는 작업을 거치고 결과물을 전송하는 역할을 하지만, 더 나아가서는 얼굴검출서버(FS)(30)자체 내에서도 얼굴검출작업을 통한 얼굴이미지(FI)를 얼굴특성코드(FC)로 변환하는 작업이 수행될 수 있도록 함이 바람직하다.
상기 얼굴검출서버(FS)의 이와 같은 자체 기능은 상기 얼굴검출서버(FS)에 외부 영상을 받을 수 있는 카메라(예, PC용 USB 카메라)나 영상 캡쳐 장치를 부착하여 직접 영상 입력을 받거나 파일 형태로 저장되어 있는 사진으로부터 영상을 입력을 받게 하고 이렇게 입력 받은 얼굴이 포함되어있는 영상을 상기 얼굴검출서버(FS) 내에 소프트웨어 형태의 프로그램으로 내장되어있는 얼굴검출 장치를 통하여 FD를 수행함으로써 가능해진다.
이와 같이 상기 얼굴검출서버(FS) 내에서의 얼굴검출(FD)과정을 통하여 추출된 얼굴이미지(FI)는 얼굴검출인식부(FDR)에서 추출된 얼굴이미지(FI)와 마찬가지 로 얼굴검출서버(FS) 내에서 제한 없이 사용되어 질 수 있다. 즉 자체적인 얼굴검출(FD)를 통하여 얼굴이미지(FI)추출이 가능해 짐으로써, 외부적인 얼굴검출장치 없이 얻은 얼굴이미지(FI)를 이용하여 얼굴검출서버(FS)가 자신의 가지고 있는 데이터 베이스를 추가 보강 관리하는 데 있어 그 효율성을 극대화할 수 있다.
상기 얼굴검출인식부(FDR)(20)에는 추가로 영상신호를 디지털 신호로 변환하는 DVR(disital vedio recorder)을 더 포함하여 이루어짐이 바람직하다. 이 경우 도 1의 경우와 같이 외부영상입력(10)이 있는 경우, 상기 DVR(11)을 통하여 디지털 영상신호로 변환되고, 여기에서 제공되는 영상에서 얼굴이미지를 추출할 수 있도록 제작됨이 바람직하다. 이는 추후에 설명할 본 발명에 따른 얼굴영역검출장치를 통해 얼굴특성코드를 통하여 특정인물의 검색 및 인식을 가능하게 하는 토대가 된다.
도 2를 참고하면, 본 발명은 상기 얼굴검출서버(FS)없이 별도의 외장형 얼굴인식모듈(Face Recognition module;FR 모듈)을 USB등의 연결을 통하여 연결시킴으로서, 상기 얼굴검출인식(FDR)장치(20)자체로 얼굴영역의 검출 인식작업이 가능하게 제작됨이 바람직하다. 상기 얼굴인식모듈(40)은 내부에 도 1의 얼굴검출서버(FS)가 가지는 기능을 구비한 것으로, 전송선로의 문제 등이나 한정된 장소에서의 사용 등으로 전송속도의 문제가 발생하거나 사용상의 제약이 발생하는 경우에 외부 분리연결형으로 구비하는 대체형 얼굴검출서버 역할을 수행할 수 있도록 하는 것이다. 물론, 상기 외장형 얼굴인식모듈(40)은 분리형으로 구비되어도 되지만, 상기 얼굴검출인식(20)장치의 내부에 내장형으로 형성시켜도 무방하다.
더욱 바람직하게는 외부에서 얼굴검출인식장치(FDR)을 구비한 사용 자(client)가 인터넷이나 랜망을 통하여 접속하여 접속하는 경우에는 상기 얼굴검출서버(FS)와 상기 외장형 얼굴인식모듈(40)을 동시에 사용하여 대용량의 접속자를 처리할 수 있도록 함이 더욱 바람직하다(도 2의 (b)).
이러한 외장형 얼굴인식모듈(FR Module)의 사용은 그 활용도가 범용적이어서, 출입문 통제 시스템, IP camera용 TX, RX, Door Lock 자동차용 Key Lock등에 활용되어 기존의 홍체인식이나, 지문인식 ,손정맥인식보다 사용자의 거부감 및 인식속도의 월등한 향상을 통해 빠르게 대체가 가능하다.
도 3은 외부의 사용자가 상기 얼굴검출 인식장치(FDR)를 구비하여 얼굴검출작업을 활용하는 예를 개념도로 작성한 것이다.
도 3을 참조하면, 상술한 바와 같이 데이터베이스(DB2)화된 얼굴특성코드(FC)에 대한 정보를 저장하고 있는 얼굴검출서버(30)와 연결되는 얼굴검출인식(FDR)장치(20)를 구비한 다수의 사용자가 자신들이 구비한 영상입력장치, 이를 테면 상기 얼굴검출인식장치(20) 내에 구비된 DVR이라든지, 아니면 외부의 감시카메라등을 통해 상기 얼굴검출인식장치(20)로 입력되는 영상신호에서 확인하고자 하는 인물정보에 대한 코드(FC)를 얼굴검출서버(FS)(30)에 전송하여 특정인물에 대한 확인과 검색을 할 수 있게 되는 것이다.
물론 이 경우에 도 2에서 상술한 바와 같이 외장형 얼굴인식모듈(FR)을 동시에 장착하는 경우라면 상기 전체적인 시스템의 처리용량과 검색속도는 현저하게 향상됨은 물론이다.
도 4를 참조하여 외부영상을 도입하는 장치에 있어서, 카메라장비로 외부영 상을 촬영하여 본 발명에 따른 얼굴검출인식(FDR)장치(30)로 입력하여 얼굴을 검출하는 시스템을 구체적으로 설명한다.
상기 외부의 영상을 도입하는 장치에 있어서, 가장 기본이 되는 구성으로는 카메라(50)과 적외선 조리개(60), 적외선 발광부(70) 의 3부분으로 구성되어 있다. 상기 적외선 발광부는 적외선 LED를 이용함이 바람직하다. 상기 적외선 조리개(60)는 자연광선을 여과하는 작용을 하고 상기 카메라(50) 렌즈의 앞 부분에 부착할 수 있는 구조로 형성됨이 바람직하다.
특히, 상기 적외선 조리개(60)는 중심 파장의 800nm-1000nm사이,지름이 40nm로 제작됨이 바람직하다. 또한, 상기 적외선 발광 LED(70)은 그 중심 파장이 800nm-1000nm사이 지름이 40nm으로 선택됨이 바람직하다.
상기 구성요소들의 작용을 살펴보면, 우선 상기 적외선 발광LED(70)을 이용하여 광원을 피사체 또는 얼굴에 비추게 된다. 그 후에 광선이 반사되어 카메라(50) 앞쪽에 있는 적외선 조리개(60)를 통하여 여과된다. 구체적으로는 상기 적외선 조리개(60)는 적외선 추진 광원 주파수를 제외한 자연광, 외부광원 등의 주파 광선을 여과하게 된다. 마지막으로 여과된 광선이 다시 카메라(50)로 광선이 투사되어 얼굴 영상 이미지를 획득하게 된다. 물론 영상의 처리는 상기 획득한 영상 이미지에 맞는 전자 처리 설비로 전달하여 얼굴 이미지의 식별 처리를 진행하는 과정이 필요하다. 일반적으로 역광, 편광 등의 외부 자연광의 방해는 적외선 발광 LED의 능력에 비해 아주 작은 것이기 때문에 자연광의 방해가 거의 없다고 여겨도 되며, 얼굴 형상 이미지는 전적으로 적외선 발광 LED의 작용에 달려 있는 것이다.
상기 얼굴검출인식(FDR)장치(20)는 상기 카메라(50)로부터 입력되는 영상신호를 통하여 사람의 얼굴 부분을 추출하여 얼굴이미지를 형성하고,이를 내부적인 연산과정을 통하여 얼굴특성코드(FC)를 추출한다. 상기 얼굴검출인식(FDR)장치 도 1에서 상술한 바와 같이 얼굴검출부(FD부), 데이터베이스, 중앙처리장치등을 구비하며, 특히 바람직하게는 상기 얼굴검출부는 FD동작의 효율성을 위하여 DSP나 FD기능을 특화하여 설계된 별도의 IC를 사용함이 바람직하다.
이하에서는 상술한 본 발명에 따른 얼굴영역검출 장치를 이용하는 이용방법에 대한 일 실시예를 통하여 본 발명의 적용방식을 구체적으로 설명한다.
1. 도난방지기능에의 적용
이러한 본 발명에 따른 얼굴영역검출장치에 있어서, 얼굴이미지를 얼굴특성코드로 분류하는 기능은 범용적인 기능이 가능한바, 예컨데 카메라에 접근한 사람의 얼굴에 마스크가 쓰여지거나, 다른 물건으로 얼굴을 가리는 경우에는 얼굴특성코드(FC)가 추출되지 않게 된다. 이로써 감지센서에 의한 단순 녹화기능만을 가진 기존의 DVR에 생기는 문제점을 해결할 수 있게 한다.
이를테면, 현금자동지급기(ATM)기에 설치된 DVR 영상물을, 사후 검색시 대부분 피의자로 추측되는 사람들의 얼굴이 MASK를 쓰거나 얼굴을 가려서 확인 불가한 경우를 방지할 수 있다는 것이다. 만일 마스크를 쓴 사람이 ATM기기에서 현금을 인출하려는 경우, 얼굴검출인식장치(FDR)에서 FC가 추출되지 않으면 현금인출이 불가능하도록 ATM기기 기능을 보완함으로써 도난 방지 및 범죄예방이 가능하도록 할 수 있는 것이다.
2. 특정인물만의 녹화
특히 사용자가 원하는 특정인물, 또는 다수의 특정인물군의 얼굴특성코드(FC)를 설정한 경우, 상기 설정된 얼굴특성코드(FC)가 추출되는 영상만을 녹화함으로써 기존 DVR보다 현저히 높은 녹화가능시간을 연장할 수 있는 장점을 확보할 수도 있다.
3. 녹화 영상에서 특정인물만의 검색
본 발명에 따른 얼굴영역검출장치를 이용하여, 녹화영상에서 특정인물만의 검색을 할 수 있도록 할 수 있다.
이를테면 DVR(disital vedio recorder)에 저장된 순차적인 영상물에 포함된 다수의 사람의 얼굴정보를, 얼굴영역검출방법에 의해, 원하는 특정 인물의 얼굴검출(FD)과 검출된 결과물인 얼굴이미지(FI)를 코드화한 얼굴특성코드(FC)로 분류하여, 특정인물이 출현하는 부분의 영상물 부분만를 검색 선별하여 디스플레이하거나 따로 저장할 수 있다. 즉 매우 긴 분량의 녹화영상물에서 기존의 방식은 원하는 부분의 장면을 보려면 녹화시간부분으로 되돌려 그 시점에서 녹화된 영상을 디스플레이 하는 방식을 취하게 된다.
그러나, 본 발명을 이용하는 경우에는 녹화된 영상물에 존재하는 얼굴이미지를 구비한 특정인물의 얼굴특성코드(FC)를 이용하여 해당영상물에 나타나는 인물군 락에서 상기 얼굴특성코드(FC)를 구비한 특정인물이 출현하는 부분의 영상만을 바로 검색하여 디스플레이할 수 있게 되는 것이다.
물론 이 경우 검색대상이 되는 녹화물은 본 발명의 얼굴검출인식(FDR)장치 내에 구비된 DVR을 이용할 수도 있으며, 외부영상기기를 연결하는 경우도 무방하다 할 것이다.
3. 다수의 인물군 중에서 특정인물의 도출
본 발명에 따른 경우, 운동경기장이나 다수의 군중이 운집한 경우, 또는 다수의 인물이 왕래하는 편의점 등의 감시카메라와 본 발명의 얼굴검출인식(FDR)과 얼굴검출서버(FC)와 연동되는 경우에, 이를 카메라를 통하여 녹화하거나 영상을 입력받는 경우에, 다수의 군중의 영상신호를 분석하여 각각의 인물을 얼굴특성코드(FC)화 하여 원하는 인물을 찾을 수도 있다.
따라서, 예를 들어 범죄 혐의자의 얼굴을 검출하는 경우에 활용되는 경우라면, 얼굴검출인식(FDR)장치의 데이터베이스 또는 얼굴검출서버(FS)에서 원하는 협의자의 얼굴특성크드(FC)와 영상에 잡인 특정인물의 얼굴특성코드(FC)를 비교하여 현재 입력된 FC와 일치되는 혐의자(데이터 베이스 상에 기 등록되어 있는 인물)의 FC와의 FC일치율(%), 그리고 일반적인 혐의자의 기록사항을 모니터에 디스플레이함으로써 장치 관리 및 감독자에게 현재 입력 영상속 인물 혹은 표시된 일치율 이상을 가지고 있는 인물에 대한 부가 신상 정보 등을 제공 표시할 수도 있다.
이하에서는 상술한 본 발명의 얼굴영역검출장치에서 얼굴이미지(FI)를 검출하는 방법을 설명한다.
본 방법은 영상입력 중 실시간으로 얼굴 검사 및 측정하는 방법으로서 아래와 같은 순서로 진행된다.
외부 영상입력 후에 얼굴 검사 및 측정하는 방법을 이용하여 입력되는 영상 중에서 얼굴을 검사 및 측정한다. 물론 외부영상의 입력은 상술한 바와 같이 녹화된 DVR의 영상신호에 의하거나, 상술한 적외선 광원을 통한 카메라의 영상이미지를 입력하는 것을 포함한다.
본 방법은 Ada Boost 통계분할분류기의 얼굴 검사 및 측정 방법에 의해 실시간 정면 얼굴을 검사 및 측정한다.
상기 얼굴 검사 및 측정하는 방법의 구체적인 실시과정은 다음과 같다.
ㄱ) 입력되는 동영상에서 얼굴 검사 및 측정하는 방법을 사용하여 화면에서 얼굴을 검사 및 측정 해내고 또다시 한번 검사 및 측정한다.
ㄴ) 상기 ㄱ)과정에서 서술된 동영상 화면에서의 얼굴 검사 및 측정하는 방법은 Ada Boost 계산 방법의 다단분류기에 의해 시현된다.
ㄷ) 상기 ㄴ)과정에서 서술된 동영상 화면에서의 얼굴 검사 및 측정하는 방법의 특징은 아래의 순서대로 진행되는 것이다.
ⅰ)동영상도입 ⅱ)얼굴추출 ⅲ)추출된 얼굴에서 특징확인 ⅳ)얼굴을 기하학적으로 수치화 ⅴ)얼굴화면을 회전,축소,확대
ㄹ) 얼굴 검사 및 측정을 위해 표준 얼굴 화면을 얻는다.
ㅁ) 상기 ㄷ)에서 서술된 동영상 화면에서의 얼굴 검사 및 측정하는 방법의 특징은 입력된 얼굴화면에서 좌 ,우 명암 편차를 제거한 후 얼굴 검사 및 측정 하는 방법이다.
ㅂ) 상기 ㄷ)에서 서술된 동영상 화면으로부터 얼굴 검사 및 측정된 실시간 얼굴화면의 축소 확대과정에서 얼굴 영상의 미세특징을 계산하여 분류하고 판단한다. 얼굴의 주요 위치와 거리 또 미세한 특징은 수치화된 얼굴값을 적분과 제곱적분을 통하여 얻어진다.
ㅅ) 상기 ㄱ)에서 서술된 동영상 화면에서의 얼굴 검사 및 측정하는 방법은 대략검사 및 측정과 미세검사 및 측정 두 단계로 이루어진다. 이 경우 미세검사 및 측정 때의 검사밀도는 대략검사 및 측정 때의 검사밀도보다 높다.
ㅇ) 상기 방법 중 대략검사 및 측정 방법은 얼굴화면을 추출하여 확대 축소를 하며 준비된 data base 중에서 조건에 충족하는 data들을 추출한 후 입력된 얼굴화면을 명암도 기하 제곱차 계산법 - Ada Boost 근거하여 계산하는 것으로 주어진 화면에서 미세한 생김새 특징을 계산하는 것임- 을 이용하여 명암의 편차를 수정한 후 동시에 분류부분에 보내어 판단한다. 그 판단결과를 다음 단계인 CPU ARM으로 넘겨준다.
ㅈ) 상기 ㅇ)에 기술된 동영상 검사 및 측정 방법의 결과물은 화면에 표시된다.
도 5를 참조하면, 도 5는 영상화면이 입력되고, 상기에서의 Ada Boost 방법에 의한 다단 분류기로 실현되는 검사 및 측정의 흐름을 간략하게 도시한 것이다. 상기와 같은 본 발명의 바람직한 실시예에 의한 Ada Boost를 바탕으로 한 통계, 분류, 단계적 구분의 방법은 검사 및 측정 속도가 빨라 실시간으로 입력되는 동영상의 검사 및 측정이 용이하며, 좌, 우 얼굴의 명암편차를 제거함으로써 조도 불균형으로 인한 오류를 예방할 수 있는 장점이 있다.
이렇게 추출된 얼굴이미지(FI)는 내부 연산과정을 거쳐서 얼굴특성코드화(FC)되어 데이터베이스화된다. 상술한 과정의 전반적인 부분은 모두 FC를 얼굴인식자료로 활용하는 표준적인 예를 설명하였으나, 얼굴특성코드단계의 전단계인 얼굴이미지(FI)도 얼굴인식자료로 활용이 가능함을 물론이다.
전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다 본 발명의 기술적 사상은 본 발명의 기술한 실시예에 국한되어 정해져서는 안 되며, 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명에 따른 바람직한 실시예의 개념도를 도시한 것이다.
도 2는 본 발명의 다른 실시예에 대한 개념도를 도시한 것이다.
도 3은 본 발명인 얼굴영역 검출장치의 작용상태를 도시한 것이다.
도 4는 본 발명의 또 다른 일 실시예를 도시한 개념도이다.
도 5는 본 발명에 따른 얼굴이미지를 검출하는 단계를 도시한 도면이다.

Claims (18)

  1. 광원을 피사체에 조사하는 적외선 발광부와, 상기 적외선 발광부에서 도출된 광원이 피사체에서 반사되어 입사되는 적외선 광을 획득하되, 카메라의 전면에 부설되어 중심파장이 800nm~1000nm 의 파장을 선별하여 여과하는 적외선 조리개를 구비한 카메라에 의해 획득되어 입력되는 영상물로부터 사람 얼굴의 이미지를 추출하는 얼굴검출단계(Face Detection; FD)에서 추출된 사람 얼굴 이미지(Face Image;FI)를,
    내부연산을 통하여 데이터베이스화가 가능한 형태의 얼굴특성코드(Face Feature Code;FC)로 부호화하는 얼굴검출인식부( Face Detection & Recoginition; FDR);
    상기 얼굴특성코드(FC)를 네트워크를 통하여 전송시키며, 상기 전송된 얼굴특성코드(FC)와 저장된 기존의 얼굴특성코드 데이터베이스와 비교하여 얼굴 특성 일치 여부를 판단하여 상기 얼굴검출인식부로 상기 판단결과를 전송하는 얼굴검출서버(Face Server; FS);
    를 포함하여 이루어지는 것을 특징으로 하는 얼굴영역 검출을 통한 얼굴인식장치.
  2. 청구항 1에 있어서,
    상기 얼굴검출서버(FS)는 상기 얼굴검출인식부(FDR)에서 전송되는 얼굴특성코드(FC)를 자체 데이터 베이스에 저장하며, 상기 얼굴검출인식부(FDR)에서 추출된 얼굴이미지(FI)의 정보를 전송받아 별도로 데이터 베이스화 하는 것을 특징으로 하는 얼굴영역 검출을 통한 얼굴인식장치.
  3. 청구항 1에 있어서,
    상기 얼굴검출서버(FS)는 자체적으로 얼굴검출작업(FD)과 상기 얼굴검출작업(FD)을 통해 얻어진 얼굴이미지(FI)를 얼굴특성코드(FC)로 전환하여 데이터 베이스화가 가능한 것을 특징으로 하는 얼굴영역 검출을 통한 얼굴인식장치.
  4. 청구항 1에 있어서,
    상기 얼굴검출인식부(FDR)은 내부에 영상데이터를 디지털 신호로 전환하는 DVR( disital vedio recorder)를 더 포함하여 이루어지는 것을 특징으로 하는 얼굴영역 검출을 통한 얼굴인식장치.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 청구항 1에 있어서,
    상기 적외선 조리개의 지름은 10~40nm,이며,
    상기 적외선 발광부는 지름이 10~40nm인 적외선 발광다이오드(LED) 이되, 적외선방출 중심파장이 800nm~1000nm 인 것을 특징으로 하는 얼굴영역 검출을 통한 얼굴인식장치.
  9. 광원을 피사체에 조사하는 적외선 발광부와, 상기 적외선 발광부에서 도출된 광원이 피사체에서 반사되어 입사되는 적외선 광을 획득하되, 카메라의 전면에 부설되어 중심파장이 800nm~1000nm 의 파장을 선별하여 여과하는 적외선 조리개를 구비한 카메라에 의해 획득되어 입력되는 영상물로부터 사람 얼굴의 이미지를 추출하는 얼굴검출단계(Face Detection; FD)에서 추출된 사람 얼굴 이미지(Face Image;FI)를,
    내부연산을 통하여 데이터 베이스화가 가능한 형태의 얼굴특성코드(Face Feature Code;FC)로 부호화하는 얼굴검출인식부( Face Detection & Recoginition; FDR);
    상기 얼굴검출인식부(FDR)의 외부에 USB를 통해 직접 장착되어 상기 얼굴검출인식부(FDR)에서 전송되는 얼굴특성코드(FC)와 자체 저장된 기존의 얼굴특성코드(FC)와 비교하여 얼굴특성의 일치 여부를 판단한 후, 판단 결과를 상기 얼굴검출 인식부에 재전송하는 얼굴인식 모듈(Face Recoginition Module);
    를 포함하여 이루어지는 것을 특징으로 하는 얼굴영역 검출을 통한 얼굴인식장치.
  10. 청구항 9에 있어서,
    상기 얼굴인식 모듈(Face Recoginition Module)은 상기 얼굴검출인식부(FDR)의 내부에 내장되어 장착되는 것을 특징으로 하는 얼굴영역 검출을 통한 얼굴인식장치.
  11. DVR(disital vedio recorder)에 저장된 순차적인 영상물에 포함된 다수의 사람의 얼굴정보를, 청구항 1 또는 9에 기재된 얼굴영역 검출을 통한 얼굴인식장치를 이용하여, 얼굴검출(FD)과 검출된 결과물인 얼굴이미지(FI)를 코드화한 얼굴특성코드(FC)로 변환하여 데이터베이스와 비교 판단함으로써 사전에 FS를 통하여 얼굴 데이터 베이스 내에 기록되어 있는 특정인물이 출현하는 부분의 영상물 만를 검색 선별하여 디스플레이하는 얼굴영역 검출을 통한 얼굴인식장치를 이용하여 얼굴영역을 인식하는 방법.
  12. 특정인물의 얼굴특성코드(FC)를 기준으로 청구항 1 또는 9에 기재된 얼굴영역 검출을 통한 얼굴인식장치를 이용하여 상기 특정인물이 가진 얼굴특성코드(FC)가 일치하는 사람의 얼굴로 인식하는 경우에만 영상을 녹화하는 것을 특징으로 하는 얼굴영역 검출을 통한 얼굴인식장치를 이용하여 얼굴영역을 인식하는 방법.
  13. 다수의 사람의 군 속에서 카메라를 통하여 무작위로 도출되는 다수의 사람얼굴을 얼굴검출(FD)과 검출된 결과물인 얼굴이미지(FC)를 코드화한 얼굴특성코드(FC)로 추출하여, 사용자가 지정한 얼굴특성코드(FC)와 일치하는 특정인물을 감지하여 도출하는, 청구항 4에 기재된 얼굴영역 검출을 통한 얼굴인식장치를 이용하여 얼굴영역을 인식하는 방법.
  14. (1)적외선 광원으로부터 피사체에 적외선을 조사하는 단계;
    (2)상기 조사된 적외선이 피사체로부터 반사되어 카메라로 영상이미지로 입력되되, 상기 입력이미지는 카메라 전면부에 설치된 조리개에 의해 여과된 적외선방출 중심파장이 800nm ~ 1000nm 인 영상이미지가 입력되는 단계;
    (3)얼굴검출인식부(Face Detection & Recoginition; FDR)에서 상기 입력된 영상이미지로부터 얼굴이미지(Face Image;FI)를 추출하고, 추출된 상기 얼굴이미지(FI)를 내부 연산을 통하여 얼굴특성코드(Face Code;FC)화 하는 단계; 및
    (4) 상기 얼굴특성코드(FC)를 네트워크를 통하여 얼굴검출서버(Face Server; FS)로 전송하여, 상기 얼굴검출서버(FS)에 저장된 얼굴특성코드 데이터와 일치여부를 비교하여 비교결과를 얼굴검출인식부(FDR)로 재전송하는 단계;
    를 포함하여 이루어지는 것을 특징으로 하는 얼굴영역검사방법.
  15. 청구항 14에 있어서,
    상기 (1)단계는 적외선 발광다이오드(LED)에 의해 이루어지는 단계인 것을 특징으로 하는 얼굴영역검사방법.
  16. 삭제
  17. 청구항 14에 있어서, 상기 (3)단계는,
    입력되는 영상이미지를 실시간으로 정면 얼굴의 정보를 검색측정하여 데이터(Data)화 하되, 아다부스트(Ada Boost) 계산방법의 다단 분류기에 의해 시행되는 것을 특징으로 하는 얼굴영역검사방법.
  18. 청구항 17에 있어서, 상기 데이터(Data)화 과정은,
    1)실시간으로 입력되는 영상이미지에서 얼굴화면을 추출하는 단계;
    2)상기 추출된 얼굴화면을 아다부스트(Ada Boost)법에 의해 대략검사와 미세검사를 반복하여 데이터(data) 값으로 도출하는 단계;
    3)상기 2)단계에서 검출된 데이터(data) 값을 식별위치로 전송하는 단계;
    4)상기 전송된 데이터(data) 값에 의해 얼굴특징을 결정하는 단계;
    5)상기 결정된 얼굴특징에 얼굴 각 부위의 기하학적 위치를 결정하고, 좌우 얼굴명암의 편차를 균일화하여 최종적인 얼굴화면을 도출하는 단계;
    6)상기 5)단계에서 도출된 얼굴화면을 회전 ,확대, 또는 축소하여 표준에 일치하는 화상을 도출하는 단계;
    를 포함하여 이루어지는 것을 특징으로 하는 얼굴영역검사방법.
KR1020070091033A 2007-03-22 2007-09-07 얼굴영역검출장치 및 검출방법 KR100795160B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008069196A JP2008259190A (ja) 2007-03-22 2008-03-18 顔領域検出装置及び検出方法
US12/052,025 US20080232651A1 (en) 2007-03-22 2008-03-20 Apparatus and method for detecting face region
GB0805228A GB2448050A (en) 2007-03-22 2008-03-20 A method and apparatus for extracting face images from video data and performing recognition matching for identification of people.

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20070028037 2007-03-22
KR1020070028037 2007-03-22

Publications (1)

Publication Number Publication Date
KR100795160B1 true KR100795160B1 (ko) 2008-01-16

Family

ID=39218241

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070091033A KR100795160B1 (ko) 2007-03-22 2007-09-07 얼굴영역검출장치 및 검출방법

Country Status (4)

Country Link
US (1) US20080232651A1 (ko)
JP (1) JP2008259190A (ko)
KR (1) KR100795160B1 (ko)
CN (1) CN101271519A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110067815A (ko) * 2009-12-15 2011-06-22 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR101082842B1 (ko) 2008-12-10 2011-11-11 한국전자통신연구원 영상을 이용한 얼굴 인식 방법 및 그 장치
KR101107308B1 (ko) 2009-10-29 2012-01-20 한국인식산업(주) 영상 검색 및 인식 방법
WO2012087245A2 (en) * 2010-12-22 2012-06-28 Xid Technologies Pte Ltd Systems and methods for face authentication or recognition using spectrally and/or temporally filtered flash illumination
KR101344723B1 (ko) 2013-01-16 2013-12-24 김학철 약용식물 도난 방지시스템
KR20150136971A (ko) 2014-05-28 2015-12-08 한국과학기술원 저 에너지/해상도 가지는 얼굴 검출 방법 및 장치
CN109753575A (zh) * 2018-08-27 2019-05-14 广州麦仑信息科技有限公司 一种基于统计编码的掌静脉图像快速检索方法

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090279789A1 (en) * 2008-05-09 2009-11-12 Ajay Malik System and Method to Recognize Images
CN103402070B (zh) 2008-05-19 2017-07-07 日立麦克赛尔株式会社 记录再现装置及方法
EP2291796A1 (en) * 2008-07-02 2011-03-09 C-True Ltd. Networked face recognition system
US8531523B2 (en) * 2009-12-08 2013-09-10 Trueposition, Inc. Multi-sensor location and identification
US10424342B2 (en) 2010-07-28 2019-09-24 International Business Machines Corporation Facilitating people search in video surveillance
US9134399B2 (en) 2010-07-28 2015-09-15 International Business Machines Corporation Attribute-based person tracking across multiple cameras
US8515127B2 (en) 2010-07-28 2013-08-20 International Business Machines Corporation Multispectral detection of personal attributes for video surveillance
US8532390B2 (en) 2010-07-28 2013-09-10 International Business Machines Corporation Semantic parsing of objects in video
KR101740231B1 (ko) * 2010-11-17 2017-05-26 삼성전자주식회사 3차원 얼굴 위치 추정 방법 및 장치
US9183546B2 (en) * 2011-10-07 2015-11-10 Hewlett-Packard Development Company, L.P. Methods and systems for a reminder servicer using visual recognition
KR20140055819A (ko) * 2012-11-01 2014-05-09 삼성전자주식회사 얼굴인식장치 및 그 제어방법
JP2014164697A (ja) * 2013-02-27 2014-09-08 Canon Inc 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
CN104750382A (zh) * 2013-12-31 2015-07-01 环达电脑(上海)有限公司 移动设备自动解锁、锁定***及其方法
US10198758B2 (en) 2014-03-28 2019-02-05 Ecovacs Robotics, Inc. Guide robot for shopping guiding system and method
CN104281834B (zh) * 2014-05-16 2017-07-25 华为技术有限公司 一种人脸识别的方法及设备
CN104408802A (zh) * 2014-11-26 2015-03-11 苏州福丰科技有限公司 基于人面识别的智能门禁***
TWI577329B (zh) * 2015-03-27 2017-04-11 Aeto Tech Corp Iris detection system
US10719710B2 (en) * 2015-06-24 2020-07-21 Intel Corporation Capturing media moments of people using an aerial camera system
CN105160289A (zh) * 2015-07-03 2015-12-16 深圳市金立通信设备有限公司 一种人脸识别方法及终端
CN105320872A (zh) * 2015-11-05 2016-02-10 上海聚虹光电科技有限公司 基于虹膜识别的机器人操作权限设定方法
US10497014B2 (en) * 2016-04-22 2019-12-03 Inreality Limited Retail store digital shelf for recommending products utilizing facial recognition in a peer to peer network
CN106406710B (zh) * 2016-09-30 2021-08-27 维沃移动通信有限公司 一种录制屏幕的方法及移动终端
WO2019095221A1 (zh) * 2017-11-16 2019-05-23 深圳前海达闼云端智能科技有限公司 人物搜寻方法、装置、终端及云端服务器
CN108416333B (zh) * 2018-03-30 2020-01-17 百度在线网络技术(北京)有限公司 图像处理的方法和装置
US10816979B2 (en) * 2018-08-24 2020-10-27 Baidu Usa Llc Image data acquisition logic of an autonomous driving vehicle for capturing image data using cameras
CN109740490A (zh) * 2018-12-27 2019-05-10 深圳市商汤科技有限公司 身份验证方法及装置
CN109857238A (zh) * 2019-02-25 2019-06-07 深圳传音通讯有限公司 终端解锁方法及终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003316746A (ja) 2002-04-25 2003-11-07 Toshiba Corp 人物認識システム
KR20030093464A (ko) * 2002-06-03 2003-12-11 (주)아이엠에이테크놀로지 얼굴인식을 이용한 이동통신단말기의 보안 인증방법
US6882741B2 (en) 2000-03-22 2005-04-19 Kabushiki Kaisha Toshiba Facial image recognition apparatus
JP2005293172A (ja) 2004-03-31 2005-10-20 Toshiba Tec Corp 認証システム
KR20060057110A (ko) * 2004-11-23 2006-05-26 홍기천 얼굴 검출 및 인증 장치 및 그 방법

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5107351A (en) * 1990-02-16 1992-04-21 Grumman Aerospace Corporation Image enhanced optical correlator system
EP0664642B1 (en) * 1994-01-20 2002-07-24 Omron Corporation Image processing device for identifying an input image, and copier including same
US7634662B2 (en) * 2002-11-21 2009-12-15 Monroe David A Method for incorporating facial recognition technology in a multimedia surveillance system
US6965693B1 (en) * 1999-08-19 2005-11-15 Sony Corporation Image processor, image processing method, and recorded medium
JP4612762B2 (ja) * 2000-05-15 2011-01-12 キヤノン株式会社 画像形成装置
US6665502B2 (en) * 2000-06-06 2003-12-16 Canon Kabushiki Kaisha Image forming apparatus with electrostatic potential-based developer correction
TWI282941B (en) * 2001-03-15 2007-06-21 Toshiba Corp Entrance management apparatus and entrance management method by using face features identification
TWI299471B (en) * 2001-08-24 2008-08-01 Toshiba Kk Person recognition apparatus
US20030169906A1 (en) * 2002-02-26 2003-09-11 Gokturk Salih Burak Method and apparatus for recognizing objects
US7203356B2 (en) * 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
KR100438841B1 (ko) * 2002-04-23 2004-07-05 삼성전자주식회사 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템
CN2682454Y (zh) * 2002-07-26 2005-03-02 精工爱普生株式会社 包括转印带的图像形成装置
JP2004070447A (ja) * 2002-08-01 2004-03-04 Global Security Design Inc 携帯電話及び携帯電話による本人認証システム
US7508961B2 (en) * 2003-03-12 2009-03-24 Eastman Kodak Company Method and system for face detection in digital images
US7555148B1 (en) * 2004-01-22 2009-06-30 Fotonation Vision Limited Classification system for consumer digital images using workflow, face detection, normalization, and face recognition
US7551755B1 (en) * 2004-01-22 2009-06-23 Fotonation Vision Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US7558408B1 (en) * 2004-01-22 2009-07-07 Fotonation Vision Limited Classification system for consumer digital images using workflow and user interface modules, and face detection and recognition
US7693308B2 (en) * 2004-03-24 2010-04-06 Fujifilm Corporation Authentication system, authentication method, machine readable medium storing thereon authentication program, certificate photograph taking apparatus, and certificate photograph taking method
JP4269998B2 (ja) * 2004-03-26 2009-05-27 株式会社デンソー 撮影装置
EP1748387B1 (en) * 2004-05-21 2018-12-05 Asahi Kasei Kabushiki Kaisha Devices for classifying the arousal state of the eyes of a driver, corresponding method and computer readable storage medium
JP2006079220A (ja) * 2004-09-08 2006-03-23 Fuji Photo Film Co Ltd 画像検索装置および方法
US7715597B2 (en) * 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US7315631B1 (en) * 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
JP4824411B2 (ja) * 2005-01-20 2011-11-30 パナソニック株式会社 顔抽出装置、半導体集積回路
EP1699028B1 (en) * 2005-03-01 2014-05-07 OMRON Corporation Wireless alarm system with remote alarm receipt
US20060222217A1 (en) * 2005-03-31 2006-10-05 Fuji Photo Film Co., Ltd. Method, apparatus, and program for discriminating faces
JP2007058722A (ja) * 2005-08-26 2007-03-08 Fujifilm Corp 判別器の学習方法および対象判別装置ならびにプログラム
JP2007094633A (ja) * 2005-09-28 2007-04-12 Fujifilm Corp 顔検出装置ならびにプログラム
KR100714726B1 (ko) * 2006-01-11 2007-05-04 삼성전자주식회사 얼굴 인식 방법 및 장치
KR100745981B1 (ko) * 2006-01-13 2007-08-06 삼성전자주식회사 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치
JP4862447B2 (ja) * 2006-03-23 2012-01-25 沖電気工業株式会社 顔認識システム
JP4367429B2 (ja) * 2006-04-14 2009-11-18 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置
JP4218698B2 (ja) * 2006-06-08 2009-02-04 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置および画像形成方法
KR100813167B1 (ko) * 2006-06-09 2008-03-17 삼성전자주식회사 고속 정확한 얼굴 검출 방법과 얼굴 검출 학습 방법 및이를 구현하는 시스템
JP4775150B2 (ja) * 2006-07-19 2011-09-21 ブラザー工業株式会社 画像形成装置
JP4751786B2 (ja) * 2006-08-03 2011-08-17 富士通株式会社 デコード装置、デコード方法、及びデコードプログラム
US8031914B2 (en) * 2006-10-11 2011-10-04 Hewlett-Packard Development Company, L.P. Face-based image clustering
US7712901B2 (en) * 2006-12-08 2010-05-11 Predictek, Inc. Method and apparatus for diagnosing conditions of the eye with infrared light
JP4898475B2 (ja) * 2007-02-05 2012-03-14 富士フイルム株式会社 撮影制御装置、撮影装置、及び撮影制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6882741B2 (en) 2000-03-22 2005-04-19 Kabushiki Kaisha Toshiba Facial image recognition apparatus
JP2003316746A (ja) 2002-04-25 2003-11-07 Toshiba Corp 人物認識システム
KR20030093464A (ko) * 2002-06-03 2003-12-11 (주)아이엠에이테크놀로지 얼굴인식을 이용한 이동통신단말기의 보안 인증방법
JP2005293172A (ja) 2004-03-31 2005-10-20 Toshiba Tec Corp 認証システム
KR20060057110A (ko) * 2004-11-23 2006-05-26 홍기천 얼굴 검출 및 인증 장치 및 그 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101082842B1 (ko) 2008-12-10 2011-11-11 한국전자통신연구원 영상을 이용한 얼굴 인식 방법 및 그 장치
KR101107308B1 (ko) 2009-10-29 2012-01-20 한국인식산업(주) 영상 검색 및 인식 방법
KR20110067815A (ko) * 2009-12-15 2011-06-22 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR101635880B1 (ko) * 2009-12-15 2016-07-20 엘지전자 주식회사 이동 단말기 및 그 제어 방법
WO2012087245A2 (en) * 2010-12-22 2012-06-28 Xid Technologies Pte Ltd Systems and methods for face authentication or recognition using spectrally and/or temporally filtered flash illumination
WO2012087245A3 (en) * 2010-12-22 2012-10-11 Xid Technologies Pte Ltd Systems and methods for face authentication or recognition using spectrally and/or temporally filtered flash illumination
US9256794B2 (en) 2010-12-22 2016-02-09 Xid Technologies Pte Ltd Systems and methods for face authentication or recognition using spectrally and/or temporally filtered flash illumination
KR101344723B1 (ko) 2013-01-16 2013-12-24 김학철 약용식물 도난 방지시스템
KR20150136971A (ko) 2014-05-28 2015-12-08 한국과학기술원 저 에너지/해상도 가지는 얼굴 검출 방법 및 장치
CN109753575A (zh) * 2018-08-27 2019-05-14 广州麦仑信息科技有限公司 一种基于统计编码的掌静脉图像快速检索方法
CN109753575B (zh) * 2018-08-27 2023-04-18 广州麦仑信息科技有限公司 一种基于统计编码的掌静脉图像快速检索方法

Also Published As

Publication number Publication date
CN101271519A (zh) 2008-09-24
JP2008259190A (ja) 2008-10-23
US20080232651A1 (en) 2008-09-25

Similar Documents

Publication Publication Date Title
KR100795160B1 (ko) 얼굴영역검출장치 및 검출방법
CN109934176B (zh) 行人识别***、识别方法及计算机可读存储介质
KR100974293B1 (ko) 얼굴 인식 방법 및 시스템
US9195900B2 (en) System and method based on hybrid biometric detection
CA2559381C (en) Interactive system for recognition analysis of multiple streams of video
CN105956520B (zh) 一种基于多模式生物识别信息的个人识别装置和方法
CN109101871A (zh) 一种基于深度和近红外信息的活体检测装置、检测方法及其应用
US20130129164A1 (en) Identity recognition system and method based on hybrid biometrics
KR100983346B1 (ko) Ir조명을 이용한 얼굴인식 시스템 및 방법
CN103049459A (zh) 一种基于特征识别的快速录像检索方法
CN102262727A (zh) 客户采集终端人脸图像质量实时监控方法
CN111462379A (zh) 一种含掌静脉和人脸识别的门禁管理方法、***及介质
CN108230607A (zh) 一种基于区域特征分析的图像火灾探测方法
Sujatha et al. Biometric authentication system with hand vein features using morphological processing
CN1168044C (zh) 基于步态的远距离身份识别方法
GB2448050A (en) A method and apparatus for extracting face images from video data and performing recognition matching for identification of people.
JP5851108B2 (ja) 画像監視装置
US7653219B2 (en) System and method for image attribute recording an analysis for biometric applications
KR102423934B1 (ko) 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션
CN113591619A (zh) 一种基于录像视频的人脸识别核验装置及其核验方法
Fawwaz et al. Vision application of LabVIEW: IGUI for face and pattern detection in real time
Liu et al. Face liveness verification based on hyperspectrum analysis
KR20040013243A (ko) 문형금속탐지기의 스테레오 얼굴인식장치 및 그 제어방법
Schreiner Biometrics: Prospects for going the distance
Badejo et al. Development of CUiris: A dark-skinned african iris dataset for enhancement of image analysis and robust personal recognition

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
LAPS Lapse due to unpaid annual fee