KR20200098875A - 3d 얼굴인식 시스템 및 방법 - Google Patents

3d 얼굴인식 시스템 및 방법 Download PDF

Info

Publication number
KR20200098875A
KR20200098875A KR1020190016528A KR20190016528A KR20200098875A KR 20200098875 A KR20200098875 A KR 20200098875A KR 1020190016528 A KR1020190016528 A KR 1020190016528A KR 20190016528 A KR20190016528 A KR 20190016528A KR 20200098875 A KR20200098875 A KR 20200098875A
Authority
KR
South Korea
Prior art keywords
face
search
request
web service
image
Prior art date
Application number
KR1020190016528A
Other languages
English (en)
Inventor
강기헌
권태송
Original Assignee
주식회사 휴먼아이씨티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 휴먼아이씨티 filed Critical 주식회사 휴먼아이씨티
Priority to KR1020190016528A priority Critical patent/KR20200098875A/ko
Publication of KR20200098875A publication Critical patent/KR20200098875A/ko

Links

Images

Classifications

    • G06K9/00201
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • G06K9/00268
    • G06K9/00288
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 3D 얼굴인식 시스템 및 방법에 관한 것이다. 본 3D 얼굴인식 시스템은, 웹 서비스를 통해 의뢰 영상을 입력하여, 의뢰 영상에 대한 얼굴 검색을 요청하는 검색 요청 단말기, 웹 서비스를 통해 얼굴 검색 요청을 접수하고, 의뢰 영상에 대하여 매칭 조건을 설정하여, 의뢰 영상에 대한 검색을 요청하는 검색 처리 단말기, 및 의뢰 영상에서 추출된 얼굴 영역으로부터 특징점을 추출하고 얼굴의 포즈 예측을 수행하여 생성한 예측 얼굴 포즈 정보와, 데이터베이스에 저장된 3차원 얼굴 모델링 정보를 이용한 3차원 얼굴 인식 과정에 따라 검색된 얼굴 관련 정보를 검색 처리 단말기로 전송하는 검색 서버부를 포함하며, 검색 처리 단말기는 웹 서비스를 통해 얼굴 관련 정보와 얼굴 관련 정보에 대한 감정서를 검색 요청 단말기로 전송한다. 본 발명에 따르면, CCTV와 같은 영상기기로 입력되는 2차원 영상과 데이터베이스에 저장된 3차원 얼굴 모델링 정보 간의 매칭을 통해, 다양한 얼굴 각도에 대한 얼굴 인식이 가능하며, 이러한 3차원 얼굴 인식 기능을 웹 서비스를 통해 제공할 수 있다.

Description

3D 얼굴인식 시스템 및 방법{System and method for providing 3D face recognition}
본 발명은 3D 얼굴인식 시스템 및 방법에 관한 것으로, 더욱 상세하게는 다양한 얼굴 각도에서 얼굴 인식이 가능하며, 웹 서비스를 통해 얼굴 인식 및 검색 기능을 제공할 수 있는 3D 얼굴인식 시스템 및 방법에 관한 것이다.
최근 범죄예방 및 시설 보호 등을 위하여 CCTV나 블랙박스 등 다양한 영상기기의 설치가 급증하고 있으며, 이러한 영상기기로부터 수집한 영상은 범죄 예방이나 경찰의 수사 등에 활용되고 있다.
그런데, 각종 영상기기로부터 수집한 영상을 2차원 기법의 얼굴 인식을 통해 활용하는 것은, 영상기기로부터 수집한 얼굴 영상의 근본적인 제약으로 인하여 인식성능 저하를 피할 수 없다.
즉, 사람의 얼굴은 좌우 3차원 회전이 가능하며, 이에 따라 영상기기로 입력되는 얼굴 영상은 다양한 자세와 변화를 가진 2차원 영상으로 변형되게 된다. 또한, 사람의 얼굴은 눈 깜박임, 입 움직임에 따라 다양한 국부적 표정 변화를 갖게 된다. 이외에도 화장, 헤어스타일, 액세서리 등도 얼굴에 많은 변화를 주는 요인이 되고 있다.
따라서, 각종 범죄의 예방 및 얼굴 검색 기반 수사 인프라 구축을 위해서는 다양한 얼굴 각도에 대한 얼굴 인식 성능의 개선이 필요하여, 장소에 무관하게 얼굴 인식 및 검색 기능을 이용하기 위해서는 웹 서비스를 통해 얼굴 인식이나 검색 기능을 제공하는 방안이 필요하다.
따라서, 본 발명의 목적은, 다양한 얼굴 각도에서 얼굴 인식이 가능하며, 웹 서비스를 통해 얼굴 인식 및 검색 기능을 제공할 수 있는 3D 얼굴인식 시스템 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명에 따른 3D 얼굴인식 시스템, 웹 서비스를 통해 의뢰 영상을 입력하여, 상기 의뢰 영상에 대한 얼굴 검색을 요청하는 검색 요청 단말기, 상기 웹 서비스를 통해 상기 얼굴 검색 요청을 접수하고, 상기 의뢰 영상에 대하여 매칭 조건을 설정하여, 상기 의뢰 영상에 대한 검색을 요청하는 검색 처리 단말기, 및 상기 의뢰 영상에서 추출된 얼굴 영역으로부터 특징점을 추출하고 얼굴의 포즈 예측을 수행하여 생성한 예측 얼굴 포즈 정보와, 데이터베이스에 저장된 3차원 얼굴 모델링 정보를 이용한 3차원 얼굴 인식 과정에 따라 검색된 얼굴 관련 정보를 상기 검색 처리 단말기로 전송하는 검색 서버부를 포함하며, 상기 검색 처리 단말기는 상기 웹 서비스를 통해 상기 얼굴 관련 정보와 상기 얼굴 관련 정보에 대한 감정서를 상기 검색 요청 단말기로 전송할 수 있다.
상기 검색 서버부는, 상기 얼굴 포즈 정보와, 상기 데이터베이스에 저장된 3차원 기법의 얼굴 정보를 상기 예측 얼굴 포즈 정보에 대응하여 포즈 변형을 수행한 후 2차원 영상으로 투영하여 특징점을 추출한 정보를 비교하여, 상기 3차원 얼굴 인식 과정을 수행하는 매칭 서버부, 상기기 웹 서비스를 제공하는 응용 서버부, 상기 데이터베이스를 관리하는 DB 서버부, 및 상기 데이터베이스를 저장하는 스토리지부를 포함할 수 있다. 상기 검색 서버부는, 상기 3차원 기법의 얼굴 정보를 생성하여, 상기 데이터베이스에 저장하는 3D 모델링부를 더 포함할 수 있다.
또한, 상기 웹 서비스를 통해 상기 의뢰 영상의 편집 및 특징점 보정을 위한 메뉴와, 상기 웹 서비스를 통해 상기 데이터베이스 관리를 위한 메뉴를 제공할 수 있다.
상기 목적을 달성하기 위한 본 발명에 따른 3D 얼굴인식 방법은, 검색 요청 단말기에서 웹 서비스를 통해 의뢰 영상을 입력하고, 상기 의뢰 영상에 대한 얼굴 검색을 요청하는 단계, 검색 처리 단말기에서 상기 웹 서비스를 통해 상기 얼굴 검색 요청을 접수하고, 상기 의뢰 영상에 대하여 매칭 조건을 설정하여, 상기 의뢰 영상에 대한 검색을 요청하는 단계, 검색 서버부에서 상기 의뢰 영상에서 추출된 얼굴 영역으로부터 특징점을 추출하고 얼굴의 포즈 예측을 수행하여 생성한 예측 얼굴 포즈 정보와, 데이터베이스에 저장된 3차원 얼굴 모델링 정보를 이용한 3차원 얼굴 인식 과정에 따라 검색된 얼굴 관련 정보를 상기 검색 처리 단말기로 전송하는 단계, 및 상기 검색 처리 단말기에서 상기 웹 서비스를 통해 상기 얼굴 관련 정보와 상기 얼굴 관련 정보에 대한 감정서를 상기 검색 요청 단말기로 전송하는 단계를 포함한다.
그리고, 상기 목적을 달성하기 위하여 본 발명에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 프로세서로 읽을 수 있는 기록매체를 제공한다.
본 발명에 따르면, CCTV와 같은 영상기기로 입력되는 2차원 영상과 데이터베이스에 저장된 3차원 얼굴 모델링 정보 간의 매칭을 통해, 다양한 얼굴 각도에 대한 얼굴 인식 및 검색이 가능하며, 이러한 3차원 얼굴 인식 및 검색 기능을 웹 서비스를 통해 제공할 수 있다. 이에 의해, 범죄 발생시 신속하게 용의자 후보군을 검색하여 수사 정보로 제공할 수 있어, 신속한 용의자 검거가 가능하다. 또한, 이를 통해 범죄 예방과 얼굴 검색 기반 수사 인프라 구축이 가능하고, 범죄 예방 및 빠른 사후 대응 등을 위해 설치한 다양한 영상기기의 활용도를 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 3D 얼굴인식 시스템의 구성을 설명하기 위한 도면,
도 2 내지 도 4는 본 발명의 일실시예에 따른 3D 얼굴인식 시스템의 동작 방법에 대한 설명에 제공되는 흐름도, 그리고
도 5 내지 도 22는 본 발명의 일실시예에 따른 3D 얼굴인식 시스템의 동작 과정에 대한 설명에 참조되는 도면이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 경우, 어떤 구성요소에 다른 구성요소에 직접적으로 연결되어 있거나 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에" 또는 "~에 이웃하는" 등과, 어떤 구성요소가 다른 구성요소로 신호를 "전송한다" 와 같은 표현도 마찬가지로 해석되어야 한다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 3D 얼굴인식 시스템의 구성을 설명하기 위한 도면이다.
도 1을 참조하면, 검색 서버부(100)가 통신망(50)을 통해 검색 의뢰 단말기(200) 및 검색 처리 단말기(250)와 통신 가능하게 연결된다.
통신망(50)은 이동통신망이나 인터넷 혹은 이들이 결합한 망 등과 같이, 검색 의뢰 단말기(200), 검색 처리 단말기(250), 및 검색 서버부(100) 간에 통신 가능한 모든 네트워크를 의미한다.
검색 서버부(100)는, 매칭 서버부(110)), 응용 서버부(120), DB 서버부(130), 스토리지부(140), 및 3D 모델링부(150)를 포함할 수 있다, 이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.
매칭 서버부(110)는 3차원 얼굴 인식 과정을 수행한다. 즉, 매칭 서버부(110)는 의뢰된 영상에서 추출된 얼굴 영역으로부터 특징점을 추출하고 얼굴의 포즈 예측을 수행하여 생성한 예측 얼굴 포즈 정보와, 데이터베이스에 저장된 3차원 얼굴 모델링 정보를 예측 얼굴 포즈 정보에 대응하여 포즈 변형을 수행한 후 2차원 영상으로 투영하여 특징점을 추출한 정보를 비교하여, 검색된 얼굴 관련 정보를 출력한다.
매칭 서버부(110)는 RPnP(Robust perspective-n-points) 방법 등을 사용하여 좌우±90°, 상하 ±30° 범위에서 3차원 포즈 예측이 가능하다. 또한, 매칭 서버부(110)는 얼굴의 전역적 및 지역적 사진 정보를 활용하는 hallucination 기법과, 프레임 간의 정합 및 움직임 모델링 등을 이용하여, 저해상도 얼굴 영상을 고해상도화 얼굴 영상으로 복원할 수 있으며, 얼굴 부위별 주름, 질감 및 형태 정보 등을 활용하는 자동 나이 인식 기법을 활용할 수도 있다.
응용 서버부(120)는 3D 얼굴 인식 기능의 제공을 위한 웹 서비스나 기타 응용 프로그램의 수행을 위한 기능을 제공할 수 있다.
DB 서버부(130)는 3차원 얼굴 모델링 정보 등이 기록된 데이터베이스를 관리한다.
스토리지부(140)는 하드디스크나 SSD 등으로 구성되어, 데이터베이스와 기타 시스템 동작에 필요한 프로그램이나 데이터를 저장할 수 있다.
3D 모델링부(150)는 3차원 스캐너나 2D 영상의 3D 영상 변환 등에 의해, 3차원 얼굴 모델링 정보를 생성하여, 데이터베이스에 저장할 수 있다.
검색 의뢰 단말기(200), 검색 처리 단말기(250)는 검색 서버부(100)에서 제공되는 3D 얼굴 인식이나 검색을 위한 웹 서비스에 접속 가능한 단말기로서, 일반적인 PC(Personal Computer) 뿐만 아니라 스마트폰(smart phone), 노트북 컴퓨터(notebook computer), 타블렛 컴퓨터(tablet computer) 등과 같이 통신망(50)을 통해 검색 서버부(100)와 통신 가능한 모든 전자기기를 포함한다.
검색 의뢰 단말기(200), 검색 처리 단말기(250)는 하나 이상 존재할 수 있으며, 검색 의뢰 단말기(200)는 수사관 측에 배치되고, 검색 처리 단말기(250)는 분석관 측에 배치될 수 있다.
이와 같은 구성에 의해, 검색 의뢰 단말기(200)는 웹 서비스를 통해 의뢰 영상을 입력하고, 입력된 의뢰 영상에 대한 얼굴 검색을 요청하며, 검색 처리 단말기(250)는 웹 서비스를 통해 얼굴 검색 요청을 접수하고, 의뢰 영상에 대하여 매칭 조건을 설정하여, 의뢰 영상에 대한 검색을 검색 서버부(100)에 요청할 수 있다.
그리고, 검색 처리 단말기(250)는 검색된 얼굴 관련 정보와 얼굴 관련 정보에 대한 감정서를 웹 서비스를 통해 검색 요청 단말기(200)로 전송할 수 있다.
도 2 내지 도 4는 본 발명의 일실시예에 따른 3D 얼굴인식 시스템의 동작 방법에 대한 설명에 제공되는 흐름도이다.
도 2를 참조하면, 검색 요청 단말기(200)에서는, 웹 서비스를 통해 분석대상 사건을 등록한다(S300). 그리고, 웹 서비스를 통해 얼굴 인식을 위한 의뢰 영상을 입력하고(S305), 얼굴 검색을 요청한다(S310).
의뢰 영상은 정지 영상이나 동영상일 수 있으며, 컬러 영상과 흑백 영상을 포함하며, 검색 요청 단말기(200)는 수사관 측에 배치될 수 있다.
얼굴 검색 요청 후, 검색 결과가 처리되어 등록되기까지 대기한 후(S315), 검색 결과가 등록되면 결과를 확인한다(S320). 확인된 결과는 범죄 예방이나 수사 등에 활용할 수 있다.
도 3을 참조하면, 검색 처리 단말기(250)에서는 웹 서비스를 통해 얼굴 검색 요청을 접수하면(S350), 필요에 따라 의뢰 영상의 보정이나 담당자의 지정과 같은 검색 준비 과정을 거친 후(S355), 얼굴 인식을 위한 매칭 조건을 설정하여(S360), 의뢰 영상에 대한 검색을 의뢰한다(S365).
검색 결과가 처리되어 수신되기까지 대기한 후(S370), 검색 결과에 따라 재검색이 필요한 경우, S360 단계 및 S365 단계를 다시 수행하고, 재검색이 필요하지 않은 경우에는, 검색 결과에 대한 감정서를 발급하고(S380), 웹 서비스를 통해 결과를 등록한다(S385). 결과가 등록되면, 웹 서비스를 통해 검색 요청 단말기(200)에서 검색 결과를 확인할 수 있다.
도 4를 참조하면, 검색 서버부(100)에서 얼굴 검색 의뢰를 수신하면(S400), 의뢰 영상에서 추출된 얼굴 영역으로부터 특징점을 추출하고 얼굴의 포즈 예측을 수행하여 예측 얼굴 포즈 정보를 생성한다(S405).
이 과정에서 조명등 외부 환경 요소를 정규화하는 과정이나, 코드화된 특징점의 빠른 계산 및 인식률 향상을 위한 차원 축소 과정 등이 수행될 수 있다.
다음으로, 데이터베이스에 저장된 3차원 얼굴 모델링 정보를 예측 얼굴 포즈 정보에 대응하여 포즈 변형을 수행한 후 2차원 영상으로 투영하여 특징점을 추출하여 대비할 정보를 생성한 후(S410), 매칭 알고리즘을 수행하여(S415), 3차원 얼굴 인식 과정을 수행한다.
3차원 얼굴 인식 과정은, 의뢰 영상에서 얼굴 영역을 검출하고, 검출된 얼굴영역에서 특징점 추출, 얼굴의 포즈 예측을 수행하여, 예측된 얼굴의 포즈 정보에 따라 데이터베이스에 기록된 3차원 얼굴 모델링 정보들을 해당 포즈로의 변형을 수행한 후, 2차원 영상으로 투영하여 2차원 얼굴 특징 추출 및 얼굴 인식 과정을 수행하는 과정을 의미한다.
3차원 얼굴 인식 과정의 수행에 따라 검색 결과 정보를 생성하고(S415), 생성한 검색 결과 정보를 검색 처리 단말기(250)로 전달한다(S420).
이와 같은 과정에 의해, 검색 의뢰 단말기(200)에서 특정 얼굴 영상에 매칭되는 얼굴 정보를 요청하여 받아볼 수 있다.
도 5 내지 도 23은 본 발명의 일실시예에 따른 3D 얼굴인식 시스템의 동작 과정에 대한 설명에 참조되는 도면이다.
도 5는 3D 얼굴인식 시스템에 의해 제공되는 3D 얼굴인식 웹 서비스의 로그인 화면의 일 예를 나타낸 것이다.
도 5에 도시한 바와 같이, 3D 얼굴인식 웹 서비스에 접속하면, 로그인 화면이 표시되고, 로그인 화면에서 ①로 나타낸 부분에 ID를 입력하고, ②로 나타낸 부분에 패스워드를 입력한 후 'LOGIN' 버튼을 클릭하여 로그인할 수 있다.
'ID 저장' 체크박스 선택시, 입력한 ID가 저장되어, 다음번 로그인시 ID 입력없이 사용할 수 있다.
도 6은 로그인 화면에서 로그인 후 표시되는 메인 화면의 일 예를 나타낸 것이다.
도 6에 도시한 바와 같이, 메인 화면에서 ①로 나타낸 부분에는 사용자 이름과, 비밀번호 변경 버튼, 로그 아웃 버튼이 표시된다. 그 아래 ②로 나타낸 부분에는 메인 메뉴 항목 리스트가 표시된다. 메인 메뉴 항목 리스트는 사용자 권한에 따라 다르게 표시할 수 있다.
메인 화면에서 ③으로 나타낸 부분에는 진행상태가 표시되고, ④로 나타낸 부분에는 검색 현황, 담당자 연락처, QuickMenu 등이 표시된다.
도 7은 메인 화면의 메인 메뉴 항목 리스트에서 '얼굴검색요청' 항목을 선택한 경우 표시되는 화면을 나타낸 것이다. 이와 같은 얼굴 검색 요청은 검색요청 단말기(200)에서 수행될 수 있다.
도 7에 도시한 바와 같이, '얼굴검색요청' 항목 선택시, 요청 내역 및 등록 사진 확인 등이 가능하다.
도 8 및 도 9에 도시한 바와 같이, 화면 좌측에서 얼굴검색결과 확인 메뉴를 선택하는 경우, 요청 내역 및 검색 결과를 나타낸 요청 내역 상세 화면을 표시할 수 있다. 요청 내역 상세 화면에서, ①로 나타낸 부분에 해당 항목의 내용을 숨길 수 있는 '요청내용 숨기기' 버튼과 '검색결과 숨기기' 버튼이 표시되고, ②로 나타낸 부분에 요청 내용을 요약한 내용이 표시된다.
③으로 나타낸 부분에, 처리 담당자, 연락처, 검색일시, 검색소견, 검색 결과 등이 표시되고, 대조 사진 확인과 유사도를 표시할 수 있다.
도 9에 도시한 바와 같이, 하나 이상의 검색 결과가 있는 경우, 처리 담당자, 연락처, 검색일시, 검색소견, 검색 결과와, 성명, 성별, 연령, 주소지 등을 표시한 대상자 리스트를 표시할 수 있다.
도 10 내지 도 17은 메인 화면의 메인 메뉴 항목 리스트에서 '얼굴검색실행' 메뉴의 선택시 표시되는 화면을 나타낸 것이다. 이와 같은 '얼굴검색실행' 메뉴는 검색 처리 단말기(250)에서 실행될 수 있다.
도 10에 도시한 바와 같이, '얼굴검색실행' 항목 선택시, 얼굴검색요청에 대한 접수처리 화면이 표시된다. 이 화면에서 ①로 나타낸 부분에 유형, 상태 등과 같은 검색 요청된 사건을 검색할 수 있는 메뉴와, ②로 나타낸 부분에 검색 요청 리스트가 표시된다. 리스트 선택시 접수처리 상세내역 화면으로 이동할 수 있다.
도 11은 리스트 선택시 접수처리 상세내역 화면을 나타낸 것이다.
얼굴검색요청에 대한 접수처리 상세내역 화면에서, ①로 나타낸 부분에 내, 등록 > 접수 > 처리 > 완료와 같은 검색진행단계가 안내가 표시되고, ②로 나타낸 부분에 요청자 정보가 표시되어, 요청자 정보를 확인할 수 있다.
③으로 나타낸 부분에는 요청내용 요약이 표시되고, ④로 나타낸 부분에는 목록으로 이동할 수 있는 '목록' 버튼, 요청 내역 확인 후 검색 요청 접수를 위한 '요청접수' 버튼, 사진 불명확, 검색 대상 아님 등과 같은 요청에 대한 반려 처리를 위한 '반려' 버튼이 표시된다.
도 12는 얼굴검색실행을 위해 접수된 얼굴검색요청의 사진의 확대 화면을 나타낸 것이다.
이 화면에서 ①로 나타낸 '편집하기' 선택시 이미지 편집용 화면을 출력하고, ②로 나타낸 사진을 클릭하면 이미지 편집용 화면이 닫히게 된다.
도 13은 '편집하기' 선택시 표시되는 화면을 나타낸 것이다
이 화면에서 ①로 표시된 부분에서 '조정하기' 메뉴는 사진의 형태 등을 조정하고, '보정하기' 메뉴는 사진의 밝기, 색상 등을 보정할 수 있다.
②로 나타낸 '부분 잘라내기' 메뉴는 비율이 정해진 틀의 크기에 맞춰 사진을 부분적으로 잘라낼 수 있다. ③으로 나타낸 '밝기 조절' 메뉴는 사진의 밝기를 조절할 수 있다. ④로 나타낸 RGB 색상 조절은 해당하는 색상을 조절할 수 있다.
⑤로 나타낸 '선명하게' 메뉴는, sharpness 필터를 적용해 윤곽선을 보다 선명하게 만들 수 있다. 그리고, ⑥으로 나타낸 부분에서 실행 취소를 위한 '실행취소' 버튼, 다시 실행을 위한 '다시실행' 버튼, 사진을 원본으로 초기화시킬 수 있는 '원본으로' 버튼, 편집한 사진을 저장하기 위한 '저장하기' 버튼이 표시된다.
도 14에 도시한 바와 같이, ①로 나타낸 도구 모음은 사진 확대, 축소를 실행하고, ②로 나타낸 부분은 특징점 일괄(선택) 조정으로, 다수의 특징점을 선택해서 일괄적으로 조정할 수 있다. 예컨대, 특징점 넓게하거나 좁게하기, 특징점 회전, 특징점 이동 등을 수행할 수 있다.
③로 나타낸 특징점 보정은 특징점 위치에 맞도록 각 특징점을 보정할 수 있다. 그리고, ④로 나타낸 부분의 저장, 종료 도구는 편집한 특징점을 저장하거나, 특징점 편집을 종료한다
도 15는 접수된 얼굴검색요청에 대한 처리 진행 상세 내역 화면을 나타낸 것이다
①로 나타낸 부분에, 이미지 확인 > 결과 > 소견과 같은 검색단계 안내가 표시되고, ②로 나타낸 부분에 비교 결과는 대상 이미지와 유사도 % 를 표시한다.
③으로 나타낸 부분에는, 목록으로 이동할 수 있는 '목록' 버튼, 특징점 수정을 다시하여 재작업하기 위한 '재작업' 버튼, 검색소견 작성을 위한 '다음' 버튼이 표시된다. 기본적으로 검색결과 저장은 검색 소견 작성까지 완료해야 저장할 수 있도록 구성된다.
도 16에 도시한 바와 같이, 검색 요청시, 데이터에 따라 소요시간 표시 및 전체 처리 건수에 대해 표시된다.
도 17은 검색 처리 진행 상세 내역 화면을 나타낸 것이다.
①로 나타낸 부분에, 검색단계 안내, 이미지 확인 > 조건확인 > 결과확인 > 소견작성 과 같은 검색 단계 안내가 표시된다. ②로 표시된 부분에, 결과내 재검색을 위한, 유사도(5%단위), 연령대, 성별등을 설정할 수 있다. ③으로 나타낸 부분에, 검색된 대상자 정보가 표시된다. 그리고, ④ 목록으로 이동할 수 있는 '목록' 버튼, 로 이동, 특징점 수정 및 검색조건 변경하여 재작업하기 위한 '재작업' 버튼, , 다음 : 다음으로 진행하기 위한 '다음' 버튼이 표시된다.
도 18은 메인 화면의 메인 메뉴 항목 리스트에서 '통계' 메뉴의 선택시 표시되는 화면을 나타낸 것이다.
도 18에 도시한 바와 같이, '통계' 메뉴의 선택시, 통계 화면이 표시된다.
이와 같은 통계 화면에서 ①로 나타낸 부분에서 통계 기간 설정하고, 결과 그래프를 캡쳐할 수 있다. ②로 나타낸 부분의 통계 그래프는 항목별 그래프를 표시하고, ③으로 나타낸 부분의 통계 리스트는 항목별 표(리스트)를 표시한다.
도 19 내지 도 22는 메인 화면의 메인 메뉴 항목 리스트에서 'DB 작업' 항목의 선택시 표시되는 화면을 나타낸 것이다. 이와 같은 화면은 DB 작업을 위하여 사용할 수 있다.
도 19에 도시한 바와 같이, 'DB 작업' 항목의 선택시, 이미지 DB 생성을 위한 특징점 보정 화면이 표시된다. 이 화면에서 ①로 표시한 부분에 이미지 특징점 수정을 위한 이미지가 표시된다. 정면과 측면의 인식용 이미지의 특징점 수정, 정면과 측면의 변환용 이미지 특징점 수정이 가능하다.
②로 나타낸 부분에는 목록으로 이동할 수 있는 '목록' 버튼, 특징점 수정 완료 후 변환 진행을 요청하는 '변환요청 버튼, 2D 정면 얼굴 DB에 등록을 요청하는 '2D 정면 얼굴 DB 등록 요청' 버튼이 표시된다.
도 20에 ①로 나타낸 부분에서와 같이, 정면 인식용 특징점을 수정할 수 있으며, 도 21에서 ①로 나타낸 부분에서와 같이 측면 인식용 특징점을 수정할 수도 있다.
도 22에 ①로 나타낸 부분에서 변경 이미지를 확인할 수 있다. ②으로 나타낸 부분에서, 목록으로 이동할 수 있는 '목록' 버튼, 3D DB 생성을 위한 'DB에 추가' 버튼, 3D DB생성, DB 생성을 취소하는 '3D 변환 취소' 버튼이 표시된다.
한편, 본 발명에 따른 3D 얼굴인식 시스템 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
또한, 본 발명은 단말기나 서버에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
그리고, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
110 : 매칭 서버부 120 : 응용 서버부
130 : DB 서버부 140 : 스토리지부
150 : 3D 모델링부 200 : 검색 의뢰 단말기
250 : 검색 처리 단말기

Claims (10)

  1. 웹 서비스를 통해 의뢰 영상을 입력하여, 상기 의뢰 영상에 대한 얼굴 검색을 요청하는 검색 요청 단말기;
    상기 웹 서비스를 통해 상기 얼굴 검색 요청을 접수하고, 상기 의뢰 영상에 대하여 매칭 조건을 설정하여, 상기 의뢰 영상에 대한 검색을 요청하는 검색 처리 단말기; 및
    상기 의뢰 영상에서 추출된 얼굴 영역으로부터 특징점을 추출하고 얼굴의 포즈 예측을 수행하여 생성한 예측 얼굴 포즈 정보와, 데이터베이스에 저장된 3차원 얼굴 모델링 정보를 이용한 3차원 얼굴 인식 과정에 따라 검색된 얼굴 관련 정보를 상기 검색 처리 단말기로 전송하는 검색 서버부를 포함하며,
    상기 검색 처리 단말기는 상기 웹 서비스를 통해 상기 얼굴 관련 정보와 상기 얼굴 관련 정보에 대한 감정서를 상기 검색 요청 단말기로 전송하는 것을 특징으로 하는 3D 얼굴인식 시스템.
  2. 제1항에 있어서,
    상기 검색 서버부는,
    상기 얼굴 포즈 정보와, 상기 데이터베이스에 저장된 3차원 기법의 얼굴 정보를 상기 예측 얼굴 포즈 정보에 대응하여 포즈 변형을 수행한 후 2차원 영상으로 투영하여 특징점을 추출한 정보를 비교하여, 상기 3차원 얼굴 인식 과정을 수행하는 매칭 서버부;
    상기 웹 서비스를 제공하는 응용 서버부;
    상기 데이터베이스를 관리하는 DB 서버부; 및
    상기 데이터베이스를 저장하는 스토리지부를 포함하는 것을 특징으로 하는 3D 얼굴인식 시스템.
  3. 제2항에 있어서,
    상기 검색 서버부는,
    상기 3차원 얼굴 모델링 정보를 생성하여, 상기 데이터베이스에 저장하는 3D 모델링부를 더 포함하는 것을 특징으로 하는 3D 얼굴인식 시스템.
  4. 제1항에 있어서,
    상기 웹 서비스를 통해 상기 의뢰 영상의 편집 및 특징점 보정을 위한 메뉴를 제공하는 것을 특징으로 하는 3D 얼굴인식 시스템.
  5. 제1항에 있어서,
    상기 웹 서비스를 통해 상기 데이터베이스 관리를 위한 메뉴를 제공하는 것을 특징으로 하는 3D 얼굴인식 시스템.
  6. 제1항에 있어서,
    상기 검색 요청 단말기, 상기 검색 처리 단말기, 및 상기 검색 서버부는 이동통신망 및 인터넷을 통해 통신 가능하게 연결되는 것을 특징으로 하는 3D 얼굴인식 시스템.
  7. 검색 요청 단말기에서 웹 서비스를 통해 의뢰 영상을 입력하고, 상기 의뢰 영상에 대한 얼굴 검색을 요청하는 단계;
    검색 처리 단말기에서 상기 웹 서비스를 통해 상기 얼굴 검색 요청을 접수하고, 상기 의뢰 영상에 대하여 매칭 조건을 설정하여, 상기 의뢰 영상에 대한 검색을 요청하는 단계;
    검색 서버부에서 상기 의뢰 영상에서 추출된 얼굴 영역으로부터 특징점을 추출하고 얼굴의 포즈 예측을 수행하여 생성한 예측 얼굴 포즈 정보와, 데이터베이스에 저장된 3차원 얼굴 모델링 정보를 이용한 3차원 얼굴 인식 과정에 따라 검색된 얼굴 관련 정보를 상기 검색 처리 단말기로 전송하는 단계; 및
    상기 검색 처리 단말기에서 상기 웹 서비스를 통해 상기 얼굴 관련 정보와 상기 얼굴 관련 정보에 대한 감정서를 상기 검색 요청 단말기로 전송하는 단계를 포함하는 3D 얼굴인식 방법.
  8. 제7항에 있어서,
    상기 웹 서비스를 통해 상기 의뢰 영상의 편집 및 특징점 보정을 위한 메뉴를 제공하는 단계를 더 포함하는 3D 얼굴인식 방법.
  9. 제7항에 있어서,
    상기 웹 서비스를 통해 상기 데이터베이스 관리를 위한 메뉴를 제공하는 것을 특징으로 하는 3D 얼굴인식 방법.
  10. 제7항 내지 제9항 중 어느 한 항의 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 프로세서가 읽을 수 있는 기록매체.
KR1020190016528A 2019-02-13 2019-02-13 3d 얼굴인식 시스템 및 방법 KR20200098875A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190016528A KR20200098875A (ko) 2019-02-13 2019-02-13 3d 얼굴인식 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190016528A KR20200098875A (ko) 2019-02-13 2019-02-13 3d 얼굴인식 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20200098875A true KR20200098875A (ko) 2020-08-21

Family

ID=72235501

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190016528A KR20200098875A (ko) 2019-02-13 2019-02-13 3d 얼굴인식 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20200098875A (ko)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673374A (zh) * 2021-08-03 2021-11-19 支付宝(杭州)信息技术有限公司 一种面部识别方法、装置及设备
KR20220019613A (ko) 2020-08-10 2022-02-17 주식회사 타키온비앤티 코스메틱 오브젝트의 소싱을 통한 선택적 메이크업 이펙팅 적용 시스템
KR20220019610A (ko) 2020-08-10 2022-02-17 주식회사 타키온비앤티 유저의 페이셜 인식을 통한 선택적 메이크업 이펙팅 적용 시스템
KR20220019611A (ko) 2020-08-10 2022-02-17 주식회사 타키온비앤티 메이크업 이펙트의 선택적 적용과 클래시파잉텀을 활용한 이미지 포스팅 시스템
KR20220019612A (ko) 2020-08-10 2022-02-17 주식회사 타키온비앤티 유저의 페이셜 인식을 통한 커뮤니케이션 중 메이크업 이펙트 제공 시스템
KR20220019614A (ko) 2020-08-10 2022-02-17 주식회사 타키온비앤티 메이크업 이펙트가 선택적으로 적용된 이미지의 포스팅에 대한 리워드 제공 시스템
KR20220022432A (ko) 2020-08-18 2022-02-25 주식회사 타키온비앤티 메이크업 이펙트의 선택적 적용과 소정의 마크가 삽입된 이미지 포스팅 시스템
KR20220022431A (ko) 2020-08-18 2022-02-25 주식회사 타키온비앤티 코스메틱 오브젝트의 레코멘딩을 통한 선택적 메이크업 이펙팅 적용 시스템
KR20220022435A (ko) 2020-08-18 2022-02-25 주식회사 타키온비앤티 유저의 페이셜 인식을 통한 커뮤니케이션 중 웨어링 이펙트 실시간 반영 시스템
KR20220022433A (ko) 2020-08-18 2022-02-25 주식회사 타키온비앤티 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템
KR20220053466A (ko) 2020-10-22 2022-04-29 주식회사 타키온비앤티 유저의 페이셜 인식을 통한 커뮤니케이션 중 이벤트 쉐어링 시스템
KR20220054177A (ko) 2020-10-23 2022-05-02 주식회사 타키온비앤티 유저의 페이셜 인식을 통한 커뮤니케이션 중 프리퍼런스 조사를 위한 리서칭 시스템
KR20220080685A (ko) 2020-12-07 2022-06-14 주식회사 타키온비앤티 유저의 프리퍼런스 데이터 분석을 통한 유저의 맞춤형 오브젝트 서제스팅 시스템
KR20220080686A (ko) 2020-12-07 2022-06-14 주식회사 타키온비앤티 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템
KR20220094997A (ko) 2020-12-29 2022-07-06 주식회사 테라젠바이오 유전정보 기반 미래 얼굴 예측 방법 및 장치
KR20230122708A (ko) 2022-02-15 2023-08-22 주식회사 타키온비앤티 유저의 동선 트레이싱을 통한 오브젝트의 이동이 가능한 스마트 매장 시스템
US11988718B2 (en) 2021-02-09 2024-05-21 Lg Energy Solution, Ltd. Battery diagnosing apparatus and method

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220019614A (ko) 2020-08-10 2022-02-17 주식회사 타키온비앤티 메이크업 이펙트가 선택적으로 적용된 이미지의 포스팅에 대한 리워드 제공 시스템
KR20220019613A (ko) 2020-08-10 2022-02-17 주식회사 타키온비앤티 코스메틱 오브젝트의 소싱을 통한 선택적 메이크업 이펙팅 적용 시스템
KR20220019610A (ko) 2020-08-10 2022-02-17 주식회사 타키온비앤티 유저의 페이셜 인식을 통한 선택적 메이크업 이펙팅 적용 시스템
KR20220019611A (ko) 2020-08-10 2022-02-17 주식회사 타키온비앤티 메이크업 이펙트의 선택적 적용과 클래시파잉텀을 활용한 이미지 포스팅 시스템
KR20220019612A (ko) 2020-08-10 2022-02-17 주식회사 타키온비앤티 유저의 페이셜 인식을 통한 커뮤니케이션 중 메이크업 이펙트 제공 시스템
KR20220022435A (ko) 2020-08-18 2022-02-25 주식회사 타키온비앤티 유저의 페이셜 인식을 통한 커뮤니케이션 중 웨어링 이펙트 실시간 반영 시스템
KR20220022432A (ko) 2020-08-18 2022-02-25 주식회사 타키온비앤티 메이크업 이펙트의 선택적 적용과 소정의 마크가 삽입된 이미지 포스팅 시스템
KR20220022431A (ko) 2020-08-18 2022-02-25 주식회사 타키온비앤티 코스메틱 오브젝트의 레코멘딩을 통한 선택적 메이크업 이펙팅 적용 시스템
KR20220022433A (ko) 2020-08-18 2022-02-25 주식회사 타키온비앤티 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템
KR20220053466A (ko) 2020-10-22 2022-04-29 주식회사 타키온비앤티 유저의 페이셜 인식을 통한 커뮤니케이션 중 이벤트 쉐어링 시스템
KR20220054177A (ko) 2020-10-23 2022-05-02 주식회사 타키온비앤티 유저의 페이셜 인식을 통한 커뮤니케이션 중 프리퍼런스 조사를 위한 리서칭 시스템
KR20220080685A (ko) 2020-12-07 2022-06-14 주식회사 타키온비앤티 유저의 프리퍼런스 데이터 분석을 통한 유저의 맞춤형 오브젝트 서제스팅 시스템
KR20220080686A (ko) 2020-12-07 2022-06-14 주식회사 타키온비앤티 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템
KR20220094997A (ko) 2020-12-29 2022-07-06 주식회사 테라젠바이오 유전정보 기반 미래 얼굴 예측 방법 및 장치
US11988718B2 (en) 2021-02-09 2024-05-21 Lg Energy Solution, Ltd. Battery diagnosing apparatus and method
CN113673374A (zh) * 2021-08-03 2021-11-19 支付宝(杭州)信息技术有限公司 一种面部识别方法、装置及设备
CN113673374B (zh) * 2021-08-03 2024-01-30 支付宝(杭州)信息技术有限公司 一种面部识别方法、装置及设备
KR20230122708A (ko) 2022-02-15 2023-08-22 주식회사 타키온비앤티 유저의 동선 트레이싱을 통한 오브젝트의 이동이 가능한 스마트 매장 시스템

Similar Documents

Publication Publication Date Title
KR20200098875A (ko) 3d 얼굴인식 시스템 및 방법
CN109284729B (zh) 基于视频获取人脸识别模型训练数据的方法、装置和介质
JP7038744B2 (ja) 顔画像検索方法およびシステム、撮影装置、ならびにコンピュータ記憶媒体
WO2020211388A1 (zh) 基于预测模型的行为预测方法、装置、设备及存储介质
WO2019128508A1 (zh) 图像处理方法、装置、存储介质及电子设备
Marciniak et al. Influence of low resolution of images on reliability of face detection and recognition
JP5730518B2 (ja) 特定人物検知システムおよび特定人物検知方法
US20180032842A1 (en) Performing optical character recognition using spatial information of regions within a structured document
CN108228792B (zh) 图片检索方法、电子设备及存储介质
TW202026948A (zh) 活體檢測方法、裝置以及儲存介質
EP4137991A1 (en) Pedestrian re-identification method and device
US11126827B2 (en) Method and system for image identification
JP2015529354A (ja) 顔認識のための方法および装置
US11734954B2 (en) Face recognition method, device and electronic equipment, and computer non-volatile readable storage medium
CN112712906A (zh) 视频图像处理方法、装置、电子设备及存储介质
CN111160202A (zh) 基于ar设备的身份核验方法、装置、设备及存储介质
WO2021184754A1 (zh) 视频对比方法、装置、计算机设备和存储介质
JP2021520015A (ja) 画像処理方法、装置、端末機器、サーバおよびシステム
JP2020127194A (ja) コンピュータシステムおよびプログラム
CN111881740A (zh) 人脸识别方法、装置、电子设备及介质
KR102594093B1 (ko) 딥러닝 기술을 활용한 피부과 시술 추천 시스템 및 방법
Singh et al. Face recognition using open source computer vision library (OpenCV) with Python
CN111274602B (zh) 一种图像特征信息替换方法、装置、设备及介质
Mukherjee et al. Energy efficient face recognition in mobile-fog environment
CN111274447A (zh) 基于视频的目标表情生成方法、装置、介质、电子设备

Legal Events

Date Code Title Description
E601 Decision to refuse application