KR20200098875A - System and method for providing 3D face recognition - Google Patents
System and method for providing 3D face recognition Download PDFInfo
- Publication number
- KR20200098875A KR20200098875A KR1020190016528A KR20190016528A KR20200098875A KR 20200098875 A KR20200098875 A KR 20200098875A KR 1020190016528 A KR1020190016528 A KR 1020190016528A KR 20190016528 A KR20190016528 A KR 20190016528A KR 20200098875 A KR20200098875 A KR 20200098875A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- search
- request
- web service
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 25
- 238000012937 correction Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 238000010295 mobile communication Methods 0.000 claims description 2
- 230000008451 emotion Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 5
- 238000011835 investigation Methods 0.000 description 5
- 230000002265 prevention Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 208000004547 Hallucinations Diseases 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G06K9/00201—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G06K9/00268—
-
- G06K9/00288—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Tourism & Hospitality (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 3D 얼굴인식 시스템 및 방법에 관한 것으로, 더욱 상세하게는 다양한 얼굴 각도에서 얼굴 인식이 가능하며, 웹 서비스를 통해 얼굴 인식 및 검색 기능을 제공할 수 있는 3D 얼굴인식 시스템 및 방법에 관한 것이다. The present invention relates to a 3D face recognition system and method, and more particularly, to a 3D face recognition system and method capable of performing face recognition at various face angles and providing a face recognition and search function through a web service. .
최근 범죄예방 및 시설 보호 등을 위하여 CCTV나 블랙박스 등 다양한 영상기기의 설치가 급증하고 있으며, 이러한 영상기기로부터 수집한 영상은 범죄 예방이나 경찰의 수사 등에 활용되고 있다. Recently, for crime prevention and facility protection, the installation of various video devices such as CCTV or black box is increasing rapidly, and images collected from such video devices are used for crime prevention or police investigation.
그런데, 각종 영상기기로부터 수집한 영상을 2차원 기법의 얼굴 인식을 통해 활용하는 것은, 영상기기로부터 수집한 얼굴 영상의 근본적인 제약으로 인하여 인식성능 저하를 피할 수 없다.However, the use of images collected from various imaging devices through face recognition using a two-dimensional technique cannot avoid a reduction in recognition performance due to fundamental limitations of facial images collected from imaging devices.
즉, 사람의 얼굴은 좌우 3차원 회전이 가능하며, 이에 따라 영상기기로 입력되는 얼굴 영상은 다양한 자세와 변화를 가진 2차원 영상으로 변형되게 된다. 또한, 사람의 얼굴은 눈 깜박임, 입 움직임에 따라 다양한 국부적 표정 변화를 갖게 된다. 이외에도 화장, 헤어스타일, 액세서리 등도 얼굴에 많은 변화를 주는 요인이 되고 있다.That is, the human face can be rotated left and right in 3D, and accordingly, the face image input to the imaging device is transformed into a 2D image having various postures and changes. In addition, a person's face has various local facial expression changes according to the blinking of the eyes and movement of the mouth. In addition, makeup, hairstyles, and accessories are also factors that make many changes to the face.
따라서, 각종 범죄의 예방 및 얼굴 검색 기반 수사 인프라 구축을 위해서는 다양한 얼굴 각도에 대한 얼굴 인식 성능의 개선이 필요하여, 장소에 무관하게 얼굴 인식 및 검색 기능을 이용하기 위해서는 웹 서비스를 통해 얼굴 인식이나 검색 기능을 제공하는 방안이 필요하다. Therefore, in order to prevent various crimes and to establish an investigation infrastructure based on face search, it is necessary to improve face recognition performance for various face angles, and to use face recognition and search functions regardless of location, face recognition or search through web services. We need a way to provide the function.
따라서, 본 발명의 목적은, 다양한 얼굴 각도에서 얼굴 인식이 가능하며, 웹 서비스를 통해 얼굴 인식 및 검색 기능을 제공할 수 있는 3D 얼굴인식 시스템 및 방법을 제공함에 있다.Accordingly, an object of the present invention is to provide a 3D face recognition system and method capable of performing face recognition at various face angles and providing a face recognition and search function through a web service.
상기 목적을 달성하기 위한 본 발명에 따른 3D 얼굴인식 시스템, 웹 서비스를 통해 의뢰 영상을 입력하여, 상기 의뢰 영상에 대한 얼굴 검색을 요청하는 검색 요청 단말기, 상기 웹 서비스를 통해 상기 얼굴 검색 요청을 접수하고, 상기 의뢰 영상에 대하여 매칭 조건을 설정하여, 상기 의뢰 영상에 대한 검색을 요청하는 검색 처리 단말기, 및 상기 의뢰 영상에서 추출된 얼굴 영역으로부터 특징점을 추출하고 얼굴의 포즈 예측을 수행하여 생성한 예측 얼굴 포즈 정보와, 데이터베이스에 저장된 3차원 얼굴 모델링 정보를 이용한 3차원 얼굴 인식 과정에 따라 검색된 얼굴 관련 정보를 상기 검색 처리 단말기로 전송하는 검색 서버부를 포함하며, 상기 검색 처리 단말기는 상기 웹 서비스를 통해 상기 얼굴 관련 정보와 상기 얼굴 관련 정보에 대한 감정서를 상기 검색 요청 단말기로 전송할 수 있다.A 3D face recognition system according to the present invention for achieving the above object, a search request terminal that requests a face search for the requested image by inputting a request image through a web service, and receives the face search request through the web service And, by setting a matching condition for the request image, a search processing terminal that requests a search for the request image, and a prediction generated by extracting feature points from the face region extracted from the request image and performing face pose prediction And a search server unit for transmitting face pose information and face-related information searched according to a three-dimensional face recognition process using three-dimensional face modeling information stored in a database to the search processing terminal, and the search processing terminal through the web service The face-related information and an appraisal for the face-related information may be transmitted to the search requesting terminal.
상기 검색 서버부는, 상기 얼굴 포즈 정보와, 상기 데이터베이스에 저장된 3차원 기법의 얼굴 정보를 상기 예측 얼굴 포즈 정보에 대응하여 포즈 변형을 수행한 후 2차원 영상으로 투영하여 특징점을 추출한 정보를 비교하여, 상기 3차원 얼굴 인식 과정을 수행하는 매칭 서버부, 상기기 웹 서비스를 제공하는 응용 서버부, 상기 데이터베이스를 관리하는 DB 서버부, 및 상기 데이터베이스를 저장하는 스토리지부를 포함할 수 있다. 상기 검색 서버부는, 상기 3차원 기법의 얼굴 정보를 생성하여, 상기 데이터베이스에 저장하는 3D 모델링부를 더 포함할 수 있다. The search server unit compares information obtained by extracting feature points by performing a pose transformation on the face pose information and the face information of the 3D technique stored in the database in response to the predicted face pose information, and then projecting it into a 2D image, A matching server unit that performs the 3D face recognition process, an application server unit that provides the web service, a DB server unit that manages the database, and a storage unit that stores the database. The search server unit may further include a 3D modeling unit that generates face information of the 3D technique and stores it in the database.
또한, 상기 웹 서비스를 통해 상기 의뢰 영상의 편집 및 특징점 보정을 위한 메뉴와, 상기 웹 서비스를 통해 상기 데이터베이스 관리를 위한 메뉴를 제공할 수 있다. In addition, a menu for editing the requested image and correcting feature points through the web service and a menu for managing the database through the web service may be provided.
상기 목적을 달성하기 위한 본 발명에 따른 3D 얼굴인식 방법은, 검색 요청 단말기에서 웹 서비스를 통해 의뢰 영상을 입력하고, 상기 의뢰 영상에 대한 얼굴 검색을 요청하는 단계, 검색 처리 단말기에서 상기 웹 서비스를 통해 상기 얼굴 검색 요청을 접수하고, 상기 의뢰 영상에 대하여 매칭 조건을 설정하여, 상기 의뢰 영상에 대한 검색을 요청하는 단계, 검색 서버부에서 상기 의뢰 영상에서 추출된 얼굴 영역으로부터 특징점을 추출하고 얼굴의 포즈 예측을 수행하여 생성한 예측 얼굴 포즈 정보와, 데이터베이스에 저장된 3차원 얼굴 모델링 정보를 이용한 3차원 얼굴 인식 과정에 따라 검색된 얼굴 관련 정보를 상기 검색 처리 단말기로 전송하는 단계, 및 상기 검색 처리 단말기에서 상기 웹 서비스를 통해 상기 얼굴 관련 정보와 상기 얼굴 관련 정보에 대한 감정서를 상기 검색 요청 단말기로 전송하는 단계를 포함한다. The 3D face recognition method according to the present invention for achieving the above object includes the steps of inputting a request image through a web service at a search request terminal, requesting a face search for the request image, and providing the web service at a search processing terminal. Receiving the face search request through the request, setting a matching condition for the request image, and requesting a search for the request image. A search server unit extracts a feature point from the face region extracted from the request image, and Transmitting predicted face pose information generated by performing pose prediction and face-related information retrieved according to a 3D face recognition process using 3D face modeling information stored in a database to the search processing terminal, and in the search processing terminal And transmitting the face-related information and an appraisal of the face-related information to the search requesting terminal through the web service.
그리고, 상기 목적을 달성하기 위하여 본 발명에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 프로세서로 읽을 수 있는 기록매체를 제공한다.In order to achieve the above object, the present invention provides a recording medium that can be read by a processor in which a program for executing the method in a processor is recorded.
본 발명에 따르면, CCTV와 같은 영상기기로 입력되는 2차원 영상과 데이터베이스에 저장된 3차원 얼굴 모델링 정보 간의 매칭을 통해, 다양한 얼굴 각도에 대한 얼굴 인식 및 검색이 가능하며, 이러한 3차원 얼굴 인식 및 검색 기능을 웹 서비스를 통해 제공할 수 있다. 이에 의해, 범죄 발생시 신속하게 용의자 후보군을 검색하여 수사 정보로 제공할 수 있어, 신속한 용의자 검거가 가능하다. 또한, 이를 통해 범죄 예방과 얼굴 검색 기반 수사 인프라 구축이 가능하고, 범죄 예방 및 빠른 사후 대응 등을 위해 설치한 다양한 영상기기의 활용도를 향상시킬 수 있다.According to the present invention, face recognition and search for various face angles is possible through matching between a two-dimensional image input to an imaging device such as a CCTV and three-dimensional face modeling information stored in a database, and such three-dimensional face recognition and search Functions can be provided through web services. Accordingly, when a crime occurs, it is possible to quickly search for suspect candidates and provide them as investigation information, thereby enabling rapid suspect arrest. In addition, through this, it is possible to establish an investigation infrastructure based on crime prevention and face search, and it is possible to improve the utilization of various video devices installed for crime prevention and quick follow-up response.
도 1은 본 발명의 일실시예에 따른 3D 얼굴인식 시스템의 구성을 설명하기 위한 도면,
도 2 내지 도 4는 본 발명의 일실시예에 따른 3D 얼굴인식 시스템의 동작 방법에 대한 설명에 제공되는 흐름도, 그리고
도 5 내지 도 22는 본 발명의 일실시예에 따른 3D 얼굴인식 시스템의 동작 과정에 대한 설명에 참조되는 도면이다.1 is a view for explaining the configuration of a 3D face recognition system according to an embodiment of the present invention;
2 to 4 are flow charts provided to explain a method of operating a 3D face recognition system according to an embodiment of the present invention, and
5 to 22 are views referenced for explaining an operation process of a 3D face recognition system according to an embodiment of the present invention.
본 명세서에서, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 경우, 어떤 구성요소에 다른 구성요소에 직접적으로 연결되어 있거나 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에" 또는 "~에 이웃하는" 등과, 어떤 구성요소가 다른 구성요소로 신호를 "전송한다" 와 같은 표현도 마찬가지로 해석되어야 한다.In the present specification, when a component is referred to as being "connected" or "connected" to another component, it may be directly connected or connected to another component to a component, but other components in the middle It should be understood that elements may exist. Other expressions describing the relationship between components, such as "between" or "neighboring", and expressions such as "transmitting" a signal from a certain component to another should be interpreted as well.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.
도 1은 본 발명의 일실시예에 따른 3D 얼굴인식 시스템의 구성을 설명하기 위한 도면이다. 1 is a diagram for explaining the configuration of a 3D face recognition system according to an embodiment of the present invention.
도 1을 참조하면, 검색 서버부(100)가 통신망(50)을 통해 검색 의뢰 단말기(200) 및 검색 처리 단말기(250)와 통신 가능하게 연결된다.Referring to FIG. 1, the
통신망(50)은 이동통신망이나 인터넷 혹은 이들이 결합한 망 등과 같이, 검색 의뢰 단말기(200), 검색 처리 단말기(250), 및 검색 서버부(100) 간에 통신 가능한 모든 네트워크를 의미한다.The
검색 서버부(100)는, 매칭 서버부(110)), 응용 서버부(120), DB 서버부(130), 스토리지부(140), 및 3D 모델링부(150)를 포함할 수 있다, 이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.The
매칭 서버부(110)는 3차원 얼굴 인식 과정을 수행한다. 즉, 매칭 서버부(110)는 의뢰된 영상에서 추출된 얼굴 영역으로부터 특징점을 추출하고 얼굴의 포즈 예측을 수행하여 생성한 예측 얼굴 포즈 정보와, 데이터베이스에 저장된 3차원 얼굴 모델링 정보를 예측 얼굴 포즈 정보에 대응하여 포즈 변형을 수행한 후 2차원 영상으로 투영하여 특징점을 추출한 정보를 비교하여, 검색된 얼굴 관련 정보를 출력한다. The matching
매칭 서버부(110)는 RPnP(Robust perspective-n-points) 방법 등을 사용하여 좌우±90°, 상하 ±30° 범위에서 3차원 포즈 예측이 가능하다. 또한, 매칭 서버부(110)는 얼굴의 전역적 및 지역적 사진 정보를 활용하는 hallucination 기법과, 프레임 간의 정합 및 움직임 모델링 등을 이용하여, 저해상도 얼굴 영상을 고해상도화 얼굴 영상으로 복원할 수 있으며, 얼굴 부위별 주름, 질감 및 형태 정보 등을 활용하는 자동 나이 인식 기법을 활용할 수도 있다. The matching
응용 서버부(120)는 3D 얼굴 인식 기능의 제공을 위한 웹 서비스나 기타 응용 프로그램의 수행을 위한 기능을 제공할 수 있다.The
DB 서버부(130)는 3차원 얼굴 모델링 정보 등이 기록된 데이터베이스를 관리한다.The DB
스토리지부(140)는 하드디스크나 SSD 등으로 구성되어, 데이터베이스와 기타 시스템 동작에 필요한 프로그램이나 데이터를 저장할 수 있다.The
3D 모델링부(150)는 3차원 스캐너나 2D 영상의 3D 영상 변환 등에 의해, 3차원 얼굴 모델링 정보를 생성하여, 데이터베이스에 저장할 수 있다. The
검색 의뢰 단말기(200), 검색 처리 단말기(250)는 검색 서버부(100)에서 제공되는 3D 얼굴 인식이나 검색을 위한 웹 서비스에 접속 가능한 단말기로서, 일반적인 PC(Personal Computer) 뿐만 아니라 스마트폰(smart phone), 노트북 컴퓨터(notebook computer), 타블렛 컴퓨터(tablet computer) 등과 같이 통신망(50)을 통해 검색 서버부(100)와 통신 가능한 모든 전자기기를 포함한다. The
검색 의뢰 단말기(200), 검색 처리 단말기(250)는 하나 이상 존재할 수 있으며, 검색 의뢰 단말기(200)는 수사관 측에 배치되고, 검색 처리 단말기(250)는 분석관 측에 배치될 수 있다. There may be one or more
이와 같은 구성에 의해, 검색 의뢰 단말기(200)는 웹 서비스를 통해 의뢰 영상을 입력하고, 입력된 의뢰 영상에 대한 얼굴 검색을 요청하며, 검색 처리 단말기(250)는 웹 서비스를 통해 얼굴 검색 요청을 접수하고, 의뢰 영상에 대하여 매칭 조건을 설정하여, 의뢰 영상에 대한 검색을 검색 서버부(100)에 요청할 수 있다.With this configuration, the
그리고, 검색 처리 단말기(250)는 검색된 얼굴 관련 정보와 얼굴 관련 정보에 대한 감정서를 웹 서비스를 통해 검색 요청 단말기(200)로 전송할 수 있다.In addition, the
도 2 내지 도 4는 본 발명의 일실시예에 따른 3D 얼굴인식 시스템의 동작 방법에 대한 설명에 제공되는 흐름도이다. 2 to 4 are flowcharts for explaining a method of operating a 3D face recognition system according to an embodiment of the present invention.
도 2를 참조하면, 검색 요청 단말기(200)에서는, 웹 서비스를 통해 분석대상 사건을 등록한다(S300). 그리고, 웹 서비스를 통해 얼굴 인식을 위한 의뢰 영상을 입력하고(S305), 얼굴 검색을 요청한다(S310). 2, the
의뢰 영상은 정지 영상이나 동영상일 수 있으며, 컬러 영상과 흑백 영상을 포함하며, 검색 요청 단말기(200)는 수사관 측에 배치될 수 있다. The request image may be a still image or a moving image, and includes a color image and a black and white image, and the
얼굴 검색 요청 후, 검색 결과가 처리되어 등록되기까지 대기한 후(S315), 검색 결과가 등록되면 결과를 확인한다(S320). 확인된 결과는 범죄 예방이나 수사 등에 활용할 수 있다. After the face search request, the search result is processed and waits for registration (S315), and when the search result is registered, the result is checked (S320). The confirmed results can be used for crime prevention or investigation.
도 3을 참조하면, 검색 처리 단말기(250)에서는 웹 서비스를 통해 얼굴 검색 요청을 접수하면(S350), 필요에 따라 의뢰 영상의 보정이나 담당자의 지정과 같은 검색 준비 과정을 거친 후(S355), 얼굴 인식을 위한 매칭 조건을 설정하여(S360), 의뢰 영상에 대한 검색을 의뢰한다(S365).Referring to FIG. 3, when the
검색 결과가 처리되어 수신되기까지 대기한 후(S370), 검색 결과에 따라 재검색이 필요한 경우, S360 단계 및 S365 단계를 다시 수행하고, 재검색이 필요하지 않은 경우에는, 검색 결과에 대한 감정서를 발급하고(S380), 웹 서비스를 통해 결과를 등록한다(S385). 결과가 등록되면, 웹 서비스를 통해 검색 요청 단말기(200)에서 검색 결과를 확인할 수 있다. After waiting for the search result to be processed and received (S370), if re-search is necessary according to the search result, steps S360 and S365 are performed again, and if re-search is not necessary, an appraisal for the search result is issued. (S380), the result is registered through the web service (S385). When the result is registered, the search result can be checked in the
도 4를 참조하면, 검색 서버부(100)에서 얼굴 검색 의뢰를 수신하면(S400), 의뢰 영상에서 추출된 얼굴 영역으로부터 특징점을 추출하고 얼굴의 포즈 예측을 수행하여 예측 얼굴 포즈 정보를 생성한다(S405).Referring to FIG. 4, when a face search request is received from the search server 100 (S400), feature points are extracted from the face region extracted from the request image, and face pose prediction is performed to generate predicted face pose information ( S405).
이 과정에서 조명등 외부 환경 요소를 정규화하는 과정이나, 코드화된 특징점의 빠른 계산 및 인식률 향상을 위한 차원 축소 과정 등이 수행될 수 있다. In this process, a process of normalizing external environmental elements such as lighting, or a process of reducing dimensions for fast calculation of coded feature points and improvement of recognition rate, etc. may be performed.
다음으로, 데이터베이스에 저장된 3차원 얼굴 모델링 정보를 예측 얼굴 포즈 정보에 대응하여 포즈 변형을 수행한 후 2차원 영상으로 투영하여 특징점을 추출하여 대비할 정보를 생성한 후(S410), 매칭 알고리즘을 수행하여(S415), 3차원 얼굴 인식 과정을 수행한다.Next, after performing pose transformation on the 3D face modeling information stored in the database in response to the predicted face pose information, it is projected to a 2D image to extract feature points to generate contrast information (S410), and then perform a matching algorithm. (S415), a 3D face recognition process is performed.
3차원 얼굴 인식 과정은, 의뢰 영상에서 얼굴 영역을 검출하고, 검출된 얼굴영역에서 특징점 추출, 얼굴의 포즈 예측을 수행하여, 예측된 얼굴의 포즈 정보에 따라 데이터베이스에 기록된 3차원 얼굴 모델링 정보들을 해당 포즈로의 변형을 수행한 후, 2차원 영상으로 투영하여 2차원 얼굴 특징 추출 및 얼굴 인식 과정을 수행하는 과정을 의미한다. The 3D face recognition process detects a face region from a request image, extracts feature points from the detected face region, and performs face pose prediction, and stores 3D face modeling information recorded in the database according to the predicted face pose information. It refers to a process of performing a process of extracting a 2D facial feature and recognizing a face by projecting it into a 2D image after performing transformation into a corresponding pose.
3차원 얼굴 인식 과정의 수행에 따라 검색 결과 정보를 생성하고(S415), 생성한 검색 결과 정보를 검색 처리 단말기(250)로 전달한다(S420). Search result information is generated according to the execution of the 3D face recognition process (S415), and the generated search result information is transmitted to the search processing terminal 250 (S420).
이와 같은 과정에 의해, 검색 의뢰 단말기(200)에서 특정 얼굴 영상에 매칭되는 얼굴 정보를 요청하여 받아볼 수 있다.Through this process, the
도 5 내지 도 23은 본 발명의 일실시예에 따른 3D 얼굴인식 시스템의 동작 과정에 대한 설명에 참조되는 도면이다.5 to 23 are views referenced for explaining an operation process of a 3D face recognition system according to an embodiment of the present invention.
도 5는 3D 얼굴인식 시스템에 의해 제공되는 3D 얼굴인식 웹 서비스의 로그인 화면의 일 예를 나타낸 것이다.5 shows an example of a login screen of a 3D face recognition web service provided by a 3D face recognition system.
도 5에 도시한 바와 같이, 3D 얼굴인식 웹 서비스에 접속하면, 로그인 화면이 표시되고, 로그인 화면에서 ①로 나타낸 부분에 ID를 입력하고, ②로 나타낸 부분에 패스워드를 입력한 후 'LOGIN' 버튼을 클릭하여 로그인할 수 있다. As shown in Fig. 5, when accessing the 3D face recognition web service, the login screen is displayed, the ID is input in the part indicated by ① on the login screen, and the password is input in the part indicated by ②, and then the'LOGIN' button You can log in by clicking.
'ID 저장' 체크박스 선택시, 입력한 ID가 저장되어, 다음번 로그인시 ID 입력없이 사용할 수 있다.When the'Save ID' checkbox is selected, the entered ID is saved and can be used without entering the ID the next time you log in.
도 6은 로그인 화면에서 로그인 후 표시되는 메인 화면의 일 예를 나타낸 것이다.6 shows an example of a main screen displayed after logging in on the login screen.
도 6에 도시한 바와 같이, 메인 화면에서 ①로 나타낸 부분에는 사용자 이름과, 비밀번호 변경 버튼, 로그 아웃 버튼이 표시된다. 그 아래 ②로 나타낸 부분에는 메인 메뉴 항목 리스트가 표시된다. 메인 메뉴 항목 리스트는 사용자 권한에 따라 다르게 표시할 수 있다. As shown in Fig. 6, a user name, a password change button, and a logout button are displayed in the portion indicated by 1 on the main screen. In the area indicated by ② below that, a list of main menu items is displayed. The list of main menu items can be displayed differently according to user authority.
메인 화면에서 ③으로 나타낸 부분에는 진행상태가 표시되고, ④로 나타낸 부분에는 검색 현황, 담당자 연락처, QuickMenu 등이 표시된다. In the main screen, the progress status is displayed in the part indicated by ③, and the search status, contact information, and QuickMenu are displayed in the part indicated by ④.
도 7은 메인 화면의 메인 메뉴 항목 리스트에서 '얼굴검색요청' 항목을 선택한 경우 표시되는 화면을 나타낸 것이다. 이와 같은 얼굴 검색 요청은 검색요청 단말기(200)에서 수행될 수 있다. 7 shows a screen displayed when a'face search request' item is selected from the main menu item list on the main screen. Such a face search request may be performed by the
도 7에 도시한 바와 같이, '얼굴검색요청' 항목 선택시, 요청 내역 및 등록 사진 확인 등이 가능하다. As shown in FIG. 7, when selecting the'face search request' item, it is possible to check the request details and registered photos.
도 8 및 도 9에 도시한 바와 같이, 화면 좌측에서 얼굴검색결과 확인 메뉴를 선택하는 경우, 요청 내역 및 검색 결과를 나타낸 요청 내역 상세 화면을 표시할 수 있다. 요청 내역 상세 화면에서, ①로 나타낸 부분에 해당 항목의 내용을 숨길 수 있는 '요청내용 숨기기' 버튼과 '검색결과 숨기기' 버튼이 표시되고, ②로 나타낸 부분에 요청 내용을 요약한 내용이 표시된다. As shown in FIGS. 8 and 9, when a face search result confirmation menu is selected on the left side of the screen, a request details detail screen indicating the request details and the search results may be displayed. On the request details screen, the'Hide Request Contents' button and the'Hide Search Results' button that can hide the contents of the item are displayed in the part indicated by ①, and the summary of the request contents is displayed in the part indicated by ②. .
③으로 나타낸 부분에, 처리 담당자, 연락처, 검색일시, 검색소견, 검색 결과 등이 표시되고, 대조 사진 확인과 유사도를 표시할 수 있다.In the part indicated by ③, the person in charge of the process, contact information, search date and time, search findings, search results, etc. are displayed, and it is possible to display the contrast photo confirmation and similarity.
도 9에 도시한 바와 같이, 하나 이상의 검색 결과가 있는 경우, 처리 담당자, 연락처, 검색일시, 검색소견, 검색 결과와, 성명, 성별, 연령, 주소지 등을 표시한 대상자 리스트를 표시할 수 있다. As illustrated in FIG. 9, when there is more than one search result, a list of subjects including a person in charge of processing, contact information, search date and time, search findings, search results, name, gender, age, address, etc. may be displayed.
도 10 내지 도 17은 메인 화면의 메인 메뉴 항목 리스트에서 '얼굴검색실행' 메뉴의 선택시 표시되는 화면을 나타낸 것이다. 이와 같은 '얼굴검색실행' 메뉴는 검색 처리 단말기(250)에서 실행될 수 있다. 10 to 17 illustrate screens displayed when a'face search execution' menu is selected from the main menu item list on the main screen. Such a'face search execution' menu may be executed in the
도 10에 도시한 바와 같이, '얼굴검색실행' 항목 선택시, 얼굴검색요청에 대한 접수처리 화면이 표시된다. 이 화면에서 ①로 나타낸 부분에 유형, 상태 등과 같은 검색 요청된 사건을 검색할 수 있는 메뉴와, ②로 나타낸 부분에 검색 요청 리스트가 표시된다. 리스트 선택시 접수처리 상세내역 화면으로 이동할 수 있다. As shown in Fig. 10, upon selecting the'Face Search Execution' item, a screen for receiving a face search request is displayed. In this screen, a menu to search for requested events such as type, status, etc. is displayed in the part indicated by ①, and the search request list is displayed in the part indicated by ②. When selecting a list, you can move to the details screen of the application process.
도 11은 리스트 선택시 접수처리 상세내역 화면을 나타낸 것이다. 11 shows a screen showing details of the reception process when a list is selected.
얼굴검색요청에 대한 접수처리 상세내역 화면에서, ①로 나타낸 부분에 내, 등록 > 접수 > 처리 > 완료와 같은 검색진행단계가 안내가 표시되고, ②로 나타낸 부분에 요청자 정보가 표시되어, 요청자 정보를 확인할 수 있다.On the details screen of the reception process for the face search request, a guide is displayed in the part indicated by ①, and the search progress step such as registration> acceptance> processing> completion, and the requestor information is displayed in the part indicated by ②. You can check.
③으로 나타낸 부분에는 요청내용 요약이 표시되고, ④로 나타낸 부분에는 목록으로 이동할 수 있는 '목록' 버튼, 요청 내역 확인 후 검색 요청 접수를 위한 '요청접수' 버튼, 사진 불명확, 검색 대상 아님 등과 같은 요청에 대한 반려 처리를 위한 '반려' 버튼이 표시된다. In the part indicated by ③, a summary of the request details is displayed, in the part indicated by ④, a'list' button that can be moved to the list, a'request request' button to receive a search request after checking the request details, a picture is unclear, not subject to search, etc. A'Reject' button is displayed for processing rejection of the request.
도 12는 얼굴검색실행을 위해 접수된 얼굴검색요청의 사진의 확대 화면을 나타낸 것이다.12 shows an enlarged screen of a photograph of a face search request received for execution of a face search.
이 화면에서 ①로 나타낸 '편집하기' 선택시 이미지 편집용 화면을 출력하고, ②로 나타낸 사진을 클릭하면 이미지 편집용 화면이 닫히게 된다. On this screen, when'Edit' indicated by ① is selected, the image editing screen is output, and when the picture indicated by ② is clicked, the image editing screen is closed.
도 13은 '편집하기' 선택시 표시되는 화면을 나타낸 것이다13 shows a screen displayed when selecting'edit'
이 화면에서 ①로 표시된 부분에서 '조정하기' 메뉴는 사진의 형태 등을 조정하고, '보정하기' 메뉴는 사진의 밝기, 색상 등을 보정할 수 있다. On this screen, in the part marked with ①, the'Adjust' menu can adjust the shape of the photo, and the'correction' menu can correct the brightness and color of the photo.
②로 나타낸 '부분 잘라내기' 메뉴는 비율이 정해진 틀의 크기에 맞춰 사진을 부분적으로 잘라낼 수 있다. ③으로 나타낸 '밝기 조절' 메뉴는 사진의 밝기를 조절할 수 있다. ④로 나타낸 RGB 색상 조절은 해당하는 색상을 조절할 수 있다.In the'Partial Cut' menu indicated by ②, you can partially cut a photo according to the size of the frame with a fixed ratio. The'Brightness Control' menu indicated by ③ can control the brightness of the photo. RGB color control indicated by ④ can control the corresponding color.
⑤로 나타낸 '선명하게' 메뉴는, sharpness 필터를 적용해 윤곽선을 보다 선명하게 만들 수 있다. 그리고, ⑥으로 나타낸 부분에서 실행 취소를 위한 '실행취소' 버튼, 다시 실행을 위한 '다시실행' 버튼, 사진을 원본으로 초기화시킬 수 있는 '원본으로' 버튼, 편집한 사진을 저장하기 위한 '저장하기' 버튼이 표시된다. In the'clearer' menu indicated by ⑤, the outline can be made sharper by applying a sharpness filter. And, in the part indicated by ⑥,'Undo' button for undoing,'Redo' button for redo,'to original' button to reset the photo to the original, and'Save to save the edited photo' The'Next' button is displayed.
도 14에 도시한 바와 같이, ①로 나타낸 도구 모음은 사진 확대, 축소를 실행하고, ②로 나타낸 부분은 특징점 일괄(선택) 조정으로, 다수의 특징점을 선택해서 일괄적으로 조정할 수 있다. 예컨대, 특징점 넓게하거나 좁게하기, 특징점 회전, 특징점 이동 등을 수행할 수 있다. As shown in Fig. 14, the tool bar indicated by ① executes photo enlargement and reduction, and the part indicated by ② is the collective (selection) adjustment of feature points, and a plurality of feature points can be selected and adjusted collectively. For example, feature points may be widened or narrowed, feature points rotated, feature points moved, and the like may be performed.
③로 나타낸 특징점 보정은 특징점 위치에 맞도록 각 특징점을 보정할 수 있다. 그리고, ④로 나타낸 부분의 저장, 종료 도구는 편집한 특징점을 저장하거나, 특징점 편집을 종료한다 The feature point correction indicated by ③ can correct each feature point to match the feature point position. And, the save/end tool for the part indicated by ④ saves the edited feature point or finishes editing the feature point.
도 15는 접수된 얼굴검색요청에 대한 처리 진행 상세 내역 화면을 나타낸 것이다15 shows a detailed screen of processing progress for a received face search request
①로 나타낸 부분에, 이미지 확인 > 결과 > 소견과 같은 검색단계 안내가 표시되고, ②로 나타낸 부분에 비교 결과는 대상 이미지와 유사도 % 를 표시한다. In the part indicated by ①, the search step guide such as image confirmation> result> findings is displayed, and in the part indicated by ②, the comparison result shows the similarity% with the target image.
③으로 나타낸 부분에는, 목록으로 이동할 수 있는 '목록' 버튼, 특징점 수정을 다시하여 재작업하기 위한 '재작업' 버튼, 검색소견 작성을 위한 '다음' 버튼이 표시된다. 기본적으로 검색결과 저장은 검색 소견 작성까지 완료해야 저장할 수 있도록 구성된다. In the part indicated by ③, a'list' button to move to the list, a'rework' button to rework by reworking feature points, and a'next' button to write search findings are displayed. Basically, saving search results is configured so that they can be saved only after completing the search findings.
도 16에 도시한 바와 같이, 검색 요청시, 데이터에 따라 소요시간 표시 및 전체 처리 건수에 대해 표시된다.As shown in Fig. 16, when a search is requested, the required time is displayed and the total number of processing is displayed according to the data.
도 17은 검색 처리 진행 상세 내역 화면을 나타낸 것이다. 17 shows a detailed screen of the search process progress.
①로 나타낸 부분에, 검색단계 안내, 이미지 확인 > 조건확인 > 결과확인 > 소견작성 과 같은 검색 단계 안내가 표시된다. ②로 표시된 부분에, 결과내 재검색을 위한, 유사도(5%단위), 연령대, 성별등을 설정할 수 있다. ③으로 나타낸 부분에, 검색된 대상자 정보가 표시된다. 그리고, ④ 목록으로 이동할 수 있는 '목록' 버튼, 로 이동, 특징점 수정 및 검색조건 변경하여 재작업하기 위한 '재작업' 버튼, , 다음 : 다음으로 진행하기 위한 '다음' 버튼이 표시된다.In the part indicated by ①, search step guidance, image check> condition check> result check> remark writing, etc. are displayed. In the part marked with ②, you can set the degree of similarity (in 5% units), age group, and gender for re-search in the results. In the part indicated by ③, the searched subject information is displayed. And, ④'List' button to move to the list,'Rework' button to rework by moving to, modifying feature points and changing search conditions, and Next:'Next' button to proceed to the next is displayed.
도 18은 메인 화면의 메인 메뉴 항목 리스트에서 '통계' 메뉴의 선택시 표시되는 화면을 나타낸 것이다. 18 shows a screen displayed when a'statistics' menu is selected from a list of main menu items on the main screen.
도 18에 도시한 바와 같이, '통계' 메뉴의 선택시, 통계 화면이 표시된다. As shown in Fig. 18, when the'statistics' menu is selected, a statistics screen is displayed.
이와 같은 통계 화면에서 ①로 나타낸 부분에서 통계 기간 설정하고, 결과 그래프를 캡쳐할 수 있다. ②로 나타낸 부분의 통계 그래프는 항목별 그래프를 표시하고, ③으로 나타낸 부분의 통계 리스트는 항목별 표(리스트)를 표시한다. In such statistics screen, you can set the statistics period in the part indicated by ① and capture the result graph. The statistical graph of the part indicated by ② displays a graph by item, and the statistical list of the part indicated by ③ displays a table (list) by item.
도 19 내지 도 22는 메인 화면의 메인 메뉴 항목 리스트에서 'DB 작업' 항목의 선택시 표시되는 화면을 나타낸 것이다. 이와 같은 화면은 DB 작업을 위하여 사용할 수 있다. 19 to 22 illustrate screens displayed when a'DB work' item is selected from the main menu item list on the main screen. Such a screen can be used for DB work.
도 19에 도시한 바와 같이, 'DB 작업' 항목의 선택시, 이미지 DB 생성을 위한 특징점 보정 화면이 표시된다. 이 화면에서 ①로 표시한 부분에 이미지 특징점 수정을 위한 이미지가 표시된다. 정면과 측면의 인식용 이미지의 특징점 수정, 정면과 측면의 변환용 이미지 특징점 수정이 가능하다. As shown in FIG. 19, when the'DB work' item is selected, a feature point correction screen for generating an image DB is displayed. In this screen, the image for correcting the image feature point is displayed in the part marked with ①. It is possible to modify the feature points of the image for recognition of the front and the side, and the feature points of the image for the conversion of the front and the side.
②로 나타낸 부분에는 목록으로 이동할 수 있는 '목록' 버튼, 특징점 수정 완료 후 변환 진행을 요청하는 '변환요청 버튼, 2D 정면 얼굴 DB에 등록을 요청하는 '2D 정면 얼굴 DB 등록 요청' 버튼이 표시된다. In the part indicated by ②, a'list' button that can be moved to the list, a'transformation request button' requesting the conversion process after completion of feature point correction, and a '2D front face DB registration request' button that requests registration to the 2D front face DB are displayed. .
도 20에 ①로 나타낸 부분에서와 같이, 정면 인식용 특징점을 수정할 수 있으며, 도 21에서 ①로 나타낸 부분에서와 같이 측면 인식용 특징점을 수정할 수도 있다. As in the part indicated by ① in FIG. 20, the feature point for front recognition may be modified, and as in the part indicated by ① in FIG. 21, the feature point for side recognition may be modified.
도 22에 ①로 나타낸 부분에서 변경 이미지를 확인할 수 있다. ②으로 나타낸 부분에서, 목록으로 이동할 수 있는 '목록' 버튼, 3D DB 생성을 위한 'DB에 추가' 버튼, 3D DB생성, DB 생성을 취소하는 '3D 변환 취소' 버튼이 표시된다. The changed image can be confirmed in the part indicated by ① in FIG. 22. In the part indicated by ②, the'List' button to move to the list, the'Add to DB' button to create 3D DB, and the '3D Conversion Cancel' button to cancel 3D DB creation and DB creation are displayed.
한편, 본 발명에 따른 3D 얼굴인식 시스템 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.Meanwhile, the 3D face recognition system and method according to the present invention are not limited to the configuration and method of the embodiments described as described above, but the embodiments are all or all of the embodiments so that various modifications can be made. Some may be selectively combined and configured.
또한, 본 발명은 단말기나 서버에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.In addition, the present invention can be implemented as code that can be read by a processor in a recording medium that can be read by a processor provided in a terminal or a server. The processor-readable recording medium includes all types of recording devices that store data that can be read by the processor. Examples of recording media that can be read by the processor include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. In addition, the processor-readable recording medium is distributed over a computer system connected through a network, so that the processor-readable code can be stored and executed in a distributed manner.
그리고, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. In addition, various modifications are possible by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or prospect of the present invention.
110 : 매칭 서버부
120 : 응용 서버부
130 : DB 서버부
140 : 스토리지부
150 : 3D 모델링부
200 : 검색 의뢰 단말기
250 : 검색 처리 단말기110: matching server unit 120: application server unit
130: DB server unit 140: storage unit
150: 3D modeling unit 200: search request terminal
250: search processing terminal
Claims (10)
상기 웹 서비스를 통해 상기 얼굴 검색 요청을 접수하고, 상기 의뢰 영상에 대하여 매칭 조건을 설정하여, 상기 의뢰 영상에 대한 검색을 요청하는 검색 처리 단말기; 및
상기 의뢰 영상에서 추출된 얼굴 영역으로부터 특징점을 추출하고 얼굴의 포즈 예측을 수행하여 생성한 예측 얼굴 포즈 정보와, 데이터베이스에 저장된 3차원 얼굴 모델링 정보를 이용한 3차원 얼굴 인식 과정에 따라 검색된 얼굴 관련 정보를 상기 검색 처리 단말기로 전송하는 검색 서버부를 포함하며,
상기 검색 처리 단말기는 상기 웹 서비스를 통해 상기 얼굴 관련 정보와 상기 얼굴 관련 정보에 대한 감정서를 상기 검색 요청 단말기로 전송하는 것을 특징으로 하는 3D 얼굴인식 시스템.A search request terminal for inputting a request image through a web service and requesting a face search for the request image;
A search processing terminal that receives the face search request through the web service, sets a matching condition for the request image, and requests a search for the request image; And
Predicted face pose information generated by extracting feature points from the face region extracted from the request image and performing face pose prediction, and face-related information retrieved according to a 3D face recognition process using 3D face modeling information stored in the database. And a search server for transmitting to the search processing terminal,
And the search processing terminal transmits the face-related information and an appraisal for the face-related information to the search requesting terminal through the web service.
상기 검색 서버부는,
상기 얼굴 포즈 정보와, 상기 데이터베이스에 저장된 3차원 기법의 얼굴 정보를 상기 예측 얼굴 포즈 정보에 대응하여 포즈 변형을 수행한 후 2차원 영상으로 투영하여 특징점을 추출한 정보를 비교하여, 상기 3차원 얼굴 인식 과정을 수행하는 매칭 서버부;
상기 웹 서비스를 제공하는 응용 서버부;
상기 데이터베이스를 관리하는 DB 서버부; 및
상기 데이터베이스를 저장하는 스토리지부를 포함하는 것을 특징으로 하는 3D 얼굴인식 시스템.The method of claim 1,
The search server unit,
The three-dimensional face recognition is performed by comparing the face pose information and information obtained by extracting feature points by performing a pose transformation in response to the predicted face pose information and then projecting the face information of the three-dimensional technique stored in the database into a two-dimensional image. A matching server unit that performs a process;
An application server unit that provides the web service;
A DB server unit for managing the database; And
3D face recognition system comprising a storage unit for storing the database.
상기 검색 서버부는,
상기 3차원 얼굴 모델링 정보를 생성하여, 상기 데이터베이스에 저장하는 3D 모델링부를 더 포함하는 것을 특징으로 하는 3D 얼굴인식 시스템.The method of claim 2,
The search server unit,
3D face recognition system, further comprising a 3D modeling unit that generates the 3D face modeling information and stores it in the database.
상기 웹 서비스를 통해 상기 의뢰 영상의 편집 및 특징점 보정을 위한 메뉴를 제공하는 것을 특징으로 하는 3D 얼굴인식 시스템.The method of claim 1,
3D face recognition system, characterized in that providing a menu for editing the requested image and correcting feature points through the web service.
상기 웹 서비스를 통해 상기 데이터베이스 관리를 위한 메뉴를 제공하는 것을 특징으로 하는 3D 얼굴인식 시스템.The method of claim 1,
3D face recognition system, characterized in that providing a menu for managing the database through the web service.
상기 검색 요청 단말기, 상기 검색 처리 단말기, 및 상기 검색 서버부는 이동통신망 및 인터넷을 통해 통신 가능하게 연결되는 것을 특징으로 하는 3D 얼굴인식 시스템.The method of claim 1,
The search request terminal, the search processing terminal, and the search server unit are 3D face recognition system, characterized in that communication is possible through a mobile communication network and Internet.
검색 처리 단말기에서 상기 웹 서비스를 통해 상기 얼굴 검색 요청을 접수하고, 상기 의뢰 영상에 대하여 매칭 조건을 설정하여, 상기 의뢰 영상에 대한 검색을 요청하는 단계;
검색 서버부에서 상기 의뢰 영상에서 추출된 얼굴 영역으로부터 특징점을 추출하고 얼굴의 포즈 예측을 수행하여 생성한 예측 얼굴 포즈 정보와, 데이터베이스에 저장된 3차원 얼굴 모델링 정보를 이용한 3차원 얼굴 인식 과정에 따라 검색된 얼굴 관련 정보를 상기 검색 처리 단말기로 전송하는 단계; 및
상기 검색 처리 단말기에서 상기 웹 서비스를 통해 상기 얼굴 관련 정보와 상기 얼굴 관련 정보에 대한 감정서를 상기 검색 요청 단말기로 전송하는 단계를 포함하는 3D 얼굴인식 방법.Inputting a request image through a web service at a search request terminal and requesting a face search for the requested image;
Receiving the face search request through the web service at a search processing terminal, setting a matching condition for the request image, and requesting a search for the request image;
Searched according to a 3D face recognition process using predicted face pose information generated by extracting feature points from the face region extracted from the request image and performing face pose prediction in the search server unit, and 3D face modeling information stored in the database. Transmitting face-related information to the search processing terminal; And
And transmitting, by the search processing terminal, the face-related information and an emotion report for the face-related information to the search requesting terminal through the web service.
상기 웹 서비스를 통해 상기 의뢰 영상의 편집 및 특징점 보정을 위한 메뉴를 제공하는 단계를 더 포함하는 3D 얼굴인식 방법.The method of claim 7,
3D face recognition method further comprising the step of providing a menu for editing and feature point correction of the request image through the web service.
상기 웹 서비스를 통해 상기 데이터베이스 관리를 위한 메뉴를 제공하는 것을 특징으로 하는 3D 얼굴인식 방법.The method of claim 7,
3D face recognition method, characterized in that providing a menu for the database management through the web service.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190016528A KR20200098875A (en) | 2019-02-13 | 2019-02-13 | System and method for providing 3D face recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190016528A KR20200098875A (en) | 2019-02-13 | 2019-02-13 | System and method for providing 3D face recognition |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200098875A true KR20200098875A (en) | 2020-08-21 |
Family
ID=72235501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190016528A KR20200098875A (en) | 2019-02-13 | 2019-02-13 | System and method for providing 3D face recognition |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20200098875A (en) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673374A (en) * | 2021-08-03 | 2021-11-19 | 支付宝(杭州)信息技术有限公司 | Face recognition method, device and equipment |
| KR20220019613A (en) | 2020-08-10 | 2022-02-17 | 주식회사 타키온비앤티 | System for applying selective makeup effect through sourcing of cosmetic object |
| KR20220019614A (en) | 2020-08-10 | 2022-02-17 | 주식회사 타키온비앤티 | Rewarding system for posting image with selectively applied makeup effects |
| KR20220019610A (en) | 2020-08-10 | 2022-02-17 | 주식회사 타키온비앤티 | system for applying selective makeup effect through facial recognition of user |
| KR20220019611A (en) | 2020-08-10 | 2022-02-17 | 주식회사 타키온비앤티 | system for posting of image through applying classifying term and selective makeup effect |
| KR20220019612A (en) | 2020-08-10 | 2022-02-17 | 주식회사 타키온비앤티 | system for applying selective makeup effect during communication through facial recognition of user |
| KR20220022431A (en) | 2020-08-18 | 2022-02-25 | 주식회사 타키온비앤티 | System for applying selective makeup effect through recommending of cosmetic object |
| KR20220022435A (en) | 2020-08-18 | 2022-02-25 | 주식회사 타키온비앤티 | system for applying wearing effect during communication through facial recognition of user |
| KR20220022432A (en) | 2020-08-18 | 2022-02-25 | 주식회사 타키온비앤티 | System for posting of image through inserting mark and applying selective makeup effect |
| KR20220022433A (en) | 2020-08-18 | 2022-02-25 | 주식회사 타키온비앤티 | System for buying service of cosmetic object and applying selective makeup effect |
| KR20220053466A (en) | 2020-10-22 | 2022-04-29 | 주식회사 타키온비앤티 | system for sharing of event during communication through facial recognition of use |
| KR20220054177A (en) | 2020-10-23 | 2022-05-02 | 주식회사 타키온비앤티 | researching system for preference during communication through facial recognition of user |
| KR20220080685A (en) | 2020-12-07 | 2022-06-14 | 주식회사 타키온비앤티 | System for suggesting of user's customized object through analyzing of user's preference data |
| KR20220080686A (en) | 2020-12-07 | 2022-06-14 | 주식회사 타키온비앤티 | System for offering location of object through analyzing of user's preference data |
| KR20220094997A (en) | 2020-12-29 | 2022-07-06 | 주식회사 테라젠바이오 | Future face prediction method and device based on genetic information |
| KR20230122708A (en) | 2022-02-15 | 2023-08-22 | 주식회사 타키온비앤티 | smart store system for moving objects through tracing of user's movement |
| US11988718B2 (en) | 2021-02-09 | 2024-05-21 | Lg Energy Solution, Ltd. | Battery diagnosing apparatus and method |
-
2019
- 2019-02-13 KR KR1020190016528A patent/KR20200098875A/en not_active Application Discontinuation
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220019612A (en) | 2020-08-10 | 2022-02-17 | 주식회사 타키온비앤티 | system for applying selective makeup effect during communication through facial recognition of user |
| KR20220019613A (en) | 2020-08-10 | 2022-02-17 | 주식회사 타키온비앤티 | System for applying selective makeup effect through sourcing of cosmetic object |
| KR20220019614A (en) | 2020-08-10 | 2022-02-17 | 주식회사 타키온비앤티 | Rewarding system for posting image with selectively applied makeup effects |
| KR20220019610A (en) | 2020-08-10 | 2022-02-17 | 주식회사 타키온비앤티 | system for applying selective makeup effect through facial recognition of user |
| KR20220019611A (en) | 2020-08-10 | 2022-02-17 | 주식회사 타키온비앤티 | system for posting of image through applying classifying term and selective makeup effect |
| KR20220022432A (en) | 2020-08-18 | 2022-02-25 | 주식회사 타키온비앤티 | System for posting of image through inserting mark and applying selective makeup effect |
| KR20220022431A (en) | 2020-08-18 | 2022-02-25 | 주식회사 타키온비앤티 | System for applying selective makeup effect through recommending of cosmetic object |
| KR20220022435A (en) | 2020-08-18 | 2022-02-25 | 주식회사 타키온비앤티 | system for applying wearing effect during communication through facial recognition of user |
| KR20220022433A (en) | 2020-08-18 | 2022-02-25 | 주식회사 타키온비앤티 | System for buying service of cosmetic object and applying selective makeup effect |
| KR20220053466A (en) | 2020-10-22 | 2022-04-29 | 주식회사 타키온비앤티 | system for sharing of event during communication through facial recognition of use |
| KR20220054177A (en) | 2020-10-23 | 2022-05-02 | 주식회사 타키온비앤티 | researching system for preference during communication through facial recognition of user |
| KR20220080685A (en) | 2020-12-07 | 2022-06-14 | 주식회사 타키온비앤티 | System for suggesting of user's customized object through analyzing of user's preference data |
| KR20220080686A (en) | 2020-12-07 | 2022-06-14 | 주식회사 타키온비앤티 | System for offering location of object through analyzing of user's preference data |
| KR20220094997A (en) | 2020-12-29 | 2022-07-06 | 주식회사 테라젠바이오 | Future face prediction method and device based on genetic information |
| US11988718B2 (en) | 2021-02-09 | 2024-05-21 | Lg Energy Solution, Ltd. | Battery diagnosing apparatus and method |
| CN113673374A (en) * | 2021-08-03 | 2021-11-19 | 支付宝(杭州)信息技术有限公司 | Face recognition method, device and equipment |
| CN113673374B (en) * | 2021-08-03 | 2024-01-30 | 支付宝(杭州)信息技术有限公司 | Face recognition method, device and equipment |
| KR20230122708A (en) | 2022-02-15 | 2023-08-22 | 주식회사 타키온비앤티 | smart store system for moving objects through tracing of user's movement |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20200098875A (en) | System and method for providing 3D face recognition | |
| CN109284729B (en) | Method, device and medium for acquiring face recognition model training data based on video | |
| JP7038744B2 (en) | Face image retrieval methods and systems, imaging devices, and computer storage media | |
| WO2019128508A1 (en) | Method and apparatus for processing image, storage medium, and electronic device | |
| WO2020211388A1 (en) | Behavior prediction method and device employing prediction model, apparatus, and storage medium | |
| Marciniak et al. | Influence of low resolution of images on reliability of face detection and recognition | |
| WO2021078157A1 (en) | Image processing method and apparatus, electronic device, and storage medium | |
| US7877706B2 (en) | Controlling a document based on user behavioral signals detected from a 3D captured image stream | |
| JP5730518B2 (en) | Specific person detection system and specific person detection method | |
| CN108228792B (en) | Picture retrieval method, electronic device and storage medium | |
| TW202026948A (en) | Methods and devices for biological testing and storage medium thereof | |
| EP4137991A1 (en) | Pedestrian re-identification method and device | |
| JP2000306095A (en) | Image collation/retrieval system | |
| US11126827B2 (en) | Method and system for image identification | |
| JP2015529354A (en) | Method and apparatus for face recognition | |
| CN112712906A (en) | Video image processing method and device, electronic equipment and storage medium | |
| CN111160202A (en) | AR equipment-based identity verification method, AR equipment-based identity verification device, AR equipment-based identity verification equipment and storage medium | |
| WO2021184754A1 (en) | Video comparison method and apparatus, computer device and storage medium | |
| CN110795714A (en) | Identity authentication method and device, computer equipment and storage medium | |
| JP2021520015A (en) | Image processing methods, devices, terminal equipment, servers and systems | |
| JP2020127194A (en) | Computer system and program | |
| CN111881740A (en) | Face recognition method, face recognition device, electronic equipment and medium | |
| CN115862113A (en) | Stranger abnormity identification method, device, equipment and storage medium | |
| WO2022033068A1 (en) | Image management method and apparatus, and terminal device and system | |
| CN111274602B (en) | Image characteristic information replacement method, device, equipment and medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E601 | Decision to refuse application |