KR20190094709A - APPARATUS AND METHOD FOR ANALvZING FACE - Google Patents

APPARATUS AND METHOD FOR ANALvZING FACE Download PDF

Info

Publication number
KR20190094709A
KR20190094709A KR1020180014176A KR20180014176A KR20190094709A KR 20190094709 A KR20190094709 A KR 20190094709A KR 1020180014176 A KR1020180014176 A KR 1020180014176A KR 20180014176 A KR20180014176 A KR 20180014176A KR 20190094709 A KR20190094709 A KR 20190094709A
Authority
KR
South Korea
Prior art keywords
face
area
boundary
size
nose
Prior art date
Application number
KR1020180014176A
Other languages
Korean (ko)
Other versions
KR102042334B1 (en
Inventor
신미저
Original Assignee
주식회사 유어핏
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유어핏 filed Critical 주식회사 유어핏
Priority to KR1020180014176A priority Critical patent/KR102042334B1/en
Publication of KR20190094709A publication Critical patent/KR20190094709A/en
Application granted granted Critical
Publication of KR102042334B1 publication Critical patent/KR102042334B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G06K9/00308—
    • G06K9/00885—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

The present invention relates to an apparatus for analyzing a face, and to a method thereof. According to one embodiment of the present invention, the apparatus for analyzing a face comprises: a face image input unit receiving a face image obtained by photographing the face of a user; a size measurement unit processing the face image and measuring a size related to a face and a body part included in the face; a size correction unit correcting the measured size; and a face information output unit outputting face information of the user based on the corrected size.

Description

얼굴 분석 장치 및 방법{APPARATUS AND METHOD FOR ANALvZING FACE}Facial analysis apparatus and method {APPARATUS AND METHOD FOR ANALvZING FACE}

본 발명은 얼굴 분석 장치 및 방법에 관한 것이다.The present invention relates to a face analysis apparatus and method.

지문, 음성, 얼굴, 홍채, 손금, 정맥 분포 등 사람의 생체 정보를 인식하여 활용하는 기술은 과거부터 꾸준히 연구되고 있다. 이러한 생체 정보는 열쇠나 비밀번호처럼 타인이 복제하거나 도용하기 어려우며, 변경되거나 분실될 위험이 낮아 특히 보안 분야에서 많이 활용되고 있다.Techniques for recognizing and using biometric information such as fingerprint, voice, face, iris, palmistry, and vein distribution have been steadily researched since the past. Such biometric information is difficult to be copied or stolen by others, such as keys or passwords, and has a low risk of being changed or lost, and thus is widely used in security fields.

그러나, 이와 같은 생체 인식 기술이 보안 분야뿐만 아니라 다양한 분야에서 널리 활용되기 위해서는 앞으로도 지속적인 연구개발이 필요한 실정이다.However, in order for such biometric technology to be widely used in various fields as well as security fields, continuous research and development is required in the future.

본 발명의 실시예는 사용자의 얼굴을 분석하여 보다 정확한 얼굴 정보를 획득할 수 있는 얼굴 분석 장치 및 방법을 제공하는 것을 목적으로 한다.An embodiment of the present invention is to provide a face analysis apparatus and method that can analyze the user's face to obtain more accurate face information.

본 발명의 일 실시예에 따른 얼굴 분석 장치는 사용자의 얼굴을 촬영하여 얻은 얼굴 이미지를 입력받는 얼굴 이미지 입력부; 상기 얼굴 이미지를 처리하여 얼굴 및 얼굴에 포함된 신체 부위와 관련된 사이즈를 측정하는 사이즈 측정부; 상기 측정된 사이즈를 보정하는 사이즈 보정부; 및 상기 보정된 사이즈를 기반으로 사용자의 얼굴 정보를 출력하는 얼굴 정보 출력부를 포함할 수 있다.Face analysis apparatus according to an embodiment of the present invention comprises a face image input unit for receiving a face image obtained by photographing the user's face; A size measuring unit configured to process the face image and measure a size related to a face and a body part included in the face; A size correcting unit correcting the measured size; And a face information output unit configured to output face information of the user based on the corrected size.

상기 얼굴 이미지 입력부는: 사용자의 얼굴 정면 및 상기 얼굴 정면 주위에 위치하는 기 결정된 사이즈의 기준 피사체를 촬영하여 얻은 얼굴 정면 이미지를 입력받을 수 있다.The face image input unit may receive a face front image obtained by photographing a user's face front and a reference subject having a predetermined size located around the face front.

상기 사이즈 측정부는: 상기 얼굴 정면 이미지에서 얼굴 영역, 눈 영역, 코 영역, 입 영역 및 기준 피사체 영역을 인식하는 영역 인식부; 상기 기준 피사체 영역의 일방향 길이와 상기 얼굴 영역, 상기 눈 영역, 상기 코 영역 및 상기 입 영역 각각의 일방향 길이 간의 비율을 산출하는 영역 비율 산출부; 및 상기 산출된 비율 및 상기 기준 피사체의 기 결정된 사이즈를 기반으로 상기 얼굴 영역, 상기 눈 영역, 상기 코 영역 및 상기 입 영역의 사이즈를 산출하는 영역 사이즈 산출부를 포함할 수 있다.The size measuring unit may include: an area recognizing unit recognizing a face area, an eye area, a nose area, a mouth area, and a reference subject area in the face front image; An area ratio calculator configured to calculate a ratio between one direction length of the reference subject area and one direction length of each of the face area, the eye area, the nose area, and the mouth area; And an area size calculator configured to calculate sizes of the face area, the eye area, the nose area, and the mouth area based on the calculated ratio and the predetermined size of the reference subject.

상기 사이즈 보정부는: 디스플레이 화면에 상기 얼굴 정면 이미지 및 상기 인식된 얼굴 영역, 눈 영역, 코 영역 및 입 영역의 경계를 출력하는 영역 경계 출력부; 및 사용자로부터 상기 얼굴 영역, 상기 눈 영역, 상기 코 영역 및 상기 입 영역 중 적어도 하나의 경계를 이동시키는 경계 이동 입력을 입력받는 경계 이동 입력부를 포함하고, 상기 사이즈 측정부는: 상기 경계 이동 입력에 따라 경계가 변경된 상기 얼굴 영역, 상기 눈 영역, 상기 코 영역 및 상기 입 영역 중 적어도 하나의 사이즈를 재측정할 수 있다.The size corrector may include: an area boundary output unit configured to output a front face image and a boundary between the recognized face area, an eye area, a nose area, and a mouth area on a display screen; And a boundary movement input unit configured to receive a boundary movement input for moving a boundary of at least one of the face region, the eye region, the nose region, and the mouth region from a user, wherein the size measurement unit: according to the boundary movement input; The size of at least one of the face region, the eye region, the nose region, and the mouth region whose boundary is changed may be measured again.

상기 영역 인식부는: 상기 얼굴 정면 이미지에서 상기 코 영역을 인식한 후, 상기 코 영역 전체 중에서 얼굴 하측에 위치한 기 설정된 비율만큼의 부분 코 영역을 더 인식하고, 상기 영역 비율 산출부는: 상기 기준 피사체 영역의 일방향 길이와 상기 부분 코 영역의 일방향 길이 간의 비율을 더 산출하고, 상기 영역 사이즈 산출부는: 상기 더 산출된 비율 및 상기 기준 피사체의 기 결정된 사이즈를 기반으로 상기 부분 코 영역의 사이즈를 산출하고, 상기 영역 경계 출력부는: 디스플레이 화면에 상기 부분 코 영역의 경계 중 적어도 일부를 출력하고, 상기 경계 이동 입력부는: 사용자로부터 상기 부분 코 영역의 경계를 이동시키는 경계 이동 입력을 입력받고, 상기 사이즈 측정부는: 상기 경계 이동 입력에 따라 사이즈가 변경된 상기 부분 코 영역의 사이즈를 재측정할 수 있다.The area recognizing unit: after recognizing the nose area in the face front image, further recognizes a partial nose area corresponding to a preset ratio located below the face among the entire nose areas, and the area ratio calculating unit: the reference subject area Further calculating a ratio between the one-way length of the partial nose area and the one-way length of the partial nose area, and the area size calculating unit: calculates the size of the partial nose area based on the further calculated ratio and the predetermined size of the reference subject, The area boundary output unit may include: at least a portion of a boundary of the partial nose area on a display screen, and the boundary movement input unit may receive a boundary movement input for moving a boundary of the partial nose area from a user, and the size measurement unit : Between the partial nose areas whose size is changed according to the boundary movement input The material can be measured.

상기 영역 경계 출력부는: 디스플레이 화면에서 상기 부분 코 영역의 경계 중 얼굴 좌측 경계, 얼굴 우측 경계 및 얼굴 하측 경계를 출력할 수 있다.The area boundary output unit may output a face left boundary, a face right boundary, and a face lower boundary among the boundaries of the partial nose area on a display screen.

상기 영역 경계 출력부는: 상기 인식된 얼굴 영역의 중심 좌표를 획득하고, 상기 인식된 얼굴 영역의 경계 상에서 상기 중심 좌표와 얼굴 상하 방향에 평행한 좌표축의 값이 동일한 얼굴 좌측 경계점 좌표 및 얼굴 우측 경계점 좌표를 획득하고, 상기 중심 좌표와 상기 얼굴 좌측 경계점 좌표 간의 거리인 얼굴 좌측 거리 및 상기 중심 좌표와 상기 얼굴 우측 경계점 좌표 간의 거리인 얼굴 우측 거리를 산출하고, 상기 얼굴 좌측 거리 및 상기 얼굴 우측 거리가 기 설정된 비율만큼 증가하도록 상기 얼굴 좌측 경계점 좌표 및 상기 얼굴 우측 경계점 좌표를 이동시키고, 상기 이동한 얼굴 좌측 경계점 좌표 및 얼굴 우측 경계점 좌표에 따라 상기 인식된 얼굴 영역의 경계를 이동시켜 디스플레이 화면에 출력할 수 있다.The area boundary output unit may include: a face left boundary point coordinate and a face right boundary point coordinate obtained by acquiring the center coordinates of the recognized face area and having the same coordinate axis values parallel to the vertical coordinates of the center coordinates on the face of the recognized face area; And obtain a face left distance that is a distance between the center coordinates and the face left boundary point coordinates, and a face right distance that is a distance between the center coordinates and the face right boundary point coordinates. The face left boundary point coordinates and the face right boundary point coordinates may be moved to increase by a set ratio, and the boundary of the recognized face area may be output based on the moved face left boundary point coordinates and the face right boundary point coordinates and displayed on a display screen. have.

상기 영역 경계 출력부는: 상기 인식된 얼굴 영역에서 얼굴 상측 경계에 인접한 얼굴 상측 경계 인접 영역을 설정하고, 상기 설정된 얼굴 상측 경계 인접 영역에서 색채가 검정색에 해당하는 픽셀의 비율을 산출하고, 상기 산출된 검정색 픽셀의 비율이 기 설정된 임계치를 초과하는 경우, 상기 인식된 얼굴 영역에서 상기 얼굴 상측 경계 인접 영역이 제거되도록 상기 얼굴 상측 경계를 얼굴 하측 방향으로 이동시켜 디스플레이 화면에 출력할 수 있다.The area boundary output unit may include: setting a face upper boundary adjacent area adjacent to a face upper boundary in the recognized face area, calculating a ratio of pixels whose color corresponds to black in the set face upper boundary adjacent area, and calculating the calculated When the ratio of the black pixels exceeds a preset threshold, the upper boundary of the face may be moved to the lower side of the face so as to be removed from the recognized face region and output on the display screen.

본 발명의 일 실시예에 따른 얼굴 분석 방법은 사용자의 얼굴을 촬영하여 얻은 얼굴 이미지를 입력받는 단계; 상기 얼굴 이미지를 처리하여 얼굴 및 얼굴에 포함된 신체 부위와 관련된 사이즈를 측정하는 단계; 상기 측정된 사이즈를 보정하는 단계; 및 상기 보정된 사이즈를 기반으로 사용자의 얼굴 정보를 출력하는 단계를 포함할 수 있다.Face analysis method according to an embodiment of the present invention comprises the steps of receiving a face image obtained by photographing the user's face; Processing the face image to measure a size related to a face and a body part included in the face; Correcting the measured size; And outputting face information of the user based on the corrected size.

본 발명의 실시예에 따른 얼굴 분석 방법은 컴퓨터로 실행하기 위한 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 기록될 수 있다.The face analysis method according to an exemplary embodiment of the present invention may be implemented as a program to be executed by a computer, and recorded in a computer-readable recording medium.

본 발명의 실시예에 따른 얼굴 분석 방법은 스마트 디바이스와 결합되어 실행시키기 위한 애플리케이션으로 구현될 수 있다.The face analysis method according to an embodiment of the present invention may be implemented as an application for executing in combination with a smart device.

본 발명의 실시예에 따르면, 사용자의 얼굴을 보다 정확하게 분석하여 신뢰도 높은 얼굴 정보를 획득할 수 있다.According to an embodiment of the present invention, highly accurate face information may be obtained by analyzing a user's face more accurately.

도 1은 본 발명의 일 실시예에 따른 얼굴 분석 장치를 이용하여 사용자의 얼굴 정보를 획득하는 시스템의 개략적인 도면이다.
도 2는 본 발명의 일 실시예에 따른 얼굴 분석 장치의 예시적인 블록도이다.
도 3은 본 발명의 일 실시예에 따른 처리부의 예시적인 블록도이다.
도 4는 본 발명의 일 실시예에 따라 사용자의 얼굴 정면 이미지를 획득하는 과정을 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따라 얼굴 정면 이미지에서 얼굴 및 신체 부위에 대한 영역들을 인식하는 과정을 설명하기 위한 예시적인 도면이다.
도 6은 본 발명의 일 실시예에 따라 얼굴 영역의 사이즈를 측정하는 과정을 설명하기 위한 예시적인 도면이다.
도 7은 본 발명의 일 실시예에 따라 입 영역의 사이즈를 보정하는 과정을 설명하기 위한 예시적인 도면이다.
도 8은 본 발명의 일 실시예에 따라 코 영역으로부터 부분 코 영역을 더 인식하는 과정을 설명하기 위한 예시적인 도면이다.
도 9는 본 발명의 다른 실시예에 따라 얼굴 영역의 사이즈를 보정하는 과정을 설명하기 위한 예시적인 도면이다.
도 10은 본 발명의 또 다른 실시예에 따라 얼굴 영역의 사이즈를 보정하는 과정을 설명하기 위한 예시적인 도면이다.
도 11은 본 발명의 일 실시예에 따른 얼굴 분석 방법의 예시적인 흐름도이다.1 is a schematic diagram of a system for acquiring face information of a user using a face analyzing apparatus according to an embodiment of the present invention.
2 is an exemplary block diagram of a face analysis apparatus according to an embodiment of the present invention.
3 is an exemplary block diagram of a processing unit according to an embodiment of the present invention.
4 is an exemplary diagram for describing a process of obtaining a face front image of a user according to an embodiment of the present invention.
5 is an exemplary diagram for describing a process of recognizing regions of a face and a body part in a face front image according to an embodiment of the present invention.
6 is an exemplary diagram for describing a process of measuring a size of a face area according to an embodiment of the present invention.
7 is an exemplary diagram for describing a process of correcting a size of an mouth region according to an embodiment of the present invention.
8 is an exemplary diagram for describing a process of further recognizing a partial nose area from a nose area according to an embodiment of the present invention.
9 is an exemplary diagram for describing a process of correcting a size of a face area according to another exemplary embodiment of the present invention.
FIG. 10 is an exemplary diagram for describing a process of correcting a size of a face area according to another exemplary embodiment of the present invention.
11 is an exemplary flowchart of a face analysis method according to an embodiment of the present invention.

이하, 본 발명의 실시 예를 첨부된 도면들을 참조하여 더욱 상세하게 설명한다. 본 발명의 실시 예는 여러 가지 형태로 변형할 수 있으며, 본 발명의 범위가 아래의 실시 예들로 한정되는 것으로 해석되어서는 안 된다. 본 실시 예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해 제공되는 것이다. 따라서 도면에서의 요소의 형상은 보다 명확한 설명을 강조하기 위해 과장되었다.Hereinafter, embodiments of the present invention will be described in more detail with reference to the accompanying drawings. The embodiments of the present invention can be modified in various forms, and the scope of the present invention should not be construed as being limited to the following embodiments. This embodiment is provided to more completely explain the present invention to those skilled in the art. Therefore, the shape of the elements in the drawings are exaggerated to emphasize a more clear description.

한편, 본 명세서 전체에서 사용되는 '~부', '~기', '~블록', '~모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부', '~기', '~블록', '~모듈' 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부', '~기', '~블록', '~모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.On the other hand, the terms '~', '~', '~ block', '~ module', etc. used throughout the present specification may mean a unit for processing at least one function or operation. For example, it can mean a hardware component such as software, FPGA, or ASIC. However, '~', '~', '~ block', '~ module', etc. are not limited to software or hardware. '~', '~', '~', '~' May be configured to reside in an addressable storage medium or may be configured to play one or more processors.

따라서, 일 예로서 '~부', '~기', '~블록', '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부', '~기', '~블록', '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부', '~기', '~블록', '~모듈'들로 결합되거나 추가적인 구성요소들과 '~부', '~기', '~블록', '~모듈'들로 더 분리될 수 있다.Thus, as an example, '~', '~', '~ block', '~ module' are components such as software components, object-oriented software components, class components, and task components. And processes, functions, properties, procedures, subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and Contains variables The components and the functions provided within '~', '~', '~', '~', ',' ~ Module 'or may be further separated into additional components and' ~ part ',' ~ group ',' ~ block ',' ~ module '.

이하, 본 명세서에 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 얼굴 분석 장치(100)를 이용하여 사용자의 얼굴 정보를 획득하는 시스템의 개략적인 도면이다.1 is a schematic diagram of a system for acquiring face information of a user using the face analysis apparatus 100 according to an exemplary embodiment.

본 발명의 일 실시예에 따른 얼굴 분석 장치(100)는 사용자의 얼굴을 분석하여 얼굴 정보를 획득하는 장치로서, 스마트폰과 같은 스마트 디바이스에 구현될 수 있다.The apparatus 100 for analyzing a face according to an embodiment of the present invention is an apparatus for obtaining face information by analyzing a face of a user and may be implemented in a smart device such as a smart phone.

또한, 도 1을 참조하면, 상기 얼굴 분석 장치(100)는 유무선 네트워크를 통해 서버(200)와 연결되어 후술하는 얼굴 분석 과정을 통해 수집되는 사용자의 얼굴 정보를 서버(200)로 전달할 수 있다.In addition, referring to FIG. 1, the face analysis apparatus 100 may be connected to the server 200 through a wired / wireless network to transfer face information of a user collected through a face analysis process to be described later to the server 200.

상기 서버(200)는 상기 얼굴 분석 장치(100)로부터 수신된 사용자 얼굴 정보를 데이터베이스에 저장하여 사용자에게 자신의 얼굴 정보에 부합하는 제품이나 서비스를 제공하도록 활용할 수 있다.The server 200 may store user face information received from the face analyzing apparatus 100 in a database to provide a product or service corresponding to the face information of the user.

도 2는 본 발명의 일 실시예에 따른 얼굴 분석 장치(100)의 예시적인 블록도이다.2 is an exemplary block diagram of a facial analysis apparatus 100 according to an embodiment of the present invention.

도 2를 참조하면, 상기 얼굴 분석 장치(100)는 카메라부(110), 입력부(120), 표시부(130), 처리부(140), 저장부(150) 및 통신부(160)를 포함한다.Referring to FIG. 2, the face analyzing apparatus 100 includes a camera unit 110, an input unit 120, a display unit 130, a processing unit 140, a storage unit 150, and a communication unit 160.

상기 카메라부(110)는 사용자의 얼굴을 촬영하여 이미지를 생성한다. 상기 카메라부(110)는 스마트폰과 같은 단말기의 전면 또는 후면에 설치된 카메라일 수 있다.The camera unit 110 generates an image by photographing a user's face. The camera unit 110 may be a camera installed on the front or rear of the terminal, such as a smartphone.

상기 입력부(120)는 사용자로부터 명령을 입력받는다. 상기 입력부(120)는 버튼 키, 터치 키 등을 포함하여 사용자로부터 명령을 입력받을 수 있는 다양한 종류의 입력 장치를 포함한다.The input unit 120 receives a command from a user. The input unit 120 may include various types of input devices that may receive a command from a user, including a button key and a touch key.

상기 표시부(130)는 화면에 이미지와 같은 정보를 표시한다. 상기 표시부(130)는 LCD 등을 포함하여 화면에 시각적으로 정보를 표시할 수 있는 다양한 종류의 표시 장치를 포함한다.The display unit 130 displays information such as an image on the screen. The display unit 130 includes various types of display devices capable of visually displaying information on a screen, including an LCD.

상기 처리부(140)는 데이터를 처리한다. 상기 처리부(140)는 사전에 설치된 프로그램 또는 애플리케이션에 따라 데이터를 처리한다. 상기 처리부(140)는 프로세서로서, 예컨대 AP, CPU, GPU 등을 포함하나 이에 제한되지는 않는다.The processor 140 processes data. The processor 140 processes data according to a pre-installed program or application. The processor 140 is a processor, for example, but is not limited to an AP, a CPU, a GPU, and the like.

상기 저장부(150)는 데이터를 저장한다. 상기 저장부(150)는 애플리케이션 프로그램뿐만 아니라 사용자의 얼굴 이미지 및 그로부터 획득한 얼굴 정보를 저장할 수 있다. 상기 저장부(150)는 RAM, ROM 등 정보를 저장할 수 있는 다양한 종류의 메모리를 포함하며, 경우에 따라 HDD, SSD 등도 포함할 수 있다.The storage unit 150 stores data. The storage unit 150 may store not only an application program but also a face image of the user and face information obtained therefrom. The storage unit 150 may include various types of memories capable of storing information such as RAM and ROM, and may also include HDDs and SSDs in some cases.

상기 통신부(160)는 데이터를 송수신한다. 상기 통신부(160)는 유무선 네트워크를 통해 데이터를 목적지(예컨대, 서버(200))로 전송할 수 있다.The communication unit 160 transmits and receives data. The communication unit 160 may transmit data to a destination (for example, the server 200) through a wired or wireless network.

도 3은 본 발명의 일 실시예에 따른 처리부(140)의 예시적인 블록도이다.3 is an exemplary block diagram of a processor 140 according to an embodiment of the present invention.

도 3에 도시된 바와 같이, 상기 얼굴 분석 장치(100)가 사용자의 얼굴을 분석하기 위해 상기 처리부(140)는 얼굴 이미지 입력부(141), 사이즈 측정부(142), 사이즈 보정부(143) 및 얼굴 정보 출력부(144)를 포함할 수 있다.As shown in FIG. 3, in order for the face analyzing apparatus 100 to analyze a face of a user, the processing unit 140 may include a face image input unit 141, a size measuring unit 142, a size correcting unit 143, and the like. The face information output unit 144 may be included.

상기 얼굴 이미지 입력부(141)는 사용자의 얼굴을 촬영하여 얻은 얼굴 이미지를 입력받는다. 상기 사이즈 측정부(142)는 상기 얼굴 이미지를 처리하여 얼굴 및 얼굴에 포함된 신체 부위와 관련된 사이즈를 측정한다. 상기 사이즈 보정부(143)는 상기 측정된 사이즈를 보정한다. 상기 얼굴 정보 출력부(144)는 상기 보정된 사이즈를 기반으로 사용자의 얼굴 정보를 출력한다.The face image input unit 141 receives a face image obtained by photographing a face of a user. The size measuring unit 142 processes the face image and measures a size related to the face and body parts included in the face. The size correction unit 143 corrects the measured size. The face information output unit 144 outputs face information of the user based on the corrected size.

상기 얼굴 이미지 입력부(141)는 상기 카메라부(110)로부터 사용자의 얼굴 이미지를 입력받을 수 있다. 그러나, 상기 얼굴 이미지 입력부(141)는 반드시 상기 카메라부(110)로부터 얼굴 이미지를 입력받을 필요는 없으며, 상기 저장부(150)에 저장되어 있는 사용자의 얼굴 이미지를 불러오거나, 상기 통신부(160)를 통해 사용자의 얼굴 이미지를 수신할 수도 있다.The face image input unit 141 may receive a face image of the user from the camera unit 110. However, the face image input unit 141 does not necessarily receive a face image from the camera unit 110, and loads a face image of a user stored in the storage unit 150, or the communication unit 160. The user may also receive an image of the face of the user.

본 발명의 일 실시예에 따르면, 상기 얼굴 이미지 입력부(141)는 사용자의 얼굴 정면 및 상기 얼굴 정면 주위에 위치하는 기 결정된 사이즈의 기준 피사체를 촬영하여 얻은 얼굴 정면 이미지를 입력받을 수 있다.According to an embodiment of the present disclosure, the face image input unit 141 may receive a face front image obtained by photographing a front face of the user and a reference subject having a predetermined size positioned around the face front.

도 4는 본 발명의 일 실시예에 따라 사용자의 얼굴 정면 이미지를 획득하는 과정을 설명하기 위한 예시적인 도면이다.4 is an exemplary diagram for describing a process of obtaining a face front image of a user according to an embodiment of the present invention.

도 4를 참조하면, 상기 얼굴 이미지 입력부(141)는 사용자의 얼굴 이미지로 사용자의 얼굴 정면(410)과 그 주위에 위치하는 기준 피사체(420)가 촬영된 얼굴 정면 이미지를 입력받을 수 있다.Referring to FIG. 4, the face image input unit 141 may receive a face front image of a face front 410 of the user and a reference subject 420 located around the face image as the face image of the user.

여기서, 상기 기준 피사체(420)는 사전에 그 사이즈가 결정되어 상기 얼굴 분석 장치(100)에 저장되어 있는 물건일 수 있다. 예를 들어, 상기 기준 피사체(420)는 가로 및 세로 길이가 정해져 있는 신용카드나 체크카드일 수 있으나, 사이즈가 미리 알려져 있는 한 이에 제한되지는 않는다.Here, the reference subject 420 may be an object whose size is determined in advance and stored in the face analyzing apparatus 100. For example, the reference subject 420 may be a credit card or a check card whose horizontal and vertical lengths are determined, but is not limited thereto as long as the size is known in advance.

도 4에 도시된 바와 같이, 사용자는 얼굴 정면을 촬영할 때 신용카드를 턱 밑에 대고 얼굴과 신용카드를 함께 촬영할 수 있다.As shown in FIG. 4, when the user photographs the front of the face, the user may photograph the face and the credit card with the credit card under the chin.

상기 사이즈 측정부(142)는 상기 얼굴 정면 이미지를 처리하여 사용자의 얼굴과 얼굴에 포함된 각종 신체 부위와 관련된 사이즈를 측정한다.The size measuring unit 142 processes the face front image to measure the size of the face of the user and various body parts included in the face.

다시 도 3을 참조하면, 상기 사이즈 측정부(142)는 영역 인식부(1421), 영역 비율 산출부(1422) 및 영역 사이즈 산출부(1423)를 포함할 수 있다.Referring to FIG. 3 again, the size measuring unit 142 may include an area recognizing unit 1421, an area ratio calculating unit 1422, and an area size calculating unit 1423.

상기 영역 인식부(1421)는 상기 얼굴 정면 이미지에서 얼굴 영역, 눈 영역, 코 영역, 입 영역 및 기준 피사체 영역을 인식한다.The area recognizer 1421 recognizes a face area, an eye area, a nose area, a mouth area, and a reference subject area in the face front image.

도 5는 본 발명의 일 실시예에 따라 얼굴 정면 이미지에서 얼굴 및 신체 부위에 대한 영역들을 인식하는 과정을 설명하기 위한 예시적인 도면이다.5 is an exemplary diagram for describing a process of recognizing regions of a face and a body part in a face front image according to an embodiment of the present invention.

도 5를 참조하면, 상기 영역 인식부(1421)는 사용자의 얼굴 정면(410)과 기준 피사체(420)가 함께 촬영된 얼굴 정면 이미지에서 사용자의 얼굴 전체에 대응하는 얼굴 영역(411), 눈에 대응하는 눈 영역(412), 코에 대응하는 코 영역(413) 및 입에 대응하는 입 영역(414)과 기준 피사체(420)에 대응하는 기준 피사체 영역(421)을 인식할 수 있다.Referring to FIG. 5, the area recognizer 1421 may include a face area 411 corresponding to the entire face of the user and an eye in a face front image in which the front face 410 of the user and the reference subject 420 are taken together. A corresponding eye region 412, a nose region 413 corresponding to the nose, a mouth region 414 corresponding to the mouth, and a reference subject region 421 corresponding to the reference subject 420 may be recognized.

도 5에 도시된 바와 같이, 상기 영역 인식부(1421)에 의해 인식되는 각 영역은 기본적으로 가로와 세로로 구성된 사각형 영역일 수 있다. 상기 사각형 영역은 얼굴, 얼굴에 포함되는 각종 신체 부위 및 기준 피사체의 경계에 접하도록 형성된다.As illustrated in FIG. 5, each area recognized by the area recognizer 1421 may be a rectangular area configured horizontally and vertically. The rectangular area is formed to contact a boundary between a face, various body parts included in the face, and a reference subject.

상기 영역 인식부(1421)에 의해 얼굴 정면 이미지에서 영역들이 인식되면, 상기 영역 비율 산출부(1422)는 기준 피사체 영역(421)의 일방향 길이와 얼굴 영역(411), 눈 영역(412), 코 영역(413) 및 입 영역(414) 각각의 일방향 길이 간의 비율을 산출한다.When the regions are recognized in the face front image by the region recognizer 1421, the region ratio calculator 1422 includes the one-way length of the reference subject region 421, the face region 411, the eye region 412, and the nose. The ratio between the length in one direction of each of the region 413 and the mouth region 414 is calculated.

그러고 나서, 상기 영역 사이즈 산출부(1423)는 상기 산출된 비율 및 상기 기준 피사체(420)의 기 결정된 사이즈를 기반으로 상기 얼굴 영역(411), 상기 눈 영역(412), 상기 코 영역(413) 및 상기 입 영역(414)의 사이즈를 산출한다.Thereafter, the area size calculator 1423 is configured to face the face area 411, the eye area 412, and the nose area 413 based on the calculated ratio and the predetermined size of the reference subject 420. And the size of the mouth region 414.

도 6은 본 발명의 일 실시예에 따라 얼굴 영역(411)의 사이즈를 측정하는 과정을 설명하기 위한 예시적인 도면이다.6 is an exemplary diagram for describing a process of measuring the size of the face area 411 according to an embodiment of the present invention.

앞서 설명한 바와 같이, 상기 영역 인식부(1421)에 의해 얼굴 정면 이미지에서 얼굴 영역(411)이 인식되면, 상기 영역 비율 산출부(1422)는 기준 피사체 영역(421)의 일방향 길이와 얼굴 영역(411)의 일 방향 길이 간의 비율을 산출한다.As described above, when the face region 411 is recognized in the face front image by the region recognizer 1421, the region ratio calculator 1422 may include the one-way length and the face region 411 of the reference subject region 421. Calculate the ratio between the lengths in one direction.

예를 들어, 도 6을 참조하면, 상기 영역 비율 산출부(1422)는 얼굴 정면 이미지 상에서 기준 피사체 영역(421)의 가로 방향 길이 lur와 얼굴 영역(411)의 가로 방향 길이 lu1 간의 비율(예컨대, lu1/lur)을 산출할 수 있다.For example, referring to FIG. 6, the area ratio calculator 1422 may determine a ratio between the horizontal length l ur of the reference subject area 421 and the horizontal length l u1 of the face area 411 on the face front image. For example, l u1 / l ur ) may be calculated.

또한, 상기 영역 비율 산출부(1422)는 얼굴 정면 이미지 상에서 기준 피사체 영역(421)의 세로 방향 길이 lvr와 얼굴 영역(411)의 세로 방향 길이 lv1 간의 비율(예컨대, lv1/lvr)을 산출할 수 있다.In addition, the area ratio calculator 1422 may determine a ratio (eg, l v1 / l vr ) between the vertical length l vr of the reference subject area 421 and the vertical length l v1 of the face area 411 on the face front image. Can be calculated.

그 뒤, 상기 영역 사이즈 산출부(1423)는 상기 산출된 비율 및 기준 피사체(420)의 기 결정된 사이즈를 기반으로 얼굴 영역(411)의 사이즈를 산출할 수 있다.Thereafter, the area size calculator 1423 may calculate the size of the face area 411 based on the calculated ratio and the predetermined size of the reference subject 420.

예를 들어, 상기 영역 사이즈 산출부(1423)는 기준 피사체 영역(421)의 가로 방향 길이와 얼굴 영역(411)의 가로 방향 길이 간의 비율 lu1/lur에 기준 피사체(420)의 가로 길이(예컨대, 기준 피사체(420)가 신용카드인 경우 그 가로 길이인 85.6 mm)를 곱하여 얼굴 영역(411)의 가로 방향 사이즈를 산출할 수 있다.For example, the area size calculator 1423 may measure the horizontal length of the reference subject 420 in a ratio l u1 / l ur between the horizontal length of the reference subject region 421 and the horizontal length of the face region 411. For example, when the reference object 420 is a credit card, the horizontal size of the face area 411 may be calculated by multiplying the horizontal length 85.6 mm).

또한, 상기 영역 사이즈 산출부(1423)는 기준 피사체 영역(421)의 세로 방향 길이와 얼굴 영역(411)의 세로 방향 길이 간의 비율 lv1/lvr에 기준 피사체(420)의 세로 길이(예컨대, 기준 피사체(420)가 신용카드인 경우 그 세로 길이인 53.98 mm)를 곱하여 얼굴 영역(411)의 세로 방향 사이즈를 산출할 수 있다.In addition, the area size calculator 1423 may determine the length of the reference object 420 in the ratio l v1 / l vr between the vertical length of the reference subject area 421 and the vertical length of the face area 411. When the reference object 420 is a credit card, the vertical size of the face area 411 may be calculated by multiplying 53.98 mm).

이와 같은 방식으로 상기 영역 비율 산출부(1422) 및 상기 영역 사이즈 산출부(1423)는 얼굴 영역(411) 외에 눈 영역(412), 코 영역(413) 및 입 영역(414)의 사이즈도 구할 수 있다.In this manner, the area ratio calculator 1422 and the area size calculator 1423 may obtain sizes of the eye area 412, the nose area 413, and the mouth area 414 in addition to the face area 411. have.

실시예에 따라, 상기 사이즈 측정부(142)는 얼굴, 눈, 코 및 입의 사이즈 외에도 신체 부위 간의 간격 등(예컨대, 좌안과 우안 사이의 간격, 코와 입 사이의 간격 등) 얼굴 및 그 얼굴에 포함된 신체 부위와 관련된 사이즈를 전술한 방법을 통해 측정할 수 있다.According to an exemplary embodiment, the size measuring unit 142 may include a space between body parts (eg, a space between the left and right eyes, a space between the nose and the mouth, etc.) in addition to the size of the face, eyes, nose, and mouth. The size associated with the body part included in the can be measured through the above-described method.

상기 사이즈 측정부(142)가 얼굴 이미지를 처리하여 얼굴 및 신체 부위와 관련된 사이즈를 측정하면, 상기 사이즈 보정부(143)는 상기 측정된 사이즈를 보정한다.When the size measuring unit 142 processes a face image and measures a size related to a face and a body part, the size correcting unit 143 corrects the measured size.

다시 도 3을 참조하면, 상기 사이즈 보정부(143)는 영역 경계 출력부(1431) 및 경계 이동 입력부(1432)를 포함할 수 있다.Referring to FIG. 3 again, the size correction unit 143 may include an area boundary output unit 1431 and a boundary movement input unit 1432.

상기 영역 경계 출력부(1431)는 디스플레이 화면에 상기 얼굴 정면 이미지 및 상기 인식된 얼굴 영역(411), 눈 영역(412), 코 영역(413) 및 입 영역(414)의 경계를 출력한다. 상기 경계 이동 입력부(1432)는 사용자로부터 상기 얼굴 영역(411), 상기 눈 영역(412), 상기 코 영역(413) 및 상기 입 영역(414) 중 적어도 하나의 경계를 이동시키는 경계 이동 입력을 입력받는다.The area boundary output unit 1431 outputs a boundary of the face front image and the recognized face area 411, the eye area 412, the nose area 413, and the mouth area 414 on a display screen. The boundary movement input unit 1432 may input a boundary movement input for moving a boundary of at least one of the face region 411, the eye region 412, the nose region 413, and the mouth region 414 from a user. Receive.

도 7은 본 발명의 일 실시예에 따라 입 영역(414)의 사이즈를 보정하는 과정을 설명하기 위한 예시적인 도면이다.7 is an exemplary diagram for describing a process of correcting the size of the mouth region 414 according to an embodiment of the present invention.

도 7에 도시된 바와 같이, 상기 영역 경계 출력부(1431)는 상기 표시부(130)의 디스플레이 화면에 얼굴 정면 이미지 및 입 영역(414)의 경계를 출력할 수 있다.As illustrated in FIG. 7, the region boundary output unit 1431 may output the boundary of the face front image and the mouth region 414 on the display screen of the display unit 130.

그러고 나서, 사용자는 상기 입력부(120)를 통해 입 영역(414)의 경계를 이동시키는 경계 이동 입력을 입력할 수 있다. 예를 들어, 도 7에 도시된 바와 같이 사용자는 스마트 폰의 터치 스크린을 통해 사용자의 얼굴 정면 이미지 상에 표시된 입 영역(414)의 얼굴 상측 경계와 얼굴 하측 경계를 각각 상측과 하측으로 드래그함으로써 입 영역(414)을 확장시킬 수 있다.Thereafter, the user may input a boundary movement input for moving the boundary of the mouth region 414 through the input unit 120. For example, as illustrated in FIG. 7, the user drags the upper and lower face of the mouth region 414 displayed on the face front image of the user through the touch screen of the smartphone to the upper and lower sides, respectively. Region 414 can be expanded.

이와 같이 사용자의 경계 이동 입력에 의해 영역의 경계가 이동하면, 상기 사이즈 측정부(142)는 상기 경계 이동 입력에 따라 사이즈가 변경된 입 영역(414')의 사이즈를 재측정한다.As such, when the boundary of the area is moved by the user's border movement input, the size measuring unit 142 re-measures the size of the mouth area 414 'whose size is changed according to the border movement input.

마찬가지로, 상기 사이즈 보정부(143)는 입 영역(414) 외에 얼굴 영역(411), 눈 영역(412) 및 코 영역(413) 중 적어도 하나에 대해서도 사용자로부터 경계 이동 입력을 입력받아 영역의 경계를 이동시키고 상기 사이즈 측정부(142)는 경계가 이동한 영역의 사이즈를 재측정할 수 있다.Similarly, the size corrector 143 receives a boundary movement input from at least one of the face region 411, the eye region 412, and the nose region 413 in addition to the mouth region 414 to receive the boundary of the region. The size measuring unit 142 may re-measure the size of the region to which the boundary is moved.

본 발명의 일 실시예에 따르면, 상기 얼굴 분석 장치(100)는 코 영역(413)으로부터 코의 일부에 대응하는 부분 코 영역을 인식하여 사이즈를 측정할 수 있다.According to an embodiment of the present disclosure, the face analysis apparatus 100 may recognize a partial nose area corresponding to a part of the nose from the nose area 413 and measure the size.

도 8은 본 발명의 일 실시예에 따라 코 영역(413)으로부터 부분 코 영역(413')을 더 인식하는 과정을 설명하기 위한 예시적인 도면이다.8 is an exemplary diagram for describing a process of further recognizing a partial nose area 413 ′ from a nose area 413 according to an embodiment of the present invention.

이 실시예에 따르면, 상기 영역 인식부(1421)는 얼굴 정면 이미지에서 코 영역(413)을 인식한 후, 상기 코 영역(413) 전체 중에서 얼굴 하측에 위치한 기 설정된 비율만큼의 부분 코 영역(413')을 더 인식할 수 있다.According to this embodiment, the area recognizer 1421 recognizes the nose area 413 in the face front image, and then the partial nose area 413 corresponding to a predetermined ratio located below the face among the entire nose area 413. ') Can be recognized more.

예를 들어, 도 8에 도시된 바와 같이, 상기 영역 인식부(1421)는 얼굴 정면 이미지로부터 인식된 코 영역(413)에서 얼굴 하측의 20%에 해당하는 영역을 부분 코 영역(413')으로 더 인식할 수 있다.For example, as illustrated in FIG. 8, the area recognizer 1421 may convert the area corresponding to 20% of the lower face from the nose area 413 recognized from the face front image as the partial nose area 413 ′. You can recognize it more.

그러고 나서, 상기 영역 비율 산출부(1422)는 상기 기준 피사체 영역(421)의 일방향 길이와 상기 부분 코 영역(413')의 일방향 길이 간의 비율을 더 산출할 수 있다.Thereafter, the region ratio calculator 1422 may further calculate a ratio between the length in one direction of the reference subject region 421 and the length in one direction of the partial nose region 413 ′.

예를 들어, 상기 영역 비율 산출부(1422)는 기준 피사체 영역(421)의 가로 방향 길이 lur와 부분 코 영역(413')의 가로 방향 길이 lu3 간의 비율(예컨대, lu3/lur)을 더 산출할 수 있다.For example, the area ratio calculator 1422 may include a ratio between the horizontal length l ur of the reference subject area 421 and the horizontal length l u3 of the partial nose area 413 ′ (eg, l u3 / l ur ). Can be further calculated.

또한, 상기 영역 비율 산출부(1422)는 기준 피사체 영역(421)의 세로 방향 길이 lvr와 부분 코 영역(413')의 세로 방향 길이 lv3 간의 비율(예컨대, lv1/lvr)을 더 산출할 수 있다.The area ratio calculator 1422 further adds a ratio (eg, l v1 / l vr ) between the longitudinal length l vr of the reference subject area 421 and the longitudinal length l v3 of the partial nose area 413 '. Can be calculated.

그 뒤, 상기 영역 사이즈 산출부(1423)는 상기 더 산출된 기준 피사체 영역(421)의 일방향 길이와 부분 코 영역(413')의 일방향 길이 간의 비율 및 기준 피사체(420)의 기 결정된 사이즈를 기반으로 부분 코 영역(413')의 사이즈를 산출할 수 있다.Thereafter, the area size calculator 1423 bases the ratio between the one-way length of the reference object area 421 and the one-way length of the partial nose area 413 'and the predetermined size of the reference object 420. The size of the partial nose area 413 'can be calculated.

예를 들어, 상기 영역 사이즈 산출부(1423)는 기준 피사체 영역(421)의 가로 방향 길이와 부분 코 영역(413')의 가로 방향 길이 간의 비율 lu3/lur에 기준 피사체(420)의 가로 길이를 곱하여 부분 코 영역(413')의 가로 방향 사이즈를 산출할 수 있다.For example, the area size calculating unit 1423 has a width of the reference subject 420 in a ratio l u3 / l ur between the horizontal length of the reference subject region 421 and the horizontal length of the partial nose region 413 '. The transverse size of the partial nose region 413 'can be calculated by multiplying the length.

마찬가지로, 상기 영역 사이즈 산출부(1423)는 기준 피사체 영역(421)의 세로 방향 길이와 부분 코 영역(413')의 세로 방향 길이 간의 비율 lv3/lvr에 기준 피사체(420)의 세로 길이를 곱하여 부분 코 영역(413')의 세로 방향 사이즈를 산출할 수 있다.Similarly, the area size calculator 1423 calculates the vertical length of the reference subject 420 in a ratio l v3 / l vr between the vertical length of the reference subject region 421 and the vertical length of the partial nose region 413 ′. By multiplying, the longitudinal size of the partial nose region 413 'can be calculated.

이와 같이 코 영역(413)으로부터 얼굴 하측의 부분 코 영역(413')이 인식되고 그 사이즈가 산출되면, 상기 영역 경계 출력부(1431)는 상기 표시부(130)의 디스플레이 화면에 상기 부분 코 영역(413')의 경계 중 적어도 일부를 출력하고, 상기 경계 이동 입력부(1432)는 상기 입력부(120)를 통해 사용자로부터 상기 부분 코 영역(413')의 경계를 이동시키는 경계 이동 입력을 입력받을 수 있다.When the partial nose area 413 'below the face is recognized from the nose area 413 and its size is calculated, the area boundary output part 1431 is displayed on the display screen of the display unit 130. The boundary movement input unit 1432 may output at least a portion of the boundary of 413 ', and the boundary movement input unit 1432 may receive a boundary movement input for moving the boundary of the partial nose area 413' from the user through the input unit 120. .

이 경우, 도 8의 굵은 점선과 같이, 상기 영역 경계 출력부(1431)는 디스플레이 화면에 상기 부분 코 영역(413')의 경계 중 얼굴 좌측에 위치하는 얼굴 좌측 경계, 얼굴 우측에 위치하는 얼굴 우측 경계 및 얼굴 하측에 위치하는 얼굴 하측 경계를 출력할 수 있다.In this case, as shown by the thick dotted line in FIG. 8, the area boundary output unit 1431 may have a left face boundary positioned on the left side of the face of the partial nose area 413 ′ on the display screen, and a right face positioned on the right side of the face. The lower boundary of the face and the lower boundary of the face which are located below the face can be output.

그 뒤, 상기 사이즈 측정부(142)는 사용자에 의한 경계 이동 입력에 따라 사이즈가 변경된 상기 부분 코 영역(413')의 사이즈를 재측정할 수 있다.Thereafter, the size measuring unit 142 may re-measure the size of the partial nose area 413 'whose size is changed according to the boundary movement input by the user.

전술한 실시예는 사용자에 의해 각 영역의 경계를 이동시키는 경계 이동 입력을 입력받으면 그에 따라 상기 사이즈 보정부(143)가 디스플레이 화면 상에서 영역의 경계를 이동시키고 상기 사이즈 재측정부(142)가 영역의 사이즈를 재측정하였다.In the above-described embodiment, when the user inputs a boundary movement input for moving the boundary of each area, the size correction unit 143 moves the boundary of the area on the display screen, and the size re-measurement unit 142 moves the area. Was measured again.

본 발명의 다른 실시예에 따르면, 상기 사이즈 보정부(143)는 사용자로부터 경계 이동 입력을 입력받지 않고 기 결정된 알고리즘에 따라 얼굴 영역(411)의 경계를 이동시켜 사이즈를 보정할 수 있다.According to another embodiment of the present invention, the size correction unit 143 may correct the size by moving the boundary of the face area 411 according to a predetermined algorithm without receiving a boundary movement input from the user.

도 9는 본 발명의 다른 실시예에 따라 얼굴 영역(411)의 사이즈를 보정하는 과정을 설명하기 위한 예시적인 도면이다.9 is an exemplary diagram for describing a process of correcting a size of a face area 411 according to another exemplary embodiment of the present invention.

도 9를 참조하면, 상기 영역 경계 출력부(1431)는 상기 얼굴 정면 이미지에서 인식된 얼굴 영역(411)의 중심 좌표 C(uc, vc)를 획득하고, 상기 인식된 얼굴 영역(411)의 경계 상에서 상기 중심 좌표 C(uc, vc)와 얼굴 상하 방향에 평행한 좌표축의 값이 동일한 얼굴 좌측 경계점 좌표 Pl(ul, vc) 및 얼굴 우측 경계점 좌표 Pr(ur, vc)를 획득할 수 있다.Referring to FIG. 9, the region boundary output unit 1431 obtains the center coordinates C (u c , v c ) of the face region 411 recognized in the face front image, and recognizes the recognized face region 411. the center coordinates on the boundaries of the c (u c, v c) with the face and down the same face value of the parallel coordinate axis the direction in which the left boundary point coordinates P l (u l, v c ) , and faces the right boundary point coordinates P r (u r, v c ) can be obtained.

다시 말해, 상기 영역 경계 출력부(1431)는 상기 얼굴 영역(411)의 중심 좌표 C(uc, vc), 및 상기 중심 좌표와 v축 좌표값(즉, vc)이 동일한 얼굴 영역(411)의 경계 상에 위치하는 얼굴 좌측 경계점 좌표 Pl(ul, vc)와 얼굴 우측 경계점 좌표 Pr(ur, vc)를 획득한다.In other words, the area boundary output unit 1431 may include a face region C (u c , v c ) of the face region 411 and a face region having the same center coordinates and v-axis coordinate values (that is, v c ). A face left boundary point coordinate P l (u l , v c ) and a face right boundary point coordinate P r (u r , v c ) located on the boundary of 411 are obtained.

그 뒤, 상기 영역 경계 출력부(1431)는 상기 중심 좌표 C(uc, vc)와 상기 얼굴 좌측 경계점 좌표 Pl(ul, vc) 간의 거리인 얼굴 좌측 거리 dl와, 상기 중심 좌표 C(uc, vc)와 상기 얼굴 우측 경계점 좌표 Pr(ur, vc) 간의 거리인 얼굴 우측 거리 dr를 산출할 수 있다.Thereafter, the area boundary output unit 1431 includes a face left distance d l which is a distance between the center coordinate C (u c , v c ) and the face left boundary point coordinate P l (u l , v c ) and the center. A face right distance d r which is a distance between a coordinate C (u c , v c ) and the face right boundary point coordinate P r (u r , v c ) may be calculated.

그러고 나서, 상기 영역 경계 출력부(1431)는 상기 얼굴 좌측 거리 dl 및 상기 얼굴 우측 거리 dr가 기 설정된 비율만큼 증가하도록 상기 얼굴 좌측 경계점 좌표 Pl(ul, vc) 및 상기 얼굴 우측 경계점 좌표 Pr(ur, vc)를 이동시킬 수 있다.Thereafter, the area boundary output unit 1431 is configured to increase the face left distance d l and the face right distance d r by a predetermined ratio, so that the face left boundary point coordinates P l (u l , v c ) and the face right The boundary point coordinates P r (u r , v c ) can be moved.

예를 들어, 도 9에 도시된 바와 같이 상기 영역 경계 출력부(1431)는 상기 얼굴 좌측 거리 dl 및 상기 얼굴 우측 거리 dr가 20%만큼 증가하도록(즉, 1.2dl 및 1.2dr) 상기 얼굴 좌측 경계점 좌표 Pl(ul, vc) 및 상기 얼굴 우측 경계점 좌표 Pr(ur, vc)를 각각 Pl'(ul', vc) 및 Pr'(ur', vc)으로 이동시킬 수 있다.For example, as illustrated in FIG. 9, the area boundary output unit 1431 may increase the face left distance d l and the face right distance d r by 20% (ie, 1.2 d l and 1.2 d r ). The face left boundary point coordinates P l (u l , v c ) and the face right boundary point coordinates P r (u r , v c ) are respectively P l '(u l ', v c ) and P r '(u r '). , v c ).

그러고 나서, 상기 영역 경계 출력부(1431)는 상기 이동한 얼굴 좌측 경계점 좌표 및 얼굴 우측 경계점 좌표에 따라 상기 얼굴 영역(411)의 경계를 이동시켜 디스플레이 화면에 출력할 수 있다.Thereafter, the area boundary output unit 1431 may move the boundary of the face area 411 according to the moved face left boundary point coordinates and face right boundary point coordinates and output the same to the display screen.

이 실시예와 같이 상기 얼굴 좌측 거리 dl 및 상기 얼굴 우측 거리 dr가 기 설정된 비율만큼 증가하는 경우, 상기 얼굴 좌측 경계점 좌표 Pl(ul, vc) 및 상기 얼굴 우측 경계점 좌표 Pr(ur, vc)는 각각 얼굴 좌측 및 얼굴 우측으로 이동하므로, 이와 같은 사이즈 보정을 통해 상기 얼굴 영역(411)은 좌우로 넓어지도록 경계가 이동된다.As in this embodiment, when the face left distance d l and the face right distance d r increase by a predetermined ratio, the face left boundary point coordinates P l (u l , v c ) and the face right boundary point coordinates P r ( u r and v c ) move to the left and the right of the face, respectively, and thus, the boundary is moved to widen the left and right sides of the face region 411 through the size correction.

이 실시예에 따르면, 상기 얼굴 분석 장치(100)는 사용자의 얼굴 정면을 촬영한 얼굴 정면 이미지로부터 얼굴의 측면 부분이 반영된 얼굴 전체 영역의 사이즈를 측정할 수 있어 사용자의 얼굴에 대한 보다 정확한 정보를 얻을 수 있다.According to this embodiment, the face analyzing apparatus 100 may measure the size of the entire face area in which the side portion of the face is reflected from the face front image of the face of the user, thereby providing more accurate information about the face of the user. You can get it.

본 발명의 또 다른 실시예에 따르면, 상기 사이즈 보정부(143)는 얼굴의 측면 부분 외에 얼굴의 상측 부분에 대해서도 사이즈를 보정할 수 있다.According to another embodiment of the present invention, the size correction unit 143 may correct the size of the upper portion of the face in addition to the side portion of the face.

도 10은 본 발명의 또 다른 실시예에 따라 얼굴 영역(411)의 사이즈를 보정하는 과정을 설명하기 위한 예시적인 도면이다.FIG. 10 is an exemplary diagram for describing a process of correcting a size of a face area 411 according to another embodiment of the present invention.

도 10을 참조하면, 상기 영역 경계 출력부(1431)는 상기 얼굴 정면 이미지에서 인식된 얼굴 영역(411)에서 얼굴 상측 경계에 인접한 얼굴 상측 경계 인접 영역(4111)을 설정할 수 있다.Referring to FIG. 10, the area boundary output unit 1431 may set a face upper boundary adjacent area 4111 adjacent to an upper boundary of a face in the face area 411 recognized in the face front image.

도 10에서 상기 얼굴 상측 경계 인접 영역(4111)은 얼굴 영역(411)의 상측 경계 아랫부분에 위치하면서 상기 상측 경계에 인접하도록 얼굴 좌측 경계점 좌표 Pl(ul, vc)와 얼굴 우측 경계점 좌표 Pr(ur, vc)를 연결하는 라인을 상기 얼굴 상측 경계 인접 영역(4111)의 하측 경계로 하고 있으나, 상기 얼굴 상측 경계 인접 영역(4111)은 그 상측 경계가 얼굴 영역(411)의 상측 경계의 적어도 일부와 일치하는 한 그 형상은 도 10의 형상으로 제한되지는 않는다.In FIG. 10, the face upper boundary adjacent area 4111 is located below the upper boundary of the face area 411, and the face left boundary point coordinate P l (u l , v c ) and the face right boundary point coordinate are located adjacent to the upper boundary. A line connecting P r (u r , v c ) is defined as the lower boundary of the upper boundary boundary region 4111 of the face, but the upper boundary of the facial boundary region 4111 of the face is the upper boundary of the face region 411. The shape is not limited to the shape of FIG. 10 as long as it matches at least a portion of the upper boundary.

예를 들어, 상기 얼굴 상측 경계 인접 영역(4111)의 하측 경계는 도 10과 같이 곡선으로 이루어지는 것이 아니라 다수의 직선이 모서리를 갖도록 구성될 수도 있다.For example, the lower boundary of the face upper boundary adjacent area 4111 may not be formed as shown in FIG. 10 but may be configured such that a plurality of straight lines have corners.

그 뒤, 상기 영역 경계 출력부(1431)는 상기 설정된 얼굴 상측 경계 인접 영역(4111)에서 색채가 검정색에 해당하는 픽셀의 비율을 산출할 수 있다.Thereafter, the area boundary output unit 1431 may calculate a ratio of pixels whose color corresponds to black in the set upper boundary boundary area 4111 of the face.

예를 들어, 상기 영역 경계 출력부(1431)는 상기 얼굴 상측 경계 인접 영역(4111)에 포함된 전체 픽셀 중에서 색채가 검정색에 해당하는 픽셀의 비율을 산출할 수 있다.For example, the area boundary output unit 1431 may calculate a ratio of pixels whose color corresponds to black among all pixels included in the upper boundary adjacent area 4111 of the face.

그러고 나서, 상기 영역 경계 출력부(1431)는 상기 산출된 검정색 픽셀의 비율이 기 설정된 임계치를 초과하는 경우, 상기 인식된 얼굴 영역(411)에서 상기 얼굴 상측 경계 인접 영역(4111)이 제거되도록 얼굴 영역(411)의 상측 경계를 얼굴 하측 방향으로 이동시켜 디스플레이 화면에 출력할 수 있다.Then, the area boundary output unit 1431 may remove the face so that the face upper boundary adjacent area 4111 is removed from the recognized face area 411 when the calculated ratio of black pixels exceeds a preset threshold. The upper boundary of the region 411 may be moved to the lower side of the face and output on the display screen.

예를 들어, 도 10에서 상기 얼굴 상측 경계 인접 영역(4111)에 포함된 검정색 픽셀의 비율이 임계치(예컨대, 50%)를 초과하는 경우, 상기 영역 경계 출력부(1431)는 얼굴 영역(411)의 상측 경계를 상기 얼굴 상측 경계 인접 영역(4111)의 하측 경계로 이동시킴으로써 상기 얼굴 영역(411)으로부터 상기 얼굴 상측 경계 인접 영역(4111)을 제거할 수 있다.For example, in FIG. 10, when the ratio of the black pixels included in the face upper boundary adjacent area 4111 exceeds a threshold (eg, 50%), the area boundary output part 1431 is the face area 411. The upper boundary boundary 4111 of the face may be removed from the face region 411 by moving the upper boundary of the face to the lower boundary of the upper boundary adjacent area 4111 of the face.

다시 도 3을 참조하면, 상기 얼굴 정보 출력부(144)는 상기 사이즈 보정부(143)에 의해 보정된 영역의 사이즈를 기반으로 사용자의 얼굴 정보를 출력한다.Referring back to FIG. 3, the face information output unit 144 outputs face information of the user based on the size of the region corrected by the size corrector 143.

본 발명의 일 실시예에 따르면, 상기 얼굴 정보 출력부(144)는 사용자의 얼굴 이미지로부터 인식, 측정 및 보정된 각 영역의 사이즈를 상기 통신부(160)를 통해 네트워크를 거쳐 상기 서버(200)로 전송할 수 있다.According to an embodiment of the present invention, the face information output unit 144 transmits the size of each region recognized, measured, and corrected from the face image of the user to the server 200 through the network through the communication unit 160. Can transmit

도 11은 본 발명의 일 실시예에 따른 얼굴 분석 방법(1000)의 예시적인 흐름도이다.11 is an exemplary flowchart of a face analysis method 1000 according to an embodiment of the present invention.

상기 얼굴 분석 방법(1000)은 앞서 설명한 본 발명의 실시예에 따른 얼굴 분석 장치(100)에 의해 실행될 수 있다.The face analysis method 1000 may be executed by the face analysis apparatus 100 according to the embodiment of the present invention described above.

도 11을 참조하면, 상기 얼굴 분석 방법(1000)은 사용자의 얼굴을 촬영하여 얻은 얼굴 이미지를 입력받는 단계(S1100), 상기 얼굴 이미지를 처리하여 얼굴 및 얼굴에 포함된 신체 부위와 관련된 사이즈를 측정하는 단계(S1200), 상기 측정된 사이즈를 보정하는 단계(S1300), 및 상기 보정된 사이즈를 기반으로 사용자의 얼굴 정보를 출력하는 단계(S1400)를 포함한다.Referring to FIG. 11, in the face analysis method 1000, a face image obtained by photographing a face of a user is received (S1100), and the size of a face and a body part included in the face are measured by processing the face image. A step S1200, a step of correcting the measured size (S1300), and a step of outputting face information of the user based on the corrected size (S1400) are included.

본 발명의 일 실시예에 따르면, 상기 얼굴 이미지를 입력받는 단계(S1100)는 사용자의 얼굴 정면(410) 및 상기 얼굴 정면 주위에 위치하는 기 결정된 사이즈의 기준 피사체(420)를 촬영하여 얻은 얼굴 정면 이미지를 입력받는 단계를 포함할 수 있다.According to an embodiment of the present disclosure, the receiving of the face image (S1100) may include a face front obtained by photographing a face front 410 of the user and a reference subject 420 having a predetermined size positioned around the face front. It may include receiving an image.

본 발명의 일 실시예에 따르면, 상기 사이즈를 측정하는 단계(S1200)는 상기 얼굴 정면 이미지에서 얼굴 영역(411), 눈 영역(412), 코 영역(413), 입 영역(414) 및 기준 피사체 영역(421)을 인식하는 단계, 상기 기준 피사체 영역(421)의 일방향 길이와 상기 얼굴 영역(411), 상기 눈 영역(412), 상기 코 영역(413) 및 상기 입 영역(414) 각각의 일방향 길이 간의 비율을 산출하는 단계, 상기 산출된 비율 및 상기 기준 피사체(420)의 기 결정된 사이즈를 기반으로 상기 얼굴 영역(411), 상기 눈 영역(412), 상기 코 영역(413) 및 상기 입 영역(414)의 사이즈를 산출하는 단계를 포함할 수 있다.According to an embodiment of the present disclosure, the measuring of the size (S1200) may include a face region 411, an eye region 412, a nose region 413, a mouth region 414, and a reference subject in the face front image. Recognizing the area 421, one direction length of the reference subject area 421 and one direction of each of the face area 411, the eye area 412, the nose area 413, and the mouth area 414. Calculating a ratio between the length, the face region 411, the eye region 412, the nose region 413, and the mouth region based on the calculated ratio and a predetermined size of the reference subject 420. Calculating the size of 414.

본 발명의 일 실시예에 따르면, 상기 사이즈를 보정하는 단계(S1300)는 디스플레이 화면에 상기 얼굴 정면 이미지 및 상기 인식된 얼굴 영역(411), 눈 영역(412), 코 영역(413) 및 입 영역(414)의 경계를 출력하는 단계, 및 사용자로부터 상기 얼굴 영역(411), 상기 눈 영역(412), 상기 코 영역(413) 및 상기 입 영역(414) 중 적어도 하나의 경계를 이동시키는 경계 이동 입력을 입력받는 단계를 포함할 수 있다.According to an embodiment of the present invention, the step of correcting the size (S1300) may include displaying the face front image and the recognized face area 411, an eye area 412, a nose area 413, and a mouth area on a display screen. Outputting a boundary of 414, and a boundary movement for moving a boundary of at least one of the face region 411, the eye region 412, the nose region 413, and the mouth region 414 from a user It may include receiving an input.

이 경우, 상기 사이즈를 측정하는 단계(S1200)는 상기 경계 이동 입력에 따라 경계가 변경된 상기 얼굴 영역(411), 상기 눈 영역(412), 상기 코 영역(413) 및 상기 입 영역(414) 중 적어도 하나의 사이즈를 재측정하는 단계를 포함할 수 있다.In this case, in the measuring of the size (S1200), among the face area 411, the eye area 412, the nose area 413, and the mouth area 414 whose boundary is changed according to the boundary movement input. And re-measuring at least one size.

나아가, 본 발명의 일 실시예에 따르면, 상기 얼굴 정면 이미지에서 영역을 인식하는 단계는 얼굴 정면 이미지에서 코 영역(413)을 인식한 후, 상기 코 영역(413) 전체 중에서 얼굴 하측에 위치한 기 설정된 비율만큼의 부분 코 영역(413')을 더 인식하는 단계를 포함할 수 있다.Furthermore, according to an embodiment of the present disclosure, in the step of recognizing a region in the face front image, after recognizing the nose region 413 in the face front image, a predetermined position located below the face among the entire nose regions 413 is set. And further recognizing the fractional nose area 413 'by the ratio.

이 경우, 상기 영역의 비율을 산출하는 단계는 상기 기준 피사체 영역(420)의 일방향 길이와 상기 부분 코 영역(413')의 일방향 길이 간의 비율을 산출하는 단계를 더 포함할 수 있다.In this case, the calculating of the ratio of the area may further include calculating a ratio between the one-direction length of the reference subject area 420 and the one-direction length of the partial nose area 413 ′.

그러고 나서, 상기 영역의 사이즈를 산출하는 단계는 상기 더 산출된 비율 및 상기 기준 피사체(420)의 기 결정된 사이즈를 기반으로 상기 부분 코 영역(413')의 사이즈를 산출하는 단계를 포함할 수 있다.Then, calculating the size of the area may include calculating the size of the partial nose area 413 'based on the calculated ratio and the predetermined size of the reference subject 420. .

그 뒤, 상기 영역의 경계를 출력하는 단계는 디스플레이 화면에 상기 부분 코 영역(413')의 경계 중 적어도 일부를 출력하는 단계를 포함하고, 상기 경계 이동 입력을 입력받는 단계는 사용자로부터 상기 부분 코 영역(413')의 경계를 이동시키는 경계 이동 입력을 입력받는 단계를 포함할 수 있다.Subsequently, outputting the boundary of the area includes outputting at least a portion of the boundary of the partial nose area 413 'on a display screen, and receiving the boundary movement input comprises inputting the partial nose from a user. And receiving a boundary movement input for moving the boundary of the region 413 '.

그 뒤, 상기 영역의 사이즈를 측정하는 단계는 상기 경계 이동 입력에 따라 사이즈가 변경된 상기 부분 코 영역(413')의 사이즈를 재측정하는 단계를 포함할 수 있다.Subsequently, measuring the size of the region may include measuring the size of the partial nose region 413 ′ changed in size according to the boundary movement input.

본 발명의 다른 실시예에 따르면, 상기 영역의 경계를 출력하는 단계는 상기 인식된 얼굴 영역(411)의 중심 좌표 C(uc, vc)를 획득하는 단계, 상기 인식된 얼굴 영역(411)의 경계 상에서 상기 중심 좌표 C(uc, vc)와 얼굴 상하 방향에 평행한 좌표축의 값이 동일한 얼굴 좌측 경계점 좌표 Pl(ul, vc) 및 얼굴 우측 경계점 좌표 Pr(ur, vc)를 획득하는 단계, 상기 중심 좌표 C(uc, vc)와 상기 얼굴 좌측 경계점 좌표 Pl(ul, vc) 간의 거리인 얼굴 좌측 거리 dl 및 상기 중심 좌표 C(uc, vc)와 상기 얼굴 우측 경계점 좌표 Pr(ur, vc)간의 거리인 얼굴 우측 거리 dr를 산출하는 단계, 상기 얼굴 좌측 거리 dl 및 상기 얼굴 우측 거리 dr가 기 설정된 비율만큼 증가하도록 상기 얼굴 좌측 경계점 좌표 Pl(ul, vc) 및 상기 얼굴 우측 경계점 좌표 Pr(ur, vc)를 이동시키는 단계, 및 상기 이동한 얼굴 좌측 경계점 좌표 Pl'(ul', vc) 및 얼굴 우측 경계점 좌표 Pr'(ur', vc)에 따라 상기 인식된 얼굴 영역(411)의 경계를 이동시켜 디스플레이 화면에 출력하는 단계를 포함할 수 있다.According to another exemplary embodiment of the present disclosure, the outputting of the boundary of the area may include obtaining a center coordinate C (u c , v c ) of the recognized face area 411, and the recognized face area 411. the center coordinates on the boundaries of the c (u c, v c) with the face and down the same face value of the parallel coordinate axis the direction in which the left boundary point coordinates P l (u l, v c ) , and faces the right boundary point coordinates P r (u r, v c ) obtaining a face left distance d l and the center coordinate C (u c ) which is a distance between the center coordinate C (u c , v c ) and the face left boundary point coordinate P l (u l , v c ). , v c ) and calculating a face right distance d r which is a distance between the face right boundary point coordinates P r (u r , v c ), wherein the face left distance d l and the face right distance d r have a predetermined ratio. the left boundary face so as to increase the coordinate P l (u l, v c ) and a boundary point coordinates P r (u r, v c ) the face to the right East of the steps, and the said moving face, the left boundary point coordinates P l '(u l', v c), and faces the right boundary point coordinates P r of the face region 411, the recognition according to the '(u r', v c) of It may include the step of moving the border and output to the display screen.

본 발명의 또 다른 실시예에 따르면, 상기 영역의 경계를 출력하는 단계는 상기 인식된 얼굴 영역(411)에서 얼굴 상측 경계에 인접한 얼굴 상측 경계 인접 영역(4111)을 설정하는 단계, 상기 설정된 얼굴 상측 경계 인접 영역(4111)에서 색채가 검정색에 해당하는 픽셀의 비율을 산출하는 단계, 및 상기 산출된 검정색 픽셀의 비율이 기 설정된 임계치를 초과하는 경우, 상기 인식된 얼굴 영역(411)에서 상기 얼굴 상측 경계 인접 영역(4111)이 제거되도록 상기 얼굴 상측 경계를 얼굴 하측 방향으로 이동시켜 디스플레이 화면에 출력하는 단계를 포함할 수 있다.According to another embodiment of the present disclosure, the outputting of the boundary of the area may include setting a face upper boundary adjacent area 4111 adjacent to an upper face boundary in the recognized face area 411, and setting the upper face of the face. Calculating a ratio of pixels whose color corresponds to black in a border adjacent area 4111, and when the calculated ratio of black pixels exceeds a preset threshold, the face upper side in the recognized face area 411. And moving the upper boundary of the face toward the lower side of the face such that the boundary adjacent area 4111 is removed, and outputting the same to the display screen.

이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위내에서 변경 또는 수정이 가능하다. 저술한 실시예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.The foregoing detailed description illustrates the present invention. In addition, the above-mentioned contents show preferred embodiments of the present invention, and the present invention can be used in various other combinations, modifications, and environments. That is, changes or modifications may be made within the scope of the concept of the invention disclosed in the present specification, the scope equivalent to the disclosures described above, and / or the skill or knowledge in the art. The described embodiments illustrate the best state for implementing the technical idea of the present invention, and various modifications required in the specific application field and use of the present invention are possible. Thus, the detailed description of the invention is not intended to limit the invention to the disclosed embodiments. Also, the appended claims should be construed to include other embodiments.

100: 얼굴 분석 장치
110: 카메라부
120: 입력부
130: 표시부
140: 처리부
141: 얼굴 이미지 입력부
142: 사이즈 측정부
143: 사이즈 보정부
144: 얼굴 정보 출력부
150: 저장부
160: 통신부
200: 서버
410: 얼굴 정면
411: 얼굴 영역
412: 눈 영역
413: 코 영역
413': 부분 코 영역
414: 입 영역
420: 기준 피사체
421: 기준 피사체 영역
1421: 영역 인식부
1422: 영역 비율 산출부
1423: 영역 사이즈 산출부
1431: 영역 경계 출력부
1432: 경계 이동 입력부
4111: 얼굴 상측 경계 인접 영역100: facial analysis device
110: camera unit
120: input unit
130: display unit
140: processing unit
141: face image input unit
142: size measuring unit
143: size correction unit
144: face information output unit
150: storage unit
160: communication unit
200: server
410: face front
411: face area
412 eye area
413: nose area
413 ': partial nose area
414: mouth area
420: reference subject
421: reference subject area
1421: region recognition unit
1422: area ratio calculator
1423: region size calculator
1431: region boundary output
1432: boundary movement input unit
4111: area near the upper boundary of the face

Claims (11)

사용자의 얼굴을 촬영하여 얻은 얼굴 이미지를 입력받는 얼굴 이미지 입력부;
상기 얼굴 이미지를 처리하여 얼굴 및 얼굴에 포함된 신체 부위와 관련된 사이즈를 측정하는 사이즈 측정부;
상기 측정된 사이즈를 보정하는 사이즈 보정부; 및
상기 보정된 사이즈를 기반으로 사용자의 얼굴 정보를 출력하는 얼굴 정보 출력부를 포함하는 얼굴 분석 장치.A face image input unit configured to receive a face image obtained by photographing a face of a user;
A size measuring unit configured to process the face image and measure a size related to a face and a body part included in the face;
A size correcting unit correcting the measured size; And
And a face information output unit configured to output face information of the user based on the corrected size. 청구항 1에 있어서,
상기 얼굴 이미지 입력부는:
사용자의 얼굴 정면 및 상기 얼굴 정면 주위에 위치하는 기 결정된 사이즈의 기준 피사체를 촬영하여 얻은 얼굴 정면 이미지를 입력받는 얼굴 분석 장치.The method according to claim 1,
The face image input unit:
And a face analyzing apparatus configured to receive a face front image obtained by photographing a reference subject having a predetermined size located in front of a face of the user and around the face. 청구항 2에 있어서,
상기 사이즈 측정부는:
상기 얼굴 정면 이미지에서 얼굴 영역, 눈 영역, 코 영역, 입 영역 및 기준 피사체 영역을 인식하는 영역 인식부;
상기 기준 피사체 영역의 일방향 길이와 상기 얼굴 영역, 상기 눈 영역, 상기 코 영역 및 상기 입 영역 각각의 일방향 길이 간의 비율을 산출하는 영역 비율 산출부; 및
상기 산출된 비율 및 상기 기준 피사체의 기 결정된 사이즈를 기반으로 상기 얼굴 영역, 상기 눈 영역, 상기 코 영역 및 상기 입 영역의 사이즈를 산출하는 영역 사이즈 산출부를 포함하는 얼굴 분석 장치.The method according to claim 2,
The size measuring unit:
An area recognition unit recognizing a face area, an eye area, a nose area, a mouth area, and a reference subject area in the face front image;
An area ratio calculator configured to calculate a ratio between one direction length of the reference subject area and one direction length of each of the face area, the eye area, the nose area, and the mouth area; And
And an area size calculator configured to calculate sizes of the face area, the eye area, the nose area, and the mouth area based on the calculated ratio and the predetermined size of the reference subject. 청구항 3에 있어서,
상기 사이즈 보정부는:
디스플레이 화면에 상기 얼굴 정면 이미지 및 상기 인식된 얼굴 영역, 눈 영역, 코 영역 및 입 영역의 경계를 출력하는 영역 경계 출력부; 및
사용자로부터 상기 얼굴 영역, 상기 눈 영역, 상기 코 영역 및 상기 입 영역 중 적어도 하나의 경계를 이동시키는 경계 이동 입력을 입력받는 경계 이동 입력부를 포함하고,
상기 사이즈 측정부는:
상기 경계 이동 입력에 따라 경계가 변경된 상기 얼굴 영역, 상기 눈 영역, 상기 코 영역 및 상기 입 영역 중 적어도 하나의 사이즈를 재측정하는 얼굴 분석 장치.The method according to claim 3,
The size correction unit:
An area boundary output unit configured to output a boundary of the face front image and the recognized face area, eye area, nose area, and mouth area on a display screen; And
A boundary movement input unit configured to receive a boundary movement input for moving a boundary of at least one of the face region, the eye region, the nose region, and the mouth region from a user;
The size measuring unit:
And re-measure the size of at least one of the face area, the eye area, the nose area, and the mouth area whose boundary is changed according to the boundary movement input. 청구항 4에 있어서,
상기 영역 인식부는:
상기 얼굴 정면 이미지에서 상기 코 영역을 인식한 후, 상기 코 영역 전체 중에서 얼굴 하측에 위치한 기 설정된 비율만큼의 부분 코 영역을 더 인식하고,
상기 영역 비율 산출부는:
상기 기준 피사체 영역의 일방향 길이와 상기 부분 코 영역의 일방향 길이 간의 비율을 더 산출하고,
상기 영역 사이즈 산출부는:
상기 더 산출된 비율 및 상기 기준 피사체의 기 결정된 사이즈를 기반으로 상기 부분 코 영역의 사이즈를 산출하고,
상기 영역 경계 출력부는:
디스플레이 화면에 상기 부분 코 영역의 경계 중 적어도 일부를 출력하고,
상기 경계 이동 입력부는:
사용자로부터 상기 부분 코 영역의 경계를 이동시키는 경계 이동 입력을 입력받고,
상기 사이즈 측정부는:
상기 경계 이동 입력에 따라 사이즈가 변경된 상기 부분 코 영역의 사이즈를 재측정하는 얼굴 분석 장치.The method according to claim 4,
The area recognition unit:
Recognizing the nose area in the face front image, and further recognizes a partial nose area of the entire nose area by a predetermined ratio located below the face,
The area ratio calculation unit:
Calculating a ratio between the length in one direction of the reference subject area and the length in one direction of the partial nose area,
The area size calculation unit:
Calculating the size of the partial nose area based on the further calculated ratio and the predetermined size of the reference subject,
The area boundary output unit:
Output at least a portion of a boundary of the partial nose area on a display screen,
The boundary movement input unit:
A boundary movement input for moving a boundary of the partial nose area from a user;
The size measuring unit:
And re-measure the size of the partial nose area whose size is changed according to the boundary movement input. 청구항 5에 있어서,
상기 영역 경계 출력부는:
디스플레이 화면에 상기 부분 코 영역의 경계 중 얼굴 좌측 경계, 얼굴 우측 경계 및 얼굴 하측 경계를 출력하는 얼굴 분석 장치.The method according to claim 5,
The area boundary output unit:
And a face analyzing apparatus outputting a face left boundary, a face right boundary, and a face lower boundary among the boundaries of the partial nose area on a display screen. 청구항 4에 있어서,
상기 영역 경계 출력부는:
상기 인식된 얼굴 영역의 중심 좌표를 획득하고,
상기 인식된 얼굴 영역의 경계 상에서 상기 중심 좌표와 얼굴 상하 방향에 평행한 좌표축의 값이 동일한 얼굴 좌측 경계점 좌표 및 얼굴 우측 경계점 좌표를 획득하고,
상기 중심 좌표와 상기 얼굴 좌측 경계점 좌표 간의 거리인 얼굴 좌측 거리 및 상기 중심 좌표와 상기 얼굴 우측 경계점 좌표 간의 거리인 얼굴 우측 거리를 산출하고,
상기 얼굴 좌측 거리 및 상기 얼굴 우측 거리가 기 설정된 비율만큼 증가하도록 상기 얼굴 좌측 경계점 좌표 및 상기 얼굴 우측 경계점 좌표를 이동시키고,
상기 이동한 얼굴 좌측 경계점 좌표 및 얼굴 우측 경계점 좌표에 따라 상기 인식된 얼굴 영역의 경계를 이동시켜 디스플레이 화면에 출력하는 얼굴 분석 장치.The method according to claim 4,
The area boundary output unit:
Obtaining center coordinates of the recognized face area,
Obtaining a face left boundary point coordinate and a face right boundary point coordinate having the same value of the coordinate axis parallel to the center coordinates and the face up and down directions on the recognized face region;
Calculating a face left distance that is a distance between the center coordinates and the face left boundary point coordinates and a face right distance that is a distance between the center coordinates and the face right boundary point coordinates,
Move the face left boundary point coordinates and the face right boundary point coordinates so that the face left distance and the face right distance increase by a preset ratio,
And a boundary of the recognized face region is output according to the moved face left boundary point coordinates and face right boundary point coordinates. 청구항 4에 있어서,
상기 영역 경계 출력부는:
상기 인식된 얼굴 영역에서 얼굴 상측 경계에 인접한 얼굴 상측 경계 인접 영역을 설정하고,
상기 설정된 얼굴 상측 경계 인접 영역에서 색채가 검정색에 해당하는 픽셀의 비율을 산출하고,
상기 산출된 검정색 픽셀의 비율이 기 설정된 임계치를 초과하는 경우, 상기 인식된 얼굴 영역에서 상기 얼굴 상측 경계 인접 영역이 제거되도록 상기 얼굴 상측 경계를 얼굴 하측 방향으로 이동시켜 디스플레이 화면에 출력하는 얼굴 분석 장치.The method according to claim 4,
The area boundary output unit:
Set a face upper border adjacent area adjacent to a face upper border in the recognized face area,
Calculating a ratio of pixels whose colors correspond to black in the area adjacent to the upper boundary of the face,
When the ratio of the calculated black pixels exceeds a preset threshold, the face analyzing apparatus outputs the display on the display screen by moving the upper upper boundary toward the lower side of the face so that the adjacent upper upper boundary is removed from the recognized face area. . 사용자의 얼굴을 촬영하여 얻은 얼굴 이미지를 입력받는 단계;
상기 얼굴 이미지를 처리하여 얼굴 및 얼굴에 포함된 신체 부위와 관련된 사이즈를 측정하는 단계;
상기 측정된 사이즈를 보정하는 단계; 및
상기 보정된 사이즈를 기반으로 사용자의 얼굴 정보를 출력하는 단계를 포함하는 얼굴 분석 방법.Receiving a face image obtained by photographing a face of a user;
Processing the face image to measure a size related to a face and a body part included in the face;
Correcting the measured size; And
And outputting face information of the user based on the corrected size. 컴퓨터로 읽을 수 있는 기록 매체에 있어서,
청구항 9에 따른 얼굴 분석 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된 기록 매체.In the computer-readable recording medium,
A recording medium having recorded thereon a program for executing a face analysis method according to claim 9 with a computer. 스마트 디바이스와 결합되어 청구항 9에 따른 얼굴 분석 방법을 실행시키기 위하여 매체에 저장된 애플리케이션.An application stored on the medium in combination with the smart device to execute the face analysis method according to claim 9.
KR1020180014176A 2018-02-05 2018-02-05 APPARATUS AND METHOD FOR ANALvZING FACE KR102042334B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180014176A KR102042334B1 (en) 2018-02-05 2018-02-05 APPARATUS AND METHOD FOR ANALvZING FACE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180014176A KR102042334B1 (en) 2018-02-05 2018-02-05 APPARATUS AND METHOD FOR ANALvZING FACE

Publications (2)

Publication Number Publication Date
KR20190094709A true KR20190094709A (en) 2019-08-14
KR102042334B1 KR102042334B1 (en) 2019-11-07

Family

ID=67622311

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180014176A KR102042334B1 (en) 2018-02-05 2018-02-05 APPARATUS AND METHOD FOR ANALvZING FACE

Country Status (1)

Country Link
KR (1) KR102042334B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861576A (en) * 2019-11-27 2021-05-28 顺丰科技有限公司 Employee image detection method and device, computer equipment and storage medium
CN113111680A (en) * 2020-01-09 2021-07-13 北京君正集成电路股份有限公司 Method for correcting face cutting frame based on face characteristic points

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150129895A (en) * 2014-05-12 2015-11-23 대한민국(관리부서: 행정자치부 국립과학수사연구원장) A Method Providing Comparing Image Of Human Face

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150129895A (en) * 2014-05-12 2015-11-23 대한민국(관리부서: 행정자치부 국립과학수사연구원장) A Method Providing Comparing Image Of Human Face

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861576A (en) * 2019-11-27 2021-05-28 顺丰科技有限公司 Employee image detection method and device, computer equipment and storage medium
CN113111680A (en) * 2020-01-09 2021-07-13 北京君正集成电路股份有限公司 Method for correcting face cutting frame based on face characteristic points
CN113111680B (en) * 2020-01-09 2023-12-12 北京君正集成电路股份有限公司 Method for correcting face cutting frame based on face feature points

Also Published As

Publication number Publication date
KR102042334B1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
US10990803B2 (en) Key point positioning method, terminal, and computer storage medium
US20190311190A1 (en) Methods and apparatuses for determining hand three-dimensional data
US20210044794A1 (en) Gaze correction of multi-view images
US20180204052A1 (en) A method and apparatus for human face image processing
US9262671B2 (en) Systems, methods, and software for detecting an object in an image
US20180165511A1 (en) Three-dimensional facial recognition method and system
JP5902661B2 (en) Authentication apparatus, authentication system, and authentication method
US20160162673A1 (en) Technologies for learning body part geometry for use in biometric authentication
US11232586B2 (en) Line-of-sight estimation device, line-of-sight estimation method, and program recording medium
US20160198036A1 (en) Incoming call processing method and mobile terminal
KR102042334B1 (en) APPARATUS AND METHOD FOR ANALvZING FACE
US20170277963A1 (en) Image processing device, image processing method and computer-readable non-transitory medium
US20210174062A1 (en) Image processing device, image processing method, and recording medium
CN110852220B (en) Intelligent facial expression recognition method, terminal and computer readable storage medium
US11488415B2 (en) Three-dimensional facial shape estimating device, three-dimensional facial shape estimating method, and non-transitory computer-readable medium
JP6741270B2 (en) Image processing apparatus, image processing method, and image processing program
JP2007257310A (en) Face analysis system
US20220301204A1 (en) Viewing distance estimation method, viewing distance estimation device, and non-transitory computer-readable recording medium recording viewing distance estimation program
KR101660596B1 (en) Method for modifying gradient of facial shape, and system for the same
US12033278B2 (en) Method for generating a 3D model
CN113343879A (en) Method and device for manufacturing panoramic facial image, electronic equipment and storage medium
JP2021064043A (en) Image processing device, image processing system, image processing method and image processing program
CN112395912B (en) Face segmentation method, electronic device and computer readable storage medium
US20210383098A1 (en) Feature point extraction device, feature point extraction method, and program storage medium
US20220270407A1 (en) Image processing method, image processing device, and non-transitory computer readable storage medium

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right