KR20120103327A - Service systembased on face recognition inference, and face recognition inference method and storage medium thereof - Google Patents
Service systembased on face recognition inference, and face recognition inference method and storage medium thereof Download PDFInfo
- Publication number
- KR20120103327A KR20120103327A KR1020110021521A KR20110021521A KR20120103327A KR 20120103327 A KR20120103327 A KR 20120103327A KR 1020110021521 A KR1020110021521 A KR 1020110021521A KR 20110021521 A KR20110021521 A KR 20110021521A KR 20120103327 A KR20120103327 A KR 20120103327A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- user
- image
- feature information
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 239000000284 extract Substances 0.000 claims abstract description 24
- 230000003796 beauty Effects 0.000 claims description 64
- 230000001815 facial effect Effects 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 18
- 210000004709 eyebrow Anatomy 0.000 claims description 11
- 210000004209 hair Anatomy 0.000 claims description 11
- 210000001061 forehead Anatomy 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 4
- 239000002537 cosmetic Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 6
- 210000001747 pupil Anatomy 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
- G06Q30/0224—Discounts or incentives, e.g. coupons or rebates based on user history
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Marketing (AREA)
- Accounting & Taxation (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Tourism & Hospitality (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Resources & Organizations (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 평면적인 얼굴 정면 영상으로부터 측면 및 후면의 영상을 추론하고, 이를 기반으로 사용자에게 입체적이고 사실적인 가상의 스타일링 서비스를 제공할 수 있는 얼굴 인식 추론 기반 서비스 시스템 및 방법, 그리고 그의 얼굴 인식 추론 방법에 관한 것이다.The present invention provides a face recognition inference based service system and method for inferring images of side and back from a planar face front image, and can provide a user with a three-dimensional and realistic virtual styling service, and a face recognition inference thereof. It is about a method.
최근 사용자가 자신이 원하는 모바일 어플리케이션을 자유롭게 선택하여 설치할 수 있는 스마트폰이 급성장하면서, 이러한 모바일 어플리케이션을 자유롭게 거래할 수 있는 OMP(Open Market Place)까지 활성화되고 있으며, 이에 따라서 다양한 응용 프로그램 및 서비스의 개발이 이루어지고 있다.Recently, as smart phones that allow users to freely select and install mobile applications that they want, the OMP (Open Market Place), which can freely trade these mobile applications, is being activated. Accordingly, various applications and services are developed. This is done.
이 중의 하나로서, 머리 모양을 가상을 바꿔볼 수 있도록 하는 가상 헤어 스타일링 서비스가 제공되고 있다. As one of them, a virtual hair styling service is provided to change the shape of the virtual hair.
그런데 기존의 가상 헤어 스타일링 서비스는, 사용자의 정면 영상만을 촬영하여, 정면 영상에 대한 가상 헤어 스타일링을 제공하고 있기 때문에, 사용자는 측면 및 후면의 모습까지 확인해 볼 수 없다.However, since the existing virtual hair styling service only photographs the front image of the user and provides the virtual hair styling for the front image, the user cannot check the side and the rear view.
측면이나 후면의 모습까지 서비스하기 위해서는, 사용자의 영상의 다양한 방향에서 촬영한 후, 이를 결합하여 사용자의 삼차원 영상을 생성하여야 하는데, 이 경우, 고가의 장비를 구비하여야 하기 때문에, 이에 따른 과다한 비용이 발생하는 문제점이 있다.In order to service up to the side or the back of the image, it is necessary to generate a three-dimensional image of the user by photographing from various directions of the user's image and combining them, in this case, because expensive equipment must be provided, the excessive cost accordingly There is a problem that occurs.
따라서, 고가의 장비를 이용하지 않고, 보다 저렴한 방법으로 사용자에게 다양한 가상 헤어 체험 서비스를 제공할 수 있도록 하기 위한 연구가 필요하다.Therefore, there is a need for research to provide various virtual hair experience services to users in a more inexpensive manner without using expensive equipment.
이에 본 발명은 평면적인 얼굴 정면 영상으로부터 측면 및 후면의 영상을 추론하고, 이를 기반으로 사용자에게 보다 입체적이고 사실적인 가상의 헤어 스타일링 서비스를 제공할 수 있는 얼굴 인식 추론 기반 서비스 시스템 및 방법, 그리고 그의 얼굴 인식 추론 방법을 제공하고자 한다.Accordingly, the present invention infers the images of the side and the back from the planar face front image, and based on the face recognition inference based service system and method that can provide a more three-dimensional and realistic virtual hair styling service to the user, and To provide a face recognition inference method.
본 발명은 상술한 과제를 해결하기 위한 수단으로서, 사용자의 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하고, 얼굴 특징 정보로부터 얼굴의 유형 정보를 추출하고, 얼굴의 특징 정보 및 얼굴의 유형 정보를 결합하여 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론한 후, 특정 스타일의 미용 오브젝트와 사용자의 정면, 측면 및 후면 얼굴 영상 중에서 하나 이상과 결합하여 가상 미용 모델링 영상을 생성하는 서비스 장치; 및 사용자의 정면 얼굴 영상을 서비스 장치로 제공하고, 서비스 장치로부터 가상 미용 모델링 영상을 수신하여 사용자에게 출력하는 단말 장치를 포함하는 것을 특징으로 하는 얼굴 인식 추론 기반 서비스 시스템을 제공한다.The present invention is a means for solving the above-described problems, extracting the feature information of the face from the front face image of the user, extracting the type information of the face from the facial feature information, combining the feature information of the face and the type information of the face A service device for generating a virtual beauty modeling image by inferring one or more of the user's side and back face images, and then combining the beauty object of a specific style with one or more of the user's front, side, and back face images; And a terminal device configured to provide the front face image of the user to the service device and to receive the virtual beauty modeling image from the service device and output the image to the user.
더하여, 본 발명은 상술한 과제를 해결하기 위한 다른 수단으로서, 네트워크를 통해서 단말 장치와 데이터를 송수신하는 통신부; 및 통신부를 통해 단말 장치로부터 사용자의 정면 얼굴 영상을 수신하고, 수신한 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하고, 얼굴 특징 정보를 비교 분석하여 얼굴의 유형 정보를 추출한 후, 얼굴의 특징 정보 및 얼굴의 유형 정보를 결합하여 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론하는 얼굴 인식부를 포함하는 것을 특징으로 하는 서비스 장치를 제공한다.In addition, the present invention is another means for solving the above problems, Communication unit for transmitting and receiving data with the terminal device via a network; And receiving the front face image of the user from the terminal device through the communication unit, extracting the feature information of the face from the received front face image, extracting the face type information by comparing and analyzing the face feature information, and then extracting the feature information of the face and It provides a service device comprising a face recognition unit for inferring one or more of the side and back face image of the user by combining the face type information.
본 발명에 의한 서비스 장치는, 사용자의 정면, 측면 및 후면 얼굴 영상 중에서 하나 이상을 특정 미용 오브젝트와 결합하여 사용자의 정면, 측면 및 후면 중에서 하나 이상의 방향으로 표현되는 가상 미용 모델링 영상을 생성하여 단말 장치로 제공하는 가상 미용 서비스부를 더 포함할 수 있다.The service device according to the present invention combines one or more of the front, side, and back face images of a user with a specific beauty object to generate a virtual beauty modeling image expressed in one or more directions among the front, side, and back of the user terminal device. It may further include a virtual beauty service provided by.
본 발명에 의한 서비스 장치는, 얼굴 인식부에서 얼굴 특징 정보와 비교되고, 얼굴 형태, 인종, 성별, 연령 중에서 하나 이상으로 구분되는 다수의 얼굴 유형에 대한 정보를 저장하는 얼굴 유형 DB; 얼굴 인식부에서 얼굴 특징 정보 및 얼굴 유형 정보로부터 추론된 측면 및 후면 얼굴 영상을 저장하는 얼굴 영상 DB; 및 가상 미용 서비스부에서 이용될 다수의 미용 오브젝트를 저장하는 미용 오브젝트 DB 중에서 하나 이상을 구비하는 저장부를 더 포함할 수 있다.According to an aspect of the present invention, there is provided a service apparatus including: a face type DB configured to compare information of face features in a face recognition unit and store information on a plurality of face types classified into at least one of a face shape, a race, a gender, and an age; A face image DB for storing side and back face images inferred from face feature information and face type information in the face recognition unit; And a storage unit having one or more of a beauty object DB for storing a plurality of beauty objects to be used in the virtual beauty service unit.
더하여, 본 발명은 상술한 과제를 해결하기 위한 또 다른 수단으로서, 사용자의 조작에 따라 사용자 입력 신호를 발생하는 입력부; 사용자의 정면 얼굴 영상을 촬영하는 카메라부; 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하고, 얼굴 특징 정보를 비교 분석하여 얼굴의 유형 정보를 추출한 후, 얼굴의 특징 정보 및 얼굴의 유형 정보를 결합하여 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론하는 얼굴 인식 모듈을 포함하고, 사용자의 입력 신호에 따라서 카메라부를 제어하여 사용자의 정면 얼굴 영상을 획득하고, 얼굴 인식 모듈을 통해 획득한 사용자의 정면 얼굴 영상으로부터 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 생성하는 제어부; 및 제어부의 제어에 따라서 사용자의 정면 얼굴 영상, 측면 및 후면 얼굴 영상 중에서 하나 이상을 출력하는 출력부를 포함하는 것을 특징으로 하는 단말 장치를 제공한다.In addition, the present invention is another means for solving the above problems, an input unit for generating a user input signal in accordance with the user's operation; A camera unit for photographing a front face image of a user; Extract facial feature information from the front face image, extract facial type information by comparing and analyzing facial feature information, and deduce one or more of the side and rear face images by combining the facial feature information and the face type information. A face recognition module, wherein the camera unit is controlled according to a user input signal to obtain a front face image of the user, and at least one of the side and rear face images of the user is obtained from the front face image of the user obtained through the face recognition module. A control unit for generating; And an output unit configured to output at least one of a front face image, a side face, and a back face image of the user under the control of the controller.
본 발명에 의한 단말 장치에 있어서, 제어부는 사용자의 정면, 측면, 후면 얼굴 영상 중에서 하나 이상과 사용자가 선택한 미용 오브젝트를 결합하여 가상 미용 모델링 영상을 생성하는 가상 모델링 모듈을 더 포함할 수 있다.In the terminal device according to the present invention, the control unit may further include a virtual modeling module for generating a virtual beauty modeling image by combining one or more of the front, side, back face image of the user and the beauty object selected by the user.
본 발명에 의한 단말 장치는, 사용자의 정면 얼굴 영상, 얼굴 형태, 인종, 성별, 연령 중에서 하나 이상으로 구분되어 얼굴 특징 정보와 비교될 다수의 얼굴 유형 정보, 얼굴 특징 정보 및 얼굴 유형 정보를 결합하여 추론된 측면 및 후면 얼굴 영상, 다수의 미용 오브젝트 중에서 하나 이상을 구비하는 저장부를 더 포함할 수 있다.The terminal device according to the present invention combines a plurality of face type information, face feature information, and face type information to be classified into at least one of a front face image, a face shape, a race, a gender, and an age of a user to be compared with the face feature information. The apparatus may further include a storage having one or more inferred side and back face images and a plurality of cosmetic objects.
본 발명에 의한 단말 장치는, 네트워크를 통해서 데이터를 송수신하는 통신부를 더 포함하고, 측면 및 후면 얼굴 영상 중에서 하나 이상에 대한 추론 또는 가상 미용 모델링 생성을 위한 데이터를 서비스 장치로부터 전송 받을 수 있다.The terminal device according to the present invention may further include a communication unit for transmitting and receiving data through a network, and may receive data for generating inference or virtual beauty modeling for at least one of side and rear face images from a service device.
더하여, 본 발명은 상술한 과제를 해결하기 위한 또 다른 수단으로서, 사용자의 정면 얼굴 영상을 획득하는 단계; 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하는 단계; 추출한 얼굴의 특징 정보를 기 분류된 유형과 비교하여, 얼굴의 유형 정보를 추출하는 단계; 및 추출한 얼굴의 특징 정보와 얼굴의 유형 정보를 결합하여, 정면 얼굴에 대한 폴리곤을 생성하고, 이로부터 사용자의 측면 및 후면 얼굴 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 추론 방법을 제공한다.In addition, the present invention as another means for solving the above problems, the step of obtaining a front face image of the user; Extracting feature information of a face from a front face image; Comparing the extracted facial feature information with a previously classified type, and extracting facial type information; And generating polygons for the front face by combining feature information of the extracted face and type information of the face, and generating side and back face images of the user from the face recognition. do.
본 발명에 의한 얼굴 인식 추론 방법에 있어서, 얼굴의 특징 정보를 추출하는 단계는, 정면 얼굴 영상으로부터 눈과 입을 추출하는 단계; 추출한 눈과 입을 역삼각형 형태로 연결하여 코 영역을 추출하는 단계; 코 영역 내에서 에지 및 색상 변화를 분석하여 코의 상세 정보를 추출하는 단계; 추출한 눈 위의 영역에서 색상 변화를 분석하여 눈썹을 추출하는 단계; 얼굴의 특징점 및 윤곽선을 추출하는 단계; 및 추출한 각 얼굴 부위에 대한 실측값 및 통계 정보를 결합하여, 폴리곤 생성을 위해 필요한 사용자의 얼굴 특징 정보를 추출하는 단계를 포함할 수 있다.In the face recognition inference method according to the present invention, the extracting the feature information of the face comprises: extracting eyes and mouth from the front face image; Extracting a nasal region by connecting the extracted eyes and mouth in an inverted triangle shape; Extracting detailed information of the nose by analyzing edge and color changes within the nose area; Extracting eyebrows by analyzing a color change in an area on the extracted eyes; Extracting feature points and contours of the face; And combining the measured values and the statistical information of each extracted face part to extract face feature information of a user required for polygon generation.
본 발명에 의한 얼굴 인식 추론 방법에 있어서, 얼굴의 유형 정보는 얼굴의 형태, 인종, 성별, 연령 중에서 하나 이상으로 분류될 수 있다.In the face recognition inference method according to the present invention, face type information may be classified into one or more of a face shape, a race, a gender, and an age.
본 발명에 의한 얼굴 인식 추론 방법에 있어서, 얼굴의 특징 정보는, 얼굴의 전체 길이 및 폭, 턱 길이, 하안, 중안, 코의 높이, 코의 길이, 입의 높이, 입의 길이, 눈의 길이, 이마의 높이 중에서 하나 이상을 포함할 수 있다.In the facial recognition inference method according to the present invention, the feature information of the face includes the total length and width of the face, the chin length, the lower eye, the middle eye, the height of the nose, the length of the nose, the height of the mouth, the length of the mouth, and the length of the eyes. It may include one or more of the height of the forehead.
더하여, 본 발명은 상술한 과제를 해결하기 위한 또 다른 수단으로서, 사용자의 정면 얼굴 영상을 획득하는 단계; 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하는 단계; 추출한 얼굴의 특징 정보를 기 분류된 유형과 비교하여, 얼굴의 유형 정보를 추출하는 단계; 추출한 얼굴의 특징 정보와 얼굴의 유형 정보를 결합하여, 정면 얼굴에 대한 폴리곤을 생성하고, 이로부터 상기 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 생성하는 단계; 사용자가 체험하기를 원하는 미용 오브젝트의 선택 정보를 입력 받는 단계; 사용자가 선택한 헤어 오브젝트를 사용자의 정면 얼굴 영상과, 측면 얼굴 영상 및 후면 얼굴 영상 중에서 하나 이상과 각각 결합하여 사용자의 정면, 측면 및 후면 방향 중 하나 이상의 방향으로 표현되는 가상 모델링 영상을 생성하는 단계를 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공한다.In addition, the present invention as another means for solving the above problems, the step of obtaining a front face image of the user; Extracting feature information of a face from a front face image; Comparing the extracted facial feature information with a previously classified type, and extracting facial type information; Generating polygons for the front face by combining feature information of the extracted face and type information of the face, and generating at least one of side and back face images of the user from the extracted face; Receiving selection information of a beauty object that the user wants to experience; Combining the hair object selected by the user with at least one of a front face image, a side face image, and a rear face image of the user to generate a virtual modeling image represented by at least one of a front, side, and rear direction of the user; A computer readable recording medium having recorded thereon a program to be executed is provided.
본 발명에 따르면, 일반 카메라를 통해 촬영된 사용자의 2차원 얼굴 영상만으로 사용자의 측면 얼굴 영상 및 후면 얼굴 영상 중에서 하나 이상을 추론함으로써, 고가의 장비 없이도 보다 입체적이고 사실적인 사용자 영상을 구현할 수 있으며, 더불어, 사용자의 정면 얼굴 영상으로부터 추론된 측면 얼굴 영상 및/또는 후면 얼굴 영상을 기반으로 얼굴 인식 기반의 다양한 응용 서비스를 제공할 수 있다.According to the present invention, by inferring one or more of the side face image and the back face image of the user only by the two-dimensional face image of the user photographed through a general camera, it is possible to implement a more three-dimensional and realistic user image without expensive equipment, In addition, various application services based on face recognition may be provided based on side face images and / or back face images inferred from the front face image of the user.
더하여, 본 발명은 사용자의 정면 얼굴 영상으로부터 추론된 측면 얼굴 영상 및 후면 얼굴 영상을 헤어, 메이크업을 포함하는 다양한 가상 미용 체험 서비스에 적용함으로써, 사용자에게 정면 얼굴 영상의 촬영만으로 측면 및 후면을 포함하는 향상된 가상 미용 체험 서비스를 제공받을 수 있으며, 서비스 제공자는 가상 미용 체험 서비스 구현을 위한 비용을 절감할 수 있는 우수한 효과가 있다.In addition, the present invention applies the side face image and the back face image inferred from the front face image of the user to various virtual beauty experience services including hair and makeup, so that the user includes the side and the back only by photographing the front face image. An improved virtual beauty experience service can be provided, and the service provider has an excellent effect of reducing the cost for implementing the virtual beauty experience service.
도 1은 본 발명의 일 실시 예에 따른 얼굴 인식 추론 기반 서비스 시스템을 나타낸 블럭도이다.
도 2는 본 발명의 일 실시 예에 따른 서비스 장치의 구성을 나타낸 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 서비스 장치에서의 얼굴 인식 추론 기반 서비스 방법을 나타낸 흐름도이다.
도 4는 본 발명의 다른 실시 예에 따른 단말 장치의 구성을 나타낸 블럭도이다.
도 5는 본 발명의 다른 실시 예에 따른 단말 장치에서의 얼굴 인식 추론 기반 서비스 방법을 나타낸 순서도이다.
도 6은 본 발명에 따른 서비스 방법에 적용된 얼굴 인식 추론 방법에 있어서, 특징 정보를 추출하는 상세 과정을 나타낸 순서도이다.
도 7은 본 발명에 따른 얼굴 인식 추론 방법에 있어서, 정면 얼굴 영상으로부터 얼굴 특징 정보를 추출하는 과정을 설명하기 위한 예시도이다.
도 8은 본 발명에 따른 얼굴 인식 추론 방법에 있어서, 정면 얼굴 영상으로부터 측면 및 후면 얼굴 영상을 추론하는 과정을 설명하기 위한 예시도이다.
도 9는 본 발명에 따른 얼굴 인식 추론 기반 서비스 방법의 일 예를 나타낸 예시도이다.1 is a block diagram illustrating a face recognition inference based service system according to an exemplary embodiment.
2 is a block diagram showing the configuration of a service apparatus according to an embodiment of the present invention.
3 is a flowchart illustrating a face recognition inference based service method in a service device according to an exemplary embodiment.
4 is a block diagram illustrating a configuration of a terminal device according to another embodiment of the present invention.
5 is a flowchart illustrating a face recognition inference based service method in a terminal device according to another embodiment of the present invention.
6 is a flowchart illustrating a detailed process of extracting feature information in the face recognition inference method applied to the service method according to the present invention.
7 is an exemplary diagram for explaining a process of extracting facial feature information from a front face image in the face recognition inference method according to the present invention.
8 is an exemplary view for explaining a process of inferring the side and back face image from the front face image in the face recognition inference method according to the present invention.
9 is an exemplary diagram illustrating an example of a face recognition inference based service method according to the present invention.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description and the accompanying drawings, detailed description of well-known functions or constructions that may obscure the subject matter of the present invention will be omitted. In addition, it should be noted that like elements are denoted by the same reference numerals as much as possible throughout the drawings.
도 1은 본 발명의 일 실시 예에 따른 얼굴 인식 추론 기반 서비스 시스템을 나타낸 블럭도이다.1 is a block diagram illustrating a face recognition inference based service system according to an exemplary embodiment.
도 1을 참조하면, 본 발명에 따른 얼굴 인식 추론 기반 서비스 시스템은, 네트워크(10)를 통해서 연결되는 서비스 장치(100) 및 단말 장치(200)를 포함하여 이루어진다.Referring to FIG. 1, the face recognition inference based service system according to the present invention includes a
여기서, 서비스 장치(100)는 본 발명에 따른 얼굴 인식 추론 방법을 적용하여, 사용자의 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하고, 상기 얼굴 특징 정보로부터 얼굴의 유형 정보를 추출한 후, 상기 얼굴의 특징 정보 및 얼굴의 유형 정보를 결합하여 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론한다. 이를 위하여 서비스 장치(100)는 네트워크(10)를 통해서 단말 장치(200)로부터 사용자의 정면 얼굴 영상을 수신할 수 있으며, 상기 단말 장치(200)로부터 얼굴 인식 결과로서, 측면 및 후면 얼굴 영상 중에서 하나 이상을 제공할 수 있다. 여기서, 사용자의 정면 얼굴 영상으로부터 측면 및 후면 얼굴 영상의 추론하는 과정은 도 6에 도시된 바와 같이 이루어질 수 있으며, 이에 대한 설명은 나중에 더 구체적으로 설명하기로 한다. Here, the
더하여, 서비스 장치(100)는 상기 사용자의 정면 얼굴 영상과, 추론을 통해 생성된 사용자의 측면 및 후면 얼굴 영상을 얼굴 인식 기반으로 이루어지는 임의의 응용 서비스에 이용할 수 있다. 예를 들어, 서비스 장치(100)는 사용자의 영상과, 헤어 또는 메이크업과 관련된 미용 오브젝트를 결합하여 사용자에게 가상 미용 체험 서비스를 제공할 수 있다. 이때, 서비스 장치(100)는 상기 사용자의 정면 얼굴 영상으로부터 추론된 측면 및 후면 얼굴 영상을 이용함으로써, 사용자에게 정면뿐만 아니라, 측면 및 후면에 대한 가상 미용 모델링 영상을 제공할 수 있다. 즉, 고가의 장비를 이용하지 않고도, 평면적인 정면 얼굴 영상만으로, 보다 입체적이고 사실적인 가상 미용 서비스를 제공할 수 있게 된다.In addition, the
이때, 단말 장치(200)는 상기 얼굴 인식 기반 서비스를 이용하려는 사용자가 이용하는 장치로서, 네트워크(10)를 통해서 상기 서비스 장치(100)에 접속하여, 상기 사용자의 정면 얼굴 영상을 서비스 장치(100)로 제공하고, 상기 서비스 장치(100)로부터 상기 가상 미용 모델링 영상을 수신하여 사용자에게 출력한다.In this case, the
상술한 얼굴 인식 추론 기반 서비스 시스템에 있어서, 서비스 장치(100)는 서버-클라이언트 컴퓨팅 방식으로 동작할 수도 있고, 클라우드 컴퓨팅 기반으로 동작할 수도 있다. 예를 들어, 상기 서비스 장치(100)는 클라우드 컴퓨팅 기반으로 동작하는 하나 이상의 서버로 구현될 수 있다.In the above-described face recognition inference based service system, the
또한, 상기 서비스 장치(100)와 단말 장치(200)를 연결하는 네트워크(10)의 종류에는 특별히 제한되지 않는다. 예를 들어, 네트워크(10)는 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스 및 끊기는 현상이 없는 데이터 서비스를 제공하는 아이피망으로, 아이피를 기반으로 서로 다른 망을 통합한 아이피망 구조인 올 아이피(All IP)망 일 수 있다. 또한, 네트워크(10)는 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 3 세대 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE망을 포함하는 3.5세대 이동통신망, LTE advanced를 포함하는 4세대 이동통신망, 위성 통신망 및 와이파이(Wi-Fi)망 중에서 하나 이상을 결합하여 이루어질 수 있다.In addition, the type of the
또한, 상기 단말 장치(200)는 사용자가 이용 가능한 통신 장치라면 어떠한 장치라도 이용될 수 있다. 예를 들면, 단말 장치(200)는 PC(Personal Computer), 노트북 컴퓨터, 휴대폰(mobile phone), 태블릿 PC, 내비게이션(navigation) 단말기, 스마트폰(smart phone), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 및 디지털방송 수신기를 포함할 수 있다. 물론 이는 예시에 불과할 뿐이며, 상술한 예 이외에도 현재 개발되어 상용화되었거나 향후 개발될 모든 통신이 가능한 장치를 포함하는 개념으로 해석되어야 한다.In addition, the
다음으로, 도 2는 본 발명의 일 실시 예에 따른 서비스 장치(100)의 구성을 기능 단위로 구분하여 나타낸 블럭도이다.Next, FIG. 2 is a block diagram illustrating a configuration of a
도 2를 참조하면, 본 발명에 의한 서비스 장치(100)는, 통신부(110)와, 얼굴 인식부(120)와, 가상 미용 서비스부(130)와, 저장부(140)를 포함한다.Referring to FIG. 2, the
통신부(110)는 네트워크(10)를 통해서 데이터를 송수신하는 수단으로서, 더 구체적으로는 얼굴 인식 서비스를 제공받는 사용자의 단말 장치(200)와 데이터를 송수신한다.The
얼굴 인식부(120)는 상기 통신부(110)를 통해 단말 장치(200)로부터 사용자의 정면 얼굴 영상을 수신하고, 수신한 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하고, 추출한 얼굴 특징 정보를 비교 분석하여 얼굴의 유형 정보를 추출한 후, 상기 얼굴의 특징 정보 및 얼굴의 유형 정보를 결합하여 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론한다. The
이러한 얼굴 인식부(120)는 도 6에 나타낸 얼굴 인식 방법에 따라서, 상기 사용자의 정면 얼굴 영상으로부터 측면 및 후면 얼굴 영상을 추론할 수 있다. 얼굴 인식부(120)는 사용자의 정면 얼굴 영상으로부터 추론된 측면 및 후면 얼굴 영상을 사용자의 요청에 따라서 단말 장치(200)에 제공할 수 있다. The
상기 얼굴 인식부(120)는 특징 추출 모듈(121), 유형 추출 모듈(122) 및 영상 추론 모듈(123)을 포함하여 이루어질 수 있다. The
상기 특징 추출 모듈(121)은 사용자의 정면 얼굴 영상으로부터 얼굴의 각 부위(눈, 코, 입, 눈썹, 윤곽, 이마, 턱 등) 별 특징을 나타내는 얼굴의 특징 정보를 추출한다. 더 구체적으로 설명하면, 특징 추출 모듈(121)은 사용자의 정면 얼굴 영상으로부터 먼저 눈과 입을 추출한다. 여기서, 눈의 추출은 먼저 동공을 추출한 후, 상기 동공을 기준으로 눈의 형상을 추출하는 형태로 이루어질 수 있다. 또한, 이러한 눈 및 입의 추출은 일반적인 얼굴 인식 기술을 이용하여 이루어질 수 있다. 이후 특징 추출 모듈(121)은, 추출한 눈과 입을 역삼각형 형태로 연결하여 코 영역을 추출하고, 상기 코 영역 내에서 에지 및 색상 변화를 분석하여 코의 상세 정보를 추출하며, 더하여, 상기 추출한 눈 위의 영역에서 색상 변화를 분석하여 눈썹을 추출하고, 더불어, 얼굴의 특징점 및 윤곽선을 추출하는 등, 얼굴의 각 부위별 상세 정보를 추출하며, 이렇게 상기 추출한 각 얼굴 부위로부터 실측된 값 및 통계 정보를 결합하여, 사용자의 얼굴 부위별로 특징 정보를 추출한다. 여기서 얼굴의 특징 정보는, 얼굴의 전체 길이 및 폭, 턱 길이, 하안, 중안, 코의 높이, 코의 길이, 입의 높이, 입의 길이, 눈의 길이, 이마의 높이 등 사용자의 정면 얼굴에 대한 폴리곤 생성을 위해 필요한 여러 정보를 포함한다.The
다음으로, 상기 유형 추출 모듈(122)은 상기 특징 추출 모듈(121)에서 추출한 얼굴의 특징 정보를 기 분류된 유형과 비교하여, 사용자의 얼굴과 매칭되는 얼굴의 유형 정보를 추출한다. 여기서, 얼굴의 유형 정보는, 다양한 사용자의 얼굴을 일정 기준에 따라 구분한 것으로서, 예를 들어, 형태(계란형, 둥근형, 네모형, 세모형 등), 인종(황인, 백인, 흑인, 혼혈 등), 성별(남, 여), 연령(유아기, 아동기, 청년기, 장년기, 노년기 등)으로 구분되는 얼굴의 유형을 정보를 의미한다. Next, the
마지막으로, 영상 추론 모듈(123)은 상기 특징 추출 모듈(121) 및 유형 추출 모듈(122)로부터 추출된 얼굴의 특징 정보와 얼굴의 유형 정보를 결합하여, 상기 사용자의 정면 얼굴에 대한 폴리곤을 생성하고, 이로부터 상기 사용자의 측면 및 후면 얼굴 영상을 추론한다. 이때, 기 학습된 얼굴 영상을 참조할 수 있다. 즉, 동일 얼굴의 유형에 대하여 이전에 추론되었거나 미리 설정되어 있는 측면 및 후면 얼굴 영상을 참조할 수 있다. 이때 상기 영상 추론 모듈(122)에서 생성하는 측면 및 후면 얼굴 영상은 3차원 혹은 2차원의 스틸 영상일 수 있으며, 특히 측면 얼굴 영상은 일정 각도 기준으로 더 세분화되어 구현될 수 있다. 예를 들면, 정면을 기준점으로 할 때, 0~60도의 제1 측면 얼굴 영상, 61~90도의 제2 측면 얼굴 영상, 90~140도의 제3 측면 영상이 생성될 수 있다.Finally, the
이어서, 가상 미용 서비스부(130)는 네트워크(10)를 통해서 헤어 및 메이크업을 포함하는 미용 분야와 관련된 가상 체험 서비스를 제공하는 부분으로서, 더 구체적으로 설명하면, 상기 수신한 사용자의 정면 얼굴 영상 및 상기 얼굴 인식부(120)로부터 추론을 통해 생성된 측면 및 후면 얼굴 영상 중에서 하나 이상을 특정 미용 오브젝트와 결합하여 사용자의 정면, 측면 및 후면 중에서 하나 이상의 방향으로 표현되는 가상 미용 모델링 영상을 생성하여 단말 장치(200)로 제공한다. 예를 들어 설명하면, 가상 미용 서비스부(130)는 특정 스타일의 형상으로 이루어진 헤어 오브젝트를 상기 사용자의 정면, 후면, 측면 얼굴 영상 중에서 하나 이상과 결합하여, 사용자가 해당 헤어 오브젝트의 헤어 스타일로 변경했을 때의 모습의 하나 이상의 방향(정면, 측면, 후면)으로 모델링하여 제공한다.Subsequently, the virtual
그리고, 저장부(140)는 본 발명에 의한 얼굴 인식 추론 기반 서비스 장치(100)에서 얼굴 인식 추론 및 가상 미용 체험 서비스를 수행하는데 필요한 데이터를 저장한다. 더 구체적으로 설명하면, 저장부(140)는 상기 얼굴 인식부(120)에서 상기 얼굴 특징 정보와 비교되고, 얼굴 형태, 인종, 성별, 연령 중에서 하나 이상으로 구분되는 다수의 얼굴 유형에 대한 정보를 저장하는 얼굴 유형 DB와, 상기 얼굴 인식부(120)에서 얼굴 특징 정보 및 얼굴 유형 정보로부터 추론된 측면 및 후면 얼굴 영상을 저장하는 얼굴 영상 DB와, 상기 가상 미용 서비스부에서 이용될 다수의 미용 오브젝트를 저장하는 미용 오브젝트 DB 중에서 하나 이상을 저장하고, 상기 얼굴 인식부(120) 및 가상 미용 서비스부(130)의 요청에 따라서 요청된 정보를 제공한다. 이러한 저장부(140)는 램(RAM, Read Access Memory), 롬(ROM, Read Only Memory), 하드디스크(HDD, Hard Disk Drive), 플래시 메모리, CD-ROM, DVD 뿐만 아니라, 네트워크 접근 스토리지(NAS, Network Access Storage)와 같이 모든 종류의 저장 매체를 포함할 수 있다.In addition, the
도 3은 본 발명의 일 실시 예에 따라서 상기 서비스 장치(100)를 통해 이루어지는 얼굴 인식 추론 기반 서비스 방법을 나타낸 메시지 흐름도이다.3 is a message flow diagram illustrating a face recognition inference based service method performed through the
도 3을 참조하면, 단말 장치(200)는 사용자 입력 신호에 따라서 서비스 장치(100)에 접속하여, 서비스를 요청한다(S105).Referring to FIG. 3, the
이에 서비스 장치(100)는 사용자 인증을 통해서 서비스 이용이 가능한 사용자 인지를 확인한 후, 상기 단말 장치(200)로 서비스를 허용한다는 응답을 전달한다(S110). The
이후, 단말 장치(200)는 사용자의 정면 얼굴 영상을 획득하여, 서비스 장치(100)로 전송한다(S115, S120). 이는 단말 장치(200)가 서비스 장치(100)로부터의 요청에 따라서, 카메라부(230)를 동작시켜, 사용자의 정면 얼굴 영상을 촬영하거나, 저장부(260)에 기 저장된 사용자의 정면 얼굴 영상을 로딩하여, 서비스 장치(100)로 전송하는 형태로 이루어질 수 있다.Thereafter, the
이어서, 서비스 장치(100)는, 수신한 사용자의 정면 얼굴 영상에 대한 얼굴 인식 과정을 실행하는데, 먼저, 얼굴 인식부(120)의 특징 추출 모듈(121)을 통해서 상기 수신한 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출한다(S125). 여기서 얼굴의 특징 정보는, 사용자의 정면 얼굴 영상으로부터 얼굴의 각 부위(눈, 코, 입, 눈썹, 윤곽, 이마, 턱 등) 별 특징을 나타내는 얼굴의 특징 정보를 의미하는 것으로서, 예를 들어, 얼굴의 전체 길이 및 폭, 턱 길이, 하안, 중안, 코의 높이, 코의 길이, 입의 높이, 입의 길이, 눈의 길이, 이마의 높이 등 사용자의 얼굴에 대한 폴리곤 생성을 위해 필요한 여러 정보를 포함한다. 이러한 얼굴의 특징 정보는 도 6에 도시된 바와 같은 과정을 통해서 추출될 수 있으며, 도 7은 도 6의 과정을 통해서 처리된 사용자의 정면 얼굴 영상을 예시한다. 도 7에서, 얼굴 영상 위에 나타난 각 점은 사용자의 정면 얼굴 영상으로부터 추출된 얼굴의 각 부위를 나타내는 특징점이며, 이러한 특징점을 연결하여, 얼굴의 각 부위를 표현할 수 있다.Subsequently, the
다음으로, 얼굴 인식 기반 서비스 장치(100)의 얼굴 인식부(120)는 유형 추출 모듈(122)을 통해서, 상기 추출한 얼굴의 특징 정보를 기 분류된 유형과 비교하여, 얼굴의 유형 정보를 추출한다(S130). 여기서, 얼굴의 유형 정보는, 다양한 사용자의 얼굴을 일정 기준에 따라 구분한 것으로서, 예를 들어, 형태(계란형, 둥근형, 네모형, 세모형 등), 인종(황인, 백인, 흑인, 혼혈 등), 성별(남, 여), 연령(유아기, 아동기, 청년기, 장년기, 노년기 등)으로 구분되는 얼굴의 유형을 정보를 의미한다. 상기 단계(S130)는 기 설정된 다양한 얼굴 유형별 표준 정보와 상기 추출한 사용자 얼굴의 특징 정보를 비교하여, 그 매칭 결과에 따라서, 사용자의 얼굴 유형 정보를 추출하게 된다.Next, the
그리고, 서비스 장치(100)의 얼굴 인식부(120)는 영상 추론 모듈(123)을 통해서 상기 추출한 얼굴의 특징 정보와 유형 정보를 결합하여, 사용자의 정면 얼굴 영상에 대한 폴리곤을 생성하고, 이로부터 상기 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론을 통해 생성한다(S135). 상기 사용자의 측면 및 후면 얼굴 영상의 추론은 기 학습된 얼굴 영상들을 참조하여 이루어질 수 있다. 예를 들어, 상기 사용자의 정면 얼굴 영상에 대한 폴리곤을 생성 후, 상기 폴리곤을 지정된 각도로 회전시키고 기 학습된 얼굴 영상으로부터 추출된 얼굴 유형의 표준 얼굴에 대한 측면 영상과 후면 영상을 결합함으로써 이루어질 수 있다. 도 8은 상기 도 7과 같은 사용자 정면 얼굴 영상으로부터 생성된 사용자의 정면 얼굴 영상에 대한 폴리곤 및 이로부터 추론된 측면 얼굴 영상의 폴리곤을 예시한다. 도 8에서 (a)는 정면 얼굴 영상으로부터 생성된 폴리곤을 나타내며, (b)는 상기 폴리곤을 일정 각도 회전시켜, 측면 얼굴 영상에 대한 폴리곤을 도출한 상태를 나타낸다. 여기서, 서비스 장치(100)는 상기 추론한 측면 및 후면의 얼굴 영상 중에서 하나 이상을 단말 장치(200)에 제공할 수 있다.The
이어서, 서비스 장치(100)는 상술한 얼굴 인식 결과를 이용하여 얼굴 인식 기반 서비스를 실행하는데, 이를 위해 단말 장치(200)로 가상 체험하고자 하는 미용 오브젝트의 선택을 요청하고(S140), 사용자의 미용 오브젝트 선택 정보를 포함하는 응답을 수신한다(S145).Subsequently, the
상기 응답을 통해서 사용자가 가상으로 체험하고자 하는 미용 오브젝트를 확인한 서비스 장치(100)는 선택된 미용 오브젝트를 상기 사용자의 정면 얼굴 영상과, 상기 생성한 측면 및 후면 얼굴 영상 중에서 하나 이상과 각각 결합하여 사용자의 정면, 측면 및 후면 방향 중 하나 이상의 방향으로 표현되는 가상 미용 모델링 영상을 생성하고(S150), 생성한 가상 미용 모델링 영상을 단말 장치(200)로 전송한다(S155). The
이에 단말 장치(200)는 수신한 가상 미용 모델링 영상을 사용자에게 출력한다(S160).In response, the
도 9는 상술한 과정을 통해서 제공되는 얼굴 인식 기반 서비스의 일 예를 나타낸 것으로서, 도시된 바와 같이, 본 발명에 의한 얼굴 인식 기반 서비스 장치(100)는 사용자의 정면 얼굴 영상(91)으로부터 사용자의 측면 얼굴 영상 및 후면 얼굴 영상을 추론함으로써, 선택된 헤어 오브젝트(92)를 착용한 사용자의 정면 모델링 영상(93)뿐만 아니라 측면 모델링 영상(94) 및 후면 모델링 영상(95)을 함께 제공할 수 있게 된다.9 illustrates an example of a face recognition based service provided through the above-described process. As shown in the drawing, the face recognition based
한편, 본 발명의 다른 실시 예에 있어서, 얼굴 인식 및 얼굴 인식 기반 서비스는 상술한 얼굴 인식 서비스 장치(100)의 개입 없이, 단말 장치(200) 위주로 실행될 수 있다.Meanwhile, in another embodiment of the present invention, the face recognition and face recognition based service may be executed mainly on the
도 4는 본 발명의 다른 실시 예에 따른 단말 장치(200)의 구성을 나타낸 블럭도이다.4 is a block diagram illustrating a configuration of a
도 4를 참조하면, 단말 장치(200)는 통신부(210)와, 입력부(220)와, 카메라부(230)와, 제어부(240)와, 출력부(250)와, 저장부(260)를 포함하여 이루어질 수 있다.Referring to FIG. 4, the
통신부(210)는 네트워크(10)를 통해서 데이터를 송수신하는 수단으로서, 특히 단말 장치(200)의 통신부(210)는 네트워크(10)를 통해 얼굴 인식 기반 서비스 장치(100)와 통신하여 얼굴 인식 및 얼굴 인식 기반 서비스 실행과 관련된 데이터를 송수신할 수 있다.The
상기 입력부(220)는 사용자의 조작에 따라 사용자 입력 신호를 발생한다. 이러한 입력부(220)는 다양한 방식의 입력 수단으로 구현될 수 있다. 예를 들면, 입력부(220)는 키 입력 수단, 터치 입력 수단, 제스처 입력 수단, 음성 입력 수단 중에서 하나 이상을 포함할 수 있다. 키 입력 수단은, 키 조작에 따라서 해당 키에 대응하는 신호를 발생시키는 것으로서, 키패드, 키보드가 해당된다. 터치 입력 수단은, 사용자가 특정 부분을 터치하는 동작을 감지하여 입력 동작을 인식하는 것으로서, 터치 패드, 터치 스크린, 터치 센서를 들 수 있다. 제스처 입력 수단은, 사용자의 동작, 예를 들어, 단말 장치를 흔들거나 움직이는 동작, 단말 장치에 접근하는 동작, 눈을 깜빡이는 동작 등 지정된 특정 동작을 특정 입력 신호로 인식하는 것으로서, 지자기 센서, 가속도 센서, 카메라, 고도계, 자이로 센서, 근접 센서 중에서 하나 이상을 포함하여 이루어질 수 있다. 사용자는 입력부(220)를 통해서 얼굴 인식 또는 얼굴 인식 기반 서비스를 요청하거나, 얼굴 인식 기반 서비스를 위해 모델링 하고자 하는 특정 미용 오브젝트를 선택할 수 있다.The
카메라부(230)는 영상을 촬영하는 수단으로서, 본 발명에 있어서, 얼굴 인식 및 얼굴 인식 기반 서비스에 사용할 사용자의 영상을 촬영하는데 이용될 수 있다. 특히, 상기 카메라부(230)는 사용자의 2차원 정면 얼굴 영상을 촬영한다.The
제어부(240)는 입력부(220)를 통해 발생한 사용자 입력 신호에 따라서 단말 장치(200)의 동작 전반을 제어하고, 특정 기능을 실행한다. 상기 제어부(240)는 CPU 혹은 MPU 등을 포함하는 개념으로서, 운영 프로그램 및 응용 프로그램에 따라서 동작하여 다양한 기능을 실행할 수 있다. 본 발명에 있어서, 상기 제어부(240)는 얼굴 인식 추론 및 얼굴 인식 추론 기반 서비스 실행을 위해 얼굴 인식 모듈(241) 및 가상 모델링 모듈(242) 중에서 하나 이상을 포함한다. The
상기 얼굴 인식 모듈(241)은, 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하고, 얼굴 특징 정보를 비교 분석하여 얼굴의 유형 정보를 추출한 후, 얼굴의 특징 정보 및 얼굴의 유형 정보를 결합하여 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론한다. 이에, 제어부(240)는 상기 사용자의 입력 신호에 따라서 상기 카메라부(230)를 제어하여 사용자의 정면 얼굴 영상을 획득하고, 상기 얼굴 인식 모듈(241)을 통해 상기 획득한 사용자의 정면 얼굴 영상으로부터 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론하여 사용자에게 제공할 수 있다. The
상기 가상 모델링 모듈(242)은 상기 사용자의 정면, 측면, 후면 얼굴 영상 중에서 하나 이상을 이용하여 얼굴 인식 기반 서비스를 실행하는 것으로서, 더 구체적으로는, 상기 사용자의 정면, 측면, 후면 얼굴 영상 중에서 하나 이상과 사용자가 선택한 미용 오브젝트를 결합하여 가상 미용 모델링 영상을 생성한다. The virtual modeling module 242 executes a face recognition based service using at least one of the front, side, and back face images of the user, and more specifically, one of the front, side, and back face images of the user. The virtual cosmetic modeling image is generated by combining the cosmetic object selected by the user with the above.
다음으로, 출력부(250)는 상기 제어부(240)의 제어에 따라서 단말 장치(200)의 동작 상태 및 동작 결과를 사용자에게 출력하는 부분으로서, 특히, 본 발명에 있어서, 사용자의 정면 얼굴 영상, 측면 및 후면 얼굴 영상 중에서 하나 이상, 그리고, 상기 사용자의 정면, 측면, 후면 얼굴 영상 중에서 하나 이상으로부터 생성된 가상 미용 모델링 영상을 사용자가 인식할 수 있도록 출력한다. 이러한 출력부(250)는 디스플레이 수단으로 구현될 수 있는데, 예를 들어, LCD((Liquid Crystal Display), TFT-LCD(Thin Film Transistor-Liquid Crystal Display), LED(Light Emitting Diodes), OLED(Organic Light Emitting Diodes), AMOLED(Active Matrix Organic Light Emitting Diodes), 플렉시블 디스플레이(flexible display), 3차원 디스플레이 중에서 어느 하나가 될 수 있다.Next, the
마지막으로, 단말 장치(200)의 저장부(260)는 단말 장치(200)의 동작에 필요한 데이터 및 프로그램을 저장하는 수단으로서, 기본적으로 상기 제어부(240)에 의해 실행될 운영 프로그램 및 응용 프로그램을 저장한다. 더하여, 저장부(260)는 얼굴 인식 추론 및 얼굴 인식 추론 기반 서비스를 실행하는데 필요한 데이터를 저장한다. 예를 들면, 사용자의 정면 얼굴 영상, 얼굴 형태, 인종, 성별, 연령 중에서 하나 이상으로 구분되어 상기 얼굴 인식 모듈(241)에서 상기 얼굴 특징 정보와 비교될 다수의 얼굴 유형 정보, 상기 얼굴 특징 정보 및 얼굴 유형 정보를 결합하여 추론된 측면 및 후면 얼굴 영상, 다수의 미용 오브젝트 중에서 하나 이상을 저장한다.Finally, the
상술한 구성을 통해서 단말 장치(200)는 사용자의 2차원 정면 얼굴 영상을 촬영한 후, 이를 기반으로 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론하여 사용자에게 제공하거나, 상기 정면 얼굴 영상, 측면 및 후면 얼굴 영상 중에서 하나 이상을 기반으로 얼굴 인식 기반 서비스를 실행하여 사용자에게 제공할 수 있다. 이때, 단말 장치(200)는 상기 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론하는데 필요하거나, 얼굴 인식 기반 서비스를 제공하는데 필요한 데이터를 상기 통신부(210)를 통해서 얼굴 인식 서비스 장치로부터 전송 받아 저장부(260)에 저장할 수 있다.Through the above-described configuration, the
이어서, 도 5는 상술한 단말 장치(200)를 기반으로 이루어지는 얼굴 인식 서비스 방법을 나타낸 순서도이다.Next, FIG. 5 is a flowchart illustrating a face recognition service method based on the
도 5를 참조하면, 단말 장치(200)는 먼저 사용자의 정면 얼굴 영상을 획득한다(S205). 이는 단말 장치(200)가 입력부(220)를 통해 발생한 사용자 입력 신호에 따라서, 카메라부(230)를 동작시켜, 사용자의 정면 얼굴 영상을 촬영함에 의해 이루어질 수 있다. 또한, 이는 단말 장치(200)가 사용자 입력 신호에 따라서 저장부(260)에 기 저장된 사용자의 정면 얼굴 영상을 로딩함에 의해 이루어질 수 있다.Referring to FIG. 5, the
이와 같이, 사용자의 정면 얼굴 영상이 획득되면, 단말 장치(200)는, 제어부(240)의 얼굴 인식 모듈(241)을 통해서 상기 획득한 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출한다(S210). 여기서 얼굴의 특징 정보는, 사용자의 정면 얼굴 영상으로부터 얼굴의 각 부위(눈, 코, 입, 눈썹, 윤곽, 이마, 턱 등) 별 특징을 나타내는 얼굴의 특징 정보를 의미하는 것으로서, 예를 들어, 얼굴의 전체 길이 및 폭, 턱 길이, 하안, 중안, 코의 높이, 코의 길이, 입의 높이, 입의 길이, 눈의 길이, 이마의 높이 등 사용자의 얼굴에 대한 폴리곤 생성을 위해 필요한 여러 정보를 포함한다. 이러한 얼굴의 특징 정보는 도 6에 도시된 바와 같은 과정을 통해서 추출될 수 있으며, 도 7은 도 6의 과정을 통해서 처리된 사용자의 정면 얼굴 영상을 나타낸다. 도 7에서, 얼굴 영상 위에 표시된 점은 사용자의 정면 얼굴 영상으로부터 추출된 얼굴의 각 부위를 나타내는 특징점이며, 이러한 특징점을 연결하여, 얼굴의 각 부위를 표현할 수 있다.As such, when the front face image of the user is obtained, the
다음으로, 단말 장치(200)는 상기 추출한 얼굴의 특징 정보를 기 분류된 유형과 비교하여, 얼굴의 유형 정보를 추출한다(S215). 여기서, 얼굴의 유형 정보는, 다양한 사용자의 얼굴을 일정 기준에 따라 구분한 것으로서, 예를 들어, 형태(계란형, 둥근형, 네모형, 세모형 등), 인종(황인, 백인, 흑인, 혼혈 등), 성별(남, 여), 연령(유아기, 아동기, 청년기, 장년기, 노년기 등)으로 구분되는 얼굴의 유형을 정보를 의미한다. 상기 단계(S215)는 기 설정된 다양한 얼굴 유형별 표준 정보와 상기 추출한 사용자 얼굴의 특징 정보를 비교하여, 그 매칭 결과에 따라서, 사용자의 얼굴 유형 정보를 추출하게 된다.Next, the
그리고, 단말 장치(200)는 상기 추출한 얼굴의 특징 정보와 유형 정보를 결합하여, 사용자의 정면 얼굴 영상에 대한 폴리곤을 생성하고, 이로부터 상기 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론한다(S220). 상기 사용자의 측면 및 후면 얼굴 영상의 추론은 기 학습된 얼굴 영상들을 참조하여 이루어질 수 있다. 예를 들어, 상기 사용자의 정면 얼굴 영상에 대한 폴리곤을 생성 후, 상기 폴리곤을 지정된 각도로 회전시키고 기 학습된 얼굴 영상으로부터 추출된 얼굴 유형의 표준 얼굴에 대한 측면 영상과 후면 영상을 결합함으로써 이루어질 수 있다. 도 8은 상기 도 7과 같은 사용자 정면 얼굴 영상으로부터 생성된 사용자의 정면 얼굴 영상에 대한 폴리곤 및 이로부터 추론된 측면 얼굴 영상의 폴리곤을 예시한다. 도 8에서 (a)는 정면 얼굴 영상으로부터 생성된 폴리곤을 나타내며, (b)는 상기 폴리곤을 일정 각도 회전시켜, 측면 얼굴 영상에 대한 폴리곤을 도출한 상태를 나타낸다.The
이어서, 단말 장치(200)는 상술한 얼굴 인식 결과를 이용하여 얼굴 인식 기반 서비스를 실행하는데, 사용자 입력 신호에 따라서, 사용자가 가상으로 체험하고자 하는 미용 오브젝트를 선택한다(S225). 예를 들면, 특정 스타일의 헤어 오브젝트를 선택할 수 있다.Subsequently, the
그리고, 단말 장치(200)는 선택한 미용 오브젝트를 상기 사용자의 정면 얼굴 영상과, 상기 생성한 측면 및 후면 얼굴 영상 중에서 하나 이상과 각각 결합하여 사용자의 정면, 측면 및 후면 방향 중 하나 이상의 방향으로 표현되는 가상 미용 모델링 영상을 생성하고(S230), 생성한 가상 미용 모델링 영상을 출력부(250)를 통해서 사용자에게 제공한다(S235). In addition, the
도 9는 상기 단계(S225) 내지 단계(S30)를 통해서 제공되는 얼굴 인식 추론 기반 서비스의 일 예를 나타낸 것으로서, 본 발명의 사용자의 정면 얼굴 영상(91)으로부터 사용자의 측면 얼굴 영상 및 후면 얼굴 영상을 추론함으로써, 선택된 헤어 오브젝트(92)를 착용한 사용자의 정면 모델링 영상(93) 뿐만 아니라 측면 모델링 영상(94) 및 후면 모델링 영상(95)을 함께 제공할 수 있게 된다.9 illustrates an example of a face recognition inference based service provided through the above steps S225 to S30, and the side face image and the back face image of the user from the
필요한 경우, 단말 장치(200)는 얼굴 인식 추론 및 얼굴 인식 추론 기반 서비스 실행을 위한 일부 동작, 예를 들어, 단계(210) 내지 단계(S220), 단계(S230) 중에서 하나 이상을 서비스 장치(100)를 통해 실행할 수도 있다.If necessary, the
도 6은 본 발명에 의한 얼굴 인식 추론 방법에 있어서 특징 정보 추출 과정을 나타낸 순서도이다. 이하에서 설명하는 방법은, 도 3의 단계(S125) 및 도 5의 단계(S210)에 적용될 수 있다.6 is a flowchart illustrating a feature information extraction process in the face recognition inference method according to the present invention. The method described below may be applied to step S125 of FIG. 3 and step S210 of FIG. 5.
도 6을 참조하여, 사용자의 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하는 과정을 설명하면 다음과 같다.Referring to FIG. 6, a process of extracting feature information of a face from a front face image of a user is described as follows.
먼저, 상기 도 3의 단계(S125) 또는 도 5의 단계(210)에서, 서비스 장치(100) 또는 단말 장치(200)는 사용자의 정지 얼굴 영상으로부터 기준이 되는 눈과 입을 추출한다(S305). 여기서, 눈은 먼저 동공을 추출한 후, 상기 동공을 기준으로 눈의 형상을 추출하는 형태로 이루어질 수 있으며, 이러한 눈 및 입의 추출은 일반적인 얼굴 인식 기술을 이용하여 이루어질 수 있다. First, in step S125 of FIG. 3 or step 210 of FIG. 5, the
다음으로, 서비스 장치(100) 또는 단말 장치(200)는 추출한 눈과 입을 역삼각형 형태로 연결하여 코 영역을 추출하고(S310), 상기 코 영역 내에서 에지 및 색상 변화를 분석하여 코의 상세 정보를 추출한다(S315). Next, the
더하여, 서비스 장치(100) 또는 단말 장치(200)는 상기 추출한 눈 위의 영역에서 색상 변화를 분석하여 눈썹을 추출한다(S320).In addition, the
더불어, 서비스 장치(100) 또는 단말 장치(200)는 사용자의 정면 얼굴 영상에서 얼굴의 특징점 및 윤곽선을 추출한다(S325).In addition, the
도 7은 상술한 단계(S305~S325)를 통해서 사용자의 정면 얼굴 영상으로부터 얼굴의 특징 부위를 추출한 상태를 나타낸 예시도이다. 도 7에서 흰 점은 얼굴의 각 부위별 특징점을 나타내며, 이러한 특징점을 연결하여 각 얼굴 부위(예를 들어, 눈썹, 눈, 코, 입, 윤곽선 등)가 추출된다.7 is an exemplary view illustrating a state in which a feature region of a face is extracted from the front face image of the user through the above-described steps S305 to S325. In FIG. 7, a white point represents a feature point for each part of the face, and each feature (eg, eyebrow, eye, nose, mouth, contour, etc.) is extracted by connecting these feature points.
마지막으로, 상기 서비스 장치(100) 또는 단말 장치(200)는 상기 추출된 얼굴의 각 부위별 특징점을 기준으로, 얼굴의 각 부위별 실측 값 및 통계 정보를 결합하여, 사용자의 얼굴 부위별로 특징 정보를 추출한다(S330). 얼굴의 특징 정보는 상술한 바와 같이, 얼굴의 각 부위(눈, 코, 입, 눈썹, 윤곽, 이마, 턱 등) 별로, 폴리곤 생성을 위해 필요한 정보들, 예를 들어, 얼굴의 전체 길이 및 폭, 턱 길이, 하안, 중안, 코의 높이, 코의 길이, 입의 높이, 입의 길이, 눈의 길이, 이마의 높이를 포함한다. 상기 단계(S330)를 더 구체적으로 설명하면, 상기 추출된 얼굴의 유형 정보를 기반으로, 해당 유형에서 나타나는 통계치를 확인하고, 상기 통계치를 기반으로 추출된 얼굴의 부위별 특징점으로부터 실측 가능한 값으로서, 상기 얼굴의 특징 정보를 산출하게 된다. 예를 들면, 눈썹과 턱선을 가로지는 라인 간의 거리는 얼굴 전체 길이의 60% 이내라는 통계치에 따라서, 상기 분석된 사용자의 정면 얼굴 영상에서 눈썹을 가로지는 라인과 턱선을 가로지는 라인 간의 거리를 실측하고, 이를 상기 통계치에 적용하여 얼굴의 전체 길이를 도출한다. 마찬가지 방식으로, 코의 높이, 코의 길이, 입의 높이 등 얼굴의 특징 정보를 도출하게 된다.Finally, the
본 발명에 따른 얼굴 인식 추론 방법 및 이를 이용한 얼굴 인식 추론 기반 서비스 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 소프트웨어 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The face recognition inference method and the face recognition inference based service method using the same according to the present invention may be implemented in a software form readable through various computer means and recorded on a computer readable recording medium. Here, the recording medium may include program commands, data files, data structures, and the like, alone or in combination. Program instructions recorded on the recording medium may be those specially designed and constructed for the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. For example, the recording medium may be magnetic media such as hard disks, floppy disks and magnetic tapes, optical disks such as Compact Disk Read Only Memory (CD-ROM), digital video disks (DVD), Magnetic-Optical Media, such as floppy disks, and hardware devices specially configured to store and execute program instructions, such as ROM, random access memory (RAM), flash memory, and the like. do. Examples of program instructions may include machine language code such as those generated by a compiler, as well as high-level language code that may be executed by a computer using an interpreter or the like. Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으나, 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be apparent to those skilled in the art. In addition, although specific terms are used in the specification and the drawings, they are only used in a general sense to easily explain the technical contents of the present invention and to help the understanding of the present invention, and are not intended to limit the scope of the present invention.
본 발명에 따르면, 일반 카메라 등을 통해 촬영된 사용자의 얼굴 영상만으로 사용자의 측면 얼굴 영상 및 후면 얼굴 영상 중에서 하나 이상을 추론함으로써, 고가의 장비 없이도 보다 사실적이고 입체적인 사용자의 영상을 획득할 수 있으며, 더불어, 사용자의 정면 얼굴 영상으로부터 추론된 측면 얼굴 영상 및/또는 후면 얼굴 영상을 기반으로 얼굴 인식 기반의 다양한 응용 서비스를 제공할 수 있다.According to the present invention, by inferring one or more of the side face image and the back face image of the user only by the face image of the user photographed through a general camera, it is possible to obtain a more realistic and three-dimensional image of the user without expensive equipment, In addition, various application services based on face recognition may be provided based on side face images and / or back face images inferred from the front face image of the user.
더하여, 본 발명은 사용자의 정면 얼굴 영상으로부터 추론된 측면 얼굴 영상 및 후면 얼굴 영상을 헤어, 메이크업을 포함하는 다양한 가상 미용 체험 서비스에 적용함으로써, 사용자에게 정면 얼굴 영상의 촬영만으로 측면 및 후면을 포함하는 향상된 가상 미용 체험 서비스를 제공받을 수 있으며, 서비스 제공자는 보다 사실적이고 입체적인 가상 미용 체험 서비스 구현을 위한 비용을 절감할 수 있는 우수한 효과가 있다.In addition, the present invention applies the side face image and the back face image inferred from the front face image of the user to various virtual beauty experience services including hair and makeup, so that the user includes the side and the back only by photographing the front face image. An improved virtual beauty experience service can be provided, and the service provider has an excellent effect of reducing the cost for implementing a more realistic and three-dimensional virtual beauty experience service.
100: 얼굴 인식 기반 서비스 장치 200: 단말 장치
110: 통신부 120: 얼굴 인식부 130: 가상미용 서비스부
140: 저장부 210: 통신부 220: 입력부
230: 카메라부 240: 제어부 250: 출력부
260: 저장부100: face recognition based service device 200: terminal device
110: communication unit 120: face recognition unit 130: virtual beauty service unit
140: storage unit 210: communication unit 220: input unit
230: camera unit 240: control unit 250: output unit
260: storage unit
Claims (13)
상기 사용자의 정면 얼굴 영상을 서비스 장치로 제공하고, 상기 서비스 장치로부터 상기 가상 미용 모델링 영상을 수신하여 사용자에게 출력하는 단말 장치를 포함하는 것을 특징으로 하는 얼굴 인식 추론 기반 서비스 시스템.Extracting feature information of a face from the front face image of the user, extracting face type information from the face feature information, and combining at least one of side and back face images of the user by combining the feature information of the face and the type of the face; A service apparatus for generating a virtual beauty modeling image by combining the at least one beauty object of a specific style and at least one of the front, side, and back face images of the user; And
And a terminal device providing the front face image of the user to a service device, and receiving the virtual beauty modeling image from the service device and outputting the virtual beauty modeling image to the user.
상기 통신부를 통해 단말 장치로부터 사용자의 정면 얼굴 영상을 수신하고, 수신한 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하고, 상기 얼굴 특징 정보를 비교 분석하여 얼굴의 유형 정보를 추출한 후, 상기 얼굴의 특징 정보 및 얼굴의 유형 정보를 결합하여 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론하는 얼굴 인식부를 포함하는 것을 특징으로 하는 서비스 장치.Communication unit for transmitting and receiving data with the terminal device through the network; And
Receiving a front face image of a user from the terminal device through the communication unit, extracting feature information of a face from the received front face image, extracting face type information by comparing and analyzing the face feature information, and then extracting a feature of the face. And a face recognition unit which combines the information and the face type information to infer one or more of the user's side and back face images.
상기 사용자의 정면, 측면 및 후면 얼굴 영상 중에서 하나 이상을 특정 미용 오브젝트와 결합하여 사용자의 정면, 측면 및 후면 중에서 하나 이상의 방향으로 표현되는 가상 미용 모델링 영상을 생성하여 단말 장치로 제공하는 가상 미용 서비스부를 더 포함하는 것을 특징으로 하는 서비스 장치.The method of claim 2,
A virtual beauty service unit that combines one or more of the front, side, and back face images of the user with a specific beauty object to generate a virtual beauty modeling image expressed in one or more directions among the front, side, and back of the user, and provide the virtual beauty service model to the terminal device. The service device further comprises.
상기 얼굴 인식부에서 상기 얼굴 특징 정보와 비교되고, 얼굴 형태, 인종, 성별, 연령 중에서 하나 이상으로 구분되는 다수의 얼굴 유형에 대한 정보를 저장하는 얼굴 유형 DB;
상기 얼굴 인식부에서 얼굴 특징 정보 및 얼굴 유형 정보로부터 추론된 측면 및 후면 얼굴 영상을 저장하는 얼굴 영상 DB; 및
상기 가상 미용 서비스부에서 이용될 다수의 미용 오브젝트를 저장하는 미용 오브젝트 DB 중에서 하나 이상을 구비하는 저장부를 더 포함하는 것을 특징으로 하는 서비스 장치.The method according to claim 2 or 3,
A face type DB, which is compared with the face feature information in the face recognition unit, and stores information on a plurality of face types classified into one or more of face shape, race, gender, and age;
A face image DB storing side and back face images inferred from face feature information and face type information in the face recognition unit; And
And a storage unit having at least one of a beauty object DB for storing a plurality of beauty objects to be used in the virtual beauty service unit.
사용자의 정면 얼굴 영상을 촬영하는 카메라부;
정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하고, 얼굴 특징 정보를 비교 분석하여 얼굴의 유형 정보를 추출한 후, 얼굴의 특징 정보 및 얼굴의 유형 정보를 결합하여 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론하는 얼굴 인식 모듈을 포함하고, 상기 사용자의 입력 신호에 따라서 상기 카메라부를 제어하여 사용자의 정면 얼굴 영상을 획득하고, 상기 얼굴 인식 모듈을 통해 상기 획득한 사용자의 정면 얼굴 영상으로부터 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 생성하는 제어부; 및
상기 제어부의 제어에 따라서 사용자의 정면 얼굴 영상, 측면 및 후면 얼굴 영상 중에서 하나 이상을 출력하는 출력부를 포함하는 것을 특징으로 하는 단말 장치.An input unit for generating a user input signal according to a user's operation;
A camera unit for photographing a front face image of a user;
Extract facial feature information from the front face image, extract facial type information by comparing and analyzing facial feature information, and deduce one or more of the side and rear face images by combining the facial feature information and the face type information. A face recognition module, and controlling the camera unit according to the input signal of the user to obtain a front face image of the user, and the side and rear face images of the user from the acquired front face image through the face recognition module. A control unit for generating one or more of the above; And
And an output unit configured to output at least one of a front face image, a side face, and a back face image of the user under the control of the controller.
상기 사용자의 정면, 측면, 후면 얼굴 영상 중에서 하나 이상과 사용자가 선택한 미용 오브젝트를 결합하여 가상 미용 모델링 영상을 생성하는 가상 모델링 모듈을 더 포함하는 것을 특징으로 하는 단말 장치.The method of claim 5, wherein the control unit
And a virtual modeling module for generating a virtual beauty modeling image by combining one or more of the front, side, and back face images of the user and a beauty object selected by the user.
사용자의 정면 얼굴 영상, 얼굴 형태, 인종, 성별, 연령 중에서 하나 이상으로 구분되어 상기 얼굴 인식 모듈에서 상기 얼굴 특징 정보와 비교될 다수의 얼굴 유형 정보, 상기 얼굴 특징 정보 및 얼굴 유형 정보를 결합하여 추론된 측면 및 후면 얼굴 영상, 다수의 미용 오브젝트 중에서 하나 이상을 구비하는 저장부를 더 포함하는 것을 특징으로 하는 단말 장치.The method of claim 5,
Inferred by combining a plurality of face type information, face feature information and face type information which are classified into at least one of a front face image of a user, a face shape, a race, a gender, and an age to be compared with the face feature information in the face recognition module. And a storage unit including at least one of a plurality of side and rear face images and a plurality of cosmetic objects.
네트워크를 통해서 데이터를 송수신하는 통신부를 더 포함하고,
상기 측면 및 후면 얼굴 영상 중에서 하나 이상에 대한 추론 또는 가상 미용 모델링 생성을 위한 데이터를 서비스 장치로부터 전송 받는 것을 특징으로 하는 단말 장치.The method according to claim 5 or 6,
Further comprising a communication unit for transmitting and receiving data through a network,
And a terminal for receiving data for generating inference or virtual beauty modeling of at least one of the side and rear face images from a service device.
상기 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하는 단계;
상기 추출한 얼굴의 특징 정보를 기 분류된 유형과 비교하여, 얼굴의 유형 정보를 추출하는 단계; 및
상기 추출한 얼굴의 특징 정보와 얼굴의 유형 정보를 결합하여, 정면 얼굴에 대한 폴리곤을 생성하고, 이로부터 상기 사용자의 측면 및 후면 얼굴 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 추론 방법.Obtaining a front face image of a user;
Extracting feature information of a face from the front face image;
Extracting face type information by comparing the extracted feature information of the face with a previously classified type; And
And combining polygonal feature information of the extracted face and face type information to generate a polygon for a front face, and generating side and rear face images of the user from the face.
상기 정면 얼굴 영상으로부터 눈과 입을 추출하는 단계;
추출한 눈과 입을 역삼각형 형태로 연결하여 코 영역을 추출하는 단계;
상기 코 영역 내에서 에지 및 색상 변화를 분석하여 코의 상세 정보를 추출하는 단계;
상기 추출한 눈 위의 영역에서 색상 변화를 분석하여 눈썹을 추출하는 단계;
얼굴의 특징점 및 윤곽선을 추출하는 단계; 및
상기 추출한 각 얼굴 부위에 대한 실측값 및 통계 정보를 결합하여, 폴리곤 생성을 위해 필요한 사용자의 얼굴 특징 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 추론 방법.The method of claim 9, wherein the extracting feature information of the face comprises:
Extracting eyes and mouth from the front face image;
Extracting a nasal region by connecting the extracted eyes and mouth in an inverted triangle shape;
Extracting detailed information of a nose by analyzing edge and color changes within the nose area;
Extracting eyebrows by analyzing color change in the extracted eye area;
Extracting feature points and contours of the face; And
And extracting facial feature information of a user required for polygon generation by combining measured values and statistical information on each of the extracted face parts.
얼굴의 형태, 인종, 성별, 및 연령 중에서 하나 이상을 포함하는 것을 특징으로 하는 얼굴 인식 추론 방법.10. The method of claim 9, wherein the type information of the face is
Facial recognition inference method comprising at least one of the shape, race, sex, and age of the face.
얼굴의 전체 길이 및 폭, 턱 길이, 하안, 중안, 코의 높이, 코의 길이, 입의 높이, 입의 길이, 눈의 길이, 및 이마의 높이 중에서 하나 이상을 포함하는 것을 특징으로 하는 얼굴 인식 추론 방법.The method of claim 9, wherein the feature information of the face is
Face recognition comprising one or more of the total length and width of the face, chin length, lower eye, middle eye, nose height, nose length, mouth height, mouth length, eyes length, and forehead height Reasoning method.
상기 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하는 단계;
상기 추출한 얼굴의 특징 정보를 기 분류된 유형과 비교하여, 얼굴의 유형 정보를 추출하는 단계;
상기 추출한 얼굴의 특징 정보와 얼굴의 유형 정보를 결합하여, 정면 얼굴에 대한 3차원 폴리곤을 생성하고, 이로부터 상기 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 생성하는 단계;
사용자가 체험하기를 원하는 미용 오브젝트의 선택 정보를 입력 받는 단계;
사용자가 선택한 헤어 오브젝트를 상기 사용자의 정면 얼굴 영상과, 측면 얼굴 영상 및 후면 얼굴 영상 중에서 하나 이상과 각각 결합하여 사용자의 정면, 측면 및 후면 방향 중 하나 이상의 방향으로 표현되는 가상 모델링 영상을 생성하는 단계를 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.Obtaining a front face image of a user;
Extracting feature information of a face from the front face image;
Extracting face type information by comparing the extracted feature information of the face with a previously classified type;
Combining the extracted face feature information and face type information to generate a 3D polygon for the front face, and generating at least one of side and back face images of the user from the face;
Receiving selection information of a beauty object that the user wants to experience;
Combining the hair object selected by the user with at least one of the front face image, the side face image, and the rear face image of the user to generate a virtual modeling image represented by at least one of front, side, and rear directions of the user; A computer-readable recording medium having recorded thereon a program for executing the program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110021521A KR101820503B1 (en) | 2011-03-10 | 2011-03-10 | Service systembased on face recognition inference, and face recognition inference method and storage medium thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110021521A KR101820503B1 (en) | 2011-03-10 | 2011-03-10 | Service systembased on face recognition inference, and face recognition inference method and storage medium thereof |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160140716A Division KR101839515B1 (en) | 2016-10-27 | 2016-10-27 | Service systembased on face recognition inference, and face recognition inference method and storage medium thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120103327A true KR20120103327A (en) | 2012-09-19 |
| KR101820503B1 KR101820503B1 (en) | 2018-01-22 |
Family
ID=47111455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110021521A KR101820503B1 (en) | 2011-03-10 | 2011-03-10 | Service systembased on face recognition inference, and face recognition inference method and storage medium thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101820503B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180077680A (en) * | 2016-12-29 | 2018-07-09 | 재단법인대구경북과학기술원 | Apparatus for providing service based on facial expression recognition and method thereof |
| CN111259183A (en) * | 2020-02-21 | 2020-06-09 | 北京百度网讯科技有限公司 | Image recognizing method and device, electronic equipment and medium |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102293038B1 (en) * | 2019-09-26 | 2021-08-26 | 주식회사 더메이크 | System and method for recommending eyewear based on sales data by face type and size |
| KR102505817B1 (en) * | 2020-09-18 | 2023-03-06 | 문명일 | 3d image acquisition device |
-
2011
- 2011-03-10 KR KR1020110021521A patent/KR101820503B1/en active IP Right Grant
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180077680A (en) * | 2016-12-29 | 2018-07-09 | 재단법인대구경북과학기술원 | Apparatus for providing service based on facial expression recognition and method thereof |
| CN111259183A (en) * | 2020-02-21 | 2020-06-09 | 北京百度网讯科技有限公司 | Image recognizing method and device, electronic equipment and medium |
| US11789997B2 (en) | 2020-02-21 | 2023-10-17 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Image recognition method and apparatus, electronic device, and medium |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101820503B1 (en) | 2018-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2714096C1 (en) | Method, equipment and electronic device for detecting a face vitality | |
| JP6878572B2 (en) | Authentication based on face recognition | |
| US10832039B2 (en) | Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium | |
| WO2018219120A1 (en) | Image display method, image processing method and device, terminal and server | |
| KR101945082B1 (en) | Method for transmitting media contents, apparatus for transmitting media contents, method for receiving media contents, apparatus for receiving media contents | |
| KR20180126561A (en) | Create an automated avatar | |
| CN112513875B (en) | Eye texture repair | |
| US20140306874A1 (en) | Near-plane segmentation using pulsed light source | |
| US11455765B2 (en) | Method and apparatus for generating virtual avatar | |
| US9529428B1 (en) | Using head movement to adjust focus on content of a display | |
| KR101978299B1 (en) | Apparatus for service contents in contents service system | |
| US11216067B2 (en) | Method for eye-tracking and terminal for executing the same | |
| KR101839515B1 (en) | Service systembased on face recognition inference, and face recognition inference method and storage medium thereof | |
| US11997422B2 (en) | Real-time video communication interface with haptic feedback response | |
| US20220300728A1 (en) | True size eyewear experience in real time | |
| US20240184372A1 (en) | Virtual reality communication interface with haptic feedback response | |
| US20220317775A1 (en) | Virtual reality communication interface with haptic feedback response | |
| US20220206582A1 (en) | Media content items with haptic feedback augmentations | |
| KR101820503B1 (en) | Service systembased on face recognition inference, and face recognition inference method and storage medium thereof | |
| US20230120037A1 (en) | True size eyewear in real time | |
| US20230154084A1 (en) | Messaging system with augmented reality makeup | |
| CN110799986A (en) | System and method for blink action recognition based on facial feature points | |
| CN112330528A (en) | Virtual makeup trial method and device, electronic equipment and readable storage medium | |
| US11922587B2 (en) | Dynamic augmented reality experience | |
| CN110753931A (en) | System and method for nodding action recognition based on facial feature points |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| A201 | Request for examination | ||
| A107 | Divisional application of patent | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |