KR20210000044A - System and method for virtual fitting based on augument reality - Google Patents

System and method for virtual fitting based on augument reality Download PDF

Info

Publication number
KR20210000044A
KR20210000044A KR1020190074806A KR20190074806A KR20210000044A KR 20210000044 A KR20210000044 A KR 20210000044A KR 1020190074806 A KR1020190074806 A KR 1020190074806A KR 20190074806 A KR20190074806 A KR 20190074806A KR 20210000044 A KR20210000044 A KR 20210000044A
Authority
KR
South Korea
Prior art keywords
face
image
product
virtual fitting
augmented reality
Prior art date
Application number
KR1020190074806A
Other languages
Korean (ko)
Other versions
KR102340904B1 (en
Inventor
김진성
Original Assignee
주식회사 이매지니어스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이매지니어스 filed Critical 주식회사 이매지니어스
Priority to KR1020190074806A priority Critical patent/KR102340904B1/en
Publication of KR20210000044A publication Critical patent/KR20210000044A/en
Application granted granted Critical
Publication of KR102340904B1 publication Critical patent/KR102340904B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/543—Depth or shape recovery from line drawings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

Disclosed is a virtual fitting system. More specifically, the present invention relates to a virtual fitting system based on augmented reality which photographs a face of a user by using an IoT device possessed by the user such as a smartphone and allows the user to virtually wear a product of a suitable design in accordance with a shape, and a method thereof. According to an embodiment of the present invention, a plurality of feature points are set for the face of the user photographed in real time, and, accordingly, personalized information reflecting the type, characteristic and personality of a face shape is generated. Moreover, based on augmented reality technology, a virtual fitting service can be provided by superimposing a product image based on the personalized information and displaying the same on a screen.

Description

증강현실 기반 가상 피팅 시스템 및 방법{SYSTEM AND METHOD FOR VIRTUAL FITTING BASED ON AUGUMENT REALITY}Augmented reality based virtual fitting system and method {SYSTEM AND METHOD FOR VIRTUAL FITTING BASED ON AUGUMENT REALITY}

본 발명은 가상 피팅 시스템에 관한 것으로, 특히 스마트 폰과 같은 사용자가 소지한 IoT 장치를 이용하여 사용자의 얼굴을 촬영하고 그 형태에 따라 적합한 디자인의 상품을 가상으로 착용할 수 있도록 하는 증강현실 기반 가상 피팅 시스템 및 방법에 관한 것이다. The present invention relates to a virtual fitting system, and in particular, an augmented reality-based virtual device that allows a user's face to be photographed using an IoT device possessed by a user such as a smart phone and virtually wear a product of an appropriate design according to the shape. It relates to a fitting system and method.

증강현실(Augmented Reality)이란 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 새로운 환경을 생성하는 기술을 말한다.Augmented Reality refers to a technology that creates a new environment by combining the real world seen by the user with the virtual world with additional information.

현실세계를 가상세계로 보완해주는 개념으로서 증강현실은 사용자가 보고 있는 실사 영상에 3차원 가상영상을 정합함(register)으로써 현실환경과 가상환경과의 구분이 모호해지도록 하며, 사용자는 실제환경에서 가상세계를 함께 시청함으로써 보다 나은 현실감을 제공할 수 있다.As a concept that complements the real world with a virtual world, augmented reality registers a 3D virtual image with the real-life image that the user is viewing, making the distinction between the real environment and the virtual environment ambiguous. By watching the world together, you can provide a better sense of reality.

특히, 스마트 폰과 같은 모바일 단말장치의 성능이 향상됨에 따라 이러한 증강현실 기술에 기반하여 새로운 형태의 서비스가 등장하고 있다. 모바일 단말장치는 사용자가 언제, 어디서나 휴대할 수 있어서, 특정 장소에서 배경과 합성된 실감나는 정보를 제공하거나, 현실세계에 가상세계에 등장하는 캐릭터를 배치하여 게임을 즐길 수 있는 등의 다양한 서비스가 제안되고 있다.In particular, as the performance of mobile terminal devices such as smart phones is improved, new types of services are emerging based on such augmented reality technology. Mobile terminal devices can be carried by users anytime, anywhere, providing various services such as providing realistic information synthesized with the background in a specific place, or placing characters appearing in the virtual world in the real world to enjoy the game. It is being proposed.

한편, 얼굴에 착용하는 귀걸이, 목걸이 등의 액세서리는 멋을 추구하는 사람들의 필수품이자 패션아이템이라 할 수 있으며, 이는 시력보정용 안경도 마찬가지라 할 수 있다. On the other hand, accessories such as earrings and necklaces worn on the face can be said to be necessities and fashion items for those who pursue fashion, and this can be said to be the same for eyeglasses for vision correction.

기존에는 액세서리 또는 안경을 구매하고자 하는 구매자가 지역 매장에 직접 방문하여 매장 내 전시된 다양한 상품들을 직접 착용해보고 원하는 디자인을 선택 하였으나, 이러한 방식에 의하면 해당 매장의 미리 위치를 알고 있어야 하며, 직접 찾아가야 하는 번거로움이 있었다. 또한, 각 매장별로 안경의 재고가 다름에 따라 원하는 디자인의 안경을 발견하지 못하는 경우도 있다.In the past, buyers who want to purchase accessories or glasses visited a local store directly, tried on various products displayed in the store, and selected a desired design, but according to this method, they must know the location of the store in advance and go to it. There was a hassle. In addition, there are cases in which glasses with a desired design cannot be found as the stock of glasses is different for each store.

이에 매장을 방문하지 않고도 액세서리, 안경 등의 이미지를 가상으로 착용해보는 가상 피팅(virtual fitting) 어플리케이션 프로그램이 개발되었으나, 현재 공개된 가상 피팅 어플리케이션은 착용자의 얼굴 이미지와 액세서리 이미지를 단순 합성하는 수준에 머물고 있어 현실성이 떨어짐에 따라, 이러한 어플리케이션 프로그램은 상품 이미지만을 보고 상품을 구매하는 것과 별다른 차이가 없어 널리 활용되지 못하고 있는 실정이다.Accordingly, a virtual fitting application program was developed to virtually wear images such as accessories and glasses without visiting the store. However, the currently released virtual fitting application remains at the level of simply synthesizing the wearer's face image and accessory image. As the reality decreases, such application programs are not widely used because there is no difference from purchasing products by viewing only product images.

공개특허공보 제10-2019-0024861호(공개일자: 2019.03.08.)Unexamined Patent Publication No. 10-2019-0024861 (Publication date: 2019.03.08.)

본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로, 본 발명은 실시간으로 촬영되는 사용자의 얼굴형태를 딥 러닝 기술을 통해 얼굴의 특징을 정확하게 분석 및 복수의 특징점을 설정하고, 그 특징점을 이용하여 증강현실 기술을 활용한 상품에 대한 가상 피팅 서비스를 제공함과 아울러, 특징점에 따라 얼굴의 유형 및 개성을 파악하여 얼굴형태에 적합한 상품 추천하는 증강현실 기반 가상 피팅 시스템 및 방법을 제공하는 데 과제가 있다.The present invention was conceived to solve the above-described problem, and the present invention accurately analyzes the facial features of a user through deep learning technology, sets a plurality of feature points, and uses the feature points to accurately analyze the face shape of a user photographed in real time. In addition to providing a virtual fitting service for products using augmented reality technology, there is a challenge to provide an augmented reality-based virtual fitting system and method that recommends products suitable for the shape of the face by identifying the type and personality of the face according to the feature points. .

전술한 과제를 해결하기 위해, 본 발명의 실시예에 따른 증강현실 기반 가상 피팅 시스템은, 카메라에 의해 실시간으로 촬영된 얼굴영상에 등장하는 얼굴영역에 복수의 특징점을 설정하고, 상기 복수의 특징점에 따른 개인화 정보를 생성하는 얼굴 처리부, 복수의 상품정보를 입력받아 선택되는 하나 이상의 상품에 대한 상품 이미지를 제공하는 상품 처리부 및 상기 개인화 정보를 이용하여 상기 얼굴영상의 일 영역상에 상기 상품 이미지를 중첩 배치하고, 착용영상을 구현하는 AR 구현부를 포함할 수 있다.In order to solve the above-described problem, the augmented reality-based virtual fitting system according to an embodiment of the present invention sets a plurality of feature points in a face area appearing in a face image captured in real time by a camera, and sets a plurality of feature points to the plurality of feature points. The product image is superimposed on a region of the face image by using the face processing unit for generating personalized information according to the following, a product processing unit for providing product images for one or more products selected by receiving a plurality of product information inputs, and the personalization information Arrangement and may include an AR implementing unit that implements the wearing image.

상기 얼굴 처리부는, 카메라로부터 현재 촬영중인 얼굴영상을 실시간으로 취득하는 영상 취득부, 상기 얼굴영상에 포함된 노이즈를 제거하고, 얼굴영역을 정의하는 전처리부, 얼굴영역상에 복수의 특징점을 설정하는 특징점 추출부, 이웃한 복수의 특징점을 복수의 연결선을 통해 서로 연결하는 연결선 생성부 및 상기 연결선의 길이 및 연결선이 이루는 도형의 형태에 기초하여 복수의 얼굴부위를 확정하고, 상기 복수의 얼굴부위가 이루는 전체 얼굴형태가 정의된 개인화 정보를 생성하는 얼굴 추출부를 포함할 수 있다.The face processing unit includes an image acquisition unit that acquires a face image currently being photographed from a camera in real time, a preprocessor that removes noise included in the face image, and defines a face region, and sets a plurality of feature points on the face region. A feature point extraction unit, a connection line generation unit that connects a plurality of neighboring feature points to each other through a plurality of connection lines, and a plurality of face parts are determined based on the length of the connection line and the shape of a figure formed by the connection line, and the plurality of face parts are It may include a face extracting unit that generates personalized information in which the entire face shape is defined.

상기 얼굴 처리부는, 복수의 학습 데이터가 저장된 학습 데이터 베이스 및 상기 복수의 학습 데이터에 의해 생성된 학습모델을 이용하여 상기 얼굴영역상에 복수의 특징점의 위치를 정의하는 학습엔진을 포함할 수 있다.The face processing unit may include a learning database in which a plurality of training data is stored and a learning engine that defines positions of a plurality of feature points on the face region using a learning model generated by the plurality of training data.

상기 연결선 생성부는, 상기 복수의 연결선 중, 어느 하나를 기준 연결선으로 설정하고, 사용자로부터 입력되는 기준값을 이용하여 나머지 복수의 연결선의 길이를 산출할 수 있다.The connection line generator may set any one of the plurality of connection lines as a reference connection line, and calculate lengths of the remaining plurality of connection lines using a reference value input from a user.

상기 기준 연결선은, 두 눈간 거리, 눈썹길이, 두 눈썹간 거리, 눈 가로길이, 코 가로길이, 인중길이, 입 가로길이, 입과 턱간 거리, 귀 세로길이, 얼굴 세로길이 및 얼굴 가로길이 중, 어느 하나일 수 있다.The reference connection line is among the distance between the two eyes, the length of the eyebrows, the distance between the two eyebrows, the width of the eyes, the length of the nose, the length of the throat, the length of the mouth, the distance between the mouth and the chin, the length of the ear, the length of the face, and the length of the face, It can be either.

상기 상품 처리부는, 외부 쇼핑몰 서버로부터 복수의 상품에 대한 상품 이미지를 포함하는 상품정보를 수집하는 상품정보 수집부, 사용자의 선택에 따라, 선택된 상품 이미지를 추출하는 선택부 및 상기 상품 이미지의 크기 및 각도를 변환하여 상기 AR 구현부에 제공하는 이미지 제공부를 포함할 수 있다.The product processing unit includes a product information collection unit collecting product information including product images for a plurality of products from an external shopping mall server, a selection unit extracting a selected product image according to a user's selection, and a size of the product image It may include an image providing unit that converts the angle and provides the AR implementation unit.

상기 AR 구현부는, 상기 얼굴영상 내 눈 영역의 좌표를 산출하고, 산출된 좌표를 기준으로 상기 변환된 상품 이미지의 위치를 결정하여 상기 얼굴영상에 배치하는 이미지 매칭부 및 상기 상품 이미지가 배치된 얼굴영상을 디스플레이를 통해 재생하는 재생부를 포함할 수 있다.The AR implementation unit calculates the coordinates of the eye area in the face image, determines the position of the converted product image based on the calculated coordinates, and places the converted product image on the face image, and the face on which the product image is placed It may include a playback unit that reproduces the image through the display.

상기 이미지 매칭부는, 실시간으로 상기 눈 영역의 좌표를 산출하고, 좌표 변경시 변경된 좌표에 대응하여 상품 이미지의 위치를 이동시킬 수 있다.The image matching unit may calculate the coordinates of the eye area in real time and move the location of the product image in response to the changed coordinates when the coordinates are changed.

상기 개인화 정보에 대응하여 상기 상품정보에 따라 적합한 하나 이상의 상품을 추출하고, 추출된 상품에 대한 상품정보를 디스플레이를 통해 표시하는 추천정보 생성부를 더 포함할 수 있다.In response to the personalized information, it may further include a recommendation information generating unit for extracting one or more suitable products according to the product information, and displaying product information on the extracted products through a display.

또한, 전술한 과제를 해결하기 위해, 본 발명의 다른 양태의 실시예에 따른 가상 피팅 방법은, 사용자 단말에 설치 및 실행되는 증강현실 기반 가상 피팅 시스템을 이용한 가상 피팅 방법으로서, 카메라로부터 현재 촬영중인 얼굴영상을 실시간으로 취득하는 단계, 상기 얼굴영상에 포함된 노이즈를 제거하고, 얼굴영역을 정의하는 단계, 얼굴영역상에 복수의 특징점을 설정하는 단계, 이웃한 복수의 특징점을 연결선을 통해 서로 연결하는 단계, 상기 연결선의 길이 및 연결선이 이루는 도형의 형태에 기초하여 복수의 얼굴부위를 확정하여 전체 얼굴형태를 포함하는 개인화 정보를 생성하는 단계 및 상기 개인화 정보를 이용하여 상기 얼굴영상의 일 영역상에 상품 이미지를 중첩 배치하여 착용영상을 디스플레이를 통해 재생하는 단계를 포함할 수 있다.In addition, in order to solve the above-described problem, a virtual fitting method according to an embodiment of another aspect of the present invention is a virtual fitting method using an augmented reality-based virtual fitting system installed and executed in a user terminal, which is currently being photographed from a camera. Acquiring a face image in real time, removing noise included in the face image, defining a face region, setting a plurality of feature points on the face region, connecting a plurality of neighboring feature points to each other through a connecting line The step of generating personalized information including the entire face shape by determining a plurality of face parts based on the length of the connection line and the shape of the figure formed by the connection line, and using the personalization information on one area of the face image It may include the step of reproducing the worn image through the display by superimposing the product image on the.

상기 얼굴영역상에 복수의 특징점을 설정하는 단계 이전에, 학습엔진을 통해 복수의 학습 데이터에 의해 생성된 학습모델을 이용하여 상기 얼굴영역상에 복수의 특징점의 위치를 정의하는 단계를 포함할 수 있다.Prior to the step of setting a plurality of feature points on the face region, defining positions of the plurality of feature points on the face region using a learning model generated by a plurality of learning data through a learning engine. have.

상기 이웃한 복수의 특징점을 연결선을 통해 서로 연결하는 단계는, 사용자로부터 기준 연결선에 대한 기준값을 입력받는 단계 및 입력된 기준값 이용하여 나머지 복수의 연결선의 길이를 산출하는 단계를 포함할 수 있다.Connecting the plurality of neighboring feature points to each other through a connection line may include receiving a reference value for a reference connection line from a user and calculating lengths of the remaining plurality of connection lines using the input reference value.

상기 개인화 정보를 이용하여 상기 얼굴영상의 일 영역상에 상기 상품 이미지를 중첩 배치하여 착용영상을 디스플레이를 통해 재생하는 단계는, 상기 얼굴영상의 눈 영역의 좌표를 산출하는 단계, 산출된 좌표를 기준으로 변환된 상품 이미지의 위치를 결정하여 상기 얼굴영상에 배치하는 단계, 상기 상품 이미지가 배치된 얼굴영상을 상기 착용영상으로서 디스플레이를 통해 재생하는 단계 및 상기 좌표의 변경시, 변경된 좌표에 대응하여 상품 이미지의 위치를 이동시키는 단계를 포함할 수 있다.The step of reproducing the wearing image through a display by superimposing the product image on one area of the face image using the personalization information includes calculating the coordinates of the eye area of the face image, based on the calculated coordinates Determining the location of the converted product image and placing it on the face image, reproducing the face image on which the product image is placed as the wearing image through a display, and when the coordinates are changed, the product corresponding to the changed coordinates It may include moving the position of the image.

본 발명의 실시예에 따르면, 사용자의 얼굴을 실시간으로 촬영한 얼굴에 대하여 복수의 특징점을 설정하고, 이를 통해 얼굴형태의 유형, 특징 및 개성을 반영한 개인화 정보를 생성하고, 증강현실 기술에 기반하여 그 개인화 정보에 기초하여 상품 이미지를 중첩하고 화면상에 표시함으로써 가상 피팅 서비스를 제공할 수 있는 효과가 있다.According to an embodiment of the present invention, a plurality of feature points are set for a face photographing a user's face in real time, and through this, personalized information reflecting the type, feature and personality of the face shape is generated, and based on augmented reality technology It is possible to provide a virtual fitting service by overlapping product images and displaying them on a screen based on the personalized information.

또한, 본 발명의 실시예에 따르면, 딥 러닝 기술을 이용하여 사용자의 얼굴 특성을 정확하게 반영할 수 있는 특징점 설정방법을 제시하고, 개인화 정보에 따라 사용자의 얼굴에 어울리는 상품을 사용자에게 추천함으로써 사용자가 상품 구매에 참조할 수 있도록 하는 효과가 있다. In addition, according to an embodiment of the present invention, a method for setting feature points that can accurately reflect the user's facial characteristics using deep learning technology is proposed, and a product suitable for the user's face is recommended to the user according to personalization information. It has the effect of being able to refer to product purchase.

도 1은 본 발명의 실시예에 따른 증강현실 기반 가상 피팅 시스템 및 이와 연관된 시스템의 전체 구조에 관한 도면이다.
도 2는 본 발명의 실시예에 따른 증강현실 기반 가상 피팅 시스템이 적용되는 사용자 단말의 구조에 관한 도면이다.
도 3은 본 발명의 실시예에 따른 증강현실 기반 가상 피팅 시스템의 구조에 관한 도면이다.
도 4는 본 발명의 실시예에 따른 증강현실 기반 가상 피팅 방법에 관한 도면이다.
도 5a 내지 도 5c는 본 발명의 실시예에 따른 증강현실 기반 시스템에 의한 얼굴의 분석방법에 관한 도면이다.
도 6은 본 발명의 실시예에 따른 증강현실 기반 가상 피팅 시스템이 제공하는 화면의 일 예를 나타낸 도면이다.1 is a diagram of an augmented reality-based virtual fitting system and an overall structure of a system associated therewith according to an embodiment of the present invention.
2 is a diagram illustrating a structure of a user terminal to which an augmented reality-based virtual fitting system according to an embodiment of the present invention is applied.
3 is a diagram illustrating a structure of an augmented reality-based virtual fitting system according to an embodiment of the present invention.
4 is a diagram of a virtual fitting method based on augmented reality according to an embodiment of the present invention.
5A to 5C are diagrams illustrating a face analysis method using an augmented reality based system according to an embodiment of the present invention.
6 is a diagram illustrating an example of a screen provided by an augmented reality-based virtual fitting system according to an embodiment of the present invention.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "구비" 또는 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부(Unit)", "...서버(Server)" 및 "...시스템(System)" 등의 용어는 하나 또는 그 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어, 소프트웨어 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.When a part of the specification says that a certain component is "equipped" or "included", it means that other components may be further included instead of excluding other components unless otherwise stated. In addition, terms such as "...unit", "...server" and "...system" described in the specification refer to units that process one or more functions or operations. It means, and this may be implemented in hardware, software, or a combination of hardware and software.

또한 본 명세서에서 "실시예"라는 용어는 예시, 사례 또는 도해의 역할을 하는 것을 의미하나, 발명의 대상은 그러한 예에 의해 제한되지 않는다. 또한 "포함하는", "구비하는", "갖는" 및 다른 유사한 용어가 사용되고 있으나, 청구범위에서 사용되는 경우 임의의 추가적인 또는 다른 구성요소를 배제하지 않는 개방적인 전환어(Transition word)로서 "포함하는(Comprising)"이라는 용어와 유사한 방식으로 포괄적으로 사용될 수 있다.In addition, in the present specification, the term “an embodiment” means serving as an illustration, example, or illustration, but the subject of the invention is not limited by such an example. In addition, "comprising", "having", "having" and other similar terms are used, but when used in the claims, "included" as an open transition word that does not exclude any additional or other elements. It may be used generically in a manner similar to the term "comprising".

본 명세서에 설명된 다양한 기법은 하드웨어 또는 소프트웨어와 함께 구현되거나, 적합한 경우에 이들 모두의 조합과 함께 구현될 수 있다. 본 명세서에 사용된 바와 같은 "...부(Unit)", "...서버(Server)" 및 "...시스템(System)" 등의 용어는 마찬가지로 컴퓨터 관련 엔티티(Entity), 즉 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행 시의 소프트웨어와 등가로 취급할 수 있다. 또한, 본 발명의 프로그램에서 실행되는 각 기능은 모듈단위로 구성될 수 있고, 하나의 물리적 메모리에 기록되거나, 둘 이상의 메모리 및 기록매체 사이에 분산되어 기록될 수 있다.The various techniques described herein may be implemented with hardware or software, or, where appropriate, with a combination of both. As used herein, terms such as "...unit", "...server" and "...system" are likewise computer-related entities, i.e. hardware , It can be treated as a combination of hardware and software, software or equivalent to software at the time of execution. In addition, each function executed in the program of the present invention may be configured in a module unit, and may be recorded in one physical memory, or distributed between two or more memories and a recording medium.

이하, 도면을 참조하여 본 발명의 실시예에 따른 증강현실 기반 가상 피팅 시스템 및 방법을 상세히 설명한다.Hereinafter, an augmented reality-based virtual fitting system and method according to an embodiment of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시예에 따른 증강현실 기반 가상 피팅 시스템 및 이와 연관된 시스템의 전체 구조에 관한 도면이다.1 is a diagram of an augmented reality-based virtual fitting system and an overall structure of a system associated therewith according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 증강현실 기반 가상 피팅 시스템 및 이와 연관된 시스템은, 사용자의 얼굴을 촬영하고, 증강현실 기반 가상 피팅 시스템을 통해 실시간으로 분석 및 착용영상을 표시하는 사용자 단말(100), 증강현실 기반 가상 피팅 시스템에 탑재되는 딥 러닝을 위한 학습엔진 및 이에 이용되는 학습 데이터를 제공하는 학습 서버(300) 및 현재 판매중인 다수의 마켓을 운영하고, 마켓에 게시된 다수의 상품에 대한 상품정보를 사용자 단말(100)에 제공하는 쇼핑몰 서버(400)를 포함할 수 있다.Referring to FIG. 1, an augmented reality-based virtual fitting system and a system related thereto according to an embodiment of the present invention are a user who photographs a user's face and analyzes and displays a wearing image in real time through an augmented reality-based virtual fitting system. The terminal 100, a learning engine for deep learning mounted in an augmented reality-based virtual fitting system, and a learning server 300 providing learning data used therein, and a number of markets currently being sold are operated, and a number of posted on the market It may include a shopping mall server 400 that provides product information on the products of the user terminal 100.

상세하게는, 사용자 단말(100)은 스마트폰 또는 태블릿PC 등이 이용될 수 있고, 본 발명의 증강현실 기반 가상 피팅 시스템이 어플리케이션 프로그램 형태로 설치되어 안경, 액세서리, 의류 등의 상품에 대한 가상 피팅 서비스를 제공할 수 있다.In detail, the user terminal 100 may be a smartphone or a tablet PC, and the augmented reality-based virtual fitting system of the present invention is installed in the form of an application program to provide virtual fitting for products such as glasses, accessories, and clothing. Service can be provided.

특히, 사용자 단말(100)에는 통신수단, 카메라, 디스플레이 등이 탑재되어 있고, 통신수단을 통해 정보통신망에 접속하여 상품정보를 수집하고, 카메라를 통해 사용자의 현재 모습을 실시간으로 촬영할 수 있으며, 분석된 사용자 얼굴에 상품 이미지를 중첩한 착용영상을 디스플레이를 통해 실시간으로 표시할 수 있다.In particular, the user terminal 100 is equipped with a communication means, a camera, a display, etc., and collects product information by accessing an information communication network through the communication means, and the current image of the user can be photographed in real time through the camera, and analysis The wearing image in which the product image is superimposed on the user's face can be displayed in real time through the display.

이러한 사용자 단말(10)로는, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치 및 거치형PC, 노트북과 같은 컴퓨팅 장치를 포함하는 장치가 이용될 수 있다.Such user terminals 10 include Personal Communication System (PCS), Global System for Mobile Communications (GSM), Personal Digital Cellular (PDC), Personal Handyphone System (PHS), Personal Digital Assistant (PDA), International Mobile Telecommunication (IMT). )-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), Wibro (Wireless Broadband Internet) terminal, smartphone, smartpad, tablet PC All kinds of handheld-based wireless communication devices such as PC) and the like, and devices including computing devices such as stationary PCs and notebook computers may be used.

학습 서버(300)는 증강현실 기반 가상 피팅 시스템에 탑재된 딥 러닝 기능을 지원하는 역할을 한다. 본 발명의 가상 피팅 시스템은 사용자 얼굴에 대한 특징점의 설정을 통해 얼굴유형을 판단하며, 이에 특징점의 설정시의 얼굴 형태를 보다 정확하게 분석할 수 있도록 딥 러닝을 위한 학습 엔진이 탑재될 수 있다. 학습 서버(300)는 이러한 학습 엔진 및 다수의 학습 데이터를 저장할 수 있고, 주기적으로 정보통신망에 접속한 사용자 단말(100)에 대하여 최신 버전의 학습 엔진 및 다수의 학습 데이터를 제공함으로써, 가상 피팅 시스템의 학습 엔진 및 학습 데이터를 갱신할 수 있다. The learning server 300 serves to support a deep learning function mounted in an augmented reality-based virtual fitting system. The virtual fitting system of the present invention determines a face type by setting a feature point for a user's face, and thus a learning engine for deep learning may be mounted to more accurately analyze the face shape at the time of setting the feature point. The learning server 300 can store such a learning engine and a plurality of learning data, and provides the latest version of the learning engine and a plurality of learning data to the user terminal 100 periodically connected to the information communication network, thereby providing a virtual fitting system. The learning engine and learning data of can be updated.

쇼핑몰 서버(400)는 쇼핑몰 서버(300)는 다양한 종류의 상품을 판매하는 업체가 온라인 마켓을 개설하여 마켓 웹 사이트를 운영하는 쇼핑몰의 서버장치로서, 공지의 온라인 쇼핑몰 업체인, 옥션, 인터파크, 11번가, Amazon 등이 운영하는 서버일 수 있다.The shopping mall server 400 is a server device of a shopping mall in which a company selling various types of products opens an online market and operates a market website, and known online shopping mall companies, Auction, Interpark, 11 It may be a server operated by Avenue, Amazon, etc.

이러한 쇼핑몰 서버(400)는 서비스 제공자와의 협약에 따라, 사용자 단말(100)에 가상 피팅을 위한 상품정보를 제공할 수 있고, 사용자 단말(100)의 요청에 따라 사용자에 의해 선택된 상품의 주문절차를 처리할 수 있다. 이에, 사용자는 자신이 원하는 상품을 선택 및 구매까지 본 발명의 증강현실 기반 가상 피팅 시스템을 통해 수행할 수 있다.The shopping mall server 400 may provide product information for virtual fitting to the user terminal 100 according to an agreement with a service provider, and an order procedure for a product selected by the user at the request of the user terminal 100 Can handle. Accordingly, the user can select and purchase a product he desires through the augmented reality-based virtual fitting system of the present invention.

이하, 도면을 참조하여 본 발명의 실시예에 따른 증강현실 기반 가상 피팅 시스템이 적용되는 사용자 단말을 상세히 설명한다.Hereinafter, a user terminal to which an augmented reality-based virtual fitting system according to an embodiment of the present invention is applied will be described in detail with reference to the drawings.

도 2는 본 발명의 실시예에 따른 증강현실 기반 가상 피팅 시스템이 적용되는 사용자 단말의 구조에 관한 도면이다.2 is a diagram illustrating a structure of a user terminal to which an augmented reality-based virtual fitting system according to an embodiment of the present invention is applied.

도 2를 참조하면, 본 발명의 실시예에 따른 증강현실 기반 가상 피팅 시스템이 설치 및 실행되는 사용자 단말(100)은 통신모듈(110), 카메라(120), 디스플레이(130), 입력모듈(140), AP(150) 및 저장소(160)를 포함할 수 있다.Referring to FIG. 2, a user terminal 100 on which an augmented reality-based virtual fitting system is installed and executed according to an embodiment of the present invention includes a communication module 110, a camera 120, a display 130, and an input module 140. ), the AP 150 and the storage 160 may be included.

통신모듈(110)은 정보통신망에 접속하여 외부의 시스템으로부터 각종 데이터를 송수신하는 통신수단이다. 통신모듈(110)은 학습 서버로부터 딥 러닝에 필요한 각종 데이터를 수신할 수 있고, 쇼핑몰 서버로부터 다수의 상품에 대한 상품정보를 수신할 수 있다. 또한, 사용자의 선택에 따라 특정 상품에 대한 구매절차를 요청할 수 있다.The communication module 110 is a communication means for transmitting and receiving various data from an external system by connecting to an information communication network. The communication module 110 may receive various data necessary for deep learning from the learning server, and may receive product information for a plurality of products from the shopping mall server. In addition, a purchase procedure for a specific product may be requested according to the user's selection.

이러한 통신모듈(110)은 WiFi 및 Zigbee와 같은 근거리 무선 프로토콜 뿐만 아니라, CDMA, WCDMA, Wibro, 3G 및 LTE 와 같은 원거리 무선 프로토콜을 이용한 통신기능을 구현할 있다.The communication module 110 can implement a communication function using not only short-range wireless protocols such as WiFi and Zigbee, but also long-range wireless protocols such as CDMA, WCDMA, Wibro, 3G, and LTE.

카메라(120)는 사용자의 모습, 특히 사용자의 얼굴을 실시간으로 촬영할 수 있고, 촬영된 얼굴영상을 가상 피팅 시스템에 전달함으로써 증강현실 서비스를 위한 현실세계에 대한 영상을 제공하게 된다.The camera 120 can capture a user's image, particularly the user's face in real time, and transmits the photographed face image to the virtual fitting system to provide an image of the real world for an augmented reality service.

디스플레이(130)는 사용자 단말의 구동에 따른 화면을 표시하는 역할을 하며, 소정의 비디오 어뎁터(Video Adapter)를 포함할 수 있다. 특히, 본 발명의 디스플레이(130)는 카메라(120)에 의해 촬영된 사용자의 얼굴뿐만 아니라, 가상 피팅에 따른 착용영상을 화면상에 표시할 수 있다.The display 130 serves to display a screen according to driving of a user terminal, and may include a predetermined video adapter. In particular, the display 130 of the present invention may display a user's face photographed by the camera 120 as well as a wearing image according to a virtual fitting on the screen.

이러한 디스플레이(130)는 소형의 휴대용 컴퓨팅 장치에 적합한 소형의 액정표시소자(LCD), 전기영동소자(EPD) 및 유기전계발광소자(OLED)등으로 구현될 수 있고, 후술하는 입력모듈(140)과 일체형인 터치패널(Touch Panel)형태로 구성될 수 있다.The display 130 may be implemented as a small liquid crystal display device (LCD) suitable for a small portable computing device, an electrophoretic device (EPD), an organic electroluminescent device (OLED), etc., and an input module 140 to be described later. It can be configured in the form of a touch panel (Touch Panel) integral with.

입력모듈(140)은 사용자 단말(100)에 탑재되는 버튼 또는 터치패널로부터 입력되는 사용자의 조작을 신호처리 하는 장치 인터페이스로서, 사용자가 사용자 단말(100)을 제어하거, 상품을 선택하고 주문정보를 입력하는 등의 조작을 입력받아 가상 피팅 시스템에 전달할 수 있다.The input module 140 is a device interface for signal processing of a user's manipulation input from a button or a touch panel mounted on the user terminal 100, and the user controls the user terminal 100, selects a product, and stores order information. An operation such as input can be received and transmitted to the virtual fitting system.

AP(Application Processor; 150)는 중앙처리장치(CPU) 및 그래픽처리장치(GPU) 등이 포함된 모바일 단말장치에 적합한 시스템 온 칩(SOC)일 수 있으며, 사용자 단말(100)에 탑재된 각 모듈들을 제어하는 역할을 한다.The AP (Application Processor) 150 may be a system-on-chip (SOC) suitable for a mobile terminal device including a central processing unit (CPU) and a graphic processing unit (GPU), and each module mounted on the user terminal 100 Plays a role in controlling them.

또한, AP(150)는 저장소(160)에 저장된 OS, 각종 어플리케이션 프로그램을 실행하며, 특히 가상 피팅 시스템(200)의 실행을 통해 가상 피팅 서비스를 구현할 수 있다. In addition, the AP 150 executes an OS and various application programs stored in the storage 160, and in particular, may implement a virtual fitting service through execution of the virtual fitting system 200.

저장소(160)는 사용자 단말(100)를 구동하기 위한 OS, 본 발명의 실시예에 따른 가상 피팅 시스템(200) 및 기타 구동을 위한 프로그램들이 기록될 수 있다. 이러한 저장소(160)는 공지의 판독 전용 메모리 (ROM) 및 랜덤 액세스 메모리(RAM) 와 탈부착이 가능한 기록매체 등을 모두 포함하는 개념의 장치이다. 또한, 저장소(160)에는 딥 러닝을 학습 데이터의 데이터 베이스를 위한 저장공간이 할당될 수 있다.The storage 160 may record an OS for driving the user terminal 100, a virtual fitting system 200 according to an embodiment of the present invention, and other programs for driving. The storage 160 is a device of a concept including all of a known read-only memory (ROM), a random access memory (RAM), and a removable recording medium. In addition, a storage space for a database of deep learning training data may be allocated to the storage 160.

또한, 전술한 구조의 사용자 단말(100)의 각 구성모듈은 내부적으로 서로 시스템 버스(System Bus)에 의해 통신을 수행할 수 있으며, 이러한 시스템 버스는 메모리 버스(Memory Bus) 또는 메모리 컨트롤러(Memory Controller), 주변 장치 버스(Peripheral Device) 및 다양한 버스 아키텍처들을 사용하는 로컬 버스(Local Bus)를 비롯한 소정의 버스구조들을 하나 이상 포함할 수 있다.In addition, each of the constituent modules of the user terminal 100 of the above-described structure can internally communicate with each other by a system bus, and such a system bus is a memory bus or a memory controller. ), a Peripheral Device, and a Local Bus using various bus architectures.

전술한 바와 같이, 사용자 단말(100)에는 본 발명의 가상 피팅 시스템(200)이 어플리케이션이 설치 및 저장될 수 있고, AP(150)에 의해 실행되어 카메라(120)가 촬영한 사용자의 얼굴영상을 이용하여 가상 피팅 서비스를 구현할 수 있다.As described above, the virtual fitting system 200 of the present invention can be installed and stored in the user terminal 100, and is executed by the AP 150 to capture the user's face image captured by the camera 120. Using the virtual fitting service can be implemented.

이하, 도면을 참조하여 본 발명의 실시예에 따른 증강현실 기반 가상 피팅 시스템을 상세히 설명한다.Hereinafter, a virtual fitting system based on an augmented reality according to an embodiment of the present invention will be described in detail with reference to the drawings.

도 3은 본 발명의 실시예에 따른 증강현실 기반 가상 피팅 시스템의 구조에 관한 도면이다.3 is a diagram illustrating a structure of an augmented reality-based virtual fitting system according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시예에 따른 증강현실 기반 가상 피팅 시스템(200)은 기능상 크게 3개의 구성부로 구분될 수 있으며, 상세하게는, 카메라에 의해 실시간으로 촬영된 얼굴영상에 등장하는 얼굴영역에 복수의 특징점을 설정하고, 복수의 특징점에 따른 개인화 정보를 생성하는 얼굴 처리부(210), 복수의 상품정보를 입력받아 선택되는 하나 이상의 상품에 대한 상품 이미지를 제공하는 상품 처리부(220) 및, 개인화 정보를 이용하여 얼굴영상의 일 영역상에 상품 이미지를 중첩 배치하고, 착용영상을 구현하는 AR 구현부(230)를 포함할 수 있다.Referring to FIG. 3, the augmented reality-based virtual fitting system 200 according to an embodiment of the present invention can be divided into three components in terms of functionality, and in detail, appearing in a face image captured in real time by a camera. A face processing unit 210 that sets a plurality of feature points in the face area and generates personalized information according to the plurality of feature points, and a product processing unit 220 that provides product images for one or more products selected by receiving a plurality of product information. And, it may include an AR implementation unit 230 that superimposes the product image on one area of the face image by using personalized information and implements the worn image.

얼굴 처리부(210)는 실시간으로 촬영된 사용자의 얼굴을 분석하여 사용자의 얼굴에 대한 형태, 특징, 개성 등에 대한 정보를 포함하는 개인화 정보를 생성할 수 있다.The face processing unit 210 may analyze the user's face photographed in real time to generate personalized information including information on the shape, characteristics, and personality of the user's face.

이러한 기능을 구현하기 위해, 얼굴 처리부(210)는 카메라로부터 현재 촬영중인 얼굴영상을 실시간으로 취득하는 영상 취득부(211), 얼굴영상에 포함된 노이즈를 제거하고, 얼굴영역을 정의하는 전처리부(212), 얼굴영역상에 복수의 특징점을 설정하는 특징점 추출부(213), 이웃한 복수의 특징점을 연결선을 통해 서로 연결하는 연결선 생성부(214), 연결선의 길이 및 연결선이 이루는 도형의 형태에 기초하여 복수의 얼굴부위를 확정하고 복수의 얼굴부위가 이루는 전체 얼굴형태가 정의된 개인화 정보를 생성하는 얼굴 추출부(215), 복수의 학습 데이터가 저장된 학습 데이터 베이스(216) 및 복수의 학습 데이터에 의해 생성된 학습모델을 이용하여 얼굴영역상에 복수의 특징점의 위치를 정의하는 학습엔진(217)을 포함할 수 있다.In order to implement such a function, the face processing unit 210 includes an image acquisition unit 211 that acquires a face image currently being photographed from a camera in real time, a preprocessor that removes noise included in the face image, and defines a face region ( 212), a feature point extraction unit 213 for setting a plurality of feature points on the face region, a connection line generator 214 that connects a plurality of neighboring feature points to each other through a connection line, the length of the connection line and the shape of the figure formed by the connection line. A face extracting unit 215 that determines a plurality of face parts and generates personalized information in which the entire face shape formed by the plurality of face parts is defined, a learning database 216 storing a plurality of training data, and a plurality of training data It may include a learning engine 217 that defines the positions of a plurality of feature points on the face region by using the learning model generated by.

영상 취득부(211)는 카메라(120)가 현재 촬영중인 영상을 실시간으로 취득할 수 있다. 사용자는 자신의 얼굴에 가상 피팅을 적용하기 위해 자신의 얼굴이 등장하도록 카메라(120)의 촬영방향을 조절해야 하며, 이에 영상 취득부(211)는 사용자의 얼굴영상을 취득하여 전처리부(212)에 전달하게 된다.The image acquisition unit 211 may acquire an image currently being captured by the camera 120 in real time. In order to apply the virtual fitting to the user's face, the user must adjust the photographing direction of the camera 120 so that his or her face appears, and the image acquisition unit 211 acquires the user's face image, and the preprocessor 212 Will be delivered to.

전처리부(212)는 얼굴영상에 대한 영상분석을 위한 전처리 과정을 처리할 수 있다. 이러한 전처리 과정에서는 영상 내 포함된 노이즈 제거, 이진화 처리, FFT 필터에 의한 양자화 등의 과정을 포함될 수 있고, 전처리 과정을 통해 특징점 설정시 불필요한 요소를 최소화하게 된다.The preprocessor 212 may process a preprocessing process for image analysis on a face image. In this pre-processing process, processes such as noise removal, binarization process, and quantization by an FFT filter may be included in the image, and unnecessary elements are minimized when feature points are set through the pre-processing process.

특징점 추출부(213)는 전처리된 얼굴영상에 대하여 각 부위별 복수의 특징점의 위치를 추출하고, 그 좌표에 대하여 특징점을 설정할 수 있다. The feature point extracting unit 213 may extract positions of a plurality of feature points for each part of the preprocessed face image and set the feature points for the coordinates.

본 발명의 실시예에 따른 가상 피팅 시스템(200)에서는 사용자의 얼굴에 대하여 다수의 특징점, 일례로서 68개의 특징점을 추출하고, 그 특징점을 일정한 규칙에 따라 연결함으로써 개인의 얼굴유형, 특징, 개성 파악 및 분석할 수 있는 개인화 정보를 생성할 수 있다. 이러한 특징점은 얼굴상에서 그 형태를 특정할 수 있는 위치에 설정되게 된다.In the virtual fitting system 200 according to an embodiment of the present invention, a plurality of feature points, for example, 68 feature points are extracted from the user's face, and the feature points are connected according to a certain rule to identify an individual's face type, features, and personality. And it is possible to generate personalized information that can be analyzed. These feature points are set at a position on the face where the shape can be specified.

만약, 특징점이 68개라고 가정하면, 이를 잇는 직선의 경우의 수는 68C2 이므로 총 2278개가 되며, 2278개의 길이 데이터의 조합으로 얼굴의 형상을 특정할 수 있다.Assuming that there are 68 feature points, the number of straight lines connecting them is 68 C 2, so a total of 2,278, and the shape of the face can be specified by a combination of 2278 length data.

연결선 생성부(214)는 설정된 복수의 특징점을 서로 연결하여 얼굴 부위의 특징을 특정할 수 있다. 이러한 연결선은 이웃한 특징점을 서로 연결하여 얼굴의 각 부위별 영역을 정의하고 그 특징이 수치화되도록 설정되는 것으로, 모든 특징점이 서로 연결되는 것은 아니며, 얼굴의 각 부위에 대한 영역범위, 길이, 방향 및 각도 등을 나타낼 수 있는 특징점을 서로 연결해 줌으로써 얼굴유형을 도출하게 된다.The connection line generator 214 may connect a plurality of set feature points to each other to specify a feature of the facial region. These connecting lines connect neighboring feature points to each other to define an area for each part of the face, and are set so that the features are numericalized. Not all feature points are connected to each other, and the area range, length, direction and direction of each part of the face Face types are derived by connecting feature points that can represent angles, etc.

전술한 특징점을 설정하는 방법 및 연결선을 통해 특징점을 연결하는 방법에 대한 상세한 설명은 후술한다.A detailed description of a method of setting the above-described feature points and a method of connecting the feature points through a connection line will be described later.

얼굴 추출부(215)는 특징점이 연결됨에 따라 얼굴의 전체 외곽선에 대응하는 얼굴의 개인화 정보를 포함하는 얼굴영상을 추출할 수 있다. 상기 연결선은 분석 대상의 얼굴 전체의 외곽 및 얼굴 각 부위에 대응할 수 있고, 이는 개인화 정보로서 얼굴을 추출하는 데 이용될 수 있다.As the feature points are connected, the face extracting unit 215 may extract a face image including personalization information of a face corresponding to the entire outline of the face. The connection line may correspond to the outer periphery of the entire face to be analyzed and each part of the face, and this may be used to extract a face as personalized information.

도한, 본 발명의 실시예에 따른 가상 피팅 시스템(200)은 특징점의 설정시 그 위치가 얼굴특성을 보다 정확하게 반영할 수 있도록 딥 러닝 기법이 적용할 수 있다. In addition, in the virtual fitting system 200 according to an embodiment of the present invention, a deep learning technique may be applied so that the position of the feature point can more accurately reflect the facial characteristic when the feature point is set.

이를 위해, 얼굴 처리부(210)는 복수의 학습 데이터가 저장되는 학습 데이터 베이스(216) 및 복수의 학습 데이터에 의해 생성된 학습모델을 이용하여 얼굴영역상에 복수의 특징점의 위치를 정의하는 학습엔진(218)을 포함할 수 있다.To this end, the face processing unit 210 uses a learning database 216 in which a plurality of training data is stored and a learning model generated by a plurality of training data, and is a learning engine that defines the positions of a plurality of feature points on the face region. (218) may be included.

학습 데이터 베이스(216)에는 딥 러닝을 위한 다수의 학습 데이터가 저장될 수 있고, 그 데이터는 주기적으로 외부의 학습 서버로부터 갱신될 수 있다. The learning database 216 may store a plurality of training data for deep learning, and the data may be periodically updated from an external learning server.

또한, 학습엔진(218)은 학습 데이터를 이용하여 학습 모델을 생성할 수 있고, 입력되는 얼굴 영상에 대하여 최적의 특징점 위치를 도출하여 특징점 추출부(213)에 제공할 수 있다.In addition, the learning engine 218 may generate a learning model by using the training data, and may derive an optimal feature point position for an input face image and provide it to the feature point extracting unit 213.

이러한 구성을 통해 가상 피팅 시스템(200)은 가상 피팅을 위한 사용자의 얼굴에 대한 분석결과인 개인화 정보를 생성할 수 있다. 이러한 개인화 정보는 해당 사용자의 얼굴에 따른 유형, 특징 또는 개성 등을 판단할 수 있게 된다.Through this configuration, the virtual fitting system 200 may generate personalized information that is an analysis result of the user's face for virtual fitting. Such personalized information can be used to determine the type, characteristic, or personality according to the user's face.

또한, 상품 처리부(220)는 사용자가 가상 피팅 하고자 하는 대상인 상품에 대한 이미지를 처리하는 기능을 수행할 수 있다.In addition, the product processing unit 220 may perform a function of processing an image of a product that is a target for which the user wants to virtually fit.

상세하게는, 상품 처리부(220)는 외부 쇼핑몰 서버로부터 복수의 상품에 대한 상품 이미지를 포함하는 상품정보를 수집하는 상품정보 수집부(222), 사용자의 선택에 따라, 선택된 상품 이미지를 추출하는 선택부(224) 및 상품 이미지의 크기 및 각도를 변환하여 상기 AR 구현부에 제공하는 이미지 제공부(226)를 포함할 수 있다.Specifically, the product processing unit 220 includes a product information collection unit 222 that collects product information including product images for a plurality of products from an external shopping mall server, and a selection of extracting the selected product image according to a user's selection. It may include a unit 224 and an image providing unit 226 that converts the size and angle of the product image and provides it to the AR implementation unit.

상품정보 수집부(222)는 정보통신망을 통해 외부의 쇼핑몰 서버로부터 하나 이상의 상품정보를 입력 받거나, 사용자가 이미지 파일 형태로 직접 입력한 하나 이상의 상품정보를 수집할 수 있다. 상품정보는 안경, 액세서리 등의 상품에 대한 상품 이미지를 포함할 수 있다.The product information collection unit 222 may receive one or more product information from an external shopping mall server through an information communication network, or collect one or more product information directly input by a user in the form of an image file. Product information may include product images for products such as glasses and accessories.

상품 선택부(224)는 수집된 상품정보에 따른 하나 이상의 상품 이미지 중, 사용자가 착용하고자 하는 하나 이상의 상품 이미지를 입력모듈(140)을 통해 직접 선택 받을 수 있다.The product selection unit 224 may directly select one or more product images that the user wants to wear from among one or more product images according to the collected product information through the input module 140.

이미지 제공부(226)는 상품 선택부(224)로부터 선택된 상품 이미지를 변환하여 AR 구현부(230)에 전달하는 역할을 한다. 이때, 상품 이미지의 해상도, 전체크기 또는 각도 등은 상품정보에 따라 다양할 수 있으며, 이에 이미지 제공부(226)는 현재 디스플레이(130)에 적합하게 변환하여 AR 구현부(230)에 전달하게 된다.The image providing unit 226 serves to convert the product image selected by the product selection unit 224 and transmit it to the AR implementation unit 230. At this time, the resolution, overall size, or angle of the product image may vary according to the product information, and the image providing unit 226 converts it to suit the current display 130 and transmits it to the AR implementation unit 230. .

또한, AR 구현부(230)는 얼굴 처리부(210)를 통해 분석된 사용자의 얼굴과, 상품 처리부를 통해 준비된 상품 이미지를 서로 매칭하여 증강현실 영상을 제공할 수 있다. 이러한 기능을 구현하기 위해, AR 구현부(230)는 얼굴영상 내 눈 영역의 좌표를 산출하고, 산출된 좌표를 기준으로 상기 변환된 상품 이미지의 위치를 결정하여 상기 얼굴영상 내 배치하는 이미지 매칭부(233) 및 상품 이미지가 배치된 얼굴영상을 디스플레이를 통해 재생하는 재생부(236)를 포함할 수 있다.In addition, the AR implementation unit 230 may provide an augmented reality image by matching a user's face analyzed through the face processing unit 210 and a product image prepared through the product processing unit with each other. In order to implement this function, the AR implementation unit 230 calculates the coordinates of the eye area in the face image, determines the position of the converted product image based on the calculated coordinates, and places the image matching unit in the face image. 233 and a reproducing unit 236 for reproducing the face image on which the product image is arranged through the display.

이미지 매칭부(233)는 얼굴 추출부(215)로부터 제공되는 얼굴영상에 이미지 제공부(226)가 제공하는 상품 이미지를 중첩하여 매칭할 수 있다. 특히, 이미지 매칭부(233)는 개인화 정보를 참조하여 얼굴영역 중, 일 영역의 좌표를 산출하고 산출된 좌표를 기준으로 상기의 상품 이미지의 위치를 결정하고, 얼굴영상 내 중첩되도록 배치할 수 있다. The image matching unit 233 may overlap and match the product image provided by the image providing unit 226 on the face image provided from the face extracting unit 215. In particular, the image matching unit 233 may calculate the coordinates of one of the face regions with reference to the personalized information, determine the position of the product image based on the calculated coordinates, and arrange the product images to be overlapped within the face image. .

일례로서, 이미지 매칭부(233)는 상품이 안경인 경우 얼굴영상에서 눈의 좌표를 산출하고, 안경 이미지의 양 렌즈의 중앙부분이 양 눈에 각각 대응하도록 안경 이미지를 배치할 수 있다. 만약, 상품이 귀걸이인 경우, 이미지 매칭부(233)는 양 귀의 좌표를 산출하여 이에 대응하도록 귀걸이 이미지를 배치할 수 있다.As an example, when the product is glasses, the image matching unit 233 may calculate the coordinates of the eyes from the face image and arrange the glasses image so that the center portions of both lenses of the glasses image correspond to both eyes. If the product is an earring, the image matching unit 233 may calculate the coordinates of both ears and arrange the earring image to correspond thereto.

또한, 이미지 매칭부(233)는 얼굴영상이 실시간으로 변환되어 얼굴 및 눈의 위치 또는 각도가 변경되는 경우, 실시간으로 눈의 좌표를 추적하여 상품 이미지가 눈을 기준으로 그 영역을 벗어나지 않도록 안경 이미지의 위치를 실시간으로 이동시킬 수 있다.In addition, when the face image is converted in real time to change the position or angle of the face and eyes, the image matching unit 233 tracks the coordinates of the eyes in real time to prevent the product image from leaving the area based on the eye. You can move the location of in real time.

재생부(236)는 얼굴영상과 이에 배치된 상품 이미지를 함께 재생하여 디스플레이(130)를 통해 표시되도록 한다. 또한, 재생부(236)는 화면 내 얼굴영상 및 매칭된 상품 이미지 뿐만 아니라, 상품 처리부(220)가 수집한 상품정보의 타 상품 이미지를 배열함으로써, 사용자가 다양한 상품을 변경하면서 착용해 볼 수 있도록 지원할 수 있다.The reproducing unit 236 reproduces the face image and the product image disposed therein together to be displayed through the display 130. In addition, the reproducing unit 236 arranges not only the face image and the matched product image in the screen, but also other product images of the product information collected by the product processing unit 220, so that the user can change various products and wear it. You can apply.

또한, 본 발명의 실시예에 따른 가상 피팅 시스템(200)은 얼굴 처리부(210)를 통해 생성한 개인화 정보를 이용하여 외부의 쇼핑몰 서버로부터 수집한 상품정보에 따라 사용자의 얼굴유형, 개성에 적합한 상품을 추천하는 추천정보를 생성하는 추천정보 생성부(240)를 더 포함할 수 있다.In addition, the virtual fitting system 200 according to an embodiment of the present invention uses personalization information generated through the face processing unit 210 to provide products suitable for the user's face type and personality according to the product information collected from an external shopping mall server. It may further include a recommendation information generation unit 240 for generating recommendation information recommending.

또한, 본 발명의 실시예에 따른 가상 피팅 시스템(200)은 외부의 쇼핑몰 서버와의 연결을 통해 사용자가 착용 후 선택한 상품을 구매 주문하는 기능을 더 제공할 수 있다.In addition, the virtual fitting system 200 according to an embodiment of the present invention may further provide a function of purchasing a product selected by a user after wearing it through a connection with an external shopping mall server.

이하, 도면을 참조하여 본 발명의 실시예에 따른 증강현실 기반 가상 피팅 방법을 설명한다.Hereinafter, a virtual fitting method based on augmented reality according to an embodiment of the present invention will be described with reference to the drawings.

도 4는 본 발명의 실시예에 따른 증강현실 기반 가상 피팅 방법에 관한 도면이다. 이하의 설명에서 각 단계별 실행주체는 별도의 기재가 없더라도 전술한 본 발명의 가상 피팅 시스템 및 이의 구성부가 된다. 4 is a diagram of a virtual fitting method based on augmented reality according to an embodiment of the present invention. In the following description, the execution subject of each step becomes the above-described virtual fitting system of the present invention and its constituent parts even if there is no separate description.

도 4를 참조하면, 본 발명의 실시예에 따른 증강현실 기반 가상 피팅 방법은 사용자 단말에 설치 및 실행되는 증강현실 기반 가상 피팅 시스템을 이용한 가상 피팅 방법으로서, 카메라로부터 현재 촬영중인 얼굴영상을 실시간으로 취득하는 단계(S100), 얼굴영상에 포함된 노이즈를 제거하고, 얼굴영역을 정의하는 단계(S110), 얼굴영역상에 복수의 특징점을 설정하는 단계(S120), 이웃한 복수의 특징점을 연결선을 통해 서로 연결하는 단계(S130), 연결선의 길이 및 연결선이 이루는 도형의 형태에 기초하여 복수의 얼굴부위를 확정하여 전체 얼굴형태를 포함하는 개인화 정보를 생성하는 단계(S140) 및 개인화 정보를 이용하여 얼굴영상의 일 영역상에 상품 이미지를 중첩 배치하여 착용영상을 디스플레이를 통해 재생하는 단계(S150)를 포함할 수 있다.4, the augmented reality-based virtual fitting method according to an embodiment of the present invention is a virtual fitting method using an augmented reality-based virtual fitting system installed and executed in a user terminal, and a face image currently being photographed from a camera is real-time. Acquiring (S100), removing noise included in the face image, defining a face region (S110), setting a plurality of feature points on the face region (S120), connecting a plurality of neighboring feature points Connecting to each other through (S130), determining a plurality of face parts based on the length of the connection line and the shape of the shape formed by the connection line, generating personalized information including the entire face shape (S140), and using personalization information It may include a step (S150) of reproducing the worn image through the display by overlapping the product image on one area of the face image.

먼저, 카메라로부터 현재 촬영중인 얼굴영상을 실시간으로 취득하는 단계(S100)에서는 가상 피팅 시스템의 실행에 따라, 사용자 단말의 카메라를 구동하여 주변을 촬영하되, 카메라가 사용자의 얼굴을 향하게 됨에 따라 사용자의 현재 얼굴을 실시간으로 촬영함으로써, 가상 피팅 시스템이 그 얼굴영상을 실시간으로 취득하는 단계이다.First, in the step (S100) of acquiring the face image currently being photographed from the camera in real time, according to the execution of the virtual fitting system, the camera of the user terminal is driven to photograph the surroundings, but as the camera faces the user's face, the user's By photographing the current face in real time, the virtual fitting system acquires the face image in real time.

이어서, 가상 피팅 시스템은 영상 처리 기법을 통해 얼굴을 분석하게 되며, 상세하게는, 얼굴영상에 포함된 노이즈를 제거하고, 얼굴영역을 정의하는 단계(S110)에서는 영상 처리 기법 중, 전처리 과정을 통해 영상 내 노이즈를 제거하고, 얼굴의 외곽선을 따라 영상 내에서 얼굴에 해당하는 영역을 판단하게 된다. 또한, 이러한 전처리 과정에는 이진화, ROI 설정 등의 절차가 더 포함될 수 있다.Subsequently, the virtual fitting system analyzes the face through the image processing technique, and in detail, in the step of removing noise included in the face image and defining the face region (S110), through a pre-processing process among image processing techniques. Noise in the image is removed, and an area corresponding to the face in the image is determined along the outline of the face. In addition, the preprocessing process may further include procedures such as binarization and ROI setting.

다음으로, 얼굴영역상에 복수의 특징점을 설정하는 단계(S120)로서, 가상 피팅 시스템은 영상 내 등장하는 얼굴영역에 사용자의 얼굴유형, 특징을 나타내는 복수의 특징점을 설정하게 된다.Next, in step S120 of setting a plurality of feature points on the face region, the virtual fitting system sets a plurality of feature points representing the user's face type and feature in the face region appearing in the image.

이웃한 복수의 특징점을 연결선을 통해 서로 연결하는 단계(S130)는 얼굴 영역에 대하여 설정된 이웃한 복수의 특징점을 서로 연결하는 단계이다. 이때, 연결선은 얼굴의 각 부위의 크기, 길이, 각도를 반영할 수 있는 점을 서로 연결하게 된다.In step S130 of connecting a plurality of neighboring feature points to each other through a connection line, a plurality of neighboring feature points set for the face area are connected to each other. At this time, the connection line connects points that can reflect the size, length, and angle of each part of the face.

연결선의 길이 및 연결선이 이루는 도형의 형태에 기초하여 복수의 얼굴부위를 확정하여 전체 얼굴형태를 포함하는 개인화 정보를 생성하는 단계(S140)에서는 사용자로부터 하나의 기준 연결선의 길이를 입력받아 이에 비례하여 나머지 모든 연결선의 길이를 산출하고, 각 연결선의 길이 및 그 연결선들이 이루는 도형의 형태에 따라 눈, 코, 입 등의 형태 및 위치를 확정함으로써 전체 얼굴형태를 구성하는 개인화 정보를 생성하게 된다. In the step (S140) of generating personalized information including the entire face shape by determining a plurality of face parts based on the length of the connection line and the shape of the figure formed by the connection line, the length of one reference connection line is received from the user and proportionally Personalized information constituting the entire face shape is generated by calculating the lengths of all remaining connection lines, and determining the shape and position of the eyes, nose, and mouth according to the length of each connection line and the shape of the figure formed by the connection lines.

다음으로, 개인화 정보를 이용하여 얼굴영상의 일 영역상에 상품 이미지를 중첩 배치하여 착용영상을 디스플레이를 통해 재생하는 단계(S150)에서는 얼굴영상에서 생성한 개인화 정보를 통해 얼굴부위 중 어느 하나, 일례로서 두 눈의 좌표를 추출하고, 추출된 좌표를 기준으로 하여 상품 이미지를 영상 내 중첩하도록 배치하여 디스플레이의 화면상에 표시함으로써 증강현실 착용영상을 표시하게 된다.Next, in the step (S150) of reproducing the worn image through the display by superimposing a product image on one area of the face image using personalization information, one of the face parts, for example, through the personalization information generated from the face image. As a result, the coordinates of the two eyes are extracted, the product image is arranged to be superimposed within the image based on the extracted coordinates and displayed on the screen of the display to display the augmented reality wearing image.

또한, 본 발명의 실시예에 따르면, 상기의 S120 단계 이전에, 학습엔진을 통해 복수의 학습 데이터에 의해 생성된 학습모델을 이용하여 상기 얼굴영역상에 복수의 특징점의 위치를 정의하는 단계를 포함할 수 있다.In addition, according to an embodiment of the present invention, prior to the step S120, defining the positions of the plurality of feature points on the face region using a learning model generated by a plurality of learning data through a learning engine. can do.

또한, 상기의 S150 단계는, 상기 얼굴영상 내 눈 영역의 좌표를 산출하는 단계, 산출된 좌표를 기준으로 변환된 상품 이미지의 위치를 결정하여 얼굴영상 내 배치하는 단계, 상품 이미지가 배치된 얼굴영상을 착용영상으로서 디스플레이를 통해 재생하는 단계 및, 좌표의 변경시 변경된 좌표에 대응하여 상품 이미지의 위치를 이동시키는 단계로 세분할 수 있다.In addition, the step S150 includes: calculating the coordinates of the eye area in the face image, determining a position of the converted product image based on the calculated coordinates and placing it in the face image, and placing the product image in the face image It can be subdivided into a step of playing back as a wearing image through a display and a step of moving a position of a product image in response to the changed coordinates when the coordinates are changed.

이하, 도면을 참조하여 본 발명의 실시예에 따른 증강현실 기반 시스템의 얼굴 분석방법을 구체적으로 설명한다. Hereinafter, a face analysis method of an augmented reality-based system according to an embodiment of the present invention will be described in detail with reference to the drawings.

도 5a 내지 도 5c는 본 발명의 실시예에 따른 증강현실 기반 시스템에 의한 얼굴의 분석방법에 관한 도면이다.5A to 5C are diagrams illustrating a face analysis method using an augmented reality based system according to an embodiment of the present invention.

먼저, 도 5a를 참조하면 본 발명의 증강현실 기반 시스템은 카메라에 의해 촬영된 얼굴영상에 대하여 영상처리 및 딥 러닝 기법을 통해 사용자의 얼굴에 해당하는 영역에 얼굴영역에 해당하는 부분에 ROI를 설정하고, ROI 영역 내에서 복수의 특징점(P)을 설정하게 된다.First, referring to FIG. 5A, the augmented reality-based system of the present invention sets an ROI in a portion corresponding to the face area in an area corresponding to the user's face through image processing and deep learning techniques for a face image captured by a camera. Then, a plurality of feature points P are set within the ROI area.

여기서, 복수의 특징점(P)을 얼굴형상을 따라 복수의 연결선(L)을 통해 서로 연결함으로써 얼굴형상을 확정할 수 있다. 단, 각 연결선(L)이 영상에서 특정한 영역에 위치하는 것을 식별할 수는 있으나, 각 선들의 길이는 판단할 수 없다.Here, the face shape may be determined by connecting the plurality of feature points P to each other through a plurality of connection lines L along the face shape. However, although it is possible to identify that each connection line L is located in a specific area in the image, the length of each line cannot be determined.

따라서, 도 5b를 참조하면 두 특징점(P)을 연결하는 다양한 연결선(L1) 중, 어느 하나를 기준 연결선으로 설정하고, 사용자로부터 그 길이를 입력받아 기준값으로 하여 타 연결선 들의 길이를 산출하게 된다.Accordingly, referring to FIG. 5B, one of the various connection lines L1 connecting the two feature points P is set as the reference connection line, and the length of the other connection lines is calculated using the reference value by receiving the length from the user.

이러한 기준 연결선으로는 두 눈간 거리(A), 눈썹길이(Xbrow), 두 눈썹간 거리(Xgla), 눈 가로길이(Xeye), 코 가로길이(Xnose), 인중길이(Xphil), 입 가로길이(Xlip), 입과 턱간 거리(Xjaw), 귀 세로길이(Xear), 얼굴 세로길이(Ywidth) 및 얼굴 가로길이(Xwidth) 중, 어느 하나로 결정될 수 있다.These reference lines include the distance between eyes (A), eyebrow length (Xbrow), distance between eyebrows (Xgla), eye width (Xeye), nose length (Xnose), philtrum length (Xphil), and mouth width ( Xlip), mouth-to-chin distance (Xjaw), ear length (Xear), face length (Ywidth), and face width (Xwidth) may be determined as any one of.

두 눈간 거리(A)를 기준 연결선으로서 그 거리를 입력 받으면, 전술한 나머지 연결선들의 길이는 상기 거리를 기준으로 산출할 수 있으며, 만약 두 눈간 거리(A)가 아닌 타 연결선에 대한 길이, 예를 들면 입 가로길이(Xlip)를 기준값으로 입력받아도 나머지 연결선들의 길이를 산출할 수 있다.When the distance between the two eyes (A) is input as the reference connection line, the lengths of the remaining connection lines described above can be calculated based on the distance, and if the distance between the two eyes (A) is not the length of the other connection line, for example, For example, even if the width of the mouth (Xlip) is input as a reference value, the lengths of the remaining connection lines can be calculated.

이렇게 측정된 얼굴 부위에 대한 길이들의 조합은 해당 사용자의 얼굴유형, 특징 또는 개성을 반영하게 되며, 그 값들은 개인화 정보로서 이용되게 된다. 일례로서, 전술한 연결선들의 길이비율에 따라 얼굴유형을 파악할 수 있게 된다. 일례로서, 두 눈간 거리(A) 대비 코 가로길이(Xnose)가 긴 유형, 입이 작은 유형, 얼굴 전체 길이가 긴 유형 등 다양한 유형이 도출될 수 있고, 이는 딥 러닝에 의한 빅데이터 분석 기법을 통해 구체화되고, 그 분석결과는 이후 해당 사용자의 얼굴형과 유사한 얼굴형을 갖는 타 사용자들이 선호하는 상품을 추천하는 데 활용될 수 있다.The combination of the lengths of the measured face parts reflects the user's face type, feature, or personality, and the values are used as personalized information. As an example, it is possible to recognize the face type according to the length ratio of the aforementioned connection lines. As an example, various types can be derived, such as a type with a long nose length (Xnose) compared to the distance between two eyes (A), a type with a small mouth, and a type with a long face, and this is a big data analysis technique based on deep learning. The result of the analysis can be used to recommend products preferred by other users having a face shape similar to that of the user.

한편, 전술한 두 눈간 거리(A)는 사용자로부터 직접 입력받는 것이 일반적이나, 사용자 단말이 깊이정보를 획득할 수 있는 이미지 센서가 복수개인 듀얼 카메라를 탑재한 경우, 사용자와 사용자 단말간의 거리값을 이용하여 자동 산출 및 기준값으로 입력하는 방식도 적용될 수 있다.On the other hand, the above-described distance A between the two eyes is generally directly input from the user. However, when the user terminal is equipped with a dual camera having a plurality of image sensors capable of acquiring depth information, the distance value between the user and the user terminal is determined. Using the automatic calculation and inputting as a reference value can also be applied.

또한, 도 5c를 참조하면, 본 발명의 실시예에 따른 가상 피칭 시스템은 전술한 복수의 특징점(P) 및 그 특징점(P)을 연결하는 복수의 연결선(CL)이 설정되는 형태를 예시한 것으로, 본 발명의 실시예에 따르면 도 5b에 예시된 바와 같이 연결선(CL)은 얼굴의 각 부위, 즉, 눈, 코 입을 둘러싸며 부위별 영역을 특정하는 형태 뿐만 아니라, 입술 끝단에서 볼을 가로질러 턱 끝단과 복수개가 연결되는 등의 얼굴의 굴곡 및 특징점(P)별 거리를 나타낼 수 있는 형태로 설정될 수 있고, 일례로서 본 발명에서 특징점(P)은 총 68개가 설정될 수 있다. 이에 따르면, 각 특징점(P)을 연결하는 연결선(CL)은 "68C2" 임에 따라, 총 2278개를 설정할 수 있다.In addition, referring to FIG. 5C, the virtual pitching system according to an embodiment of the present invention illustrates a form in which a plurality of feature points P and a plurality of connection lines CL connecting the feature points P are set. , According to an embodiment of the present invention, as illustrated in FIG. 5B, the connection line CL is not only a shape that surrounds each part of the face, that is, the eyes, the nose and the mouth, and specifies the area for each part, but also crosses the cheek at the end of the lips. It may be set in a form capable of representing the curvature of the face, such as connecting a plurality of chin ends and a distance for each feature point P. As an example, a total of 68 feature points P may be set in the present invention. According to this, the connection line CL connecting each of the feature points P is “ 68 C 2 ”, and thus, a total of 2,278 can be set.

이에 따라, 본 발명의 증강현실 기반 가상 피팅 시스템에서는 상기의 연결선 2278개의 길이별 특징의 조합에 따라 개인의 얼굴유형, 특징 또는 개성 등을 파악 및 분석할 수 있다.Accordingly, in the augmented reality-based virtual fitting system of the present invention, it is possible to grasp and analyze an individual's face type, feature, or personality according to a combination of features for each length of 2278 connecting lines.

이하, 도면을 참조하여 본 발명의 실시예에 따른 증강현실 기반 가상 피팅 시스템이 제공하는 화면의 일 예를 통해 본 발명의 기술적 사상을 상세히 설명한다.Hereinafter, the technical idea of the present invention will be described in detail through an example of a screen provided by the augmented reality-based virtual fitting system according to an embodiment of the present invention with reference to the drawings.

도 6은 본 발명의 실시예에 따른 증강현실 기반 가상 피팅 시스템이 제공하는 화면의 일 예를 나타낸 도면이다.6 is a diagram illustrating an example of a screen provided by an augmented reality-based virtual fitting system according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 실시예에 따른 증강현실 기반 가상 피팅 시스템은 사용자 단말(10)을 통해 현재 화면상에 표시되는 사용자 얼굴에 상품 이미지를 중첩시켜 마치 사용자가 상품을 실제 착용한 것과 같은 가상 피팅 서비스를 제공할 수 있다. 6, the augmented reality-based virtual fitting system according to an embodiment of the present invention superimposes a product image on a user's face displayed on a current screen through the user terminal 10, as if the user actually wears the product. The same virtual fitting service can be provided.

사용자가 사용자 단말(10)에 탑재된 카메라를 이용하여 자신의 얼굴을 촬영하면, 증강현실 기반 가상 피팅 시스템은 그 얼굴영상을 실시간으로 화면(W100)상에 표시할 수 있다. 또한, 가상 피팅 시스템은 고객영상에서 특징점을 설정하여 개인화 정보를 생성하며, 사용자가 가상 착용하고자 하는 이용하고자 하는 안경상품(W110)을 선택하면, 설정된 특징점 중, 두 눈에 대응하는 특징점의 위치를 추적하고, 안경상품(W110)의 상품 이미지를 두 눈을 기준으로 자동으로 이동시킴으로써 가상 피팅을 구현하게 된다.When a user photographs his or her face using a camera mounted on the user terminal 10, the augmented reality-based virtual fitting system may display the face image on the screen W100 in real time. In addition, the virtual fitting system creates personalized information by setting a feature point from a customer image, and when the user selects the eyeglass product (W110) that the user wants to wear virtually, the location of the feature point corresponding to the two eyes is selected from among the set feature points. Virtual fitting is implemented by tracking and automatically moving the product image of the glasses product W110 based on both eyes.

이에 따라, 도면에 나타내지는 않으나, 사용자가 얼굴의 방향을 전환하는 경우, 사용자의 눈에 대응하는 특징점의 위치가 변함에 따라 상품 이미지의 위치도 실시간으로 이동되어 마치 실제 착용한 것과 같은 효과를 제공하게 된다. Accordingly, although not shown in the drawing, when the user changes the direction of the face, the position of the product image is moved in real time as the position of the feature point corresponding to the user's eyes changes, providing an effect as if it was actually worn. Is done.

또한, 피팅 화면(W100)의 하단으로는 쇼핑몰 서버가 제공하는 다수의 안경상품의 이미지(W120)가 배열될 수 있고, 고객은 안경상품의 이미지(W120) 중, 원하는 안경 이미지를 선택하여 착용한 상태를 확인할 수 있다. 또한, 사용자는 마음에 드는 어느 하나의 상품을 선택하여 구매 주문할 수 있다.In addition, at the bottom of the fitting screen W100, images of a number of glasses products provided by the shopping mall server (W120) may be arranged, and the customer selects and wears a desired glasses image from among the images of glasses product (W120). You can check the status. In addition, the user can select one product he or she likes and place an order for purchase.

상기한 설명에 많은 사항이 구체적으로 기재되어 있으나 이것은 발명의 범위를 한정하는 것이라기보다 바람직한 실시예의 예시로서 해석되어야 한다. 따라서 발명은 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위에 균등한 것에 의하여 정하여져야 한다.Although many items are specifically described in the above description, this should be construed as an example of a preferred embodiment rather than limiting the scope of the invention. Therefore, the invention should not be determined by the described embodiments, but should be determined by the claims and equivalents to the claims.

100 : 사용자 단말 110 : 통신모듈
120 : 카메라 130 : 디스플레이
140 : 입력모듈 150 : AP
160 : 저장소 200 : 가상 피팅 시스템
210 : 얼굴처리부 211 : 영상 취득부
212 : 전처리부 213 : 특징점 추출부
214 : 연결선 생성부 215 : 얼굴 추출부
216 : 학습 데이터 베이스 217 : 학습엔진
220 : 상품 처리부 222 : 상품정보 수집부
224 : 상품 선택부 226 : 이미지 제공부
230 : AR 구현부 233 : 이미지 매칭부
236 : 재생부 240 : 추천정보 생성부
300 : 학습 서버 400 : 쇼핑몰 서버100: user terminal 110: communication module
120: camera 130: display
140: input module 150: AP
160: storage 200: virtual fitting system
210: face processing unit 211: image acquisition unit
212: pre-processing unit 213: feature point extraction unit
214: connection line generation unit 215: face extraction unit
216: learning database 217: learning engine
220: product processing unit 222: product information collection unit
224: product selection unit 226: image providing unit
230: AR implementation unit 233: Image matching unit
236: playback unit 240: recommendation information generation unit
300: learning server 400: shopping mall server

Claims (13)

카메라에 의해 실시간으로 촬영된 얼굴영상에 등장하는 얼굴영역에 복수의 특징점을 설정하고, 상기 복수의 특징점에 따른 개인화 정보를 생성하는 얼굴 처리부;
복수의 상품정보를 입력받아 선택되는 하나 이상의 상품에 대한 상품 이미지를 제공하는 상품 처리부; 및
상기 개인화 정보를 이용하여 상기 얼굴영상의 일 영역상에 상기 상품 이미지를 중첩 배치하고, 착용영상을 구현하는 AR 구현부
를 포함하는 증강현실 기반 가상 피팅 시스템.A face processing unit configured to set a plurality of feature points in a face region appearing in a face image captured in real time by a camera and generate personalized information according to the plurality of feature points;
A product processing unit that receives a plurality of product information and provides a product image for one or more products selected; And
An AR implementation unit that superimposes the product image on one area of the face image and implements a wearing image using the personalization information
Augmented reality-based virtual fitting system comprising a. 제 1 항에 있어서,
상기 얼굴 처리부는,
카메라로부터 현재 촬영중인 얼굴영상을 실시간으로 취득하는 영상 취득부;
상기 얼굴영상에 포함된 노이즈를 제거하고, 얼굴영역을 정의하는 전처리부;
얼굴영역상에 복수의 특징점을 설정하는 특징점 추출부;
이웃한 복수의 특징점을 복수의 연결선을 통해 서로 연결하는 연결선 생성부; 및
상기 연결선의 길이 및 연결선이 이루는 도형의 형태에 기초하여 복수의 얼굴부위를 확정하고, 상기 복수의 얼굴부위가 이루는 전체 얼굴형태가 정의된 개인화 정보를 생성하는 얼굴 추출부
를 포함하는 증강현실 기반 가상 피팅 시스템.The method of claim 1,
The face treatment unit,
An image acquisition unit that acquires a face image currently being photographed from the camera in real time;
A preprocessor for removing noise included in the face image and defining a face area;
A feature point extraction unit for setting a plurality of feature points on the face area;
A connection line generator for connecting a plurality of neighboring feature points to each other through a plurality of connection lines; And
A face extracting unit that determines a plurality of face parts based on the length of the connection line and the shape of a figure formed by the connection line, and generates personalized information in which the entire face shape formed by the plurality of face parts is defined
Augmented reality-based virtual fitting system comprising a. 제 2 항에 있어서,
상기 얼굴 처리부는,
복수의 학습 데이터가 저장된 학습 데이터 베이스; 및
상기 복수의 학습 데이터에 의해 생성된 학습모델을 이용하여 상기 얼굴영역상에 복수의 특징점의 위치를 정의하는 학습엔진
을 포함하는 증강현실 기반 가상 피팅 시스템.The method of claim 2,
The face treatment unit,
A learning database storing a plurality of learning data; And
Learning engine that defines the positions of a plurality of feature points on the face region using a learning model generated by the plurality of training data
Augmented reality-based virtual fitting system comprising a. 제 2 항에 있어서,
상기 연결선 생성부는,
상기 복수의 연결선 중, 어느 하나를 기준 연결선으로 설정하고, 사용자로부터 입력되는 기준값을 이용하여 나머지 복수의 연결선의 길이를 산출하는 증강현실 기반 가상 피팅 시스템.The method of claim 2,
The connection line generation unit,
An augmented reality-based virtual fitting system that sets any one of the plurality of connection lines as a reference connection line, and calculates the lengths of the remaining plurality of connection lines using a reference value input from a user. 제 4 항에 있어서,
상기 기준 연결선은,
두 눈간 거리, 눈썹길이, 두 눈썹간 거리, 눈 가로길이, 코 가로길이, 인중길이, 입 가로길이, 입과 턱간 거리, 귀 세로길이, 얼굴 세로길이 및 얼굴 가로길이 중, 어느 하나인 증강현실 기반 가상 피팅 시스템.The method of claim 4,
The reference connection line,
Augmented reality which is any one of the distance between eyes, eyebrow length, eyebrow distance, eye width, nose width, throat length, mouth width, mouth and chin distance, ear length, face length and face length Based virtual fitting system. 제 1 항에 있어서,
상기 상품 처리부는,
외부 쇼핑몰 서버로부터 복수의 상품에 대한 상품 이미지를 포함하는 상품정보를 수집하는 상품정보 수집부;
사용자의 선택에 따라, 선택된 상품 이미지를 추출하는 선택부; 및
상기 상품 이미지의 크기 및 각도를 변환하여 상기 AR 구현부에 제공하는 이미지 제공부
를 포함하는 증강현실 기반 가상 피팅 시스템.The method of claim 1,
The product processing unit,
A product information collection unit collecting product information including product images for a plurality of products from an external shopping mall server;
A selection unit for extracting a selected product image according to a user's selection; And
An image providing unit that converts the size and angle of the product image and provides it to the AR implementation unit
Augmented reality-based virtual fitting system comprising a. 제 6 항에 있어서,
상기 AR 구현부는,
상기 얼굴영상 내 눈 영역의 좌표를 산출하고, 산출된 좌표를 기준으로 상기 변환된 상품 이미지의 위치를 결정하여 상기 얼굴영상에 배치하는 이미지 매칭부; 및
상기 상품 이미지가 배치된 얼굴영상을 디스플레이를 통해 재생하는 재생부
를 포함하는 증강현실 기반 가상 피팅 시스템.The method of claim 6,
The AR implementation unit,
An image matching unit that calculates coordinates of the eye area in the face image, determines a location of the converted product image based on the calculated coordinates, and places the converted product image on the face image; And
Reproducing unit for reproducing the face image on which the product image is arranged through a display
Augmented reality-based virtual fitting system comprising a. 제 7 항에 있어서,
상기 이미지 매칭부는,
실시간으로 상기 눈 영역의 좌표를 산출하고, 좌표 변경시 변경된 좌표에 대응하여 상품 이미지의 위치를 이동시키는 증강현실 기반 가상 피팅 시스템.The method of claim 7,
The image matching unit,
An augmented reality-based virtual fitting system that calculates the coordinates of the eye area in real time and moves the position of the product image in response to the changed coordinates when the coordinates are changed. 제 1 항에 있어서,
상기 개인화 정보에 대응하여 상기 상품정보에 따라 적합한 하나 이상의 상품을 추출하고, 추출된 상품에 대한 상품정보를 디스플레이를 통해 표시하는 추천정보 생성부
를 더 포함하는 증강현실 기반 가상 피팅 시스템.The method of claim 1,
A recommendation information generation unit that extracts one or more suitable products according to the product information in response to the personalized information and displays product information on the extracted products through a display
Augmented reality-based virtual fitting system further comprising a. 사용자 단말에 설치 및 실행되는 증강현실 기반 가상 피팅 시스템을 이용한 가상 피팅 방법으로서,
카메라로부터 현재 촬영중인 얼굴영상을 실시간으로 취득하는 단계;
상기 얼굴영상에 포함된 노이즈를 제거하고, 얼굴영역을 정의하는 단계;
얼굴영역상에 복수의 특징점을 설정하는 단계;
이웃한 복수의 특징점을 연결선을 통해 서로 연결하는 단계;
상기 연결선의 길이 및 연결선이 이루는 도형의 형태에 기초하여 복수의 얼굴부위를 확정하여 전체 얼굴형태를 포함하는 개인화 정보를 생성하는 단계; 및
상기 개인화 정보를 이용하여 상기 얼굴영상의 일 영역상에 상품 이미지를 중첩 배치하여 착용영상을 디스플레이를 통해 재생하는 단계
를 포함하는 증강현실 기반 가상 피팅 방법.As a virtual fitting method using an augmented reality-based virtual fitting system installed and executed in a user terminal,
Acquiring a face image currently being photographed from the camera in real time;
Removing noise included in the face image and defining a face region;
Setting a plurality of feature points on the face area;
Connecting a plurality of neighboring feature points to each other through a connection line;
Determining a plurality of face parts based on the length of the connection line and the shape of the figure formed by the connection line, and generating personalized information including the entire face shape; And
Reproducing a wearing image through a display by superimposing a product image on one area of the face image using the personalization information
Augmented reality-based virtual fitting method comprising a. 제 10 항에 있어서,
상기 얼굴영역상에 복수의 특징점을 설정하는 단계 이전에,
학습엔진을 통해 복수의 학습 데이터에 의해 생성된 학습모델을 이용하여 상기 얼굴영역상에 복수의 특징점의 위치를 정의하는 단계
를 포함하는 증강현실 기반 가상 피팅 방법.The method of claim 10,
Before the step of setting a plurality of feature points on the face region,
Defining the positions of a plurality of feature points on the face region using a learning model generated by a plurality of training data through a learning engine
Augmented reality-based virtual fitting method comprising a. 제 10 항에 있어서,
상기 이웃한 복수의 특징점을 연결선을 통해 서로 연결하는 단계는,
사용자로부터 기준 연결선에 대한 기준값을 입력받는 단계; 및
입력된 기준값 이용하여 나머지 복수의 연결선의 길이를 산출하는 단계
를 포함하는 증강현실 기반 가상 피팅 방법.The method of claim 10,
Connecting the plurality of neighboring feature points to each other through a connection line,
Receiving a reference value for a reference connection line from a user; And
Calculating the length of the remaining plurality of connection lines using the input reference value
Augmented reality-based virtual fitting method comprising a. 제 10 항에 있어서,
상기 개인화 정보를 이용하여 상기 얼굴영상의 일 영역상에 상기 상품 이미지를 중첩 배치하여 착용영상을 디스플레이를 통해 재생하는 단계는,
상기 얼굴영상의 눈 영역의 좌표를 산출하는 단계;
산출된 좌표를 기준으로 변환된 상품 이미지의 위치를 결정하여 상기 얼굴영상에 배치하는 단계;
상기 상품 이미지가 배치된 얼굴영상을 상기 착용영상으로서 디스플레이를 통해 재생하는 단계; 및
상기 좌표의 변경시, 변경된 좌표에 대응하여 상품 이미지의 위치를 이동시키는 단계
를 포함하는 증간현실 기반 가상 피팅 방법.
The method of claim 10,
The step of reproducing the wearing image through a display by superimposing the product image on one area of the face image using the personalization information,
Calculating coordinates of the eye area of the face image;
Determining a location of the converted product image based on the calculated coordinates and placing it on the face image;
Reproducing the face image on which the product image is arranged as the wearing image through a display; And
When the coordinates are changed, moving the position of the product image in response to the changed coordinates
Augmented reality-based virtual fitting method comprising a.
KR1020190074806A 2019-06-24 2019-06-24 System and method for virtual fitting based on augument reality KR102340904B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190074806A KR102340904B1 (en) 2019-06-24 2019-06-24 System and method for virtual fitting based on augument reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190074806A KR102340904B1 (en) 2019-06-24 2019-06-24 System and method for virtual fitting based on augument reality

Publications (2)

Publication Number Publication Date
KR20210000044A true KR20210000044A (en) 2021-01-04
KR102340904B1 KR102340904B1 (en) 2021-12-20

Family

ID=74127277

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190074806A KR102340904B1 (en) 2019-06-24 2019-06-24 System and method for virtual fitting based on augument reality

Country Status (1)

Country Link
KR (1) KR102340904B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102318992B1 (en) * 2021-02-23 2021-10-28 안혜령 Personal coordination service provision system using multi-agent
KR102323861B1 (en) * 2021-01-15 2021-11-09 주식회사 쪼이 System for selling clothing online
CN116030224A (en) * 2022-12-30 2023-04-28 广州市玄武无线科技股份有限公司 AR product display method and device, electronic equipment and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170071967A (en) * 2015-12-16 2017-06-26 (주)케이홀릭컴퍼니 Method for recommending glass in online shopping mall
KR101835531B1 (en) * 2016-12-23 2018-03-08 주식회사 심보다 A display device for providing augmented reality image based on face recognition and method for controlling the display device thereof
KR20190024861A (en) 2018-10-25 2019-03-08 김지환 Method for Providing Glasses Fitting Service by using Augmented Reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170071967A (en) * 2015-12-16 2017-06-26 (주)케이홀릭컴퍼니 Method for recommending glass in online shopping mall
KR101835531B1 (en) * 2016-12-23 2018-03-08 주식회사 심보다 A display device for providing augmented reality image based on face recognition and method for controlling the display device thereof
KR20190024861A (en) 2018-10-25 2019-03-08 김지환 Method for Providing Glasses Fitting Service by using Augmented Reality

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102323861B1 (en) * 2021-01-15 2021-11-09 주식회사 쪼이 System for selling clothing online
KR102318992B1 (en) * 2021-02-23 2021-10-28 안혜령 Personal coordination service provision system using multi-agent
CN116030224A (en) * 2022-12-30 2023-04-28 广州市玄武无线科技股份有限公司 AR product display method and device, electronic equipment and storage medium
CN116030224B (en) * 2022-12-30 2023-12-26 广州市玄武无线科技股份有限公司 AR product display method and device, electronic equipment and storage medium

Also Published As

Publication number Publication date
KR102340904B1 (en) 2021-12-20

Similar Documents

Publication Publication Date Title
US11017453B2 (en) Glasses selling system, lens company terminal, frame company terminal, glasses selling method, and glasses selling program
AU2018214005B2 (en) Systems and methods for generating a 3-D model of a virtual try-on product
US11798201B2 (en) Mirroring device with whole-body outfits
US9870636B2 (en) Method for sharing emotions through the creation of three dimensional avatars and their interaction
US10665022B2 (en) Augmented reality display system for overlaying apparel and fitness information
US20180268458A1 (en) Automated recommendation and virtualization systems and methods for e-commerce
CN109154983B (en) Head-mounted display system configured to exchange biometric information
US9153074B2 (en) Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
KR102340904B1 (en) System and method for virtual fitting based on augument reality
US20180357670A1 (en) Dynamically capturing, transmitting and displaying images based on real-time visual identification of object
US11182963B2 (en) Computerized system and method for providing a mobile augmented reality item display and selection experience
JP2017527858A (en) Systems and methods for providing custom-fitted and styled eyewear based on user-provided images and preferences
US11385710B2 (en) Geometric parameter measurement method and device thereof, augmented reality device, and storage medium
US20220066537A1 (en) System and method for identifying tailored advertisements based on detected features in a mixed reality environment
US20220253907A1 (en) System and method for identifying tailored advertisements based on detected features in a mixed reality environment
KR102325829B1 (en) Recommendation method for face-wearing products and device therefor
CN116685938A (en) 3D rendering on eyewear device
CN117083641A (en) Real-time experience real-size eye wear device
KR20200075541A (en) Eyeglasses try-on simulation method
CN117043829A (en) Real-time eye wear
KR102174053B1 (en) A method for operating a glasses fitting system using a smart mirror
US20230409112A1 (en) System and method for determining user interactions with visual content presented in a mixed reality environment
CN113033413A (en) Glasses recommendation method and device, storage medium and terminal
WO2015172229A1 (en) Virtual mirror systems and methods
KR20220165610A (en) Artificial Intelligence-Based Fashion Augmented Reality Mobile App

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant