KR102193638B1 - Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service - Google Patents

Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service Download PDF

Info

Publication number
KR102193638B1
KR102193638B1 KR1020170136037A KR20170136037A KR102193638B1 KR 102193638 B1 KR102193638 B1 KR 102193638B1 KR 1020170136037 A KR1020170136037 A KR 1020170136037A KR 20170136037 A KR20170136037 A KR 20170136037A KR 102193638 B1 KR102193638 B1 KR 102193638B1
Authority
KR
South Korea
Prior art keywords
user
image
hair
synthesized
area
Prior art date
Application number
KR1020170136037A
Other languages
Korean (ko)
Other versions
KR20190043925A (en
Inventor
이재열
허중수
Original Assignee
주식회사 버츄어라이브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 버츄어라이브 filed Critical 주식회사 버츄어라이브
Priority to KR1020170136037A priority Critical patent/KR102193638B1/en
Publication of KR20190043925A publication Critical patent/KR20190043925A/en
Application granted granted Critical
Publication of KR102193638B1 publication Critical patent/KR102193638B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 태양에 따르면, 헤어 스타일 시뮬레이션 서비스를 제공하는 방법으로서, 사용자 이미지에 포함되는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 형태 정보 및 색상 정보를 획득하는 단계, 상기 획득되는 색상 정보를 참조하여, 부분 헤어 샘플 이미지로부터 생성되는 합성 대상 부분 헤어 이미지의 색상을 결정하고, 상기 획득되는 형태 정보를 참조하여, 상기 합성 대상 부분 헤어 이미지가 상기 사용자 이미지에서 합성될 위치 및 상기 위치에서의 상기 합성 대상 부분 헤어 이미지의 크기를 결정하는 단계, 및 상기 사용자 이미지와 상기 합성 대상 부분 헤어 이미지를 합성하여 사용자에게 제공될 사용자 합성 이미지를 생성하는 단계를 포함하는 방법이 제공된다.According to an aspect of the present invention, a method of providing a hair style simulation service, comprising: acquiring shape information and color information on at least one of a user face area, a user hair area, and a background area included in a user image, the acquisition With reference to the color information, the color of the partial hair image to be synthesized is determined from the partial hair sample image, and the position where the partial hair image to be synthesized is to be synthesized in the user image is determined by referring to the obtained shape information. A method is provided that includes determining the size of the partial hair image to be synthesized at a location, and generating a user composite image to be provided to the user by synthesizing the user image and the partial hair image to be synthesized.

Description

헤어 스타일 시뮬레이션 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체{METHOD, SYSTEM AND NON-TRANSITORY COMPUTER-READABLE RECORDING MEDIUM FOR PROVIDING HAIR STYLING SIMULATION SERVICE}METHOD, SYSTEM AND NON-TRANSITORY COMPUTER-READABLE RECORDING MEDIUM FOR PROVIDING HAIR STYLING SIMULATION SERVICE}

본 발명은 헤어 스타일 시뮬레이션 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체에 관한 것이다.The present invention relates to a method, system, and non-transitory computer-readable recording medium for providing a hairstyle simulation service.

일반적으로, 커트, 파마 등 헤어 스타일링은 한번 하게 되면, 마음에 들지 않더라도 최소 몇 개월 동안 유지하면서 기다릴 수 밖에 없었다. 최근, 이와 관련하여 미용실에서 헤어 스타일링을 하기 전에 자신이 원하는 헤어 스타일이 자신의 얼굴에 어울리는지 사전에 합성해 볼 수 있는 다양한 기술들이 개발되고 있다.In general, once I do hair styling such as cuts and perms, I have to wait while keeping it for at least a few months, even if I don't like it. Recently, in this regard, various techniques are being developed that allow you to synthesize in advance whether a desired hairstyle suits your face before styling in a beauty salon.

이에 관한, 종래 기술의 일 예로서, 시뮬레이션의 대상이 되는 사용자의 사진 이미지를 입력 받는 사진 입력부, 해당 사용자로부터 헤어 스타일링의 종류 및 모발의 길이를 입력 받는 사용자 정보 입력부, 위의 사진 입력부로부터 입력 받은 사용자의 사진에 위의 사용자 정보 입력부로부터 입력 받은 헤어 스타일링 종류 및 모발의 길이를 적용하여 헤어 스타일 시뮬레이션 결과를 생성하는 헤어스타일 시뮬레이션부, 및 그 헤어 스타일 시뮬레이션부에서 생성된 헤어 스타일 시뮬레이션 결과를 해당 사용자에게 디스플레이하는 디스플레이부를 포함하는 헤어 스타일 시뮬레이션 장치가 소개된 바 있다.In this regard, as an example of the prior art, a photo input unit that receives a photographic image of a user to be simulated, a user information input unit that receives the type of hair styling and the length of hair from the user, and the above photo input unit. A hairstyle simulation unit that generates a hair style simulation result by applying the hair styling type and hair length input from the user information input unit above to the user's photo, and the hairstyle simulation result generated by the hair style simulation unit. A hair style simulation apparatus including a display unit that displays a display unit has been introduced.

하지만, 위와 같은 종래 기술을 비롯하여 지금까지 소개된 기술에 의하면, 기설정된 크기 및 색상의 가상의 헤어 이미지를 사용자 이미지 위에 단순히 겹쳐놓거나 덮어놓는 식으로 합성하였기 때문에, 합성된 이미지의 정확도 및 실제감은 떨어질 수 밖에 없었다. 특히, 자신의 헤어 이미지 일부분에 부분 헤어를 합성시키는 경우에는, 그 합성의 부자연스러움이 더욱 커졌다.However, according to the techniques introduced so far, including the prior art described above, since the virtual hair image of a preset size and color is simply overlaid or overlaid on the user image, the accuracy and realism of the synthesized image will be poor. I had to. In particular, in the case of synthesizing partial hair on a part of a hair image of one's own, the unnaturalness of the compositing becomes even greater.

본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.An object of the present invention is to solve all the problems of the prior art described above.

또한, 본 발명은, 사용자 이미지(구체적으로는, 사용자 이미지의 헤어 영역)에 부분 헤어 이미지를 정확하고 자연스럽게 합성하는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to accurately and naturally synthesize a partial hair image on a user image (specifically, a hair region of the user image).

또한, 본 발명은, 사용자 이미지에 부분 헤어 이미지를 합성함으로써, 새로운 스타일의 헤어 이미지를 생성하는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to generate a new style hair image by synthesizing a partial hair image with a user image.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.A typical configuration of the present invention for achieving the above object is as follows.

본 발명의 일 태양에 따르면, 헤어 스타일 시뮬레이션 서비스를 제공하는 방법으로서, 사용자 이미지에 포함되는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 형태 정보 및 색상 정보를 획득하는 단계, 상기 획득되는 색상 정보를 참조하여, 부분 헤어 샘플 이미지로부터 생성되는 합성 대상 부분 헤어 이미지의 색상을 결정하고, 상기 획득되는 형태 정보를 참조하여, 상기 합성 대상 부분 헤어 이미지가 상기 사용자 이미지에서 합성될 위치 및 상기 위치에서의 상기 합성 대상 부분 헤어 이미지의 크기를 결정하는 단계, 및 상기 사용자 이미지와 상기 합성 대상 부분 헤어 이미지를 합성하여 사용자에게 제공될 사용자 합성 이미지를 생성하는 단계를 포함하는 방법이 제공된다.According to an aspect of the present invention, a method of providing a hair style simulation service, comprising: acquiring shape information and color information on at least one of a user face area, a user hair area, and a background area included in a user image, the acquisition With reference to the color information, the color of the partial hair image to be synthesized is determined from the partial hair sample image, and the position where the partial hair image to be synthesized is to be synthesized in the user image is determined by referring to the obtained shape information. A method is provided that includes determining the size of the partial hair image to be synthesized at a location, and generating a user composite image to be provided to the user by synthesizing the user image and the partial hair image to be synthesized.

본 발명의 다른 태양에 따르면, 헤어 스타일 시뮬레이션 서비스를 제공하는 시스템으로서, 사용자 이미지에 포함되는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 형태 정보 및 색상 정보를 획득하는 정보 획득부, 상기 획득되는 색상 정보를 참조하여, 부분 헤어 샘플 이미지로부터 생성되는 합성 대상 부분 헤어 이미지의 색상을 결정하고, 상기 획득되는 형태 정보를 참조하여, 상기 합성 대상 부분 헤어 이미지가 상기 사용자 이미지에서 합성될 위치 및 상기 위치에서의 상기 합성 대상 부분 헤어 이미지의 크기를 결정하는 합성 대상 결정부, 및 상기 사용자 이미지와 상기 합성 대상 부분 헤어 이미지를 합성하여 사용자에게 제공될 사용자 합성 이미지를 생성하는 이미지 합성부를 포함하는 시스템이 제공된다.According to another aspect of the present invention, as a system for providing a hair style simulation service, an information acquisition unit that acquires shape information and color information on at least one of a user face area, a user hair area, and a background area included in a user image, With reference to the obtained color information, the color of the partial hair image to be synthesized is determined from the partial hair sample image, and the position to which the partial hair image to be synthesized is to be synthesized in the user image by referring to the obtained shape information. And a synthesis target determination unit configured to determine the size of the partial hair image to be synthesized at the location, and an image synthesis unit to generate a user synthesis image to be provided to the user by combining the user image and the partial hair image to be synthesized. The system is provided.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.In addition to this, another method for implementing the present invention, another system, and a non-transitory computer-readable recording medium for recording a computer program for executing the method are further provided.

본 발명에 의하면, 사용자 이미지(구체적으로는, 사용자 이미지의 헤어 영역)에 부분 헤어 이미지를 정확하고 자연스럽게 합성할 수 있게 된다.According to the present invention, it is possible to accurately and naturally synthesize a partial hair image on a user image (specifically, a hair region of the user image).

본 발명에 의하면, 사용자 이미지에 부분 헤어 이미지를 합성함으로써, 새로운 스타일의 헤어 이미지를 생성할 수 있게 된다.According to the present invention, by synthesizing a partial hair image with a user image, it is possible to create a hair image of a new style.

도 1은 본 발명의 일 실시예에 따른 헤어 스타일 시뮬레이션 서비스를 제공하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 서비스 제공 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 헤어 스타일 시뮬레이션 서비스가 제공되는 과정을 예시적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 사용자 얼굴 영역의 형태 정보 및 색상 정보가 사용자 이미지로부터 획득되는 과정을 예시적으로 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 합성 대상 이마 이미지가 사용자 이미지에 합성되는 과정을 예시적으로 나타내는 도면이다.1 is a view showing a schematic configuration of an entire system for providing a hair style simulation service according to an embodiment of the present invention.
2 is a diagram illustrating in detail the internal configuration of a service providing system according to an embodiment of the present invention.
3 is a diagram illustrating a process of providing a hair style simulation service according to an embodiment of the present invention.
4 is a diagram illustrating a process of obtaining shape information and color information of a user's face region from a user image according to an embodiment of the present invention.
5 is a diagram illustrating a process in which a forehead image to be combined is combined with a user image according to an embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.DETAILED DESCRIPTION OF THE INVENTION The detailed description of the present invention to be described later refers to the accompanying drawings, which illustrate specific embodiments in which the present invention may be practiced. These embodiments are described in detail sufficient to enable those skilled in the art to practice the present invention. It is to be understood that the various embodiments of the present invention are different from each other, but need not be mutually exclusive. For example, specific shapes, structures, and characteristics described herein may be changed from one embodiment to another and implemented without departing from the spirit and scope of the present invention. In addition, it should be understood that the positions or arrangements of individual elements in each embodiment may be changed without departing from the spirit and scope of the present invention. Therefore, the detailed description to be described below is not made in a limiting sense, and the scope of the present invention should be taken as encompassing the scope claimed by the claims of the claims and all scopes equivalent thereto. Like reference numerals in the drawings indicate the same or similar elements over several aspects.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, various preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to enable those skilled in the art to easily implement the present invention.

전체 시스템의 구성Composition of the whole system

도 1은 본 발명의 일 실시예에 따른 헤어 스타일 시뮬레이션 서비스를 제공하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.1 is a view showing a schematic configuration of an entire system for providing a hair style simulation service according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은, 통신망(100), 서비스 제공 시스템(200) 및 사용자 디바이스(300)를 포함할 수 있다.As illustrated in FIG. 1, the entire system according to an embodiment of the present invention may include a communication network 100, a service providing system 200, and a user device 300.

먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.First, the communication network 100 according to an embodiment of the present invention may be configured regardless of a communication mode such as wired communication or wireless communication, and may be configured as a local area network (LAN) or a metropolitan area network (MAN). ), and a wide area network (WAN). Preferably, the communication network 100 referred to in this specification may be a known Internet or World Wide Web (WWW). However, the communication network 100 is not necessarily limited thereto, and may include a known wired/wireless data communication network, a known telephone network, or a known wired/wireless television communication network in at least part thereof.

예를 들면, 통신망(100)은 무선 데이터 통신망으로서, 와이파이(WiFi) 통신, 와이파이 다이렉트(WiFi-Direct) 통신, 롱텀 에볼루션(LTE; Long Term Evolution) 통신, 블루투스 통신(예를 들면, 저전력 블루투스(BLE; Bluetooth Low Energy) 통신), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방식을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.For example, the communication network 100 is a wireless data communication network, such as WiFi (WiFi) communication, WiFi Direct (WiFi-Direct) communication, Long Term Evolution (LTE) communication, Bluetooth communication (e.g., low power Bluetooth ( BLE (Bluetooth Low Energy) communication), infrared communication, ultrasonic communication, and the like may be implemented in at least a part of a conventional communication method.

다음으로, 본 발명의 일 실시예에 따른 서비스 제공 시스템(200)은 통신망(100)을 통하여 후술할 사용자 디바이스(300)와의 통신을 수행할 수 있고, 사용자 이미지에 포함되는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 형태 정보 및 색상 정보를 획득하고, 그 획득되는 색상 정보를 참조하여, 부분 헤어 샘플 이미지로부터 생성되는 합성 대상 부분 헤어 이미지의 색상을 결정하고, 위의 획득되는 형태 정보를 참조하여, 해당 합성 대상 부분 헤어 이미지가 위의 사용자 이미지에서 합성될 위치 및 그 위치에서의 해당 합성 대상 부분 헤어 이미지의 크기를 결정하고, 위의 사용자 이미지와 해당 합성 대상 부분 헤어 이미지를 합성하여 사용자에게 제공될 사용자 합성 이미지를 생성하는 기능을 수행할 수 있다.Next, the service providing system 200 according to an embodiment of the present invention may perform communication with the user device 300 to be described later through the communication network 100, and the user face area and the user hair included in the user image are Obtains shape information and color information about at least one of the area and background area, and determines the color of the target partial hair image to be synthesized from the partial hair sample image by referring to the obtained color information, and the obtained shape above With reference to the information, the location where the target part hair image to be combined will be combined in the user image above and the size of the target part hair image to be combined at that location are combined, and the above user image and the corresponding part hair image to be combined are combined. Thus, it is possible to perform a function of generating a user composite image to be provided to the user.

한편, 본 발명의 일 실시예에 따르면, 이러한 사용자 이미지는, 사용자의 실제 이미지뿐만 아니라 사용자의 가상 이미지 또는 본 발명에 따른 서비스 제공 시스템(200)을 통해 합성되어 생성된 사용자의 이미지 등을 포함하는 개념일 수 있다.Meanwhile, according to an embodiment of the present invention, such a user image includes not only an actual image of the user, but also a virtual image of the user or an image of a user synthesized and generated through the service providing system 200 according to the present invention. It can be a concept.

본 발명에 따른 서비스 제공 시스템(200)의 구성과 기능에 관하여는 이하의 상세한 설명을 통하여 자세하게 알아보기로 한다. 한편, 서비스 제공 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 서비스 제공 시스템(200)에 대하여 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 사용자 디바이스(300) 또는 다른 외부 시스템(미도시됨) 내에서 실현되거나 사용자 디바이스(300) 또는 다른 외부 시스템(미도시됨)에 포함될 수도 있음은 당업자에게 자명하다.The configuration and functions of the service providing system 200 according to the present invention will be described in detail through the following detailed description. On the other hand, the service providing system 200 has been described as above, but this description is exemplary, and at least some of the functions or components required for the service providing system 200 may be provided with the user device 300 or other It will be apparent to those skilled in the art that it may be realized within an external system (not shown) or included in the user device 300 or other external system (not shown).

다음으로, 본 발명의 일 실시예에 따른 사용자 디바이스(300)는 통신망(100)을 통해 서비스 제공 시스템(200)에 접속한 후 통신할 수 있도록 하는 기능을 포함하는 디지털 기기로서, 스마트폰, 태블릿 PC 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 휴대 가능한 디지털 기기라면 얼마든지 본 발명에 따른 사용자 디바이스(300)로서 채택될 수 있다.Next, the user device 300 according to an embodiment of the present invention is a digital device including a function to allow communication after accessing the service providing system 200 through the communication network 100, and includes a smart phone, a tablet Any portable digital device equipped with a memory unit such as a PC or the like and equipped with a microprocessor and capable of computing can be adopted as the user device 300 according to the present invention.

한편, 본 발명의 일 실시예에 따르면, 사용자 디바이스(300)는, 본 발명에 따른 헤어 스타일 시뮬레이션 서비스를 지원하는 애플리케이션을 포함할 수 있다. 이와 같은 애플리케이션은 서비스 제공 시스템(200) 또는 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다.Meanwhile, according to an embodiment of the present invention, the user device 300 may include an application supporting a hair style simulation service according to the present invention. Such an application may be downloaded from the service providing system 200 or an external application distribution server (not shown).

서비스 제공 시스템의 구성Configuration of service provision system

이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 서비스 제공 시스템(200)의 내부 구성과 각 구성요소의 기능에 대하여 살펴보기로 한다.Hereinafter, the internal configuration of the service providing system 200 that performs an important function for the implementation of the present invention and functions of each component will be described.

도 2는 본 발명의 일 실시예에 따른 서비스 제공 시스템(200)의 내부 구성을 상세하게 도시하는 도면이다.2 is a diagram showing in detail the internal configuration of a service providing system 200 according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 서비스 제공 시스템(200)은, 정보 획득부(210), 합성 대상 결정부(220), 이미지 합성부(230), 통신부(240) 및 제어부(250)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 정보 획득부(210), 합성 대상 결정부(220), 이미지 합성부(230), 통신부(240) 및 제어부(250)는 그 중 적어도 일부가 외부의 시스템과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 서비스 제공 시스템(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 서비스 제공 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.As shown in FIG. 2, the service providing system 200 according to an embodiment of the present invention includes an information acquisition unit 210, a synthesis target determination unit 220, an image synthesis unit 230, and a communication unit 240. And it may be configured to include a control unit 250. According to an embodiment of the present invention, at least some of the information acquisition unit 210, the synthesis target determination unit 220, the image synthesis unit 230, the communication unit 240, and the control unit 250 It may be a program module that communicates. Such a program module may be included in the service providing system 200 in the form of an operating system, an application program module, or other program module, and may be physically stored in various known storage devices. Further, such a program module may be stored in a remote storage device capable of communicating with the service providing system 200. Meanwhile, such a program module includes routines, subroutines, programs, objects, components, data structures, etc. that perform specific tasks or execute specific abstract data types according to the present invention, but is not limited thereto.

한편, 서비스 제공 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 서비스 제공 시스템(200)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 외부 시스템(미도시됨) 내에서 실현되거나 외부 시스템 내에 포함될 수도 있음은 당업자에게 자명하다.On the other hand, the service providing system 200 has been described as above, but this description is exemplary, and at least some of the components or functions of the service providing system 200 are realized within an external system (not shown) as needed. It is obvious to a person skilled in the art that it may be included in an external system.

먼저, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자 이미지에 포함되는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 형태 정보 및 색상 정보를 획득할 수 있다. 본 발명의 일 실시예에 따른 형태 정보에는, 사용자 얼굴 영역, 사용자 헤어 영역 또는 배경 영역의 윤곽 좌표와 사용자 얼굴 영역, 사용자 헤어 영역 또는 배경 영역이 해당 사용자 이미지 내에서 기울어진 각도(또는 회전 각도) 등에 관한 정보가 포함될 수 있다. 또한, 본 발명의 일 실시예에 따른 색상 정보에는, 색조, 명도, 채도 및 조도 중 적어도 하나에 관한 정보가 포함될 수 있다.First, the information acquisition unit 210 according to an embodiment of the present invention may obtain shape information and color information about at least one of a user face area, a user hair area, and a background area included in a user image. The shape information according to an embodiment of the present invention includes the contour coordinates of the user's face area, the user's hair area, or the background area, and the angle (or rotation angle) of the user's face area, the user's hair area, or the background area in the corresponding user image. Information about such as may be included. In addition, the color information according to an embodiment of the present invention may include information on at least one of hue, brightness, saturation, and illuminance.

예를 들면, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 기설정된 얼굴 검출 알고리즘을 이용하여 사용자 이미지로부터 사용자 얼굴 영역 중 주요 특징 영역(예를 들면, 눈, 코, 입, 눈썹, 턱선, 이마 등)의 윤곽 좌표를 추출하고, 그 추출되는 윤곽 좌표에 기초하여 위의 주요 특징 영역이 해당 사용자 이미지 내에서 기울어진 각도(예를 들면, 사용자 이미지의 수평선 또는 수직선과 비교)를 산출함으로써, 사용자 얼굴 영역에 관한 형태 정보를 획득할 수 있다.For example, the information acquisition unit 210 according to an embodiment of the present invention uses a preset face detection algorithm to determine the main feature regions (eg, eyes, nose, mouth, eyebrows) among the user face regions from the user image. , Chin line, forehead, etc.), and based on the extracted contour coordinates, the angle at which the main feature area is inclined in the user image (for example, compared with horizontal or vertical lines of the user image) By calculating, shape information about the user's face area can be obtained.

또한, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자 이미지로부터 추출되는 사용자 얼굴 영역의 윤곽 좌표에 기초하여 해당 사용자 얼굴 영역에 관한 비트맵 정보를 추출하고, 그 추출되는 비트맵 정보로부터 해당 사용자 얼굴 영역의 색조, 채도, 명도 및 조도 중 적어도 하나에 관한 정보(즉, 사용자 얼굴 영역에 관한 색상 정보)를 획득할 수 있다. 본 발명의 일 실시예에 따른 비트맵 정보는, 2차원 또는 3차원 사각 평면을 소정의 격자(grid)로 구분하고 그 위에 이미지가 표현되는 경우에, 0과 1로 표현된 격자에 관한 정보를 의미하는 개념일 수 있다. 한편, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자 얼굴 영역에 관한 비트맵 정보의 히스토그램(histogram) 역투영(backprojection)을 참조하여 해당 사용자 얼굴 영역의 피부색 분포도에 관한 정보를 획득할 수 있다.In addition, the information acquisition unit 210 according to an embodiment of the present invention extracts bitmap information on the user face area based on the contour coordinates of the user face area extracted from the user image, and extracts the bitmap From the information, information on at least one of hue, saturation, brightness, and illuminance of the user's face region (ie, color information about the user's face region) may be obtained. Bitmap information according to an embodiment of the present invention, when a 2D or 3D rectangular plane is divided into a predetermined grid and an image is displayed thereon, information on the grid represented by 0 and 1 It can be a concept that means. On the other hand, the information acquisition unit 210 according to an embodiment of the present invention refers to the histogram backprojection of the bitmap information on the user's face region, and obtains information on the skin color distribution map of the user's face region. Can be obtained.

또한, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자 이미지로부터 추출되는 사용자 얼굴 영역의 윤곽 좌표로부터 소정 거리 이내의 주변 윤곽 좌표를 특정하고, 그 특정되는 주변 윤곽 좌표에 대한 에지 검출(edge detection)을 통해 사용자 헤어 영역의 윤곽 좌표를 추출함으로써, 사용자 헤어 영역에 관한 형태 정보를 획득할 수 있다. 또한, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자 이미지로부터 추출되는 사용자 헤어 영역의 윤곽 좌표에 기초하여 해당 사용자 이미지 내에서 헤어 영역이 기울어진 각도(예를 들면, 사용자 이미지의 수평선 또는 수직선과 비교)를 산출함으로써, 사용자 헤어 영역에 관한 형태 정보를 획득할 수도 있다. 한편, 본 발명의 일 실시예에 따른 에지는, 이미지의 밝기가 소정 수준 이상 변하는 영역을 의미하는 개념일 수 있다.In addition, the information acquisition unit 210 according to an embodiment of the present invention specifies the peripheral contour coordinates within a predetermined distance from the contour coordinates of the user face area extracted from the user image, and the edge for the specified peripheral contour coordinates. By extracting the contour coordinates of the user hair area through edge detection, shape information on the user hair area may be obtained. In addition, the information acquisition unit 210 according to an embodiment of the present invention, based on the contour coordinate of the user hair region extracted from the user image, the angle at which the hair region is inclined (for example, the user image By calculating the comparison with the horizontal line or the vertical line), shape information about the user's hair area may be obtained. Meanwhile, an edge according to an embodiment of the present invention may be a concept that refers to a region in which the brightness of an image changes by a predetermined level or more.

또한, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 위의 사용자 헤어 영역의 윤곽 좌표에 기초하여 해당 사용자 헤어 영역에 관한 비트맵 정보를 추출하고, 그 추출되는 비트맵 정보로부터 해당 사용자 헤어 영역의 색조, 채도, 명도 및 조도 중 적어도 하나에 관한 정보(즉, 사용자 헤어 영역에 관한 색상 정보)를 획득할 수 있다.In addition, the information acquisition unit 210 according to an embodiment of the present invention extracts bitmap information about the user's hair area based on the contour coordinates of the user's hair area above, and from the extracted bitmap information Information about at least one of hue, saturation, brightness, and illuminance of the user's hair area (ie, color information about the user's hair area) may be obtained.

또한, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 위의 사용자 얼굴 영역 및 사용자 헤어 영역 이외의 영역을 배경 영역으로 특정할 수 있고, 그 특정되는 배경 영역에 관한 비트맵 정보로부터 해당 배경 영역의 색조, 채도, 명도 및 조도 중 적어도 하나에 관한 정보(즉, 배경 영역에 관한 색상 정보)를 획득할 수 있다.In addition, the information acquisition unit 210 according to an embodiment of the present invention may specify an area other than the user face area and the user hair area as a background area, and from bitmap information about the specified background area Information about at least one of hue, saturation, brightness, and illuminance of the background area (ie, color information about the background area) may be obtained.

한편, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역의 명도에 기초하여 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역의 조도를 각각 추출할 수 있다. 또한, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역에 관한 비트맵 정보의 히스토그램을 참조하여 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역의 조도를 각각 추출할 수도 있다.Meanwhile, the information acquisition unit 210 according to an embodiment of the present invention may extract the illuminance of the user face area, the user hair area, and the background area, respectively, based on the brightness of the user face area, the user hair area, and the background area. have. In addition, the information acquisition unit 210 according to an embodiment of the present invention refers to the histogram of the bitmap information on the user face area, the user hair area, and the background area to determine the illuminance of the user face area, the user hair area, and the background area. You can also extract each.

다음으로, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 정보 획득부(210)에 의해 획득되는 색상 정보를 참조하여, 부분 헤어 샘플 이미지로부터 생성되는 합성 대상 부분 헤어 이미지의 색상을 결정할 수 있다. 본 발명의 일 실시예에 따른 합성 대상 부분 헤어 이미지는 위의 획득되는 색상 정보 및 형태 정보를 참조하여 부분 샘플 이미지를 변형, 복제 또는 가공함으로써 생성되는 이미지일 수 있다.Next, the synthesis target determination unit 220 according to an embodiment of the present invention refers to the color information obtained by the information acquisition unit 210, and refers to the color of the target partial hair image to be synthesized from the partial hair sample image. Can be determined. The partial hair image to be synthesized according to an embodiment of the present invention may be an image generated by transforming, duplicating, or processing a partial sample image with reference to the obtained color information and shape information.

예를 들면, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 색상 정보와 부분 헤어 샘플 이미지의 비트맵 정보를 비트 연산함으로써, 합성 대상 부분 헤어 이미지에 적용될 색상을 결정할 수 있다. 본 발명의 일 실시예에 따른 비트 연산에는, 비트 사이의 논리 연산, 산술 연산 등이 포함될 수 있다.For example, the synthesis target determination unit 220 according to an embodiment of the present invention calculates color information on at least one of a user face area, a user hair area, and a background area, and bitmap information of a partial hair sample image. By doing so, it is possible to determine the color to be applied to the partial hair image to be synthesized. Bit operations according to an embodiment of the present invention may include logical operations between bits, arithmetic operations, and the like.

다른 예를 들면, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 합성 대상 부분 헤어 이미지가 사용자 이미지에서 합성될 위치의 색상 정보를 참조하여 해당 합성 대상 부분 헤어 이미지의 색상을 결정할 수 있다. 보다 상세하게는, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는 합성 대상 부분 헤어 이미지가 사용자 이미지에서 합성될 위치가 결정되면, 그 결정되는 위치(또는 그 위치로부터 소정 거리 이내)의 색상 정보에 기초하여 합성 대상 부분 헤어 이미지의 색상을 결정할 수 있다. 또한, 보다 상세하게는, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 합성 대상 부분 헤어 이미지가 사용자 이미지에서 합성될 위치가 결정되면, 해당 위치(또는 그 위치로부터 소정 거리 이내)의 색상 정보를 다른 색상 정보보다 우선하거나 가중하여 부분 헤어 샘플 이미지의 비트맵 이미지와 비트 연산되도록 함으로써, 합성 대상 부분 헤어 이미지의 색상 정보를 결정할 수 있다. 즉, 합성 대상 부분 헤어 이미지의 색상을 결정함에 있어서, 합성 대상 부분 헤어 이미지가 해당 사용자 이미지에서 합성될 위치의 색상 정보를 해당 사용자 영역의 다른 영역의 색상 정보보다 더 중요하게 취급하게 된다.For another example, the synthesis target determination unit 220 according to an embodiment of the present invention determines the color of the corresponding partial hair image to be synthesized by referring to color information of a position where the partial hair image to be synthesized is to be synthesized in the user image. I can. More specifically, when a position to be synthesized in a user image is determined, the synthesis target determination unit 220 according to an embodiment of the present invention determines the position (or within a predetermined distance from the position). The color of the partial hair image to be synthesized may be determined based on the color information of. In addition, in more detail, when the position to which the partial hair image to be synthesized is to be synthesized in the user image is determined, the synthesis target determination unit 220 according to an embodiment of the present invention, the corresponding position (or within a predetermined distance from the position). ), the color information of the partial hair image to be synthesized may be determined by performing bit operation with the bitmap image of the partial hair sample image by prioritizing or weighting the color information of) over other color information. That is, in determining the color of the partial hair image to be synthesized, the color information of the position where the partial hair image to be synthesized is to be synthesized in the corresponding user image is treated more importantly than the color information of other regions of the corresponding user area.

한편, 본 발명의 일 실시예에 따르면, 합성 대상 결정부(220)는, 사용자 이미지에 포함되는 사용자 얼굴 영역의 조도에 기초하여 합성 대상 부분 헤어 이미지의 명도를 결정할 수 있다.Meanwhile, according to an embodiment of the present invention, the synthesis target determination unit 220 may determine the brightness of the partial hair image to be synthesized based on the illuminance of the user face area included in the user image.

예를 들면, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 사용자 얼굴 영역의 조도가 높을수록 합성 대상 부분 헤어 이미지에 적용될 명도가 소정 수준 이상이 되도록 결정하고, 사용자 얼굴 영역의 조도가 낮을수록 합성 대상 부분 헤어 이미지에 적용될 명도가 소정 수준 이하가 되도록 결정할 수 있다.For example, the synthesis target determination unit 220 according to an embodiment of the present invention determines that the brightness to be applied to the partial hair image to be synthesized becomes higher than a predetermined level as the illuminance of the user face region is higher, and As the illuminance decreases, the brightness applied to the partial hair image to be synthesized may be determined to be less than or equal to a predetermined level.

또한, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 정보 획득부(210)에 의해 획득되는 형태 정보를 참조하여, 합성 대상 부분 헤어 이미지가 사용자 이미지에서 합성될 위치 및 그 위치에서의 해당 합성 대상 부분 헤어 이미지의 크기를 결정할 수 있다.In addition, the synthesis target determination unit 220 according to an embodiment of the present invention refers to the shape information obtained by the information acquisition unit 210, and the position where the partial hair image to be combined is to be combined in the user image and the position thereof. It is possible to determine the size of the partial hair image to be synthesized in

예를 들면, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 사용자 얼굴 영역 및 사용자 헤어 영역 중 적어도 하나의 윤곽 좌표를 참조하여 합성 대상 부분 헤어 이미지가 사용자 이미지에서 합성될 위치의 좌표를 결정하고, 그 결정되는 좌표로부터 소정 거리 이내의 주변 좌표에 대한 에지 검출 결과값에 기초하여 합성 대상 부분 헤어 이미지의 크기를 결정할 수 있다.For example, the synthesis target determination unit 220 according to an embodiment of the present invention refers to the contour coordinates of at least one of the user face region and the user hair region, and The coordinates may be determined, and the size of the partial hair image to be synthesized may be determined based on the edge detection result value of the peripheral coordinates within a predetermined distance from the determined coordinates.

또한, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 부분 헤어 샘플 이미지의 유형을 더 참조하여, 합성 대상 부분 헤어 이미지의 색상, 위치 및 크기 중 적어도 하나를 결정할 수 있다. 본 발명의 일 실시예에 따른 부분 헤어 샘플 이미지의 유형은, 부분 헤어의 길이(예를 들면, 단발, 장발 등), 부분 헤어의 머리카락 형태(예를 들면, 펌, 스트레이트 등), 부분 헤어의 사용 형태(예를 들면, 앞머리, 끝머리 등) 등을 포함하는 것일 수 있다.In addition, the synthesis target determination unit 220 according to an embodiment of the present invention may determine at least one of a color, a position, and a size of the partial hair image to be synthesized by further referring to the type of the partial hair sample image. The type of the partial hair sample image according to an embodiment of the present invention is the length of the partial hair (for example, short hair, long hair, etc.), the hair shape of the partial hair (for example, perm, straight, etc.), It may include a usage type (eg, bangs, tips, etc.).

예를 들면, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 부분 헤어 샘플 이미지의 유형을 참조하여 합성 대상 부분 헤어 이미지가 사용자 이미지에서 합성될 위치를 추정하고, 그 추정되는 위치 주변에 존재하는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나의 윤곽 좌표에 기초하여 보정함으로써, 합성 대상 부분 헤어 이미지의 위치 및 크기를 결정할 수 있다. 한편, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는 머신 러닝(machine learning) 또는 딥 러닝(deep learning)을 통해 획득되는 헤어 샘플 이미지의 유형에 따른 합성 위치 패턴을 참조할 수도 있다.For example, the synthesis target determination unit 220 according to an embodiment of the present invention estimates the position at which the partial hair image to be synthesized is to be synthesized in the user image by referring to the type of the partial hair sample image, and the estimated position By correcting based on the contour coordinates of at least one of the user's face region, the user's hair region, and the background region existing around, the position and size of the partial hair image to be synthesized may be determined. Meanwhile, the synthesis target determiner 220 according to an embodiment of the present invention may refer to a synthesis position pattern according to the type of the hair sample image acquired through machine learning or deep learning. .

다른 예를 들면, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 부분 헤어 샘플 이미지의 유형을 참조하여 합성 대상 부분 헤어 이미지에 적용될 명도를 결정할 수 있다. 보다 상세하게는, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 부분 헤어 샘플 이미지의 유형이 펌 또는 웨이브 유형이면, 합성 대상 부분 헤어 이미지에 적용될 명도가 소정 수준 이상이 되도록 결정하고, 부분 헤어 샘플 이미지의 유형이 단발 또는 스트레이트이면, 합성 대상 부분 헤어 이미지에 적용될 명도가 소정 수준 이하가 되도록 결정할 수 있다.For another example, the synthesis target determiner 220 according to an embodiment of the present invention may determine the brightness to be applied to the partial hair image to be synthesized by referring to the type of the partial hair sample image. More specifically, when the type of the partial hair sample image is a perm or wave type, the synthesis target determination unit 220 according to an embodiment of the present invention determines that the brightness to be applied to the partial hair image to be synthesized is at least a predetermined level. And, if the type of the partial hair sample image is single or straight, it may be determined that the brightness to be applied to the partial hair image to be synthesized is less than or equal to a predetermined level.

다음으로, 본 발명의 일 실시예에 따른 이미지 합성부(230)는, 사용자 이미지와 합성 대상 부분 헤어 이미지를 합성하여 사용자에게 제공될 사용자 합성 이미지를 생성할 수 있다.Next, the image synthesizing unit 230 according to an embodiment of the present invention may generate a user composite image to be provided to the user by synthesizing the user image and the partial hair image to be combined.

예를 들면, 본 발명의 일 실시예에 따른 이미지 합성부(230)는, 합성 대상 결정부(220)에 의해 결정되는 합성 대상 부분 헤어 이미지의 색상, 위치 및 크기로 해당 사용자 이미지에 위치시킨 후에 합성 대상 부분 헤어 이미지 및 해당 사용자 이미지를 함께 렌더링함으로써 사용자 합성 이미지를 생성할 수 있다.For example, the image synthesis unit 230 according to an embodiment of the present invention positions the user image in the color, position, and size of the partial hair image to be synthesized determined by the synthesis target determination unit 220 A user composite image may be created by rendering the partial hair image to be synthesized and the corresponding user image together.

한편, 본 발명의 일 실시예에 따른 이미지 합성부(230)는, 합성 대상 결정부(220)에 의해 결정되는 합성 대상 부분 헤어 이미지의 색상, 위치 및 크기 중 적어도 하나가 사용자의 조작에 의해 더 수정되도록 할 수 있다. 본 발명에 일 실시예에 따르면, 이미지 합성부(230)는, 사용자에 의해 합성 대상 부분 헤어 이미지의 색상, 위치 및 크기 중 적어도 하나가 수정되는 것을 지원하기 위한 사용자 인터페이스를 해당 사용자에게 제공할 수 있다.On the other hand, the image synthesis unit 230 according to an embodiment of the present invention, at least one of the color, position, and size of the partial hair image to be synthesized determined by the synthesis target determination unit 220 is further determined by the user's manipulation. Can be modified. According to an embodiment of the present invention, the image synthesis unit 230 may provide a user interface for supporting the user to modify at least one of the color, position, and size of the partial hair image to be synthesized to the corresponding user. have.

한편, 본 발명의 일 실시예에 따른 이미지 합성부(230)는, 위의 사용자 합성 이미지에 관한 파일 또는 링크(link)가 사용자 디바이스(300) 또는 외부 디바이스(미도시됨)에게 저장 또는 전송되도록 할 수 있다. 본 발명의 일 실시예에 따르면, 이러한 파일 유형에는 이미지 파일(jpg, gif, bmp, tif 등), 동영상 파일(avi, mp4, wmv 등) 등이 포함될 수 있지만, 파일 유형은 반드시 위에서 열거된 것에 한정되지 않고 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다.Meanwhile, the image synthesizing unit 230 according to an embodiment of the present invention allows the file or link related to the above user composite image to be stored or transmitted to the user device 300 or an external device (not shown). can do. According to an embodiment of the present invention, these file types may include image files (jpg, gif, bmp, tif, etc.), video files (avi, mp4, wmv, etc.), but the file types must be those listed above. It is not limited and may be variously changed within a range capable of achieving the object of the present invention.

다음으로, 본 발명의 일 실시예에 따른 통신부(240)는 정보 획득부(210), 합성 대상 결정부(220) 및 이미지 합성부(230)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.Next, the communication unit 240 according to an embodiment of the present invention performs a function to enable data transmission and reception from/to the information acquisition unit 210, the synthesis target determination unit 220, and the image synthesis unit 230. can do.

마지막으로, 본 발명의 일 실시예에 따른 제어부(250)는 정보 획득부(210), 합성 대상 결정부(220), 이미지 합성부(230) 및 통신부(240) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(250)는 서비스 제공 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 서비스 제공 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 정보 획득부(210), 합성 대상 결정부(220), 이미지 합성부(230) 및 통신부(240)에서 각각 고유 기능을 수행하도록 제어할 수 있다.Finally, the control unit 250 according to an embodiment of the present invention has a function of controlling the flow of data between the information acquisition unit 210, the synthesis target determination unit 220, the image synthesis unit 230, and the communication unit 240. Can be done. That is, the control unit 250 according to the present invention controls the data flow from/to the outside of the service providing system 200 or the data flow between each component of the service providing system 200, so that the information acquisition unit 210, The synthesis target determination unit 220, the image synthesis unit 230, and the communication unit 240 may be controlled to perform their own functions, respectively.

도 3은 본 발명의 일 실시예에 따른 헤어 스타일 시뮬레이션 서비스가 제공되는 과정을 예시적으로 나타내는 도면이다.3 is a diagram illustrating a process of providing a hair style simulation service according to an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따른 사용자 얼굴 영역의 형태 정보 및 색상 정보가 사용자 이미지로부터 획득되는 과정을 예시적으로 나타내는 도면이다.4 is a diagram illustrating a process of obtaining shape information and color information of a user's face region from a user image according to an embodiment of the present invention.

도 5는 본 발명의 일 실시예에 따른 합성 대상 이마 이미지가 사용자 이미지에 합성되는 과정을 예시적으로 나타내는 도면이다.5 is a diagram illustrating a process in which a forehead image to be combined is combined with a user image according to an embodiment of the present invention.

도 3 내지 도 5를 참조하면, 본 발명의 일 실시예에 따른 사용자가 헤어 스타일 시뮬레이션을 위해 자신의 이미지를 사용자 디바이스(300)를 통해 서비스 제공 시스템(200)에게 제공하는 상황을 가정해볼 수 있다.Referring to FIGS. 3 to 5, a situation in which a user provides his or her image to the service providing system 200 through the user device 300 for hair style simulation according to an embodiment of the present invention may be assumed. .

먼저, 본 발명의 일 실시예에 따르면, 위의 제공되는 사용자 이미지(310)에 포함되는 사용자 얼굴 영역(311), 사용자 헤어 영역(312) 및 배경 영역(313) 중 적어도 하나에 관한 형태 정보 및 색상 정보가 획득될 수 있다. 예를 들면, 사용자 이미지(310)로부터 사용자 얼굴 영역 중 주요 특징 영역의 윤곽 좌표(410)가 추출될 수 있고, 그 추출되는 윤곽 좌표의 내부 영역에 대한 비트맵 정보의 히스토그램 역투영(420)을 참조하여 사용자 얼굴 영역의 피부색 분포도에 관한 정보가 획득될 수도 있다.First, according to an embodiment of the present invention, shape information on at least one of the user face area 311, the user hair area 312, and the background area 313 included in the user image 310 provided above, and Color information can be obtained. For example, the contour coordinates 410 of the main feature area among the user face areas may be extracted from the user image 310, and the histogram reverse projection 420 of the bitmap information for the inner area of the extracted contour coordinates is performed. With reference, information on a skin color distribution map of the user's face area may be obtained.

그 다음에, 본 발명의 일 실시예에 따르면, 위의 획득되는 색상 정보를 참조하여 부분 헤어 샘플 이미지(320)로부터 생성되는 합성 대상 부분 헤어 이미지의 색상(330)이 결정될 수 있다.Then, according to an embodiment of the present invention, the color 330 of the partial hair image to be synthesized generated from the partial hair sample image 320 may be determined with reference to the obtained color information.

또한, 본 발명의 일 실시예에 따르면, 위의 획득되는 색상 정보를 참조하여 이마 샘플 이미지(520)로부터 생성되는 합성 대상 이마 이미지의 색상 정보(530)가 결정될 수 있다.In addition, according to an embodiment of the present invention, color information 530 of a forehead image to be synthesized may be determined from the forehead sample image 520 with reference to the obtained color information.

그 다음에, 본 발명의 일 실시예에 따르면, 위의 획득되는 형태 정보를 참조하여 합성 대상 부분 헤어 이미지가 사용자 이미지(310)에서 합성될 위치 및 그 위치에서의 합성 대상 부분 헤어 이미지의 크기가 결정(340)될 수 있다.Then, according to an embodiment of the present invention, the position where the partial hair image to be synthesized is to be synthesized in the user image 310 and the size of the partial hair image to be synthesized at that position are determined by referring to the obtained shape information. Can be determined (340).

또한, 본 발명의 일 실시예에 따르면, 위의 획득되는 형태 정보를 참조하여 합성 대상 이마 이미지가 사용자 이미지(550)에서 합성될 위치 및 그 위치에서의 합성 대상 이마 이미지의 크기가 결정(540)될 수 있다.In addition, according to an embodiment of the present invention, a position at which the forehead image to be synthesized is to be synthesized in the user image 550 and the size of the forehead image to be synthesized at that position are determined with reference to the obtained shape information (540). Can be.

그 다음에, 본 발명의 일 실시예에 따르면, 위의 결정되는 합성 대상 부분 헤어 이미지 또는 합성 대상 이마 이미지의 색상, 위치 및 크기 중 적어도 하나가 해당 사용자의 조작에 의해 수정될 수 있다.Then, according to an embodiment of the present invention, at least one of the color, position, and size of the determined partial hair image to be synthesized or the forehead image to be synthesized may be modified by manipulation of a corresponding user.

그 다음에, 본 발명의 일 실시예에 따르면, 위의 사용자 이미지(310)와 위의 합성 대상 부분 헤어 이미지 또는 위의 합성 대상 이마 이미지를 합성하여 해당 사용자에게 제공될 사용자 합성 이미지가 생성(350, 550)될 수 있다.Then, according to an embodiment of the present invention, a user composite image to be provided to a corresponding user is generated by combining the upper user image 310 with the partial hair image to be composited above or the forehead image to be composited above (350). , 550).

그 다음에, 본 발명의 일 실시예에 따르면, 위의 사용자 합성 이미지가 이미지 파일, 동영상 파일 또는 링크의 형태로 소셜 네트워크(SNS; Social Network Service) 등을 통해 다른 사용자에게 전송될 수 있다.Then, according to an embodiment of the present invention, the above user composite image may be transmitted to other users through a social network (SNS) or the like in the form of an image file, a video file, or a link.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.The embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded in the computer-readable recording medium may be specially designed and configured for the present invention or may be known and usable to those skilled in the computer software field. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magnetic-optical media such as floptical disks. medium), and a hardware device specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of the program instructions include not only machine language codes such as those produced by a compiler but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device can be changed to one or more software modules to perform the processing according to the present invention, and vice versa.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.In the above, the present invention has been described by specific matters such as specific elements and limited embodiments and drawings, but this is provided only to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. Anyone with ordinary knowledge in the technical field to which the invention belongs can make various modifications and changes from these descriptions.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention is limited to the above-described embodiments and should not be defined, and all ranges equivalent to or equivalently changed from the claims to be described later as well as the claims to be described later are the scope of the spirit of the present invention. It will be said to belong to.

100: 통신망
200: 서비스 제공 시스템
210: 정보 획득부
220: 합성 대상 결정부
230: 이미지 합성부
240: 통신부
250: 제어부
300: 사용자 디바이스100: communication network
200: service provision system
210: information acquisition unit
220: synthesis target determination unit
230: image composition unit
240: communication department
250: control unit
300: user device

Claims (12)

헤어 스타일 시뮬레이션 서비스를 제공하는 방법으로서,
사용자 이미지에 포함되는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 형태 정보 및 색상 정보를 획득하는 단계,
상기 획득되는 색상 정보를 참조하여, 부분 헤어 샘플 이미지로부터 생성되는 합성 대상 부분 헤어 이미지의 색상을 결정하고, 상기 획득되는 형태 정보를 참조하여, 상기 합성 대상 부분 헤어 이미지가 상기 사용자 이미지에서 합성될 위치를 결정하고, 상기 위치에서의 상기 합성 대상 부분 헤어 이미지의 크기 및 각도를 결정하는 단계, 및
상기 사용자 이미지와 상기 합성 대상 부분 헤어 이미지를 합성하여 사용자에게 제공될 사용자 합성 이미지를 생성하는 단계를 포함하고,
상기 형태 정보는 상기 사용자 얼굴 영역의 윤곽 좌표, 상기 사용자 헤어 영역의 윤곽 좌표 및 상기 사용자 배경 영역의 윤곽 좌표 중 적어도 하나와 상기 사용자 얼굴 영역이 상기 사용자 이미지 내에서 기울어진 각도, 상기 사용자 헤어 영역이 상기 사용자 이미지 내에서 기울어진 각도 및 상기 사용자 배경 영역이 상기 사용자 이미지 내에서 기울어진 각도 중 적어도 하나를 포함하고,
상기 획득 단계에서, 기설정된 얼굴 검출 알고리즘을 이용하여 상기 사용자 이미지로부터 상기 사용자 얼굴 영역 중 주요 특징 영역의 윤곽 좌표를 추출하고, 상기 추출되는 윤곽 좌표에 기초하여 상기 주요 특징 영역이 상기 사용자 이미지 내에서 기울어진 각도를 산출함으로써 상기 사용자 얼굴 영역에 관한 형태 정보를 획득하고,
상기 획득 단계에서, 상기 사용자 이미지로부터 추출되는 상기 사용자 얼굴 영역의 윤곽 좌표로부터 소정 거리 이내의 주변 윤곽 좌표를 특정하고, 상기 특정되는 주변 윤곽 좌표에 대한 에지 검출(edge detection)을 통해 상기 사용자 헤어 영역의 윤곽 좌표를 추출하고, 상기 추출되는 사용자 헤어 영역의 윤곽 좌표에 기초하여 상기 사용자 이미지 내에서 상기 헤어 영역이 기울어진 각도를 산출함으로써 상기 사용자 헤어 영역에 관한 형태 정보를 획득하고,
상기 결정 단계에서, 상기 부분 헤어 샘플 이미지의 유형을 더 참조하여, 상기 합성 대상 부분 헤어 이미지의 색상, 위치 및 크기 중 적어도 하나가 결정되고,
상기 합성 대상 부분 헤어 이미지는 상기 사용자 헤어 영역의 일부만 포함하여 합성되고,
상기 부분 헤어 샘플 이미지의 유형은, 상기 부분 헤어 샘플 이미지의 길이, 형태 및 사용 형태를 포함하고,
상기 결정되는 위치는, 상기 부분 헤어 샘플 이미지의 유형을 참조하여 상기 합성 대상 부분 헤어 이미지가 상기 사용자 이미지에서 합성될 위치를 추정하고, 상기 추정되는 위치 주변에 존재하는 상기 사용자 얼굴 영역 및 상기 사용자 헤어 영역 중 적어도 하나의 윤곽 좌표를 참조하여 결정되고,
상기 결정되는 크기는 상기 결정되는 위치의 좌표로부터 소정 거리 이내의 주변 좌표에 대한 에지 검출 결과값에 기초하여 결정되고,
상기 결정되는 각도는 상기 산출되는 상기 주요 특징 영역이 상기 사용자 이미지 내에서 기울어진 각도 및 상기 산출되는 상기 헤어 영역이 기울어진 각도를 참조하여 결정되는
방법.As a method of providing a hair style simulation service,
Obtaining shape information and color information on at least one of a user face area, a user hair area, and a background area included in the user image,
With reference to the obtained color information, the color of the partial hair image to be synthesized is determined from the partial hair sample image, and the position to which the partial hair image to be synthesized is to be synthesized in the user image by referring to the obtained shape information. And determining the size and angle of the partial hair image to be synthesized at the location, and
Comprising the step of synthesizing the user image and the partial hair image to be synthesized to generate a user composite image to be provided to the user,
The shape information includes at least one of the contour coordinates of the user's face area, the contour coordinates of the user hair area, and the contour coordinates of the user background area, the angle at which the user's face area is inclined within the user image, and the user hair area Including at least one of an inclined angle in the user image and an angle in which the user background area is inclined in the user image,
In the obtaining step, contour coordinates of the main feature area among the user face areas are extracted from the user image using a preset face detection algorithm, and the main feature area is within the user image based on the extracted contour coordinates. Obtaining shape information on the user's face area by calculating an inclined angle,
In the obtaining step, a peripheral contour coordinate within a predetermined distance from the contour coordinate of the user's face region extracted from the user image is specified, and the user hair region through edge detection of the specified peripheral contour coordinate Extracting the contour coordinates of and calculating the angle at which the hair region is inclined in the user image based on the contour coordinates of the extracted user hair region to obtain shape information on the user hair region,
In the determining step, by further referring to the type of the partial hair sample image, at least one of the color, position, and size of the partial hair image to be synthesized is determined,
The partial hair image to be synthesized is synthesized including only a part of the user's hair region,
The type of the partial hair sample image includes a length, a shape and a usage form of the partial hair sample image,
The determined position is based on the type of the partial hair sample image to estimate a position at which the partial hair image to be synthesized is to be synthesized in the user image, and the user face region and the user hair existing around the estimated position. It is determined by referring to the contour coordinate of at least one of the regions
The determined size is determined based on an edge detection result value for a peripheral coordinate within a predetermined distance from the coordinate of the determined location,
The determined angle is determined by referring to an angle in which the calculated main feature area is inclined in the user image and the calculated angle in which the hair area is inclined.
Way. 제1항에 있어서,
상기 색상 정보에는, 색조, 채도, 명도 및 조도 중 적어도 하나가 포함되는
방법.The method of claim 1,
The color information includes at least one of hue, saturation, brightness, and illuminance.
Way. 제1항에 있어서,
상기 획득 단계에서, 상기 색상 정보는, 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 비트맵 정보로부터 추출되는
방법.The method of claim 1,
In the obtaining step, the color information is extracted from bitmap information on at least one of a user face area, a user hair area, and a background area.
Way. 제1항에 있어서,
상기 결정 단계에서, 상기 획득되는 색상 정보 및 상기 부분 헤어 샘플 이미지의 비트맵 정보 사이의 비트 연산에 기초하여 상기 합성 대상 부분 헤어 이미지의 색상을 결정하는
방법.The method of claim 1,
In the determining step, determining a color of the partial hair image to be synthesized based on a bit operation between the obtained color information and the bitmap information of the partial hair sample image
Way. 삭제delete 제1항에 있어서,
상기 결정 단계에서, 상기 합성 대상 부분 헤어 이미지가 상기 사용자 이미지에서 합성될 위치의 색상 정보를 참조하여 상기 합성 대상 부분 헤어 이미지의 색상을 결정하는
방법.The method of claim 1,
In the determining step, determining a color of the partial hair image to be synthesized by referring to color information of a position where the partial hair image to be synthesized is to be synthesized in the user image
Way. 제2항에 있어서,
상기 결정 단계에서, 상기 사용자 얼굴 영역의 조도에 기초하여 상기 합성 대상 부분 헤어 이미지의 명도가 결정되는
방법.The method of claim 2,
In the determining step, the brightness of the partial hair image to be synthesized is determined based on the illuminance of the user face area.
Way. 제1항에 있어서,
상기 생성 단계에서, 상기 결정되는 합성 대상 부분 헤어 이미지의 색상, 위치 및 크기 중 적어도 하나가 상기 사용자의 조작에 의해 수정되는
방법.The method of claim 1,
In the generating step, at least one of the determined color, position, and size of the partial hair image to be combined is modified by the user's manipulation.
Way. 제1항에 있어서,
상기 생성 단계에서, 이마 샘플 이미지로부터 생성되는 합성 대상 이마 이미지가 상기 사용자 이미지에 더 합성되는
방법.The method of claim 1,
In the generating step, the forehead image to be synthesized, which is generated from the forehead sample image, is further synthesized with the user image.
Way. 제1항에 있어서,
상기 사용자 합성 이미지에 관한 파일 또는 링크를 사용자 디바이스 또는 외부 디바이스에게 전송하는 단계를 더 포함하는
방법.The method of claim 1,
Further comprising the step of transmitting the file or link related to the user composite image to a user device or an external device
Way. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.A non-transitory computer-readable recording medium for recording a computer program for executing the method according to claim 1. 헤어 스타일 시뮬레이션 서비스를 제공하는 시스템으로서,
사용자 이미지에 포함되는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 형태 정보 및 색상 정보를 획득하는 정보 획득부,
상기 획득되는 색상 정보를 참조하여, 부분 헤어 샘플 이미지로부터 생성되는 합성 대상 부분 헤어 이미지의 색상을 결정하고, 상기 획득되는 형태 정보를 참조하여, 상기 합성 대상 부분 헤어 이미지가 상기 사용자 이미지에서 합성될 위치를 결정하고, 상기 위치에서의 상기 합성 대상 부분 헤어 이미지의 크기 및 각도를 결정하는 합성 대상 결정부, 및
상기 사용자 이미지와 상기 합성 대상 부분 헤어 이미지를 합성하여 사용자에게 제공될 사용자 합성 이미지를 생성하는 이미지 합성부를 포함하고,
상기 형태 정보는 상기 사용자 얼굴 영역의 윤곽 좌표, 상기 사용자 헤어 영역의 윤곽 좌표 및 상기 사용자 배경 영역의 윤곽 좌표 중 적어도 하나와 상기 사용자 얼굴 영역이 상기 사용자 이미지 내에서 기울어진 각도, 상기 사용자 헤어 영역이 상기 사용자 이미지 내에서 기울어진 각도 및 상기 사용자 배경 영역이 상기 사용자 이미지 내에서 기울어진 각도 중 적어도 하나를 포함하고,
상기 정보 획득부에서, 기설정된 얼굴 검출 알고리즘을 이용하여 상기 사용자 이미지로부터 상기 사용자 얼굴 영역 중 주요 특징 영역의 윤곽 좌표를 추출하고, 상기 추출되는 윤곽 좌표에 기초하여 상기 주요 특징 영역이 상기 사용자 이미지 내에서 기울어진 각도를 산출함으로써 상기 사용자 얼굴 영역에 관한 형태 정보를 획득하고,
상기 정보 획득부에서, 상기 사용자 이미지로부터 추출되는 상기 사용자 얼굴 영역의 윤곽 좌표로부터 소정 거리 이내의 주변 윤곽 좌표를 특정하고, 상기 특정되는 주변 윤곽 좌표에 대한 에지 검출(edge detection)을 통해 상기 사용자 헤어 영역의 윤곽 좌표를 추출하고, 상기 추출되는 사용자 헤어 영역의 윤곽 좌표에 기초하여 상기 사용자 이미지 내에서 상기 헤어 영역이 기울어진 각도를 산출함으로써 상기 사용자 헤어 영역에 관한 형태 정보를 획득하고,
상기 합성 대상 결정부에서, 상기 부분 헤어 샘플 이미지의 유형을 더 참조하여, 상기 합성 대상 부분 헤어 이미지의 색상, 위치 및 크기 중 적어도 하나를 결정하고,
상기 합성 대상 부분 헤어 이미지는 상기 사용자 헤어 영역의 일부만 포함하여 합성되고,
상기 부분 헤어 샘플 이미지의 유형은, 상기 부분 헤어 샘플 이미지의 길이, 형태 및 사용 형태를 포함하고,
상기 결정되는 위치는, 상기 부분 헤어 샘플 이미지의 유형을 참조하여 상기 합성 대상 부분 헤어 이미지가 상기 사용자 이미지에서 합성될 위치를 추정하고, 상기 추정되는 위치 주변에 존재하는 상기 사용자 얼굴 영역 및 상기 사용자 헤어 영역 중 적어도 하나의 윤곽 좌표를 참조하여 결정되고,
상기 결정되는 크기는 상기 결정되는 위치의 좌표로부터 소정 거리 이내의 주변 좌표에 대한 에지 검출 결과값에 기초하여 결정되고,
상기 결정되는 각도는 상기 산출되는 상기 주요 특징 영역이 상기 사용자 이미지 내에서 기울어진 각도 및 상기 산출되는 상기 헤어 영역이 기울어진 각도를 참조하여 결정되는
시스템.As a system that provides hair style simulation service,
An information acquisition unit that acquires shape information and color information on at least one of a user face area, a user hair area, and a background area included in the user image,
With reference to the obtained color information, the color of the partial hair image to be synthesized is determined from the partial hair sample image, and the position to which the partial hair image to be synthesized is to be synthesized in the user image by referring to the obtained shape information. And a synthesis target determination unit configured to determine the size and angle of the partial hair image to be synthesized at the position, and
An image synthesizing unit for synthesizing the user image and the partial hair image to be combined to generate a user composite image to be provided to the user,
The shape information includes at least one of the contour coordinates of the user's face area, the contour coordinates of the user hair area, and the contour coordinates of the user background area, the angle at which the user's face area is inclined within the user image, and the user hair area Including at least one of an inclined angle in the user image and an angle in which the user background area is inclined in the user image,
The information acquisition unit extracts contour coordinates of the main feature area of the user face area from the user image using a preset face detection algorithm, and the main feature area is in the user image based on the extracted contour coordinates. Obtaining shape information on the user face area by calculating the inclined angle at,
In the information acquisition unit, a peripheral contour coordinate within a predetermined distance from the contour coordinate of the user's face region extracted from the user image is specified, and the user's hair through edge detection of the specified peripheral contour coordinate. Extracting the contour coordinates of the region, and calculating the angle at which the hair region is inclined in the user image based on the contour coordinates of the extracted user hair region to obtain shape information on the user hair region,
In the synthesis target determination unit, by further referring to the type of the partial hair sample image, at least one of a color, a position, and a size of the synthesis target partial hair image is determined,
The partial hair image to be synthesized is synthesized including only a part of the user's hair region,
The type of the partial hair sample image includes a length, a shape and a usage form of the partial hair sample image,
The determined position is based on the type of the partial hair sample image to estimate a position at which the partial hair image to be synthesized is to be synthesized in the user image, and the user face region and the user hair existing around the estimated position. It is determined by referring to the contour coordinates of at least one of the regions,
The determined size is determined based on an edge detection result value for a peripheral coordinate within a predetermined distance from the coordinate of the determined location,
The determined angle is determined by referring to an angle in which the calculated main feature area is inclined in the user image and the calculated angle in which the hair area is inclined.
system.
KR1020170136037A 2017-10-19 2017-10-19 Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service KR102193638B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170136037A KR102193638B1 (en) 2017-10-19 2017-10-19 Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170136037A KR102193638B1 (en) 2017-10-19 2017-10-19 Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service

Publications (2)

Publication Number Publication Date
KR20190043925A KR20190043925A (en) 2019-04-29
KR102193638B1 true KR102193638B1 (en) 2020-12-23

Family

ID=66282480

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170136037A KR102193638B1 (en) 2017-10-19 2017-10-19 Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service

Country Status (1)

Country Link
KR (1) KR102193638B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102471099B1 (en) 2022-04-27 2022-11-25 주식회사 넵스 Storage Furniture
KR20230115688A (en) 2022-01-27 2023-08-03 주식회사 매치 Method and apparatus for providing wig information and record media recorded program for realizing the same

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200121182A (en) 2019-04-15 2020-10-23 삼성전자주식회사 Display apparatus consisting a wall display and control method thereof
CN111127591B (en) * 2019-12-24 2023-08-08 腾讯科技（深圳）有限公司 Image hair dyeing processing method, device, terminal and storage medium
KR102284305B1 (en) * 2020-01-20 2021-07-30 김규민 Hair style composition system and method the same
CN111899159B (en) * 2020-07-31 2023-12-22 北京百度网讯科技有限公司 Method, device, apparatus and storage medium for changing hairstyle
KR102512598B1 (en) * 2021-09-13 2023-03-23 주식회사 미러로이드 Learning data generating apparatus and method for learning artificial neural network for virtual hair styling experience, and hair styling virtual experience apparatus and method using the same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005321986A (en) * 2004-05-07 2005-11-17 Pioneer Electronic Corp Hairstyle proposal system, hairstyle proposal method and computer program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100777787B1 (en) * 2004-03-18 2007-11-22 주식회사 뷰티비지 System and method for electronic hair cordination
KR100791034B1 (en) * 2004-09-02 2008-01-03 (주)제니텀 엔터테인먼트 컴퓨팅 Method of Hair-Style Shaping based-on Face Recognition and apparatus thereof
US7860280B2 (en) * 2006-06-09 2010-12-28 Samsung Electronics Co., Ltd. Facial feature detection method and device
KR20120037712A (en) * 2010-10-12 2012-04-20 에스케이플래닛 주식회사 Imaginary beauty experience service system and method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005321986A (en) * 2004-05-07 2005-11-17 Pioneer Electronic Corp Hairstyle proposal system, hairstyle proposal method and computer program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230115688A (en) 2022-01-27 2023-08-03 주식회사 매치 Method and apparatus for providing wig information and record media recorded program for realizing the same
KR102471099B1 (en) 2022-04-27 2022-11-25 주식회사 넵스 Storage Furniture

Also Published As

Publication number Publication date
KR20190043925A (en) 2019-04-29

Similar Documents

Publication Publication Date Title
KR102193638B1 (en) Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service
US11625878B2 (en) Method, apparatus, and system generating 3D avatar from 2D image
US11861936B2 (en) Face reenactment
US20200020173A1 (en) Methods and systems for constructing an animated 3d facial model from a 2d facial image
US10599914B2 (en) Method and apparatus for human face image processing
KR101896137B1 (en) Generation of avatar reflecting player appearance
CN108346171B (en) Image processing method, device, equipment and computer storage medium
CN107452049B (en) Three-dimensional head modeling method and device
US11477366B2 (en) Selfie setup and stock videos creation
WO2015017687A2 (en) Systems and methods for producing predictive images
CN114841853A (en) Image processing method, device, equipment and storage medium
KR102459851B1 (en) Device and method to adjust brightness of image
KR102089473B1 (en) Method and device for editing facial model
CN109325929A (en) Image processing method and electronic equipment
CN113223128B (en) Method and apparatus for generating image
KR100777787B1 (en) System and method for electronic hair cordination
US9563940B2 (en) Smart image enhancements
CN108010039B (en) Video character decorating method and device based on self-adaptive threshold segmentation
JP7514972B1 (en) Information processing system, program, and information processing method
KR20110019159A (en) Hair styling demo system and method
WO2021256319A1 (en) Information processing device, information processing method, and recording medium
CN104765932A (en) Method and device for establishing head model
CN114742951A (en) Material generation method, image processing method, device, electronic device and storage medium
JP5207941B2 (en) Image processing apparatus, image processing method, and program
CN117769723A (en) Augmented reality cosmetic design filter

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant