KR20190043925A - Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service - Google Patents

Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service Download PDF

Info

Publication number
KR20190043925A
KR20190043925A KR1020170136037A KR20170136037A KR20190043925A KR 20190043925 A KR20190043925 A KR 20190043925A KR 1020170136037 A KR1020170136037 A KR 1020170136037A KR 20170136037 A KR20170136037 A KR 20170136037A KR 20190043925 A KR20190043925 A KR 20190043925A
Authority
KR
South Korea
Prior art keywords
image
user
hair
partial hair
information
Prior art date
Application number
KR1020170136037A
Other languages
Korean (ko)
Other versions
KR102193638B1 (en
Inventor
이재열
허중수
Original Assignee
주식회사 버츄어라이브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 버츄어라이브 filed Critical 주식회사 버츄어라이브
Priority to KR1020170136037A priority Critical patent/KR102193638B1/en
Publication of KR20190043925A publication Critical patent/KR20190043925A/en
Application granted granted Critical
Publication of KR102193638B1 publication Critical patent/KR102193638B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

According to an aspect of the present invention, the present invention provides a method for providing a hair style simulation service. The method comprises the steps of: obtaining shape information and color information on at least one of a user face region, a user hair region, and a background region included in a user image; determining a color of a partial hair image to be composed generated from a partial hair sample image with reference to the obtained color information and determining a position in which the partial hair image to be composed is composed to the user image and a size of the partial hair image to be composed at the position with reference to the obtained shape information; and composing the user image and the partial hair image to be composed to generate a user composed image to be provided to a user.

Description

헤어 스타일 시뮬레이션 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체{METHOD, SYSTEM AND NON-TRANSITORY COMPUTER-READABLE RECORDING MEDIUM FOR PROVIDING HAIR STYLING SIMULATION SERVICE}METHOD, SYSTEM AND NON-TRANSITORY COMPUTER READABLE RECORDING MEDIUM FOR PROVIDING HAIR STYLING SIMULATION SERVICE,

본 발명은 헤어 스타일 시뮬레이션 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체에 관한 것이다.The present invention relates to a method, system and non-transitory computer readable recording medium for providing a hair styling simulation service.

일반적으로, 커트, 파마 등 헤어 스타일링은 한번 하게 되면, 마음에 들지 않더라도 최소 몇 개월 동안 유지하면서 기다릴 수 밖에 없었다. 최근, 이와 관련하여 미용실에서 헤어 스타일링을 하기 전에 자신이 원하는 헤어 스타일이 자신의 얼굴에 어울리는지 사전에 합성해 볼 수 있는 다양한 기술들이 개발되고 있다.In general, haircuts such as cuts and perms had to wait for at least a few months even if you did not like it. Recently, a variety of techniques have been developed to synthesize beforehand hair styling in hairdressing room to determine whether the hair style desired by the user is suitable for his or her face.

이에 관한, 종래 기술의 일 예로서, 시뮬레이션의 대상이 되는 사용자의 사진 이미지를 입력 받는 사진 입력부, 해당 사용자로부터 헤어 스타일링의 종류 및 모발의 길이를 입력 받는 사용자 정보 입력부, 위의 사진 입력부로부터 입력 받은 사용자의 사진에 위의 사용자 정보 입력부로부터 입력 받은 헤어 스타일링 종류 및 모발의 길이를 적용하여 헤어 스타일 시뮬레이션 결과를 생성하는 헤어스타일 시뮬레이션부, 및 그 헤어 스타일 시뮬레이션부에서 생성된 헤어 스타일 시뮬레이션 결과를 해당 사용자에게 디스플레이하는 디스플레이부를 포함하는 헤어 스타일 시뮬레이션 장치가 소개된 바 있다.As one example of the related art, there is provided an image processing apparatus including a photo input unit for inputting a photo image of a user to be simulated, a user information input unit for inputting the type of hair styling and hair length from the user, A hair style simulation unit for generating a hair style simulation result by applying the type of hair styling and the length of the hair received from the user information input unit to the user's photograph and a hair style simulation result generated by the hair style simulation unit, A hair style simulation apparatus including a display unit for displaying the hair style simulation apparatus to a user.

하지만, 위와 같은 종래 기술을 비롯하여 지금까지 소개된 기술에 의하면, 기설정된 크기 및 색상의 가상의 헤어 이미지를 사용자 이미지 위에 단순히 겹쳐놓거나 덮어놓는 식으로 합성하였기 때문에, 합성된 이미지의 정확도 및 실제감은 떨어질 수 밖에 없었다. 특히, 자신의 헤어 이미지 일부분에 부분 헤어를 합성시키는 경우에는, 그 합성의 부자연스러움이 더욱 커졌다.However, according to the above-described conventional techniques as well as the conventional techniques described above, since a virtual hair image of a predetermined size and color is simply superimposed or overlaid on the user image, the accuracy and actual feeling of the synthesized image are reduced I could not help it. Particularly, when a partial hair is synthesized in a part of the hair image of the user, the unnaturalness of the composition is further increased.

본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made to solve all the problems of the prior art described above.

또한, 본 발명은, 사용자 이미지(구체적으로는, 사용자 이미지의 헤어 영역)에 부분 헤어 이미지를 정확하고 자연스럽게 합성하는 것을 또 다른 목적으로 한다.Another object of the present invention is to accurately and naturally synthesize a partial hair image in a user image (specifically, a hair region of a user image).

또한, 본 발명은, 사용자 이미지에 부분 헤어 이미지를 합성함으로써, 새로운 스타일의 헤어 이미지를 생성하는 것을 또 다른 목적으로 한다.It is another object of the present invention to create a new style hair image by synthesizing a partial hair image on a user image.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.In order to accomplish the above object, a representative structure of the present invention is as follows.

본 발명의 일 태양에 따르면, 헤어 스타일 시뮬레이션 서비스를 제공하는 방법으로서, 사용자 이미지에 포함되는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 형태 정보 및 색상 정보를 획득하는 단계, 상기 획득되는 색상 정보를 참조하여, 부분 헤어 샘플 이미지로부터 생성되는 합성 대상 부분 헤어 이미지의 색상을 결정하고, 상기 획득되는 형태 정보를 참조하여, 상기 합성 대상 부분 헤어 이미지가 상기 사용자 이미지에서 합성될 위치 및 상기 위치에서의 상기 합성 대상 부분 헤어 이미지의 크기를 결정하는 단계, 및 상기 사용자 이미지와 상기 합성 대상 부분 헤어 이미지를 합성하여 사용자에게 제공될 사용자 합성 이미지를 생성하는 단계를 포함하는 방법이 제공된다.According to one aspect of the present invention there is provided a method of providing a hair styling simulation service, comprising: obtaining shape information and color information about at least one of a user's face area, a user's hair area, and a background area included in a user image; Determining a color of the partial hair image to be synthesized generated from the partial hair sample image and referring to the obtained shape information to determine a position at which the synthesis subject partial hair image is synthesized in the user image, Determining a size of the composite subject partial hair image at a position of the composite subject partial hair image, and composing the composite image of the user and the composite subject partial hair image to generate a user composite image to be provided to the user.

본 발명의 다른 태양에 따르면, 헤어 스타일 시뮬레이션 서비스를 제공하는 시스템으로서, 사용자 이미지에 포함되는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 형태 정보 및 색상 정보를 획득하는 정보 획득부, 상기 획득되는 색상 정보를 참조하여, 부분 헤어 샘플 이미지로부터 생성되는 합성 대상 부분 헤어 이미지의 색상을 결정하고, 상기 획득되는 형태 정보를 참조하여, 상기 합성 대상 부분 헤어 이미지가 상기 사용자 이미지에서 합성될 위치 및 상기 위치에서의 상기 합성 대상 부분 헤어 이미지의 크기를 결정하는 합성 대상 결정부, 및 상기 사용자 이미지와 상기 합성 대상 부분 헤어 이미지를 합성하여 사용자에게 제공될 사용자 합성 이미지를 생성하는 이미지 합성부를 포함하는 시스템이 제공된다.According to another aspect of the present invention, there is provided a system for providing a hair style simulation service, comprising: an information obtaining unit obtaining shape information and color information about at least one of a user's face area, a user's hair area, Determining a hue of the partial hair image to be synthesized generated from the partial hair sample image with reference to the obtained color information and referring to the obtained shape information, And an image compositing unit for composing the user image and the partial hair image to be synthesized to generate a user composite image to be provided to the user, System is provided.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.In addition, there is further provided a non-transitory computer readable recording medium for recording another method for implementing the invention, another system, and a computer program for carrying out the method.

본 발명에 의하면, 사용자 이미지(구체적으로는, 사용자 이미지의 헤어 영역)에 부분 헤어 이미지를 정확하고 자연스럽게 합성할 수 있게 된다.According to the present invention, a partial hair image can be accurately and naturally synthesized in a user image (specifically, a hair region of a user image).

본 발명에 의하면, 사용자 이미지에 부분 헤어 이미지를 합성함으로써, 새로운 스타일의 헤어 이미지를 생성할 수 있게 된다.According to the present invention, a new style hair image can be generated by synthesizing a partial hair image with a user image.

도 1은 본 발명의 일 실시예에 따른 헤어 스타일 시뮬레이션 서비스를 제공하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 서비스 제공 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 헤어 스타일 시뮬레이션 서비스가 제공되는 과정을 예시적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 사용자 얼굴 영역의 형태 정보 및 색상 정보가 사용자 이미지로부터 획득되는 과정을 예시적으로 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 합성 대상 이마 이미지가 사용자 이미지에 합성되는 과정을 예시적으로 나타내는 도면이다.FIG. 1 is a diagram showing a schematic configuration of an overall system for providing a hair style simulation service according to an embodiment of the present invention.
2 is a detailed diagram illustrating an internal configuration of a service providing system according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating a process of providing a hair style simulation service according to an exemplary embodiment of the present invention.
FIG. 4 is a diagram illustrating a process of obtaining morphological information and color information of a user's face region from a user image according to an exemplary embodiment of the present invention.
5 is a diagram illustrating a process of synthesizing a target forehead image to a user image according to an exemplary embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.The following detailed description of the invention refers to the accompanying drawings, which illustrate, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different, but need not be mutually exclusive. For example, the specific shapes, structures, and characteristics described herein may be implemented by changing from one embodiment to another without departing from the spirit and scope of the invention. It should also be understood that the location or arrangement of individual components within each embodiment may be varied without departing from the spirit and scope of the present invention. Therefore, the following detailed description is not to be taken in a limiting sense, and the scope of the present invention should be construed as encompassing the scope of the appended claims and all equivalents thereof. In the drawings, like reference numbers designate the same or similar components throughout the several views.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention.

전체 시스템의 구성Configuration of the entire system

도 1은 본 발명의 일 실시예에 따른 헤어 스타일 시뮬레이션 서비스를 제공하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.FIG. 1 is a diagram showing a schematic configuration of an overall system for providing a hair style simulation service according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은, 통신망(100), 서비스 제공 시스템(200) 및 사용자 디바이스(300)를 포함할 수 있다.1, an overall system according to an embodiment of the present invention may include a communication network 100, a service providing system 200, and a user device 300. [

먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.First, the communication network 100 according to an embodiment of the present invention may be configured without regard to communication modes such as wired communication and wireless communication, and may be a LAN (Local Area Network), a Metropolitan Area Network ), A wide area network (WAN), and the like. Preferably, the communication network 100 referred to herein may be the well-known Internet or World Wide Web (WWW). However, the communication network 100 may include, at least in part, a known wire / wireless data communication network, a known telephone network, or a known wire / wireless television communication network, without being limited thereto.

예를 들면, 통신망(100)은 무선 데이터 통신망으로서, 와이파이(WiFi) 통신, 와이파이 다이렉트(WiFi-Direct) 통신, 롱텀 에볼루션(LTE; Long Term Evolution) 통신, 블루투스 통신(예를 들면, 저전력 블루투스(BLE; Bluetooth Low Energy) 통신), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방식을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.For example, the communication network 100 may be a wireless data communication network, such as a WiFi communication, a WiFi-Direct communication, a Long Term Evolution (LTE) communication, a Bluetooth communication (for example, a low- BLE (Bluetooth Low Energy) communication), infrared communication, ultrasonic communication, and the like.

다음으로, 본 발명의 일 실시예에 따른 서비스 제공 시스템(200)은 통신망(100)을 통하여 후술할 사용자 디바이스(300)와의 통신을 수행할 수 있고, 사용자 이미지에 포함되는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 형태 정보 및 색상 정보를 획득하고, 그 획득되는 색상 정보를 참조하여, 부분 헤어 샘플 이미지로부터 생성되는 합성 대상 부분 헤어 이미지의 색상을 결정하고, 위의 획득되는 형태 정보를 참조하여, 해당 합성 대상 부분 헤어 이미지가 위의 사용자 이미지에서 합성될 위치 및 그 위치에서의 해당 합성 대상 부분 헤어 이미지의 크기를 결정하고, 위의 사용자 이미지와 해당 합성 대상 부분 헤어 이미지를 합성하여 사용자에게 제공될 사용자 합성 이미지를 생성하는 기능을 수행할 수 있다.Next, the service providing system 200 according to an embodiment of the present invention can perform communication with the user device 300, which will be described later, through the communication network 100, Determining a color of the partial hair image to be synthesized which is generated from the partial hair sample image by referring to the obtained color information, The position of the synthesis target partial hair image to be synthesized in the above user image and the size of the corresponding synthesis target partial hair image at that position are determined and the synthesized target partial hair image is synthesized Thereby generating a user composite image to be provided to the user.

한편, 본 발명의 일 실시예에 따르면, 이러한 사용자 이미지는, 사용자의 실제 이미지뿐만 아니라 사용자의 가상 이미지 또는 본 발명에 따른 서비스 제공 시스템(200)을 통해 합성되어 생성된 사용자의 이미지 등을 포함하는 개념일 수 있다.Meanwhile, according to an embodiment of the present invention, such a user image includes not only an actual image of a user but also a virtual image of a user or an image of a user synthesized and generated through the service providing system 200 according to the present invention It can be a concept.

본 발명에 따른 서비스 제공 시스템(200)의 구성과 기능에 관하여는 이하의 상세한 설명을 통하여 자세하게 알아보기로 한다. 한편, 서비스 제공 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 서비스 제공 시스템(200)에 대하여 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 사용자 디바이스(300) 또는 다른 외부 시스템(미도시됨) 내에서 실현되거나 사용자 디바이스(300) 또는 다른 외부 시스템(미도시됨)에 포함될 수도 있음은 당업자에게 자명하다.The configuration and function of the service providing system 200 according to the present invention will be described in detail through the following detailed description. Although described above with respect to the service providing system 200, this description is exemplary and at least some of the functions or components required for the service providing system 200 may be provided to the user device 300 or other It will be apparent to those skilled in the art that it may be realized within an external system (not shown) or included in a user device 300 or other external system (not shown).

다음으로, 본 발명의 일 실시예에 따른 사용자 디바이스(300)는 통신망(100)을 통해 서비스 제공 시스템(200)에 접속한 후 통신할 수 있도록 하는 기능을 포함하는 디지털 기기로서, 스마트폰, 태블릿 PC 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 휴대 가능한 디지털 기기라면 얼마든지 본 발명에 따른 사용자 디바이스(300)로서 채택될 수 있다.Next, a user device 300 according to an exemplary embodiment of the present invention is a digital device including a function of connecting to a service providing system 200 through a communication network 100 and communicating with the user, A portable device such as a personal computer (PC) having a memory means and a microprocessor mounted thereon and having computation capability can be adopted as the user device 300 according to the present invention.

한편, 본 발명의 일 실시예에 따르면, 사용자 디바이스(300)는, 본 발명에 따른 헤어 스타일 시뮬레이션 서비스를 지원하는 애플리케이션을 포함할 수 있다. 이와 같은 애플리케이션은 서비스 제공 시스템(200) 또는 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다.Meanwhile, according to an embodiment of the present invention, the user device 300 may include an application for supporting a hair style simulation service according to the present invention. Such an application may be downloaded from the service providing system 200 or an external application distribution server (not shown).

서비스 제공 시스템의 구성Configuration of service delivery system

이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 서비스 제공 시스템(200)의 내부 구성과 각 구성요소의 기능에 대하여 살펴보기로 한다.Hereinafter, the internal configuration of the service providing system 200 performing the important functions for the implementation of the present invention and the functions of the respective components will be described.

도 2는 본 발명의 일 실시예에 따른 서비스 제공 시스템(200)의 내부 구성을 상세하게 도시하는 도면이다.2 is a detailed diagram illustrating an internal configuration of a service providing system 200 according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 서비스 제공 시스템(200)은, 정보 획득부(210), 합성 대상 결정부(220), 이미지 합성부(230), 통신부(240) 및 제어부(250)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 정보 획득부(210), 합성 대상 결정부(220), 이미지 합성부(230), 통신부(240) 및 제어부(250)는 그 중 적어도 일부가 외부의 시스템과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 서비스 제공 시스템(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 서비스 제공 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.2, the service providing system 200 according to an embodiment of the present invention includes an information obtaining unit 210, a composition determination unit 220, an image composition unit 230, a communication unit 240, And a controller 250. According to an embodiment of the present invention, at least a part of the information acquisition unit 210, the synthesis object determination unit 220, the image synthesis unit 230, the communication unit 240, and the control unit 250, And may be a program module that communicates. Such a program module may be included in the service providing system 200 in the form of an operating system, an application program module or other program module, and may be physically stored in various well-known storage devices. Such a program module may also be stored in a remote storage device capable of communicating with the service providing system 200. [ Such program modules, on the other hand, encompass but are not limited to routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or implement particular abstract data types as described below in accordance with the present invention.

한편, 서비스 제공 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 서비스 제공 시스템(200)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 외부 시스템(미도시됨) 내에서 실현되거나 외부 시스템 내에 포함될 수도 있음은 당업자에게 자명하다.Although described above with respect to the service providing system 200, the description is exemplary and at least a part of the components or functions of the service providing system 200 may be realized in an external system (not shown) Or may be included within an external system.

먼저, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자 이미지에 포함되는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 형태 정보 및 색상 정보를 획득할 수 있다. 본 발명의 일 실시예에 따른 형태 정보에는, 사용자 얼굴 영역, 사용자 헤어 영역 또는 배경 영역의 윤곽 좌표와 사용자 얼굴 영역, 사용자 헤어 영역 또는 배경 영역이 해당 사용자 이미지 내에서 기울어진 각도(또는 회전 각도) 등에 관한 정보가 포함될 수 있다. 또한, 본 발명의 일 실시예에 따른 색상 정보에는, 색조, 명도, 채도 및 조도 중 적어도 하나에 관한 정보가 포함될 수 있다.First, the information obtaining unit 210 according to an embodiment of the present invention may obtain shape information and color information regarding at least one of a user's face area, a user's hair area, and a background area included in a user image. The morphological information according to an exemplary embodiment of the present invention may include at least one of an outline coordinate of a user's face region, a user's hair region, or a background region, an angle (or a rotation angle) of a user's face region, a user's hair region, And the like may be included. In addition, the color information according to an embodiment of the present invention may include information about at least one of color tone, brightness, saturation, and illuminance.

예를 들면, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 기설정된 얼굴 검출 알고리즘을 이용하여 사용자 이미지로부터 사용자 얼굴 영역 중 주요 특징 영역(예를 들면, 눈, 코, 입, 눈썹, 턱선, 이마 등)의 윤곽 좌표를 추출하고, 그 추출되는 윤곽 좌표에 기초하여 위의 주요 특징 영역이 해당 사용자 이미지 내에서 기울어진 각도(예를 들면, 사용자 이미지의 수평선 또는 수직선과 비교)를 산출함으로써, 사용자 얼굴 영역에 관한 형태 정보를 획득할 수 있다.For example, the information obtaining unit 210 according to an exemplary embodiment of the present invention detects a main feature region (for example, eyes, nose, mouth, eyebrows) of a user's face region from a user image using a predetermined face detection algorithm , Jaw line, forehead, and the like), and based on the extracted outline coordinates, the upper main feature area is inclined at an angle (for example, compared with the horizontal or vertical line of the user image) in the user image The shape information on the user's face area can be obtained.

또한, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자 이미지로부터 추출되는 사용자 얼굴 영역의 윤곽 좌표에 기초하여 해당 사용자 얼굴 영역에 관한 비트맵 정보를 추출하고, 그 추출되는 비트맵 정보로부터 해당 사용자 얼굴 영역의 색조, 채도, 명도 및 조도 중 적어도 하나에 관한 정보(즉, 사용자 얼굴 영역에 관한 색상 정보)를 획득할 수 있다. 본 발명의 일 실시예에 따른 비트맵 정보는, 2차원 또는 3차원 사각 평면을 소정의 격자(grid)로 구분하고 그 위에 이미지가 표현되는 경우에, 0과 1로 표현된 격자에 관한 정보를 의미하는 개념일 수 있다. 한편, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자 얼굴 영역에 관한 비트맵 정보의 히스토그램(histogram) 역투영(backprojection)을 참조하여 해당 사용자 얼굴 영역의 피부색 분포도에 관한 정보를 획득할 수 있다.The information obtaining unit 210 extracts bitmap information about the user's face area based on the outline coordinates of the user's face area extracted from the user image, Information regarding at least one of hue, saturation, brightness, and illuminance of the user's face area (i.e., color information regarding the user's face area) from the information. The bitmap information according to an exemplary embodiment of the present invention includes information on a grid represented by 0 and 1 when a two-dimensional or three-dimensional rectangular plane is divided into a predetermined grid and an image is displayed thereon It can be a meaningful concept. Meanwhile, the information obtaining unit 210 according to an embodiment of the present invention refers to a histogram backprojection of bitmap information about a user's face area, and obtains information on a skin color distribution diagram of the user's face area Can be obtained.

또한, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자 이미지로부터 추출되는 사용자 얼굴 영역의 윤곽 좌표로부터 소정 거리 이내의 주변 윤곽 좌표를 특정하고, 그 특정되는 주변 윤곽 좌표에 대한 에지 검출(edge detection)을 통해 사용자 헤어 영역의 윤곽 좌표를 추출함으로써, 사용자 헤어 영역에 관한 형태 정보를 획득할 수 있다. 또한, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자 이미지로부터 추출되는 사용자 헤어 영역의 윤곽 좌표에 기초하여 해당 사용자 이미지 내에서 헤어 영역이 기울어진 각도(예를 들면, 사용자 이미지의 수평선 또는 수직선과 비교)를 산출함으로써, 사용자 헤어 영역에 관한 형태 정보를 획득할 수도 있다. 한편, 본 발명의 일 실시예에 따른 에지는, 이미지의 밝기가 소정 수준 이상 변하는 영역을 의미하는 개념일 수 있다.In addition, the information obtaining unit 210 according to an exemplary embodiment of the present invention specifies peripheral outline coordinates within a predetermined distance from the outline coordinates of the user's face area extracted from the user image, By extracting the outline coordinates of the user's hair region through edge detection, shape information about the user's hair region can be obtained. In addition, the information obtaining unit 210 according to an embodiment of the present invention detects an angle at which the hair region is inclined within the user image (e.g., a user image To the horizontal line or the vertical line of the user's hair), thereby obtaining shape information on the user's hair region. Meanwhile, the edge according to an embodiment of the present invention may be a concept of a region in which brightness of an image changes by a predetermined level or more.

또한, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 위의 사용자 헤어 영역의 윤곽 좌표에 기초하여 해당 사용자 헤어 영역에 관한 비트맵 정보를 추출하고, 그 추출되는 비트맵 정보로부터 해당 사용자 헤어 영역의 색조, 채도, 명도 및 조도 중 적어도 하나에 관한 정보(즉, 사용자 헤어 영역에 관한 색상 정보)를 획득할 수 있다.The information obtaining unit 210 extracts bitmap information about the user's hair region based on the outline coordinates of the user's hair region, extracts the corresponding bitmap information from the extracted bitmap information, Information regarding at least one of hue, saturation, brightness, and illuminance of the user's hair region (i.e., color information regarding the user's hair region) can be obtained.

또한, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 위의 사용자 얼굴 영역 및 사용자 헤어 영역 이외의 영역을 배경 영역으로 특정할 수 있고, 그 특정되는 배경 영역에 관한 비트맵 정보로부터 해당 배경 영역의 색조, 채도, 명도 및 조도 중 적어도 하나에 관한 정보(즉, 배경 영역에 관한 색상 정보)를 획득할 수 있다.In addition, the information obtaining unit 210 according to an embodiment of the present invention can specify an area other than the user face area and the user's hair area as the background area, and extracts from the bitmap information related to the specified background area Information regarding at least one of hue, saturation, brightness, and illuminance of the corresponding background area (i.e., color information on the background area) can be obtained.

한편, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역의 명도에 기초하여 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역의 조도를 각각 추출할 수 있다. 또한, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역에 관한 비트맵 정보의 히스토그램을 참조하여 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역의 조도를 각각 추출할 수도 있다.Meanwhile, the information obtaining unit 210 may extract the illuminance of the user's face area, the user's hair area, and the background area based on the brightness of the user's face area, the user's hair area, and the background area, respectively have. In addition, the information obtaining unit 210 according to an embodiment of the present invention refers to the histogram of the bitmap information about the user's face area, the user's hair area, and the background area to determine the illuminance of the user's face area, Respectively.

다음으로, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 정보 획득부(210)에 의해 획득되는 색상 정보를 참조하여, 부분 헤어 샘플 이미지로부터 생성되는 합성 대상 부분 헤어 이미지의 색상을 결정할 수 있다. 본 발명의 일 실시예에 따른 합성 대상 부분 헤어 이미지는 위의 획득되는 색상 정보 및 형태 정보를 참조하여 부분 샘플 이미지를 변형, 복제 또는 가공함으로써 생성되는 이미지일 수 있다.Next, referring to the color information obtained by the information obtaining unit 210, the synthesis subject determination unit 220 according to an embodiment of the present invention determines the color of the synthesis target partial hair image generated from the partial hair sample image Can be determined. The partial hair image to be synthesized according to an embodiment of the present invention may be an image generated by modifying, duplicating, or processing the partial sample image with reference to the color information and shape information obtained above.

예를 들면, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 색상 정보와 부분 헤어 샘플 이미지의 비트맵 정보를 비트 연산함으로써, 합성 대상 부분 헤어 이미지에 적용될 색상을 결정할 수 있다. 본 발명의 일 실시예에 따른 비트 연산에는, 비트 사이의 논리 연산, 산술 연산 등이 포함될 수 있다.For example, the synthesis subject determination unit 220 according to an exemplary embodiment of the present invention may determine bitmap information of at least one of a user's face area, a user's hair area, and a background area, The color to be applied to the partial hair image to be synthesized can be determined. The bit operation according to an embodiment of the present invention may include a logical operation between bits, an arithmetic operation, and the like.

다른 예를 들면, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 합성 대상 부분 헤어 이미지가 사용자 이미지에서 합성될 위치의 색상 정보를 참조하여 해당 합성 대상 부분 헤어 이미지의 색상을 결정할 수 있다. 보다 상세하게는, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는 합성 대상 부분 헤어 이미지가 사용자 이미지에서 합성될 위치가 결정되면, 그 결정되는 위치(또는 그 위치로부터 소정 거리 이내)의 색상 정보에 기초하여 합성 대상 부분 헤어 이미지의 색상을 결정할 수 있다. 또한, 보다 상세하게는, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 합성 대상 부분 헤어 이미지가 사용자 이미지에서 합성될 위치가 결정되면, 해당 위치(또는 그 위치로부터 소정 거리 이내)의 색상 정보를 다른 색상 정보보다 우선하거나 가중하여 부분 헤어 샘플 이미지의 비트맵 이미지와 비트 연산되도록 함으로써, 합성 대상 부분 헤어 이미지의 색상 정보를 결정할 수 있다. 즉, 합성 대상 부분 헤어 이미지의 색상을 결정함에 있어서, 합성 대상 부분 헤어 이미지가 해당 사용자 이미지에서 합성될 위치의 색상 정보를 해당 사용자 영역의 다른 영역의 색상 정보보다 더 중요하게 취급하게 된다.For example, the synthesis subject determination unit 220 determines the color of the partial hair image to be synthesized by referring to the color information of the position where the synthesis subject partial hair image is synthesized in the user image . More specifically, if a synthesis target partial hair image is to be synthesized in a user image, the synthesis target determination unit 220 determines the synthesis target partial hair image to be synthesized within a predetermined range (or within a predetermined distance from the position) The color of the partial hair image to be synthesized can be determined based on the color information of the partial hair image. In addition, more specifically, when the position to be synthesized in the user image is determined, the synthesis subject determination unit 220 according to an embodiment of the present invention determines whether or not the synthesis subject partial hair image is to be synthesized in the position (or within a predetermined distance ) Is prioritized or weighted with respect to other color information to perform bit calculation with the bitmap image of the partial hair sample image, so that the color information of the synthesis target partial hair image can be determined. That is, in determining the color of the synthesis target partial hair image, the color information of the position where the synthesis target partial hair image is synthesized in the user image is more important than the color information of the other region of the user area.

한편, 본 발명의 일 실시예에 따르면, 합성 대상 결정부(220)는, 사용자 이미지에 포함되는 사용자 얼굴 영역의 조도에 기초하여 합성 대상 부분 헤어 이미지의 명도를 결정할 수 있다.Meanwhile, according to an embodiment of the present invention, the compositing object determining unit 220 can determine the brightness of the synthesis target partial hair image based on the illuminance of the user's face area included in the user image.

예를 들면, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 사용자 얼굴 영역의 조도가 높을수록 합성 대상 부분 헤어 이미지에 적용될 명도가 소정 수준 이상이 되도록 결정하고, 사용자 얼굴 영역의 조도가 낮을수록 합성 대상 부분 헤어 이미지에 적용될 명도가 소정 수준 이하가 되도록 결정할 수 있다.For example, the synthesis subject determination unit 220 determines that the brightness to be applied to the synthesis target partial hair image is higher than a predetermined level as the illuminance of the user's face region is higher, The lower the illuminance, the more the brightness to be applied to the partial hair image to be synthesized is less than a predetermined level.

또한, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 정보 획득부(210)에 의해 획득되는 형태 정보를 참조하여, 합성 대상 부분 헤어 이미지가 사용자 이미지에서 합성될 위치 및 그 위치에서의 해당 합성 대상 부분 헤어 이미지의 크기를 결정할 수 있다.In addition, the synthesis subject determination unit 220 according to an embodiment of the present invention refers to the shape information obtained by the information acquisition unit 210 to determine a position at which the synthesis subject partial hair image is synthesized in the user image and its position It is possible to determine the size of the corresponding partial hair image to be synthesized.

예를 들면, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 사용자 얼굴 영역 및 사용자 헤어 영역 중 적어도 하나의 윤곽 좌표를 참조하여 합성 대상 부분 헤어 이미지가 사용자 이미지에서 합성될 위치의 좌표를 결정하고, 그 결정되는 좌표로부터 소정 거리 이내의 주변 좌표에 대한 에지 검출 결과값에 기초하여 합성 대상 부분 헤어 이미지의 크기를 결정할 수 있다.For example, referring to the outline coordinates of at least one of the user's facial region and the user's hair region, the synthesis subject determination unit 220 according to an embodiment of the present invention determines the synthesis target partial hair image to be synthesized in the user image The size of the partial hair image to be combined can be determined based on the edge detection result value for the surrounding coordinates within a predetermined distance from the determined coordinates.

또한, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 부분 헤어 샘플 이미지의 유형을 더 참조하여, 합성 대상 부분 헤어 이미지의 색상, 위치 및 크기 중 적어도 하나를 결정할 수 있다. 본 발명의 일 실시예에 따른 부분 헤어 샘플 이미지의 유형은, 부분 헤어의 길이(예를 들면, 단발, 장발 등), 부분 헤어의 머리카락 형태(예를 들면, 펌, 스트레이트 등), 부분 헤어의 사용 형태(예를 들면, 앞머리, 끝머리 등) 등을 포함하는 것일 수 있다.Further, the synthesis subject determination unit 220 according to an embodiment of the present invention may determine at least one of the color, position, and size of the partial hair image to be synthesized with reference to the type of the partial hair sample image. The type of the partial hair sample image according to an embodiment of the present invention may be a type of the partial hair (for example, a short hair, a long hair, etc.), a hair shape (e.g., A usage form (for example, a bang, an edge, etc.), and the like.

예를 들면, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 부분 헤어 샘플 이미지의 유형을 참조하여 합성 대상 부분 헤어 이미지가 사용자 이미지에서 합성될 위치를 추정하고, 그 추정되는 위치 주변에 존재하는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나의 윤곽 좌표에 기초하여 보정함으로써, 합성 대상 부분 헤어 이미지의 위치 및 크기를 결정할 수 있다. 한편, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는 머신 러닝(machine learning) 또는 딥 러닝(deep learning)을 통해 획득되는 헤어 샘플 이미지의 유형에 따른 합성 위치 패턴을 참조할 수도 있다.For example, referring to the type of the partial hair sample image, the synthesis subject determination unit 220 according to an embodiment of the present invention estimates the position at which the synthesis subject partial hair image is synthesized in the user image, The position and size of the partial hair image to be synthesized can be determined by correcting based on the outline coordinates of at least one of the user face area, the user hair area and the background area existing in the vicinity. Meanwhile, the synthesis subject determination unit 220 according to an embodiment of the present invention may refer to a synthetic position pattern according to the type of hair sample image obtained through machine learning or deep learning .

다른 예를 들면, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 부분 헤어 샘플 이미지의 유형을 참조하여 합성 대상 부분 헤어 이미지에 적용될 명도를 결정할 수 있다. 보다 상세하게는, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 부분 헤어 샘플 이미지의 유형이 펌 또는 웨이브 유형이면, 합성 대상 부분 헤어 이미지에 적용될 명도가 소정 수준 이상이 되도록 결정하고, 부분 헤어 샘플 이미지의 유형이 단발 또는 스트레이트이면, 합성 대상 부분 헤어 이미지에 적용될 명도가 소정 수준 이하가 되도록 결정할 수 있다.As another example, the synthesis subject determination unit 220 according to an embodiment of the present invention may determine the brightness to be applied to the synthesis subject partial hair image by referring to the type of the partial hair sample image. More specifically, if the type of the partial hair sample image is a firm or wave type, the synthesis target determination unit 220 determines that the brightness to be applied to the synthesis target partial hair image is equal to or higher than a predetermined level And if the type of the partial hair sample image is single or straight, then it may be determined that the brightness to be applied to the partial hair image to be synthesized is below a predetermined level.

다음으로, 본 발명의 일 실시예에 따른 이미지 합성부(230)는, 사용자 이미지와 합성 대상 부분 헤어 이미지를 합성하여 사용자에게 제공될 사용자 합성 이미지를 생성할 수 있다.Next, the image synthesizer 230 according to an embodiment of the present invention may synthesize the user image and the partial hair image to be synthesized to generate a user composite image to be provided to the user.

예를 들면, 본 발명의 일 실시예에 따른 이미지 합성부(230)는, 합성 대상 결정부(220)에 의해 결정되는 합성 대상 부분 헤어 이미지의 색상, 위치 및 크기로 해당 사용자 이미지에 위치시킨 후에 합성 대상 부분 헤어 이미지 및 해당 사용자 이미지를 함께 렌더링함으로써 사용자 합성 이미지를 생성할 수 있다.For example, the image synthesizing unit 230 according to an embodiment of the present invention may position the image of interest in the user image with the color, position, and size of the partial hair image to be combined, determined by the composition determining unit 220 The user composite image can be generated by rendering the synthesis target partial hair image and the corresponding user image together.

한편, 본 발명의 일 실시예에 따른 이미지 합성부(230)는, 합성 대상 결정부(220)에 의해 결정되는 합성 대상 부분 헤어 이미지의 색상, 위치 및 크기 중 적어도 하나가 사용자의 조작에 의해 더 수정되도록 할 수 있다. 본 발명에 일 실시예에 따르면, 이미지 합성부(230)는, 사용자에 의해 합성 대상 부분 헤어 이미지의 색상, 위치 및 크기 중 적어도 하나가 수정되는 것을 지원하기 위한 사용자 인터페이스를 해당 사용자에게 제공할 수 있다.Meanwhile, the image synthesizing unit 230 according to an embodiment of the present invention may be configured such that at least one of the color, position, and size of the partial hair image to be synthesized, which is determined by the synthesis object determining unit 220, Can be modified. According to one embodiment of the present invention, the image synthesizing unit 230 may provide a user interface to the user to support at least one of color, position, and size of the synthesis target partial hair image to be modified by the user have.

한편, 본 발명의 일 실시예에 따른 이미지 합성부(230)는, 위의 사용자 합성 이미지에 관한 파일 또는 링크(link)가 사용자 디바이스(300) 또는 외부 디바이스(미도시됨)에게 저장 또는 전송되도록 할 수 있다. 본 발명의 일 실시예에 따르면, 이러한 파일 유형에는 이미지 파일(jpg, gif, bmp, tif 등), 동영상 파일(avi, mp4, wmv 등) 등이 포함될 수 있지만, 파일 유형은 반드시 위에서 열거된 것에 한정되지 않고 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다.Meanwhile, the image synthesizer 230 according to an exemplary embodiment of the present invention may be configured such that a file or a link related to the user composite image is stored or transmitted to the user device 300 or an external device (not shown) can do. In accordance with one embodiment of the present invention, such file types may include image files (jpg, gif, bmp, tif, etc.), video files (avi, mp4, wmv etc.) The present invention is not limited thereto and can be variously modified within the scope of achieving the object of the present invention.

다음으로, 본 발명의 일 실시예에 따른 통신부(240)는 정보 획득부(210), 합성 대상 결정부(220) 및 이미지 합성부(230)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.The communication unit 240 according to an exemplary embodiment of the present invention performs a function of enabling data transmission / reception to / from the information obtaining unit 210, the combination determining unit 220, and the image combining unit 230 can do.

마지막으로, 본 발명의 일 실시예에 따른 제어부(250)는 정보 획득부(210), 합성 대상 결정부(220), 이미지 합성부(230) 및 통신부(240) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(250)는 서비스 제공 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 서비스 제공 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 정보 획득부(210), 합성 대상 결정부(220), 이미지 합성부(230) 및 통신부(240)에서 각각 고유 기능을 수행하도록 제어할 수 있다.The control unit 250 controls the flow of data between the information obtaining unit 210, the combination determining unit 220, the image combining unit 230, and the communication unit 240. [ Can be performed. That is, the control unit 250 according to the present invention controls the data flow from / to the outside of the service providing system 200 or the data flow between the respective components of the service providing system 200, The synthesizing object determining unit 220, the image synthesizing unit 230, and the communication unit 240, respectively.

도 3은 본 발명의 일 실시예에 따른 헤어 스타일 시뮬레이션 서비스가 제공되는 과정을 예시적으로 나타내는 도면이다.FIG. 3 is a diagram illustrating a process of providing a hair style simulation service according to an exemplary embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따른 사용자 얼굴 영역의 형태 정보 및 색상 정보가 사용자 이미지로부터 획득되는 과정을 예시적으로 나타내는 도면이다.FIG. 4 is a diagram illustrating a process of obtaining morphological information and color information of a user's face region from a user image according to an exemplary embodiment of the present invention.

도 5는 본 발명의 일 실시예에 따른 합성 대상 이마 이미지가 사용자 이미지에 합성되는 과정을 예시적으로 나타내는 도면이다.5 is a diagram illustrating a process of synthesizing a target forehead image to a user image according to an exemplary embodiment of the present invention.

도 3 내지 도 5를 참조하면, 본 발명의 일 실시예에 따른 사용자가 헤어 스타일 시뮬레이션을 위해 자신의 이미지를 사용자 디바이스(300)를 통해 서비스 제공 시스템(200)에게 제공하는 상황을 가정해볼 수 있다.3 to 5, it can be assumed that the user provides his or her image to the service providing system 200 through the user device 300 for a hair style simulation according to an embodiment of the present invention .

먼저, 본 발명의 일 실시예에 따르면, 위의 제공되는 사용자 이미지(310)에 포함되는 사용자 얼굴 영역(311), 사용자 헤어 영역(312) 및 배경 영역(313) 중 적어도 하나에 관한 형태 정보 및 색상 정보가 획득될 수 있다. 예를 들면, 사용자 이미지(310)로부터 사용자 얼굴 영역 중 주요 특징 영역의 윤곽 좌표(410)가 추출될 수 있고, 그 추출되는 윤곽 좌표의 내부 영역에 대한 비트맵 정보의 히스토그램 역투영(420)을 참조하여 사용자 얼굴 영역의 피부색 분포도에 관한 정보가 획득될 수도 있다.According to an embodiment of the present invention, the type information about at least one of the user's face area 311, the user's hair area 312 and the background area 313 included in the user image 310 provided above, Color information can be obtained. For example, the outline coordinates 410 of the main feature region of the user's face region can be extracted from the user image 310 and the histogram inverse projection 420 of the bitmap information for the inner region of the extracted outline coordinates Information regarding the skin color distribution of the user's face area may be obtained.

그 다음에, 본 발명의 일 실시예에 따르면, 위의 획득되는 색상 정보를 참조하여 부분 헤어 샘플 이미지(320)로부터 생성되는 합성 대상 부분 헤어 이미지의 색상(330)이 결정될 수 있다.Next, in accordance with an embodiment of the present invention, the color 330 of the partial hair image to be composed generated from the partial hair sample image 320 may be determined by referring to the obtained color information.

또한, 본 발명의 일 실시예에 따르면, 위의 획득되는 색상 정보를 참조하여 이마 샘플 이미지(520)로부터 생성되는 합성 대상 이마 이미지의 색상 정보(530)가 결정될 수 있다.Also, according to an embodiment of the present invention, the color information 530 of the forehead image 520 to be synthesized may be determined by referring to the obtained color information.

그 다음에, 본 발명의 일 실시예에 따르면, 위의 획득되는 형태 정보를 참조하여 합성 대상 부분 헤어 이미지가 사용자 이미지(310)에서 합성될 위치 및 그 위치에서의 합성 대상 부분 헤어 이미지의 크기가 결정(340)될 수 있다.Next, referring to the above obtained morphological information, the position of the synthesis target partial hair image to be synthesized in the user image 310 and the size of the synthesis target partial hair image at that position are (340).

또한, 본 발명의 일 실시예에 따르면, 위의 획득되는 형태 정보를 참조하여 합성 대상 이마 이미지가 사용자 이미지(550)에서 합성될 위치 및 그 위치에서의 합성 대상 이마 이미지의 크기가 결정(540)될 수 있다.According to an embodiment of the present invention, referring to the above obtained morphological information, the position where the synthesized target forehead image is synthesized in the user image 550 and the size of the synthesized target forehead image at that position are determined 540, .

그 다음에, 본 발명의 일 실시예에 따르면, 위의 결정되는 합성 대상 부분 헤어 이미지 또는 합성 대상 이마 이미지의 색상, 위치 및 크기 중 적어도 하나가 해당 사용자의 조작에 의해 수정될 수 있다.Next, according to an embodiment of the present invention, at least one of the color, position, and size of the synthesis target partial hair image or the synthesized target forehead image determined above may be modified by the user's manipulation.

그 다음에, 본 발명의 일 실시예에 따르면, 위의 사용자 이미지(310)와 위의 합성 대상 부분 헤어 이미지 또는 위의 합성 대상 이마 이미지를 합성하여 해당 사용자에게 제공될 사용자 합성 이미지가 생성(350, 550)될 수 있다.Next, according to an embodiment of the present invention, a user composite image to be provided to the user is generated (350) by compositing the above user image 310 with the above-described composition target partial hair image or the above- , 550).

그 다음에, 본 발명의 일 실시예에 따르면, 위의 사용자 합성 이미지가 이미지 파일, 동영상 파일 또는 링크의 형태로 소셜 네트워크(SNS; Social Network Service) 등을 통해 다른 사용자에게 전송될 수 있다.Then, according to one embodiment of the present invention, the user composite image may be transmitted to another user via a social network service (SNS) in the form of an image file, a moving picture file or a link.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.The embodiments of the present invention described above can be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer-readable recording medium may be those specifically designed and configured for the present invention or may be those known and used by those skilled in the computer software arts. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROM and DVD, magneto-optical media such as floptical disks, medium, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code, such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be modified into one or more software modules for performing the processing according to the present invention, and vice versa.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, Those skilled in the art will appreciate that various modifications and changes may be made thereto without departing from the scope of the present invention.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be construed as being limited to the above-described embodiments, and all ranges that are equivalent to or equivalent to the claims of the present invention as well as the claims .

100: 통신망
200: 서비스 제공 시스템
210: 정보 획득부
220: 합성 대상 결정부
230: 이미지 합성부
240: 통신부
250: 제어부
300: 사용자 디바이스100: Network
200: Service providing system
210: Information obtaining unit
220: synthesis object determination unit
230:
240:
250:
300: User device

Claims (12)

헤어 스타일 시뮬레이션 서비스를 제공하는 방법으로서,
사용자 이미지에 포함되는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 형태 정보 및 색상 정보를 획득하는 단계,
상기 획득되는 색상 정보를 참조하여, 부분 헤어 샘플 이미지로부터 생성되는 합성 대상 부분 헤어 이미지의 색상을 결정하고, 상기 획득되는 형태 정보를 참조하여, 상기 합성 대상 부분 헤어 이미지가 상기 사용자 이미지에서 합성될 위치 및 상기 위치에서의 상기 합성 대상 부분 헤어 이미지의 크기를 결정하는 단계, 및
상기 사용자 이미지와 상기 합성 대상 부분 헤어 이미지를 합성하여 사용자에게 제공될 사용자 합성 이미지를 생성하는 단계를 포함하는
방법.A method for providing a hair style simulation service,
Obtaining shape information and color information about at least one of a user's face area, a user's hair area, and a background area included in the user image,
Determining a hue of the partial hair image to be synthesized generated from the partial hair sample image with reference to the obtained color information and referring to the obtained shape information, And determining a size of the subject partial hair image at the position, and
And combining the user image and the composite partial hair image to generate a user composite image to be provided to a user
Way. 제1항에 있어서,
상기 색상 정보에는, 색조, 채도, 명도 및 조도 중 적어도 하나가 포함되는
방법.The method according to claim 1,
Wherein the color information includes at least one of hue, saturation, lightness, and roughness
Way. 제1항에 있어서,
상기 획득 단계에서, 상기 색상 정보는, 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 비트맵 정보로부터 추출되는
방법.The method according to claim 1,
In the acquiring step, the color information is extracted from bitmap information about at least one of a user's face area, a user's hair area, and a background area
Way. 제1항에 있어서,
상기 결정 단계에서, 상기 획득되는 색상 정보 및 상기 부분 헤어 샘플 이미지의 비트맵 정보 사이의 비트 연산에 기초하여 상기 합성 대상 부분 헤어 이미지의 색상을 결정하는
방법.The method according to claim 1,
In the determination step, the color of the synthesis target partial hair image is determined based on the bit operation between the acquired color information and bitmap information of the partial hair sample image
Way. 제1항에 있어서,
상기 결정 단계에서, 상기 부분 헤어 샘플 이미지의 유형을 더 참조하여, 상기 합성 대상 부분 헤어 이미지의 색상, 위치 및 크기 중 적어도 하나가 결정되는
방법.The method according to claim 1,
In the determining step, with reference to the type of the partial hair sample image, at least one of the color, position, and size of the synthesis target partial hair image is determined
Way. 제1항에 있어서,
상기 결정 단계에서, 상기 합성 대상 부분 헤어 이미지가 상기 사용자 이미지에서 합성될 위치의 색상 정보를 참조하여 상기 합성 대상 부분 헤어 이미지의 색상을 결정하는
방법.The method according to claim 1,
In the determining, the color of the synthesis subject partial hair image is determined by referring to the color information of the position where the synthesis subject partial hair image is to be synthesized in the user image
Way. 제2항에 있어서,
상기 결정 단계에서, 상기 사용자 얼굴 영역의 조도에 기초하여 상기 합성 대상 부분 헤어 이미지의 명도가 결정되는
방법.3. The method of claim 2,
In the determination step, the brightness of the synthesis subject partial hair image is determined based on the illuminance of the user's face area
Way. 제1항에 있어서,
상기 생성 단계에서, 상기 결정되는 합성 대상 부분 헤어 이미지의 색상, 위치 및 크기 중 적어도 하나가 상기 사용자의 조작에 의해 수정되는
방법.The method according to claim 1,
In the generating step, at least one of the color, position, and size of the partial hair image to be synthesized, which is determined, is modified by the operation of the user
Way. 제1항에 있어서,
상기 생성 단계에서, 이마 샘플 이미지로부터 생성되는 합성 대상 이미 이미지가 상기 사용자 이미지에 더 합성되는
방법.The method according to claim 1,
In the generating step, a composite image already generated from the forehead sample image is further synthesized with the user image
Way. 제1항에 있어서,
상기 사용자 합성 이미지에 관한 파일 또는 링크를 사용자 디바이스 또는 외부 디바이스에게 전송하는 단계를 더 포함하는
방법.The method according to claim 1,
Further comprising transmitting a file or link relating to the user composite image to a user device or an external device
Way. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.A non-transitory computer readable recording medium for recording a computer program for carrying out the method according to claim 1. 헤어 스타일 시뮬레이션 서비스를 제공하는 시스템으로서,
사용자 이미지에 포함되는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 형태 정보 및 색상 정보를 획득하는 정보 획득부,
상기 획득되는 색상 정보를 참조하여, 부분 헤어 샘플 이미지로부터 생성되는 합성 대상 부분 헤어 이미지의 색상을 결정하고, 상기 획득되는 형태 정보를 참조하여, 상기 합성 대상 부분 헤어 이미지가 상기 사용자 이미지에서 합성될 위치 및 상기 위치에서의 상기 합성 대상 부분 헤어 이미지의 크기를 결정하는 합성 대상 결정부, 및
상기 사용자 이미지와 상기 합성 대상 부분 헤어 이미지를 합성하여 사용자에게 제공될 사용자 합성 이미지를 생성하는 이미지 합성부를 포함하는
시스템.A system for providing a hair style simulation service,
An information obtaining unit obtaining shape information and color information about at least one of a user's face area, a user's hair area, and a background area included in the user image,
Determining a hue of the partial hair image to be synthesized generated from the partial hair sample image with reference to the obtained color information and referring to the obtained shape information, And a synthesis object determining unit that determines the size of the synthesis subject partial hair image at the position,
And an image synthesizer for synthesizing the user image and the synthesis subject partial hair image to generate a user synthesized image to be provided to the user
system.
KR1020170136037A 2017-10-19 2017-10-19 Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service KR102193638B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170136037A KR102193638B1 (en) 2017-10-19 2017-10-19 Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170136037A KR102193638B1 (en) 2017-10-19 2017-10-19 Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service

Publications (2)

Publication Number Publication Date
KR20190043925A true KR20190043925A (en) 2019-04-29
KR102193638B1 KR102193638B1 (en) 2020-12-23

Family

ID=66282480

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170136037A KR102193638B1 (en) 2017-10-19 2017-10-19 Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service

Country Status (1)

Country Link
KR (1) KR102193638B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127591A (en) * 2019-12-24 2020-05-08 腾讯科技（深圳）有限公司 Image hair dyeing processing method, device, terminal and storage medium
EP3726369A1 (en) 2019-04-15 2020-10-21 Samsung Electronics Co., Ltd. Display apparatus forming wall display and controlling method thereof
CN111899159A (en) * 2020-07-31 2020-11-06 北京百度网讯科技有限公司 Method, device, apparatus and storage medium for changing hairstyle
KR20210093536A (en) * 2020-01-20 2021-07-28 김규민 Hair style composition system and method the same
KR20230039491A (en) * 2021-09-13 2023-03-21 주식회사 미러로이드 Learning data generating apparatus and method for learning artificial neural network for virtual hair styling experience, and hair styling virtual experience apparatus and method using the same

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230115688A (en) 2022-01-27 2023-08-03 주식회사 매치 Method and apparatus for providing wig information and record media recorded program for realizing the same
KR102471099B1 (en) 2022-04-27 2022-11-25 주식회사 넵스 Storage Furniture

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050093692A (en) * 2004-03-18 2005-09-23 주식회사 뷰티비지 System and method for electronic hair cordination
JP2005321986A (en) * 2004-05-07 2005-11-17 Pioneer Electronic Corp Hairstyle proposal system, hairstyle proposal method and computer program
KR20060020999A (en) * 2004-09-02 2006-03-07 (주)제니텀 엔터테인먼트 컴퓨팅 Method of hair-style shaping based-on face recognition and apparatus thereof
KR20070118015A (en) * 2006-06-09 2007-12-13 삼성전자주식회사 Facial feature detection method and device
KR20120037712A (en) * 2010-10-12 2012-04-20 에스케이플래닛 주식회사 Imaginary beauty experience service system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050093692A (en) * 2004-03-18 2005-09-23 주식회사 뷰티비지 System and method for electronic hair cordination
JP2005321986A (en) * 2004-05-07 2005-11-17 Pioneer Electronic Corp Hairstyle proposal system, hairstyle proposal method and computer program
KR20060020999A (en) * 2004-09-02 2006-03-07 (주)제니텀 엔터테인먼트 컴퓨팅 Method of hair-style shaping based-on face recognition and apparatus thereof
KR20070118015A (en) * 2006-06-09 2007-12-13 삼성전자주식회사 Facial feature detection method and device
KR20120037712A (en) * 2010-10-12 2012-04-20 에스케이플래닛 주식회사 Imaginary beauty experience service system and method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3726369A1 (en) 2019-04-15 2020-10-21 Samsung Electronics Co., Ltd. Display apparatus forming wall display and controlling method thereof
CN111127591A (en) * 2019-12-24 2020-05-08 腾讯科技（深圳）有限公司 Image hair dyeing processing method, device, terminal and storage medium
CN111127591B (en) * 2019-12-24 2023-08-08 腾讯科技（深圳）有限公司 Image hair dyeing processing method, device, terminal and storage medium
KR20210093536A (en) * 2020-01-20 2021-07-28 김규민 Hair style composition system and method the same
CN111899159A (en) * 2020-07-31 2020-11-06 北京百度网讯科技有限公司 Method, device, apparatus and storage medium for changing hairstyle
CN111899159B (en) * 2020-07-31 2023-12-22 北京百度网讯科技有限公司 Method, device, apparatus and storage medium for changing hairstyle
KR20230039491A (en) * 2021-09-13 2023-03-21 주식회사 미러로이드 Learning data generating apparatus and method for learning artificial neural network for virtual hair styling experience, and hair styling virtual experience apparatus and method using the same

Also Published As

Publication number Publication date
KR102193638B1 (en) 2020-12-23

Similar Documents

Publication Publication Date Title
KR102193638B1 (en) Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service
US11861936B2 (en) Face reenactment
US11625878B2 (en) Method, apparatus, and system generating 3D avatar from 2D image
US20200020173A1 (en) Methods and systems for constructing an animated 3d facial model from a 2d facial image
JP2018170005A (en) Virtual reality-based apparatus and method to generate three-dimensional (3d) human face model using image and depth data
JP2017059235A (en) Apparatus and method for adjusting brightness of image
CN107452049B (en) Three-dimensional head modeling method and device
KR20200014280A (en) An image processing apparatus, an image processing system, and an image processing method, and a program
US10911695B2 (en) Information processing apparatus, information processing method, and computer program product
KR20160041570A (en) Apparatus and method for generating montage, recording medium for performing the method
JP7278724B2 (en) Information processing device, information processing method, and information processing program
JP2001109913A (en) Picture processor, picture processing method, and recording medium recording picture processing program
US11282257B2 (en) Pose selection and animation of characters using video data and training techniques
US11477366B2 (en) Selfie setup and stock videos creation
WO2015017687A2 (en) Systems and methods for producing predictive images
WO2022047463A1 (en) Cross-domain neural networks for synthesizing image with fake hair combined with real image
WO2023066120A1 (en) Image processing method and apparatus, electronic device, and storage medium
US20220319231A1 (en) Facial synthesis for head turns in augmented reality content
JP2023517121A (en) IMAGE PROCESSING AND IMAGE SYNTHESIS METHOD, APPARATUS AND COMPUTER PROGRAM
JP2003030684A (en) Face three-dimensional computer graphic generation method and device, face three-dimensional computer graphic generation program and storage medium storing face three-dimensional computer graphic generation program
US9251570B1 (en) Smart image enhancements
CN118172490A (en) Digital person modeling method, device, equipment and storage medium
CN117078827A (en) Method, device and equipment for generating texture map
CN114742951A (en) Material generation method, image processing method, device, electronic device and storage medium
JP2010140093A (en) Image processing apparatus, image processing method and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant