KR102193638B1 - Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service - Google Patents
Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service Download PDFInfo
- Publication number
- KR102193638B1 KR102193638B1 KR1020170136037A KR20170136037A KR102193638B1 KR 102193638 B1 KR102193638 B1 KR 102193638B1 KR 1020170136037 A KR1020170136037 A KR 1020170136037A KR 20170136037 A KR20170136037 A KR 20170136037A KR 102193638 B1 KR102193638 B1 KR 102193638B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- image
- hair
- synthesized
- area
- Prior art date
Links
- 210000004209 hair Anatomy 0.000 title claims abstract description 148
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000004088 simulation Methods 0.000 title claims abstract description 18
- 231100000640 hair analysis Toxicity 0.000 claims abstract description 26
- 239000002131 composite material Substances 0.000 claims abstract description 11
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 37
- 238000003786 synthesis reaction Methods 0.000 claims description 37
- 210000001061 forehead Anatomy 0.000 claims description 11
- 230000002093 peripheral effect Effects 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 239000000203 mixture Substances 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명의 일 태양에 따르면, 헤어 스타일 시뮬레이션 서비스를 제공하는 방법으로서, 사용자 이미지에 포함되는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 형태 정보 및 색상 정보를 획득하는 단계, 상기 획득되는 색상 정보를 참조하여, 부분 헤어 샘플 이미지로부터 생성되는 합성 대상 부분 헤어 이미지의 색상을 결정하고, 상기 획득되는 형태 정보를 참조하여, 상기 합성 대상 부분 헤어 이미지가 상기 사용자 이미지에서 합성될 위치 및 상기 위치에서의 상기 합성 대상 부분 헤어 이미지의 크기를 결정하는 단계, 및 상기 사용자 이미지와 상기 합성 대상 부분 헤어 이미지를 합성하여 사용자에게 제공될 사용자 합성 이미지를 생성하는 단계를 포함하는 방법이 제공된다.According to an aspect of the present invention, a method of providing a hair style simulation service, comprising: acquiring shape information and color information on at least one of a user face area, a user hair area, and a background area included in a user image, the acquisition With reference to the color information, the color of the partial hair image to be synthesized is determined from the partial hair sample image, and the position where the partial hair image to be synthesized is to be synthesized in the user image is determined by referring to the obtained shape information. A method is provided that includes determining the size of the partial hair image to be synthesized at a location, and generating a user composite image to be provided to the user by synthesizing the user image and the partial hair image to be synthesized.
Description
본 발명은 헤어 스타일 시뮬레이션 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체에 관한 것이다.The present invention relates to a method, system, and non-transitory computer-readable recording medium for providing a hairstyle simulation service.
일반적으로, 커트, 파마 등 헤어 스타일링은 한번 하게 되면, 마음에 들지 않더라도 최소 몇 개월 동안 유지하면서 기다릴 수 밖에 없었다. 최근, 이와 관련하여 미용실에서 헤어 스타일링을 하기 전에 자신이 원하는 헤어 스타일이 자신의 얼굴에 어울리는지 사전에 합성해 볼 수 있는 다양한 기술들이 개발되고 있다.In general, once I do hair styling such as cuts and perms, I have to wait while keeping it for at least a few months, even if I don't like it. Recently, in this regard, various techniques are being developed that allow you to synthesize in advance whether a desired hairstyle suits your face before styling in a beauty salon.
이에 관한, 종래 기술의 일 예로서, 시뮬레이션의 대상이 되는 사용자의 사진 이미지를 입력 받는 사진 입력부, 해당 사용자로부터 헤어 스타일링의 종류 및 모발의 길이를 입력 받는 사용자 정보 입력부, 위의 사진 입력부로부터 입력 받은 사용자의 사진에 위의 사용자 정보 입력부로부터 입력 받은 헤어 스타일링 종류 및 모발의 길이를 적용하여 헤어 스타일 시뮬레이션 결과를 생성하는 헤어스타일 시뮬레이션부, 및 그 헤어 스타일 시뮬레이션부에서 생성된 헤어 스타일 시뮬레이션 결과를 해당 사용자에게 디스플레이하는 디스플레이부를 포함하는 헤어 스타일 시뮬레이션 장치가 소개된 바 있다.In this regard, as an example of the prior art, a photo input unit that receives a photographic image of a user to be simulated, a user information input unit that receives the type of hair styling and the length of hair from the user, and the above photo input unit. A hairstyle simulation unit that generates a hair style simulation result by applying the hair styling type and hair length input from the user information input unit above to the user's photo, and the hairstyle simulation result generated by the hair style simulation unit. A hair style simulation apparatus including a display unit that displays a display unit has been introduced.
하지만, 위와 같은 종래 기술을 비롯하여 지금까지 소개된 기술에 의하면, 기설정된 크기 및 색상의 가상의 헤어 이미지를 사용자 이미지 위에 단순히 겹쳐놓거나 덮어놓는 식으로 합성하였기 때문에, 합성된 이미지의 정확도 및 실제감은 떨어질 수 밖에 없었다. 특히, 자신의 헤어 이미지 일부분에 부분 헤어를 합성시키는 경우에는, 그 합성의 부자연스러움이 더욱 커졌다.However, according to the techniques introduced so far, including the prior art described above, since the virtual hair image of a preset size and color is simply overlaid or overlaid on the user image, the accuracy and realism of the synthesized image will be poor. I had to. In particular, in the case of synthesizing partial hair on a part of a hair image of one's own, the unnaturalness of the compositing becomes even greater.
본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.An object of the present invention is to solve all the problems of the prior art described above.
또한, 본 발명은, 사용자 이미지(구체적으로는, 사용자 이미지의 헤어 영역)에 부분 헤어 이미지를 정확하고 자연스럽게 합성하는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to accurately and naturally synthesize a partial hair image on a user image (specifically, a hair region of the user image).
또한, 본 발명은, 사용자 이미지에 부분 헤어 이미지를 합성함으로써, 새로운 스타일의 헤어 이미지를 생성하는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to generate a new style hair image by synthesizing a partial hair image with a user image.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.A typical configuration of the present invention for achieving the above object is as follows.
본 발명의 일 태양에 따르면, 헤어 스타일 시뮬레이션 서비스를 제공하는 방법으로서, 사용자 이미지에 포함되는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 형태 정보 및 색상 정보를 획득하는 단계, 상기 획득되는 색상 정보를 참조하여, 부분 헤어 샘플 이미지로부터 생성되는 합성 대상 부분 헤어 이미지의 색상을 결정하고, 상기 획득되는 형태 정보를 참조하여, 상기 합성 대상 부분 헤어 이미지가 상기 사용자 이미지에서 합성될 위치 및 상기 위치에서의 상기 합성 대상 부분 헤어 이미지의 크기를 결정하는 단계, 및 상기 사용자 이미지와 상기 합성 대상 부분 헤어 이미지를 합성하여 사용자에게 제공될 사용자 합성 이미지를 생성하는 단계를 포함하는 방법이 제공된다.According to an aspect of the present invention, a method of providing a hair style simulation service, comprising: acquiring shape information and color information on at least one of a user face area, a user hair area, and a background area included in a user image, the acquisition With reference to the color information, the color of the partial hair image to be synthesized is determined from the partial hair sample image, and the position where the partial hair image to be synthesized is to be synthesized in the user image is determined by referring to the obtained shape information. A method is provided that includes determining the size of the partial hair image to be synthesized at a location, and generating a user composite image to be provided to the user by synthesizing the user image and the partial hair image to be synthesized.
본 발명의 다른 태양에 따르면, 헤어 스타일 시뮬레이션 서비스를 제공하는 시스템으로서, 사용자 이미지에 포함되는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 형태 정보 및 색상 정보를 획득하는 정보 획득부, 상기 획득되는 색상 정보를 참조하여, 부분 헤어 샘플 이미지로부터 생성되는 합성 대상 부분 헤어 이미지의 색상을 결정하고, 상기 획득되는 형태 정보를 참조하여, 상기 합성 대상 부분 헤어 이미지가 상기 사용자 이미지에서 합성될 위치 및 상기 위치에서의 상기 합성 대상 부분 헤어 이미지의 크기를 결정하는 합성 대상 결정부, 및 상기 사용자 이미지와 상기 합성 대상 부분 헤어 이미지를 합성하여 사용자에게 제공될 사용자 합성 이미지를 생성하는 이미지 합성부를 포함하는 시스템이 제공된다.According to another aspect of the present invention, as a system for providing a hair style simulation service, an information acquisition unit that acquires shape information and color information on at least one of a user face area, a user hair area, and a background area included in a user image, With reference to the obtained color information, the color of the partial hair image to be synthesized is determined from the partial hair sample image, and the position to which the partial hair image to be synthesized is to be synthesized in the user image by referring to the obtained shape information. And a synthesis target determination unit configured to determine the size of the partial hair image to be synthesized at the location, and an image synthesis unit to generate a user synthesis image to be provided to the user by combining the user image and the partial hair image to be synthesized. The system is provided.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.In addition to this, another method for implementing the present invention, another system, and a non-transitory computer-readable recording medium for recording a computer program for executing the method are further provided.
본 발명에 의하면, 사용자 이미지(구체적으로는, 사용자 이미지의 헤어 영역)에 부분 헤어 이미지를 정확하고 자연스럽게 합성할 수 있게 된다.According to the present invention, it is possible to accurately and naturally synthesize a partial hair image on a user image (specifically, a hair region of the user image).
본 발명에 의하면, 사용자 이미지에 부분 헤어 이미지를 합성함으로써, 새로운 스타일의 헤어 이미지를 생성할 수 있게 된다.According to the present invention, by synthesizing a partial hair image with a user image, it is possible to create a hair image of a new style.
도 1은 본 발명의 일 실시예에 따른 헤어 스타일 시뮬레이션 서비스를 제공하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 서비스 제공 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 헤어 스타일 시뮬레이션 서비스가 제공되는 과정을 예시적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 사용자 얼굴 영역의 형태 정보 및 색상 정보가 사용자 이미지로부터 획득되는 과정을 예시적으로 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 합성 대상 이마 이미지가 사용자 이미지에 합성되는 과정을 예시적으로 나타내는 도면이다.1 is a view showing a schematic configuration of an entire system for providing a hair style simulation service according to an embodiment of the present invention.
2 is a diagram illustrating in detail the internal configuration of a service providing system according to an embodiment of the present invention.
3 is a diagram illustrating a process of providing a hair style simulation service according to an embodiment of the present invention.
4 is a diagram illustrating a process of obtaining shape information and color information of a user's face region from a user image according to an embodiment of the present invention.
5 is a diagram illustrating a process in which a forehead image to be combined is combined with a user image according to an embodiment of the present invention.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.DETAILED DESCRIPTION OF THE INVENTION The detailed description of the present invention to be described later refers to the accompanying drawings, which illustrate specific embodiments in which the present invention may be practiced. These embodiments are described in detail sufficient to enable those skilled in the art to practice the present invention. It is to be understood that the various embodiments of the present invention are different from each other, but need not be mutually exclusive. For example, specific shapes, structures, and characteristics described herein may be changed from one embodiment to another and implemented without departing from the spirit and scope of the present invention. In addition, it should be understood that the positions or arrangements of individual elements in each embodiment may be changed without departing from the spirit and scope of the present invention. Therefore, the detailed description to be described below is not made in a limiting sense, and the scope of the present invention should be taken as encompassing the scope claimed by the claims of the claims and all scopes equivalent thereto. Like reference numerals in the drawings indicate the same or similar elements over several aspects.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, various preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to enable those skilled in the art to easily implement the present invention.
전체 시스템의 구성Composition of the whole system
도 1은 본 발명의 일 실시예에 따른 헤어 스타일 시뮬레이션 서비스를 제공하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.1 is a view showing a schematic configuration of an entire system for providing a hair style simulation service according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은, 통신망(100), 서비스 제공 시스템(200) 및 사용자 디바이스(300)를 포함할 수 있다.As illustrated in FIG. 1, the entire system according to an embodiment of the present invention may include a
먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.First, the
예를 들면, 통신망(100)은 무선 데이터 통신망으로서, 와이파이(WiFi) 통신, 와이파이 다이렉트(WiFi-Direct) 통신, 롱텀 에볼루션(LTE; Long Term Evolution) 통신, 블루투스 통신(예를 들면, 저전력 블루투스(BLE; Bluetooth Low Energy) 통신), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방식을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.For example, the
다음으로, 본 발명의 일 실시예에 따른 서비스 제공 시스템(200)은 통신망(100)을 통하여 후술할 사용자 디바이스(300)와의 통신을 수행할 수 있고, 사용자 이미지에 포함되는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 형태 정보 및 색상 정보를 획득하고, 그 획득되는 색상 정보를 참조하여, 부분 헤어 샘플 이미지로부터 생성되는 합성 대상 부분 헤어 이미지의 색상을 결정하고, 위의 획득되는 형태 정보를 참조하여, 해당 합성 대상 부분 헤어 이미지가 위의 사용자 이미지에서 합성될 위치 및 그 위치에서의 해당 합성 대상 부분 헤어 이미지의 크기를 결정하고, 위의 사용자 이미지와 해당 합성 대상 부분 헤어 이미지를 합성하여 사용자에게 제공될 사용자 합성 이미지를 생성하는 기능을 수행할 수 있다.Next, the
한편, 본 발명의 일 실시예에 따르면, 이러한 사용자 이미지는, 사용자의 실제 이미지뿐만 아니라 사용자의 가상 이미지 또는 본 발명에 따른 서비스 제공 시스템(200)을 통해 합성되어 생성된 사용자의 이미지 등을 포함하는 개념일 수 있다.Meanwhile, according to an embodiment of the present invention, such a user image includes not only an actual image of the user, but also a virtual image of the user or an image of a user synthesized and generated through the
본 발명에 따른 서비스 제공 시스템(200)의 구성과 기능에 관하여는 이하의 상세한 설명을 통하여 자세하게 알아보기로 한다. 한편, 서비스 제공 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 서비스 제공 시스템(200)에 대하여 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 사용자 디바이스(300) 또는 다른 외부 시스템(미도시됨) 내에서 실현되거나 사용자 디바이스(300) 또는 다른 외부 시스템(미도시됨)에 포함될 수도 있음은 당업자에게 자명하다.The configuration and functions of the
다음으로, 본 발명의 일 실시예에 따른 사용자 디바이스(300)는 통신망(100)을 통해 서비스 제공 시스템(200)에 접속한 후 통신할 수 있도록 하는 기능을 포함하는 디지털 기기로서, 스마트폰, 태블릿 PC 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 휴대 가능한 디지털 기기라면 얼마든지 본 발명에 따른 사용자 디바이스(300)로서 채택될 수 있다.Next, the
한편, 본 발명의 일 실시예에 따르면, 사용자 디바이스(300)는, 본 발명에 따른 헤어 스타일 시뮬레이션 서비스를 지원하는 애플리케이션을 포함할 수 있다. 이와 같은 애플리케이션은 서비스 제공 시스템(200) 또는 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다.Meanwhile, according to an embodiment of the present invention, the
서비스 제공 시스템의 구성Configuration of service provision system
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 서비스 제공 시스템(200)의 내부 구성과 각 구성요소의 기능에 대하여 살펴보기로 한다.Hereinafter, the internal configuration of the
도 2는 본 발명의 일 실시예에 따른 서비스 제공 시스템(200)의 내부 구성을 상세하게 도시하는 도면이다.2 is a diagram showing in detail the internal configuration of a
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 서비스 제공 시스템(200)은, 정보 획득부(210), 합성 대상 결정부(220), 이미지 합성부(230), 통신부(240) 및 제어부(250)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 정보 획득부(210), 합성 대상 결정부(220), 이미지 합성부(230), 통신부(240) 및 제어부(250)는 그 중 적어도 일부가 외부의 시스템과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 서비스 제공 시스템(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 서비스 제공 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.As shown in FIG. 2, the
한편, 서비스 제공 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 서비스 제공 시스템(200)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 외부 시스템(미도시됨) 내에서 실현되거나 외부 시스템 내에 포함될 수도 있음은 당업자에게 자명하다.On the other hand, the
먼저, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자 이미지에 포함되는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 형태 정보 및 색상 정보를 획득할 수 있다. 본 발명의 일 실시예에 따른 형태 정보에는, 사용자 얼굴 영역, 사용자 헤어 영역 또는 배경 영역의 윤곽 좌표와 사용자 얼굴 영역, 사용자 헤어 영역 또는 배경 영역이 해당 사용자 이미지 내에서 기울어진 각도(또는 회전 각도) 등에 관한 정보가 포함될 수 있다. 또한, 본 발명의 일 실시예에 따른 색상 정보에는, 색조, 명도, 채도 및 조도 중 적어도 하나에 관한 정보가 포함될 수 있다.First, the
예를 들면, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 기설정된 얼굴 검출 알고리즘을 이용하여 사용자 이미지로부터 사용자 얼굴 영역 중 주요 특징 영역(예를 들면, 눈, 코, 입, 눈썹, 턱선, 이마 등)의 윤곽 좌표를 추출하고, 그 추출되는 윤곽 좌표에 기초하여 위의 주요 특징 영역이 해당 사용자 이미지 내에서 기울어진 각도(예를 들면, 사용자 이미지의 수평선 또는 수직선과 비교)를 산출함으로써, 사용자 얼굴 영역에 관한 형태 정보를 획득할 수 있다.For example, the
또한, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자 이미지로부터 추출되는 사용자 얼굴 영역의 윤곽 좌표에 기초하여 해당 사용자 얼굴 영역에 관한 비트맵 정보를 추출하고, 그 추출되는 비트맵 정보로부터 해당 사용자 얼굴 영역의 색조, 채도, 명도 및 조도 중 적어도 하나에 관한 정보(즉, 사용자 얼굴 영역에 관한 색상 정보)를 획득할 수 있다. 본 발명의 일 실시예에 따른 비트맵 정보는, 2차원 또는 3차원 사각 평면을 소정의 격자(grid)로 구분하고 그 위에 이미지가 표현되는 경우에, 0과 1로 표현된 격자에 관한 정보를 의미하는 개념일 수 있다. 한편, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자 얼굴 영역에 관한 비트맵 정보의 히스토그램(histogram) 역투영(backprojection)을 참조하여 해당 사용자 얼굴 영역의 피부색 분포도에 관한 정보를 획득할 수 있다.In addition, the
또한, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자 이미지로부터 추출되는 사용자 얼굴 영역의 윤곽 좌표로부터 소정 거리 이내의 주변 윤곽 좌표를 특정하고, 그 특정되는 주변 윤곽 좌표에 대한 에지 검출(edge detection)을 통해 사용자 헤어 영역의 윤곽 좌표를 추출함으로써, 사용자 헤어 영역에 관한 형태 정보를 획득할 수 있다. 또한, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자 이미지로부터 추출되는 사용자 헤어 영역의 윤곽 좌표에 기초하여 해당 사용자 이미지 내에서 헤어 영역이 기울어진 각도(예를 들면, 사용자 이미지의 수평선 또는 수직선과 비교)를 산출함으로써, 사용자 헤어 영역에 관한 형태 정보를 획득할 수도 있다. 한편, 본 발명의 일 실시예에 따른 에지는, 이미지의 밝기가 소정 수준 이상 변하는 영역을 의미하는 개념일 수 있다.In addition, the
또한, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 위의 사용자 헤어 영역의 윤곽 좌표에 기초하여 해당 사용자 헤어 영역에 관한 비트맵 정보를 추출하고, 그 추출되는 비트맵 정보로부터 해당 사용자 헤어 영역의 색조, 채도, 명도 및 조도 중 적어도 하나에 관한 정보(즉, 사용자 헤어 영역에 관한 색상 정보)를 획득할 수 있다.In addition, the
또한, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 위의 사용자 얼굴 영역 및 사용자 헤어 영역 이외의 영역을 배경 영역으로 특정할 수 있고, 그 특정되는 배경 영역에 관한 비트맵 정보로부터 해당 배경 영역의 색조, 채도, 명도 및 조도 중 적어도 하나에 관한 정보(즉, 배경 영역에 관한 색상 정보)를 획득할 수 있다.In addition, the
한편, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역의 명도에 기초하여 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역의 조도를 각각 추출할 수 있다. 또한, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역에 관한 비트맵 정보의 히스토그램을 참조하여 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역의 조도를 각각 추출할 수도 있다.Meanwhile, the
다음으로, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 정보 획득부(210)에 의해 획득되는 색상 정보를 참조하여, 부분 헤어 샘플 이미지로부터 생성되는 합성 대상 부분 헤어 이미지의 색상을 결정할 수 있다. 본 발명의 일 실시예에 따른 합성 대상 부분 헤어 이미지는 위의 획득되는 색상 정보 및 형태 정보를 참조하여 부분 샘플 이미지를 변형, 복제 또는 가공함으로써 생성되는 이미지일 수 있다.Next, the synthesis
예를 들면, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 색상 정보와 부분 헤어 샘플 이미지의 비트맵 정보를 비트 연산함으로써, 합성 대상 부분 헤어 이미지에 적용될 색상을 결정할 수 있다. 본 발명의 일 실시예에 따른 비트 연산에는, 비트 사이의 논리 연산, 산술 연산 등이 포함될 수 있다.For example, the synthesis
다른 예를 들면, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 합성 대상 부분 헤어 이미지가 사용자 이미지에서 합성될 위치의 색상 정보를 참조하여 해당 합성 대상 부분 헤어 이미지의 색상을 결정할 수 있다. 보다 상세하게는, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는 합성 대상 부분 헤어 이미지가 사용자 이미지에서 합성될 위치가 결정되면, 그 결정되는 위치(또는 그 위치로부터 소정 거리 이내)의 색상 정보에 기초하여 합성 대상 부분 헤어 이미지의 색상을 결정할 수 있다. 또한, 보다 상세하게는, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 합성 대상 부분 헤어 이미지가 사용자 이미지에서 합성될 위치가 결정되면, 해당 위치(또는 그 위치로부터 소정 거리 이내)의 색상 정보를 다른 색상 정보보다 우선하거나 가중하여 부분 헤어 샘플 이미지의 비트맵 이미지와 비트 연산되도록 함으로써, 합성 대상 부분 헤어 이미지의 색상 정보를 결정할 수 있다. 즉, 합성 대상 부분 헤어 이미지의 색상을 결정함에 있어서, 합성 대상 부분 헤어 이미지가 해당 사용자 이미지에서 합성될 위치의 색상 정보를 해당 사용자 영역의 다른 영역의 색상 정보보다 더 중요하게 취급하게 된다.For another example, the synthesis
한편, 본 발명의 일 실시예에 따르면, 합성 대상 결정부(220)는, 사용자 이미지에 포함되는 사용자 얼굴 영역의 조도에 기초하여 합성 대상 부분 헤어 이미지의 명도를 결정할 수 있다.Meanwhile, according to an embodiment of the present invention, the synthesis
예를 들면, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 사용자 얼굴 영역의 조도가 높을수록 합성 대상 부분 헤어 이미지에 적용될 명도가 소정 수준 이상이 되도록 결정하고, 사용자 얼굴 영역의 조도가 낮을수록 합성 대상 부분 헤어 이미지에 적용될 명도가 소정 수준 이하가 되도록 결정할 수 있다.For example, the synthesis
또한, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 정보 획득부(210)에 의해 획득되는 형태 정보를 참조하여, 합성 대상 부분 헤어 이미지가 사용자 이미지에서 합성될 위치 및 그 위치에서의 해당 합성 대상 부분 헤어 이미지의 크기를 결정할 수 있다.In addition, the synthesis
예를 들면, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 사용자 얼굴 영역 및 사용자 헤어 영역 중 적어도 하나의 윤곽 좌표를 참조하여 합성 대상 부분 헤어 이미지가 사용자 이미지에서 합성될 위치의 좌표를 결정하고, 그 결정되는 좌표로부터 소정 거리 이내의 주변 좌표에 대한 에지 검출 결과값에 기초하여 합성 대상 부분 헤어 이미지의 크기를 결정할 수 있다.For example, the synthesis
또한, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 부분 헤어 샘플 이미지의 유형을 더 참조하여, 합성 대상 부분 헤어 이미지의 색상, 위치 및 크기 중 적어도 하나를 결정할 수 있다. 본 발명의 일 실시예에 따른 부분 헤어 샘플 이미지의 유형은, 부분 헤어의 길이(예를 들면, 단발, 장발 등), 부분 헤어의 머리카락 형태(예를 들면, 펌, 스트레이트 등), 부분 헤어의 사용 형태(예를 들면, 앞머리, 끝머리 등) 등을 포함하는 것일 수 있다.In addition, the synthesis
예를 들면, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 부분 헤어 샘플 이미지의 유형을 참조하여 합성 대상 부분 헤어 이미지가 사용자 이미지에서 합성될 위치를 추정하고, 그 추정되는 위치 주변에 존재하는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나의 윤곽 좌표에 기초하여 보정함으로써, 합성 대상 부분 헤어 이미지의 위치 및 크기를 결정할 수 있다. 한편, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는 머신 러닝(machine learning) 또는 딥 러닝(deep learning)을 통해 획득되는 헤어 샘플 이미지의 유형에 따른 합성 위치 패턴을 참조할 수도 있다.For example, the synthesis
다른 예를 들면, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 부분 헤어 샘플 이미지의 유형을 참조하여 합성 대상 부분 헤어 이미지에 적용될 명도를 결정할 수 있다. 보다 상세하게는, 본 발명의 일 실시예에 따른 합성 대상 결정부(220)는, 부분 헤어 샘플 이미지의 유형이 펌 또는 웨이브 유형이면, 합성 대상 부분 헤어 이미지에 적용될 명도가 소정 수준 이상이 되도록 결정하고, 부분 헤어 샘플 이미지의 유형이 단발 또는 스트레이트이면, 합성 대상 부분 헤어 이미지에 적용될 명도가 소정 수준 이하가 되도록 결정할 수 있다.For another example, the
다음으로, 본 발명의 일 실시예에 따른 이미지 합성부(230)는, 사용자 이미지와 합성 대상 부분 헤어 이미지를 합성하여 사용자에게 제공될 사용자 합성 이미지를 생성할 수 있다.Next, the
예를 들면, 본 발명의 일 실시예에 따른 이미지 합성부(230)는, 합성 대상 결정부(220)에 의해 결정되는 합성 대상 부분 헤어 이미지의 색상, 위치 및 크기로 해당 사용자 이미지에 위치시킨 후에 합성 대상 부분 헤어 이미지 및 해당 사용자 이미지를 함께 렌더링함으로써 사용자 합성 이미지를 생성할 수 있다.For example, the
한편, 본 발명의 일 실시예에 따른 이미지 합성부(230)는, 합성 대상 결정부(220)에 의해 결정되는 합성 대상 부분 헤어 이미지의 색상, 위치 및 크기 중 적어도 하나가 사용자의 조작에 의해 더 수정되도록 할 수 있다. 본 발명에 일 실시예에 따르면, 이미지 합성부(230)는, 사용자에 의해 합성 대상 부분 헤어 이미지의 색상, 위치 및 크기 중 적어도 하나가 수정되는 것을 지원하기 위한 사용자 인터페이스를 해당 사용자에게 제공할 수 있다.On the other hand, the
한편, 본 발명의 일 실시예에 따른 이미지 합성부(230)는, 위의 사용자 합성 이미지에 관한 파일 또는 링크(link)가 사용자 디바이스(300) 또는 외부 디바이스(미도시됨)에게 저장 또는 전송되도록 할 수 있다. 본 발명의 일 실시예에 따르면, 이러한 파일 유형에는 이미지 파일(jpg, gif, bmp, tif 등), 동영상 파일(avi, mp4, wmv 등) 등이 포함될 수 있지만, 파일 유형은 반드시 위에서 열거된 것에 한정되지 않고 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다.Meanwhile, the
다음으로, 본 발명의 일 실시예에 따른 통신부(240)는 정보 획득부(210), 합성 대상 결정부(220) 및 이미지 합성부(230)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.Next, the
마지막으로, 본 발명의 일 실시예에 따른 제어부(250)는 정보 획득부(210), 합성 대상 결정부(220), 이미지 합성부(230) 및 통신부(240) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(250)는 서비스 제공 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 서비스 제공 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 정보 획득부(210), 합성 대상 결정부(220), 이미지 합성부(230) 및 통신부(240)에서 각각 고유 기능을 수행하도록 제어할 수 있다.Finally, the
도 3은 본 발명의 일 실시예에 따른 헤어 스타일 시뮬레이션 서비스가 제공되는 과정을 예시적으로 나타내는 도면이다.3 is a diagram illustrating a process of providing a hair style simulation service according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 사용자 얼굴 영역의 형태 정보 및 색상 정보가 사용자 이미지로부터 획득되는 과정을 예시적으로 나타내는 도면이다.4 is a diagram illustrating a process of obtaining shape information and color information of a user's face region from a user image according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따른 합성 대상 이마 이미지가 사용자 이미지에 합성되는 과정을 예시적으로 나타내는 도면이다.5 is a diagram illustrating a process in which a forehead image to be combined is combined with a user image according to an embodiment of the present invention.
도 3 내지 도 5를 참조하면, 본 발명의 일 실시예에 따른 사용자가 헤어 스타일 시뮬레이션을 위해 자신의 이미지를 사용자 디바이스(300)를 통해 서비스 제공 시스템(200)에게 제공하는 상황을 가정해볼 수 있다.Referring to FIGS. 3 to 5, a situation in which a user provides his or her image to the
먼저, 본 발명의 일 실시예에 따르면, 위의 제공되는 사용자 이미지(310)에 포함되는 사용자 얼굴 영역(311), 사용자 헤어 영역(312) 및 배경 영역(313) 중 적어도 하나에 관한 형태 정보 및 색상 정보가 획득될 수 있다. 예를 들면, 사용자 이미지(310)로부터 사용자 얼굴 영역 중 주요 특징 영역의 윤곽 좌표(410)가 추출될 수 있고, 그 추출되는 윤곽 좌표의 내부 영역에 대한 비트맵 정보의 히스토그램 역투영(420)을 참조하여 사용자 얼굴 영역의 피부색 분포도에 관한 정보가 획득될 수도 있다.First, according to an embodiment of the present invention, shape information on at least one of the
그 다음에, 본 발명의 일 실시예에 따르면, 위의 획득되는 색상 정보를 참조하여 부분 헤어 샘플 이미지(320)로부터 생성되는 합성 대상 부분 헤어 이미지의 색상(330)이 결정될 수 있다.Then, according to an embodiment of the present invention, the
또한, 본 발명의 일 실시예에 따르면, 위의 획득되는 색상 정보를 참조하여 이마 샘플 이미지(520)로부터 생성되는 합성 대상 이마 이미지의 색상 정보(530)가 결정될 수 있다.In addition, according to an embodiment of the present invention,
그 다음에, 본 발명의 일 실시예에 따르면, 위의 획득되는 형태 정보를 참조하여 합성 대상 부분 헤어 이미지가 사용자 이미지(310)에서 합성될 위치 및 그 위치에서의 합성 대상 부분 헤어 이미지의 크기가 결정(340)될 수 있다.Then, according to an embodiment of the present invention, the position where the partial hair image to be synthesized is to be synthesized in the
또한, 본 발명의 일 실시예에 따르면, 위의 획득되는 형태 정보를 참조하여 합성 대상 이마 이미지가 사용자 이미지(550)에서 합성될 위치 및 그 위치에서의 합성 대상 이마 이미지의 크기가 결정(540)될 수 있다.In addition, according to an embodiment of the present invention, a position at which the forehead image to be synthesized is to be synthesized in the
그 다음에, 본 발명의 일 실시예에 따르면, 위의 결정되는 합성 대상 부분 헤어 이미지 또는 합성 대상 이마 이미지의 색상, 위치 및 크기 중 적어도 하나가 해당 사용자의 조작에 의해 수정될 수 있다.Then, according to an embodiment of the present invention, at least one of the color, position, and size of the determined partial hair image to be synthesized or the forehead image to be synthesized may be modified by manipulation of a corresponding user.
그 다음에, 본 발명의 일 실시예에 따르면, 위의 사용자 이미지(310)와 위의 합성 대상 부분 헤어 이미지 또는 위의 합성 대상 이마 이미지를 합성하여 해당 사용자에게 제공될 사용자 합성 이미지가 생성(350, 550)될 수 있다.Then, according to an embodiment of the present invention, a user composite image to be provided to a corresponding user is generated by combining the
그 다음에, 본 발명의 일 실시예에 따르면, 위의 사용자 합성 이미지가 이미지 파일, 동영상 파일 또는 링크의 형태로 소셜 네트워크(SNS; Social Network Service) 등을 통해 다른 사용자에게 전송될 수 있다.Then, according to an embodiment of the present invention, the above user composite image may be transmitted to other users through a social network (SNS) or the like in the form of an image file, a video file, or a link.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.The embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded in the computer-readable recording medium may be specially designed and configured for the present invention or may be known and usable to those skilled in the computer software field. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magnetic-optical media such as floptical disks. medium), and a hardware device specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of the program instructions include not only machine language codes such as those produced by a compiler but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device can be changed to one or more software modules to perform the processing according to the present invention, and vice versa.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.In the above, the present invention has been described by specific matters such as specific elements and limited embodiments and drawings, but this is provided only to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. Anyone with ordinary knowledge in the technical field to which the invention belongs can make various modifications and changes from these descriptions.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention is limited to the above-described embodiments and should not be defined, and all ranges equivalent to or equivalently changed from the claims to be described later as well as the claims to be described later are the scope of the spirit of the present invention. It will be said to belong to.
100: 통신망
200: 서비스 제공 시스템
210: 정보 획득부
220: 합성 대상 결정부
230: 이미지 합성부
240: 통신부
250: 제어부
300: 사용자 디바이스100: communication network
200: service provision system
210: information acquisition unit
220: synthesis target determination unit
230: image composition unit
240: communication department
250: control unit
300: user device
Claims (12)
사용자 이미지에 포함되는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 형태 정보 및 색상 정보를 획득하는 단계,
상기 획득되는 색상 정보를 참조하여, 부분 헤어 샘플 이미지로부터 생성되는 합성 대상 부분 헤어 이미지의 색상을 결정하고, 상기 획득되는 형태 정보를 참조하여, 상기 합성 대상 부분 헤어 이미지가 상기 사용자 이미지에서 합성될 위치를 결정하고, 상기 위치에서의 상기 합성 대상 부분 헤어 이미지의 크기 및 각도를 결정하는 단계, 및
상기 사용자 이미지와 상기 합성 대상 부분 헤어 이미지를 합성하여 사용자에게 제공될 사용자 합성 이미지를 생성하는 단계를 포함하고,
상기 형태 정보는 상기 사용자 얼굴 영역의 윤곽 좌표, 상기 사용자 헤어 영역의 윤곽 좌표 및 상기 사용자 배경 영역의 윤곽 좌표 중 적어도 하나와 상기 사용자 얼굴 영역이 상기 사용자 이미지 내에서 기울어진 각도, 상기 사용자 헤어 영역이 상기 사용자 이미지 내에서 기울어진 각도 및 상기 사용자 배경 영역이 상기 사용자 이미지 내에서 기울어진 각도 중 적어도 하나를 포함하고,
상기 획득 단계에서, 기설정된 얼굴 검출 알고리즘을 이용하여 상기 사용자 이미지로부터 상기 사용자 얼굴 영역 중 주요 특징 영역의 윤곽 좌표를 추출하고, 상기 추출되는 윤곽 좌표에 기초하여 상기 주요 특징 영역이 상기 사용자 이미지 내에서 기울어진 각도를 산출함으로써 상기 사용자 얼굴 영역에 관한 형태 정보를 획득하고,
상기 획득 단계에서, 상기 사용자 이미지로부터 추출되는 상기 사용자 얼굴 영역의 윤곽 좌표로부터 소정 거리 이내의 주변 윤곽 좌표를 특정하고, 상기 특정되는 주변 윤곽 좌표에 대한 에지 검출(edge detection)을 통해 상기 사용자 헤어 영역의 윤곽 좌표를 추출하고, 상기 추출되는 사용자 헤어 영역의 윤곽 좌표에 기초하여 상기 사용자 이미지 내에서 상기 헤어 영역이 기울어진 각도를 산출함으로써 상기 사용자 헤어 영역에 관한 형태 정보를 획득하고,
상기 결정 단계에서, 상기 부분 헤어 샘플 이미지의 유형을 더 참조하여, 상기 합성 대상 부분 헤어 이미지의 색상, 위치 및 크기 중 적어도 하나가 결정되고,
상기 합성 대상 부분 헤어 이미지는 상기 사용자 헤어 영역의 일부만 포함하여 합성되고,
상기 부분 헤어 샘플 이미지의 유형은, 상기 부분 헤어 샘플 이미지의 길이, 형태 및 사용 형태를 포함하고,
상기 결정되는 위치는, 상기 부분 헤어 샘플 이미지의 유형을 참조하여 상기 합성 대상 부분 헤어 이미지가 상기 사용자 이미지에서 합성될 위치를 추정하고, 상기 추정되는 위치 주변에 존재하는 상기 사용자 얼굴 영역 및 상기 사용자 헤어 영역 중 적어도 하나의 윤곽 좌표를 참조하여 결정되고,
상기 결정되는 크기는 상기 결정되는 위치의 좌표로부터 소정 거리 이내의 주변 좌표에 대한 에지 검출 결과값에 기초하여 결정되고,
상기 결정되는 각도는 상기 산출되는 상기 주요 특징 영역이 상기 사용자 이미지 내에서 기울어진 각도 및 상기 산출되는 상기 헤어 영역이 기울어진 각도를 참조하여 결정되는
방법.As a method of providing a hair style simulation service,
Obtaining shape information and color information on at least one of a user face area, a user hair area, and a background area included in the user image,
With reference to the obtained color information, the color of the partial hair image to be synthesized is determined from the partial hair sample image, and the position to which the partial hair image to be synthesized is to be synthesized in the user image by referring to the obtained shape information. And determining the size and angle of the partial hair image to be synthesized at the location, and
Comprising the step of synthesizing the user image and the partial hair image to be synthesized to generate a user composite image to be provided to the user,
The shape information includes at least one of the contour coordinates of the user's face area, the contour coordinates of the user hair area, and the contour coordinates of the user background area, the angle at which the user's face area is inclined within the user image, and the user hair area Including at least one of an inclined angle in the user image and an angle in which the user background area is inclined in the user image,
In the obtaining step, contour coordinates of the main feature area among the user face areas are extracted from the user image using a preset face detection algorithm, and the main feature area is within the user image based on the extracted contour coordinates. Obtaining shape information on the user's face area by calculating an inclined angle,
In the obtaining step, a peripheral contour coordinate within a predetermined distance from the contour coordinate of the user's face region extracted from the user image is specified, and the user hair region through edge detection of the specified peripheral contour coordinate Extracting the contour coordinates of and calculating the angle at which the hair region is inclined in the user image based on the contour coordinates of the extracted user hair region to obtain shape information on the user hair region,
In the determining step, by further referring to the type of the partial hair sample image, at least one of the color, position, and size of the partial hair image to be synthesized is determined,
The partial hair image to be synthesized is synthesized including only a part of the user's hair region,
The type of the partial hair sample image includes a length, a shape and a usage form of the partial hair sample image,
The determined position is based on the type of the partial hair sample image to estimate a position at which the partial hair image to be synthesized is to be synthesized in the user image, and the user face region and the user hair existing around the estimated position. It is determined by referring to the contour coordinate of at least one of the regions
The determined size is determined based on an edge detection result value for a peripheral coordinate within a predetermined distance from the coordinate of the determined location,
The determined angle is determined by referring to an angle in which the calculated main feature area is inclined in the user image and the calculated angle in which the hair area is inclined.
Way.
상기 색상 정보에는, 색조, 채도, 명도 및 조도 중 적어도 하나가 포함되는
방법.The method of claim 1,
The color information includes at least one of hue, saturation, brightness, and illuminance.
Way.
상기 획득 단계에서, 상기 색상 정보는, 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 비트맵 정보로부터 추출되는
방법.The method of claim 1,
In the obtaining step, the color information is extracted from bitmap information on at least one of a user face area, a user hair area, and a background area.
Way.
상기 결정 단계에서, 상기 획득되는 색상 정보 및 상기 부분 헤어 샘플 이미지의 비트맵 정보 사이의 비트 연산에 기초하여 상기 합성 대상 부분 헤어 이미지의 색상을 결정하는
방법.The method of claim 1,
In the determining step, determining a color of the partial hair image to be synthesized based on a bit operation between the obtained color information and the bitmap information of the partial hair sample image
Way.
상기 결정 단계에서, 상기 합성 대상 부분 헤어 이미지가 상기 사용자 이미지에서 합성될 위치의 색상 정보를 참조하여 상기 합성 대상 부분 헤어 이미지의 색상을 결정하는
방법.The method of claim 1,
In the determining step, determining a color of the partial hair image to be synthesized by referring to color information of a position where the partial hair image to be synthesized is to be synthesized in the user image
Way.
상기 결정 단계에서, 상기 사용자 얼굴 영역의 조도에 기초하여 상기 합성 대상 부분 헤어 이미지의 명도가 결정되는
방법.The method of claim 2,
In the determining step, the brightness of the partial hair image to be synthesized is determined based on the illuminance of the user face area.
Way.
상기 생성 단계에서, 상기 결정되는 합성 대상 부분 헤어 이미지의 색상, 위치 및 크기 중 적어도 하나가 상기 사용자의 조작에 의해 수정되는
방법.The method of claim 1,
In the generating step, at least one of the determined color, position, and size of the partial hair image to be combined is modified by the user's manipulation.
Way.
상기 생성 단계에서, 이마 샘플 이미지로부터 생성되는 합성 대상 이마 이미지가 상기 사용자 이미지에 더 합성되는
방법.The method of claim 1,
In the generating step, the forehead image to be synthesized, which is generated from the forehead sample image, is further synthesized with the user image.
Way.
상기 사용자 합성 이미지에 관한 파일 또는 링크를 사용자 디바이스 또는 외부 디바이스에게 전송하는 단계를 더 포함하는
방법.The method of claim 1,
Further comprising the step of transmitting the file or link related to the user composite image to a user device or an external device
Way.
사용자 이미지에 포함되는 사용자 얼굴 영역, 사용자 헤어 영역 및 배경 영역 중 적어도 하나에 관한 형태 정보 및 색상 정보를 획득하는 정보 획득부,
상기 획득되는 색상 정보를 참조하여, 부분 헤어 샘플 이미지로부터 생성되는 합성 대상 부분 헤어 이미지의 색상을 결정하고, 상기 획득되는 형태 정보를 참조하여, 상기 합성 대상 부분 헤어 이미지가 상기 사용자 이미지에서 합성될 위치를 결정하고, 상기 위치에서의 상기 합성 대상 부분 헤어 이미지의 크기 및 각도를 결정하는 합성 대상 결정부, 및
상기 사용자 이미지와 상기 합성 대상 부분 헤어 이미지를 합성하여 사용자에게 제공될 사용자 합성 이미지를 생성하는 이미지 합성부를 포함하고,
상기 형태 정보는 상기 사용자 얼굴 영역의 윤곽 좌표, 상기 사용자 헤어 영역의 윤곽 좌표 및 상기 사용자 배경 영역의 윤곽 좌표 중 적어도 하나와 상기 사용자 얼굴 영역이 상기 사용자 이미지 내에서 기울어진 각도, 상기 사용자 헤어 영역이 상기 사용자 이미지 내에서 기울어진 각도 및 상기 사용자 배경 영역이 상기 사용자 이미지 내에서 기울어진 각도 중 적어도 하나를 포함하고,
상기 정보 획득부에서, 기설정된 얼굴 검출 알고리즘을 이용하여 상기 사용자 이미지로부터 상기 사용자 얼굴 영역 중 주요 특징 영역의 윤곽 좌표를 추출하고, 상기 추출되는 윤곽 좌표에 기초하여 상기 주요 특징 영역이 상기 사용자 이미지 내에서 기울어진 각도를 산출함으로써 상기 사용자 얼굴 영역에 관한 형태 정보를 획득하고,
상기 정보 획득부에서, 상기 사용자 이미지로부터 추출되는 상기 사용자 얼굴 영역의 윤곽 좌표로부터 소정 거리 이내의 주변 윤곽 좌표를 특정하고, 상기 특정되는 주변 윤곽 좌표에 대한 에지 검출(edge detection)을 통해 상기 사용자 헤어 영역의 윤곽 좌표를 추출하고, 상기 추출되는 사용자 헤어 영역의 윤곽 좌표에 기초하여 상기 사용자 이미지 내에서 상기 헤어 영역이 기울어진 각도를 산출함으로써 상기 사용자 헤어 영역에 관한 형태 정보를 획득하고,
상기 합성 대상 결정부에서, 상기 부분 헤어 샘플 이미지의 유형을 더 참조하여, 상기 합성 대상 부분 헤어 이미지의 색상, 위치 및 크기 중 적어도 하나를 결정하고,
상기 합성 대상 부분 헤어 이미지는 상기 사용자 헤어 영역의 일부만 포함하여 합성되고,
상기 부분 헤어 샘플 이미지의 유형은, 상기 부분 헤어 샘플 이미지의 길이, 형태 및 사용 형태를 포함하고,
상기 결정되는 위치는, 상기 부분 헤어 샘플 이미지의 유형을 참조하여 상기 합성 대상 부분 헤어 이미지가 상기 사용자 이미지에서 합성될 위치를 추정하고, 상기 추정되는 위치 주변에 존재하는 상기 사용자 얼굴 영역 및 상기 사용자 헤어 영역 중 적어도 하나의 윤곽 좌표를 참조하여 결정되고,
상기 결정되는 크기는 상기 결정되는 위치의 좌표로부터 소정 거리 이내의 주변 좌표에 대한 에지 검출 결과값에 기초하여 결정되고,
상기 결정되는 각도는 상기 산출되는 상기 주요 특징 영역이 상기 사용자 이미지 내에서 기울어진 각도 및 상기 산출되는 상기 헤어 영역이 기울어진 각도를 참조하여 결정되는
시스템.As a system that provides hair style simulation service,
An information acquisition unit that acquires shape information and color information on at least one of a user face area, a user hair area, and a background area included in the user image,
With reference to the obtained color information, the color of the partial hair image to be synthesized is determined from the partial hair sample image, and the position to which the partial hair image to be synthesized is to be synthesized in the user image by referring to the obtained shape information. And a synthesis target determination unit configured to determine the size and angle of the partial hair image to be synthesized at the position, and
An image synthesizing unit for synthesizing the user image and the partial hair image to be combined to generate a user composite image to be provided to the user,
The shape information includes at least one of the contour coordinates of the user's face area, the contour coordinates of the user hair area, and the contour coordinates of the user background area, the angle at which the user's face area is inclined within the user image, and the user hair area Including at least one of an inclined angle in the user image and an angle in which the user background area is inclined in the user image,
The information acquisition unit extracts contour coordinates of the main feature area of the user face area from the user image using a preset face detection algorithm, and the main feature area is in the user image based on the extracted contour coordinates. Obtaining shape information on the user face area by calculating the inclined angle at,
In the information acquisition unit, a peripheral contour coordinate within a predetermined distance from the contour coordinate of the user's face region extracted from the user image is specified, and the user's hair through edge detection of the specified peripheral contour coordinate. Extracting the contour coordinates of the region, and calculating the angle at which the hair region is inclined in the user image based on the contour coordinates of the extracted user hair region to obtain shape information on the user hair region,
In the synthesis target determination unit, by further referring to the type of the partial hair sample image, at least one of a color, a position, and a size of the synthesis target partial hair image is determined,
The partial hair image to be synthesized is synthesized including only a part of the user's hair region,
The type of the partial hair sample image includes a length, a shape and a usage form of the partial hair sample image,
The determined position is based on the type of the partial hair sample image to estimate a position at which the partial hair image to be synthesized is to be synthesized in the user image, and the user face region and the user hair existing around the estimated position. It is determined by referring to the contour coordinates of at least one of the regions,
The determined size is determined based on an edge detection result value for a peripheral coordinate within a predetermined distance from the coordinate of the determined location,
The determined angle is determined by referring to an angle in which the calculated main feature area is inclined in the user image and the calculated angle in which the hair area is inclined.
system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170136037A KR102193638B1 (en) | 2017-10-19 | 2017-10-19 | Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170136037A KR102193638B1 (en) | 2017-10-19 | 2017-10-19 | Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190043925A KR20190043925A (en) | 2019-04-29 |
KR102193638B1 true KR102193638B1 (en) | 2020-12-23 |
Family
ID=66282480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170136037A KR102193638B1 (en) | 2017-10-19 | 2017-10-19 | Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102193638B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102471099B1 (en) | 2022-04-27 | 2022-11-25 | 주식회사 넵스 | Storage Furniture |
KR20230115688A (en) | 2022-01-27 | 2023-08-03 | 주식회사 매치 | Method and apparatus for providing wig information and record media recorded program for realizing the same |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200121182A (en) | 2019-04-15 | 2020-10-23 | 삼성전자주식회사 | Display apparatus consisting a wall display and control method thereof |
CN111127591B (en) * | 2019-12-24 | 2023-08-08 | 腾讯科技(深圳)有限公司 | Image hair dyeing processing method, device, terminal and storage medium |
KR102284305B1 (en) * | 2020-01-20 | 2021-07-30 | 김규민 | Hair style composition system and method the same |
CN111899159B (en) * | 2020-07-31 | 2023-12-22 | 北京百度网讯科技有限公司 | Method, device, apparatus and storage medium for changing hairstyle |
KR102512598B1 (en) * | 2021-09-13 | 2023-03-23 | 주식회사 미러로이드 | Learning data generating apparatus and method for learning artificial neural network for virtual hair styling experience, and hair styling virtual experience apparatus and method using the same |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005321986A (en) * | 2004-05-07 | 2005-11-17 | Pioneer Electronic Corp | Hairstyle proposal system, hairstyle proposal method and computer program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100777787B1 (en) * | 2004-03-18 | 2007-11-22 | 주식회사 뷰티비지 | System and method for electronic hair cordination |
KR100791034B1 (en) * | 2004-09-02 | 2008-01-03 | (주)제니텀 엔터테인먼트 컴퓨팅 | Method of Hair-Style Shaping based-on Face Recognition and apparatus thereof |
US7860280B2 (en) * | 2006-06-09 | 2010-12-28 | Samsung Electronics Co., Ltd. | Facial feature detection method and device |
KR20120037712A (en) * | 2010-10-12 | 2012-04-20 | 에스케이플래닛 주식회사 | Imaginary beauty experience service system and method |
-
2017
- 2017-10-19 KR KR1020170136037A patent/KR102193638B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005321986A (en) * | 2004-05-07 | 2005-11-17 | Pioneer Electronic Corp | Hairstyle proposal system, hairstyle proposal method and computer program |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230115688A (en) | 2022-01-27 | 2023-08-03 | 주식회사 매치 | Method and apparatus for providing wig information and record media recorded program for realizing the same |
KR102471099B1 (en) | 2022-04-27 | 2022-11-25 | 주식회사 넵스 | Storage Furniture |
Also Published As
Publication number | Publication date |
---|---|
KR20190043925A (en) | 2019-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102193638B1 (en) | Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service | |
US11625878B2 (en) | Method, apparatus, and system generating 3D avatar from 2D image | |
US11861936B2 (en) | Face reenactment | |
US20200020173A1 (en) | Methods and systems for constructing an animated 3d facial model from a 2d facial image | |
US10599914B2 (en) | Method and apparatus for human face image processing | |
KR101896137B1 (en) | Generation of avatar reflecting player appearance | |
CN108346171B (en) | Image processing method, device, equipment and computer storage medium | |
CN107452049B (en) | Three-dimensional head modeling method and device | |
US11477366B2 (en) | Selfie setup and stock videos creation | |
WO2015017687A2 (en) | Systems and methods for producing predictive images | |
CN114841853A (en) | Image processing method, device, equipment and storage medium | |
KR102459851B1 (en) | Device and method to adjust brightness of image | |
KR102089473B1 (en) | Method and device for editing facial model | |
CN109325929A (en) | Image processing method and electronic equipment | |
CN113223128B (en) | Method and apparatus for generating image | |
KR100777787B1 (en) | System and method for electronic hair cordination | |
US9563940B2 (en) | Smart image enhancements | |
CN108010039B (en) | Video character decorating method and device based on self-adaptive threshold segmentation | |
JP7514972B1 (en) | Information processing system, program, and information processing method | |
KR20110019159A (en) | Hair styling demo system and method | |
WO2021256319A1 (en) | Information processing device, information processing method, and recording medium | |
CN104765932A (en) | Method and device for establishing head model | |
CN114742951A (en) | Material generation method, image processing method, device, electronic device and storage medium | |
JP5207941B2 (en) | Image processing apparatus, image processing method, and program | |
CN117769723A (en) | Augmented reality cosmetic design filter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |