KR101997702B1 - 3D simulation system for hair-styling - Google Patents
3D simulation system for hair-styling Download PDFInfo
- Publication number
- KR101997702B1 KR101997702B1 KR1020170148599A KR20170148599A KR101997702B1 KR 101997702 B1 KR101997702 B1 KR 101997702B1 KR 1020170148599 A KR1020170148599 A KR 1020170148599A KR 20170148599 A KR20170148599 A KR 20170148599A KR 101997702 B1 KR101997702 B1 KR 101997702B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- hair
- virtual
- data
- user
- Prior art date
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 19
- 210000003128 head Anatomy 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 230000008921 facial expression Effects 0.000 claims description 4
- 210000001061 forehead Anatomy 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G06K9/00221—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 실시간으로 촬영된 사용자의 얼굴영상에서 실제머리모습을 제거하고 가상머리모습으로 변경되는 시뮬레이션 영상을 실시간으로 디스플레이하는 가상 헤어스타일 피팅미러 장치 시스템에 있어서, 상기 가상 헤어스타일 피팅미러 장치의 시스템은 실제머리모습을 실시간으로 촬영한 사용자의 영상정보데이터를 획득하고, 사용자가 있는 장소의 배경정보데이터를 미리 획득하며, 상기 사용자가 원하는 가상머리모습의 가상머리모습정보데이터를 통해, 상기 사용자의 실제머리모습데이터를 대체하는 가상머리모습 착용데이터를 생성하여, 상기 영상정보데이터에 상기 실제머리모습을 대신해 상기 가상머리모습 시뮬레이션이 가능하도록하되, 상기 실제머리모습 정보데이터와 상기 가상머리모습 정보데이터를 비교하여, 상기 가상머리모습 정보데이터의 범위를 벗어나는 상기 실제머리모습 정보데이터에 사용자의 얼굴정보데이터나 상기 배경정보데이터로 대체하여 처리함으로써, 상기 사용자의 실제머리모습과 관계없이 가상머리모습을 한 것 같은 시뮬레이션이 가능하도록 구성된다.The present invention provides a virtual hairstyle fitting mirror device system for removing a real hair from a face image of a user photographed in real time and displaying a simulation image that is changed to a virtual hair in real time, the system of the virtual hairstyle fitting mirror device. Acquires the image information data of the user who photographed the actual hair in real time, obtains the background information data of the place where the user is located, and through the virtual hair information information data of the virtual hair desired by the user, Generate virtual hair wearing data that replaces actual hair data, so that the virtual hair simulation can be performed in place of the actual hair in the image information data, but the actual hair information data and the virtual hair information data Compared to the virtual hair By replacing the actual head information data outside the scope of the information data with the user's face information data or the background information data, the virtual hair looks irrespective of the user's actual hair. do.
Description
본 발명은 가상헤어스타일 피팅미러 장치 및 시스템에 관한 것으로, 보다 상세하게는 실시간으로 촬영된 사용자의 얼굴영상에서 실제머리모습을 제거하고 가상머리모습으로 변경되는 시뮬레이션 영상을 실시간으로 디스플레이하는 가상 헤어스타일 피팅미러 장치 및 시스템에 관한 것이다.The present invention relates to a virtual hair style fitting mirror apparatus and system, and more particularly, to remove a real hair from a user's face image taken in real time and to display a simulated image changed into a virtual hair in real time. The present invention relates to a fitting mirror apparatus and system.
일반적으로 헤어스타일을 바꾸려고 할 때, 머릿속으로 여러 이미지를 그려보거나, 패션잡지 또는 카탈로그를 보거나 함으로써 희망하는 헤어스타일을 결정하는 경우가 많다. 또한, 이와 같이 희망하는 헤어스타일이 결정되면 이를 미용사(헤어 디자이너)에게 전달함과 아울러 미용사의 조언을 받기도 한다. In general, when trying to change the hairstyle, it is often the case that the desired hairstyle is determined by drawing various images in the head, reading a fashion magazine or a catalog. In addition, if the desired hairstyle is determined, the hairdresser (hair designer) is also delivered to the hairdresser's advice.
그러나, 자신이 희망하는 헤어스타일을 헤어 디자이너에게 제대로 전달하지 못하는 경우가 많고, 전달되더라도 실제로 헤어스타일을 바꿔보면 처음 상상했던 것과는 다르거나 생각했던 것만큼 어울리지 않는 경우가 있다. However, there are many cases where the desired hairstyle is not delivered to the hair designer properly, and even if it is delivered, the actual hairstyle can be different from what was originally imagined or not as expected.
따라서, 상기와 같은 문제점을 고려하여, 고객이 머리 손질을 받기 전에 희망하는 헤어스타일이 자신과 어울리는지 미리 시연해 볼 수 있도록 하기 위한 헤어스타일 시뮬레이션이 소개되었다. Therefore, in consideration of the above problems, a hair style simulation has been introduced to allow the customer to demonstrate in advance whether the desired hairstyle matches his / her own before receiving hair care.
기존에 알려진 헤어스타일 시뮬레이션을 간략히 살펴보면, 주로 2차원 얼굴 이미지에 단순히 2차원으로 구성된 헤어이미지를 추가(또는 투영)하는 방식을 취하고 있다. A brief review of known hairstyle simulations takes the form of simply adding (or projecting) a two-dimensional hair image to a two-dimensional face image.
그러나, 이와 같이 2차원 이미지를 근간으로 하는 방식은 고객의 얼굴 정면만을 보여주므로 고객은 추가 또는 투영된 헤어스타일이 자신에게 다각도로 어울리는지 여부에 대해서는 확인할 수 없는 문제점이 있다.However, since the method based on the two-dimensional image shows only the front of the face of the customer, the customer cannot confirm whether the added or projected hairstyle is suitable for him from various angles.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 사용자가 화면에 나타난 자신의 얼굴영상의 실제머리모습 위에 가상머리모습을 시뮬레이션할 때, 시뮬레이션을 원하는 가상머리모습이 자신의 실제머리모습을 가릴 수 없는 경우에는, 상기 가상머리모습으로 가릴 수 없는 부위를 배경처리함으로써, 사용자가 실제 본인의 두상 형태에 기초하여 다양한 헤어스타일을 상기 사용자의 정면 이미지뿐만 아니라 측면, 뒷면 등 다양한 방향에서 미리 재현해 볼 수 있는 쓰리디 시뮬레이션이 가능한 가상 헤어스타일 피팅미러 장치 및 시스템을 제공하는 것을 목적으로 한다.The present invention is to solve the above-described problems, when the user simulates the virtual hair on the actual head of his face image displayed on the screen, the virtual hair that you want to simulate the real hair can not cover In this case, by background processing of the part that cannot be covered by the virtual hair, the user can reproduce various hairstyles in advance in various directions such as the front and rear sides of the user as well as the front image of the user based on the shape of the actual head. An object of the present invention is to provide a virtual hairstyle fitting mirror apparatus and system capable of three-dimensional simulation.
그러나 본 발명의 목적은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the object of the present invention is not limited to the above-mentioned object, another object that is not mentioned will be clearly understood by those skilled in the art from the following description.
상기 목적을 달성하기 위하여, 본 발명은 실시간으로 촬영된 사용자의 얼굴영상에서 실제머리모습을 제거하고 가상머리모습으로 변경되는 시뮬레이션 영상을 실시간으로 디스플레이하는 가상 헤어스타일 피팅미러 장치 시스템에 있어서, 상기 가상 헤어스타일 피팅미러 장치의 시스템은 실제머리모습을 실시간으로 촬영한 사용자의 영상정보데이터를 획득하고, 사용자가 있는 장소의 배경정보데이터를 미리 획득하며, 상기 사용자가 원하는 가상머리모습의 가상머리모습정보데이터를 통해, 상기 사용자의 실제머리모습데이터를 대체하는 가상머리모습 착용데이터를 생성하여, 상기 영상정보데이터에 상기 실제머리모습을 대신해 상기 가상머리모습 시뮬레이션이 가능하도록하되, 상기 실제머리모습 정보데이터와 상기 가상머리모습 정보데이터를 비교하여, 상기 가상머리모습 정보데이터의 범위를 벗어나는 상기 실제머리모습 정보데이터에 사용자의 얼굴정보데이터나 상기 배경정보데이터로 대체하여 처리함으로써, 상기 사용자의 실제머리모습과 관계없이 가상머리모습을 한 것 같은 시뮬레이션이 가능하도록 구성된다.In order to achieve the above object, the present invention is a virtual hairstyle fitting mirror device system for removing a real hair from the user's face image taken in real time and displaying a simulation image that is changed to a virtual hair in real time, the virtual The system of the hairstyle fitting mirror device obtains the image information data of the user who photographed the actual hair in real time, acquires the background information data of the place where the user is located, and the virtual hair information of the virtual hair desired by the user. Through the data, to create a virtual hair wearing data to replace the actual hair data of the user, so that the virtual hair simulation can be performed in place of the actual hair in the image information data, the actual hair information data And the virtual head information data In comparison, the virtual hair look information data that is out of the range of the virtual hair look information data is replaced with the face information data of the user or the background information data, thereby processing the virtual hair look irrespective of the actual hair look of the user. It is configured to enable the simulation.
상기 가상 헤어스타일 피팅미러 장치의 시스템은 사용자의 이마가 드러난 3차원 얼굴정보데이터와, 상기 사용자가 시뮬레이션을 원하는 가상머리모습정보데이터가 저장된 저장부, 카메라를 사용하여 상기 사용자의 실제머리모습을 실시간으로 촬영한 사용자의 영상정보데이터와, 상기 사용자가 없을 때 촬영하여 배경정보데이터를 획득하는 촬영부, 상기 촬영부와 통신되고, 상기 촬영부에서 획득한 영상정보데이터에서 상기 사용자의 실제머리모습을 판별하고 추출하여 상기 실제머리모습의 두께나 폭이나 길이정보가 포함된 실제머리모습 정보데이터와, 상기 실제머리모습 정보데이터를 대체하는 상기 가상머리모습 착용데이터를 생성시키는 연산부, 상기 연산부와 통신되고, 상기 영상정보데이터에서 상기 실제머리모습 정보데이터를 상기 가상머리모습 착용데이터로 대체하는 가상머리모습 영상데이터를 생성하는 제어부, 상기 가상머리모습 영상데이터를 디스플레이하는 디스플레이부로 구성된다.The system of the virtual hairstyle fitting mirror device is a three-dimensional face information data for which the user's forehead is exposed, the storage unit for storing the virtual hair information information that the user wants to simulate, using a camera in real time to the actual hair look of the user Image information data of the user photographed by the user, a photographing unit which acquires background information data by photographing when the user is absent, and is communicated with the photographing unit, and the actual head of the user is obtained from the image information data obtained by the photographing unit. A computing unit for discriminating and extracting to generate actual hair information information data including thickness, width or length information of the actual hair and the virtual hair wearing data to replace the actual hair information data, the computing unit being in communication with the computing unit And virtually converting the actual head information data from the image information data. And a control unit for generating the virtual hair image data to be replaced with the hair wearing data, and a display unit for displaying the virtual hair image data.
상기 연산부는 상기 촬영부를 통해 촬영된 상기 사용자 얼굴의 영상정보데이터를 통해 상기 사용자 얼굴의 이목구비와 두상에 따른 특징점을 찾아 위치정보를 파악하고, 상기 위치정보를 통해 상기 사용자의 이목구비의 깊이 정보를 파악하여 실시간으로 상기 사용자 얼굴의 표정변화 및 움직임을 측정한다.The operation unit finds the location information by finding the feature points of the user's face and the head image through the image information data of the user's face photographed through the photographing unit, and grasps the depth information of the user's eye area through the location information. By measuring the expression change and movement of the user face in real time.
또한, 상기 제어부는 상기 연산부를 통해 측정된 상기 사용자 얼굴의 영상정보데이터와 얼굴정보데이터를 전송받아 비교하되, 상기 사용자 얼굴의 길이 또는 폭 중 하나 이상의 데이터가 같도록 매칭하여 상기 사용자 얼굴의 영상정보데이터를 상기 디스플레이부로 전송한다.In addition, the controller receives and compares the image information data and the face information data of the user face measured by the operation unit, but match the one or more data of the length or width of the user face to match the image information of the user face Send data to the display unit.
이때, 상기 가상머리모습 착용데이터는 가상머리모습의 길이나 색상이나 웨이브 중 하나 이상의 정보를 포함한다.At this time, the virtual hair wearing data includes one or more information of the length, color or wave of the virtual hair.
더불어, 상기 제어부는 상기 가상머리모습 정보데이터에 포함된 가상머리모습의 폭이나 길이정보가 상기 실제머리모습 정보데이터에 포함된 실제머리모습의 폭이나 길이정보보다 작은 경우, 상기 실제머리모습 정보데이터에서 상기 가상머리모습 정보데이터를 초과한 부분의 폭이나 길이정보를 추출한 초과정보데이터를 더 포함한다.The controller may be further configured to control the actual hair information information when the width or length information of the virtual hair included in the virtual hair information information is smaller than the width or length information of the actual hair included in the actual hair information data. Further includes the excess information data from which the width or length information of the portion exceeding the virtual head information data is extracted.
또한, 상기 제어부는 상기 초과정보데이터에 해당하는 부분의 위치에 얼굴정보데이터와 배경정보데이터를 사용해 대체 가능하다.The control unit may replace the face information data and the background information data at a position of the portion corresponding to the excess information data.
더불어, 상기 제어부는 상기 가상머리모습 정보데이터에 포함된 가상머리모습의 폭이나 길이정보가 상기 실제머리모습 정보데이터에 포함된 실제머리모습의 폭이나 길이정보보다 큰 경우, 상기 가상머리모습 착용데이터는 상기 가상머리모습 정보데이터와 동일하고, 상기 실시간으로 촬영된 사용자 얼굴의 영상정보데이터에 상기 가상머리모습 착용데이터가 합쳐진 가상머리모습 영상데이터를 상기 디스플레이부로 전송한다.The controller may be further configured to, when the width or length information of the virtual hair included in the virtual hair information information is greater than the width or length information of the actual hair included in the actual hair information data, the virtual hair wearing data. Is the same as the virtual hair information data, and transmits the virtual hair image data in which the virtual hair wear data is combined with the image information data of the user's face photographed in real time to the display unit.
또한, 상기 제어부는 상기 가상머리모습 정보데이터에 포함된 가상머리모습의 폭이나 길이정보가 상기 실제머리모습 정보데이터에 포함된 실제의류의 폭이나 길이정보보다 작은 경우, 상기 가상머리모습 착용데이터는 상기 가상머리모습 정보데이터와 상기 초과정보데이터가 합쳐지고, 상기 가상머리모습 착용데이터와 상기 실시간으로 촬영된 사용자 얼굴의 영상정보데이터가 합쳐진 영상데이터를 상기 디스플레이부로 전송한다. The controller may further include the virtual hair wearing data when the width or length information of the virtual hair included in the virtual hair information information is smaller than the width or length information of the actual clothes included in the actual hair information information. The virtual hair information information and the excess information data are combined, and the virtual hair wearing data and the image data of the user's face photographed in real time are combined to transmit the image data to the display unit.
이때, 상기 제어부는 상기 가상머리모습에서 모발의 길이방향과 폭방향 각각의 끝선 위치데이터와, 상기 실제머리모습에서 모발의 길이방향과 폭방향 각각의 끝선 위치데이터를 비교하여, 상기 초과정보데이터에 해당하는 부분의 위치에 어떤 정보데이터가 사용될 것인지를 결정한다. At this time, the control unit compares the end line position data of each of the longitudinal direction and the width direction of the hair in the virtual hair, and the end line position data of each of the longitudinal direction and the width direction of the hair in the actual hair form, the excess information data Determine what information data will be used at the location of the corresponding part.
또한, 상기 초과정보 데이터는 상기 가상머리모습과 상기 실제머리모습의 폭방향과 길이방향 각각의 끝선 위치데이터 사이에 해당하는 부분의 위치 중 사용자의 얼굴부위에 해당하는 부분의 위치에는 상기 사용자의 얼굴정보데이터를 사용하여 대체하고, 상기 사용자의 얼굴부위에 해당하지 않는 부분의 위치에는 상기 배경정보데이터를 사용하여 대체한다. In addition, the excess information data is the user's face in the position of the portion corresponding to the user's face of the position of the portion corresponding to the position data between the end of each of the width direction and the longitudinal direction of the virtual hair and the actual hair The information data is used for replacement, and the background information data is used for the position of the part not corresponding to the face of the user.
더불어, 상기 사용자의 얼굴부위는 해당 얼굴부위의 길이방향이나 폭방향에 해당하는 끝선 위치데이터이고, 상기 끝선 위치데이터 사이에는 상기 얼굴정보데이터가 사용되어 대체되고, 상기 해당 얼굴부위의 길이방향이나 폭방향에 해당하는 끝선 위치데이터와 상기 실제머리모습의 길이방향이나 폭방향에 해당하는 끝선 위치데이터 사이에는 상기 배경정보데이터가 대체된다.In addition, the face portion of the user is the end line position data corresponding to the length direction or the width direction of the face portion, the face information data is used and replaced between the end line position data, the length direction or width of the face portion The background information data is replaced between the end line position data corresponding to the direction and the end line position data corresponding to the longitudinal direction or the width direction of the actual head.
본 발명의 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다.The features and advantages of the present invention will become more apparent from the following detailed description based on the accompanying drawings.
이에 앞서 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니 되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야 한다.Prior to this, the terms or words used in this specification and claims are not to be interpreted in a conventional and dictionary sense, and the inventors may appropriately define the concept of terms in order to best explain their invention in the best way possible. Based on the principle that the present invention should be interpreted as meaning and concept corresponding to the technical idea of the present invention.
본 발명의 실시예에 따르면, 상기 쓰리디 시뮬레이션이 가능한 가상 헤어스타일 피팅미러 장치를 사용하는 사용자의 헤어스타일을 3차원으로 시뮬레이션함으로써, 상기 사용자 자신에게 어울리는 헤어스타일을 용이하게 선택할 수 있다. According to an embodiment of the present invention, by simulating the hairstyle of the user using the virtual hairstyle fitting mirror device capable of the three-die simulation in three dimensions, it is possible to easily select a hairstyle suitable for the user himself.
도 1은 본 발명의 실시예에 따른 가상 헤어스타일 피팅미러 장치 및 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 가상 헤어스타일 피팅미러 장치를 사용하는 사용자의 얼굴 및 두상에 대응하는 특징점을 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 가상 헤어스타일 피팅미러 장치 및 시스템을 사용하여 가상 헤어스타일이 시뮬레이션되는 과정을 구체화하는 도면이다.
도 4는 본 발명의 실시예에 따른 가상 헤어스타일 피팅미러 장치 및 시스템을 사용하여 가상 헤어스타일이 시뮬레이션되는 과정을 구체화하는 도면이다.
도 5는 본 발명의 실시예에 따른 가상 헤어스타일 피팅미러 장치 및 시스템을 사용하여 가상 헤어스타일이 시뮬레이션되는 과정을 구체화하는 도면이다. 1 is a block diagram of a virtual hairstyle fitting mirror apparatus and system according to an embodiment of the present invention.
2 is a diagram illustrating feature points corresponding to a face and a head of a user who uses the virtual hairstyle fitting mirror device according to an exemplary embodiment of the present invention.
3 is a diagram illustrating a process of simulating a virtual hairstyle using a virtual hairstyle fitting mirror apparatus and system according to an embodiment of the present invention.
4 is a view illustrating a process of simulating a virtual hairstyle using a virtual hairstyle fitting mirror apparatus and system according to an exemplary embodiment of the present invention.
FIG. 5 illustrates a process of simulating a virtual hairstyle using a virtual hairstyle fitting mirror apparatus and system according to an exemplary embodiment of the present invention.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings. In this process, the thickness of the lines or the size of the components shown in the drawings may be exaggerated for clarity and convenience of description.
또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 하여 내려져야 할 것이다.In addition, terms to be described below are terms defined in consideration of functions in the present invention, which may vary according to the intention or convention of a user or an operator. Therefore, the definitions of these terms should be made based on the contents throughout the specification.
아울러, 아래의 실시예는 본 발명의 권리범위를 한정하는 것이 아니라 본 발명의 청구범위에 제시된 구성요소의 예시적인 사항에 불과하며, 본 발명의 명세서 전반에 걸친 기술사상에 포함되고 청구범위의 구성요소에서 균등물로서 치환 가능한 구성요소를 포함하는 실시예는 본 발명의 권리범위에 포함될 수 있다.In addition, the following examples are not intended to limit the scope of the present invention but merely illustrative of the components set forth in the claims of the present invention, which are included in the technical spirit throughout the specification of the present invention and constitute the claims Embodiments that include a substitutable component as an equivalent in the element may be included in the scope of the present invention.
이하 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예에 따른 쓰리디 시뮬레이션이 가능한 가상 헤어스타일 피팅미러 장치 및 시스템에 대하여 상세하게 설명하지만, 본 발명이 하기 실시예에 의해 제한되거나 한정되는 것은 아니다. Hereinafter, with reference to the accompanying drawings will be described in detail with respect to a virtual hairstyle fitting mirror apparatus and system capable of a three-die simulation in accordance with a preferred embodiment of the present invention, the present invention is not limited or limited by the following examples.
도 1은 본 발명의 실시예에 따른 가상 헤어스타일 피팅미러 장치 및 시스템의 구성도이고, 도 2는 본 발명의 실시예에 따른 가상 헤어스타일 피팅미러 장치를 사용하는 사용자의 얼굴 및 두상에 대응하는 특징점을 도시한 도면이며, 도 3 내지 도 5는 본 발명의 실시예에 따른 가상 헤어스타일 피팅미러 장치 및 시스템을 사용하여 가상 헤어스타일이 시뮬레이션되는 과정을 구체화하는 도면이다.1 is a block diagram of a virtual hairstyle fitting mirror apparatus and system according to an embodiment of the present invention, Figure 2 corresponds to the face and head of the user using a virtual hairstyle fitting mirror apparatus according to an embodiment of the present invention 3 to 5 are diagrams illustrating the process of simulating a virtual hairstyle using a virtual hairstyle fitting mirror apparatus and system according to an embodiment of the present invention.
본 발명은 실시간으로 촬영된 사용자의 얼굴영상에서 실제머리모습을 제거하고 가상머리모습으로 변경되는 시뮬레이션 영상을 실시간으로 디스플레이하는 가상 헤어스타일 피팅미러 장치 시스템에 관한 것이다.The present invention relates to a virtual hairstyle fitting mirror device system for removing a real hair from a face image of a user captured in real time and displaying a simulation image changed into a virtual hair in real time.
상기 가상 헤어스타일 피팅미러 장치의 시스템은 실제머리모습을 실시간으로 촬영한 사용자의 영상정보데이터를 획득하고, 사용자가 있는 장소의 배경정보데이터를 미리 획득하며, 상기 사용자가 원하는 가상머리모습의 가상머리모습정보데이터를 통해, 상기 사용자의 실제머리모습데이터를 대체하는 가상머리모습 착용데이터를 생성하여, 상기 영상정보데이터에 상기 실제머리모습을 대신해 상기 가상머리모습 시뮬레이션이 가능하도록하되, 상기 실제머리모습 정보데이터와 상기 가상머리모습 정보데이터를 비교하여, 상기 가상머리모습 정보데이터의 범위를 벗어나는 상기 실제머리모습 정보데이터에 사용자의 얼굴정보데이터나 상기 배경정보데이터로 대체하여 처리함으로써, 상기 사용자의 실제머리모습과 관계없이 가상머리모습을 한 것 같은 시뮬레이션이 가능하도록 구성된다. The system of the virtual hairstyle fitting mirror device acquires the image information data of the user who photographed the actual hair in real time, obtains the background information data of the place where the user is located, and the virtual hair of the virtual hair desired by the user. Through the appearance information data, to create a virtual hair wearing data to replace the actual hair data of the user, so that the virtual hair simulation in place of the actual hair in the image information data, but the actual hair Comparing the information data with the virtual hair information data, and processing the actual hair information information outside the range of the virtual hair information data by replacing the face information data or the background information data of the user to thereby process the actual hair of the user. Virtual hair regardless of hair type It is configured to enable the simulation.
또한, 상기 가상 헤어스타일 피팅미러 장치의 시스템은 외부 장치로부터 사용자의 이마가 드러난 3차원 얼굴정보데이터(111)와, 상기 사용자가 시뮬레이션을 원하는 가상머리모습 정보데이터(112)가 저장된 저장부를 포함한다. In addition, the system of the virtual hairstyle fitting mirror device includes a three-dimensional
이때, 상기 얼굴정보데이터(111)는 사용자의 이마가 드러난 3차원 영상정보이고, 상기 얼굴정보데이터(111)는 사용자의 휴대전화 또는 테블릿 피시 등의 유, 무선 통신이 가능한 장치 또는 영상 정보가 저장된 메모리 카드 중 하나의 장치로부터 전송받을 수 있다. In this case, the
또한, 상기 가상머리모습 정보데이터(112)는 인터넷으로부터 실시간으로 다운받아져 저장되거나 미리 다운받아 놓은 다양한 헤어스타일에 대한 이미지 영상 정보이다.In addition, the virtual hairstyle information data 112 is image image information for various hairstyles downloaded and stored in real time or downloaded from the Internet in real time.
더불어, 상기 시스템은 카메라를 사용하여 상기 사용자의 실제머리모습(200)을 실시간으로 촬영한 사용자의 영상정보데이터(121)와, 상기 사용자가 없을 때 촬영하여 배경정보데이터(122)를 획득하는 촬영부(120) 및 상기 촬영부(120)에서 획득한 영상정보데이터(111)에서 상기 사용자의 실제머리모습(200)을 판별하고 추출하여 상기 실제머리모습(200)의 두께나 폭이나 길이정보가 포함된 실제머리모습 정보데이터(131)와, 상기 실제머리모습 정보데이터(131)를 대체하는 상기 가상머리모습 착용데이터를 생성시키는 연산부(130)를 더 포함한다.In addition, the system captures the image information data 121 of the user who photographed the
또한, 상기 연산부(130)와 통신되고, 상기 영상정보데이터(121)에서 상기 실제머리모습 정보데이터(131)를 상기 가상머리모습 정보데이터(112)로 대체하는 가상머리모습 영상데이터(141)를 생성하는 제어부(140) 및 상기 가상머리모습 영상데이터(141)를 디스플레이하는 디스플레이부(150)를 더 포함하여 구성된다. In addition, the virtual head image data 141 is communicated with the
도 2를 참조하면, 상기 연산부(130)는 상기 촬영부(120)를 통해 촬영된 상기 사용자 얼굴의 영상정보데이터(121)를 통해, 상기 사용자 얼굴의 이목구비와 두상에 따른 특징점(133)을 찾아 위치정보를 파악하고, 상기 위치정보를 통해 상기 사용자의 이목구비의 깊이 정보를 파악하여 실시간으로 상기 사용자 얼굴의 표정변화 및 움직임을 측정한다.Referring to FIG. 2, the
일 실시예로, 상기 촬영부(120)의 카메라 장치를 통해, 가상 헤어 시뮬레이션을 받고자 하는 상기 사용자의 얼굴을 수평방향으로 360ㅀ로 회전하며 미리 설정된 촬영 각도내에서 촬영하여, 상기 촬영 각도별로 이미지들을 생성해내는 기능을 통해 상기 사용자의 영상정보데이터(121)의 획득이 가능하다. In one embodiment, through the camera device of the
이에 따라, 도 2에 도시된 (a)는 정면 영상이미지, (b)는 측면 영상이미지, (c)는 후면 영상이미지를 나타낸 것이다.Accordingly, (a) in FIG. 2 shows a front image image, (b) shows a side image image, and (c) shows a rear image image.
이때, 상기 일 실시예에 따른 방법은 일 예일뿐 상기 실시예의 방법으로 제한하거나 한정하지 않는다.At this time, the method according to the embodiment is only an example and is not limited or limited to the method of the embodiment.
또한, 상기와 같은 카메라 장치를 통해 상기 사용자의 얼굴의 이목구비와 두상에 따른 특징점을 찾아내어 상기 사용자의 위치정보에 따른 깊이정보를 통해 사용자의 움직임이나 표정변화를 파악하는 기술에 대한 알고리즘은 종래에 널리 알려져있는 기술이므로, 본 명세서에서 별도로 설명하지 않고, 그것으로 대체한다. In addition, an algorithm for a technique of detecting a movement or facial expression change of a user through depth information according to the location information of the user by finding a feature point according to the head and head of the user's face through the camera device is conventional. Since it is a well-known technique, it is not described separately herein and replaced by it.
상기 제어부(140)는 상기 연산부(130)를 통해 측정된 상기 사용자 얼굴의 영상정보데이터(121)와 얼굴정보데이터(111)를 전송받아 비교하되, 상기 사용자 얼굴의 길이 또는 폭 중 하나 이상의 데이터가 같도록 매칭하여 상기 사용자 얼굴의 영상정보데이터(111)를 상기 디스플레이부(150)로 전송함으로써 디스플레이된다. The
이때, 상기 제어부는 상기 촬영부(120)에서 실시간으로 촬영된 영상정보데이터(121)에 나타난 사용자의 얼굴 영상이 보이는 각도와 상기 외부 장치로부터 전송받은 얼굴정보데이터(111)에 나타난 사용자의 얼굴 영상이 보이는 각도가 서로 같게 되도록 조정함으로써 상기 실제 머리 모습(200)의 전면부와 측면부의 두께나 폭 및 길이 판별이 가능하다. In this case, the controller is an angle of the face image of the user shown in the image information data 121 taken in real time by the photographing
이때, 상기 실제머리모습 정보데이터(131)에 포함된 실제머리모습(200)의 두께나 폭이나 길이정보는 정면, 측면, 후면 각각의 머리모습에 대한 정보이고, 상기 정면 머리모습(a)에서 모발의 길이는 L, 폭은 W로 표기되어 있고, 상기 정면 머리모습에서 앞머리가 형성되어 있는 경우, 앞머리 모발의 길이는 FL, 폭은 FW로 표기되어 있다.In this case, the thickness, width, or length information of the
또한, 상기 실제머리모습(200)의 측면 머리모습(b)에서 두께는 ST, 상기 모발의 길이는 SL로 표기되어있다. In addition, the thickness of the side of the head (b) of the
반면에, 상기 가상머리모습 정보데이터(112)에 포함된 가상머리모습(300)에서 모발의 폭이나 길이 정보는 정면, 측면, 후면 각각의 머리 모습에 대한 정보이고, 상기 정면 머리모습(a)에서 모발의 길이는 L2, 폭은 W2로 표기되어 있고, 상기 정면 머리모습에서 앞머리가 형성되어 있는 경우 앞머리 모발의 길이는 FL2, 폭은 FW2로 표기되어있다. On the other hand, in the
더불어, 상기 측면 머리모습(b)에서 두께는 ST2, 상기 모발의 길이는 SL2로 표기되어있고, 상기 도면에서 후면 머리모습의 모발의 길이와 폭은 도시되지 않았지만 상기 가상머리모습 정보데이터(112)는 복수의 가상머리모습(300)에서 후면 머리모습의 모발의 길이와 폭에 대한 정보를 포함한다. In addition, the thickness of the side hair (b) is ST2, the length of the hair is marked SL2, the length and width of the hair of the back hair in the figure is not shown, but the virtual hair information information 112 Includes information about the length and width of the hair of the rear head in the plurality of virtual hair (300).
또한, 상기 가상머리모습 착용데이터(132)는 가상머리모습(300)의 길이나 색상이나 웨이브 중 하나 이상의 정보를 포함한다. In addition, the virtual hair wearing data 132 includes information on one or more of the length, color or wave of the
더불어, 상기 제어부(140)는 상기 가상머리모습 정보데이터(112)에 포함된 가상머리모습(300)의 두께나 폭이나 길이정보가 상기 실제머리모습 정보데이터(131)에 포함된 실제머리모습(200)의 두께나 폭이나 길이정보보다 작은 경우, 상기 실제머리모습 정보데이터(131)에서 상기 가상머리모습 정보데이터(112)를 초과한 부분의 두께나 폭이나 길이정보를 추출한 초과정보데이터(142)를 더 포함한다. In addition, the
이때, 상기 초과정보데이터(142)에 포함된 두께나 폭이나 길이정보는 상기 사용자의 실제머리모습(200)과 가상머리모습(300)의 정면 머리모습, 측면 머리모습, 후면 머리모습에 대한 각각의 두께와 폭, 길이정보를 포함한다. In this case, the thickness, width, or length information included in the
또한, 이에 따라, 상기 제어부(140)는 상기 초과정보데이터(142)에 해당하는 부분의 위치에 얼굴정보데이터(111)와 배경정보데이터(122)를 사용해 대체 가능하게 한다. In addition, according to this, the
이때, 상기 대체 가능한 얼굴정보데이터(111)는 상기 실제머리모습에 가려진 부분에 해당하는 얼굴부위로, 상기 가려진 부분만큼 상기 사용자의 얼굴에 해당하는 부위가 자연스럽게 나타나게 처리되는 것을 의미한다. In this case, the replaceable
또한, 이때, 상기 초과정보데이터(142)를 연산하고, 상기 해당하는 각각의 부분의 위치에 얼굴정보데이터(111)와 배경정보데이터(122) 처리가 이루어지는 기술에 대한 소프트웨어 알고리즘은 당업자에 의해 프로그래밍 코드가 만들어져, 상기 만들어진 코드를 통해 처리될 수 있으므로 본 명세서에서는 별도로 서술하지 않는다. In this case, a software algorithm for a technique in which the
도 4를 참조하여 상기 가상머리모습(300)의 두께나 폭이나 길이가 상기 실제머리모습의 두께나 폭이나 길이보다 큰 경우와, 작은 경우에 상기 영상정보데이터(121)에 시뮬레이션되는 방법을 설명하면 다음과 같다. A method of simulating the image information data 121 when the thickness, the width, or the length of the
상기 제어부(140)는 상기 가상머리모습 정보데이터(112)에 포함된 가상머리모습(300)의 두께나 폭이나 길이정보가 상기 실제머리모습 정보데이터(131)에 포함된 실제머리모습(200)의 두께나 폭이나 길이정보보다 큰 경우, 상기 가상머리모습 착용데이터(132)는 상기 가상머리모습 정보데이터(112)와 동일하고, 상기 실시간으로 촬영된 사용자 얼굴의 영상정보데이터(121)에 상기 가상머리모습 착용데이터(132)가 합쳐진 가상머리모습 영상데이터(141)를 상기 디스플레이부로 전송한다. The
이에 따라, 상기 가상머리모습 영상데이터(141)가 디스플레이된다. Accordingly, the virtual hair image data 141 is displayed.
반면에, 상기 가상머리모습 정보데이터(112)에 포함된 가상머리모습(300)의 두께나 폭이나 길이정보가 상기 실제머리모습 정보데이터(131)에 포함된 실제머리모습(200)의 두께나 폭이나 길이정보보다 작은 경우, 상기 가상머리모습 착용데이터(132)는 상기 가상머리모습 정보데이터(112)와 상기 초과정보데이터(142)가 합쳐지고, 상기 가상머리모습 착용데이터(132)와 상기 실시간으로 촬영된 사용자 얼굴의 영상정보데이터(121)가 합쳐진 영상 정보를 상기 디스플레이부(150)로 전송한다. On the other hand, the thickness, width or length information of the
이때, 상기 도 4의 (a)와 (b)에 도시된 도면에서 대각선 방향으로 해칭이 들어간 부분은 초과정보데이터(142)를 뜻한다. In this case, in the drawings illustrated in FIGS. 4A and 4B, hatching in a diagonal direction means
또한, 상기 제어부(130)는 상기 가상머리모습(300)에서 모발의 길이방향과 폭방향 각각의 끝선 위치데이터(301,302)와, 상기 실제머리모습(200)에서 모발의 길이방향과 폭방향 각각의 끝선 위치데이터(201,202)를 비교하여, 상기 초과정보데이터(142)에 해당하는 부분의 위치에 어떤 정보데이터가 사용될 것인지를 결정한다. In addition, the
또한, 상기 초과정보 데이터는 상기 가상머리모습(300)과 상기 실제머리모습(200)의 폭방향과 길이방향 각각의 끝선 위치데이터(201,202,301,302) 사이에 해당하는 부분의 위치 중 사용자의 얼굴부위에 해당하는 부분의 위치에는 상기 사용자의 얼굴정보데이터(111)를 사용하여 대체하고, 상기 사용자의 얼굴부위에 해당하지 않는 부분의 위치에는 상기 배경정보데이터(122)를 사용하여 대체한다. In addition, the excess information data corresponds to the face of the user of the position of the portion corresponding to the
더불어, 상기 사용자의 얼굴부위는 해당 얼굴부위의 길이방향이나 폭방향에 해당하는 끝선 위치데이터(111-1)이고, 상기 끝선 위치데이터(111-1) 사이에는 상기 얼굴정보데이터(111)가 사용되어 대체되고, 상기 해당 얼굴부위의 길이방향이나 폭방향에 해당하는 끝선 위치데이터(111-1)와 상기 실제머리모습의 길이방향이나 폭방향에 해당하는 끝선 위치데이터 사이에는 상기 배경정보데이터(122)가 대체된다.In addition, the face portion of the user is the end line position data (111-1) corresponding to the longitudinal direction or the width direction of the face portion, the
또한, 상기 제어부(140)는 실시간으로 상기 사용자의 얼굴의 움직임과 표정변화를 측정하는 상기 연산부(130)와 통신되어, 상기 사용자의 움직임에 따라 상기 사용자의 얼굴에 가상으로 시뮬레이션된 가상머리모습(300)의 움직임도 실시간으로 생성됨에 따라 더욱 생동감있는 3차원 영상의 제공이 가능하다. In addition, the
이상 본 발명을 구체적인 실시예를 통하여 상세히 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함이 명백하다.Although the present invention has been described in detail through specific examples, it is intended to describe the present invention in detail, and the present invention is not limited thereto, and should be understood by those skilled in the art within the technical spirit of the present invention. It is obvious that modifications and improvements are possible.
본 발명의 단순한 변형 내지 변경은 모두 본 발명의 범주에 속하는 것으로 본 발명의 구체적인 보호 범위는 첨부된 특허청구범위에 의해 명확해질 것이다.Simple modifications and variations of the present invention are all within the scope of the present invention, and the specific scope of protection of the present invention will be apparent from the appended claims.
110 : 저장부 111 : 얼굴정보데이터
112 : 가상머리모습 정보데이터 120 : 촬영부
121 : 영상정보데이터 122 : 배경정보데이터
130 : 연산부 131 : 실제머리모습 정보데이터
132 : 가상머리모습 정보데이터 133 : 특징점
140 : 제어부 141 : 가상머리모습 영상데이터
142 : 초과정보데이터 150 :디스플레이부
200 : 실제머리모습 300 : 가상머리모습110: storage unit 111: face information data
112: virtual hair information data 120: shooting unit
121: Image information data 122: Background information data
130: arithmetic unit 131: actual head information data
132: virtual head information data 133: feature points
140: control unit 141: virtual head image data
142: excess information data 150: display unit
200: actual hair 300: virtual hair
Claims (10)
상기 가상 헤어스타일 피팅미러 장치의 시스템은,
실제머리모습을 실시간으로 촬영한 사용자의 영상정보데이터(121)를 획득하고,
사용자가 있는 장소의 배경정보데이터(122)를 미리 획득하며,
상기 사용자가 원하는 가상머리모습의 가상머리모습정보데이터(112)를 통해, 상기 사용자의 실제머리모습 정보데이터(131)를 대체하는 가상머리모습 착용데이터(132)를 생성하여, 상기 영상정보데이터에 상기 실제머리모습을 대신해 상기 가상머리모습의 시뮬레이션이 가능하도록 하되,
상기 실제머리모습 정보데이터(131)와 상기 가상머리모습 정보데이터(112)를 비교하여, 상기 가상머리모습 정보데이터(112)의 범위를 벗어나는 상기 실제머리모습 정보데이터(131)에 사용자의 얼굴정보데이터(111)나 상기 배경정보데이터(122)로 대체하여 처리함으로써,
상기 사용자의 실제머리모습과 관계없이 가상머리모습을 한 것 같은 시뮬레이션이 가능하도록 이루어지며,
상기 가상 헤어스타일 피팅미러 장치의 시스템은,
사용자의 이마가 드러난 3차원 얼굴정보데이터(111)와, 상기 사용자가 시뮬레이션을 원하는 가상머리모습정보데이터(112)가 저장된 저장부(110),
카메라를 사용하여 상기 사용자의 실제머리모습을 실시간으로 촬영한 사용자의 영상정보데이터와, 상기 사용자가 없을 때 촬영하여 배경정보데이터(122)를 획득하는 촬영부(120),
상기 촬영부와 통신되고, 상기 촬영부에서 획득한 영상정보데이터(121)에서 상기 사용자의 실제머리모습을 판별하고 추출하여 상기 실제머리모습의 두께나 폭이나 길이정보가 포함된 실제머리모습 정보데이터(131)와, 상기 실제머리모습 정보데이터(131)를 대체하는 상기 가상머리모습 착용데이터(132)를 생성시키는 연산부(130),
상기 연산부와 통신되고, 상기 영상정보데이터(121)에서 상기 실제머리모습 정보데이터(131)를 상기 가상머리모습 착용데이터(132)로 대체하는 가상머리모습 영상데이터를 생성하는 제어부(140),
상기 가상머리모습 영상데이터를 디스플레이하는 디스플레이부를 포함하며,
상기 제어부는,
상기 연산부를 통해 측정된 상기 사용자의 영상정보데이터(121)와 얼굴정보데이터(111)를 전송받아 비교하되,
상기 사용자의 얼굴 길이 또는 폭 중 하나 이상의 데이터가 같도록 매칭하여 상기 사용자의 영상정보데이터(121)를 상기 디스플레이부로 전송하며,
상기 제어부는,
상기 가상머리모습 정보데이터(112)에 포함된 가상머리모습의 두께나 폭이나 길이정보가 상기 실제머리모습 정보데이터(131)에 포함된 실제머리모습의 두께나 폭이나 길이정보보다 작은 경우,
상기 실제머리모습 정보데이터(131)에서 상기 가상머리모습 정보데이터(112)를 초과한 부분의 폭이나 길이정보를 추출한 초과정보데이터(142)를 더 포함하며,
상기 초과정보데이터(142)에 포함된 두께나 폭이나 길이정보는,
상기 사용자의 실제머리모습과 가상머리모습의 정면 머리모습, 측면 머리모습, 후면 머리모습에 대한 각각의 두께와 폭, 길이정보를 포함하며,
상기 제어부(140)는 상기 가상머리모습(300)에서 모발의 길이방향과 폭방향 각각의 끝선 위치데이터(301,302)와, 상기 실제머리모습(200)에서 모발의 길이방향과 폭방향 각각의 끝선 위치데이터(201,202)를 비교하여, 상기 초과정보데이터(142)에 해당하는 부분의 위치에 어떤 정보데이터가 사용될 것인지를 결정하고,
상기 초과정보 데이터는 상기 가상머리모습(300)과 상기 실제머리모습(200)의 폭방향과 길이방향 각각의 끝선 위치데이터(201,202,302) 사이에 해당하는 부분의 위치 중 사용자의 얼굴부위에 해당하는 부분의 위치에는 상기 사용자의 얼굴정보데이터(111)를 사용하여 대체하고, 상기 사용자의 얼굴부위에 해당하지 않는 부분의 위치에는 상기 사용자가 없을 때 촬영한 배경정보데이터(122)를 사용하여 대체하며,
상기 사용자의 얼굴부위는 해당 얼굴부위의 길이방향이나 폭방향에 해당하는 끝선 위치데이터(111-1)이고, 상기 끝선 위치데이터(111-1) 사이에는 상기 얼굴정보데이터(111)가 사용되어 대체되고, 상기 해당 얼굴부위의 길이방향이나 폭방향에 해당하는 끝선 위치데이터(111-1)와 상기 실제머리모습의 길이방향이나 폭방향에 해당하는 끝선 위치데이터 사이에는 상기 사용자가 없을 때 촬영한 배경정보데이터(122)로 대체하는 것을 특징으로 하는 쓰리디 시뮬레이션이 가능한 가상헤어스타일피팅미러 장치 시스템.In the virtual hairstyle fitting mirror device system that removes the actual hair from the user's face image taken in real time and displays a simulation image that is changed to a virtual hair in real time,
The system of the virtual hairstyle fitting mirror device,
Acquire image information data 121 of a user who photographed a real head in real time,
Acquire the background information data 122 of the place where the user is located in advance,
The virtual hair wearing data 132 that replaces the user's actual hair information data 131 is generated through the virtual hair information information 112 of the virtual hair desired by the user. Instead of the actual hair to be able to simulate the virtual hair,
The face information of the user is compared to the actual hair information information 131 which is out of the range of the virtual hair information information 112 by comparing the actual hair information information 131 and the virtual hair information information 112. By processing by replacing the data 111 or the background information data 122,
Irrespective of the actual hair of the user is made to simulate like a virtual hair,
The system of the virtual hairstyle fitting mirror device,
A storage unit 110 in which the user's forehead is exposed 3D face information data 111 and the virtual hair information information 112 that the user wants to simulate;
Image capturing unit 120 for capturing the real head of the user in real time using a camera, and the photographing unit 120 to capture the background information data 122 by shooting when there is no user,
The actual head information information including the thickness, width, or length information of the actual hair, which is communicated with the photographing unit and is determined and extracted from the image information data 121 obtained by the photographing unit. 131 and the operation unit 130 for generating the virtual hair wearing data 132 to replace the actual hair information information 131,
A controller 140 which is in communication with the operation unit and generates virtual hair image data replacing the actual hair information information 131 with the virtual hair wearing data 132 in the image information data 121;
It includes a display unit for displaying the virtual head image data,
The control unit,
While receiving and comparing the image information data 121 and the face information data 111 of the user measured by the operation unit,
The image information data 121 of the user is transmitted to the display unit by matching one or more pieces of data of the face length or width of the user to be the same.
The control unit,
When the thickness, width, or length information of the virtual hair included in the virtual hair information information 112 is smaller than the thickness, width, or length information of the actual hair included in the real hair information information 131,
The apparatus further includes excess information data 142 extracting the width or length information of the portion exceeding the virtual hair information information 112 from the actual hair information information 131.
The thickness, width or length information included in the excess information data 142,
Including the thickness, width, length information of each of the user's actual head and virtual head of the front head, side head, rear head shape,
The control unit 140 has end line position data 301 and 302 in the longitudinal direction and the width direction of the hair in the virtual hair 300, and end line positions in the longitudinal direction and the width direction of the hair in the actual hair 200. Comparing the data 201, 202, it is determined what information data is to be used at the position of the portion corresponding to the excess information data 142,
The excess information data is a portion corresponding to the face of the user of the position of the portion corresponding to the position data 201, 202, 302 in the width direction and the longitudinal direction of the virtual hair 300 and the actual hair 200, respectively. The position of the user is replaced by using the face information data 111 of the user, and the position of the part that does not correspond to the face of the user is replaced by using the background information data 122 photographed when there is no user,
The face part of the user is the end line position data 111-1 corresponding to the longitudinal direction or the width direction of the face portion, and the face information data 111 is used between the end line position data 111-1. And a background photographed when there is no user between the end line position data 111-1 corresponding to the length direction or the width direction of the face part and the end line position data corresponding to the length direction or the width direction of the actual hair. Virtual hair-style fitting mirror device system capable of a three-die simulation, characterized in that by replacing the information data (122).
상기 연산부는,
상기 촬영부를 통해 촬영된 사용자 얼굴의 영상정보데이터를 통해,
사용자 얼굴의 이목구비와 두상에 따른 특징점을 찾아 위치정보를 파악하고, 상기 위치정보를 통해 상기 사용자의 이목구비의 깊이 정보를 파악하여 실시간으로 사용자 얼굴의 표정변화 및 움직임을 측정하는 것이 가능한 것을 특징으로 하는 쓰리디 시뮬레이션이 가능한 가상 헤어스타일 피팅미러 장치 시스템.The method of claim 1,
The calculation unit,
Through the image information data of the user's face taken through the photographing unit,
It is possible to measure the facial expression change and movement of the user's face in real time by finding the characteristic information according to the head and head of the user's face and grasping the positional information through the positional information. Virtual hairstyle fitting mirror device system with 3D simulation.
상기 가상머리모습 착용데이터는,
가상머리모습의 길이나 색상이나 웨이브 중 하나 이상의 정보를 포함하는 것을 특징으로 하는 쓰리디 시뮬레이션이 가능한 가상 헤어스타일 피팅미러 장치 시스템.The method of claim 1,
The virtual hair wearing data,
A virtual hairstyle fitting mirror device system capable of a three-die simulation, comprising information on one or more of the length, color or wave of a virtual hair.
상기 제어부는,
상기 가상머리모습 정보데이터에 포함된 가상머리모습의 두께나 폭이나 길이정보가 상기 실제머리모습 정보데이터에 포함된 실제머리모습의 두께나 폭이나 길이정보보다 큰 경우,
상기 가상머리모습 착용데이터는 상기 가상머리모습 정보데이터와 동일하고,
상기 실시간으로 촬영된 사용자 얼굴의 영상정보데이터에 상기 가상머리모습 착용데이터가 합쳐진 가상머리모습 영상데이터를 상기 디스플레이부로 전송하는 것을 특징으로 하는 쓰리디 시뮬레이션이 가능한 가상 헤어스타일 피팅미러 장치 시스템.The method according to any one of claims 1, 3, and 5,
The control unit,
When the thickness, width or length information of the virtual hair included in the virtual hair information data is larger than the thickness, width or length information of the actual hair included in the actual hair information data,
The virtual hair wearing data is the same as the virtual hair information data,
3. The virtual hairstyle fitting mirror device system of claim 3, wherein the virtual hair image data including the virtual hair wearing data combined with the image information data of the user's face photographed in real time is transmitted to the display unit.
상기 제어부는,
상기 가상머리모습 정보데이터에 포함된 가상머리모습의 두께나 폭이나 길이정보가 상기 실제머리모습 정보데이터에 포함된 실제머리모습의 두께나 폭이나 길이정보보다 작은 경우,
상기 가상머리모습 착용데이터는 상기 가상머리모습 정보데이터와 상기 초과정보데이터가 합쳐지고,
상기 가상머리모습 착용데이터와 상기 실시간으로 촬영된 사용자 얼굴의 영상정보데이터가 합쳐진 영상데이터를 상기 디스플레이부로 전송하는 것을 특징으로 하는 쓰리디 시뮬레이션이 가능한 가상 헤어스타일 피팅미러 장치 시스템.The method of claim 9,
The control unit,
When the thickness, width or length information of the virtual hair included in the virtual hair information data is smaller than the thickness, width or length information of the actual hair included in the real hair information information,
The virtual hair wearing data is the virtual hair information information and the excess information data is combined,
And a virtual hair fitting mirror apparatus system, wherein the virtual hair wearing data and the image data including the image information data of the user's face photographed in real time are transmitted to the display unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170148599A KR101997702B1 (en) | 2017-11-09 | 2017-11-09 | 3D simulation system for hair-styling |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170148599A KR101997702B1 (en) | 2017-11-09 | 2017-11-09 | 3D simulation system for hair-styling |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190052832A KR20190052832A (en) | 2019-05-17 |
| KR101997702B1 true KR101997702B1 (en) | 2019-10-01 |
Family
ID=66678209
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170148599A KR101997702B1 (en) | 2017-11-09 | 2017-11-09 | 3D simulation system for hair-styling |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101997702B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102520839B1 (en) | 2022-08-29 | 2023-04-11 | 안재관 | Method and apparatus for providing hair virtual fitting service based on artificial intelligence algorithm |
| WO2023068514A1 (en) * | 2021-10-20 | 2023-04-27 | 문현숙 | Customized hairstyle consulting system and method |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111597928A (en) * | 2020-04-29 | 2020-08-28 | 深圳市商汤智能传感科技有限公司 | Three-dimensional model processing method and device, electronic device and storage medium |
| CN113691833B (en) * | 2020-05-18 | 2023-02-03 | 北京搜狗科技发展有限公司 | Virtual anchor face changing method and device, electronic equipment and storage medium |
| CN113628350A (en) * | 2021-09-10 | 2021-11-09 | 广州帕克西软件开发有限公司 | Intelligent hair dyeing and testing method and device |
| KR102538783B1 (en) * | 2022-09-27 | 2023-06-01 | 주식회사 미러로이드 | Apparatus and method for generating a hairless head person image for a virtual hair styling experience |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100828935B1 (en) * | 2006-09-27 | 2008-05-13 | 곽노윤 | Method of Image-based Virtual Draping Simulation for Digital Fashion Design |
| KR20100026240A (en) | 2008-08-29 | 2010-03-10 | 김상국 | 3d hair style simulation system and method using augmented reality |
| KR101430122B1 (en) * | 2011-09-15 | 2014-09-19 | 김보경 | System, method and computer readable recording medium for simulating hair style |
| KR102240302B1 (en) * | 2014-10-21 | 2021-04-14 | 삼성전자주식회사 | Apparatus and Method for virtual fitting thereof |
| KR101717748B1 (en) * | 2015-07-22 | 2017-03-27 | 이서진 | Apparatus for hair style 3D simulation and method for simulating the same |
| KR101987749B1 (en) * | 2017-04-21 | 2019-06-11 | 에스케이플래닛 주식회사 | Method and apparatus for virtual hair styling service |
-
2017
- 2017-11-09 KR KR1020170148599A patent/KR101997702B1/en active IP Right Grant
Non-Patent Citations (1)
| Title |
|---|
| 김재중 외 4인."미니어처 세트를 이용한 합성 애니메이션 제작 공정".컴퓨터그래픽스학회논문지.2016.07.31.제22권 제3호,(제63면 내지 제73면)* |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023068514A1 (en) * | 2021-10-20 | 2023-04-27 | 문현숙 | Customized hairstyle consulting system and method |
| KR102520839B1 (en) | 2022-08-29 | 2023-04-11 | 안재관 | Method and apparatus for providing hair virtual fitting service based on artificial intelligence algorithm |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190052832A (en) | 2019-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101997702B1 (en) | 3D simulation system for hair-styling | |
| KR102044348B1 (en) | Apparatus system for virtual fitting cloth based on augmented reality | |
| US20200380594A1 (en) | Virtual try-on system, virtual try-on method, computer program product, and information processing device | |
| CN106170083B (en) | Image processing for head mounted display device | |
| US9710912B2 (en) | Method and apparatus for obtaining 3D face model using portable camera | |
| US9740282B1 (en) | Gaze direction tracking | |
| CN108537126B (en) | Face image processing method | |
| KR20170019779A (en) | Method and Apparatus for detection of 3D Face Model Using Portable Camera | |
| KR101556992B1 (en) | 3d scanning system using facial plastic surgery simulation | |
| JP7169720B2 (en) | Verification processing method and device based on verification code | |
| CN112419144B (en) | Face image processing method and device, electronic equipment and storage medium | |
| WO2020211347A1 (en) | Facial recognition-based image modification method and apparatus, and computer device | |
| KR20190015332A (en) | Devices affecting virtual objects in Augmented Reality | |
| KR20210065423A (en) | Virtual fitting system in augmented reality based offline store | |
| JP6563580B1 (en) | Communication system and program | |
| WO2016077578A1 (en) | System and method for feature-based authentication | |
| KR102364929B1 (en) | Electronic device, sever, and system for tracking skin changes | |
| CN107609946A (en) | A kind of display control method and computing device | |
| KR20120066773A (en) | A method of virtual make-up using mobile device | |
| CN106502401B (en) | Image control method and device | |
| KR101719927B1 (en) | Real-time make up mirror simulation apparatus using leap motion | |
| CN114373044A (en) | Method, device, computing equipment and storage medium for generating three-dimensional face model | |
| CN108615261B (en) | Method and device for processing image in augmented reality and storage medium | |
| KR101965073B1 (en) | Virtual hair design appartus and controlling method thereof | |
| KR102044347B1 (en) | Clothing purchasing system using virtual fitting cloth device based on augmented reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |