KR20190052824A - Apparatus system for virtual fitting cloth based on augmented reality - Google Patents

Apparatus system for virtual fitting cloth based on augmented reality Download PDF

Info

Publication number
KR20190052824A
KR20190052824A KR1020170148581A KR20170148581A KR20190052824A KR 20190052824 A KR20190052824 A KR 20190052824A KR 1020170148581 A KR1020170148581 A KR 1020170148581A KR 20170148581 A KR20170148581 A KR 20170148581A KR 20190052824 A KR20190052824 A KR 20190052824A
Authority
KR
South Korea
Prior art keywords
information data
clothing
virtual
user
data
Prior art date
Application number
KR1020170148581A
Other languages
Korean (ko)
Other versions
KR102044348B1 (en
Inventor
조성규
조명래
조 제임스
Original Assignee
(주)코아시아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)코아시아 filed Critical (주)코아시아
Priority to KR1020170148581A priority Critical patent/KR102044348B1/en
Publication of KR20190052824A publication Critical patent/KR20190052824A/en
Application granted granted Critical
Publication of KR102044348B1 publication Critical patent/KR102044348B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0623Item investigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a virtual clothes fitting mirror apparatus system which removes real clothes worn by a user in a body image of the user photographed in real time, and displays a simulation image wearing virtual clothes in real time. The virtual clothes fitting mirror apparatus system acquires image information data of a user wearing real clothes in real time, acquires background information data of a place where the user will stand, generates virtual clothes wearing data replacing real clothes information data worn by the user by virtual clothes information data of virtual clothes for which the user wants virtual fitting to allow a simulation of the virtual clothes instead of the real clothes on the image information data, and compares the real clothes information data and virtual clothes information data to replace the real clothes information data out of a range of the virtual clothes information data with body information data of the user or the background information data to process the real clothes information data to allow a simulation as if the user wears only the virtual clothes regardless of the real clothes worn by the user.

Description

증강현실을 이용한 가상 의류 피팅 미러 장치 시스템{Apparatus system for virtual fitting cloth based on augmented reality}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a virtual appliance fitting mirror device system using an augmented reality,

본 발명은 가상 의류 피팅미러 장치에 관한 것으로서, 보다 상세하게는 증강현실을 기반으로 하여 사용자의 전신을 촬영하여 직접 사용자의 전신에 의류를 착용한 듯한 효과를 가져옴으로써 간편하게 자신에게 어울리는 의류를 선택할 수 있게 하는 의류매장 내 가상 피팅을 위한 물리적 시뮬레이션 장치 및 시스템에 대한 것이다.The present invention relates to a virtual clothing fitting mirror device, and more particularly, to a virtual clothing fitting mirror device which picks up a whole body of a user based on an augmented reality, To a physical simulation device and system for virtual fitting in a garment store.

백화점이나 옷가게와 같은 일반적인 리테일 샵에 사용자의 아바타를 시뮬레이션하고, 상기 아바타를 통해 사용자의 실체를 실시간으로 디스플레이 장치에 나타냄으로써 가상 피팅을 가능하게 하는 기술이 최근 들어 많이 개발되고 있다. A technique for simulating a user's avatar in a general retail shop such as a department store or a clothing store and displaying virtual reality of the user on the display device through the avatar has been recently developed.

소비자가 옷을 오프라인으로 구매할 경우, 화면을 통해 보는 것만으로는 기대감을 충족시킬 수 없기 때문에 직접 매장에 방문해 옷을 입어보게 되는데, 이러한 경우에, 대기 시간뿐만 아니라 입는 시간이 오래 걸려 불편함을 겪는다.When a consumer purchases clothes offline, it is not possible to meet the expectation by simply looking at the screen, so they visit the store directly to try on clothes. In such a case, the user experiences discomfort due to the long waiting time as well as the waiting time .

이러한 경우, 소비자가 옷을 입어보지 않고도 자신의 아바타를 통해 가상으로 옷을 착용해 봄으로써, 사용자의 편의를 향상시킬 수 있게 되는데, 이러한 기술은 가상피팅 또는 매직미러 시스템으로 불리우기도 한다. In this case, the consumer can improve the convenience of the user by wearing clothes virtually through his avatar without wearing clothes, which is also referred to as a virtual fitting or a magic mirror system.

그러나, 종래의 가상 피팅 기술에서는 자신이 실제로 착용한 옷 위에 가상의 의류를 피팅하게됨으로써 정확히 가상의류를 착용한 상태를 확인하지 못하는 문제점이 있었다.However, in the conventional virtual fitting technique, since the virtual clothing is fitted on the clothes actually worn by the user, the user can not confirm the wearing state of the virtual clothing accurately.

대한민국 공개특허공보 공개번호 제10-2014-0077820호.Korean Patent Laid-Open Publication No. 10-2014-0077820.

본 발명은 상술한 문제점을 해결하기 위한 것으로서, 사용자가 화면에 나타난 자신의 영상 위에 가상피팅을 할 때, 상기 피팅을 원하는 가상의류가 자신이 실제로 착용한 실제의류를 가릴 수 없는 경우에는, 상기 가상의류로 상기 실제의류를 가릴 수 없는 부위에는 신체부위가 보이고, 배경처리가 되도록 처리함으로써, 사용자가 착용한 실제의류와 상관없이 가상의류만을 착용한 것 같은 실시간 시뮬레이션이 가능하게 하는 것을 목적으로 한다. SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide a method and apparatus for virtual fitting a virtual garment, The object of the present invention is to enable real-time simulation in which only the virtual clothing is worn regardless of the actual clothing worn by the user, by viewing the body part in a part where the actual clothing can not be clogged with the clothes and treating the body part to be the background processing.

그러나 본 발명의 목적은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the object of the present invention is not limited to the above-mentioned object, and another object which is not mentioned can be understood by those skilled in the art from the following description.

상기 목적을 달성하기 위하여, 본 발명은 실시간으로 촬영된 사용자의 신체영상에서 사용자가 실제 착용한 실제의류를 제거하고 가상의류를 입는 시뮬레이션 영상을 실시간으로 디스플레이하는 가상의류 피팅미러 장치 시스템에 관한 것이다.In order to accomplish the above object, the present invention relates to a virtual clothing fitting mirror device system for displaying a simulation image in real time, which removes real clothes worn by a user from a body image of a user photographed in real time and wears the virtual clothing.

상기 가상의류 피팅미러 장치 시스템은 상기 가상의류 피팅미러 장치 시스템은 실제의류를 착용한 사용자의 영상정보데이터를 실시간으로 획득하고, 사용자가 서있을 곳의 배경정보데이터를 미리 획득하며, 상기 사용자가 가상 피팅하기를 원하는 가상의류의 가상의류정보데이터를 통해, 상기 사용자가 착용한 실제의류정보데이터를 대체하는 가상의류 착용데이터를 생성하여, 상기 영상정보데이터에 상기 실제의류를 대신해 상기 가상의류의 시뮬레이션이 가능하도록하되, 상기 실제의류 정보데이터와 상기 가상의류 정보데이터를 비교하여, 상기 가상의류 정보데이터의 범위를 벗어나는 상기 실제의류 정보데이터에 사용자의 신체정보데이터나 상기 배경정보데이터로 대체하여 처리함으로써, 상기 사용자가 착용한 실제의류와 관계없이 가상의류만을 착용한 것 같은 시뮬레이션이 가능하도록 구성한다. In the virtual clothing fitting mirror device system, the virtual clothing fitting mirror device system acquires real-time image information data of a user wearing actual clothing, acquires background information data of a place where the user stands, Virtual clothing data for replacing actual clothing information data worn by the user is generated through virtual clothing information data of the virtual clothing desired to be performed so that the virtual clothing can be simulated in place of the actual clothing in the image information data The actual clothing information data is compared with the virtual clothing information data to replace the actual clothing information data that is out of the range of the virtual clothing information data with the user's body information data or the background information data, Regardless of the actual clothing worn by the user, And configured to enable simulation as if worn only.

상기 가상의류 피팅미러 장치의 시스템은 사용자의 신체정보가 저장된 신체정보데이터와, 상기 가상의류정보데이터가 저장된 저장부, 카메라를 사용해 상기 영상정보데이터와, 상기 배경정보데이터를 획득하는 촬영부, 상기 촬영부와 통신되고, 상기 촬영부에서 획득한 영상정보데이터에서 상기 사용자가 착용한 실제의류를 판별하여 추출하여 상기 실제의류의 폭과 길이정보가 포함된 실제의류 정보데이터와, 상기 실제의류 정보데이터를 대체하는 상기 가상의류 착용데이터를 생성시키는 연산부, 상기 연산부와 통신되고, 상기 영상정보데이터에서 상기 실제의류 정보데이터를 상기 가상의류 착용데이터로 대체하는 가상의류 영상데이터를 생성하는 제어부, 상기 가상의류 영상데이터를 디스플레이하는 디스플레이부로 구성된다.The system of the virtual clothing fitting mirror apparatus includes body information data in which body information of a user is stored, an image capturing unit that acquires the image information data and the background information data using a storage unit and a camera in which the virtual clothing information data is stored, The actual apparel information data including the width and the length information of the actual appara- tus and the actual apparel information data including the actual apparel information, A control unit which is communicated with the arithmetic unit and generates virtual clothing image data that replaces the actual clothing information data with the virtual clothing data in the image information data, And a display unit for displaying image data.

이때, 상기 연산부는 상기 촬영부를 통해 촬영된 상기 사용자의 영상정보 데이터를 통해, 상기 사용자의 신체의 중심과, 주요 관절에 따른 특징점을 찾아 위치정보를 파악하고, 상기 위치정보를 통해 상기 사용자 신체의 깊이 정보를 파악하여 실시간으로 상기 사용자의 움직임을 측정한다.At this time, the operation unit searches the center of the body of the user and the minutiae corresponding to the main joint through the image information data of the user photographed through the photographing unit, and obtains position information of the user, The depth information is grasped and the motion of the user is measured in real time.

또한, 상기 제어부는 상기 연산부를 통해 측정된 상기 사용자의 영상정보데이터와 신체정보데이터를 전송받아 비교하되, 상기 사용자의 키 또는 목 또는 어깨넓이 또는 발끝부터 어깨까지의 높이 데이터 중 하나 이상의 데이터가 같도록 매칭하여 상기 사용자의 영상정보데이터를 상기 디스플레이부로 전송한다.In addition, the control unit may compare the user's image information data and the body information data measured through the operation unit, and compare one or more of the user's key, neck, shoulder width, or height data from the toe to shoulder, And transmits the image information data of the user to the display unit.

이때, 상기 가상의류 착용데이터는 가상의류의 폭과 길이와 색상 정보를 포함한다.At this time, the virtual wear data includes the width, length and color information of the virtual clothing.

더불어, 상기 제어부는 상기 가상의류 정보데이터에 포함된 가상의류의 폭이나 길이정보가 상기 실제의류 정보데이터에 포함된 실제의류의 폭이나 길이정보보다 작은 경우, 상기 실제의류 정보데이터에서 상기 가상의류 정보데이터를 초과한 부분의 폭이나 길이 정보를 추출하여 저장한 초과정보데이터를 더 포함한다.In addition, when the width or length information of the virtual clothing included in the virtual clothing information data is smaller than the width or length information of the actual clothing included in the actual clothing information data, And further includes excess information data obtained by extracting and storing width or length information of a portion exceeding data.

또한, 상기 제어부는 상기 초과정보데이터에 해당하는 부분의 위치에 신체정보 데이터와 배경정보 데이터를 사용해 대체 가능하게 한다.In addition, the control unit makes it possible to substitute the body information data and the background information data at a position corresponding to the excess information data.

더불어, 상기 제어부는 상기 가상의류 정보데이터에 포함된 가상의류의 폭이나 길이정보가 상기 실제의류 정보데이터에 포함된 실제의류의 폭이나 길이정보보다 큰 경우, 상기 가상의류 착용데이터는 상기 가상의류 정보데이터와 동일하고, 상기 실시간으로 촬영된 사용자의 영상정보데이터에 상기 가상의류 착용데이터가 합쳐진 가상의류 영상데이터를 상기 디스플레이부로 전송한다.In addition, if the width or length information of the virtual clothing included in the virtual clothing information data is larger than the width or length information of the actual clothing included in the actual clothing information data, And transmits the virtual clothing image data in which the virtual clothing data is combined to the image information data of the user photographed in the real time, to the display unit.

반면에, 상기 제어부는 상기 가상의류 정보데이터에 포함된 가상의류의 폭이나 길이정보가 상기 실제의류 정보데이터에 포함된 실제의류의 폭이나 길이정보보다 작은 경우, 상기 가상의류 착용데이터는 상기 가상의류 정보데이터와 상기 초과정보데이터가 합쳐지고, 상기 가상의류 착용데이터와 상기 실시간으로 촬영된 사용자의 영상정보데이터가 합쳐진 가상의류 영상데이터를 상기 디스플레이부로 전송한다.On the other hand, when the width or length information of the virtual clothing included in the virtual clothing information data is smaller than the width or length information of the actual clothing included in the actual clothing information data, Information data and the excess information data are combined and virtual clothing image data in which the virtual clothing wear data and the image information data of the user photographed in real time are combined is transmitted to the display unit.

이때, 상기 제어부는 상기 가상의류에서 상기 사용자의 신체부위인 팔, 다리, 허리 중 하나 이상의 부분에 대응하는 부분의 폭방향과 길이방향 각각의 끝선의 위치데이터와, 상기 실제의류에서 상기 사용자의 신체부위인 팔, 다리, 허리 중 하나 이상의 부분에 대응하는 부분의 폭방향과 길이방향 각각의 끝선의 위치데이터를 비교하여, 상기 초과정보데이터에 해당하는 부분의 위치에 어떤 정보데이터가 사용될 것인지를 결정한다.At this time, the control unit may calculate position data of end lines in the width direction and the longitudinal direction of the portion corresponding to at least one part of the user's body parts such as arms, legs and waist in the virtual clothing, Position data of the end line in each of the width direction and the longitudinal direction of the portion corresponding to at least one of the arms, legs, and waist regions is compared to determine which information data is to be used at the position corresponding to the excess information data do.

또한, 상기 초과정보 데이터는 상기 가상의류와 상기 실제의류의 폭방향과 길이방향 각각의 끝선 위치데이터 사이에 해당하는 부분의 위치 중 사용자의 피부에 해당하는 부분에는 상기 사용자의 신체정보데이터를 사용하여 대체하고, 상기 사용자의 피부에 해당하지 않는 부분에는 상기 배경정보데이터를 사용하여 대체한다. The excess information data may be obtained by using the user's body information data in a part corresponding to the skin of the user among the position of a part corresponding to the position between the end line position data in the width direction and the longitudinal direction of the virtual clothing and the actual clothing And the background information data is used to replace the portion not corresponding to the skin of the user.

이때, 상기 사용자의 피부 부분은 해당 신체부위의 두께를 의미하는 폭방향에 해당하는 끝선 위치데이터이고, 상기 끝선 위치데이터 사이에는 상기 신체정보데이터가 사용되어 대체되고, 상기 해당 신체부위의 폭방향에 해당하는 끝선 위치데이터와 상기 실제의류의 폭방향에 해당하는 끝선 위치데이터 사이에는 상기 배경정보데이터로 대체된다. In this case, the skin portion of the user is end line position data corresponding to the width direction, which means the thickness of the body portion, the body information data is used between the end line position data, Between the corresponding end line position data and the end line position data corresponding to the width direction of the actual garment is replaced with the background information data.

본 발명의 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다.The features and advantages of the present invention will become more apparent from the following detailed description based on the accompanying drawings.

이에 앞서 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니 되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야 한다.Prior to that, terms and words used in the present specification and claims should not be construed in a conventional and dictionary sense, and the inventor may properly define the concept of the term in order to best explain its invention It should be construed as meaning and concept consistent with the technical idea of the present invention.

본 발명에 따르면, 의류매장에서 의류를 선택하고자 하는 고객이 다수의 의류를 직접 입어보지 않아도 어떤 옷이 자기에게 어울리는지 시뮬레이션하여 의류를 선택할 수 있어 간편하다는 장점이 있다. According to the present invention, there is an advantage that a customer who wants to select clothes in a clothing store can easily select clothing by simulating how many clothes fit him / herself without wearing a lot of clothes.

또한, 실제 착용하고 있는 복장 위에 가상 의류를 피팅하는 경우에 상기 실제 착용의류에 배경처리 또는 살처리를 함으로써, 상기 실제 착용중인 의류를 벗겨내고 가상 의류만을 착용한 듯한 자연스러운 효과를 준다.In addition, when the virtual clothing is fitted on the actual wearing clothes, the actual wearing clothes are subjected to a background treatment or a flesh treatment to peel off the clothes actually worn and give a natural effect of wearing only virtual clothes.

더불어, 상기 가상의류 복합미러장치에 부착된 카메라를 통해 의류를 가상피팅하고 상기 의류를 가상피팅한 사용자의 움직임도 3차원 시뮬레이션이 가능하게 함으로써 가상으로 직접 의상을 착용한 것과 같은 효과를 얻을 수 있다.In addition, the virtual fitting of clothes through the camera attached to the virtual clothing composite mirror device and the motion of the user who has virtually fitted the clothes can also be simulated in three dimensions, thereby achieving the same effect as wearing the clothes in a virtual manner .

도 1은 본 발명의 실시예에 따른 가상 의류 복합 미러 장치 및 시스템을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 가상 의류 복합 미러 장치 및 시스템의 구성도이다.
도 3은 본 발명의 실시예에 따른 가상의류복합미러장치를 사용하는 사용자의 관절에 대응하는 특징점을 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 가상의류 복합미러 장치 및 시스템에 사용되는 사용자의 신체정보데이터이다.
도 5는 본 발명의 실시예에 따른 가상의류 복합미러 장치 및 시스템에 의해 가상의류가 피팅되는 과정을 구체화하는 도면이다.
도 6은 본 발명의 실시예에 따른 가상의류 복합미러 장치 및 시스템에 의해 가상의류가 피팅되는 과정을 구체화하는 도면이다.
도 7은 본 발명의 실시예에 따른 가상의류 복합미러 장치 및 시스템에 의해 가상의류가 피팅되는 과정을 구체화하는 도면이다.
1 is a view showing a virtual garment complex mirror apparatus and a system according to an embodiment of the present invention.
2 is a configuration diagram of a virtual garment complex mirror apparatus and system according to an embodiment of the present invention.
FIG. 3 is a view showing minutiae points corresponding to the joints of the user using the virtual garment complex mirror apparatus according to the embodiment of the present invention.
FIG. 4 is a user's body information data used in a virtual garment complex mirror apparatus and system according to an embodiment of the present invention.
5 is a view illustrating a process of fitting a virtual garment by a virtual garment complex mirror apparatus and system according to an embodiment of the present invention.
6 is a view illustrating a process of fitting a virtual garment by a virtual garment complex mirror apparatus and system according to an embodiment of the present invention.
FIG. 7 is a view illustrating a process of fitting a virtual garment by a virtual garment complex mirror apparatus and system according to an embodiment of the present invention.

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. In this process, the thicknesses of the lines and the sizes of the components shown in the drawings may be exaggerated for clarity and convenience of explanation.

또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 하여 내려져야 할 것이다.In addition, the terms described below are defined in consideration of the functions of the present invention, which may vary depending on the intention or custom of the user, the operator. Therefore, definitions of these terms should be made based on the contents throughout this specification.

아울러, 아래의 실시예는 본 발명의 권리범위를 한정하는 것이 아니라 본 발명의 청구범위에 제시된 구성요소의 예시적인 사항에 불과하며, 본 발명의 명세서 전반에 걸친 기술사상에 포함되고 청구범위의 구성요소에서 균등물로서 치환 가능한 구성요소를 포함하는 실시예는 본 발명의 권리범위에 포함될 수 있다.In addition, the following embodiments are not intended to limit the scope of the present invention, but merely as exemplifications of the constituent elements set forth in the claims of the present invention, and are included in technical ideas throughout the specification of the present invention, Embodiments that include components replaceable as equivalents in the elements may be included within the scope of the present invention.

이하 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예에 따른 증강현실을 이용한 가상의류 복합미러 장치 시스템에 대하여 상세하게 설명하지만, 본 발명이 하기 실시예에 의해 제한되거나 한정되는 것은 아니다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a virtual garment composite mirror system using an augmented reality according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings, but the present invention is not limited or limited by the following embodiments.

도 1은 본 발명의 실시예에 따른 가상 의류 복합 미러 장치 시스템을 도시한 도면이고, 도 2는 본 발명의 실시예에 따른 가상 의류 복합 미러 장치 시스템의 구성도이며, 도 3은 본 발명의 실시예에 따른 가상의류복합미러장치를 사용하는 사용자의 관절에 대응하는 특징점을 도시한 도면이고, 도 4는 본 발명의 실시예에 따른 가상의류 복합미러 장치 시스템에 사용되는 사용자의 신체정보데이터이며, 도 5는 본 발명의 실시예에 따른 가상의류 복합미러 장치 시스템에 의해 가상의류가 피팅되는 과정을 구체화하는 도면이고, 도 6 및 도 7은 본 발명의 실시예에 따른 가상의류 복합미러 장치 시스템에 의해 가상의류가 피팅되는 과정을 구체화하는 도면이다. FIG. 1 is a view showing a virtual garment complex mirror apparatus system according to an embodiment of the present invention, FIG. 2 is a configuration diagram of a virtual garment complex mirror apparatus system according to an embodiment of the present invention, FIG. FIG. 4 is a view showing a feature point corresponding to a user's joint using a virtual clothing compound mirror apparatus according to an example. FIG. 4 is body information data of a user used in a virtual clothing compound mirror apparatus system according to an embodiment of the present invention, FIG. 5 is a view illustrating a process of fitting a virtual garment by a virtual garment complex mirror system according to an embodiment of the present invention, and FIGS. 6 and 7 are views illustrating a virtual garment complex mirror apparatus system according to an embodiment of the present invention. FIG. 3 is a diagram illustrating a process of fitting a virtual garment by a user.

도 1을 참조하면, 본 발명에 따른 가상의류 피팅미러장치를 통해 실시간으로 촬영되는 사용자의 모습을 나타낸 것이다. Referring to FIG. 1, a user is photographed in real time through a virtual clothing fitting mirror apparatus according to the present invention.

본 발명에 따른 상기 가상의류 피팅미러 장치 시스템은 실제의류를 착용한 사용자의 영상정보데이터를 실시간으로 획득하고, 사용자가 서있을 곳의 배경정보데이터를 미리 획득하며, 상기 사용자가 가상 피팅하기를 원하는 가상의류의 가상의류정보데이터를 통해, 상기 사용자가 착용한 실제의류정보데이터를 대체하는 가상의류 착용데이터를 생성하여, 상기 영상정보데이터에 상기 실제의류를 대신해 상기 가상의류의 시뮬레이션이 가능하도록하되, 상기 실제의류 정보데이터와 상기 가상의류 정보데이터를 비교하여, 상기 가상의류 정보데이터의 범위를 벗어나는 상기 실제의류 정보데이터에 사용자의 신체정보데이터나 상기 배경정보데이터로 대체하여 처리함으로써, 상기 사용자가 착용한 실제의류와 관계없이 가상의류만을 착용한 것 같은 시뮬레이션이 가능하도록 구성된다.The virtual clothing fitting mirror device system according to the present invention acquires real-time image information data of a user wearing actual clothing, acquires background information data in a place where the user stands, Wherein virtual clothing data for replacing actual clothing information data worn by the user is generated through virtual clothing information data of the clothes so as to enable simulation of the virtual clothing on behalf of the actual clothing in the image information data, By comparing the actual clothing information data with the virtual clothing information data and replacing the actual clothing information data which is out of the range of the virtual clothing information data with the user's body information data or the background information data to process the same, City that seems to wear only virtual clothing regardless of actual clothing And is configured to enable simulation.

도 2를 참조하여 본 발명에 따른 상기 가상의류 피팅미러 장치 시스템 구성도를 설명한다.A system configuration diagram of the virtual clothing fitting mirror apparatus according to the present invention will be described with reference to FIG.

도 2를 참조하면, 상기 가상의류 피팅미러 장치의 시스템은 외부 장치로부터 전송받은 사용자의 신체정보가 저장된 신체정보데이터(111)와, 상기 사용자가 가상 피팅하기를 원하는 가상의류정보데이터(112)가 저장된 저장부(110)를 포함한다.2, the system of the virtual clothing fitting mirror apparatus includes body information data 111 in which body information of a user transmitted from an external apparatus is stored, and virtual clothing information data 112 in which the user wishes to virtual- And a stored storage unit 110. [

이때, 상기 신체정보데이터(111)는 사용자의 3차원 신체 영상 정보이고, 상기 신체정보데이터는 사용자의 휴대전화 또는 테블릿 피씨와 같은 유, 무선 통신이 가능한 장치 중 하나의 장치로부터 전송받을 수 있다.At this time, the body information data 111 is the three-dimensional body image information of the user, and the body information data can be received from one of devices capable of wireless communication such as a cellular phone or a tablet PC of the user .

또한, 상기 가상의류정보데이터(112)는 상기 시스템이 포함된 가상의류 피팅미러장치(100)가 구비된 매장 내에 입점된 브랜드의 모든 의상 정보가 포함되어 있다.In addition, the virtual clothing information data 112 includes all clothing information of a brand in a store equipped with the virtual clothing fitting mirror device 100 including the system.

더불어, 상기 시스템은 카메라를 사용해 상기 사용자의 영상을 실시간으로 촬영하여, 실제 의상을 착용한 사용자의 영상정보데이터(121), 사용자가 없을 때 촬영하여 획득한 배경정보데이터(122)를 획득하는 촬영부(120)와, 상기 촬영부(120)와 통신되고, 상기 촬영부(120)에서 획득한 영상정보데이터(121)에서 상기 사용자가 착용한 실제의류(200)를 판별하여 추출하는 연산부(130)를 더 포함한다. In addition, the system uses the camera to photograph the user's image in real time, and acquires the image information data 121 of the user wearing the actual outfit, and the background information data 122 obtained by shooting when there is no user, An operation unit 130 for communicating with the photographing unit 120 and discriminating and extracting the actual clothes 200 worn by the user from the image information data 121 acquired by the photographing unit 120; ).

또한, 상기 시스템은 상기 연산부(130)를 통해 추출한 실제의류(200)의 폭과 길이정보가 포함된 실제의류 정보데이터(131), 상기 실제의류 정보데이터(131)를 대체하는 가상의류 착용데이터(132)를 상기 연산부(130)를 통해 생성시키고, 상기 영상정보데이터(121)에서 상기 실제의류 정보데이터(131)를 상기 가상의류 착용데이터(132)로 대체하는 가상의류 영상데이터(141)를 생성하는 제어부(140), 상기 가상의류 영상데이터(141)를 디스플레이하는 디스플레이부(150)로 구성된다.The system further includes actual clothing information data 131 including width and length information of the actual clothes 200 extracted through the calculation unit 130 and virtual clothing data 130 replacing the actual clothing information data 131 132 of the virtual clothing image data 141 through the operation unit 130 and generates virtual clothing image data 141 for replacing the actual clothing information data 131 with the virtual clothing data 132 in the image information data 121 And a display unit 150 for displaying the virtual clothing image data 141.

도 3을 참조하면, 상기 연산부(130)는 상기 촬영부(120)를 통해 실시간으로 촬영된 상기 사용자의 영상정보데이터(121)를 통해, 상기 사용자의 신체의 중심과, 주요 관절에 따른 특징점(133)을 찾아 위치정보를 파악하고, 상기 위치정보를 통해 상기 사용자 신체의 깊이 정보를 파악하여 실시간으로 상기 사용자의 움직임을 측정하는 것이 가능하다. Referring to FIG. 3, the operation unit 130 displays the center of the user's body and minutiae corresponding to the main joints 133 of the user's body, grasp the positional information, grasp the depth information of the user's body through the positional information, and measure the movement of the user in real time.

일 실시예로, 상기 촬영부(120) 및 연산부(130)에는 깊이 카메라 또는 일반 RGB 카메라를 포함할 수 있다. 깊이 카메라는 적외선 센서를 이용하여 대상을 촬영하고, 촬영된 대상에 대하여 실시간으로 깊이 정보를 획득한다. 이와 같이 얻어진 깊이 정보를 이용하여 사용자 신체의 주요 관절 등 특징점의 위치를 추적함으로써 사용자의 움직임을 측정할 수 있다. 또한, 상기 RGB 카메라를 이용하여 얻어진 영상에서 패턴 분석을 통해 사용자 신체의 주요 관절 등 특징점의 위치를 추적함으로써 사용자의 움직임을 측정할 수도 있다.In one embodiment, the photographing unit 120 and the operation unit 130 may include a depth camera or a general RGB camera. The depth camera captures an object using an infrared sensor and acquires depth information in real time for the object being photographed. The movement of the user can be measured by tracking the location of the feature points such as the joints of the user's body using the depth information thus obtained. In addition, the movement of the user can be measured by tracking the location of the feature points such as the main joints of the user's body through the pattern analysis in the image obtained using the RGB camera.

이때, 상기 카메라 장치를 통해 촬영된 사용자의 신체의 중심점과, 주요 관절에 따른 특징점을 찾아 사용자의 위치정보에 따른 깊이정보를 통해 사용자의 움직임을 파악하는 기술에 대한 알고리즘은 종래에 널리 알려져있는 기술이므로, 본 명세서에서 별도로 설명하지 않고, 그것으로 대체한다.At this time, an algorithm for a technique of finding a center point of a user's body photographed through the camera device and a feature point along a major joint and grasping a user's movement through depth information according to the user's position information is a well- , It is not separately described in this specification, and is replaced with it.

또한, 상기 제어부(140)는 상기 연산부(130)를 통해 측정된 상기 사용자의 영상정보데이터(121)와 신체정보데이터(111)를 전송받아 비교하되, 상기 사용자의 키 또는 목 또는 어깨넓이 또는 발끝부터 어깨까지의 높이 데이터 중 하나 이상의 데이터가 같도록 매칭하여 상기 사용자의 영상정보데이터(121)를 상기 디스플레이부(150)로 전송함으로써 디스플레이된다.The control unit 140 receives and compares the user's image information data 121 and the body information data 111 measured through the operation unit 130 and determines whether the user's key or neck or shoulder width, To the shoulder, and transmits the image information data 121 of the user to the display unit 150 to display the image information.

이때, 상기 실시간으로 촬영되는 영상정보데이터(121)와 신체정보데이터(111)에 나타난 사용자의 신체 크기는 서로 같게 되도록 매칭되어야한다.At this time, the body sizes of the user shown in the image information data 121 and the body information data 111 captured in real time should be matched to each other.

이에 따라, 상기 영상정보데이터(121)와 신체정보데이터(111)에서 키 또는 얼굴크기 또는 목 크기 또는 어깨 넓이 또는 발끝부터 어깨까지의 높이 중 적어도 어느 한 가지는 같게 되도록 매칭하는 것이 중요하다. Accordingly, it is important to match at least one of the key information, the face size, the neck size, the shoulder width, or the height from the toe to the shoulder in the image information data 121 and the body information data 111 to be the same.

또한, 상기 제어부(140)는 상기 신체정보데이터(111)와 영상정보데이터(121)에 나타난 신체 영상 정보에서 각각 보이는 각도가 서로 동일하게 조정되도록 한 후, 매칭시키고, 상기 사용자가 입고 있는 실제의상(200)의 전면부와 측면부의 두께나 폭 중 어느 하나 이상은 판별해내어 상기 사용자의 신체 크기만을 측정해내는 것이 가능하게 한다. In addition, the control unit 140 may adjust the angles of the body image data 111 and the body image information displayed on the image information data 121 to match each other, and then match them. It is possible to determine at least one of the thickness and the width of the front portion and the side portion of the body 200 so that only the body size of the user can be measured.

더불어, 상기 제어부(140)는 상기 외부장치로부터 전송받은 사용자의 신체정보데이터(111)를 통해, 상기 사용자의 신체부위 각각에 해당하는 폭 또는 길이정보를 추출하는 것이 가능하다.In addition, the controller 140 can extract the width or length information corresponding to each of the user's body parts through the user's body information data 111 transmitted from the external apparatus.

이때, 상기 신체부위는 팔, 다리, 허리, 어깨, 목 중의 하나 이상이다.At this time, the body part is at least one of arm, leg, waist, shoulder, neck.

또한, 상기 실제의류정보데이터(131)에 포함된 실제의류(200)의 폭이나 길이정보는 팔의 폭(Aw), 다리 폭(Lw), 허리의 폭(Ww), 팔의 길이(Al), 다리 길이(Ll), 어깨 길이(Sl) 중 하나 이상이다. The width or length information of the actual clothes 200 included in the actual clothing information data 131 includes the width Aw of the arm, the width Lw of the legs, the width Ww of the waist, The leg length Ll, and the shoulder length Sl.

더불어, 상기 가상의류정보데이터(112)에 포함된 가상의류(300)의 폭이나 길이정보는 팔의 폭(Aw2), 다리 폭(Lw2), 허리의 폭(Ww2), 팔의 길이(Al2), 다리 길이(Ll2), 어깨 길이(Sl2) 중 하나 이상이다. In addition, the width and length information of the virtual clothing 300 included in the virtual clothing information data 112 includes the arm width Aw2, the leg width Lw2, the waist width Ww2, the arm length Al2, , Leg length (L12), and shoulder length (Sl2).

이때, 실제의류정보데이터(131) 및 가상의류정보데이터(112)에 허리둘레 또는 목둘레 등 당업자에 따라 필요한 신체부위의 수치정보가 더 포함될 수 있다. At this time, the actual clothing information data 131 and the virtual clothing information data 112 may further include numerical information of a body part required by a person skilled in the art such as a waist circumference or neckline.

또한, 상기 가상의류 착용데이터(132)는 가상의류(300)의 폭과 길이와 색상 정보를 포함한다.In addition, the virtual wear data 132 includes width, length and color information of the virtual clothing 300.

더불어, 상기 제어부(140)는 상기 가상의류 정보데이터(112)에 포함된 가상의류(300)의 폭이나 길이정보가 상기 실제의류 정보데이터(131)에 포함된 실제의류(200)의 폭이나 길이정보보다 작은 경우, 상기 실제의류 정보데이터(131)에서 상기 가상의류 정보데이터(112)를 초과한 부분의 폭이나 길이 정보를 추출하여 저장한 초과정보데이터(142)를 더 포함한다.The control unit 140 determines whether the width or the length of the virtual clothing 300 included in the virtual clothing information data 112 corresponds to the width or length of the actual clothes 200 included in the actual clothing information data 131, Information, the excess information data 142 extracting and storing the width or length information of the portion exceeding the virtual clothing information data 112 in the actual clothing information data 131 is further included.

또한, 상기 제어부(140)는 상기 초과정보데이터(142)에 해당하는 부분의 위치에 신체정보 데이터(111)와 배경정보 데이터(122)를 사용해 대체 가능하게 한다.In addition, the controller 140 can replace the excess information data 142 with the body information data 111 and the background information data 122.

이때, 상기 신체정보 데이터(111)는 상기 실제의류(200)에 가려진 부분에서 상기 사용자의 신체부위의 폭이나 길이에 해당하는 부분의 위치에 해당하는 부분으로, 상기 가려진 부분만큼 상기 사용자의 피부와 동일하게 처리됨으로써 자연스러운 살처리가 가능한 것을 의미한다. At this time, the body information data 111 corresponds to the position of the part corresponding to the width or the length of the body part of the user in the part covered by the actual clothing 200, By the same treatment, it means that natural flesh processing is possible.

또한, 이때, 상기 초과정보데이터(142)를 연산하고, 상기 해당하는 각각의 부분의 위치에 신체정보 데이터(111)와 배경정보 데이터(122)처리가 이루어지는 기술에 대한 소프트웨어 알고리즘은 당업자에 의해 다양한 방식으로 소스가 만들어져, 상기 만들어진 소스를 통해 처리될 수 있으므로 본 명세서에서는 별도로 서술하지 않는다. The software algorithm for the technique of calculating the excess information data 142 and processing the body information data 111 and the background information data 122 at the positions of the respective corresponding parts may be variously implemented by a person skilled in the art A source can be created and processed through the created source, so it is not described separately herein.

도 5 및 도 6을 참조하여 상기 가상의류(300)의 폭 또는 길이가 상기 실제의류(200)의 폭 또는 길이보다 큰 경우와 작은 경우에 상기 영상정보데이터(121)에 상기 사용자가 가상의류(300)만을 착용한 것처럼 처리되는 방법을 설명한다. 5 and 6, when the width or length of the virtual garment 300 is larger or smaller than the width or length of the actual garment 200, the user inserts the virtual garment 300 into the image information data 121 300 is treated as if it were worn only.

도 5를 참조하면, 상기 제어부(140)는 상기 가상의류 정보데이터(112)에 포함된 가상의류(300)의 폭이나 길이정보가 상기 실제의류 정보데이터(131)에 포함된 실제의류(200)의 폭이나 길이정보보다 큰 경우, 상기 가상의류 착용데이터(132)는 상기 가상의류 정보데이터(112)와 동일하고, 상기 실시간으로 촬영된 사용자의 영상정보데이터(121)에 상기 가상의류 착용데이터(132)가 합쳐진 가상의류 영상데이터(141)를 상기 디스플레이부(150)로 전송한다.5, when the width or length information of the virtual clothing 300 included in the virtual clothing information data 112 is included in the actual clothing 200 included in the actual clothing information data 131, The virtual clothing data 132 is the same as the virtual clothing information data 112. The virtual clothing data 132 is stored in the video information data 121 of the user photographed in real- 132 to the display unit 150. The display unit 150 displays the virtual clothing image data 141,

이에 따라, 상기 가상의류 영상데이터(141)가 디스플레이된다.Accordingly, the virtual clothing image data 141 is displayed.

반면에, 도 6을 참조하면, 상기 제어부(140)는 상기 가상의류 정보데이터(112)에 포함된 가상의류(300)의 폭이나 길이정보가 상기 실제의류 정보데이터(131)에 포함된 실제의류(200)의 폭이나 길이정보보다 작은 경우, 상기 가상의류 착용데이터(132)는 상기 가상의류 정보데이터(112)와 상기 초과정보데이터(142)가 합쳐지고, 상기 가상의류 착용데이터(132)와 상기 실시간으로 촬영된 사용자의 영상정보데이터(121)가 합쳐진 가상의류 영상데이터(141)를 상기 디스플레이부(150)로 전송한다.6, the controller 140 determines whether the width or the length of the virtual clothing 300 included in the virtual clothing information data 112 is greater than the width or the length of the virtual clothing 300 included in the actual clothing information data 131 The virtual clothing information data 112 and the excess information data 142 are combined so that the virtual clothing data 132 and the virtual clothing data 132 are combined, And transmits the virtual clothing image data 141 in which the image information data 121 of the user photographed in real time is combined to the display unit 150. [

상기 도 6에 도시된 확대도에서 대각선 방향으로 해칭이 들어간 부분은 초과정보데이터(142)를 뜻한다.In the enlarged view shown in FIG. 6, the hatched portion in the diagonal direction indicates excess information data 142.

이때, 도 7을 참조하면, 상기 제어부(140)는 상기 가상의류(300)에서 상기 사용자의 신체부위인 팔, 다리, 허리 중 하나 이상의 부분에 대응하는 부분의 폭방향과 길이방향 각각의 끝선위치데이터와, 상기 실제의류(200)에서 상기 사용자의 신체부위인 팔, 다리, 허리 중 하나 이상의 부분에 대응하는 부분의 폭방향과 길이방향 각각의 끝선위치데이터를 비교하여, 상기 초과정보데이터(142)에 해당하는 부분의 위치에 어떤 정보데이터가 사용될 것인지를 결정한다. Referring to FIG. 7, the controller 140 controls the virtual clothing 300 such that the end portions of the virtual clothing 300 corresponding to at least one of the arms, legs, and waist portions of the user's body, And data of the end line in each of the width direction and the longitudinal direction of the portion corresponding to at least one part of the user's body parts such as arms, legs and waist in the actual clothes 200, To which the information data is to be used.

또한, 상기 초과정보데이터(142)는 상기 가상의류(300)와 상기 실제의류(200)의 폭방향과 길이방향 각각의 끝선위치데이터(201,202) 사이에 해당하는 부분의 위치 중 사용자의 피부에 해당하는 부분에는 상기 사용자의 신체정보데이터(111)를 사용하여 대체하고, 상기 사용자의 피부에 해당하지 않는 부분에는 상기 배경정보데이터(122)를 사용하여 대체한다. The excess information data 142 corresponds to the skin of the user among the positions of the portion between the virtual clothing 300 and the end line position data 201 and 202 in the width direction and the longitudinal direction of the actual clothing 200 The user's body information data 111 is used to replace the user's body information data, and the background information data 122 is used to replace parts not corresponding to the user's skin.

이때, 상기 사용자의 피부 부분은 해당 신체부위의 두께를 의미하는 폭방향에 해당하는 끝선위치데이터(111-1,111-2)이고, 양측에 위치한 각각의 상기 끝선위치데이터 사이에는 상기 신체정보데이터(111)가 사용되어 대체되고, 상기 해당 신체부위의 폭방향에 해당하는 끝선위치데이터(111-1,111-2)와 상기 실제의류의 폭방향에 해당하는 끝선위치데이터(201) 사이에는 상기 배경정보데이터(122)로 대체된다.At this time, the skin part of the user is the end line position data 111-1 and 111-2 corresponding to the width direction which means the thickness of the body part, and between the end line position data located on both sides, the body information data 111 And between the end line position data 111-1 and 111-2 corresponding to the width direction of the corresponding body part and the end line position data 201 corresponding to the width direction of the actual garment, 122).

더불어, 상기 가상의류(300)와 실제의류(200)의 끝선위치데이터에서 상기 끝선위치데이터의 중심점의 위치데이터를 각각 찾고, 상기 각각의 중심점의 위치데이터를 연결하는 직선데이터가 형성되며, 상기 직선데이터는 상기 가상의류(300)와 실제의류(200)에 의해 가려진 사용자의 신체부위 두께의 중심부분에 위치된다. In addition, straight line data is formed to find position data of the center point of the end line position data in the end line position data of the virtual clothing 300 and the actual clothes 200, respectively, and to connect position data of the respective center points, Data is located in the central portion of the body part thickness of the user obscured by the virtual garment 300 and the actual garment 200. [

이에 따라, 상기 가상의류(300) 또는 실제의류(200)에 의해 가려진 사용자의 신체부위의 정확한 위치를 찾아 상기 실제의류에 가려진 사용자의 신체부위에 신체정보데이터(111) 처리가 가능하다. Accordingly, it is possible to process the body information data 111 on the body part of the user, which is obscured by the actual clothing, by finding the exact position of the body part of the user, which is obscured by the virtual clothing 300 or the actual clothing 200.

또한, 상기 제어부(140)는 실시간으로 상기 사용자의 포즈 또는 움직임 동작을 측정하는 상기 연산부(130)와 통신되어, 상기 사용자의 움직임에 따라 상기 사용자의 신체에 가상 피팅된 가상의류(300)의 움직임을 실시간으로 생성함에 따라, 더욱 생동감있는 3차원 영상의 제공이 가능하다. The control unit 140 may communicate with the operation unit 130 that measures the pose or motion of the user in real time and may control movement of the virtual clothing 300 virtually fitted to the user's body according to the movement of the user It is possible to provide a more realistic three-dimensional image.

더불어, 이때, 상기 가상의류와 실제의류의 끝선위치데이터를 추출하여 상기 사용자의 신체부위를 찾고, 실시간으로 상기 사용자의 포즈 또는 움직임 동작을 측정하는 기술에 대한 소프트웨어 알고리즘은 당업자에 의해 프로그래밍되어, 상기 만들어진 프로그래밍 코드를 통해 처리될 수 있으므로 본 명세서에서는 별도로 서술하지 않는다. In addition, a software algorithm for a technique of extracting the end line position data of the virtual clothing and the actual clothing to find the body part of the user and measuring the pose or movement of the user in real time is programmed by a person skilled in the art, Can be processed through the generated programming code, and therefore will not be described separately herein.

이상 본 발명을 구체적인 실시예를 통하여 상세히 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함이 명백하다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the same is by way of illustration and example only and is not to be construed as limiting the present invention. It is obvious that the modification or improvement is possible.

본 발명의 단순한 변형 내지 변경은 모두 본 발명의 범주에 속하는 것으로 본 발명의 구체적인 보호 범위는 첨부된 특허청구범위에 의해 명확해질 것이다.It is intended that the present invention cover the modifications and variations of this invention provided they come within the scope of the appended claims and their equivalents.

100 : 가상의류복합미러장치 110 : 저장부
111 : 신체정보데이터 112 : 가상의류 정보데이터
120 : 촬영부 121 : 영상정보데이터
122 : 배경정보데이터 130 : 연산부
131 : 실제의류 정보데이터 132 : 가상의류 착용데이터
140 : 제어부 141 : 가상의류 영상데이터
142 : 초과정보데이터 150 : 디스플레이부
200 : 실제의류 201 : 폭방향 끝선위치데이터
202 : 길이방향 끝선위치데이터 300 : 가상의류
301 : 폭방향 끝선위치데이터 302 : 길이방향 끝선위치데이터
100: virtual clothing composite mirror device 110: storage unit
111: Body information data 112: Virtual clothing information data
120: photographing unit 121: image information data
122: background information data 130:
131: actual clothing information data 132: virtual clothing wear data
140: controller 141: virtual clothing video data
142: excess information data 150:
200: actual clothing 201: width direction end position data
202: longitudinal end position data 300: virtual clothing
301: Position data of end line in the width direction 302: Position data of the end line in the length direction

Claims (9)

실시간으로 촬영된 사용자의 신체영상에서 사용자가 착용한 실제의류를 제거하고 가상의류를 입는 시뮬레이션 영상을 실시간으로 디스플레이하는 가상의류 피팅미러 장치 시스템에 있어서,
상기 가상의류 피팅미러 장치 시스템은,
실제의류를 착용한 사용자의 영상정보데이터를 실시간으로 획득하고,
사용자가 서있을 곳의 배경정보데이터를 미리 획득하며,
상기 사용자가 가상 피팅하기를 원하는 가상의류의 가상의류정보데이터를 통해, 상기 사용자가 착용한 실제의류정보데이터를 대체하는 가상의류 착용데이터를 생성하여, 상기 영상정보데이터에 상기 실제의류를 대신해 상기 가상의류의 시뮬레이션이 가능하도록하되,
상기 실제의류 정보데이터와 상기 가상의류 정보데이터를 비교하여, 상기 가상의류 정보데이터의 범위를 벗어나는 상기 실제의류 정보데이터에 사용자의 신체정보데이터나 상기 배경정보데이터로 대체하여 처리함으로써,
상기 사용자가 착용한 실제의류와 관계없이 가상의류만을 착용한 것 같은 시뮬레이션이 가능하도록 구성된 것을 특징으로 하는 증강현실을 이용한 가상 의류 피팅 미러 장치 시스템.
A virtual clothing fitting mirror device system for displaying a simulation image in real time by removing a real clothing worn by a user in a body image of a user photographed in real time and wearing a virtual garment,
The virtual clothing fitting mirror device system comprises:
The image information data of the user wearing the actual clothing is acquired in real time,
Acquires background information data of a place where the user stands,
Virtual clothing data for replacing actual clothing information data worn by the user through virtual clothing information data of the virtual clothing desired by the user to be virtual-fitted, Make clothing simulation possible,
By comparing the actual clothing information data with the virtual clothing information data and replacing the actual clothing information data that is out of the range of the virtual clothing information data with the user's body information data or the background information data,
Wherein the virtual clothing fitting mirror system is configured to be able to simulate wearing only virtual clothing regardless of the actual clothes worn by the user.
제1항에 있어서,
상기 가상의류 피팅미러 장치의 시스템은,
사용자의 신체정보가 저장된 신체정보데이터와, 상기 가상의류정보데이터가 저장된 저장부;
카메라를 사용해 상기 영상정보데이터와, 상기 배경정보데이터를 획득하는 촬영부;
상기 촬영부와 통신되고, 상기 촬영부에서 획득한 영상정보데이터에서 상기 사용자가 착용한 실제의류를 판별하여 추출하여 상기 실제의류의 폭과 길이정보가 포함된 실제의류 정보데이터와, 상기 실제의류 정보데이터를 대체하는 상기 가상의류 착용데이터를 생성시키는 연산부;
상기 연산부와 통신되고, 상기 영상정보데이터에서 상기 실제의류 정보데이터를 상기 가상의류 착용데이터로 대체하는 가상의류 영상데이터를 생성하는 제어부;
상기 가상의류 영상데이터를 디스플레이하는 디스플레이부; 로 구성되어 가상 피팅이 가능한 것을 특징으로 하는 증강현실을 이용한 가상의류 복합미러 장치 시스템.
The method according to claim 1,
The system of the virtual clothing fitting mirror device comprises:
Body information data in which body information of a user is stored; a storage unit in which the virtual clothing information data is stored;
A photographing unit for acquiring the image information data and the background information data using a camera;
The actual clothing information data including the width and the length information of the actual clothing and the actual clothing information data including the actual clothing information and the actual clothing information data, which are communicated with the photographing unit, discriminate and extract the actual clothes worn by the user from the image information data acquired by the photographing unit, An operation unit for generating the virtual wear data to replace the data;
A control unit, communicated with the operation unit, for generating virtual clothing image data that replaces the actual clothing information data with the virtual clothing wear data in the image information data;
A display unit for displaying the virtual clothing image data; And a virtual fitting is possible. The virtual garment complex mirror device system using the augmented reality.
제2항에 있어서,
상기 연산부는,
상기 촬영부를 통해 촬영된 상기 사용자의 영상정보 데이터를 통해,
상기 사용자의 신체의 중심과, 주요 관절에 따른 특징점을 찾아 위치정보를 파악하고, 상기 위치정보를 통해 상기 사용자 신체의 깊이 정보를 파악하여 실시간으로 상기 사용자의 움직임을 측정하는 것이 가능한 것을 특징으로 하는 증강현실을 이용한 가상의류 피팅미러 장치 시스템.
3. The method of claim 2,
The operation unit,
Through the image information data of the user photographed through the photographing unit,
It is possible to grasp the positional information by searching for the center of the user's body and the minutiae corresponding to the major joints and grasp the depth information of the user's body through the positional information and measure the movement of the user in real time Virtual Clothing Fitting Mirror System Using Augmented Reality.
제3항에 있어서,
상기 제어부는,
상기 연산부를 통해 측정된 상기 사용자의 영상정보데이터와 신체정보데이터를 전송받아 비교하되,
상기 사용자의 키 또는 목 또는 어깨넓이 또는 발끝부터 어깨까지의 높이 데이터 중 하나 이상의 데이터가 같도록 매칭하여 상기 사용자의 영상정보데이터를 상기 디스플레이부로 전송하는 것을 특징으로 하는 증강현실을 이용한 가상의류 피팅미러 장치 시스템.
The method of claim 3,
Wherein,
And transmitting the image information data and the body information data of the user measured through the operation unit,
Wherein the image data of the user is transmitted to the display unit by matching the data of at least one of the user's key, neck, shoulder width or height data from the toe to the shoulder to be the same, Device system.
제1항에 있어서,
상기 가상의류 착용데이터는,
가상의류의 폭과 길이와 색상 정보를 포함하는 것을 특징으로 하는 증강현실을 이용한 가상의류 피팅미러 장치 시스템.
The method according to claim 1,
The virtual wear data may include:
Wherein the virtual garment fitting mirror device includes a virtual garment width, length, and color information.
제2항 내지 제5항 중 어느 한 항에 있어서,
상기 제어부는,
상기 가상의류 정보데이터에 포함된 가상의류의 폭이나 길이정보가 상기 실제의류 정보데이터에 포함된 실제의류의 폭이나 길이정보보다 작은 경우,
상기 실제의류 정보데이터에서 상기 가상의류 정보데이터를 초과한 부분의 폭이나 길이 정보를 추출하여 저장한 초과정보데이터를 더 포함하는 것을 특징으로 하는 증강현실을 이용한 가상의류 피팅미러 장치 시스템.
6. The method according to any one of claims 2 to 5,
Wherein,
If the width or length information of the virtual clothing included in the virtual clothing information data is smaller than the width or length information of the actual clothing included in the actual clothing information data,
Further comprising excess information data obtained by extracting and storing width or length information of a portion of the actual clothing information data that exceeds the virtual clothing information data.
제6항에 있어서,
상기 제어부는,
상기 초과정보데이터에 해당하는 부분의 위치에 신체정보 데이터와 배경정보 데이터를 사용해 대체 가능하게 하는 것을 특징으로 하는 증강현실을 이용한 가상의류 피팅미러 장치 시스템.
The method according to claim 6,
Wherein,
Wherein the body information data and the background information data are used at a position corresponding to the excess information data so as to replace the body information data and the background information data.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 제어부는,
상기 가상의류 정보데이터에 포함된 가상의류의 폭이나 길이정보가 상기 실제의류 정보데이터에 포함된 실제의류의 폭이나 길이정보보다 큰 경우,
상기 가상의류 착용데이터는 상기 가상의류 정보데이터와 동일하고,
상기 실시간으로 촬영된 사용자의 영상정보데이터에 상기 가상의류 착용데이터가 합쳐진 가상의류 영상데이터를 상기 디스플레이부로 전송하는 것을 특징으로 하는 증강현실을 이용한 가상의류 피팅미러 장치 시스템.
8. The method according to any one of claims 1 to 7,
Wherein,
When the width or length information of the virtual clothing included in the virtual clothing information data is larger than the width or length information of the actual clothing included in the actual clothing information data,
The virtual clothing data is the same as the virtual clothing information data,
And the virtual clothing image data in which the virtual clothing data is combined with the image information data of the user photographed in real time is transmitted to the display unit.
제8항에 있어서,
상기 제어부는,
상기 가상의류 정보데이터에 포함된 가상의류의 폭이나 길이정보가 상기 실제의류 정보데이터에 포함된 실제의류의 폭이나 길이정보보다 작은 경우,
상기 가상의류 착용데이터는 상기 가상의류 정보데이터와 상기 초과정보데이터가 합쳐지고,
상기 가상의류 착용데이터와 상기 실시간으로 촬영된 사용자의 영상정보데이터가 합쳐진 가상의류 영상데이터를 상기 디스플레이부로 전송하는 것을 특징으로 하는 증강현실을 이용한 가상의류 피팅미러 장치 시스템.









9. The method of claim 8,
Wherein,
If the width or length information of the virtual clothing included in the virtual clothing information data is smaller than the width or length information of the actual clothing included in the actual clothing information data,
Wherein the virtual clothing information data is a combination of the virtual clothing information data and the excess information data,
And transmits the virtual clothing image data combined with the virtual clothing data and the image information data of the user photographed in real time to the display unit.









KR1020170148581A 2017-11-09 2017-11-09 Apparatus system for virtual fitting cloth based on augmented reality KR102044348B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170148581A KR102044348B1 (en) 2017-11-09 2017-11-09 Apparatus system for virtual fitting cloth based on augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170148581A KR102044348B1 (en) 2017-11-09 2017-11-09 Apparatus system for virtual fitting cloth based on augmented reality

Publications (2)

Publication Number Publication Date
KR20190052824A true KR20190052824A (en) 2019-05-17
KR102044348B1 KR102044348B1 (en) 2019-11-13

Family

ID=66678140

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170148581A KR102044348B1 (en) 2017-11-09 2017-11-09 Apparatus system for virtual fitting cloth based on augmented reality

Country Status (1)

Country Link
KR (1) KR102044348B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339918A (en) * 2020-02-24 2020-06-26 深圳市商汤科技有限公司 Image processing method, image processing device, computer equipment and storage medium
KR20210083551A (en) 2019-12-27 2021-07-07 주식회사 케이티 Method, apparatus, system and computer program for real-time adaptive moving picture virtual clothes fitting
CN113196343A (en) * 2019-11-28 2021-07-30 试衣新 Three-dimensional modeling method for clothes
KR102300500B1 (en) * 2021-01-21 2021-09-10 김범준 Method, device and system for processing three-dimensional cut image of product
KR20220084520A (en) 2020-12-14 2022-06-21 신텍정보시스템 주식회사 Method and Server for providing clothing curation services

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102517104B1 (en) * 2016-02-17 2023-04-04 삼성전자주식회사 Method and apparatus for processing image in virtual reality system
KR102438878B1 (en) * 2021-10-26 2022-09-02 주식회사 헬로브이알 Smart Mirror and Operating Method Thereof
KR102594185B1 (en) * 2022-01-26 2023-10-24 한남대학교 산학협력단 Rotate type 3d scanner device
KR102560158B1 (en) * 2022-07-26 2023-07-26 헬로칠드런 주식회사 Mirror system linked to camera

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272530A (en) * 2003-03-07 2004-09-30 Digital Fashion Ltd Virtual fitting display device and method, virtual fitting display program, and computer readable recoding medium with the same program recorded
KR20060108271A (en) * 2006-09-27 2006-10-17 곽노윤 Method of image-based virtual draping simulation for digital fashion design
KR20100026240A (en) * 2008-08-29 2010-03-10 김상국 3d hair style simulation system and method using augmented reality
KR20130007011A (en) * 2011-06-28 2013-01-18 동국대학교 경주캠퍼스 산학협력단 Smart coordinate system in the clothes shop
KR20130029482A (en) * 2011-09-15 2013-03-25 김보경 System, method and computer readable recording medium for simulating hair style
KR20140077820A (en) 2012-12-14 2014-06-24 한국전자통신연구원 Method for fiiting virtual items using human body model and system for providing fitting service of virtual items
KR20160046471A (en) * 2014-10-21 2016-04-29 삼성전자주식회사 Apparatus and Method for virtual fitting thereof
KR20170011261A (en) * 2015-07-22 2017-02-02 이서진 Apparatus for hair style 3D simulation and method for simulating the same
KR20170048287A (en) * 2017-04-21 2017-05-08 에스케이플래닛 주식회사 Method and apparatus for virtual hair styling service

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272530A (en) * 2003-03-07 2004-09-30 Digital Fashion Ltd Virtual fitting display device and method, virtual fitting display program, and computer readable recoding medium with the same program recorded
KR20060108271A (en) * 2006-09-27 2006-10-17 곽노윤 Method of image-based virtual draping simulation for digital fashion design
KR20100026240A (en) * 2008-08-29 2010-03-10 김상국 3d hair style simulation system and method using augmented reality
KR20130007011A (en) * 2011-06-28 2013-01-18 동국대학교 경주캠퍼스 산학협력단 Smart coordinate system in the clothes shop
KR20130029482A (en) * 2011-09-15 2013-03-25 김보경 System, method and computer readable recording medium for simulating hair style
KR20140077820A (en) 2012-12-14 2014-06-24 한국전자통신연구원 Method for fiiting virtual items using human body model and system for providing fitting service of virtual items
KR20160046471A (en) * 2014-10-21 2016-04-29 삼성전자주식회사 Apparatus and Method for virtual fitting thereof
KR20170011261A (en) * 2015-07-22 2017-02-02 이서진 Apparatus for hair style 3D simulation and method for simulating the same
KR20170048287A (en) * 2017-04-21 2017-05-08 에스케이플래닛 주식회사 Method and apparatus for virtual hair styling service

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김재중 외 4인."미니어처 세트를 이용한 합성 애니메이션 제작 공정".컴퓨터그래픽스학회논문지.2016.07.31.제22권 제3호,(제63면 내지 제73면)* *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113196343A (en) * 2019-11-28 2021-07-30 试衣新 Three-dimensional modeling method for clothes
KR20210083551A (en) 2019-12-27 2021-07-07 주식회사 케이티 Method, apparatus, system and computer program for real-time adaptive moving picture virtual clothes fitting
CN111339918A (en) * 2020-02-24 2020-06-26 深圳市商汤科技有限公司 Image processing method, image processing device, computer equipment and storage medium
CN111339918B (en) * 2020-02-24 2023-09-19 深圳市商汤科技有限公司 Image processing method, device, computer equipment and storage medium
KR20220084520A (en) 2020-12-14 2022-06-21 신텍정보시스템 주식회사 Method and Server for providing clothing curation services
KR102300500B1 (en) * 2021-01-21 2021-09-10 김범준 Method, device and system for processing three-dimensional cut image of product

Also Published As

Publication number Publication date
KR102044348B1 (en) 2019-11-13

Similar Documents

Publication Publication Date Title
KR102044348B1 (en) Apparatus system for virtual fitting cloth based on augmented reality
CN110609617B (en) Apparatus, system and method for virtual mirror
US9928411B2 (en) Image processing apparatus, image processing system, image processing method, and computer program product
KR101775327B1 (en) Method and program for providing virtual fitting service
JP6598617B2 (en) Information processing apparatus, information processing method, and program
CN112703286A (en) Clothes registering device, clothes recommending device and on-line system comprising same
JP6341646B2 (en) Try-on support device and method
US20200380594A1 (en) Virtual try-on system, virtual try-on method, computer program product, and information processing device
US9996909B2 (en) Clothing image processing device, clothing image display method and program
EP3091864B1 (en) Systems and methods to automatically determine garment fit
US10360444B2 (en) Image processing apparatus, method and storage medium
KR101720016B1 (en) A clothing fitting system with a mirror display by using salient points and the method thereof
CN108885794A (en) The virtually trying clothes on the realistic human body model of user
KR101997702B1 (en) 3D simulation system for hair-styling
JP6830432B2 (en) Garment design display system, garment manufacturing system, garment design output system and garment design output method
TW201401222A (en) Electronic device capable of generating virtual clothing model and method for generating virtual clothing model
US20160232708A1 (en) Intuitive interaction apparatus and method
KR102261893B1 (en) A system for measuring body size using image
JP2017076315A (en) Image processing device, image processing method, and program
KR20110002610A (en) Apparatus and method for displaying shape of wearing jewelry using augmented reality
KR20210065423A (en) Virtual fitting system in augmented reality based offline store
JP2020198053A (en) Information processing device, information processing method, person search system, and person search method
CN107622428A (en) A kind of method and device for realizing virtually trying
KR101989846B1 (en) Television for virtual fitting cloth based on augmented reality
US11386615B2 (en) Creating a custom three-dimensional body shape model

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant