KR101643917B1 - The smart fitting apparatus based real image - Google Patents

The smart fitting apparatus based real image Download PDF

Info

Publication number
KR101643917B1
KR101643917B1 KR1020140122056A KR20140122056A KR101643917B1 KR 101643917 B1 KR101643917 B1 KR 101643917B1 KR 1020140122056 A KR1020140122056 A KR 1020140122056A KR 20140122056 A KR20140122056 A KR 20140122056A KR 101643917 B1 KR101643917 B1 KR 101643917B1
Authority
KR
South Korea
Prior art keywords
image
unit
dimensional
background
dimensional image
Prior art date
Application number
KR1020140122056A
Other languages
Korean (ko)
Other versions
KR20140130638A (en
Inventor
이문숙
이영수
서영규
Original Assignee
(주)인더스웰
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)인더스웰 filed Critical (주)인더스웰
Priority to KR1020140122056A priority Critical patent/KR101643917B1/en
Publication of KR20140130638A publication Critical patent/KR20140130638A/en
Application granted granted Critical
Publication of KR101643917B1 publication Critical patent/KR101643917B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Abstract

실제로 의류를 착용한 모습을 디스플레이장치를 통해 3차원의 실사 영상으로 제공하고, 의류 착용 영상을 주변인들과 공유할 수 있도록 한 실사 영상 기반의 스마트 피팅장치 및 그 방법에 관한 것으로, 사용자(구매자)의 모습이 없는 배경 공간을 각각의 카메라를 통해 촬영하고 촬영된 배경 영상을 특징 영상으로 변환하여 배경 영상을 설정하는 배경 모델링부; 다수의 깊이 카메라로부터 입력된 영상에서 구매자의 신체를 제외한 배경을 제거하는 배경 제거부; 카메라 조정부에서 획득한 조정(Calibration) 정보를 이용하여 3차원 공간좌표들을 정렬하여 3차원 영상을 생성하는 3차원 영상 모델링부; 3차원 영상의 디스플레이와 저장을 제어하며, 저장 영상의 전송을 제어하는 중앙제어부; 중앙제어부의 제어에 따라 디스플레이 장치에 3차원 영상을 디스플레이하는 영상 디스플레이부를 구비함으로써, 실제로 의류를 착용한 모습을 디스플레이장치를 통해 3차원의 실사 영상으로 제공해주고, 의류 착용 영상을 주변인들과 공유할 수 있도록 도모해준다.The present invention relates to a real-time image-based smart fitting apparatus and method for providing a three-dimensional real-time image through a display device and sharing a clothing-worn image with surrounding persons, A background modeling unit for photographing a background space without a shape of each camera through each camera and converting the photographed background image into a feature image to set a background image; A background removal unit which removes backgrounds excluding a purchaser's body from images input from a plurality of depth cameras; A three-dimensional image modeling unit for generating a three-dimensional image by aligning three-dimensional spatial coordinates using calibration information obtained from a camera adjusting unit; A central control unit for controlling display and storage of the three-dimensional image and controlling transmission of the stored image; And a display unit for displaying a three-dimensional image on the display device under the control of the central control unit. Thus, it is possible to provide a three-dimensional real image through a display device, I will help you.

Description

실사 영상 기반의 스마트 피팅장치{The smart fitting apparatus based real image}[0001] The present invention relates to a smart fitting apparatus based on real-

본 발명은 실사 영상(real image) 기반의 스마트 피팅(samrt fitting)에 관한 것으로, 특히 실제로 의류를 착용한 모습을 디스플레이장치(예를 들어, 디지털 사이니지(digital signage))를 통해 3차원의 실사 영상으로 제공하고, 의류 착용 영상을 주변인들과 공유할 수 있도록 한 실사 영상 기반의 스마트 피팅장치에 관한 것이다.[0001] The present invention relates to a smart image-based smart fitting, and more particularly, to a smart fitting based on a real image, in which a state of wearing clothing is displayed on a display device (for example, digital signage) The present invention relates to a smart-image-based smart-fitting apparatus that provides a video-based image and a clothing-worn image to be shared with surrounding persons.

일반적으로, 의류 매장에서 의류를 구매하는 구매자는 의류를 착용한 후 거울 앞에서 여러 방향으로 의류를 착용한 자신의 모습을 관찰하고 자신의 모습에 대한 주변인들의 의견을 청취한다. 또한, 다른 의류를 착용하여 상호 비교하는 등 구매하고자 하는 의류가 자신에게 잘 맞는가를 비교, 확인하는 과정을 거친다.In general, a buyer who purchases clothes at a clothing store observes his / her appearance wearing clothes in various directions in front of a mirror after wearing clothes, and listens to the opinions of surrounding people about his / her appearance. In addition, they are compared with each other by wearing different clothes and comparing them to each other.

그러나 이러한 방식은 매장에 주변인들이 함께 존재할 경우에만 서로 의견을 주고 받을 수 있다는 제약이 따른다.However, this method has a restriction that it is possible to exchange opinions only when the surrounding people are present together in the store.

한편, 근래 들어 의류를 구매하는 과정에서 구매자들이 자신에게 맞는 다양한 의류를 입어본 후, 비교하여 선택할 수 있도록 지원하는 기술이 개발되고 있다.Meanwhile, in recent years, in the course of purchasing clothes, a technique has been developed in which buyers can wear a variety of clothes suitable for their own, and compare and select them.

이와 관련된 기존 기술은 가상의 의류(의상) 착용 기술로써, 3D 가상(Virtual) 피팅 시스템이 대표적인 예이다. 이 기술은 인체를 카메라로 촬영한 영상으로부터 3D 인체 모델링을 하고, 의류는 그래픽 기술을 이용하여 가상으로 제작한 후, 실사 영상 위에 가상 의류를 합성하여 디스플레이하는 기술이다.The existing technology related to this is virtual clothing (costume) wearing technology, and a 3D fitting system is a typical example. This technology is a technique of modeling 3D human body from a video shot by a human body camera, creating clothes virtually using graphic technology, and synthesizing and displaying virtual clothing on live-action video.

상기와 같은 디지털 방식의 가상 피팅 시스템에 대한 종래의 기술들이, 하기의 <특허문헌 1> 대한민국 공개특허 공개번호 10-2012-0087265호(2012.08.07. 공개)와, <특허문헌 2> 대한민국 공개특허 공개번호 10-2012-0040565호(2012.04.27. 공개) 및 <특허문헌 3> 대한민국 공개특허 공개번호 10-2013-0007011호(2013.01.18. 공개)에 개시된다.Conventional techniques for the digital virtual fitting system as described above are disclosed in the following Patent Document 1: Korean Patent Laid-Open Publication No. 10-2012-0087265 (2012.08.07.) And Patent Document 2: Patent Publication No. 10-2012-0040565 (published on Apr. 27, 2012) and Patent Document 3 (Korean Patent Laid-Open Publication No. 10-2013-0007011 (published on January 18, 2013)).

개시된 <특허문헌 1>은 사용자 영상에서 사용자 신체 형태와 매칭되는 피팅 콘텐츠를 검색하고, 사용자의 변형 요청에 따라 미리 복수 영역으로 구분된 피팅 콘텐츠 단위 영역을 변형하고자 하는 콘텐츠 영역에 복사하여 피팅 콘텐츠를 변형한다. 그리고 그 변형된 피팅 콘텐츠를 사용자 신체 형태에 맞게 가상 피팅을 수행하게 된다. 이로써 리사이징으로 인한 부자연스러운 결합 또는 영상의 퍼짐 현상을 방지할 수 있고, 화질의 손실이 없으면서도 피팅 콘텐츠를 사용자 영상에 자연스럽게 변형하게 된다.The disclosed patent document 1 searches for a fitting content matched with a user's body form in a user image and copies the fitted content unit area divided into a plurality of areas in advance to a content area to be modified according to a user's request for modification, . Then, the modified fitting contents are subjected to virtual fitting according to the user's body shape. As a result, it is possible to prevent an unnatural combination due to the resizing or spreading of the image, and the fitting contents can be naturally transformed into the user's image without loss of image quality.

또한, <특허문헌 2>는 자신이 원하는 바디(body)의 생성과 수정이 가능하고, 인터넷망을 통해 웹상에서 제공되는 의류의 3차원 가상착의가 가능한 애플리케이션이 탑재된 사용자 단말기, 판매자 단말기를 통해 생성된 의류 파일의 3차원 착의 서비스를 제공하기 위한 웹 서버, 애플리케이션에서 구현되는 가상의 바디에 착의될 의류 파일을 제작하기 위한 통합 클로딩 프로그램이 탑재되며, 상기 웹 서버로 상기 의류 파일을 업로드하기 위한 판매자 단말기를 구비한다. 이렇게 구비된 3차원 가상 피팅 시스템을 이용하여 사용자 단말기의 애플리케이션에 설정된 바디에 옷을 자유롭게 3차원으로 가상 피팅할 수 있게 된다.In addition, Patent Document 2 discloses a user terminal equipped with an application capable of creating and modifying a body desired by the user and capable of three-dimensional virtual dressing of clothes provided on the web through the Internet, A web server for providing a three-dimensional attachment service of the generated apparel file, an integrated clipping program for creating an apparel file to be appended to a virtual body implemented in the application, and the apparel file is uploaded to the web server And a merchant terminal for selling merchandise. By using the three-dimensional virtual fitting system, the clothes can be freely three-dimensionally fitted to the body set in the application of the user terminal.

아울러 <특허문헌 3>은 의류별로 부여된 식별코드와 매칭되는 의류제품에 대한 이미지정보를 저장하여 이용자의 선택에 따라 다수개의 이미지정보를 불러와서 코디해 볼 수 있다. 또한, 이용자의 전신을 촬영하여 직접 이용자의 전신에 오버랩시키거나 증강현실로 보여주어 마치 의류를 착용한 듯한 효과를 가져와서 간편하게 자신에게 어울리는 의류를 선택할 수 있도록 도모해준다.
In addition, Patent Document 3 stores image information of an apparel product matched with an identification code assigned for each apparel, and can fetch and coordinate a plurality of image information according to a user's selection. In addition, the whole body of the user is photographed and overlapped with the whole body of the user directly or is displayed as an augmented reality, so that the effect of wearing the clothes is facilitated, so that the user can easily select clothes suitable for him.

대한민국 공개특허 공개번호 10-2012-0087265호(2012.08.07. 공개)Korean Patent Publication No. 10-2012-0087265 (2012.08.07. Disclosed) 대한민국 공개특허 공개번호 10-2012-0040565호(2012.04.27. 공개)Korean Patent Publication No. 10-2012-0040565 (published on April 27, 2012) 대한민국 공개특허 공개번호 10-2013-0007011호(2013.01.18. 공개)Korean Patent Publication No. 10-2013-0007011 (published on January 18, 2013)

그러나 상기와 같은 종래기술들은 가상 의류의 크기를 인체에 맞춰 변형해야 하므로 인체의 크기 및 가상 의류의 크기에 대한 데이터를 관리하고 가상 의류의 크기 변형 계산을 해야 하므로 해상도가 높은 정교한 가상 의류를 표현하는 경우 실시간 처리가 어려운 단점이 있다.However, since the above-mentioned prior arts need to modify the size of the virtual clothing according to the human body, the data on the size of the human body and the size of the virtual clothing must be managed and the size variation of the virtual clothing must be calculated. Therefore, There is a disadvantage that real time processing is difficult.

또한, 종래기술들은 디스플레이 장치에 출력되는 카메라 영상이 2차원 영상으로 출력되는 방식이고 실제 의상은 착용하지 않는 방식이므로, 의상이 자신에 잘 맞는지(Fitting) 알 수가 없어 현실감이 많이 떨어지며, 실제 구매에 활용하기에는 어려운 단점이 있다.In addition, since the conventional technology is a method in which a camera image outputted to a display device is outputted as a two-dimensional image and a real image is not worn, a sense of reality is not much known because the costume does not fit itself, There are disadvantages that it is difficult to utilize.

본 발명의 목적은 상기한 바와 같은 문제점을 해결하기 위한 것으로, 실제로 의류를 착용한 모습을 디지털 사이니지(digital signage)를 통해 3차원의 실사 영상으로 제공하고, 의류 착용 영상을 주변인들과 공유할 수 있도록 한 실사 영상 기반의 스마트 피팅장치 및 그 방법을 제공하는 것이다.The object of the present invention is to solve the above-mentioned problems, and it is an object of the present invention to provide a three-dimensional real image through a digital signage, And to provide a smart fitting device and method therefor.

본 발명의 다른 목적은 3차원 영상의 녹화 기능을 통해 여러 다른 의류를 착용한 모습을 동시에 비교할 수 있도록 한 실사 영상 기반의 스마트 피팅장치 및 그 방법을 제공하는 것이다.
It is another object of the present invention to provide a real-image-based smart fitting apparatus and a method thereof, which can simultaneously compare a state in which different clothes are worn through a three-dimensional image recording function.

상기한 바와 같은 목적을 달성하기 위한 본 발명에 따른 실사 영상 기반의 스마트 피팅장치는 사용자(구매자)의 의류 착용 모습을 촬영하기 위한 다수의 깊이(Depth) 카메라를 연결하기 위한 카메라 인터페이스부; 기준 공간 좌표계 설정을 위해 상기 다수의 깊이 카메라의 위치를 조정하는 카메라 조정(Calibration)부; 상기 다수의 깊이 카메라로부터 구매자의 의류 착용 모습을 촬영하는 영상 취득부; 사용자(구매자)의 모습이 없는 배경 공간을 각각의 카메라를 통해 촬영하고 촬영된 배경 영상을 변환하는 배경 모델링부; 상기 다수의 깊이 카메라로부터 입력된 영상에서 구매자의 신체를 제외한 배경을 제거하는 배경 제거부; 상기 카메라 조정부에서 획득한 조정(Calibration) 정보를 이용하여 3차원 공간좌표들을 정렬하여 3차원 영상을 생성하는 3차원 영상 모델링부; 상기 생성한 3차원 영상의 디스플레이와 저장을 제어하며, 저장 영상의 전송을 제어하는 중앙제어부; 상기 중앙제어부의 제어에 따라 디스플레이 장치에 3차원 영상을 디스플레이하는 영상 디스플레이부; 사용자의 제스처 인식이나 메뉴 방식으로 사용자와의 인터랙션에 의해 3차원 영상 화면을 제어하는 3차원 영상 제어부; 상기 중앙제어부의 제어에 따라 상기 디스플레이 장치에 디스플레이되는 구매자의 의류 착용 모습을 녹화(기록)하는 3차원 영상 녹화부; 구매자의 의류 착용 모습이 녹화된 영상을 데이터베이스에 등록하는 3차원 영상 저장부; 구매자의 의류 착용 모습이 녹화된 영상을 외부로 전송하기 위한 3차원 영상 전송부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a smart fitting device based on a real image, comprising: a camera interface unit for connecting a plurality of depth cameras for photographing a wearer's wearing state; A camera calibration unit for adjusting the positions of the plurality of depth cameras to set a reference space coordinate system; An image acquisition unit for photographing a wearer's clothing wearing state from the plurality of depth cameras; A background modeling unit for photographing a background space without a shape of a user (buyer) through each camera and converting the photographed background image; A background removal unit configured to remove backgrounds excluding the purchaser's body from images input from the plurality of depth cameras; A three-dimensional image modeling unit for generating a three-dimensional image by aligning three-dimensional space coordinates using calibration information obtained by the camera adjusting unit; A central controller for controlling display and storage of the generated three-dimensional image and controlling transmission of the stored image; An image display unit for displaying a three-dimensional image on a display device under the control of the central control unit; A three-dimensional image control unit for controlling a three-dimensional image screen by gesture recognition of a user or interaction with a user through a menu method; A three-dimensional image recording unit for recording (recording) a clothing wearing state of the purchaser displayed on the display device under the control of the central control unit; A three-dimensional image storage unit for registering a video image of a wearer's clothing wearing state in a database; And a three-dimensional image transmission unit for transmitting the recorded image to the outside.

또한, 본 발명에 따른 실사 영상을 이용한 스마트 피팅장치는 사용자와의 인터페이스를 위한 사용자 인터페이스부를 더 포함하는 것을 특징으로 한다.In addition, the smart fitting apparatus using the real image according to the present invention may further include a user interface unit for interfacing with a user.

상기에서 배경 모델링부는 사용자(구매자)의 모습이 없는 배경 공간 영상을 획득하는 배경공간 획득부; 상기 배경공간 획득부에서 획득한 배경 공간 영상을 모델링하여 배경 영상을 설정하는 특징 모델링부를 포함하는 것을 특징으로 한다.
In the above, the background modeling unit may include a background space acquiring unit acquiring a background space image without a shape of a user (buyer); And a feature modeling unit for modeling the background space image acquired by the background space acquisition unit to set a background image.

상기한 바와 같은 목적을 달성하기 위한 본 발명에 따른 실사 영상을 이용한 스마트 피팅방법은 (a) 3차원 실사 영상 획득을 위한 다수의 깊이 카메라의 위치를 조정한 상태에서, 상기 다수의 깊이 카메라를 통해 배경 공간을 촬영하여 배경 공간 영상을 획득하는 단계; (b) 상기 획득한 배경 공간 영상을 모델링하여 배경 영상을 설정하는 단계; (c) 촬영 영상이 수신되면 상기 설정한 배경 영상을 기반으로 상기 촬영 영상에서 배경을 제거하는 단계; (d) 배경이 제거된 영상을 3차원 영상으로 모델링하는 단계; (e) 상기 (d) 단계에서 모델링된 3차원 영상의 처리를 제어하는 단계; (f) 사용자 인터페이스 발생 여부를 확인하여, 사용자 인터페이스 발생시 사용자 인터페이스에 따라 영상을 조정하는 단계; (g) 상기 (f) 단계에서 조정된 영상 또는 상기 (e) 단계에서 제어된 영상을 표시하는 단계; (f) 상기 (g) 단계에서 표시하는 영상을 녹화 및 저장하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a smart fitting method using a real image, the method comprising: (a) adjusting a position of a plurality of depth cameras for acquiring a three-dimensional real image, Capturing a background space to obtain a background space image; (b) modeling the acquired background space image to set a background image; (c) when the captured image is received, removing the background from the captured image based on the set background image; (d) modeling the image with the background removed as a three-dimensional image; (e) controlling the processing of the 3D image modeled in the step (d); (f) checking whether a user interface is generated, and adjusting an image according to a user interface when a user interface is generated; (g) displaying the image adjusted in the step (f) or the image controlled in the step (e); (f) recording and storing the image displayed in the step (g).

상기에서 (e) 단계는 모델링된 3차원 영상의 디스플레이를 제어하고, 상기 디스플레이되는 3차원 영상의 녹화를 제어하며, 상기 녹화된 3차원 영상의 저장을 제어하며, 상기 저장한 3차원 영상의 전송을 제어하는 것을 특징으로 한다.
The step (e) controls the display of the modeled three-dimensional image, controls the recording of the displayed three-dimensional image, controls the storage of the recorded three-dimensional image, and transmits the stored three- And the like.

본 발명에 따르면 의류 구매자가 의류를 착용한 자신의 실제 모습을 3차원 영상으로 관찰 가능하게 함으로써, 마치 자신의 전, 후, 좌, 우에 거울을 비치하여 전신을 360°로 보는 것과 같은 효과를 갖게 하여 착용한 옷맵시에 대해 충분히 살펴보고 의류를 구매하도록 함으로써, 의류 쇼핑에 대한 만족도를 높일 수 있는 효과가 있다.According to the present invention, by allowing a wearer to observe an actual appearance of a wearer wearing a garment as a three-dimensional image, it is possible to provide a mirror having a mirror in front, rear, left, Therefore, it is possible to increase the satisfaction of shopping for clothes.

또한, 본 발명에 따르면 구매자가 의류를 착용한 실제 3차원 영상을 주변인들에게 전송하여 공유 가능한 장점이 있다.
In addition, according to the present invention, there is an advantage that an actual three-dimensional image of a wearer wearing clothes can be transmitted to nearby people and can be shared.

도 1은 본 발명에 따른 실사 영상 기반의 스마트 피팅장치의 블록구성도,
도 2는 도 1의 배경 모델링부의 실시 예 구성도,
도 3a 내지 도 3d는 본 발명에서 실사 3차원 의류 착용시 거울 기능 예시도,
도 4a 내지 도 4d는 본 발명에서 의류 착용 모습 비교 예시도,
도 5는 본 발명에서 다수 개의 깊이 카메라에 의한 영상 취득 예시도,
도 6은 본 발명에 따른 실사 영상 기반의 스마트 피팅방법을 보인 흐름도,
1 is a block diagram of a smart-image-based smart fitting device according to the present invention;
FIG. 2 is a block diagram of an embodiment of the background modeling unit of FIG. 1;
FIGS. 3A to 3D illustrate a mirror function example when a real-world three-dimensional garment is worn,
FIGS. 4A to 4D are views showing a comparative example of a clothing wearing state of the present invention,
FIG. 5 is a diagram illustrating an example of image acquisition by a plurality of depth cameras in the present invention,
FIG. 6 is a flowchart illustrating a smart-image-based smart fitting method according to the present invention;

이하 본 발명의 바람직한 실시 예에 따른 실사 영상 기반의 스마트 피팅장치 및 방법을 첨부된 도면을 참조하여 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a real-image-based smart fitting apparatus and method according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 바람직한 실시 예에 따른 실사 영상 기반의 스마트 피팅장치의 블록구성도이다.1 is a block diagram of a smart-image-based smart fitting device according to a preferred embodiment of the present invention.

본 발명의 바람직한 실시 예에 따른 실사 영상 기반의 스마트 피팅장치(100)는 카메라 인터페이스부(110), 카메라 조정부(120), 영상 취득부(125), 배경 모델링부(130), 배경 제거부(140), 3차원 영상 모델링부(150), 중앙제어부(160), 사용자 인터페이스부(165), 3차원 영상 제어부(170), 영상 디스플레이부(175), 3차원 영상 녹화부(180), 3차원 영상 저장부(185), 3차원 영상 전송부(190) 및 데이터베이스(195)를 포함한다.The smart fitting image based smart fitting apparatus 100 according to the preferred embodiment of the present invention includes a camera interface unit 110, a camera adjusting unit 120, an image acquiring unit 125, a background modeling unit 130, A 3D image modeling unit 150, a central control unit 160, a user interface unit 165, a 3D image control unit 170, an image display unit 175, a 3D image recording unit 180, Dimensional image storage unit 185, a three-dimensional image transmission unit 190, and a database 195. [

카메라 인터페이스부(110)는 사용자(구매자)의 의류 착용 모습을 촬영하기 위한 다수의 깊이(Depth) 카메라(101 ~ 101+N)를 연결하기 위한 역할을 하며, 카메라 조정부(120)는 기준 공간 좌표계 설정을 위해 상기 다수의 깊이 카메라의 위치를 조정하는 역할을 한다.The camera interface unit 110 serves to connect a plurality of depth cameras 101 to 101 + N for photographing the clothes of the user (buyer), and the camera adjusting unit 120 is connected to the reference space coordinate system And adjusts the positions of the plurality of depth cameras for setting.

영상 취득부(125)는 상기 다수의 깊이 카메라로부터 구매자의 의류 착용 모습을 촬영하여 영상을 획득하는 역할을 한다.The image acquiring unit 125 acquires an image of an image of a wearer wearing a clothes from the plurality of depth cameras.

아울러 배경 모델링부(130)는 사용자(구매자)의 모습이 없는 배경 공간을 각각의 카메라를 통해 촬영하고 촬영된 배경 영상을 변환하는 역할을 한다. In addition, the background modeling unit 130 photographs the background space without the shape of the user (buyer) through each camera and converts the background image.

이러한 배경 모델링부(130)는 도 2에 도시한 바와 같이, 사용자(구매자)의 모습이 없는 배경 공간 영상을 획득하는 배경공간 획득부(131); 상기 배경공간 획득부(131)에서 획득한 배경 공간 영상을 모델링하여 배경 영상을 설정하는 특징 모델링부(132)를 포함한다.As shown in FIG. 2, the background modeling unit 130 includes a background space acquiring unit 131 for acquiring a background space image without a user (buyer) image. And a feature modeling unit 132 for modeling the background space image obtained by the background space obtaining unit 131 to set a background image.

또한, 배경 제거부(140)는 상기 다수의 깊이 카메라로부터 입력된 영상에서 구매자의 신체를 제외한 배경을 제거하는 역할을 하며, 3차원 영상 모델링부(150)는 상기 카메라 조정부(120)에서 획득한 조정(Calibration) 정보를 이용하여 3차원 공간좌표들을 정렬하여 3차원 영상을 생성하는 역할을 한다.In addition, the background removing unit 140 removes the background excluding the purchaser's body from the images input from the plurality of depth cameras, and the 3D image modeling unit 150 removes backgrounds from the images obtained from the camera adjusting unit 120 Dimensional space coordinates by using the calibration information to generate a three-dimensional image.

그리고 중앙 제어부(160)는 상기 생성한 3차원 영상의 디스플레이와 저장을 제어하며, 저장 영상의 전송을 제어하는 역할을 한다. 이러한 중앙제어부(160)는 마이크로프로세서, 마이컴, 컨트롤러, 중앙처리장치와 같은 제어 장치로 구현하는 것이 바람직하다.The central control unit 160 controls display and storage of the generated three-dimensional image, and controls transmission of the stored image. The central control unit 160 is preferably implemented as a control device such as a microprocessor, a microcomputer, a controller, and a central processing unit.

영상 디스플레이부(175)는 상기 중앙제어부(160)의 제어에 따라 디스플레이 장치에 3차원 영상을 디스플레이하는 역할을 하며, 3차원 영상 제어부(170)는 사용자의 제스처 인식이나 메뉴 방식으로 사용자와의 인터랙션에 의해 3차원 영상 화면을 제어하는 역할을 한다.The image display unit 175 displays a three-dimensional image on the display device under the control of the central control unit 160. The three-dimensional image control unit 170 controls the three-dimensional image control unit 170 based on the user's gesture recognition, And controls the three-dimensional image screen.

아울러 3차원 영상 녹화부(180)는 상기 중앙제어부(160)의 제어에 따라 상기 디스플레이 장치에 디스플레이되는 구매자의 의류 착용 모습을 녹화(기록)하는 역할을 한다.In addition, the three-dimensional image recording unit 180 records (records) a clothing wearing state of the buyer displayed on the display device under the control of the central control unit 160. [

또한, 3차원 영상 저장부(185)는 구매자의 의류 착용 모습이 녹화된 영상을 데이터베이스(195)에 등록하는 역할을 하며, 3차원 영상 전송부(190)는 구매자의 의류 착용 모습이 녹화된 영상을 외부로 전송하기 위한 역할을 한다.In addition, the three-dimensional image storage unit 185 registers a video image of a wearer's wear-wearing state in the database 195, and the three-dimensional image transmission unit 190 transmits the three- To the outside.

또한, 사용자 인터페이스부(165)는 사용자와의 인터페이스 역할을 한다.In addition, the user interface unit 165 serves as an interface with the user.

이와 같이 구성된 본 발명에 따른 실사 영상 기반의 스마트 피팅장치의 작용을 설명하면 다음과 같다.The operation of the real-image-based smart fitting apparatus according to the present invention will now be described.

먼저, 사용자(구매자)의 의류 착용 모습을 3차원 영상으로 촬영하기 위해서 복수의 깊이 카메라(101 ~ 101+N)를 특정 공간에 설치한다. 도 5는 다수 개의 깊이 카메라의 설치 위치와 영상 취득 예시 도이다. 상기 특정 공간은 피팅 룸일 수 있다.First, a plurality of depth cameras (101 to 101 + N) are installed in a specific space in order to photograph a wearer wearing clothes by a three-dimensional image. FIG. 5 is a view showing an installation position of a plurality of depth cameras and image acquisition. The specific space may be a fitting room.

그리고 복수의 깊이 카메라와 스마트 피팅장치(100)를 커넥터 등을 이용하여 연결하면, 카메라 인터페이스부(110)가 중앙제어부(160)와 복수의 깊이 카메라 간의 데이터를 인터페이스해준다.When a plurality of depth cameras and a smart fitting device 100 are connected by using a connector or the like, the camera interface unit 110 interfaces data between the central control unit 160 and a plurality of depth cameras.

여기서 깊이 카메라의 한 종류로 마이크로소프트사의 키넥트(Kinect) 센서와 같은 종류의 카메라 센서를 사용할 수도 있다. 키넥트 센서는 기본적으로 3개의 렌즈로 구성되며, 그 중 한 개는 RGB인식용으로 사용되고, 다른 한 개는 적외선을 픽셀 단위로 투사하는 역할을 한다. 적외선을 투사하는 렌즈를 적외선 프로젝트라고도 부른다. 그리고 또 다른 한 개는 적외선 프로젝트로 송출된 무수히 많은 점들이 촬영 대상으로부터 반사되어 오는 걸 인식하게 된다. 예컨대, 적외선을 픽셀 단위로 송출하고, 적외선 수신 카메라가 이 픽셀을 거리정보로 수집하여 이미지를 생산하여 대상을 인식하게 된다.A kind of camera sensor, such as a Kinect sensor from Microsoft, may be used as a kind of depth camera. The Kinect sensor basically consists of three lenses, one for RGB recognition and the other for projecting infrared rays in pixel units. A lens that projects infrared rays is also called an infrared project. And the other recognizes that a myriad of dots sent to the infrared project are reflected from the subject being shot. For example, an infrared ray is transmitted on a pixel basis, and an infrared ray camera collects the pixel as distance information to produce an image and recognize the object.

아울러 상기와 같이 특정 공간에 복수의 깊이 카메라를 설치한 경우에는, 최적의 공간좌표 획득을 위해 카메라 조정이 필요하다. 즉, 복수의 깊이 카메라를 통해 획득한 영상이 영상 디스플레이부(175)를 통해 디스플레이 장치(예를 들어, 디지털 사이니지)에 표시된다. 사용자는 디스플레이 장치에 표시되는 영상을 보면서 입력장치(도면에는 도시하지 않음)를 통해 조정 정보를 입력하거나 카메라의 위치를 변경한다. 이러한 조작에 따라 카메라 조정부(120)는 다수의 깊이(Depth) 카메라를 통해 동시에 같은 공간(구매자)을 촬영하는 경우 촬영 지점의 3차원 공간을 구성하기 위해서 각각의 카메라 좌표계에서 입력된 3차원 공간 좌표값들을 기준이 되는 하나의 공간 좌표계로 변환하여 3차원 공간상에서의 모두 일치하는 공간좌표를 획득한다. 카메라 조정은 의류 매장일 경우 시스템 최초 설치 시 또는 설치 공간 변경 시에만 수행하며 한 번 설정된 공간에서는 반복하여 설정할 필요가 없다.In addition, when a plurality of depth cameras are installed in a specific space as described above, camera adjustment is required for obtaining an optimum spatial coordinate. That is, an image acquired through a plurality of depth cameras is displayed on a display device (for example, a digital signage) through the image display unit 175. The user inputs the adjustment information through an input device (not shown in the drawing) while viewing the image displayed on the display device, or changes the position of the camera. According to this operation, the camera adjusting unit 120 adjusts the three-dimensional space coordinate (x, y, z) inputted from each camera coordinate system in order to construct a three-dimensional space of the photographing point when photographing the same space (buyer) simultaneously through a plurality of depth cameras Values are converted into a reference spatial coordinate system to obtain all coincident spatial coordinates in the three-dimensional space. The camera adjustment is performed only when the system is installed for the first time or when the installation space is changed.

카메라의 조정이 완료된 상태에서 관리자는 사용자(구매자)의 모습이 없는 배경 공간을 각각의 깊이 카메라를 통해 미리 촬영한다. 이렇게 촬영된 영상은 중앙제어부(160)의 제어에 따라 배경 모델링부(130)에 전달된다. 상기 배경 모델링부(130)의 배경 공간 획득부(131)는 입력된 영상을 사용자(구매자)의 모습이 없는 배경 공간 영상으로 획득하여 특징 모델링부(132)에 전달한다. 상기 특징 모델링부(132)는 상기 배경공간 획득부(131)에서 획득한 배경 공간 영상을 모델링하여 배경 영상을 설정하게 된다. 이렇게 설정된 배경 영상은 데이터베이스(195)에 저장된다. 매장 내에서 촬영 공간을 변경하거나 매장의 위치가 바뀌어도 배경 모델링부를 통해 배경을 저장할 수 있다. 이러한 배경 영상은 추후 촬영 영상으로부터 배경 영상을 제거하는 데 사용되며, 이와 같이 불필요한 배경을 제거함으로써 3차원 영상 모델링의 처리속도를 향상시키고 사용자의 모습을 강조하여 보여줄 수 있게 된다.In the state where the adjustment of the camera is completed, the manager photographs the background space without the shape of the user (buyer) through each depth camera in advance. The photographed image is transmitted to the background modeling unit 130 under the control of the central control unit 160. The background space acquisition unit 131 of the background modeling unit 130 acquires the input image as a background space image without a user (buyer) and transmits the background space image to the feature modeling unit 132. The feature modeling unit 132 models the background space image obtained by the background space obtaining unit 131 to set a background image. The background image thus set is stored in the database 195. The background can be stored through the background modeling unit even if the shooting space is changed in the store or the location of the store is changed. Such a background image is used to remove a background image from a subsequent image. By eliminating unnecessary backgrounds, the processing speed of the three-dimensional image modeling can be improved and the user's appearance can be emphasized.

이후 구매자가 구매 대상 의류를 착용한 후 정해진 위치에서 촬영 시작 명령을 입력하면, 다수의 깊이 카메라에서 구매자의 모습을 전, 후, 좌, 우 방향에서 촬영한다. 그리고 영상 취득부(125)는 중앙제어부(160)의 제어에 따라 다수의 깊이 카메라에서 촬영된 영상을 취득한다.Then, when the buyer wears the clothes to be purchased and then inputs a shooting start command at a predetermined position, the purchaser is photographed in front, rear, left, and right directions from a plurality of depth cameras. The image acquisition unit 125 acquires images photographed by a plurality of depth cameras under the control of the central control unit 160. [

영상 취득부(125)에서 취득된 사용자의 영상은 배경 제거부(140)에 전달되며, 상기 배경 제거부(140)는 상기 영상 취득부(125)를 통해 각각의 깊이 카메라로 촬영한 사용자의 의류 착용 영상과 상기 데이터베이스(195)에 등록해 놓은 배경 영상을 비교하여 영상이 동일한 부분을 제거하고 사용자(구매자)의 모습만 남은 영상을 추출한다.The image of the user acquired by the image acquisition unit 125 is transmitted to the background removal unit 140. The background removal unit 140 receives the user's clothes photographed by the respective depth cameras through the image acquisition unit 125 The wear image is compared with the background image registered in the database 195 to remove the same portion of the image and extract only the image of the user (buyer).

이렇게 추출된 사용자의 의류 착용 영상은 3차원 영상 모델링부(150)에 전달된다. 상기 3차원 영상 모델링부(150)는 상기 카메라 조정부(120)에서 획득한 각 카메라의 조정(Calibration) 정보를 이용하여, 배경까지 제거된 각 카메라로 촬영된 사용자 영상을 3차원 공간좌표로 정렬하여 3차원 영상을 생성한다.The thus-extracted clothes-wearing image of the user is transmitted to the three-dimensional image modeling unit 150. The three-dimensional image modeling unit 150 arranges the user images photographed by the cameras removed to the background into three-dimensional space coordinates using the calibration information of each camera acquired by the camera adjustment unit 120 Thereby generating a three-dimensional image.

이렇게 생성된 3차원 영상은 중앙제어부(160)의 제어에 따라 영상 디스플레이부(175)를 통해 디스플레이 장치에 표출된다. 이때 디스플레이 장치는 디지털 사이니지, 텔레스크린, 스마트TV 등 매장 내에 설치한 디스플레이 장치일 수 있다.The thus generated three-dimensional image is displayed on the display device through the image display unit 175 under the control of the central control unit 160. In this case, the display device may be a display device installed in a store such as a digital signage, a telescreen, or a smart TV.

도 3a 내지 도 3d는 상기 디스플레이 장치에 디스플레이되는 3차원 영상의 예시이다. 마치 거울을 통해 자신을 보는 것과 동일하게 영상이 디스플레이된다. 도 3a는 실제 전면 영상을 나타낸 것이고, 도 3b는 실제 후면 영상을 나타낸 것이며, 도 3c는 실제 측면 영상을 나타낸 것이고, 도 3d는 상기 전면, 후면 및 측면 영상 모두를 하나의 화면에 동시에 디스플레이한 것이다.3A to 3D are examples of a three-dimensional image displayed on the display device. The image is displayed as if it were viewed through a mirror. FIG. 3A shows an actual front image, FIG. 3B shows an actual rear image, FIG. 3C shows an actual side image, and FIG. 3D shows the front, rear, and side images simultaneously on one screen .

디스플레이 장치에 3차원 영상이 표출되는 상태에서 사용자는 3차원 영상의 조작이 가능하며, 이러한 사용자의 조작 신호는 사용자 인터페이스부(165)를 통해 중앙제어부(160)에 전달된다. 예컨대, 사용자 인터페이스부(165)는 디스플레이 장치와 사용자 간의 상호작용을 위한 것으로, 사용자가 디스플레이 장치를 제어할 수 있는 기능을 제공한다. 여기서 기능 제어는 리모컨이나 터치 방식에 의한 메뉴 기반의 기능 제어 또는 사용자의 제스처 인식에 의한 기능 제어 방식으로 이루어질 수 있다.The user can manipulate the three-dimensional image in a state in which the three-dimensional image is displayed on the display device, and the operation signal of the user is transmitted to the central control unit 160 through the user interface unit 165. [ For example, the user interface unit 165 is for interacting with a display device and provides a function for a user to control the display device. Here, the function control can be performed by a remote control or a menu-based function control by a touch method or by a function control method by a user's gesture recognition.

사용자 인터페이스부(165)를 통해 사용자 조작 명령이 수신되면, 중앙제어부(160)는 3차원 영상 제어부(170)에 조작 명령을 전달하여, 3차원 영상 화면을 제어하도록 한다. 예컨대, 3차원 영상 제어부(170)는 디스플레이 장치상에 출력되는 3차원 영상 화면을 제어하는 기능을 하는 데, 그 기능으로는 의류를 착용한 3차원 영상을 좌우로 회전하면서 옷맵시를 관찰하는 기능, 전면 모습, 뒷면 모습, 측면 모습을 한 화면에 동시에 출력하여 한눈에 전체 옷맵시를 관찰하는 기능, 여러 다른 종류의 의류를 착용한 모습을 한 화면에서 동시에 비교 관찰 가능한 기능을 제어한다. 다시 말해, 사용자가 조작명령을 입력하는 것에 대응하여 3차원 영상의 디스플레이를 제어하게 된다.When a user operation command is received through the user interface unit 165, the central control unit 160 transmits an operation command to the three-dimensional image control unit 170 to control the three-dimensional image screen. For example, the three-dimensional image control unit 170 controls a three-dimensional image screen displayed on the display device. The three-dimensional image control unit 170 includes a function of observing a clothes line while rotating a three- , The front view, the back view, and the side view on one screen simultaneously to observe the entire clothes at a glance, and the ability to simultaneously observe and compare the appearance of wearing different kinds of clothing on one screen. In other words, the display of the three-dimensional image is controlled in response to the user inputting the operation command.

도 4a 내지 도 4d는 실사 3차원 의류 착용 모습을 사용자의 인터페이스에 따라 디스플레이 장치에 표시하게 된다. 도 4a는 의류 A의 착용 모습을 디스플레이한 것이고, 도 4b는 의류 B의 착용 모습을 디스플레이한 것이며, 도 4c는 의류 C의 착용 모습을 디스플레이한 것이고, 도 4d는 상기 의류 A 내지 C의 착용 모습을 비교할 수 있도록 화면에 3가지 의류 착용 영상을 동시에 디스플레이한 것이다.FIGS. 4A to 4D show the state of actual 3-dimensional clothing wearing on the display device according to the user interface. FIG. 4A is a view showing a state of wearing of the clothing A, FIG. 4B is a display of a state of wearing the clothes B, FIG. 4C is a view of wearing the clothes C, So that three clothing-wearing images are simultaneously displayed on the screen.

한편, 본 발명의 특징으로서 디스플레이 장치상에 출력되는 영상의 녹화가 가능하다는 것이다. 예컨대, 상기 3차원 영상 녹화부(180)는 디스플레이 장치에 출력되는 사용자(구매자) 자신의 의류 착용한 영상을 녹화(기록, Recording)한다. 녹화는 사용자 인터페이스부(165)를 통해 사용자가 <녹화 시작>과 <녹화 종료> 버튼을 선택하는 것에 대응하여 사용자가 원하는 시간 동안 녹화가 진행된다.On the other hand, as a feature of the present invention, it is possible to record an image output on the display device. For example, the three-dimensional image recording unit 180 records (records, records) a user's (wearer's) clothes-wearing image output to the display device. Recording is progressed during a user's desired time in response to the user selecting the <Start recording> and the <End recording> buttons through the user interface unit 165.

상기 3차원 영상 녹화부(180)에 의해 녹화되는 영상은 3차원 영상 저장부(185)의 제어에 의해 중앙제어부(160)의 내부 메모리에 임시 저장된 후, 기타 저장장치에 저장된다. 여기서 저장장치로는 하드 디스크 드라이브(HDD), USB, CD, DVD, 클라우드 등 인터넷을 통한 외부 저장 장치 등을 포함할 수 있다.The image recorded by the three-dimensional image recording unit 180 is temporarily stored in the internal memory of the central control unit 160 under the control of the three-dimensional image storage unit 185, and then stored in the other storage device. Here, the storage device may include an external storage device such as a hard disk drive (HDD), a USB, a CD, a DVD, a cloud, and the like.

또한, 본 발명의 다른 특징으로서 상기와 같이 내부 메모리에 저장한 녹화 영상을 다른 외부 장치나 인터넷 등을 통해 서버 등에 저장할 수 있다는 것이다. 예컨대, 3차원 영상 전송부(190)는 상기 3차원 영상 녹화부(180)에 의해 중앙제어부(160)의 메모리에 임시 저장된 녹화 영상이나 저장 장치에 저장된 영상을 인터넷과 같은 네트워크를 통해 중앙 서버로 전송하거나 무선 통신을 통해 구매자의 스마트기기로 직접 다운로드 할 수 있다.According to another aspect of the present invention, a recorded image stored in the internal memory can be stored in a server or the like via another external device or the Internet. For example, the three-dimensional image transmission unit 190 transmits a recording image temporarily stored in the memory of the central control unit 160 or an image stored in the storage device by the three-dimensional image recording unit 180 to a central server Or downloaded directly to the buyer's smart device via wireless communication.

도 6은 본 발명에 따른 실사 영상을 이용한 스마트 피팅방법을 보인 흐름도이다. 도 6에 도시된 바와 같이, 본 발명에 따른 실사 영상을 이용한 스마트 피팅방법은 (a) 3차원 실사 영상 획득을 위한 다수의 깊이 카메라의 위치를 조정한 상태에서, 상기 다수의 깊이 카메라를 통해 배경 공간을 촬영하여 배경 공간 영상을 획득하는 단계(S101 ~ S102); (b) 상기 획득한 배경 공간 영상을 모델링하여 배경 영상을 설정하는 단계(S103); (c) 촬영 영상이 수신되면 상기 설정한 배경 영상을 기반으로 상기 촬영 영상에서 배경을 제거하는 단계(S104 ~ S105); (d) 배경이 제거된 영상을 3차원 영상으로 모델링하는 단계(S106); (e) 상기 (d) 단계에서 모델링된 3차원 영상의 처리를 제어하는 단계(S107); (f) 사용자 인터페이스 발생 여부를 확인하여, 사용자 인터페이스 발생시 사용자 인터페이스에 따라 영상을 조정하는 단계(S108 ~ S109); (g) 상기 (f) 단계에서 조정된 영상 또는 상기 (e) 단계에서 제어된 영상을 표시하는 단계(S110); (f) 상기 (g) 단계에서 표시하는 영상을 녹화 및 저장하는 단계(S111)를 포함한다.6 is a flowchart illustrating a smart fitting method using a real image according to the present invention. As shown in FIG. 6, a smart fitting method using a real image according to the present invention includes the steps of (a) adjusting a position of a plurality of depth cameras for acquiring a three-dimensional real image, Capturing a space to acquire background space images (S101 to S102); (b) modeling the obtained background space image to set a background image (S103); (c) removing a background from the photographed image based on the set background image when the photographed image is received (S104 to S105); (d) modeling the image with the background removed as a three-dimensional image (S106); (e) controlling the processing of the 3D image modeled in the step (d) (S107); (f) checking whether a user interface is generated, and adjusting an image according to a user interface when a user interface is generated (S108 to S109); (g) displaying (S110) the image adjusted in the step (f) or the image controlled in the step (e); (f) recording and storing an image displayed in the step (g) (S111).

상기에서 (e) 단계는 3차원 영상의 디스플레이를 제어하고, 상기 디스플레이되는 3차원 영상의 녹화를 제어하며, 상기 녹화된 3차원 영상의 저장을 제어하며, 상기 저장한 3차원 영상의 전송을 제어하게 된다.In the step (e), the control of the display of the three-dimensional image, the control of the recording of the displayed three-dimensional image, the control of the storage of the recorded three-dimensional image, the control of the transmission of the stored three- .

이와 같이 구성된 본 발명에 따른 실사 영상을 이용한 스마트 피팅방법은 단계 S101에서 3차원 실사 영상 획득을 위한 다수의 깊이 카메라의 위치를 조정하고, 단계 S102에서 상기 다수의 깊이 카메라를 통해 배경 공간을 촬영하여 배경 공간 영상을 획득한다.In the smart fitting method using the real image according to the present invention, the positions of the plurality of depth cameras for acquiring the 3D real image are adjusted in step S101, and the background space is photographed through the plurality of depth cameras in step S102 Acquires background space image.

이후 단계 S103에서 상기 획득한 배경 공간 영상을 모델링하여 배경 영상을 설정하고, 단계 S104에서는 촬영 영상이 취득되는지를 확인한다. 이 확인 결과 영상이 취득될 경우 즉, 구매자(사용자)의 의류 착용 3차원 영상이 취득된 경우 단계 S105로 이동하여 상기 설정한 배경 영상을 기반으로 상기 촬영 영상에서 배경을 제거하게 된다. 배경 영상의 제거 방법은 촬영하여 획득한 구매자의 3차원 영상과 기 등록된 배경 영상을 중첩시켜 동일한 부분을 제거하는 방식으로 배경 영상을 제거하게 된다. Thereafter, in step S103, the acquired background space image is modeled to set a background image, and in step S104, it is confirmed whether or not the photographed image is acquired. If the image is acquired as a result of the confirmation, that is, if the wearer-wearing 3D image of the purchaser (user) is acquired, the process proceeds to step S105 and the background is removed from the photographed image based on the set background image. The background image removal method removes the background image in such a manner that the same part is removed by superimposing the three-dimensional image of the buyer acquired by photographing and the previously registered background image.

다음으로, 단계 S106에서는 배경이 제거된 영상을 3차원 영상으로 모델링하고, 단계 S107에서는 상기 모델링된 3차원 영상의 처리를 제어하게 된다. 여기서 3차원 영상 제어는 디스플레이 제어, 3차원 영상의 녹화 제어, 3차원 영상의 저장 제어, 저장한 3차원 영상의 전송 제어를 포함할 수 있다.Next, in step S106, the background-removed image is modeled as a three-dimensional image, and in step S107, the processing of the modeled three-dimensional image is controlled. Here, the three-dimensional image control may include display control, three-dimensional image recording control, three-dimensional image storage control, and storage control of the stored three-dimensional image.

이후 단계 S108에서 사용자 인터페이스 발생 여부를 확인하여, 사용자 인터페이스가 발생한 경우에는 단계 S109로 이동하여 사용자 인터페이스에 따라 영상을 조정하게 된다. 여기서 영상의 조정은 의류를 착용한 3차원 영상을 좌우로 회전시키는 것, 의류를 착용한 전면 영상과 후면 영상 및 측면 영상을 한 화면에 동시에 디스플레이하는 것, 다른 종류의 의류를 착용한 3차원 영상을 하나의 화면에 동시에 디스플레이해주는 것 등을 포함할 수 있다.Then, in step S108, whether or not a user interface has been generated is checked. If a user interface has occurred, the process proceeds to step S109 to adjust the image according to the user interface. Here, the adjustment of the image is performed by rotating the three-dimensional image of the garment to the left and to the right, displaying the front image and the rear image and side image on the screen simultaneously on the clothing, For example, to simultaneously display on a single screen.

다음으로, 단계 S110에서는 조정된 영상 또는 상기 3차원 영상 제어 단계에서 제어된 영상을 디스플레이 장치에 표시하게 된다.Next, in step S110, the adjusted image or the image controlled in the three-dimensional image control step is displayed on the display device.

이후 단계 S111에서는 상기 디스플레이 장치에 표시하는 영상을 녹화 및 저장하게 된다.Thereafter, in step S111, an image to be displayed on the display device is recorded and stored.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
Although the present invention has been described in detail with reference to the above embodiments, it is needless to say that the present invention is not limited to the above-described embodiments, and various modifications may be made without departing from the spirit of the present invention.

본 발명은 의류 매장에서 실사 영상 기반의 의류 피팅 기술에 적용된다. 특히, 구매할 의류를 착용한 영상을 자신이 직접 현장에서 확인할 수 있도록 하는 기술에 효과적으로 적용할 수 있다.
The present invention is applied to a real image based clothing fitting technique in a clothing store. In particular, it can be effectively applied to a technique for allowing a user to directly view an image of a wearable garment on the spot.

100… 스마트 피팅장치
130… 배경 모델링부
140… 배경 제거부
150… 3차원 영상 모델링부
160… 중앙제어부
170… 3차원 영상 제어부
180… 3차원 영상 녹화부
100 ... Smart Fitting Device
130 ... Background modeling unit
140 ... Background removal
150 ... The 3D image modeling unit
160 ... The central control unit
170 ... The three-
180 ... The three-

Claims (10)

사용자(구매자)의 의류 착용 모습을 촬영하는 다수의 깊이(Depth) 카메라를 연결하기 위한 카메라 인터페이스부;
기준 공간 좌표계 설정을 위해 상기 다수의 깊이 카메라의 위치를 조정하는 카메라 조정(Calibration)부;
사용자(구매자)의 모습이 없는 배경 공간을 각각의 카메라를 통해 촬영하고 촬영된 배경 영상을 변환하여 배경 영상을 설정하는 배경 모델링부;
상기 다수의 깊이 카메라로부터 입력된 영상에서 구매자의 신체를 제외한 배경을 제거하는 배경 제거부;
상기 카메라 조정부에서 획득한 조정(Calibration) 정보를 이용하여 3차원 공간좌표들을 정렬하여 3차원 영상을 생성하는 3차원 영상 모델링부;
상기 생성한 3차원 영상의 디스플레이와 저장을 제어하며, 저장 영상의 전송을 제어하는 중앙제어부;
상기 중앙제어부의 제어에 따라 디스플레이 장치에 3차원 영상을 디스플레이하는 영상 디스플레이부;
사용자의 제스처 인식이나 메뉴 방식으로 사용자와의 인터랙션에 의해 3차원 영상 화면을 제어하는 3차원 영상 제어부를 포함하고,
상기 3차원 영상 제어부는 의류를 착용한 3차원 영상을 좌우로 회전하면서 디스플레이해주는 기능, 의류를 착용한 사용자의 전면 영상과 후면 영상 및 측면 영상을 한 화면에 동시에 출력해주는 기능, 상이한 의류를 착용한 영상을 한 화면에서 동시에 다수 출력해주는 기능을 제어하는 것을 특징으로 하는 실사 영상 기반의 스마트 피팅장치.
A camera interface unit for connecting a plurality of depth cameras for photographing a wear state of a user (buyer);
A camera calibration unit for adjusting the positions of the plurality of depth cameras to set a reference space coordinate system;
A background modeling unit for photographing a background space without a shape of a user (buyer) through each camera and converting a photographed background image to set a background image;
A background removal unit configured to remove backgrounds excluding the purchaser's body from images input from the plurality of depth cameras;
A three-dimensional image modeling unit for generating a three-dimensional image by aligning three-dimensional space coordinates using calibration information obtained by the camera adjusting unit;
A central controller for controlling display and storage of the generated three-dimensional image and controlling transmission of the stored image;
An image display unit for displaying a three-dimensional image on a display device under the control of the central control unit;
A three-dimensional image control unit for controlling a three-dimensional image screen by gesture recognition of a user or interaction with a user through a menu method,
The three-dimensional image control unit has a function of displaying a three-dimensional image of a garment rotated left and right, a function of simultaneously outputting a front image, a rear image and a side image of a user wearing a garment on one screen, And a function of outputting a plurality of images simultaneously on one screen is controlled.
청구항 1에 있어서, 상기 중앙제어부의 제어에 따라 상기 디스플레이 장치에 디스플레이되는 구매자의 의류 착용 모습을 녹화(기록)하는 3차원 영상 녹화부; 구매자의 의류 착용 모습이 녹화된 영상을 데이터베이스에 등록하는 3차원 영상 저장부; 구매자의 의류 착용 모습이 녹화된 영상을 외부로 전송하기 위한 3차원 영상 전송부를 더 포함하는 것을 특징으로 하는 실사 영상 기반의 스마트 피팅장치.
[Claim 2] The system of claim 1, further comprising: a three-dimensional image recording unit for recording (recording) a clothing wearing state of the purchaser displayed on the display device under the control of the central control unit; A three-dimensional image storage unit for registering a video image of a wearer's clothing wearing state in a database; Further comprising a three-dimensional image transmission unit for transmitting an image recorded by the purchaser to the outside of the wearer's clothing.
청구항 1에 있어서, 상기 사용자와의 인터페이스를 위한 사용자 인터페이스부를 더 포함하는 것을 특징으로 하는 실사 영상 기반의 스마트 피팅장치.
The real-time image-based smart fitting apparatus according to claim 1, further comprising a user interface unit for interfacing with the user.
삭제delete 삭제delete 청구항 1에 있어서, 상기 3차원 영상 모델링부는 상기 카메라 조정부에서 획득한 각 카메라의 조정(Calibration) 정보를 이용하여, 배경까지 제거된 각 카메라로 촬영된 사용자 영상을 3차원 공간좌표로 정렬하여 3차원 영상을 생성하는 것을 특징으로 하는 실사 영상 기반의 스마트 피팅장치.
[2] The apparatus of claim 1, wherein the 3D image modeling unit aligns the user images photographed by each of the cameras removed to the background into three-dimensional spatial coordinates using the calibration information of each camera acquired by the camera adjustment unit, Wherein the image generating unit generates the image based on the real image.
삭제delete 삭제delete 삭제delete 삭제delete
KR1020140122056A 2014-09-15 2014-09-15 The smart fitting apparatus based real image KR101643917B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140122056A KR101643917B1 (en) 2014-09-15 2014-09-15 The smart fitting apparatus based real image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140122056A KR101643917B1 (en) 2014-09-15 2014-09-15 The smart fitting apparatus based real image

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020130049019A Division KR101556158B1 (en) 2013-05-01 2013-05-01 The social service system based on real image using smart fitting apparatus

Publications (2)

Publication Number Publication Date
KR20140130638A KR20140130638A (en) 2014-11-11
KR101643917B1 true KR101643917B1 (en) 2016-08-01

Family

ID=52452392

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140122056A KR101643917B1 (en) 2014-09-15 2014-09-15 The smart fitting apparatus based real image

Country Status (1)

Country Link
KR (1) KR101643917B1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2541156A (en) * 2015-06-18 2017-02-15 Morris Gary Personalized garment image processing
EP3246874B1 (en) * 2016-05-16 2018-03-14 Axis AB Method and apparatus for updating a background model used for background subtraction of an image
EP3255585B1 (en) * 2016-06-08 2018-05-09 Axis AB Method and apparatus for updating a background model
KR102179916B1 (en) * 2018-10-29 2020-11-17 (주)임픽스 Coordination providing system using data collected from smart mirror
CN110009560B (en) * 2019-03-29 2021-09-14 联想(北京)有限公司 Image processing apparatus
KR102161488B1 (en) * 2020-05-04 2020-10-05 김명전 Apparatus and method for displaying product in 3 dimensions

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236502A (en) * 2000-02-21 2001-08-31 Minolta Co Ltd Method of generating three-dimensional data and three- dimensional data input device
JP2012252437A (en) * 2011-06-01 2012-12-20 Sony Corp Image processing apparatus, image processing method, and program
JP2013507688A (en) * 2009-10-07 2013-03-04 マイクロソフト コーポレーション Human tracking system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100026981A (en) * 2008-08-28 2010-03-10 이승운 Real identification system of clothing and body trinket wearing system and method
KR20120040565A (en) 2010-10-19 2012-04-27 (주)피센 3-d virtual fitting system and method using mobile device
KR101738896B1 (en) 2010-12-22 2017-05-24 에스케이플래닛 주식회사 Fitting virtual system using pattern copy and method therefor
KR20130007011A (en) 2011-06-28 2013-01-18 동국대학교 경주캠퍼스 산학협력단 Smart coordinate system in the clothes shop

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236502A (en) * 2000-02-21 2001-08-31 Minolta Co Ltd Method of generating three-dimensional data and three- dimensional data input device
JP2013507688A (en) * 2009-10-07 2013-03-04 マイクロソフト コーポレーション Human tracking system
JP2012252437A (en) * 2011-06-01 2012-12-20 Sony Corp Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
KR20140130638A (en) 2014-11-11

Similar Documents

Publication Publication Date Title
KR101643917B1 (en) The smart fitting apparatus based real image
US8982110B2 (en) Method for image transformation, augmented reality, and teleperence
AU2021203688B2 (en) Volumetric depth video recording and playback
CN112926428B (en) Method and system for training object detection algorithm using composite image and storage medium
US9269157B2 (en) Methods for extracting objects from digital images and for performing color change on the object
US8976160B2 (en) User interface and authentication for a virtual mirror
AU2014304760B2 (en) Devices, systems and methods of virtualizing a mirror
US8970569B2 (en) Devices, systems and methods of virtualizing a mirror
JP4739002B2 (en) Image processing method and image processing apparatus
JP2020036134A (en) Moving image distribution system, moving image distribution method, and moving image distribution program for live distribution of moving image including animation of character object generated based on movement of distribution user
KR101556158B1 (en) The social service system based on real image using smart fitting apparatus
US10339597B1 (en) Systems and methods for virtual body measurements and modeling apparel
KR101892735B1 (en) Apparatus and Method for Intuitive Interaction
JP7208549B2 (en) VIRTUAL SPACE CONTROL DEVICE, CONTROL METHOD THEREOF, AND PROGRAM
WO2016112346A1 (en) Devices, systems and methods for auto-delay video presentation
JP2020036305A (en) Moving image distribution system, moving image distribution method, and moving image distribution program for live distribution of moving image including animation of character object generated based on movement of distribution user
KR20140042119A (en) Virtual fit apparatus for wearing clothes
JP2020036303A (en) Moving image distribution system, moving image distribution method, and moving image distribution program for live distribution of moving image including animation of character object generated based on movement of distribution user
US20210142573A1 (en) Viewing system, model creation apparatus, and control method
JP2018198025A (en) Image processing device, image processing device control method, and program
JP6376251B2 (en) Information processing apparatus, information processing system, control method thereof, and program
JP2020074108A (en) Information processing system, control method thereof, and program
JP2020036309A (en) Moving image distribution system, moving image distribution method, and moving image distribution program for live distribution of moving image including animation of character object generated based on movement of distribution user
JP6638326B2 (en) Information processing system, control method thereof, and program
JP7284329B2 (en) Video distribution system, video distribution method, and video distribution program for live distribution of video containing animation of character object generated based on movement of distribution user

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant