KR20230077646A - Method of providing a realistic fashion metaverse service, apparatus thereof, and computationally non-transitory readable medium for storing a program thereof - Google Patents
Method of providing a realistic fashion metaverse service, apparatus thereof, and computationally non-transitory readable medium for storing a program thereof Download PDFInfo
- Publication number
- KR20230077646A KR20230077646A KR1020220146054A KR20220146054A KR20230077646A KR 20230077646 A KR20230077646 A KR 20230077646A KR 1020220146054 A KR1020220146054 A KR 1020220146054A KR 20220146054 A KR20220146054 A KR 20220146054A KR 20230077646 A KR20230077646 A KR 20230077646A
- Authority
- KR
- South Korea
- Prior art keywords
- metaverse
- realistic
- fashion
- user
- file
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 103
- 238000009877 rendering Methods 0.000 claims abstract description 32
- 230000005540 biological transmission Effects 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 230000037237 body shape Effects 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 63
- 238000004519 manufacturing process Methods 0.000 abstract description 20
- 238000012938 design process Methods 0.000 abstract description 4
- 210000000038 chest Anatomy 0.000 description 38
- 238000005259 measurement Methods 0.000 description 36
- 238000012545 processing Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 15
- 230000000873 masking effect Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 13
- 239000008186 active pharmaceutical agent Substances 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 210000000887 face Anatomy 0.000 description 10
- 238000005457 optimization Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 210000000746 body region Anatomy 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 210000003423 ankle Anatomy 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 241001516908 Metabus Species 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 108010068977 Golgi membrane glycoproteins Proteins 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Development Economics (AREA)
- Tourism & Hospitality (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Radar, Positioning & Navigation (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Processing Or Creating Images (AREA)
- Geometry (AREA)
- Architecture (AREA)
Abstract
Description
본 명세서는 실감형 패션 메타버스 서비스를 제공하기 위한 방법, 장치 및 그 방법을 수행하는 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체에 관한 것이다.The present specification relates to a method and apparatus for providing a realistic fashion metaverse service, and a non-transitory computer-readable recording medium storing a program for performing the method.
코로나19 이후 비대면 수요가 증가하면서, 패션테크 기반 온라인 판매가 급증하고 있다. 이에 따라 AI 및 XR 기술을 활용한 가상 패션쇼 등 메타버스 플랫폼 비즈니스를 포함한 메타버스를 활용하여 오프라인에서의 패션 비지니스와 기술을 접목시키기 위한 다양한 시도들이 이루어지고 있다. 그러나 종래의 메타버스 플랫폼 비즈니스는 사용자가 실제 매장에서 옷을 구입하는 것과 거의 유사한 수준의 가상 경험을 제공하지 못했다. As non-face-to-face demand increases after COVID-19, fashion tech-based online sales are rapidly increasing. Accordingly, various attempts are being made to combine offline fashion business and technology by utilizing the metaverse, including the metaverse platform business, such as virtual fashion shows using AI and XR technology. However, conventional metaverse platform businesses have failed to provide a virtual experience that is almost similar to that of a user purchasing clothes at a physical store.
위와 같은 문제점을 해결하기 위한 것으로서 개시하는 예들의 목적은, 사용자의 신체 사이즈를 측정하여 사용자의 외형을 거의 유사하게 반영한 아바타를 생성하여 사용자에게 보다 실제에 가까운 가상 피팅 경험을 제공할 수 있는 실감형 패션 메타버스 서비스를 제공하기 위한 방법, 장치 및 비일시적 컴퓨터 판독 가능 기록 매체를 제공하는 것이다.The purpose of the examples disclosed as a solution to the above problem is to measure the user's body size and generate an avatar that reflects the user's appearance almost similarly, thereby providing a realistic virtual fitting experience to the user. It is to provide a method, device and non-transitory computer readable recording medium for providing a fashion metaverse service.
개시하는 예들의 목적은, 실제 의류와 거의 유사한 질감, 색채, 형태 등을 구현하는 높은 품질의 가상 의류 콘텐츠를 제공할 수 있어 디자인 공정 및 제조공정의 효율성을 증가시킬 수 있는 실감형 패션 메타버스 서비스를 제공하기 위한 방법, 장치 및 비일시적 컴퓨터 판독 가능 기록 매체를 제공하는 것이다.The purpose of the disclosed examples is a realistic fashion metaverse service that can increase the efficiency of the design process and manufacturing process by providing high-quality virtual clothing content that implements texture, color, and shape that are almost similar to real clothing. To provide a method, apparatus and non-transitory computer readable recording medium for providing.
개시하는 예들의 목적은,고품질의 가상 콘텐츠를 제공하여 패션과 관련된 다양한 비즈니스, 가산 재산 거래 및 활용 비즈니스 등에 활용될 수 있는 실감형 패션 메타버스 서비스를 제공하기 위한 방법, 장치 및 비일시적 컴퓨터 판독 가능 기록 매체를 제공하는 것이다.The purpose of the disclosed examples is a method, apparatus, and non-temporary computer-readable method for providing a realistic fashion metaverse service that can be used for various businesses related to fashion, trading and utilizing assets, etc. by providing high-quality virtual content. To provide a recording medium.
개시하는 실시 예는, 실감형 메타버스 서비스의 콘텐츠를 구성하는 컴포넌트들에 대응하는 파일을 준비하는 단계; 상기 준비된 파일에 대해 렌더링을 위한 우선 순위를 나타내는 3D 맵을 기반으로 생성하는 단계, 여기서 상기 3D 맵은 버텍스의 위치에 따른 상기 버텍스의 중요도를 나타내고, 여기서, 상기 버텍스의 중요도는 에셋이 나타내는 아이템의 경계지점이 상기 아이템의 내부지점보다 높게 생성되고; 및 상기 준비된 파일을 glTF (GL Transmission Format) 파일과 상기 3D (3 dimension)맵 정보를 포함하는 프리 glTF 파일을 제공하는 단계;를 포함하는 실감형 패션 메타버스 서비스 제공 방법을 제공한다. The disclosed embodiment includes the steps of preparing a file corresponding to components constituting the contents of an immersive metaverse service; Generating based on a 3D map indicating priority for rendering of the prepared file, wherein the 3D map indicates the importance of the vertex according to the position of the vertex, wherein the importance of the vertex is a border point is created higher than an interior point of the item; and providing a free glTF file including a glTF (GL Transmission Format) file and the 3D (3 dimension) map information as the prepared file.
상기 버텍스의 중요도는 상기 아이템의 외부 윤곽을 나타내는 버텍스에 대해 높은 레벨이 할당되고, 상기 아이템의 내부 윤곽에 위치한 버텍스에 대해 중간 레벨이 각각 할당되고, 상기 아이템의 그 외의 위치에 위치한 버텍스는 낮은 레벨이 할당되도록 할 수 있다. As for the importance of the vertices, a high level is assigned to vertices representing the outer contour of the item, a medium level is assigned to vertices located on the inner contour of the item, and a low level is assigned to vertices located at other positions of the item. can be assigned.
상기 3D 맵은, AI 알고리즘을 기반으로 상기 준비된 파일에 대해 렌더링을 위한 우선 순위를 나타내는 RPI (Rendering Priority Index) 맵을 나타낸다.The 3D map represents a Rendering Priority Index (RPI) map indicating a priority for rendering of the prepared file based on an AI algorithm.
상기 버텍스는 상기 콘텐츠의 이미지 상에 위치 정보 및 텍스쳐 정보를 갖는 점을 표시될 수 있다.The vertex may be displayed as a point having location information and texture information on the image of the content.
다른 관점에서 실시 예는, 실감형 메타버스 서비스의 콘텐츠를 구성하는 컴포넌트들에 대응하는 파일을 저장하는 데이터 베이스; 및 컴퓨터의 명령어를 수행하는 프로세서를 포함하고, 상기 프로세서는, 실감형 메타버스 서비스의 콘텐츠를 구성하는 컴포넌트들에 대응하는 파일을 제공하는 준비모듈; 상기 준비된 파일에 대해 렌더링을 위한 우선 순위를 나타내는 3D 맵을 기반으로 생성하는 생성모듈; 여기서 상기 3D 맵은 버텍스의 위치에 따른 상기 버텍스의 중요도를 나타내고, 여기서, 상기 버텍스의 중요도는 에셋이 나타내는 아이템의 경계지점이 상기 아이템의 내부지점보다 높게 생성되고; 및 상기 준비된 파일을 glTF (GL Transmission Format) 파일과 상기 3D (3 dimension)맵 정보를 포함하는 프리 glTF 파일을 제공하는 제공모듈;을 수행하는 실감형 패션 메타버스 서비스 제공 장치를 제공한다. From another point of view, the embodiment includes a database for storing files corresponding to components constituting the contents of the immersive metaverse service; and a processor that executes computer commands, including: a preparation module that provides files corresponding to components constituting contents of a tangible metaverse service; a generation module for generating based on a 3D map indicating a priority for rendering of the prepared file; Here, the 3D map indicates the importance of the vertex according to the position of the vertex, wherein the importance of the vertex is generated when a boundary point of an item represented by an asset is higher than an internal point of the item; and a providing module for providing a glTF (GL Transmission Format) file and a free glTF file including the 3D (3 dimension) map information from the prepared file.
또 다른 관점에서 실시 예는, 하나 이상의 프로세서에 의해 실행되고, 상기 프로세서는 실감형 메타버스 서비스의 콘텐츠를 구성하는 컴포넌트들에 대응하는 파일을 제공하는 단계; 상기 준비된 파일에 대해 렌더링을 위한 우선 순위를 나타내는 3D 맵을 기반으로 생성하는 단계; 여기서 상기 3D 맵은 버텍스의 위치에 따른 상기 버텍스의 중요도를 나타내고, 여기서, 상기 버텍스의 중요도는 에셋이 나타내는 아이템의 경계지점이 상기 아이템의 내부지점보다 높게 생성되고; 및 상기 준비된 파일을 glTF (GL Transmission Format) 파일과 상기 3D (3 dimension)맵 정보를 포함하는 프리 glTF 파일을 제공하는 단계;을 수행하는 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체를 제공한다.In another aspect, the embodiment includes the steps of: being executed by one or more processors, the processor providing files corresponding to components constituting the contents of the tangible metaverse service; generating based on a 3D map indicating priority for rendering of the prepared file; Here, the 3D map indicates the importance of the vertex according to the position of the vertex, wherein the importance of the vertex is generated when a boundary point of an item represented by an asset is higher than an internal point of the item; and providing a pre glTF file including a glTF (GL Transmission Format) file and the 3D (3 dimension) map information as the prepared file.
개시하는 실시 예에 따르면, 사용자의 신체 사이즈를 측정하여 사용자의 외형을 거의 유사하게 반영한 아바타를 생성하여 사용자에게 보다 실제에 가까운 가상 피팅 경험을 제공할 수 있다. According to the disclosed embodiment, it is possible to provide a virtual fitting experience closer to reality to the user by generating an avatar that almost similarly reflects the user's appearance by measuring the user's body size.
개시하는 실시 예에 따르면, 실제 의류와 거의 유사한 질감, 색채, 형태 등을 구현하는 높은 품질의 가상 의류 콘텐츠를 제공할 수 있어 디자인 공정 및 제조공정의 효율성을 증가시킬 수 있다.According to the disclosed embodiment, it is possible to provide high-quality virtual clothing content that implements almost similar texture, color, shape, etc. to actual clothing, thereby increasing the efficiency of the design process and manufacturing process.
개시하는 실시 예에 따르면, 고품질의 가상 콘텐츠를 제공하여 패션과 관련된 다양한 비즈니스, 가산 재산 거래 및 활용 비즈니스 등에 활용될 수 있다.According to the disclosed embodiment, by providing high-quality virtual content, it can be utilized in various businesses related to fashion, property transaction and utilization business, and the like.
도 1은 실감형 패션 메타버스 서비스 제공 시스템의 개념도를 나타낸다.
도 2는 실감형 패션 메타버스 서비스 제공 시스템의 예시이다.
도 3은 도2에서 설명한 각 서버의 구체적인 기능을 나타낸다.
도4는 실감형 패션 메타버스 서비스의 플로우의 예시이다.
도 5는 사용자 신체 사이즈 측정을 위한 사용자 인터페이스의 예시를 나타낸다.
도 6은 가상 피팅을 위한 사용자 인터페이스의 예시를 나타낸다.
도 7은 실감형 패션 메타버스 서비스 제공 시스템의 예시를 나타낸다.
도 8은 신체 사이즈 측정의 예시를 나타낸다.
도 9는 피치값 효과를 나타내는 그래프들이다.
도 10은 피치값 효과를 나타내는 그래프들이다.
도 11은 피치값 효과를 나타내는 그래프들이다.
도 12는 가슴둘레 보정 과정의 예시를 나타낸다.
도 13은 가슴둘레 도출 과정의 예시를 나타낸다.
도 14는 실감형 패션 메타버스 서비스 처리 과정의 블록도이다.
도 15는 실감형 패션 메타버스 콘텐츠를 생성하는 과정을 나타낸다.
도 16은 WebGL 기반의 실감형 패션 메타버스 콘텐츠를 생성하는 과정을 나타낸다.
도 17은 실감형 패션 메타버스 서비스 제공 시스템의 예시를 나타낸다.
도 18은 프리-glTF (pre-glTF)의 예시를 나타낸다.
도 19는 최적화된 glTF 생성기의 동작을 나타낸다.
도 20은 최적화된 버텍스들의 예시를 나타낸다.
도 21은 RPI 3D 맵을 기반으로 렌더링 하는 과정을 나타내는 플로우 차트이다.
도 22는 가상 피팅 타입의 예시를 나타낸다.
도 23은 아바타 마스킹 피팅 타입의 마스킹 과정을 나타낸다.
도 24는 아바타 마스킹 피팅 타입의 처리 과정을 나타낸다.
도 25는 의류 쉐이더 피팅 타입의 처리 과정을 나타낸다.
도 26은 의류 쉐이딩 피팅 타입의 처리 과정을 나타낸다.
도 27은 의류 콜라이더 피팅 타입의 처리 과정을 나타낸다.
도 28은 의류 콜라이더 피팅 타입의 처리 과정을 나타낸다.
도 29는 이미지 심리스 텍스쳐링 알고리즘 (image seamless texturing algorithm)을 나타내는 플로우 차트이다.
도 30은 이미지 심리스 텍스쳐링 알고리즘의 예시를 나타낸다.
도 31은 이미지 심리스 텍스쳐링 알고리즘의 예시를 나타낸다.
도 32는 실감형 패션 메타버스 서비스 제공 방법을 나타내는 플로우차트이다.1 shows a conceptual diagram of a realistic fashion metaverse service providing system.
2 is an example of a realistic fashion metaverse service providing system.
FIG. 3 shows specific functions of each server described in FIG. 2 .
4 is an example of a flow of a realistic fashion metaverse service.
5 shows an example of a user interface for measuring a user's body size.
6 shows an example of a user interface for virtual fitting.
7 shows an example of a realistic fashion metabus service providing system.
8 shows an example of body size measurement.
9 are graphs showing the pitch value effect.
10 are graphs showing pitch value effects.
11 are graphs showing pitch value effects.
12 shows an example of a chest circumference correction process.
13 shows an example of a chest circumference derivation process.
14 is a block diagram of a realistic fashion metaverse service processing process.
15 shows a process of generating realistic fashion metaverse contents.
16 shows a process of generating WebGL-based immersive fashion metaverse contents.
17 shows an example of a realistic fashion metaverse service providing system.
18 shows an example of pre-glTF (pre-glTF).
19 shows the operation of the optimized glTF generator.
20 shows an example of optimized vertices.
21 is a flowchart illustrating a rendering process based on an
22 shows an example of a virtual fitting type.
23 shows a masking process of an avatar masking fitting type.
24 shows a process of avatar masking fitting type.
25 shows a processing procedure of a clothing shader fitting type.
26 shows a processing procedure of a clothing shading fitting type.
27 shows a processing procedure of a clothing collider fitting type.
Fig. 28 shows the processing process of the clothing collider fitting type.
29 is a flow chart illustrating an image seamless texturing algorithm.
30 shows an example of an image seamless texturing algorithm.
31 shows an example of an image seamless texturing algorithm.
32 is a flowchart illustrating a method of providing a realistic fashion metaverse service.
이하의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 시스템 및 방법을 더욱 완전하게 설명하기 위하여 제공된다. 또한 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 시스템 및 방법의 범위가 이하의 실시예들로 한정되는 것은 아니다. 실시예들은 본 시스템 및 방법을 당업자에게 더욱 충실하고 완전하게 설명하고 완전하게 전달하기 위하여 제공된다. The following embodiments are provided to more fully describe the system and method to those skilled in the art. In addition, the embodiments may be modified in many different forms, and the scope of the present system and method is not limited to the following embodiments. The embodiments are provided to more fully and completely describe and fully convey the system and method to those skilled in the art.
명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 실시예들이 설명하는 시스템 및 방법을 제한하지 않는다. 본 명세서에서 사용되는 단수 형태는 문맥상 다른 경우를 분명히 기술하는 것이 아니라면 복수의 형태를 포함한다. 또한, 본 명세서에서 사용되는 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함할 수 있다.Terms used in the specification are used to describe specific embodiments, and do not limit the systems and methods described by the embodiments. The singular forms used herein include the plural forms unless the context clearly dictates otherwise. Also, the term “and/or” as used herein may include any one and all combinations of one or more of the listed items.
도 1은 실감형 패션 메타버스 서비스 제공 시스템의 개념도를 나타낸다.1 shows a conceptual diagram of a realistic fashion metaverse service providing system.
도 1 에 도시된 실감형 패션 메타버스 서비스 제공 시스템의 개념도(100)는 실감형 패션 메타버스 서비스를 제공하기 위한 실감형 가상 패션 콘텐츠 생성 과정(110) 및 멀티 플랫폼 최적화 과정(120)을 포함한다. 실감형 패션 메타버스 서비스는 사용자의 신체를 측정하는 신체 측정 서비스, 신체 측정을 기반으로 실감형 아바타를 생성하고, 실감형 가상 아이템의 피팅을 수행하도록 하는 가상 피팅 서비스 및 실감형 가상 공간에서 가상 피팅을 한 아바타의 움직이도록 구성되는 가상 패션쇼 서비스를 포함한다.The conceptual diagram 100 of the realistic fashion metaverse service providing system shown in FIG. 1 includes a process of generating realistic
실감형 가상 패션 콘텐츠 생성 과정(110)은 실감형 아바타, 실감형 아이템 및 실감형 가상 공간을 포함하는 실감형 가상 패션 콘텐츠를 생성하는 과정으로 실감형 아바타 생성(112), 가상 피팅(114) 및 애니메이션(116)과정을 포함한다. 실감형 아바타는 사용자 신체 사이즈 측정 및 얼굴 측정을 기반으로 이미지 보정 등을 수행하여 사용자의 신체와 얼굴을 유사하게 구현하여 생성된다. 가상 피팅(114) 과정은 생성된 실감형 아바타와 실감형 아이템을 결합하여 사용자에게 실감형 가상 피팅 경험을 제공한다. 실감형 아이템은 실제 옷, 신발 및/또는 악세서리 등의 패션 아이템으로 각 아이템의 형태, 질감, 색 등을 실제와 유사하게 구현하여 생성된다. 애니메이션(116)과정은 생성된 실감형 가상 공간에 배치된 아바타의 동작인 애니메이션을 구현한다. 실감형 가상 공간은 가상의 패션쇼장 및/또는 쇼룸 콘텐츠를 나타낸다.The process of generating immersive
멀티 플랫폼 최적화 과정(120)은 실감형 가상 패션 콘텐츠의 실감성이 훼손되지 않도록 플랫폼(예를 들면 앱/웹 플랫폼 등) 또는 플랫폼간 최적화를 구현하는 과정이다. 멀티 플랫폼 최적화 과정(120)은 앱 플랫폼(122), 크로스 플랫폼(124) 및 웹 플랫폼(126)구현 과정을 포함한다. 앱 플랫폼(122)은 AR/VR 기술을 기반으로 실감형 가상 패션 콘텐츠, 예를 들면 실감형 아바타, 실감형 패션 아이템 등을 제공한다. 크로스 플랫폼(124)은 앱 플랫폼(122)에서 제공되는 실감형 가상 패션 콘텐츠를 압축하여 웹 플랫폼(124)으로 전달하는 과정이다. 웹 플랫폼(124)은 WebGL 기반의 브라우저에서 실감형 가상 패션 콘텐츠를 제공한다. 웹 플랫폼(124)에서 제공되는 실감형 가상 패션 콘텐츠는 앱 플랫폼 콘텐츠의 웹 플랫폼 전환 기술 (예를 들면 3D 데이터 포맷), 웹 플랫폼 내의 3D 표현을 위한 3D자원(geometry*, texture) 생성 최적화 기술, AI 기반 최적 3D자원 자동 생성 기술 등을 기반으로 구현된다.. The
실시예들에 따른 시스템은 고품질의 실감형 가상 패션 콘텐츠를 다양한 분야에 제공할 수 있다. 실감형 가상 패션 콘텐츠는 디자인 공정, 제조 공정 등에서 활용되어 업무들의 효율성을 개선하기 위해 활용될 수 있고, 가상자산 및 실물자산의 거래 및 연계를 위한 전자상거래 기술, 가상 패션 콘텐츠를 기반으로 다양한 사용자 (예를 들면 소비자, 패션 소상공인, 패션 서비스 사업자 등)의 커뮤니케이션 채널을 위해 활용될 수 있다. The system according to embodiments can provide high-quality realistic virtual fashion content to various fields. Realistic virtual fashion content can be used in the design process, manufacturing process, etc. to improve work efficiency. For example, it can be used for communication channels of consumers, fashion small business owners, fashion service providers, etc.).
도 2는 실감형 패션 메타버스 서비스 제공 시스템의 예시이다.2 is an example of a realistic fashion metaverse service providing system.
실감형 패션 메타버스 서비스 제공 시스템(200)(이하 시스템이라고 호칭한다)은 하나 또는 그 이상의 서버들을 포함한다. 각 서버는 실감형 패션 메타버스 서비스의 콘텐츠를 제작하거나 저장하기 위한 것으로 클라우드 컴퓨팅 시스템에서 제공되는 버츄얼 서버(또는 인스턴트)로서, 오퍼레이팅 시스템 및 애플리케이션을 구동하기 위해 제공될 수 있으며, 각 기능을 수행하기 위한 프로세서를 포함할 수 있다. 실감형 패션 메타버스 콘텐츠는 3D 저작도구(geometry: Unity, Blender, 3D Max, CLO3D 등, texture: Photoshop, GIMP, Substane Painter 등)을 기반으로 생성될 수 있다. 도 2에 도시된 서버들은 예시에 불과하며 실감형 가상 패션 콘텐츠를 제공하는 시스템(200)은 도면에 도시되지 않은 서버들을 더 포함할 수 있다.The realistic fashion metaverse service providing system 200 (hereinafter referred to as a system) includes one or more servers. Each server is a virtual server (or instant) provided in the cloud computing system for creating or storing the contents of the realistic fashion metaverse service, and can be provided to drive the operating system and applications, and to perform each function. It may include a processor for Realistic fashion metaverse contents can be created based on 3D authoring tools (geometry: Unity, Blender, 3D Max, CLO3D, etc., texture: Photoshop, GIMP, Substane Painter, etc.). The servers shown in FIG. 2 are just examples, and the
시스템(200)은 사용자의 웹 또는 앱과 커뮤니케이션하기 위한 서비스 서버(210), 실감형 아바타를 제작하기 위한 아바타 제작 메인 서버(220), 실감형 아바타 얼굴 제작 전용 서버(230), 스토리지 서버(240), 데이터베이스 서버(250) 및 중앙관리 및 API 서버(260)를 포함할 수 있다. 도2에 도시된 바와 같이 서비스 서버(210)는 사용자가 웹 또는 앱을 통해 접근할 수 있는 인터페이스 서버로서 아바타 제작 메인 서버(220) 및 중앙관리 및 API 서버(260)와 커뮤니케이션 할 수 있다. 아바타 제작 메인 서버(220)는 도 1에서 설명한 실감형 아바타를 생성하기 위한 기능들을 종합적으로 제공하는 서버로서, 아바타 얼굴제작 전용 서버(230) 및 데이터베이스 서버(250)와 커뮤니케이션 할 수 있다. 아바타 얼굴제작 전용 서버(230)는 실감형 아바타의 얼굴 제작을 위한 기능을 집중 제공하는 서버로서 아바타 제작 메인 서버(220) 및 스토리지 서버(240)와 커뮤니케이션 할 수 있다. 스토리지 서버(240)는 실감형 패션 메타버스 서비스를 위한 리소스, 파일등을 저장한다. 데이터베이스 서버(250)는 실감형 패션 메타버스 서비스를 위해 필요한 데이터 등을 저장한다. 중앙관리 및 API 서버(260)는 실감형 패션 메타버스 서비스의 콘텐츠 제작과 관련된 연산 자원 및 API를 관리한다. 도2는 실감형 패션 메타버스 서비스 제공 시스템의 데이터 처리 순서에 따른 서버들간의 커뮤니케이션을 나타내며, 서버들간의 커뮤니케이션은 본 예시에 국한되지 않는다. The
도 3은 도2에서 설명한 각 서버의 구체적인 기능을 나타낸다. FIG. 3 shows specific functions of each server described in FIG. 2 .
서비스 서버(210)는 가상 공간 관리 모듈, 가상 피팅 서비스 모듈 및 API 통신 관리 모듈을 포함할 수 있다. 가상공간 관리 모듈은 WebGL 기반의 웹 플랫폼 (예를 들면 도 1에서 설명한 웹 플랫폼(126))을 관리하는 모듈이다. 가상공간 관리 모듈은 pre-glTF 생성기(genterator) 및 인터프리터(interpreter), glTF 생성기(genterator) 및 인터프리터(interpreter), Vertex optimizer, 3D File interpreter를 포함한다. Pre-glTF는 webGL 기반의 실감형 패션 메타버스 콘텐츠를 제공하기 위한 glTF 포맷의 데이터와 렌더링을 위한 우선순위3D 맵을 포함하는 독자규격 파일이다. 실감형 가상 패션 콘텐츠 모듈은 도 1에서 설명한 실감형 아이템 등을 관리하는 모듈이다. The
아바타 제작 메인 서버(220)는 아바타 제작과 관련된 모듈들을 종합 제공한다. 아바타 제작 메인 서버(220)는 사용자의 정보 (예를 들면 사진 등)을 기반으로 사용자의 신체를 측정하는 신체 측정/제작 모듈, 측정된 사용자의 정보를 기반으로 실감형 아바타를 제작하는 실감형 아바타 제작 모듈 및 실감형 아이템과 실감형 아바타를 결합하는 가상 피팅 모듈을 포함한다. 아바타 얼굴제작 전용 서버(230)는 사용자 얼굴 추출 모듈, 가상 메이크업 설정 및 적용 모듈 및 헤어스타일 적용 모듈을 포함한다. The avatar production
스토리지 서버(240)는 실감형 가상 패션 콘텐츠 서비스를 제공하기 위해 필요한 리소스 및 파일들을 보관한다. 스토리지 서버(240)는 가상 공간을 제작하기 위한 리소스 및 파일 (Space(glTF, Textures)), 실감형 아바타를 제작하기 위한 리소스 및 파일 (Faces(glTF, Textures), Body(glTF, Textures), Avator(glTF, Textures)), 실감형 아이템을 제작하기 위한 리소스 및 파일(3D Garment), 실감형 가상 패션 콘텐츠 서비스용 리소스 파일 (Template)등을 저장한다.데이터베이스 서버(250)는 실감형 가상 패션 콘텐츠 서비스에 필요한 데이터 및 정보를 저장한다. 데이터베이스 서버(250)는 API 키 (사용자 인증용), 아바타 제작용 데이터 (Faces, body, Avatar), 가상 공간 및 실감형 아이템 데이터 (Space, 3D Garment), 실감형 가상 패션 콘텐츠 서비스 데이터(Template)등을 보관한다. The
중앙관리 및 API 서버(260)는 실감형 아바타 제작과 관련된 연산 자원 (예를 들면 신체 측정, 얼굴 제작 등)과 API 를 관리한다. 중앙관리 및 API 서버(260)는 웹 또는 앱으로 제공되는 서비스를 제 3자 (예를 들면 외부 기업)에 제공할 수 있도록 제작된 API에 대한 사용자 인증 및 정보 송수신 모듈 및 실감형 아바타를 제작하기 위한 연산 자원 (예를 들면 신체 측정 및 얼굴 제작 자원(AI 등에 활용))을 생성, 관리 및 삭제하는 모듈을 포함한다. 도 3은 예시에 불과하며 각 서버가 수행하는 기능 및 각 서버가 포함하는 모듈들은 본 예시에 국한되지 않는다. The central management and
도4는 실감형 패션 메타버스 서비스의 플로우의 예시이다. 4 is an example of a flow of a realistic fashion metaverse service.
도 4에 도시된 플로우(400)는 실감형 패션 메타버스 서비스에서 제공되는 사용자 신체 사이즈 측정 과정을 나타낸다. The
실시예들에 따른 실감형 패션 메타버스 서비스 제공 시스템은 도 1 내지 도3에서 설명한 서버들 및 서버들과 통신 가능한 사용자 단말기(예를 들면 모바일 단말기, 신체 측정 장치, 랩탑 등 다양한 디바이스들)를 포함할 수 있다.The realistic fashion metaverse service providing system according to the embodiments includes the servers described in FIGS. 1 to 3 and a user terminal capable of communicating with the servers (eg, various devices such as mobile terminals, body measurement devices, and laptops). can do.
실감형 패션 메타버스 서비스 제공 시스템 (예를 들면 시스템 (100), 시스템 (200) 또는 아바타 제작 메인 서버 220))은 사용자의 신체를 나타내는 적어도 두개의 사진 또는 이미지들을 통신망을 통해 입력 받는다(410). 적어도 두개의 사진 또는 이미지들은 시스템에 포함된 카메라 센서를 통해 확보될 수 있다. 적어도 두개의 사진 또는 이미지들은 사용자의 정면 및 사용자의 측면을 각각 나타낸다. 적어도 두개의 사진 또는 이미지들은 사용자의 디바이스로부터 데이터를 송수신하기 위한 유선 통신망 또는 무선 통신망을 통해 시스템으로 전달된다. 통신망은 유선 인터넷, LAN , 블루투스와 같은 근거리 무선 통신망, WiFi와 같은 무선인터넷, WiBro 또는 WiMax와 같은 휴대인터넷, GSM 또는 CDMA와 같은 2G 이동통신망, WCDMA 또는 CDMA2000과 같 은 3G 이동통신망, HSDPA 또는 HSUPA와 같은 3.5G 이동통신망, LTE망 또는 LTEAdvanced망과 같은 4G 이동통신망, 5G 이동통신망, 6G 통신망 등을 포함할 수 있다. The immersive fashion metaverse service providing system (for example, the
실감형 패션 메타버스 서비스 제공 시스템은 수신한 이미지들을 포즈 에스티메이션(pose estimation) 기법과 세그멘테이션(segmentation) 기법을 기반으로 이미지들을 처리하고 (420), 사용자의 정면 이미지 및 측면 이미지로부터 특징점(body keypoints)들을 추출한다(430). 실감형 패션 메타버스 서비스 제공 시스템은 수신한 이미지들에서 AI기술을 기반으로 사용자의 자세를 검출하고, 사람의 신체에 해당하는 영역과 배경에 해당하는 영역을 구분하고 배경에 해당하는 영역을 삭제할 수 있다. 또한 실감형 패션 메타버스 서비스 제공 시스템은 자세정보, 분석된 이미지 (배경삭제, 신체 부위별 다른 색으로 구분)를 출력할 수 있다. The immersive fashion metaverse service providing system processes the received images based on pose estimation and segmentation techniques (420), and identifies body keypoints from the front and side images of the user. ) are extracted (430). The realistic fashion metaverse service providing system can detect the user's posture based on AI technology from the received images, distinguish the area corresponding to the human body and the area corresponding to the background, and delete the area corresponding to the background. there is. In addition, the immersive fashion metaverse service providing system can output posture information and analyzed images (background deletion, color classification for each body part).
실감형 패션 메타버스 서비스 제공 시스템은 분석된 이미지를 데이터화하고 (예를 들면 사람 윤곽선 (실루엣) 등 좌표 값으로 변환 등), 측정하고자 하는 주요 키 포인트들의 위치를 검출하여 키포인트들, 윤곽선 데이터 등을 출력한다(440).The immersive fashion metabus service providing system converts the analyzed image into data (for example, conversion into coordinate values such as human outlines (silhouettes), etc.), detects the locations of key points to be measured, and converts key points, outline data, etc. output (440).
실감형 패션 메타버스 서비스 제공 시스템은 키포인트들을 이용하여 주요 길이값 및 둘레값을 측정하고 사람의 자세 정보 등을 기반으로 사이즈 값을 보정하고 사용자의 키 정보를 기반으로 보정된 사이즈 값을 실체 값으로 변환하여 (450) 사용자의 가슴, 허리 엉덩이 둘레, 팔 다리 및 어깨 길이 등을 포함하는 신체 사이즈 결과(신체 측정 데이터)를 출력한다(460). 신체 측정 데이터는 사용자의 이미지에서 측정된 좌표값, 사이즈 등을 포함할 수 있다. 실감형 패션 메타버스 서비스 제공 시스템은 AI 프로세스를 기반으로 측정된 신체 사이즈 결과들을 수집하고 분석할 수 있다. The immersive fashion metaverse service providing system measures the main length and circumference values using key points, corrects the size value based on the person's posture information, and converts the corrected size value based on the user's height information into a real value. After conversion (450), a body size result (body measurement data) including the user's chest, waist, hip circumference, limbs, and shoulder length is output (460). The body measurement data may include coordinate values, sizes, and the like measured in the user's image. The immersive fashion metaverse service providing system can collect and analyze body size results measured based on the AI process.
도 5는 사용자 신체 사이즈 측정을 위한 사용자 인터페이스의 예시를 나타낸다.5 shows an example of a user interface for measuring a user's body size.
실감형 패션 메타버스 서비스 제공 시스템 (예를 들면 도 1 내지 도 4에서 설명한 시스템)은 신체 사이즈 측정 서비스를 제공하기 위한 사용자 단말기 (예를 들면 모바일 단말)에 설치된 애플리케이션을 포함한다. 도 5는 사용자 단말기에 설치된 애플리케이션에서 제공하는 사용자 신체 사이즈 측정 기능을 위한 사용자 인터페이스의 예시(500)를 나타낸다. 사용자 인터페이스는 사용자로부터 데이터를 수신하기 위한 메뉴, 수신한 데이터를 기반으로 처리되는 결과물(예를 들면 신체 사이즈 측정 결과), 서버들로부터 수신한 콘텐츠 등을 포함하는 비쥬얼 아웃풋을 포함한다.A realistic fashion metabus service providing system (for example, the system described in FIGS. 1 to 4 ) includes an application installed in a user terminal (eg, a mobile terminal) for providing a body size measurement service. 5 shows an example 500 of a user interface for a user body size measurement function provided by an application installed in a user terminal. The user interface includes a menu for receiving data from the user, a result processed based on the received data (for example, a body size measurement result), and a visual output including content received from servers.
사용자가 애플리케이션을 구동하면, 홈 페이지가 제공된다(510). 도면에 도시되지 않았으나, 홈페이지에 포함된 메뉴 등을 통하여 사용자는 신체 사이즈 측정 기능을 선택할 수 있다. 사용자 선택에 따라 신체 사이즈 측정을 위한 인터페이스(520)가 제공된다. 신체 사이즈 측정을 위한 인터페이스(520)는 촬영 모드를 선택하기 위한 하나 또는 그 이상의 이미지, 아이콘, 메뉴 등의 비쥬얼 아웃풋을 포함한다. 실시예들에 따른 촬영 모드는 사용자의 정면 및 측면 이미지를 확보하기 위한 것으로, 사용자 단말기의 후면에 설치된 카메라를 통해 사용자의 이미지를 확보하는 후면 촬영 모드 및 사용자 단말기의 정면에 설치된 카메라를 통해 사용자의 이미지를 확보하는 정면 촬영 모드를 포함한다. 촬영 모드에 따라 사용자의 정면 및 측면 이미지가 확보되면, 도 4에서 설명한 바와 같이 실감형 패션 메타버스 서비스 제공 시스템(또는 서버)은 사용자의 신체 사이즈를 측정하고 애플리케이션을 통해 측정 결과를 제공할 수 있다. 또는 애플리케이션은 직접 사용자의 신체 사이즈를 측정할 수 있다. 애플리케이션은 사이즈 측정 결과를 나타내는 인터페이스(530)를 제공한다. 사이즈 측정 결과를 나타내는 인터페이스(530)는 사용자 신체 및 사이즈 측정 결과를 나타내는 비쥬얼 아웃풋(예를 들면 2D 아바타)을 포함할 수 있다. 또한 애플리케이션은 사용자의 신체 사이즈 측정 결과를 기반으로 사용자의 신체에 맞는 최적의 의류 사이즈를 도출하고 이를 나타내는 인터페이스(540)를 제공한다. When the user drives the application, a home page is provided (510). Although not shown in the drawing, the user may select a body size measurement function through a menu included in the homepage or the like. An
도 6은 가상 피팅을 위한 사용자 인터페이스의 예시를 나타낸다.6 shows an example of a user interface for virtual fitting.
도 6은 도 4 내지 도 5에서 설명한 시스템이 애플리케이션을 통해 제공하는 가상 피팅을 위한 사용자 인터페이스의 예시(600)를 나타낸다.FIG. 6 shows an example 600 of a user interface for virtual fitting provided by the system described in FIGS. 4 and 5 through an application.
실감형 패션 메타버스 서비스 제공 시스템은 도 5에서 설명한 사용자 신체 사이즈 측정 결과를 애플리케이션을 통해 제공할 수 있다. 또는 애플리케이션은 도 4 내지 도 5에 설명한 사용자 신체 사이즈 측정 과정을 직접 수행할 수 있다. 애플리케이션은 사용자의 신체 사이즈 측정 결과를 나타내는 인터페이스(610)를 제공한다. 사용자가 신체 사이즈 측정 결과를 저장하고, 특정 의류를 선택하면 애플리케이션은 사용자의 신체 사이즈 측정 결과에 적합한 의류 사이즈를 제공하는 인터페이스(620)를 제공한다. 해당 인터페이스(620)는 가상 피팅을 선택하기 위한 아이콘 등의 비쥬얼 아웃풋을 포함한다. 사용자가 가상 피팅을 선택하면, 애플리케이션은 2D 또는 3D 아바타의 가상 피팅 결과물을 포함하는 인터페이스들(630, 640)을 제공한다. The realistic fashion metaverse service providing system may provide the user's body size measurement result described in FIG. 5 through an application. Alternatively, the application may directly perform the process of measuring the user's body size described in FIGS. 4 and 5 . The application provides an
도 7은 실감형 패션 메타버스 서비스 제공 시스템의 예시를 나타낸다. 7 shows an example of a realistic fashion metabus service providing system.
도 7은 도 4 내지 도6에서 설명한 사용자 신체 사이즈 측정을 기반으로 아바타를 생성하고 이를 기반으로 가상 피팅 및 의류 판매를 제공하는 실감형 패션 메타버스 서비스 제공 시스템의 예시를 나타낸다. 7 shows an example of a realistic fashion metaverse service providing system that creates an avatar based on the user's body size measurement described in FIGS. 4 to 6 and provides virtual fitting and clothing sales based on the avatar.
도 7의 상단에 도시된 블록들 (700)은 도 1 내지 도 6에서 설명한 실감형 패션 메타버스 서비스 제공 시스템에 입력되는 데이터 및/또는 시스템으로부터 사용자에게 제공되는 출력 데이터를 나타낸다.
도 7의 중단에 도시된 블록들 (710)은 실감형 패션 메타버스 서비스 제공 시스템 및 /또는 사용자 단말기에 설치된 애플리케이션에서 전송되는 정보(사진, 입력값 등)를 바탕으로 서버에서 구동되는 사용자 신체 사이즈 측정을 기반으로 아바타를 생성하고 이를 기반으로 가상 피팅 및 의류 판매를 제공하는 프로세스들을 나타낸다. The
도 7의 하단에 도시된 블록들 (720)은 각 프로세스를 통해 시스템에서 제공하는 기능들 또는 기능들을 제공하는 모듈들을 나타낸다.
사용자로부터 입력 데이터 (예를 들면 도 4 내지 도 6에서 설명한 사용자의 정면 및 측면 이미지들 및 사용자의 키(height) 값 )을 수신하면, 도 4 내지 도 6에서 설명한 애플리케이션은 도 5 내지 도 6에서 설명한 신체 사이즈 측정을 위한 인터페이스를 제공한다. 신체 사이즈 측정을 위한 인터페이스는 사용자의 사진 촬영을 가이드 하기 위한 기술을 기반으로 생성되는 촬영 모드를 선택하기 위한 하나 또는 그 이상의 이미지, 아이콘, 메뉴 등의 비쥬얼 아웃풋을 포함한다.Upon receiving input data from the user (for example, the user's front and side images and the user's height value described in FIGS. 4 to 6), the application described in FIGS. 4 to 6 is executed in FIGS. Provides an interface for measuring body size as described. The interface for body size measurement includes one or more visual outputs such as one or more images, icons, and menus for selecting a shooting mode created based on a technique for guiding a user's photo-taking.
실감형 패션 메타버스 서비스 제공 시스템 및 /또는 사용자 단말기에 설치된 애플리케이션은 사용자의 신체 사이즈를 측정하고 신체 측정 데이터 (또는 사용자 신체 사이즈 측정 결과물)을 출력한다. 실감형 패션 메타버스 서비스 제공 시스템 및 /또는 사용자 단말기에 설치된 애플리케이션은 사이즈 추출용 사진 보정 기술 신체 수치 및 체형 추출, 신체 수치 보정, 추가 보정 (키 값 기반 및/또는 가슴둘레), 신체 수치 생성 모듈들을 포함할 수 있다. The immersive fashion metaverse service providing system and/or the application installed on the user terminal measure the user's body size and output the body measurement data (or the user's body size measurement result). The immersive fashion metaverse service providing system and/or applications installed on user terminals are photo correction technology for size extraction, body value and body type extraction, body value correction, additional correction (based on height and/or chest circumference), and body value generation module. may include
실감형 패션 메타버스 서비스 제공 시스템 및 /또는 사용자 단말기에 설치된 애플리케이션은 신체 측정 데이터를 기반으로 실감형 아바타를 생성할 수 있다. 실감형 패션 메타버스 서비스 제공 시스템 및 /또는 사용자 단말기에 설치된 애플리케이션은 3D 아바타 신체 데이터, 기본 아바타 신체 정보 선정, 신체 수치 보정 및 3D 아바타 생성 (뼈 기반) 모듈들을 포함할 수 있다. A realistic fashion metaverse service providing system and/or an application installed in a user terminal may generate a realistic avatar based on body measurement data. The immersive fashion metaverse service providing system and/or applications installed in the user terminal may include 3D avatar body data, basic avatar body information selection, body value correction, and 3D avatar generation (bone-based) modules.
실감형 패션 메타버스 서비스 제공 시스템 및 /또는 사용자 단말기에 설치된 애플리케이션은 사용자가 특정 의류를 선택하는 경우, 기 저장된 의류 모델링 데이터 또는 외부 서버 등으로부터 수신한 의류 모델링 데이터를 수신하고 AI 기반 맞춤의류 추천 모듈/프로세서를 이용하여 신체 측정 데이터를 기반으로 사용자의 신체 사이즈에 적합한 맞춤 의류를 추천할 수 있다. When the user selects specific clothing, the realistic fashion metaverse service providing system and/or the application installed on the user terminal receive pre-stored clothing modeling data or clothing modeling data received from an external server, etc., and AI-based customized clothing recommendation module. / Using the processor, it is possible to recommend customized clothes suitable for the user's body size based on the body measurement data.
실감형 패션 메타버스 서비스 제공 시스템 및 /또는 사용자 단말기에 설치된 애플리케이션은 가상 피팅을 수행하여 가상 피팅된 실감형 아바타를 출력할 수 있다. 실감형 패션 메타버스 서비스 제공 시스템 및 /또는 사용자 단말기에 설치된 애플리케이션은 생성되어 저장된 아바타를 호출하는 아바타 호출 모듈, 추천 의류 호출 모듈, 가상 피팅을 수행하는 가상 피팅 모듈을 포함할 수 있다. The immersive fashion metaverse service providing system and/or the application installed in the user terminal may perform virtual fitting to output a virtually fitted immersive avatar. The immersive fashion metaverse service providing system and/or the application installed in the user terminal may include an avatar calling module for calling a created and stored avatar, a recommended clothing calling module, and a virtual fitting module for virtual fitting.
실감형 패션 메타버스 서비스 제공 시스템 및 /또는 사용자 단말기에 설치된 애플리케이션은 고객 요청 신호에 따라 대화형 챗봇을 제공할 수 있다. 실감형 패션 메타버스 서비스 제공 시스템 및 /또는 사용자 단말기에 설치된 애플리케이션은 AI 기반 챗봇 엔진, 고객 주문 대응 모듈, 고객 문의 대응 모듈, 고객 민원 대응 모듈을 포함할 수 있다. The immersive fashion metaverse service providing system and/or the application installed on the user terminal may provide a conversational chatbot according to a customer request signal. The immersive fashion metaverse service providing system and/or the application installed in the user terminal may include an AI-based chatbot engine, a customer order response module, a customer inquiry response module, and a customer complaint response module.
도 7에 도시된 입/출력 데이터, 프로세스 및 모듈들은 예시에 불과하며, 실감형 패션 메타버스 서비스 제공 시스템은 도면에 도시되지 않은 추가적인 입/출력 데이터, 프로세스 및 모듈을 더 포함할 수 있다. The input/output data, processes, and modules shown in FIG. 7 are merely examples, and the realistic fashion metaverse service providing system may further include additional input/output data, processes, and modules not shown in the drawing.
도 8은 신체 사이즈 측정의 예시를 나타낸다. 8 shows an example of body size measurement.
도 1 내지 도 7에서 설명한 바와 같이 실감형 패션 메타버스 서비스 제공 시스템은 사용자의 정면 및 측면 이미지와 사용자의 키(height) 값을 입력 받고 사용자의 신체 사이즈를 측정 할 수 있다. As described in FIGS. 1 to 7 , the realistic fashion metaverse service providing system can measure the user's body size after receiving the user's front and side images and the user's height value.
실감형 패션 메타버스 서비스 제공 시스템 (또는 상술한 아바타 제작 메인 서버 (220))은 키포인트들을 생성하여 신체 사이즈를 측정할 수 있다. 예를 들어 시스템은 사용자의 정면 및 측면 이미지에 나타나는 사용자 신체 부위에 대하여 복수의 키 포인트들을 생성하고 표시할 수 있다. 키 포인트는 사용자의 눈, 목, 어깨, 가슴, 허리, 엉덩이, 팔꿈치, 손 목, 무릎 및 발목 중 적어도 하나 이상에 표시된다. 키 포인트는 해당 키 포인트가 속하는 신체 부위(예를 들면 어깨)의 중심에 표시될 수 있다. The immersive fashion metaverse service providing system (or the avatar production
또한 실감형 패션 메타버스 서비스 제공 시스템은 정면 및 측면 이미지들에서 복수의 키 포인트들을 추출하기 위하여 이미지 분석 알고리즘, 예를 들어 Harris corner detector, Shi&Tomasi, SIFT(Scale Invariant Feature Transform), SURF, BRIEF 등을 직접 사용하거나 이를 활용한 자체 알고리즘을 제작/사용할 수 있다.In addition, the realistic fashion metaverse service providing system uses image analysis algorithms, such as Harris corner detector, Shi & Tomasi, SIFT (Scale Invariant Feature Transform), SURF, BRIEF, etc., to extract a plurality of key points from front and side images. You can use it yourself or create/use your own algorithm using it.
실감형 패션 메타버스 서비스 제공 시스템은 이미지 세그멘테이션 알고리즘을 기반으로 정면 이미지 및 측면 이미지에서 사용자의 신체 이미지를 나타내는 영역과 배경 영역을 분리하고, 신체 이미지를 나타내는 영역의 경계를 나타내는 경계선을 확보하여 신체 부위별 둘레를 산출하는 데 활용한다. 또한 실감형 패션 메타버스 서비스 제공 시스템은 OPEN CV의 침식/확장 기술을 이용하여 신체 이미지를 나타내는 영역의 경계선을 매끄럽게 변환시킬 수도 있다.The immersive fashion metaverse service providing system separates the area representing the user's body image from the background area in the frontal and side images based on the image segmentation algorithm, and secures a boundary line representing the boundary of the area representing the body image to ensure body parts. It is used to calculate the star circumference. In addition, the immersive fashion metaverse service providing system can smoothly transform the boundary of the area representing the body image using OPEN CV's erosion/expansion technology.
실감형 패션 메타버스 서비스 제공 시스템은 복수의 키 포인트들 간의 거리를 측정하여 팔, 다리 등의 길이를 측정하거나 아래 수학식을 이용하여 신체 부위의 둘레 길이를 산출할 수 있다.The immersive fashion metaverse service providing system may measure the length of an arm or leg by measuring the distance between a plurality of key points, or calculate the circumference of a body part using the equation below.
[수학식 1 ][Equation 1]
수학식에서 C는 신체 부위별 둘레를 나타내고, a는 정면 이미지에서 해당 신체 부위의 폭을 나타내고, b는 측면 이미지에서 해당 신체 부위의 폭을 나타낸다. In the equation, C represents the circumference of each body part, a represents the width of the corresponding body part in the front image, and b represents the width of the corresponding body part in the side image.
허리 둘레의 경우, 실감형 패션 메타버스 서비스 제공 시스템은 정면 이미지에서 허리의 상하로 가장 근접한 2개의 키포인트들을 선정하고 선정된 키 포인트들 사이에서 신체 영역의 폭이 가장 작은 지점을 추출한다. 수학식의 a 값은 추출된 지점에 대응하는 신체 영역의 폭을 측정하여 도출되고, 수학식의 b 값은 추출된 지점과 동일한 높이에 해당하는 측면 이미지 내의 신체 영역의 폭을 측정하여 도출된다. In the case of the waist circumference, the realistic fashion metaverse service providing system selects two key points closest to the top and bottom of the waist in the frontal image and extracts a point with the smallest width of the body area between the selected key points. A value a in the equation is derived by measuring the width of the body region corresponding to the extracted point, and a value b in the equation is derived by measuring the width of the body region in the side image corresponding to the same height as the extracted point.
가슴둘레의 경우, 실감형 패션 메타버스 서비스 제공 시스템은 측면 이미지 내에 표시된 가슴의 상하로 가장 근접한 두개의 키 포인트들을 선정하고, 선정된 키 포인트들 사이에서 신체 영역 경계의 변곡점을 추출한다. 신체 영역 경계의 변곡점은 경계의 기울기가 양의 값에서 음의 값으로 변경되는 지점을 나타낸다. 따라서 수학식의 b 값은 추출된 변곡점에서의 신체 영역의 폭을 측정하여 도출되고, 수학식의 a 값은 추출된 변곡점과 동일한 높이에 해당하는 정면 이미지 내의 신체 영역의 폭을 측정하여 도출된다. 실시예들에 따른 변곡점은 신체 영역의 경계에 위치한 각각의 픽셀에서 소벨(sobel)의 x방 향 필터와 y방향 필터를 이용하여 x방향 및 y방향의 이미지 가중치를 계산한 후에 해당 픽셀에서 기울기 각도를 계산하여 추출될 수도 있고, 목, 허벅지, 팔, 다리 둘레 등은 정면 이미지 또는 측면 이미 지에서 직경을 측정한 후에 원의 둘레 공식 등을 이용하여 산출할 수도 있다. 실감형 패션 메타버스 서비스 제공 시스템은 측정한 신체 사이즈를 수신한 키 정보와 비교하여 환산 비율을 산출하고, 산출된 환산 비율을 측정한 신체 사이즈에 곱하여 실제 신체 사이즈를 획득할 수 있다. 예를 들어 , 실감형 패션 메타버스 서비스 제공 시스템이 산출한 키가 A cm 이고 사용자로부터 수신한 키가 B cm 인 경우, 환산 비율은 B를 A로 나눈 값으로 도출된다. In the case of the chest circumference, the realistic fashion metaverse service providing system selects two key points closest to the top and bottom of the chest displayed in the side image, and extracts the inflection point of the body region boundary between the selected key points. The inflection point of the body region boundary represents a point where the slope of the boundary changes from a positive value to a negative value. Therefore, the b value of the equation is derived by measuring the width of the body region at the extracted inflection point, and the a value of the equation is derived by measuring the width of the body region in the frontal image corresponding to the same height as the extracted inflection point. The inflection point according to the embodiments calculates the image weight in the x-direction and the y-direction using Sobel's x-direction filter and y-direction filter at each pixel located at the boundary of the body region, and then calculates the inclination angle at the corresponding pixel It may be extracted by calculating , and the neck, thigh, arm, and leg circumferences may be calculated using a circle circumference formula after measuring the diameter in the front image or side image. The realistic fashion metaverse service providing system compares the measured body size with the received key information to calculate a conversion ratio, and multiplies the calculated conversion ratio to the measured body size to obtain the actual body size. For example, when the key calculated by the realistic fashion metaverse service providing system is A cm and the key received from the user is B cm, the conversion ratio is derived by dividing B by A.
실감형 패션 메타버스 서비스 제공 시스템은 사용자로부터 입력 받은 키 값과 적어도 두개의 사용자 정면 및 측면 이미지들만으로도 사용자의 신체 사이즈를 측정할 수 있다. 또한 실감형 패션 메타버스 서비스 제공 시스템은 오차 범위 최소화를 위하여 전체 신체 사이즈 측정에 영향을 많이 주는 사용자의 키 값 및 사진촬영 각도에 따라 측정된 신체 사이즈의 오차가 가장 큰 가슴둘레를 추가적으로 보정하여 보다 정확하게 사용자의 신체 사이즈를 측정할 수 있다. The realistic fashion metaverse service providing system can measure the user's body size only with the key value input from the user and at least two user's front and side images. In addition, in order to minimize the range of error, the realistic fashion metabus service provision system additionally corrects the chest circumference with the largest error in the measured body size according to the height value of the user and the angle of the photo taking, which have a lot of influence on the overall body size measurement. It can accurately measure the user's body size.
특히 실감형 패션 메타버스 서비스 제공 시스템은 사용자가 입력한 사용자의 키 값과 사용자의 정면 및 측면 이미지들로부터 사용자의 키 영역 (pixel 단위)을 찾고 두 값의 비율을 이용하여 사용자 신체의 모든 측정 값을 계산한다. 따라서 사용자의 키 값은 매우 중요한 요소이다. 그러나 이미지에서 추출되는 사용자의 키 값은 사용자가 신발을 신고 있거나, 머리 스타일에 따라 변경될 수 있다. 따라서 실감형 패션 메타버스 서비스 제공 시스템은 사용자의 신발이나 머리 스타일에 따른 오차 범위를 최소화하기 위하여 사용자 이미지에서 사용자의 발목과 눈을 키 포인트들로 지정한다. 사용자의 발목 높이와 이마 길이는 통계적으로 검출된 발목-눈까지의 길이의 일정 비율 (예를 들면 3-5%)을 적용하여 도출한다. 즉, 사용자의 이미지로부터 도출되는 사용자의 키는 키 포인트들인 발목과 눈 간의 길이, 발목 높이 및 눈부터 머리까지의 길이를 합친 값(Pixel 단위)이 된다. 그러나 키 포인트들인 발목과 눈 사이의 길이는 사용자의 얼굴 방향에 따라 달라질 수 있다.In particular, the realistic fashion metaverse service providing system finds the user's key area (in pixel units) from the user's key value input by the user and the user's front and side images, and uses the ratio of the two values to measure all measured values of the user's body. Calculate Therefore, the user's key value is a very important factor. However, the user's key value extracted from the image may change depending on whether the user is wearing shoes or has a hair style. Therefore, the realistic fashion metaverse service providing system designates the user's ankle and eyes as key points in the user image in order to minimize the error range according to the user's shoes or hair style. The user's ankle height and forehead length are derived by applying a predetermined ratio (for example, 3-5%) of the statistically detected ankle-to-eye length. That is, the user's height derived from the user's image becomes a sum (in pixels) of key points, the length between the ankle and the eye, the height of the ankle, and the length from the eye to the head. However, the length between the ankle and the eye, which are key points, may vary depending on the direction of the user's face.
따라서 실감형 패션 메타버스 서비스 제공 시스템은 사용자 키 값에 가장 많이 영향을 미치는 사용자 얼굴의 회전 요소들을 고려하여 사용자 키 값에 영향을 미치는 요소를 제거한다. Therefore, the immersive fashion metaverse service providing system considers the rotational elements of the user's face that most affect the user's key value and removes the elements that affect the user's key value.
도 8의 (A)는 사용자의 키 값에 영향을 가장 많이 미치는 사용자 얼굴의 회전 요소인 요, 피치, 롤 (Yaw, Pitch, Roll) 값을 나타낸다. 요 값은 사용자가 얼굴을 좌우로 회전할 때 z축을 기준으로 발생하는 회전 값을 나타내고, 피치 값은 사용자가 얼굴을 상하로 움직일 때 y축을 기준으로 발생하는 회전 값을 나타내고 롤 값은 사용자가 얼굴을 좌우로 기울일 때 x 축을 기준으로 발생하는 회전 값을 나타낸다. 이 중 피치 값은 사용자의 키 값에 영향을 미친다. 도 8의 우측은 실감형 패션 메타버스 서비스 제공 시스템이 AI 기반 알고리즘을 통해3개의 사용자 측면 이미지에 나타난 얼굴의 키 포인트들을 찾는 과정을 나타낸다. 도 8의 우측에 도시된 3개의 측면 이미지들은 사용자의 얼굴 위치에 따라 각기 다른 피치값(예를 들면 가장 왼쪽부터 0, 10, -10)을 갖는다. 8(A) shows values of yaw, pitch, and roll, which are rotation factors of the user's face that most affect the user's key value. The yaw value represents the rotation value that occurs around the z-axis when the user rotates the face left and right, the pitch value represents the rotation value that occurs around the y-axis when the user moves the face up and down, and the roll value represents the rotation value that occurs around the y-axis when the user moves the face up and down. represents the rotation value that occurs around the x-axis when tilting left and right. Among them, the pitch value affects the user's key value. The right side of FIG. 8 shows a process in which the realistic fashion metaverse service providing system finds key points of faces shown in three user side images through an AI-based algorithm. The three side images shown on the right side of FIG. 8 have different pitch values (for example, 0, 10, and -10 from the leftmost) according to the position of the user's face.
실감형 패션 메타버스 서비스 제공 시스템은 사용자가 입력한 키 값과 이미지를 통해 측정된 사용자의 키 값 사이의 오차율을 다음과 같이 측정하고 데이터화 할 수 있다. The realistic fashion metaverse service providing system can measure and data the error rate between the key value input by the user and the key value of the user measured through the image as follows.
오차율 : (입력키 - 복원한키) / (입력키). *오차 : (입력키 - 복원한키)Error rate: (input key - restored key) / (input key). *Error: (Input key - Restored key)
또한 실감형 패션 메타버스 서비스 제공 시스템은 AI 알고리즘을 이용하여 피치 값에 따라서 이미지의 픽셀상 사용자의 키가 변경되는 정도(단위 %)를 다음과 같이 공식화할 수 있다. In addition, the immersive fashion metaverse service providing system can formulate the degree (unit %) of the change in the height of the user on the pixel of the image according to the pitch value using the AI algorithm as follows.
[수학식 2][Equation 2]
오차율(종속변수) ~ pitch **2 + pitch + error(residual) Error rate (dependent variable) ~ pitch **2 + pitch + error (residual)
따라서 실감형 패션 메타버스 서비스 제공 시스템은 사용자가 입력한 키 값과 정면 및 측면 이미지로부터 획득한 피치 값을 이용하여 정확한 키 값 (pixel 단위)를 도출할 수 있다. Therefore, the realistic fashion metaverse service providing system can derive an accurate key value (in pixel units) using the key value input by the user and the pitch value obtained from the front and side images.
도 9는 피치값 효과를 나타내는 그래프들이다. 9 are graphs showing the pitch value effect.
도 9의 (A) 그래프는 신발 종류에 따른 사용자 키 (cm)의 변화를 나타낸다. 그래프의 x축은 데이터의 순서를 나타내는 인덱스를 나타내고, 중앙의 y축 값은 복원/모델예측 한 키(cm), 오른쪽의 y축 값은 복원한키(cm) - 모델예측(cm)키 값의 차이를 나타낸다. 신발 종류에 따라 키 값에 영향을 미칠 수는 있으나 선형적인 영향력을 나타내지는 않는다. The graph (A) of FIG. 9 shows the change in user height (cm) according to the type of shoe. The x-axis of the graph represents the index indicating the order of data, the central y-axis value is the restored/model predicted key (cm), and the right y-axis value is the restored key (cm) - model predicted (cm) key value indicate the difference. Depending on the type of shoe, height can be affected, but the effect is not linear.
도 9의 (B) 그래프는 부스팅 앙상블 알고리즘 XGBoost(Random Forest)에 독립변수로서 피치 제곱값, 피치 값, 롤 값, 정면 이미지 인지 여부 (is_front), 신발 종류 (맨발, 슬리퍼, 운동화) 를 넣고, 종속변수로서 두개의 키 포인트들 (눈 및 발목)을 기준으로 추정한 키 값을 넣고 과적합했을 때의 그래프를 나타낸다. 그래프 내의 선은 예측 값을 나타내고, 그래프내의 점들은 복원된 키 값들을 나타낸다. 그래프의 x축은 데이터 인덱스값을 나타내고, y축은 복원/모델예측 한 키(cm)값를 나타낸다. The graph (B) of FIG. 9 shows the pitch square value, pitch value, roll value, front image (is_front), shoe type (barefoot, slippers, sneakers) as independent variables in the boosting ensemble algorithm XGBoost (Random Forest), As a dependent variable, the estimated height value based on the two key points (eyes and ankles) is inserted, and the graph when overfitting is shown. Lines in the graph represent predicted values, and dots in the graph represent restored key values. The x-axis of the graph represents the data index value, and the y-axis represents the restored/model-predicted height (cm) value.
도 10은 피치값 효과를 나타내는 그래프들이다.10 are graphs showing pitch value effects.
도 10의 (A) 그래프는 도 9의 (B) 그래프에 도시된 예측값(선)에서 복원된 키 값(점들)을 뺐을 때 오차를 나타내는 그래프이다. 즉, 키 값에 영향을 줄 수 있는 모든 변수들을 넣을수록 키 값이 보다 정확해짐을 나타낸다. 그래프의 x축은 데이터 인덱스값을 나타내고, y축은 복원한키(cm) - 모델예측(cm)키값의 차이를 나타낸다.The graph (A) of FIG. 10 is a graph showing an error when the restored key value (dots) is subtracted from the predicted value (line) shown in the graph (B) of FIG. 9 . That is, the more variables that can affect the key value are included, the more accurate the key value is. The x-axis of the graph represents the data index value, and the y-axis represents the difference between the restored key (cm) and model-predicted key value (cm).
도 10의 (B) 그래프는 부스팅 앙상블 알고리즘 XGBoost(Random Forest)에 입력되는 변수들의 중요도를 나타낸다. 그래프에 도시된 바와 같이 피치 값 및 정면 이미지 인지 여부 (is_front)가 키 값(pixel)에 가장 영향을 많이 주는 변수이다. 정면 이미지 인지 여부 (is_front)는 카메라로부터의 거리에 따른 영향을 받게 되므로 피치 값이 키 값에 가장 영향을 많이 주는 변수로 결정된다.Graph (B) of FIG. 10 shows the importance of variables input to the boosting ensemble algorithm XGBoost (Random Forest). As shown in the graph, the pitch value and whether it is a front image (is_front) are variables that have the most influence on the key value (pixel). Whether or not it is a front image (is_front) is affected by the distance from the camera, so the pitch value is determined as the variable that has the most influence on the key value.
도 11은 피치값 효과를 나타내는 그래프들이다.11 are graphs showing pitch value effects.
도 11의 (A) 그래프는 부스팅 앙상블 알고리즘 XGBoost(Random Forest)에 독립변수로서 피치값, 롤 값, 정면 이미지 인지 여부 (is_front) 및 신발 여부 만을 입력하여 키 값을 예측한 결과를 나타낸다. 도 11의 (B) 그래프는 롤 값, 정면 이미지 인지 여부 (is_front) 및 신발 여부를 제거한 상태에서 피치 값 만의 영향을 받은 키 값을 나타낸다. 각 그래프 내의 선은 예측 값을 나타내고, 그래프내의 점들은 복원된 키 값들을 나타낸다. The graph (A) of FIG. 11 shows the result of predicting the key value by inputting only the pitch value, the roll value, whether it is a front image (is_front), and whether it is a shoe as independent variables to the boosting ensemble algorithm XGBoost (Random Forest). The graph (B) of FIG. 11 shows the key values affected by only the pitch value in the state of removing the roll value, front image (is_front), and shoes. Lines in each graph represent predicted values, and dots in the graph represent restored key values.
두 그래프들에 나타난 바와 같이, 정면 이미지 인지 여부(is_front) 및 롤 값은 키 예측 값에 영향을 크게 미치지 않는다. 또한 신발 여부(또는 신발의 종류)는 키 예측 값에 영향을 줄 수 있으나 영향을 미치는 정도가 일관성이 없다. 따라서 피치 값이 키 예측 값에 가장 중요한 변수임을 알 수 있다. As shown in the two graphs, whether the front image is recognized (is_front) and the roll value do not significantly affect the key prediction value. In addition, whether or not shoes (or the type of shoes) can affect the height prediction value, but the degree of influence is inconsistent. Therefore, it can be seen that the pitch value is the most important variable in the key prediction value.
도 12는 가슴둘레 보정 과정의 예시를 나타낸다.12 shows an example of a chest circumference correction process.
상술한 바와 같이 실감형 패션 메타버스 서비스 제공 시스템은 측면 이미지 내에 표시된 가슴의 상하로 가장 근접한 두개의 키 포인트들을 선정하고, 선정된 키 포인트들 사이에서 신체 영역 경계의 변곡점을 추출하고, 변곡점을 기반으로 측면과 정면의 특정 신체 영역의 폭을 측정하여 도출하여 가슴둘레를 측정할 수 있다. 그러나 사용자가 정확한 측면 자세(정면 자세로부터 90도 회전한 상태)로 서 있지 않은 경우, 측면의 폭(가슴 너비)가 과대 또는 과소 측정되면 측정된 가슴둘레에 오차가 발생할 수 있다. 따라서 실감형 패션 메타버스 서비스 제공 시스템은 측면 이미지에 나타난 사용자의 옆면이 사용자의 완전 옆면 (정면으로부터 좌측 또는 우측으로 90도 회전한 자세) 대비 얼만큼 회전되었는지 회전 각도를 추정하고, 추정된 회전 각도를 기반으로 측면 가슴너비 오차를 보정하여 가슴둘레 값을 보정할 수 있다. As described above, the realistic fashion metaverse service providing system selects the two key points closest to the top and bottom of the chest displayed in the side image, extracts the inflection point of the body area boundary between the selected key points, and based on the inflection point Chest circumference can be measured by measuring and deriving the width of specific body regions on the side and front. However, if the user is not standing in the correct lateral posture (rotated 90 degrees from the front posture), an error may occur in the measured chest circumference if the side width (chest width) is over or undermeasured. Therefore, the immersive fashion metaverse service providing system estimates the rotation angle by how much the side of the user shown in the side image is rotated compared to the user's full side (posture rotated 90 degrees from the front to the left or right), and the estimated rotation angle Based on , the chest circumference value can be corrected by correcting the lateral chest width error.
도 12의 (A)는 사용자의 정면 (1200), 사용자의 회전 옆면 (1210) 및 사용자의 완전 측면 (1220)의 예시를 나타낸다. 도면에 도시된 바와 같이 사용자의 회전된 옆면 (1210)의 가슴너비는 사용자의 완전 측면(1220)의 가슴너비 보다 넓다. 따라서 단순히 사용자의 회전된 옆면 (1210)의 가슴 너비를 이용하여 가슴둘레 값을 계산하는 경우, 오차가 발생할 수 있다. 12(A) shows examples of the user's
도 12의 (B)는 실감형 패션 메타버스 서비스 제공 시스템의 회전 각도 추정 과정의 예시이다. 12(B) is an example of a rotation angle estimation process of a realistic fashion metaverse service providing system.
실감형 패션 메타버스 서비스 제공 시스템은 사용자의 정면 이미지를 통해 확보된 사용자의 앞면 및 사용자의 측면 이미지에 나타난 사용자의 회전 옆면에 적어도 하나 이상의 키 포인트들을 설정한다. 실감형 패션 메타버스 서비스 제공 시스템은 사용자 앞면에 설정된 키 포인트들 사이의 거리 (1230)을 측정하고, 사용자 회전 옆면에 설정된 키 포인트들 사이의 거리(1240)을 측정하고, 다음의 수학식에 따라 회전 각도를 추정한다. The immersive fashion metaverse service providing system sets at least one or more key points on the user's front side obtained through the user's frontal image and the rotational side of the user shown in the user's side image. The immersive fashion metaverse service providing system measures the
[수학식 3][Equation 3]
회전 각도 = arccos((앞면 길이) / (옆면 길이) )rotation angle = arccos((front side length) / (side side length) )
실감형 패션 메타버스 서비스 제공 시스템은 추정된 회전 각도를 기반으로 (A)에 도시된 완전 측면 (1220)의 가슴너비를 계산하여 가슴둘레 값을 계산한다. The immersive fashion metaverse service providing system calculates the chest circumference value by calculating the chest width of the
도 13은 가슴둘레 도출 과정의 예시를 나타낸다.13 shows an example of a chest circumference derivation process.
실감형 패션 메타버스 서비스 제공 시스템은 도 11에서 설명한 가슴너비 외에 가슴두께를 측정하여 가슴둘레를 측정할 수 있다. 실감형 패션 메타버스 서비스 제공 시스템은 앞면(f), 옆면(s)으로 타원방정식을 계산하여 가슴둘레를 산정할 수 있다. 실감형 패션 메타버스 서비스 제공 시스템은 사용자가 여성인 경우, 가슴의 굴곡을 고려하여 가슴둘레를 산정한다. The realistic fashion metaverse service providing system may measure the chest circumference by measuring the chest thickness in addition to the chest width described in FIG. 11 . The immersive fashion metaverse service providing system can calculate the chest circumference by calculating the elliptic equation with the front (f) and side (s). The realistic fashion metaverse service providing system calculates the chest circumference in consideration of the curvature of the chest when the user is a woman.
도 13의 (A)는 여성 사용자의 가슴 단면도를 나타낸다. 단면도 가운데 도시된 초록색 타원과 사용자의 신체 단면을 나타내는 선이 일치하지 않는다. 13(A) shows a cross-sectional view of a female user's chest. The green ellipse shown in the middle of the sectional view and the line representing the user's body cross-section do not match.
도 13의 (B)는 가슴둘레 측정을 위한 여성 사용자의 가슴 단면도의 예시를 나타낸다. 본 예시에서는 가슴의 중심부가 몸의 양끝에서 각각 ¼ 지점에 위치한 것으로 가정한다. 13(B) shows an example of a cross-sectional view of a female user's chest for chest circumference measurement. In this example, it is assumed that the center of the chest is located at ¼ points from each end of the body.
도 13 의 (C)는 가슴둘레 측정 과정을 나타낸다. 가슴의 굴곡이 튀어나오는 지점(1/4 지점)을 기준으로 양쪽 사이드에 타원 반쪽 두개를 배치하고, 양 가슴 사이의 길이는 직선으로 가정한다. 따라서 양 가슴 사이의 길이는 1/2f 의 길이를 갖는 직선 2개의 길이에 해당한다. 실감형 패션 메타버스 서비스 제공 시스템은 다음과 같이 가슴둘레 값을 계산한다. 13(C) shows the chest circumference measurement process. Based on the point where the curve of the chest protrudes (1/4 point), two halves of an ellipse are placed on both sides, and the length between the two chests is assumed to be a straight line. Therefore, the length between the breasts corresponds to the length of two straight lines with a length of 1/2f. The realistic fashion metaverse service providing system calculates the chest circumference value as follows.
[수학식 4] [Equation 4]
반쪽 타원 2개의 둘레(타원 한개의 둘레) + ½ 앞면 길이(앞면 길이)Perimeter of 2 half ellipses (circumference of one oval) + ½ face length (face length)
도 8 내지 도 13에서 설명한 측정된 사용자 신체 사이즈는 실감형 패션 메타버스 서비스 제공 시스템의 데이터 베이스 서버(도 2 내지 도 3에서 설명한 데이터 베이스(250))에 저장될 수 있다. The measured user body size described in FIGS. 8 to 13 may be stored in the database server (
도 14는 실감형 패션 메타버스 서비스 처리 과정의 블록도이다. 14 is a block diagram of a realistic fashion metaverse service processing process.
도 14의 블록도 (1400)는 도 1 내지 도 13에서 설명한 실감형 패션 메타버스 서비스 제공 시스템에서 처리하는 실감형 패션 메타버스 서비스 처리 과정을 나타낸다. 각 처리 과정은 도 2 내지 도 3에서 설명한 서버에 의해 수행된다. A block diagram 1400 of FIG. 14 shows a process of processing a realistic fashion metaverse service processed by the realistic fashion metaverse service providing system described in FIGS. 1 to 13 . Each process is performed by the server described in FIGS. 2 and 3 .
실감형 패션 메타버스 서비스 제공 시스템은 웹서버를 통해 사용자로부터 아바타 제작 요청 신호(로그인)를 수신한다(1410). 실감형 패션 메타버스 서비스 제공 시스템의 아바타 얼굴 제작 전용 서버(1420)(아바타 얼굴 제작 전용 서버(230))는 스토리지 서버(1430)(스토리지 서버 (240))로부터 사용자의 얼굴 사진을 수신하고 3D 아바타의 얼굴을 제작할 수 있다. 또한 아바타 얼굴 제작 전용 서버(1420)는 웹서버를 통해 사용자로부터 메이크업 선택 및/또는 변경 신호가 있는 경우, 3D 얼굴 제작 과정에서 메이크업을 반영하여 3D 아바타의 얼굴을 제작할 수 있다. The realistic fashion metaverse service providing system receives an avatar creation request signal (login) from the user through the web server (1410). The server 1420 (
아바타 제작 메인 서버(1440)(아바타 제작 메인 서버(220))는 아바타 얼굴 제작 전용 서버(1420)로부터 얼굴 파일을 수신하고 기본 아바타에 제작된 얼굴을 추가하고, 데이터 베이스 서버(1450)(데이터 베이스 서버(250))에 저장된 사용자 신체 사이즈를 수신하여 사용자 체형에 맞는 아바타를 제작한다. 사용자 신체 사이즈는 도 1 내지 도 13에서 설명한 바에 따라 측정되어 데이터 베이스 서버(1450)에 저장될 수 있다. 아바타 제작 메인 서버(1440)는 스토리지 서버(1430)로부터 머리스타일 및 의류 리소스 파일을 수신하고 생성된 아바타에 머리 스타일을 적용하고 의류 아이템을 피팅하여 아바타 파일을 출력한다. The avatar production main server 1440 (avatar production main server 220) receives a face file from the avatar face production dedicated
서비스 서버(1460)(서비스 서버(210))는 아바타 파일을 수신하고 3D 아바타를 출력한다. 또한 서비스 서버(1460)는 사용자의 3D 공간을 선택하는 신호를 수신하면 데이터베이스 서버(1450)로부터 공간 데이터를 수신하고 스토리지 서버(1430)로부터 공간제작용 리소스를 수신하여 3D 공간을 제작한다. 서비스 서버(1460)는 데이터베이스 서버(1450)으로부터 워킹 데이터를 수신하고 제작된 3D 공간에 3D 아바타의 애니메이션을 추가하여 3D 아바타 캣 워킹 콘텐츠를 생성하여 출력할 수 있다. The service server 1460 (service server 210) receives the avatar file and outputs a 3D avatar. In addition, when the service server 1460 receives a signal for selecting a user's 3D space, it receives space data from the
도 15는 실감형 패션 메타버스 콘텐츠를 생성하는 과정을 나타낸다.15 shows a process of generating realistic fashion metaverse contents.
도 15에 도시된 블록도(1500)는 도 1 내지 도 14에서 설명한 실감형 패션 메타버스 서비스 제공 시스템이 가상 공간에서 아바타가 동작하는 가상 패션쇼 서비스를 제공하기 위해 콘텐츠를 생성하는 과정을 나타낸다. A block diagram 1500 shown in FIG. 15 shows a process in which the realistic fashion metaverse service providing system described in FIGS. 1 to 14 creates content to provide a virtual fashion show service in which an avatar operates in a virtual space.
실감형 패션 메타버스 콘텐츠를 생성하는 과정은 실감형 가상 패션 콘텐츠(실감형 아바타, 실감형 아이템, 실감형 가상공간)를 생성하는 과정(1510), VR 제작 과정 (1520), VR 공간 모델링 및 최적화 과정 (1530) 및 PC세팅 과정(1540)을 포함한다. The process of creating realistic fashion metaverse contents includes a process of creating realistic virtual fashion contents (realistic avatars, realistic items, and realistic virtual space) (1510), VR production process (1520), VR space modeling and
3D 소스 (옷, 아바타 및 애니메이션)을 생성하는 과정(1510)은 3D 저작도구(블렌더 또는 마야 등)를 이용하여 실감형 가상 패션 콘텐츠 생성하여 아바타의 캣 워크 애니메이션을 생성하는 과정(1511)을 포함한다. 또한 실감형 가상 패션 콘텐츠를 생성하는 과정(1510)은 전용 3D저작도구(CLO 3D 등)를 이용하여 아바타에 맞는 옷을 제작하고, 아바타의 캣 워크 애니메이션 데이터에 맞는 옷 애니메이션을 제작한다. 또한 VR을 제작하는 과정(1520)은 옷 및 텍스쳐 (PNG 파일) 및 아바타 및 워킹 애니메이션 (FBX) 데이터를 수신하여 어레인지하여 최종 애니메이션 아바타를 생성한다. VR 공간 모델링 및 최적화 과정(1530)은 블렌더를 이용하여 공간에 대한 앱용 3D 데이터 포멧(FBX 및 블렌더 파일 등)생성한다. VR을 제작하는 과정(1520)은 공간에 대한 앱용 3D 데이터 포멧을 받고 아바타 및 옷을 공간에 배치하고, 필요한 기타 기능을 구현하거나 공간 및 옷 재질을 구현하여 유니티 빌드 파일을 출력한다. PC 세팅 과정(1540)은 VR콘텐츠를 제공하기 위한 앱을 설치하거나 VR 콘텐츠를 제공하는 헤드 마운티드 디스플레이와의 페어링을 위한 기능 설정을 수행한다. The process of generating 3D sources (clothes, avatars, and animations) (1510) includes a process (1511) of creating realistic virtual fashion contents using a 3D authoring tool (Blender or Maya, etc.) to create catwalk animations of avatars. do. Also, in the process of generating realistic virtual fashion content (1510), clothes suitable for the avatar are produced using a dedicated 3D authoring tool (
도 16은 WebGL 기반의 실감형 패션 메타버스 콘텐츠를 생성하는 과정을 나타낸다.16 shows a process of generating WebGL-based immersive fashion metaverse contents.
도 16에 도시된 블록도(1600)는 도 1 내지 도 15에서 설명한 실감형 패션 메타버스 서비스 제공 시스템이 WebGL 기반의 실감형 패션 메타버스 콘텐츠를 생성 및 제공하는 과정을 나타낸다. WebGL 기반의 실감형 패션 메타버스 콘텐츠는 3D 저작도구를 기반으로 생성될 수 있다. 연산속도의 제한이 있는 웹환경에서 실감형 3D 아바타 및 아이템의 표현을 하기 위해 실감평 패션 메타버스 서비스 제공 시스템은 웹용 3D 데이터 포멧 표준(glTF)을 활용하고 최적화할 수 있다. glTF의 최적화는 기본 glTF를 통해서는 표현이 불가능한 오프라인 3D객체의 디테일한 표현을 웹환경에서도 속도 저하 없이, 최대한 표현하기 위해 반드시 필요하다. A block diagram 1600 shown in FIG. 16 shows a process in which the realistic fashion metaverse service providing system described in FIGS. 1 to 15 creates and provides WebGL-based realistic fashion metaverse contents. Realistic fashion metaverse contents based on WebGL can be created based on 3D authoring tools. In order to express realistic 3D avatars and items in a web environment with limited computational speed, the realistic fashion metaverse service providing system can utilize and optimize the 3D data format standard for the web (glTF). Optimization of glTF is absolutely necessary to express the detailed expression of offline 3D objects, which cannot be expressed through basic glTF, without slowing down the speed even in the web environment.
메인 서버(1610)는 아바타 제작 메인 서버(220)에서 생성되는공간에 대한 앱용 3D 데이터 파일을 입력받고 이를 glTF파일로 생성하는 컨버터를 포함한다. 메인 서버(1610)는 3D 아바타 파일 외에도 입력된 3D 아바타에 피팅되는 가상 의류 파일, 3D 공간 파일, 애니메이션 파일 등도 웹용 3D 데이터 포멧 표준(glTF) 파일로 변환할 수 있다. glTF 파일들은 매쉬 컴프레션을 통해 압축되고 데이터 베이스 서버(1620)(데이터베이스 서버(250))에 저장될 수 있다. 또한 메인 서버(1610)는 3D 공간, 옷, 아바타 애니메이션 데이터 등을 분리하여 만들고, 분리된 파일들은 각각 파일 서버(1630)에 별도로 저장될 수 있다.The
아바타 얼굴제작 전용 서버(1640)(아바타 얼굴제작 전용 서버(230))는 사용자의 얼굴사진 과 사용자가 선택한 메이크업 정보를 이용해 3D 아바타 얼굴 데이터를 생성한다. The avatar face making server 1640 (the avatar face making server 230) creates 3D avatar face data using a user's face picture and makeup information selected by the user.
웹 서버(1650)는 압축된 아바타 파일 (compressed glTF), 공간, 의류 및 애니메이션 파일과 3D 아바타 얼굴 데이터(JPEG)을 수신하고 최종 결과를 웹을 통해 사용자에게 제공한다. 최종 결과물은 3D 공간에서 선택 또는 지정된 옷과 메이크업된 얼굴이 적용된 아바타가 애니메이션 동작을 수행하는 콘텐츠이다. The
도 17은 실감형 패션 메타버스 서비스 제공 시스템의 예시를 나타낸다.17 shows an example of a realistic fashion metaverse service providing system.
도 17의 블록도(1700)은 도 1 내지 도 16에서 설명한 실감형 패션 메타버스 서비스 제공 시스템에 포함되는WebGL 기반의 실감형 패션 메타버스 콘텐츠를 생성하는 서버들 을 나타낸다. 도면에 도시된 서버들은 클라우드 컴퓨팅 시스템에서 제공되는 버츄얼 서버(또는 인스턴트)로서, 오퍼레이팅 시스템 및 애플리케이션을 구동하기 위해 제공된다. 도면에 도시된 서버들은 예시에 불과하며 실감형 패션 메타버스 서비스 제공 시스템은 도면에 도시되지 않은 서버들을 더 포함할 수 있다. A block diagram 1700 of FIG. 17 shows servers that generate WebGL-based realistic fashion metaverse contents included in the realistic fashion metaverse service providing system described in FIGS. 1 to 16 . Servers shown in the drawing are virtual servers (or instant) provided in a cloud computing system, and are provided to drive operating systems and applications. The servers shown in the drawings are merely examples, and the realistic fashion metaverse service providing system may further include servers not shown in the drawings.
API 서버(1710)는 구현 기능별 API(예를 들면 도 2 내지 도 3에서 설명한 아바타 모듈, 가상 피팅 모듈 등)를 불러 해당 기능을 구현하는 서버이다. The
익스포터(exporter)(1720)는 pre-glTF 파일을 glTF 파일 포맷으로 변환한다. 익스포터(1720)는 커뮤니케이터, pre-glTF 인터프리터(pre-glTF interpreter, 또는 pre-glTF 디코더), glTF생성기(generator)를 포함한다.An
파일 서버(1730)는 도 16에서 설명한 파일 서버(1630)로 실감형 메타버스 서비스의 콘텐츠를 구성하는 컴포넌트들에 대응하는 파일, 즉, 옷, 아바타, 3D 공간, 아바타 애니메이션 데이터를 각각 저장한다. The
코어 서버(1740)는 서버들의 기능 수행에 있어 발생하는 트래픽을 모니터링 하고 관리하는 로드 발랜싱을 수행하는 서버로서 커뮤니케이터, 로드 발랜서(load balancer), 어셋 매니저(asset manager)를 포함한다. 어셋 매니저는 WebGL 기반의 실감형 패션 메타버스 콘텐츠를 생성하기 위해 사용되는 유니티 어셋(unity asset)들을 관리한다. 각 어셋은 아바타, 의류 아이템 등을 각각 나타내는 3D 파일이다. The
도 1 내지 도 16에서 설명한 아바타 제작 메인 서버는 아바타에 대한 어셋 포맷으로 3D 아바타의 지오메트리와 텍스쳐 정보를 포함하는 3D 데이터 포멧(FBX 등) 파일을 생성한다. The avatar production main server described in FIGS. 1 to 16 creates a 3D data format (FBX, etc.) file including geometry and texture information of a 3D avatar as an asset format for the avatar.
최적화된 glTF 생성기 (optimized glTF generator)(1750)는 도 16에서 설명한 바와 같이 앱용 3D 데이터 포멧(FBX 등) 파일과 같은 실감형 메타버스 서비스의 콘텐츠를 구성하는 컴포넌트들에 대응하는 파일을 프리-glTF (pre-glTF)로 생성한다. 프리-glTF는 glTF와 렌더링을 위한 우선 순위의 3D맵인 RPI (Rendering Priority Index) 3D 맵(3D map)을 포함하여 생성된다. 실감형 패션 메타버스 서비스 제공 시스템은 실감형 패션 메타버스 서비스(예를 들면 도 4 내지 도 6에서 설명한 신체 측정 서비스 및 가상 피팅 서비스, 판매 서비스 또는 도 15에서 설명한 가상 패션쇼 서비스 등)의 종류에 따라 각 어셋을 다르게 렌더링 할 수 있다. 예를 들어3D 티셔츠에 대한 어셋이 가상 피팅 서비스에 제공되는 경우 실감형 패션 메타버스 서비스 제공 시스템은 해당 3D 파일을 최대한 실제 의류와 유사해 보이도록 렌더링한다. 또한 3D 티셔츠에 대한 어셋이 아바타 워킹 애니메이션 서비스에 제공되는 경우, 아바타의 움직임에 따라 3D 티셔츠의 표현이 달라지므로 실감형 패션 메타버스 서비스 제공 시스템은 해당 3D 파일의 중요한 부분만 렌더링 할 수 있다. RPI 3D 맵은 각 어셋에 의해 표현되는 3D 이미지에 설정되는 버텍스들에 대하여 렌더링을 위한 우선순위를 나타내는 맵이다. 따라서 실감형 패션 메타버스 시스템은 RPI 3D 맵을 이용하여 최소한의 버텍스 및 텍스처 데이터만을 처리하여 보다 빠른 데이터 처리를 수행하고, 자원(CPU, GPU)의 사용을 최소화할 수 있다.As described in FIG. 16, the optimized
이를 위하여 최적화된 glTF 생성기(1750)는 커뮤니케이터(communicator), 3D 파일 인터프리터 (3D file interpreter) , 버텍스 최적화(vertex optimizer) 모듈 (또는 지오메트리 생성 모듈), RPI (Rendering Priority Index) 3D맵 (map) 모듈, 프리 glTF 생성기(pre-glTF generator 또는 프리 glTF 인코더(pre-glTF encoder))를 포함한다. 3D 파일 인터프리터(3D file interpreter)는 여러 종류의 3D 파일들을 사용가능하도록 변환한다. 예를 들어 3D 파일 인터프리터는 3D 파일을 어셋 등으로 변환할 수 있다. 버텍스 최적화(vertex optimizer) 모듈 (또는 지오메트리 생성 모듈)은 AI 기반 딥러닝 기술을 기반으로 각 어셋이 나타내는 아이템 별 최적화된 버텍스들을 생성한다. 버텍스는3D 파일이 나타내는 이미지 내에 배치되는 점들로서, 각 버텍스는 위치 정보(지오메트리 값 또는 좌표값) 및 색 등의 텍스쳐 정보를 갖는다. 버텍스 최적화 모듈은 각 어셋이 나타내는 아이템의 키 포인트들과 경계(실루엣)을 기반으로 버텍스 개수, 배치 위치 등을 조절하여 최적화된 버텍스들을 생성한다. 최적화된 버텍스들은 위치에 따라 중요도를 갖는다. RPI 3D맵 모듈은 최적화된 버텍스들의 중요도를 기반으로 렌더링을 위한 3D 맵 데이터를 생성한다. RPI 3D 맵은 각 버텍스의 중요도에 따라 텍스쳐 처리를 최소화하기 위해 제공된다. 프리 glTF 생성기는 생성된 RPI 3D 맵을 포함하여 프리 glTF를 생성한다.For this purpose, the optimized
데이터 베이스 서버(1760)(예를 들면 도 2의 데이터베이스 서버 (250))는 실감형 가상 패션 콘텐츠 서비스에 필요한 데이터 및 정보를 저장한다. The database server 1760 (for example, the
도 18은 프리-glTF (pre-glTF)의 예시를 나타낸다.18 shows an example of pre-glTF (pre-glTF).
상술한 바와 같이 실감형 패션 메타버스 콘텐츠는 유니티(unity) 어셋(asset)툴을 기반으로 생성될 수 있다. 또한 도 1 내지 도 17에서 설명한 아바타 제작 메인 서버는 아바타에 대한 에셋 포맷으로 3D 아바타의 지오메트리와 텍스쳐 정보를 포함하는 FBX 파일을 생성한다. 이러한 앱용 3D 데이터 포멧(FBX 등) 파일은 도 16에서 설명한 바와 같이 웹용 3D 데이터 포멧 (glTF) 파일로 변환되어 저장된다As described above, realistic fashion metaverse content can be created based on the Unity asset tool. In addition, the avatar production main server described in FIGS. 1 to 17 creates an FBX file including geometry and texture information of a 3D avatar in an asset format for the avatar. These 3D data format (FBX, etc.) files for apps are converted to 3D data format (glTF) files for web as described in FIG. 16 and stored.
도 1 내지 도 17에서 설명한 실감형 패션 메타버스 서비스 제공 시스템은 3D 아바타의 지오메트리를 생성하는 과정에서 AI 알고리즘을 기반으로 렌더링을 위한 우선순위의 3D 맵을 생성하고 이를 glTF와 함께 저장할 수 있다. 프리-glTF는 도 17에서 설명한 프리 glTF 생성기를 통해 glTF와 렌더링을 위한 우선순위의 3D맵을 포함하여 생성된다. The immersive fashion metaverse service providing system described in FIGS. 1 to 17 may create a 3D map of priority for rendering based on an AI algorithm in the process of generating the geometry of a 3D avatar and store it together with glTF. The pre-glTF is generated through the pre-glTF generator described in FIG. 17, including the glTF and the 3D map of priority for rendering.
도 19는 최적화된 glTF 생성기의 동작을 나타낸다. 19 shows the operation of the optimized glTF generator.
도 17에서 설명한 바와 같이 최적화된 glTF 생성기(예를 들면 최적화된 glTF 생성기(1750))는 AI 기반 딥 러닝을 통해 버텍스를 최적화하고 RPI 3D 맵을 생성할 수 있다(1910). 3D에셋은 지오메트리 생성 단계(create geometry) 및 텍스쳐 생성 단계(create texture)로 구성되고, RPI 3D맵은 지오메트리 생성단계에서 AI알고리즘을 기반으로 생성되어 텍스쳐를 적용하는 렌더링 단계에서 활용된다.As described in FIG. 17 , the optimized glTF generator (for example, the optimized glTF generator 1750) may optimize vertices through AI-based deep learning and generate an
도 1 내지 도 17에서 설명한 실감형 패션 메타버스 서비스 제공 시스템은RPI 3D 맵을 기반으로 중요도에 따라 버텍스에 대응하는 텍스쳐를 처리하여 렌더링을 수행한다(1920). The realistic fashion metaverse service providing system described in FIGS. 1 to 17 performs rendering by processing textures corresponding to vertices according to importance based on the
도 20은 최적화된 버텍스들의 예시를 나타낸다. 20 shows an example of optimized vertices.
상술한 바와 같이 버텍스 최적화 모듈은 각 어셋이 나타내는 아이템의 키 포인트들과 경계(실루엣)을 기반으로 버텍스 개수, 배치 위치 등을 조절하여 최적화된 버텍스들을 생성한다. 최적화된 버텍스들은 위치에 따라 중요도를 갖는다. 버텍스의 중요도는 1 부터 5까지의 레벨로 설정될 수 있으나 본 예시에 국한되지 않는다. 도 20에 도시된 바와 같이 바깥 윤곽을 나타내는 버텍스(A)는 높은 중요도를 갖는 위치에 해당하므로 레벨 4-5가 할당된다. 내부 윤곽에 위치한 버텍스(B)는 그 다음 높은 중요도를 갖는 위치에 해당하므로 로 레벨 3이 할당된다. 그 외 범위에 위치한 버텍스(C)는 낮은 중요도를 갖는 것으로 레벨 1 및 2가 할당된다. As described above, the vertex optimization module creates optimized vertices by adjusting the number of vertices, arrangement position, etc., based on key points and boundaries (silhouettes) of items represented by each asset. Optimized vertices have importance according to position. The importance of a vertex may be set to a level from 1 to 5, but is not limited to this example. As shown in FIG. 20, vertices A representing the outer contour correspond to positions with high importance, and thus are assigned levels 4-5. The vertex (B) located in the inner contour is assigned a low level of 3 because it corresponds to the position with the next highest importance. Vertices (C) located in other ranges have low importance and are assigned
도 21은 RPI 3D 맵을 기반으로 렌더링 하는 과정을 나타내는 플로우 차트이다.21 is a flowchart illustrating a rendering process based on an
도 1 내지 도 17에서 설명한 실감형 패션 메타버스 서비스 제공 시스템(예를 들면 도 17에서 설명한 프리 glTF 인코더)은 모델링한 아이템별 버텍스 위치에 따라 렌더링 중요도 정보, 즉 RPI 3D 맵을 생성하고 glTF와 RPI 3D 맵을 인코딩 하여 프리 glTF를 생성한다. 실감형 패션 메타버스 서비스 제공 시스템은 생성된 프리 glTF를 저장하고 사용자 단말기로 전송할 수 있다(2110). 사용자 단말기는 프리 glTF를 디코딩하여 glTF를 생성하고, RPI 3D 맵을 기반으로 렌더링을 수행한다(2120). The immersive fashion metaverse service providing system described in FIGS. 1 to 17 (for example, the pre-glTF encoder described in FIG. 17) generates rendering importance information, that is, an
도 22는 가상 피팅 타입의 예시를 나타낸다.22 shows an example of a virtual fitting type.
도 1 내지 도 21에서 설명한 바와 같이 실감형 패션 메타버스 서비스 제공 시스템은 아바타에 의류 아이템을 입히는 가상 피팅 서비스를 제공할 수 있다. 가상 피팅 서비스는 아바타의 바디 사이즈에 따라 의류 아이템의 사이즈를 변경하여 아바타에 무조건 의류 아이템을 피팅하는 제1 방식(에브리 핏 방식)과 아바타의 바디 사이즈에 따라 의류 아이템을 구성하는 물성, 중력 마찰, 저항 등의 변수에 따라 의류 아이템의 사이즈 변경이 제한되는 제 2 방식(사이즈 핏 방식) 중 적어도 하나를 기반으로 구현된다.As described in FIGS. 1 to 21 , the immersive fashion metaverse service providing system may provide a virtual fitting service in which clothing items are put on an avatar. The virtual fitting service changes the size of the clothing item according to the body size of the avatar and unconditionally fits the clothing item to the avatar. The first method (every fit method) and the physical properties, gravity friction, It is implemented based on at least one of the second methods (size fit method) in which size change of clothing items is limited according to variables such as resistance.
도 22는 제 1 방식 및 제 2 방식을 구현하기 위해 실감형 패션 메타버스 서비스 제공 시스템이 사용하는 3개의 가상 피팅 타입들을 나타낸다. 제 1 방식 및 제 2 방식은 3개의 가상 피팅 타입 각각 또는 적어도 하나 또는 그 이상의 결합을 통해 구현될 수 있다. 22 shows three virtual fitting types used by the realistic fashion metaverse service providing system to implement the first method and the second method. The first method and the second method may be implemented through each of the three virtual fitting types or a combination of at least one or more.
도 22의 (A)는 아바타 마스킹 피팅 타입(Avatar Masking Fitting Type)을 나타내고 (B)는 의류 쉐이더 피팅 타입 (Cloth_shader Fitting Type)을 나타내고 (C)는 의류 콜라이더 피팅 타입 (Cloth_Collider Fitting Type)을 나타낸다. 22 (A) represents the avatar masking fitting type, (B) represents the clothing shader fitting type (Cloth_shader fitting type), and (C) represents the clothing collider fitting type (Cloth_Collider Fitting Type). .
도 22는 도 2에서 설명한 아바타 제작서버(220)의 아바타 생성 과정에서 사용되는 기술을 나타낸다. 아바타 마스킹 피팅 타입은 버틱스 기반의 메쉬 모델링을 수행한 뒤 마스킹을 수행하여 피팅을 수행하는 기술이다. 의류 쉐이더 피팅 타입은 의류 아이템의 메인 텍스쳐들에 대하여 충돌지점(collision)을 찾고 이를 기반으로 쉐이더를 사용하여 버텍스 위치를 조절하여 피팅을 수행하는 기술이다. 의류 콜라이더 피팅 타입은 버텍스들 중 충돌되는 버텍스들만 변형하기 위한 유니티의 콜라이더를 생성하여 피팅을 수행하는 기술이다. FIG. 22 shows a technology used in the avatar creation process of the
도 23은 아바타 마스킹 피팅 타입의 마스킹 과정을 나타낸다. 23 shows a masking process of an avatar masking fitting type.
실감형 패션 메타버스 서비스 제공 시스템은 아바타 마스킹 피팅 타입에 따라 3D 오브젝트 (아바타)의 버텍스들 형태로 시작해서 면을 만들어 화면에 디스플레이 한다. 실감형 패션 메타버스 서비스 제공 시스템은 아바타의 기본 상태에서 버텍스들을 설정하고 각 버텍스의 위치에서 그 위치에서 아바타 안쪽 방향으로 Normal(수직)방향으로 충돌 감지할 수 있는 선(Ray)을 발생시킨다. 선과 옷 위의 메시(Mesh) 가 충돌하면 실감형 패션 메타버스 서비스 제공 시스템은 아바타 메시의 트라이엥글 (triangle, polygons) 부분이 보이지 않도록 마스킹 값을 설정할 수 있다.The immersive fashion metaverse service providing system starts with the form of vertices of a 3D object (avatar) according to the avatar masking fitting type, creates a plane, and displays it on the screen. The realistic fashion metaverse service provision system sets vertices in the basic state of the avatar and generates a line (Ray) that can detect collision in the normal (vertical) direction from the position of each vertex to the inside of the avatar. If the line and the mesh on the clothes collide, the realistic fashion metaverse service providing system may set a masking value so that the triangle (polygons) part of the avatar mesh is not visible.
도 24는 아바타 마스킹 피팅 타입의 처리 과정을 나타낸다. 24 shows a process of avatar masking fitting type.
도 24의 (A)는 면이 아닌 버텍스들의 위치 값만 가지고 충돌을 감지하여 마스킹을 하는 경우, 아바타에서 마스킹 처리가 안되는 부분의 예시를 나타낸다. 실감형 패션 메타버스 서비스 제공 시스템은 충돌이 안된 부분을 감지하기 위해 선을 구 형태(sphere)로 변경하고, 구 형태 내에 포함되는 모든 값들에 대해 마스킹 처리를 수행할 수 있다. 도 24의 (B)는 구 형태의 경우, 아바타와 의류 사이의 경계부분까지 아바타 메시(Mesh)처리가 되는 예시를 나타낸다 (B). 실감형 패션 메타버스 서비스 제공 시스템은 의류의 메시에 아바타와 의류 사이의 경계에 따라 마스킹시 예외로 처리할 예외충돌범위를 설정할 수 있다. 도 24의 (C)는 예외충돌범위의 예시를 나타낸다. 24(A) shows an example of a part of an avatar that cannot be masked when a collision is detected and masked using only position values of vertices rather than faces. The immersive fashion metaverse service providing system may change the line into a sphere shape in order to detect a non-collision portion, and may perform a masking process on all values included in the sphere shape. 24 (B) shows an example in which avatar mesh processing is performed up to the boundary between the avatar and clothing in the case of a spherical shape (B). The immersive fashion metaverse service providing system may set an exception collision range to be treated as an exception when masking according to the boundary between the clothing mesh and the avatar and the clothing. 24(C) shows an example of an exception collision range.
도 25는 의류 쉐이더 피팅 타입의 처리 과정을 나타낸다. 25 shows a processing procedure of a clothing shader fitting type.
의류 쉐이더 피팅 타입은 의류 기준에서 충돌지점을 찾아낸다는 점에서 아바타 마스킹 피팅 타입과 다르다. 의류 쉐이더 피팅 타입은 충돌지점의 위치를 UV 좌표화하여 쉐이더(shader)에서 버텍스의 위치를 조절한다. 도 25는 충돌지점을 UV 좌표화하는 과정을 나타낸다. The clothing shader fitting type is different from the avatar masking fitting type in that the collision point is found in the clothing standard. The clothing shader fitting type converts the position of the collision point into UV coordinates and adjusts the position of the vertex in the shader. 25 shows a process of converting a collision point into UV coordinates.
도 26은 의류 쉐이딩 피팅 타입의 처리 과정을 나타낸다. 26 shows a processing procedure of a clothing shading fitting type.
도 26의 (A)는 실감형 패션 메타버스 서비스 제공 시스템이 의류 아이템을 디폼하여 아바타에 피팅하는 예시를 나타내고, 도 26의 (B)는 실감형 패션 메타버스 서비스 제공 시스템이 선을 통해 충돌 위치를 감지하는 예시를 나타낸다. 도 26의 (C)는 실감형 패션 메타버스 서비스 제공 시스템이 UV 좌표화된 충돌 위치에 대응하는 버텍스들의 위치를 확보하고 버텍스들의 위치에 따라 쉐이더를 조절하는 예시를 나타낸다. 도 26의 (D)는 실감형 패션 메타버스 서비스 제공 시스템이 최종 피팅 결과물을 출력하는 예시를 나타낸다. 26(A) shows an example in which the realistic fashion metaverse service providing system deforms clothing items to fit the avatar, and FIG. 26(B) shows the realistic fashion metaverse service providing system colliding with a line through a line. shows an example of detecting 26(C) shows an example in which the realistic fashion metaverse service providing system secures the positions of vertices corresponding to UV coordinated collision positions and adjusts the shader according to the positions of the vertices. 26(D) shows an example in which the realistic fashion metaverse service providing system outputs a final fitting result.
도 27은 의류 콜라이더 피팅 타입의 처리 과정을 나타낸다. 27 shows a processing procedure of a clothing collider fitting type.
의류 콜라이더 피팅 타입은 각 버텍스에 콜라이더(collider)를 생성해 변화된 아바타에 맞춰 가상 피팅을 수행하는 기술이다. The clothing collider fitting type is a technology that creates a collider at each vertex and performs virtual fitting according to the changed avatar.
도 27의 (A)는 각 버텍스 별로 동일한 사이즈의 콜라이더를 생성하는 예시를 나타내고, 도 27의 (B)는 각 버텍스 별로 다른 사이즈의 콜라이더를 생성하는 예시를 나타낸다. 27(A) shows an example of generating colliders of the same size for each vertex, and FIG. 27(B) shows an example of creating colliders of different sizes for each vertex.
도 27의 (A)의 예시와 같이 각 버텍스 별로 동일한 사이즈의 콜라이더를 생성하여 사용하면, 충돌되는 지점에 따라 전체적인 의류 형태가 변경될 수 있다. As in the example of FIG. 27(A), if colliders of the same size are created and used for each vertex, the overall shape of clothing can be changed according to the colliding point.
따라서 도 27의 (B)와 같이 실감형 패션 메타버스 서비스 제공 시스템은 충돌 위치에 해당하는 버텍스에 대해서는 충돌에 따른 크기 변화를 줄 수 있도록 상대적으로 더 큰 콜라이더를 생성하고, 충돌 위치에 해당하지 않는 버텍스에 대해서는 상대적으로 작은 콜라이더를 생성하여 의류 형태가 변경되지 않도록 한다. Therefore, as shown in (B) of FIG. 27, the realistic fashion metaverse service providing system creates a relatively larger collider to give a size change according to the collision for the vertex corresponding to the collision location, and does not correspond to the collision location. For vertices that do not, we create relatively small colliders so that the clothing shape does not change.
도 28은 의류 콜라이더 피팅 타입의 처리 과정을 나타낸다. Fig. 28 shows the processing process of the clothing collider fitting type.
도 28의 (A)는 실감형 패션 메타버스 서비스 제공 시스템이 의류 아이템을 디폼하여 아바타에 피팅하는 예시를 나타내고, 도 28의 (B)는 실감형 패션 메타버스 서비스 제공 시스템이 선을 통해 충돌 위치를 감지하는 예시를 나타낸다. 도 28의 (C)는 실감형 패션 메타버스 서비스 제공 시스템이 좌표화된 충돌 위치에 대응하는 버텍스들의 위치를 확보하고 버텍스들의 위치에 따라 같거나 다른 콜라이어들을 생성하는 예시를 나타낸다. 도 28의 (D)는 실감형 패션 메타버스 서비스 제공 시스템이 최종 피팅 결과물을 출력하는 예시를 나타낸다. 28(A) shows an example in which the realistic fashion metaverse service providing system deforms a clothing item to fit the avatar, and FIG. 28(B) shows the realistic fashion metaverse service providing system colliding with a line through a line. shows an example of detecting 28(C) shows an example in which the realistic fashion metaverse service providing system secures the positions of vertices corresponding to coordinated collision positions and creates the same or different colliers according to the positions of the vertices. 28(D) shows an example in which the realistic fashion metaverse service providing system outputs a final fitting result.
도 29는 이미지 심리스 텍스쳐링 알고리즘 (image seamless texturing algorithm)을 나타내는 플로우 차트이다. 29 is a flow chart illustrating an image seamless texturing algorithm.
도 1 내지 도 28에서 설명한 실감형 패션 메타버스 서비스 제공 시스템은 이미지 심리스 텍스쳐링 알고리즘을 기반으로 사용자가 원하는 이미지를 가상 의류 전체에 프린팅할 수 있다. 도 29의 플로우(2900)은 이미지 심리스 텍스쳐링 알고리즘을 나타낸다. 이미지 심리스 텍스쳐링 알고리즘은 프리프로세싱 (2910), 인터섹션 바운더리 프로세싱 (2920), 포인트 프로세싱 (2930), 인터섹션 라인 프로세싱 (2940) 및 매트릭스 트랜스폼 프로세싱 (2950)을 포함한다. The immersive fashion metaverse service providing system described in FIGS. 1 to 28 may print an image desired by a user on the entire virtual clothing based on an image seamless texturing algorithm.
프리프로세싱 (2910)은 의류 아이템 (예를 들면 티셔츠)의 메시들(예를 들면 티셔츠의 앞면을 나타내는 메시, 티셔츠의 뒷면을 나타내는 메시, 우측 소매를 나타내는 메시 및 좌측 소매를 나타내는 메시 등)을 준비하는 과정이다. 여기서는 의류 아이템을 예시하였으나 의류 아이템이 아닌 가구 아이템 등도 적용이 가능하며, 작은 소품 아이템에서 심지어 차량이나 건물 외관 등의 대형 물품이나 동산이 아닌 아이템의 외관을 꾸밀 수 있는 어떤 아이템도 본 실시 예가 적용될 수 있다.
인터섹션 바운더리 프로세싱 (2920)은 심리스 텍스쳐링을 위하여 메시들간 서로 겹치는 바운더리 (인터섹션 바운더리), 예를 들면 어깨 바운더리 등을 찾는다. 포인트 프로세싱 (2930)은 적어도 하나의 메시(예를 들면 티셔츠의 앞면을 나타내는 메시)에 대하여 사용자가 선택한 사진 또는 이미지와 메시가 서로 겹치는 영역을 나타내는 포인트들을 찾는다. 인터섹션 라인 프로세싱 (2940)은 포인트들을 기반으로 해당 메시에 대하여 다른 메시들과 겹치는 라인을 직선으로 만든다. 매트릭스 트랜스폼 프로세싱 (2950)은 메시와 연결되는 다른 메시들에 대해서도 이미지를 출력하기 위해 매트릭스 연산을 수행하여 이미지를 회전하거나 전환하여 각 메시에 이미지를 출력한다. 포인트 프로세싱 (2930)은 사용자가 선택한 사진 또는 이미지와 메시가 서로 겹치는 영역을 나타내는 포인트들을 찾는다.
도 30은 이미지 심리스 텍스쳐링 알고리즘의 예시를 나타낸다.30 shows an example of an image seamless texturing algorithm.
도 30의 (A)은 심리스 텍스쳐링을 위하여 메시들(메시 1 및 메시 2)간 서로 겹치는 바운더리 (인터섹션 바운더리), 예를 들면 어깨 바운더리 등을 찾는 인터섹션 바운더리 프로세싱(도 29의 인터섹션 바운더리 프로세싱 (2920))의 예시를 나타낸다.30(A) shows intersection boundary processing (intersection boundary processing in FIG. (2920)).
도 30의 (B)는 사용자가 선택한 이미지(3010)과 메시(3020)가 겹치는 경우, 겹치는 영역을 나타내는 포인트들 p1, p2, p3 및 p4을 찾는 포인트 프로세싱 (포인트 프로세싱 (2930))의 예시를 나타낸다. 포인트들 p1, p2, p3 및 p4의 좌표는 도면에 도시된 수학식에 따라 도출된다. 30(B) shows an example of point processing (point processing 2930) for finding points p1, p2, p3, and p4 representing the overlapping area when the
도 31은 이미지 심리스 텍스쳐링 알고리즘의 예시를 나타낸다.31 shows an example of an image seamless texturing algorithm.
도 31의 (A)는 포인트들을 기반으로 사용자가 선택한 이미지가 출력되는 메시에 대해 다른 메시들과 겹치는 바운더리를 직선(3110)으로 만드는 인터섹션 라인 프로세싱 (도 29의 인터섹션 라인 프로세싱 (2940))의 예시를 나타낸다. (A) of FIG. 31 shows intersection line processing (
도 31의 (B)는 메시와 연결되는 다른 메시들에 대해서도 이미지를 출력하기 위해 매트릭스 연산을 수행하여 이미지를 회전하거나 전환하여 각 메시에 회전되거나 전환된 이미지를 출력하는 매트릭스 트랜프폼 프로세싱 (도 29의 매트릭스 트랜스폼 프로세싱 (2950))의 예시를 나타낸다. 31(B) shows matrix transformation processing that rotates or converts an image by performing a matrix operation to output an image of other meshes connected to the mesh and outputs the rotated or converted image to each mesh (FIG. 29 shows an example of matrix transform processing (2950) of
도 32는 실감형 패션 메타버스 서비스 제공 방법을 나타내는 플로우차트이다.32 is a flowchart illustrating a method of providing a realistic fashion metabus service.
실감형 패션 메타버스 서비스 제공 시스템은 실감형 메타버스 서비스의 콘텐츠를 구성하는 컴포넌트들에 대응하는 파일들을 생성한다(3210). 파일들은 사용자의 얼굴 사진을 기반으로 생성된 3D 얼굴 및 사용자 신체 사이즈 정보를 기반으로 생성된 사용자 체형을 반영한 아바타를 결합하여 생성되는 아바타 파일, 상기 실감형 메타버스 서비스의 콘텐츠를 구성하는 3D공간을 나타내는 3D 공간 파일 및 아바타에 가상 피팅을 하기 위한 의류 아이템을 나타내는 의류 파일을 포함한다. 구체적인 설명은 도 1 내지 도 31에서 설명한 바와 동일하다.The realistic fashion metaverse service providing system creates files corresponding to components composing the contents of the realistic metaverse service (3210). The files are created by combining the 3D face created based on the user's face picture and the avatar reflecting the user's body shape created based on the user's body size information, and the 3D space constituting the contents of the realistic metaverse service. It includes a 3D space file representing a 3D space file and a clothing file representing a clothing item for virtual fitting to an avatar. A detailed description is the same as that described in FIGS. 1 to 31 .
실감형 패션 메타버스 서비스 제공 시스템은 각 생성된 파일에 대해 AI 알고리즘을 기반으로 중요도 판단을 수행하여 렌더링을 위한 우선 순위를 나타내는RPI (Rendering Priority Index) 3D 맵(3D map) 정보를 생성한다(3220). 구체적인 설명은 도 1 내지 도 31에서 설명한 바와 동일하다.The immersive fashion metaverse service providing system generates RPI (Rendering Priority Index) 3D map information indicating priority for rendering by performing importance judgment based on AI algorithm for each generated file (3220). ). A detailed description is the same as that described in FIGS. 1 to 31 .
실감형 패션 메타버스 서비스 제공 시스템은 각 생성된 파일을 glTF 파일로 변환하고, RPI 3D 맵 정보와 함께 프리 glTF 파일로 인코딩한다(3230). 구체적인 설명은 도 1 내지 도 31에서 설명한 바와 동일하다.The immersive fashion metaverse service providing system converts each generated file into a glTF file and encodes it into a free glTF file together with
실시예들에 따른 사용자의 신체 사이즈 정보는 사용자의 측면 이미지 및 정면 이미지로부터 도출된 픽셀 단위의 키 값과 사용자로부터 입력된 키 값의 오차율을 측정하고, 사용자의 측면 이미지에 나타나는 사용자 얼굴의 회전 정도인 피치 값을 측정하여 측정된 오차율을 측정된 피치값으로 보정하여 측정된다.The user's body size information according to the embodiments measures the error rate between the key value in units of pixels derived from the side image and the front image of the user and the key value input from the user, and the degree of rotation of the user's face appearing in the user's side image. It is measured by measuring the phosphorus pitch value and correcting the measured error rate with the measured pitch value.
실시예들에 따른 사용자의 신체 사이즈 정보는 가슴 둘레값을 포함하고, 가슴둘레값은 상기 사용자의 측면 이미지 내에 하나 또는 그 이상의 제 1 키 포인트들을 설정하고 설정된 제 1 키 포인트들 간의 거리를 측정하고, 사용자 정면 이미지 내에 하나 또는 그 이상의 제 2 키 포인트들을 설정하고 설정된 제 2 키 포인트들 간의 거리를 측정하고, 제 1 키 포인트들간의 거리와 제 2 키 포인트들간의 거리를 기반으로사용자의 측면 이미지에 표현된 사용자 바디의 회전 각도를 측정하여 측정된 회전각도를 기반으로 생성된다.The user's body size information according to embodiments includes a chest circumference value, the chest circumference value sets one or more first key points in the side image of the user, measures a distance between the set first key points, and , Set one or more second key points in the user's front image, measure the distance between the set second key points, and based on the distance between the first key points and the distance between the second key points, the side image of the user It is generated based on the measured rotation angle by measuring the rotation angle of the user's body expressed in .
각 생성된 파일에 대해 AI 알고리즘을 기반으로 중요도 판단을 수행하여 렌더링을 위한 우선 순위를 나타내는RPI (Rendering Priority Index) 3D 맵(3D map) 정보를 생성하는 단계는, The step of generating RPI (Rendering Priority Index) 3D map information indicating the priority for rendering by performing an importance judgment based on an AI algorithm for each generated file,
파일이 나타내는 이미지에 하나 또는 그 이상의 버텍스들을 설정하는 단계 및 설정된 하나 또는 그 이상의 버텍스들의 중요도를 기반으로 상기 RPI 3D 맵 정보를 생성하는 단계를 포함한다. 버텍스는 위치 정보 및 텍스쳐 정보를 갖는 점으로서 각 버텍스는 위치를 기반으로 중요도를 갖는다.Setting one or more vertices in an image represented by the file and generating the
실감형 패션 메타버스 서비스 제공 시스템은 프리 glTF 파일을 디코딩하여 RPI 3D 맵 정보 및 glTF 파일을 확보하는 단계 및 확보된 RPI 3D 맵 정보를 기반으로glTF 파일을 렌더링하여 실감형 패션 메타버스 서비스의 콘텐츠를 제공하는 단계를 수행할 수 있다.The realistic fashion metaverse service providing system decodes the free glTF file to obtain
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시예들을 병합하여 새로운 실시예를 구현하도록 설계하는 것도 가능하다. 그리고, 통상의 기술자의 필요에 따라, 이전에 설명된 실시예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 실시예들의 권리범위에 속한다. 실시예들에 따른 장치 및 방법은 상술한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다. 실시예들의 바람직한 실시예에 대하여 도시하고 설명하였지만, 실시예들은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 실시예들의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 실시예들의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다. 실시예들에 따른 장치 및 방법에 대한 설명은 서로 보완하여 적용될 수 있다.For convenience of description, each drawing has been divided and described, but it is also possible to design to implement a new embodiment by merging the embodiments described in each drawing. And, according to the needs of those skilled in the art, designing a computer-readable recording medium in which programs for executing the previously described embodiments are recorded falls within the scope of the embodiments. The apparatus and method according to the embodiments are not limited to the configuration and method of the embodiments described above, but all or part of each embodiment is selectively combined so that various modifications can be made. may be configured. Although preferred embodiments of the embodiments have been shown and described, the embodiments are not limited to the specific embodiments described above, and common knowledge in the art to which the present invention pertains without departing from the gist of the embodiments claimed in the claims. Of course, various modifications are possible by those who have, and these modifications should not be individually understood from the technical spirit or prospects of the embodiments. Descriptions of the device and method according to the embodiments may be applied complementary to each other.
도 1 내지 도 32에서 설명한 실감형 패션 메타버스 서비스 제공 시스템 및 구성요소들(예를 들면 인코더, 모듈 등)은 하드웨어, 소프트웨어, 펌웨어 또는 그것들의 조합에 의해 구성될 수 있다. 실시예들의 다양한 구성요소들은 하나의 칩, 예를 들면 하나의 하드웨어 서킷으로 구현될 수 있다 실시예들에 따라, 구성요소들은 각각 별도의 칩들로 구현될 수 있다. 실시예들에 따라, 실시예들에 따른 장치의 구성요소들 중 적어도 하나 이상은 하나 또는 그 이상의 프로그램들을 실행 할 수 있는 하나 또는 그 이상의 프로세서들로 구성될 수 있으며, 하나 또는 그 이상의 프로그램들은 실시예들에 따른 동작/방법들 중 어느 하나 또는 그 이상의 동작/방법들을 수행시키거나, 수행시키기 위한 인스트럭션들을 포함할 수 있다. 실시예들에 따른 장치의 방법/동작들을 수행하기 위한 실행 가능한 인스트럭션들은 하나 또는 그 이상의 프로세서들에 의해 실행되기 위해 구성된 일시적이지 않은 CRM 또는 다른 컴퓨터 프로그램 제품들에 저장될 수 있거나, 하나 또는 그 이상의 프로세서들에 의해 실행되기 위해 구성된 일시적인 CRM 또는 다른 컴퓨터 프로그램 제품들에 저장될 수 있다. 또한 실시예들에 따른 메모리는 휘발성 메모리(예를 들면 RAM 등)뿐 만 아니라 비휘발성 메모리, 플래쉬 메모리, PROM등을 전부 포함하는 개념으로 사용될 수 있다. 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함될 수 있다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The realistic fashion metaverse service providing system and components (eg, encoders, modules, etc.) described in FIGS. 1 to 32 may be configured by hardware, software, firmware, or a combination thereof. Various components of the embodiments may be implemented as one chip, for example, as one hardware circuit. According to embodiments, components may be implemented as separate chips. Depending on the embodiments, at least one or more of the components of the device according to the embodiments may be composed of one or more processors capable of executing one or more programs, and the one or more programs may be executed. Any one or more of the operations/methods according to the examples may be performed or may include instructions for performing the operations/methods. Executable instructions for performing methods/operations of an apparatus according to embodiments may be stored in a non-transitory CRM or other computer program products configured for execution by one or more processors, or may be stored in one or more may be stored in transitory CRM or other computer program products configured for execution by processors. In addition, the memory according to the embodiments may be used as a concept including not only volatile memory (eg, RAM) but also non-volatile memory, flash memory, PROM, and the like. Also, those implemented in the form of a carrier wave, such as transmission through the Internet, may be included. In addition, the processor-readable recording medium is distributed in computer systems connected through a network, so that the processor-readable code can be stored and executed in a distributed manner.
이 문서에서 “/”와 “,”는 “및/또는”으로 해석된다. 예를 들어, “A/B”는 “A 및/또는 B”로 해석되고, “A, B”는 “A 및/또는 B”로 해석된다. 추가적으로, “A/B/C”는 “A, B 및/또는 C 중 적어도 하나”를 의미한다. 또한, “A, B, C”도 “A, B 및/또는 C 중 적어도 하나”를 의미한다. 추가적으로, 이 문서에서 “또는”는 “및/또는”으로 해석된다. 예를 들어, “A 또는 B”은, 1) “A”만을 의미하거나, 2) “B”만을 의미하거나, 3) “A 및 B”를 의미할 수 있다. 달리 표현하면, 본 문서의 “또는”은 “추가적으로 또는 대체적으로(additionally or alternatively)”를 의미할 수 있다. In this document, “/” and “,” shall be interpreted as “and/or”. For example, “A/B” is interpreted as “A and/or B” and “A, B” is interpreted as “A and/or B”. Additionally, "A/B/C" means "at least one of A, B and/or C". Also, “A, B, C” means “at least one of A, B and/or C”. Additionally, “or” shall be construed as “and/or” in this document. For example, "A or B" could mean 1) only "A", 2) only "B", or 3) "A and B". In other words, “or” in this document may mean “additionally or alternatively”.
제1, 제2 등과 같은 용어는 실시예들의 다양한 구성요소들을 설명하기 위해 사용될 수 있다. 하지만 실시예들에 따른 다양한 구성요소들은 위 용어들에 의해 해석이 제한되어서는 안된다. 이러한 용어는 하나의 구성요소를 다른 구성요소와 구별하기 위해 사용외는 것에 불과하다. 것에 불과하다. 예를 들어, 제1 사용자 인풋 시그널은 제2사용자 인풋 시그널로 지칭될 수 있다. 이와 유사하게, 제2사용자 인풋 시그널은 제1사용자 인풋시그널로 지칭될 수 있다. 이러한 용어의 사용은 다양한 실시예들의 범위 내에서 벗어나지 않는 것으로 해석되어야만 한다. 제1사용자 인풋 시그널 및 제2사용자 인풋 시그널은 모두 사용자 인풋 시그널들이지만, 문맥 상 명확하게 나타내지 않는 한 동일한 사용자 인풋 시그널들을 의미하지 않는다.Terms such as first, second, etc. may be used to describe various components of the embodiments. However, interpretation of various components according to embodiments should not be limited by the above terms. These terms are only used to distinguish one component from another. only thing For example, a first user input signal may be referred to as a second user input signal. Similarly, the second user input signal may be referred to as the first user input signal. Use of these terms should be construed as not departing from the scope of the various embodiments. Although both the first user input signal and the second user input signal are user input signals, they do not mean the same user input signals unless the context clearly indicates otherwise.
실시예들을 설명하기 위해 사용된 용어는 특정 실시예들을 설명하기 위한 목적으로 사용되고, 실시예들을 제한하기 위해서 의도되지 않는다. 실시예들의 설명 및 청구항에서 사용된 바와 같이, 문맥 상 명확하게 지칭하지 않는 한 단수는 복수를 포함하는 것으로 의도된다. 및/또는 표현은 용어 간의 모든 가능한 결합을 포함하는 의미로 사용된다. 포함한다 표현은 특징들, 수들, 단계들, 엘리먼트들, 및/또는 컴포넌트들이 존재하는 것을 설명하고, 추가적인 특징들, 수들, 단계들, 엘리먼트들, 및/또는 컴포넌트들을 포함하지 않는 것을 의미하지 않는다. 실시예들을 설명하기 위해 사용되는, ~인 경우, ~때 등의 조건 표현은 선택적인 경우로만 제한 해석되지 않는다. 특정 조건을 만족하는 때, 특정 조건에 대응하여 관련 동작을 수행하거나, 관련 정의가 해석되도록 의도되었다.Terms used to describe the embodiments are used for the purpose of describing specific embodiments and are not intended to limit the embodiments. As used in the description of the embodiments and in the claims, the singular is intended to include the plural unless the context clearly dictates otherwise. and/or expressions are used in a sense that includes all possible combinations between the terms. The expression includes describes that there are features, numbers, steps, elements, and/or components, and does not imply that additional features, numbers, steps, elements, and/or components are not included. . Conditional expressions such as when ~, when, etc., used to describe the embodiments, are not limited to optional cases. When a specific condition is satisfied, a related action is performed in response to the specific condition, or a related definition is intended to be interpreted.
210: 1460: 서비스 서버
220, 1440: 아바타 제작 메인 서버
230, 1420: 아바타 얼굴 제작 전용 서버
240, 1430: 스토리지 서버
250, 1450: 데이터 베이스 서버
1200: 사용자의 정면
1210:: 사용자의 회전 옆면
1220: 사용자의 완전 측면 210: 1460: service server
220, 1440: Avatar production main server
230, 1420: Dedicated server for creating avatar faces
240, 1430: storage server
250, 1450: database server
1200: user's front
1210:: Turn side of user
1220: the complete aspect of the user
Claims (10)
상기 준비된 파일에 대해 렌더링을 위한 우선 순위를 나타내는 3D 맵을 기반으로 생성하는 단계,
여기서 상기 3D 맵은 버텍스의 위치에 따른 상기 버텍스의 중요도를 나타내고,
여기서, 상기 버텍스의 중요도는 에셋이 나타내는 아이템의 경계지점이 상기 아이템의 내부지점보다 높게 생성되고; 및
상기 준비된 파일을 glTF (GL Transmission Format) 파일과 상기 3D (3 dimension)맵 정보를 포함하는 프리 glTF 파일을 제공하는 단계;를 포함하는 실감형 패션 메타버스 서비스 제공 방법. Preparing files corresponding to components constituting the contents of the realistic metaverse service;
Generating based on a 3D map indicating a priority for rendering for the prepared file;
Here, the 3D map indicates the importance of the vertex according to the position of the vertex,
Here, the importance of the vertex is that a boundary point of an item represented by an asset is generated higher than an internal point of the item; and
Providing a pre-glTF file including a glTF (GL Transmission Format) file and the 3D (3 dimension) map information as the prepared file.
상기 버텍스의 중요도는
상기 아이템의 외부 윤곽을 나타내는 버텍스에 대해 높은 레벨이 할당되고, 상기 아이템의 내부 윤곽에 위치한 버텍스에 대해 중간 레벨이 각각 할당되고, 상기 아이템의 그 외의 위치에 위치한 버텍스는 낮은 레벨이 할당되도록 하는 실감형 패션 메타버스 서비스 제공 방법.According to claim 1,
The importance of the vertex is
Vertices representing the outer contour of the item are assigned high levels, vertices located on the inner contour of the item are assigned medium levels, and vertices located elsewhere in the item are assigned low levels. How to provide Hyung Fashion Metaverse service.
상기 3D 맵은, AI 알고리즘을 기반으로 상기 준비된 파일에 대해 렌더링을 위한 우선 순위를 나타내는 RPI (Rendering Priority Index) 맵인, 실감형 패션 메타버스 서비스 제공 방법. According to claim 1,
The 3D map is a RPI (Rendering Priority Index) map indicating a priority for rendering the prepared file based on an AI algorithm, a realistic fashion metaverse service providing method.
상기 버텍스는 상기 콘텐츠의 이미지 상에 위치 정보 및 텍스쳐 정보를 갖는 점을 표시되는 실감형 패션 메타버스 서비스 제공 방법.According to claim 1,
The vertex is a realistic fashion metaverse service providing method in which a point having location information and texture information is displayed on the image of the content.
컴퓨터의 명령어를 수행하는 프로세서를 포함하고,
상기 프로세서는,
실감형 메타버스 서비스의 콘텐츠를 구성하는 컴포넌트들에 대응하는 파일을 제공하는 준비모듈;
상기 준비된 파일에 대해 렌더링을 위한 우선 순위를 나타내는 3D 맵을 기반으로 생성하는 생성모듈;
여기서 상기 3D 맵은 버텍스의 위치에 따른 상기 버텍스의 중요도를 나타내고,
여기서, 상기 버텍스의 중요도는 에셋이 나타내는 아이템의 경계지점이 상기 아이템의 내부지점보다 높게 생성되고; 및
상기 준비된 파일을 glTF (GL Transmission Format) 파일과 상기 3D (3 dimension)맵 정보를 포함하는 프리 glTF 파일을 제공하는 제공모듈;을 수행하는 실감형 패션 메타버스 서비스 제공 장치.a database for storing files corresponding to components constituting the contents of the immersive metaverse service; and
It includes a processor that executes computer instructions,
the processor,
A preparation module that provides files corresponding to components constituting the contents of the realistic metaverse service;
a generation module for generating based on a 3D map indicating a priority for rendering of the prepared file;
Here, the 3D map indicates the importance of the vertex according to the position of the vertex,
Here, the importance of the vertex is that a boundary point of an item represented by an asset is generated higher than an internal point of the item; and
A providing module for providing a glTF (GL Transmission Format) file with the prepared file and a free glTF file including the 3D (3 dimension) map information; a realistic fashion metaverse service providing device.
상기 버텍스의 중요도는
상기 아이템의 외부 윤곽을 나타내는 버텍스에 대해 높은 레벨이 할당되고, 상기 아이템의 내부 윤곽에 위치한 버텍스에 대해 중간 레벨이 각각 할당되고, 상기 아이템의 그 외의 위치에 위치한 버텍스는 낮은 레벨이 할당되도록 하는 실감형 패션 메타버스 서비스 제공 장치.According to claim 5,
The importance of the vertex is
Vertices representing the outer contour of the item are assigned high levels, vertices located on the inner contour of the item are assigned medium levels, and vertices located elsewhere in the item are assigned low levels. Hyung fashion Metaverse service providing device.
상기 3D 맵은, AI 알고리즘을 기반으로 상기 준비된 파일에 대해 렌더링을 위한 우선 순위를 나타내는 RPI (Rendering Priority Index) 맵인, 실감형 패션 메타버스 서비스 제공 장치.According to claim 5,
The 3D map is an RPI (Rendering Priority Index) map indicating a priority for rendering the prepared file based on an AI algorithm, a realistic fashion metaverse service providing device.
상기 버텍스는 상기 콘텐츠의 이미지 상에 위치 정보 및 텍스쳐 정보를 갖는 점을 표시되는 실감형 패션 메타버스 서비스 제공 장치.According to claim 5,
wherein the vertex displays a point having location information and texture information on the image of the content.
상기 프로세서는
실감형 메타버스 서비스의 콘텐츠를 구성하는 컴포넌트들에 대응하는 파일을 제공하는 단계;
상기 준비된 파일에 대해 렌더링을 위한 우선 순위를 나타내는 3D 맵을 기반으로 생성하는 단계;
여기서 상기 3D 맵은 버텍스의 위치에 따른 상기 버텍스의 중요도를 나타내고,
여기서, 상기 버텍스의 중요도는 에셋이 나타내는 아이템의 경계지점이 상기 아이템의 내부지점보다 높게 생성되고; 및
상기 준비된 파일을 glTF (GL Transmission Format) 파일과 상기 3D (3 dimension)맵 정보를 포함하는 프리 glTF 파일을 제공하는 단계;을 포함하는 단계들을 수행하는 프로그램을 저장하는, 비일시적 컴퓨터 판독 가능 기록 매체.executed by one or more processors;
The processor
Providing files corresponding to components constituting the contents of the realistic metaverse service;
generating based on a 3D map indicating priority for rendering of the prepared file;
Here, the 3D map indicates the importance of the vertex according to the position of the vertex,
Here, the importance of the vertex is that a boundary point of an item represented by an asset is generated higher than an internal point of the item; and
A non-transitory computer-readable recording medium storing a program for performing steps including providing the prepared file as a glTF (GL Transmission Format) file and a free glTF file including the 3D (3 dimension) map information. .
상기 glTF 파일은,
사용자의 얼굴 사진을 기반으로 생성된 3D 얼굴 및 사용자 신체 사이즈 정보를 기반으로 생성된 사용자 체형을 반영한 아바타를 결합하여 생성되는 아바타 파일, 상기 실감형 메타버스 서비스의 콘텐츠를 구성하는 3D공간을 나타내는 3D 공간 파일 및 상기 아바타에 가상 피팅을 하기 위한 의류 아이템을 나타내는 의류 파일을 포함하는, 비일시적 컴퓨터 판독 가능 기록 매체.According to claim 9,
The glTF file,
An avatar file created by combining a 3D face created based on a user's face photo and an avatar reflecting the user's body shape created based on user body size information, 3D representing the 3D space constituting the contents of the realistic metaverse service A non-transitory computer-readable recording medium comprising a spatial file and a clothing file representing an item of clothing for virtual fitting to the avatar.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20210164560 | 2021-11-25 | ||
KR20210164561 | 2021-11-25 | ||
KR1020210164561 | 2021-11-25 | ||
KR1020210164560 | 2021-11-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230077646A true KR20230077646A (en) | 2023-06-01 |
Family
ID=86539843
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220146055A KR20230077647A (en) | 2021-11-25 | 2022-11-04 | Method of providing a realistic fashion metaverse service, apparatus thereof, and computationally non-transitory readable medium for storing a program thereof |
KR1020220146054A KR20230077646A (en) | 2021-11-25 | 2022-11-04 | Method of providing a realistic fashion metaverse service, apparatus thereof, and computationally non-transitory readable medium for storing a program thereof |
KR1020220146053A KR20230077645A (en) | 2021-11-25 | 2022-11-04 | Method of providing a realistic fashion metaverse service, apparatus thereof, and computationally non-transitory readable medium for storing a program thereof |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220146055A KR20230077647A (en) | 2021-11-25 | 2022-11-04 | Method of providing a realistic fashion metaverse service, apparatus thereof, and computationally non-transitory readable medium for storing a program thereof |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220146053A KR20230077645A (en) | 2021-11-25 | 2022-11-04 | Method of providing a realistic fashion metaverse service, apparatus thereof, and computationally non-transitory readable medium for storing a program thereof |
Country Status (2)
Country | Link |
---|---|
KR (3) | KR20230077647A (en) |
WO (1) | WO2023096208A1 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150079585A (en) * | 2012-09-05 | 2015-07-08 | 바디 패스 리미티드 | System and method for deriving accurate body size measures from a sequence of 2d images |
KR20160032935A (en) * | 2014-09-17 | 2016-03-25 | 삼성전자주식회사 | Method and apparatus for processing rendering data and recording medium thereof |
KR102132721B1 (en) * | 2019-01-03 | 2020-07-10 | (주) 아이딕션 | Method, server and program of acquiring image for measuring a body size and a method for measuring a body size using the same |
KR20210054664A (en) * | 2019-11-06 | 2021-05-14 | 김보민 | Virtual fitting method and system for clothes using mobile terminal |
KR102328072B1 (en) * | 2020-11-27 | 2021-11-18 | 에이아이바 주식회사 | Server for providing virtual fitting service and method using the same |
-
2022
- 2022-11-04 KR KR1020220146055A patent/KR20230077647A/en unknown
- 2022-11-04 KR KR1020220146054A patent/KR20230077646A/en unknown
- 2022-11-04 WO PCT/KR2022/017236 patent/WO2023096208A1/en unknown
- 2022-11-04 KR KR1020220146053A patent/KR20230077645A/en unknown
Also Published As
Publication number | Publication date |
---|---|
KR20230077647A (en) | 2023-06-01 |
KR20230077645A (en) | 2023-06-01 |
WO2023096208A1 (en) | 2023-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11010896B2 (en) | Methods and systems for generating 3D datasets to train deep learning networks for measurements estimation | |
US10679046B1 (en) | Machine learning systems and methods of estimating body shape from images | |
US10777021B2 (en) | Virtual representation creation of user for fit and style of apparel and accessories | |
EP3370208B1 (en) | Virtual reality-based apparatus and method to generate a three dimensional (3d) human face model using image and depth data | |
KR102346320B1 (en) | Fast 3d model fitting and anthropometrics | |
EP2852935B1 (en) | Systems and methods for generating a 3-d model of a user for a virtual try-on product | |
US9984409B2 (en) | Systems and methods for generating virtual contexts | |
KR102130709B1 (en) | Method for providing digitial fashion based custom clothing making service using product preview | |
US11836862B2 (en) | External mesh with vertex attributes | |
CN113129450B (en) | Virtual fitting method, device, electronic equipment and medium | |
CN107452049B (en) | Three-dimensional head modeling method and device | |
US20130170715A1 (en) | Garment modeling simulation system and process | |
US11663792B2 (en) | Body fitted accessory with physics simulation | |
US11908083B2 (en) | Deforming custom mesh based on body mesh | |
US20240013463A1 (en) | Applying animated 3d avatar in ar experiences | |
KR20230077646A (en) | Method of providing a realistic fashion metaverse service, apparatus thereof, and computationally non-transitory readable medium for storing a program thereof | |
US20220270337A1 (en) | Three-dimensional (3d) human modeling under specific body-fitting of clothes | |
KR20240117835A (en) | Method for generating embroidery image, apparatus thereof, and computationally non-transitory readable medium for storing a program thereof | |
WO2019044333A1 (en) | Simulation device, simulation method, and computer program | |
Chen et al. | Two‐dimensional virtual try‐on algorithm and application research for personalized dressing | |
RU2805003C2 (en) | Method and system for remote clothing selection | |
Yan et al. | Animation of Refitted 3D Garment Models for Reshaped Bodies | |
WO2024010800A1 (en) | Applying animated 3d avatar in ar experiences | |
CN116977417A (en) | Pose estimation method and device, electronic equipment and storage medium |