KR20220170737A - Method, apparatus and system for providing virtual space 3d contents packaging and streaming service based on web - Google Patents
Method, apparatus and system for providing virtual space 3d contents packaging and streaming service based on web Download PDFInfo
- Publication number
- KR20220170737A KR20220170737A KR1020220027730A KR20220027730A KR20220170737A KR 20220170737 A KR20220170737 A KR 20220170737A KR 1020220027730 A KR1020220027730 A KR 1020220027730A KR 20220027730 A KR20220027730 A KR 20220027730A KR 20220170737 A KR20220170737 A KR 20220170737A
- Authority
- KR
- South Korea
- Prior art keywords
- content
- virtual space
- web
- data
- packaging
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 105
- 238000004806 packaging method and process Methods 0.000 title claims abstract description 54
- 230000006870 function Effects 0.000 claims description 113
- 238000000605 extraction Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 4
- 238000013075 data extraction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 40
- 238000010586 diagram Methods 0.000 description 27
- 238000005516 engineering process Methods 0.000 description 25
- 238000007726 management method Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 22
- 230000000694 effects Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 16
- 239000003550 marker Substances 0.000 description 16
- 230000011664 signaling Effects 0.000 description 16
- 238000009877 rendering Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 11
- 230000004913 activation Effects 0.000 description 10
- 230000009471 action Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 9
- 238000009826 distribution Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 7
- 238000012536 packaging technology Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 6
- 230000008676 import Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000005315 distribution function Methods 0.000 description 4
- 238000007654 immersion Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000009849 deactivation Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000006798 recombination Effects 0.000 description 3
- 238000005215 recombination Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012858 packaging process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000415 inactivating effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000036448 vitalisation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/4401—Bootstrapping
- G06F9/4411—Configuring for operating with peripheral devices; Loading of device drivers
- G06F9/4413—Plug-and-play [PnP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
- H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23605—Creation or processing of packetized elementary streams [PES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/27—Server based end-user applications
- H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
- H04N21/4431—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB characterized by the use of Application Program Interface [API] libraries
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Processing Or Creating Images (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
Abstract
Description
본 발명은 웹 기반 가상 공간 3D 컨텐츠 패키징 및 스트리밍 서비스를 제공하는 방법에 관한 것으로, 보다 상세하게는 웹을 기반으로 하여 가상 공간을 구축하기 위한 3D 데이터 패키징(PACKAGING) 서비스 및 그 결과물을 배포(publishing)하기 위한 스트리밍 서비스를 제공하는 방법 및 이를 위한 장치와 시스템에 관한 것이다.The present invention relates to a method for providing a web-based
HMD(Head-mounted Display), 이동 단말, 360도 카메라 등이 개발되고 보급됨에 따라, 가상현실(Virtual reality), 증강현실(Augmented reality) 또는 혼합현실(Mixed reality) 환경 또한 점점 시장의 주목을 받기 시작 하였으며, 근래에 이르러서는 각 이용 주체가 또 다른 자아 정체성을 가지고 사회, 경제, 교육, 문화, 과학 기술 등의 활동까지 수행할 수 있는 메타버스(Metaverse) 환경이 각광받기 시작하며 그 주목을 이어가고 있다. As head-mounted displays (HMDs), mobile terminals, 360-degree cameras, etc. are developed and spread, virtual reality, augmented reality, or mixed reality environments are also increasingly attracting market attention. In recent years, the metaverse environment in which each user can carry out activities such as society, economy, education, culture, science and technology with another self-identity has begun to attract attention, and continues to draw attention. there is.
그런데 메타버스를 포함하는 위와 같은 환경들은, 때로는 경우에 따라 경계가 모호할 수 있지만 결국 본질은 현실세계와는 구분된 일종의 가상세계라고 볼 수 있다. 따라서, 이러한 환경을 이용하는 이용자들에게 현실과 같은 수준 높은 사실감(또는 현실감)을 느끼도록 해주는 것이 필요하며, 나아가 이것이 수반되어야만 더 많은 주목과 함께 더 크게 발전될 수 있을 것임은 자명하다. However, the above environments including the metaverse may sometimes have ambiguous boundaries depending on the case, but in the end, the essence can be seen as a kind of virtual world separated from the real world. Therefore, it is necessary to make users who use this environment feel a high level of realism (or a sense of reality) like reality, and it is obvious that this will be accompanied by more attention and greater development.
이에, 이를 돕기 위한 수단으로서 기존에 다양한 전용 하드웨어(예컨대, VR, AR 디바이스)들이 출시되기도 하였으나, 대부분 가격이 과도하게 비싸거나 혹은 사용 내지 접근이 어렵다는 한계가 있어, 관련 시장의 일부 매니아들을 제외하고는 이용자들에게 외면 받게 되었다. 사정이 이렇다 보니, 메타버스 환경(예컨대, 로블록스, 제페토 등)은 점차 이들을 배제한 채, 주변에서 쉽게 찾을 수 있고 상대적으로 저렴한 스마트폰, PC, 태블릿 등만을 이용하여 우회적으로 제공되기 시작하였고, 그로 인해 메타버스를 포함하는 위와 같은 가상세계 및 관련 환경들의 건강한 발전 또한 정체되고 있는 실정이다.Therefore, as a means to help this, various dedicated hardware (eg VR, AR devices) have been released in the past, but most of them are excessively expensive or have limitations in that they are difficult to use or access, excluding some enthusiasts in the related market. has been neglected by users. Because of this, the metaverse environment (e.g., Roblox, Zepeto, etc.) began to be provided in an indirect way, using only smartphones, PCs, tablets, etc. that can be easily found around and are relatively inexpensive, excluding them gradually. As a result, the healthy development of the above virtual world and related environments, including the metaverse, is also stagnant.
더 나아가, 사용자들에게 제공되는 메타버스 환경이 그들의 몰입도를 높여줄 수 있는 전용 하드웨어들은 배제된 채, 위와 같이 주변에서 쉽게 찾을 수 있는 스마트폰, PC, 태블릿을 통해서만 제공된다면, 이는 디스플레이를 통해 간접적인 체험만 가능한 간접 가상세계에 불과하다고 표현할 수 있을 것이며, 더 나아가 1인칭의 관점으로 직접적인 사실감을 느낄 수 있는 직접 가상세계와는 온전히 구별된다고 볼 것이다.Furthermore, if the metaverse environment provided to users is provided only through smartphones, PCs, and tablets that can be easily found around them as above, excluding dedicated hardware that can increase their immersion, it will be through the display. It can be described as nothing more than an indirect virtual world where only indirect experience is possible, and furthermore, it will be seen as completely distinct from the direct virtual world where you can feel direct realism from a first-person perspective.
따라서, 직접적으로 사실감을 느낄 수 있는 직접 가상세계를 경험하기 위한 메타버스 환경이 사용자들에게 제공되기 위해서는, 사용자들을 가상세계에 깊이 몰입 시키기 위한 몰입형 가상현실 기술이 뒷받침 되어야 한다고 볼 수 있다.Therefore, in order to provide users with a metaverse environment for directly experiencing a virtual world that can directly feel realism, it can be seen that immersive virtual reality technology must be supported to immerse users deeply in the virtual world.
그렇다면 다시 원점으로 돌아가, 몰입도를 높이기 위한 전용 하드웨어를 이용할 수 밖에 없다 라고 볼 수도 있겠지만, 다른 관점에서 생각해보면 사용자에게 제공되는 컨텐츠를 개선시키는 방법도 고려해볼 수 있을 것이며, 구체적으로는 보다 사실감 있는 몰입형 가상현실 컨텐츠를 제공할 수 있다면 이를 통해서도 사용자들의 몰입도는 충분히 향상될 수 있을 것이다.If so, it may be seen that there is no choice but to go back to the starting point and use dedicated hardware to increase immersion. If immersive virtual reality contents can be provided, users' immersion will be sufficiently improved through this.
이에, 스마트폰, PC, 태블릿, HMD 등 기존 하드웨어에서도 쉽게 사용할 수 있되, 더 높은 사실감을 주는 몰입형 가상현실 컨텐츠를 제작할 수 있는 기술이 요구된다고 볼 수 있으며, 더 나아가서는 제작된 위 컨텐츠를 다양한 산업영역의 니즈에 상응할 수 있는 단위 기술과 결합시켜 배포하는 기술 또한 해당 산업의 건강한 발전과 활성화를 위해 요구된다고 볼 수 있다.Therefore, it can be easily used on existing hardware such as smartphones, PCs, tablets, HMDs, etc., but it can be seen that technology that can produce immersive virtual reality contents that give a higher sense of reality is required. It can be seen that the technology that is distributed in combination with the unit technology that can correspond to the needs of the industry is also required for the healthy development and vitalization of the industry.
이러한 현실적 요구가 반영되어, 가상 공간을 구축하고 관련 컨텐츠에 더 나은 실감 효과를 부여하기 위한 저작 소프트웨어가 개발되었던 사실도 있다. 구체적으로, VR 기술과 360도 촬영이미지를 이용하여 가상 공간을 구축하기 위한 에디팅 툴과, 3D 비디오 게임, 3D 애니메이션, 3D 건축 시각화 등에 실감 효과를 부여하기 위한 유니티(Unity), 언리얼(Unreal) 등의 저작 소프트웨어 등이 그 예시라고 볼 수 있다.There is also a fact that authoring software has been developed to build a virtual space and give a better sensory effect to related contents by reflecting these realistic demands. Specifically, editing tools for constructing virtual spaces using VR technology and 360-degree photographed images, Unity, Unreal, etc. Authoring software, etc. can be seen as an example.
그러나, 위와 같은 종래의 방식, 즉, 360도 이미지를 이용하는 가상 공간 구축 방식은, 촬영을 위한 실제 공간이 필요하기 때문에 공간 상의 제약이 있으며, 더 나아가서는 그로 인해 구현될 수 있는 공간 또한 제한적일 수 밖에 없다는 한계가 있다. 또한, 이를 극복하기 위해 360도 이미지를 모두 컴퓨터 그래픽으로 제작한다고 하더라도 뷰포인트 만큼 이미지를 제작해야 하기 때문에 부하가 상당해질뿐더러, 한번 이미지를 제작한 이후에는 세부적인 수정이 어려운 문제점이 있다. 아울러, 종래의 저작 소프트웨어들은 로컬 PC에서 가상현실 컨텐츠를 제작하고 이를 웹으로 업로드 하는 방식을 이용하기 때문에, 필연적으로 과도한 네트워크 트래픽이 요구된다는 고질적인 문제점이 있었다.However, the above conventional method, that is, the virtual space construction method using 360-degree images, has space limitations because it requires a real space for shooting, and furthermore, the space that can be implemented due to it is also limited. There is a limit to no In addition, even if all 360-degree images are produced with computer graphics to overcome this problem, the load is significant because the image must be produced as much as the viewpoint, and it is difficult to make detailed modifications once the image is produced. In addition, since conventional authoring software uses a method of producing virtual reality content on a local PC and uploading it to the web, there is a chronic problem that excessive network traffic is inevitably required.
따라서, 위와 같은 문제들을 해결하기 위한 방법이 요구되고 있는 실정이며, 이에 본 발명에서는 웹을 기반으로 하여 가상 공간을 구축하기 위한 3D 데이터 패키징 서비스를 제공하는 방법 및 그 결과물을 배포하기 위한 스트리밍 서비스를 제공하는 방법을 제안한다.Therefore, a method for solving the above problems is required, and in the present invention, a method for providing a 3D data packaging service for building a virtual space based on the web and a streaming service for distributing the result Suggest how to provide
상기한 종래 문제점을 해소하기 위하여, 본 발명의 일과제는 웹 기반 가상 공간 3D 컨텐츠의 패키징 및 그 결과물의 배포를 위한 스트리밍 기술을 제공하는 것이다.In order to solve the above conventional problems, one task of the present invention is to provide a streaming technology for packaging of web-based
본 발명의 다른 일 과제는, 스마트폰, PC, 태블릿, HMD 등 기존 하드웨어에서도 쉽게 사용할 수 있되, 더 높은 사실감을 주는 몰입형 가상 공간 컨텐츠를 제작할 수 있는 가상 공간 3D 컨텐츠의 패키징 및 스트리밍 기술을 제공하는 것이다.Another task of the present invention is to provide a packaging and streaming technology for
본 발명의 또 다른 일 과제는, 3D 가상 공간 컨텐츠를 다양한 산업영역의 니즈에 상응할 수 있는 단위 기술과 결합시켜 배포할 수 있도록 하기 위해 모듈 단위로 기능을 제공하는 웹 기반 가상 공간 3D 컨텐츠의 패키징 및 스트리밍 기술을 제공하는 것이다.Another task of the present invention is packaging of web-based
본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the above technical problems, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below.
상술한 문제점을 해결하기 위한 본 발명의 일실시예에 따른 서버가 웹을 기반으로 하여 가상 공간 3D 컨텐츠 패키징 및 스트리밍 서비스를 제공하는 방법은, 3D 툴을 통하여 제작된 3D 컨텐츠 데이터가 제1 단말에 설치된 플러그-인을 통하여 상기 서버로 임포트(import) 되는 단계, 상기 임포트 된 3D 컨텐츠 데이터를 가상 공간을 위한 3D 컨텐츠로 패키징하는 단계 및 상기 패키징 된 가상 공간 3D 컨텐츠를 웹을 기반으로 하여 스트리밍 방식으로 배포(publishing)하는 단계를 포함하여 이루어질 수 있다.A method for providing
본 발명의 일실시예에 따른 서버가 웹을 기반으로 하여 가상 공간 3D 컨텐츠 패키징 및 스트리밍 서비스를 제공하는 방법은, 제2 단말의 플레이어 실행 요청에 따라 3D 컨텐츠의 재생을 위한 플레이어를 제공하는 단계 및 상기 제공된 플레이어를 통하여 상기 배포된 가상 공간 3D 컨텐츠를 상기 제2 단말에게 제공하는 단계를 더 포함할 수 있다.A method for a server to provide a
본 발명의 일실시예에 따른 서버가 웹을 기반으로 하여 가상 공간 3D 컨텐츠 패키징 및 스트리밍 서비스를 제공하는 방법에 있어서, 상기 플러그-인은, 상기 3D 툴을 통해 제작된 3D 컨텐츠 데이터에 대하여, 실시간 3D 모델링 데이터 자동 추출 기능, 메타 데이터 추출 기능, 라이트맵 추출 기능, 리소스 경량화 기능, 3D 모델 최적화 기능, 배포(publishing)를 위한 실시간 360도 이미지 재조합 기능 중 적어도 하나 이상을 개별적인 모듈 단위로 하여 제공할 수 있다.In the method for a server to provide a
본 발명의 일실시예에 따른 웹을 기반으로 하여 가상 공간 3D 컨텐츠 패키징 및 스트리밍 서비스를 제공하는 장치는, 메모리 및 프로세서를 포함하되, 상기 프로세서는, 3D 툴을 통하여 제작된 3D 컨텐츠 데이터가 제1 단말에 설치된 플러그-인을 통하여 상기 서버로 임포트(import) 되도록 하고, 상기 임포트 된 3D 컨텐츠 데이터를 가상 공간을 위한 3D 컨텐츠로 패키징 하며, 상기 패키징 된 가상 공간 3D 컨텐츠를 웹을 기반으로 하여 스트리밍 방식으로 배포(publishing)하도록 제어할 수 있다.An apparatus for providing
상기와 같은 본 발명에 따르면 아래에 기재된 효과를 얻을 수 있다. 다만, 본 발명을 통해 얻을 수 있는 효과는 이에 제한되지 않는다.According to the present invention as described above, the effects described below can be obtained. However, effects obtainable through the present invention are not limited thereto.
첫째, 가상 공간 구축을 위한 3D 데이터의 패키징 기술을 제공할 수 있는 효과가 있다.First, there is an effect of providing a 3D data packaging technology for building a virtual space.
둘째, 가상 공간 서비스를 제공하기 위한 3D 컨텐츠를 실시간 스트리밍 서비스(streaming service)로 제공할 수 있는 효과가 있다.Second, there is an effect of providing 3D content for providing a virtual space service as a real-time streaming service.
셋째, 스마트폰, PC, 태블릿, HMD 등 기존 하드웨어에서도 쉽게 사용할 수 있되, 더 높은 사실감을 주는 몰입형 가상 공간 컨텐츠를 제작할 수 있는 가상 공간 3D 컨텐츠의 패키징 및 스트리밍 기술을 제공할 수 있는 효과가 있다.Third, it can be easily used in existing hardware such as smartphones, PCs, tablets, HMDs, etc., but has the effect of providing packaging and streaming technology for
넷째, 3D 가상 공간 컨텐츠를 다양한 산업영역의 니즈에 상응할 수 있는 단위 기술과 결합시켜 배포할 수 있도록 하기 위해 모듈 단위로 기능을 제공하는 웹 기반 가상 공간 3D 컨텐츠의 패키징 및 스트리밍 기술을 제공할 수 있는 효과가 있다.Fourth, packaging and streaming technology for web-based
도 1은 본 발명의 일실시예에 따른 웹을 기반으로 가상 공간을 구축하기 위한 3D 데이터 패키징 및 스트리밍 서비스 처리 시스템을 설명하기 위해 도시한 개략도이다.
도 2는 본 발명의 일실시예에 따른 실시간 3D 모델링 데이터 자동 추출 기능을 설명하기 위한 도면이다.
도 3은 본 발명과 종래 기술의 위신호 제거 효과의 차이를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따라 빛 조사가 포함된 실시간 360도 이미지를 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따라 실시간 360도 이미지를 서로 다른 해상도를 나타내는 3개의 단계로 구분하되 이들을 타일링하여 저장하는 방식을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따라 정점 감소를 위한 파일 포맷 컨버팅 단계를 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따라 정점 그룹화 단계를 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따라 실시간 360도 이미지를 재조합 하기 위한 큐브릭 렌더링 방식을 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따른 실시간 360도 이미지와 종래 기술인 360도 이미지의 로딩 시간 및 데이터 소모량을 비교한 도면이다.
도 10은 본 발명의 일실시예에 따른 실시간 360도 이미지와 3D 정보의 매칭을 설명하기 위한 도면이다.
도 11은 본 발명의 일실시예에 따른 마우스 포인터를 이용한 공간 이동 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 일실시예에 따른 웹 기반 가상 공간 구축을 위한 3D 컨텐츠 패키징 서비스를 위한 서버의 구성 블록도이다.
도 13은 본 발명의 일실시예에 따른 프로세서의 상세 구성 블록도이다.
도 14 내지 도 15는 본 발명의 일실시예에 따른 웹 기반 가상 공간 구축을 위한 3D 컨텐츠 패키징 처리 과정을 설명하기 위해 도시한 순서도이다.
도 16는 본 발명의 일실시예에 따른 3D 가상 공간 컨텐츠 스트리밍 서비스를 위한 서버의 구성 블록도이다.
도 17은 본 발명의 일실시예에 따른 3D 가상 공간 컨텐츠 파일 처리 과정을 설명하기 위해 도시한 순서도이다.
도 18은 본 발명의 일실시예에 따른 프레임워크의 전체 아키텍쳐를 도시한 도면이다.
도 19 내지 30은 본 발명의 일실시예에 따라 각 시나리오에 따른 빅데이터 스트리밍 처리 과정을 설명하기 위해 도시한 도면이다.
도 31 내지 33은 본 발명의 일실시예에 따른 웹 기반 가상 공간 3D 컨텐츠 패키징 및 스트리밍 서비스를 제공하기 위한 사용자 인터페이스를 도시한 도면이다.
도 34는 본 발명의 일실시예에 따른 3D 컨텐츠 데이터 처리 과정을 설명하기 위해 도시한 순서도이다.
도 35는 본 발명의 일실시예에 따른 서버의 구성 블록도를 설명하기 위한 도면이다.1 is a schematic diagram illustrating a 3D data packaging and streaming service processing system for constructing a virtual space based on the web according to an embodiment of the present invention.
2 is a diagram for explaining a function of automatically extracting real-
3 is a diagram for explaining the difference between the false signal removal effect of the present invention and the prior art.
4 is a diagram for explaining a real-time 360-degree image including light irradiation according to an embodiment of the present invention.
FIG. 5 is a diagram for explaining a method of dividing a real-time 360-degree image into three steps representing different resolutions and tiling and storing them according to an embodiment of the present invention.
6 is a diagram for explaining a file format converting step for vertex reduction according to an embodiment of the present invention.
7 is a diagram for explaining a vertex grouping step according to an embodiment of the present invention.
8 is a diagram for explaining a cubic rendering method for recombining a 360-degree image in real time according to an embodiment of the present invention.
9 is a diagram comparing loading time and data consumption of a real-time 360-degree image according to an embodiment of the present invention and a conventional 360-degree image.
10 is a diagram for explaining matching between a real-time 360-degree image and 3D information according to an embodiment of the present invention.
11 is a diagram for explaining a space movement method using a mouse pointer according to an embodiment of the present invention.
12 is a block diagram of a server for a 3D content packaging service for building a web-based virtual space according to an embodiment of the present invention.
13 is a detailed configuration block diagram of a processor according to an embodiment of the present invention.
14 to 15 are flowcharts illustrating a process of packaging 3D content for constructing a web-based virtual space according to an embodiment of the present invention.
16 is a block diagram of a server for a 3D virtual space content streaming service according to an embodiment of the present invention.
17 is a flowchart illustrating a process of processing a 3D virtual space content file according to an embodiment of the present invention.
18 is a diagram showing the overall architecture of a framework according to an embodiment of the present invention.
19 to 30 are diagrams for explaining a big data streaming process according to each scenario according to an embodiment of the present invention.
31 to 33 are diagrams illustrating a user interface for providing a web-based
34 is a flowchart illustrating a process of processing 3D content data according to an embodiment of the present invention.
35 is a diagram for explaining a configuration block diagram of a server according to an embodiment of the present invention.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings. The detailed description set forth below in conjunction with the accompanying drawings is intended to describe exemplary embodiments of the present invention and is not intended to represent the only embodiments in which the present invention may be practiced.
단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전히 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Only these embodiments are provided to complete the disclosure of the present invention and to fully inform those skilled in the art of the scope of the invention to which the present invention belongs, and the present invention will be defined by the scope of the claims. only
몇몇의 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다. 또한, 본 명세서 전체에서 동일한 구성요소에 대해서는 동일한 도면 부호를 사용하여 설명한다.In some cases, in order to avoid obscuring the concept of the present invention, well-known structures and devices may be omitted or may be shown in block diagram form centering on core functions of each structure and device. In addition, the same reference numerals are used to describe like components throughout this specification.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part is said to "comprising" or "including" a certain element, it means that it may further include other elements, not excluding other elements, unless otherwise stated. do.
또한, 명세서에 기재된 "??부"의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 나아가, "일(a 또는 an)", "하나(one)", 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.In addition, the term "?? unit" described in the specification means a unit that processes at least one function or operation, which may be implemented by hardware, software, or a combination of hardware and software. Further, "a or an", "one", and similar related terms, in the context of describing the present invention, are both singular and plural unless otherwise indicated herein or clearly contradicted by context. It can be used in a meaning including.
아울러, 본 발명의 실시예들에서 사용되는 특정(特定) 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.In addition, specific terms used in the embodiments of the present invention are provided to aid understanding of the present invention, and unless otherwise defined, all terms used herein, including technical or scientific terms, are intended to support the present invention. It has the same meaning as commonly understood by a person of ordinary skill in the art to which it pertains. The use of these specific terms may be changed in other forms without departing from the spirit of the present invention.
이하에서는, 본 발명에 따른 웹 기반 가상 공간 3D 데이터 패키징 서비스 제공 및 그 결과물인 3D 컨텐츠를 배포(publishing)하기 위한 스트리밍 방법, 장치 및 시스템에 관련된 다양한 실시예를 제공한다. Hereinafter, various embodiments related to a streaming method, apparatus, and system for providing a web-based
특히 본 명세서에서는 플러그인(plug-in) 을 통하여 웹(web)에서 3D 데이터를 패키징(packaging)하되, 이를 사용자 단말에 스트리밍으로 배포(publishing)할 수 있도록 하는 서버(server)를 개시하고, 이를 포함한 3D 데이터 패키징 및 스트리밍 서비스 시스템을 제공한다. 이 때, 상기 서버는 본 발명을 위한 다양한 프로그램이나 소프트웨어 및 하드웨어를 포함할 수 있다. In particular, the present specification discloses a server that packages 3D data on the web through a plug-in and distributes it to a user terminal by streaming, including this It provides a 3D data packaging and streaming service system. At this time, the server may include various programs or software and hardware for the present invention.
이하 본 명세서에서 "컨텐츠"라 함은, 현존하거나 앞으로 개발될 모든 형태의 컨텐츠를 포함하는 것이며, 편의상 3D(3Dimensional) 컨텐츠를 예로 하여 설명하나, 반드시 이에 한정되는 것은 아니다. 또한, 이러한 3D 컨텐츠는 가상현실(VR, Virtual Reality), 가상현실(AR, Augmented Reality), 혼합현실(MR, Mixed Reality), 메타버스(Metaverse) 환경에 따른 가상 공간 그 자체 혹은 이를 위한 컨텐츠를 포함할 수 있다.Hereinafter, "content" in this specification includes all types of content that exist or will be developed in the future, and for convenience, 3D (3Dimensional) content is described as an example, but is not necessarily limited thereto. In addition, these 3D contents are virtual reality (VR, Augmented Reality), MR (Mixed Reality), and the virtual space itself or contents for it according to the metaverse environment. can include
한편, 본 명세서에서 사용하는 용어 중 특별히 설명하지 않은 용어와 해당 용어와 관련된 기술은, 공지기술에 따라 해석하거나 공지기술을 참조할 수 있으며, 필요한 내용만을 기술함을 미리 밝혀둔다.Meanwhile, among the terms used in this specification, terms not specifically explained and technologies related to the terms may be interpreted according to known technologies or referred to known technologies, and it is made clear in advance that only necessary contents are described.
그 밖에, 본 발명은, 필요에 따라 인공지능(AI, Artificial Intelligence) 기술이나 블록체인(blockchain) 네트워크 기반 등 ICT(Information and Communication Technology) 기술과 접목될 수도 있으며, 관련 기술분야에서 통상의 지식을 가진 자가 위 기술과 접목한 경우 그 접목된 기술은 본 발명의 기술적 범위에 속한다.In addition, the present invention may be combined with ICT (Information and Communication Technology) technology such as AI (Artificial Intelligence) technology or blockchain network-based, if necessary, and conventional knowledge in the related technology field If the owner has grafted the above technology, the grafted technology belongs to the technical scope of the present invention.
첨부된 도면을 참조하여, 본 발명에 따른 웹 기반 가상 공간 3D 데이터 패키징 및 스트리밍 서비스 제공 방법에 대해 설명하면, 다음과 같다.Referring to the accompanying drawings, a web-based
도 1은 본 발명의 일실시예에 따른 웹을 기반으로 가상 공간을 구축하기 위한 3D 데이터 패키징 및 스트리밍 서비스 제공 시스템(1)을 설명하기 위해 도시한 개략도이다.1 is a schematic diagram illustrating a
도 1을 참조하면, 웹 기반 가상 공간 3D 컨텐츠 패키징 및 스트리밍 서비스 제공 시스템(1)이 도시되어 있으며, 상기 시스템(1)은 사용자 단말1(110), 사용자 단말2(120) 및 서버(130)를 포함하여 구현될 수 있다. 다만, 상기 시스템(1)의 구성은 반드시 이에 한정되는 것은 아니며, 실시예에 따라 하나 또는 그 이상의 다른 구성요소가 더 포함되어 상기 시스템(1)이 구현될 수도 있다. 또한, 설명의 편의상 단말은 2개만 도시하였으나, 이에 한정되지 않는다.Referring to FIG. 1, a web-based
사용자 단말1(110)은 3D 툴을 이용하여 직접 3D 컨텐츠를 제작하되, 상기 제작된 3D 컨텐츠 데이터를 보유(또는 저장)하고 있는 단말을 나타낼 수 있다. 실시예에 따라, 사용자 단말1(110)은 상기 3D 컨텐츠를 직접 제작하진 않았으나, 기 제작된 3D 컨텐츠 데이터를 현재 보유하거나 보유한 매체와 연결되어 상기 기 제작된 3D 컨텐츠 데이터를 전달받는 것이 가능한 디바이스를 나타낼 수 있다.
본 명세서에서 기술되는 "3D 툴"은, 게임 엔진(game engine, 예컨대, 언리얼 엔진(Unreal engine) 등)과 오토데스크(Autodesk), 3DS Max, 유니티(Unity), 스케치업과 같은 모델링 프로그램(modeling program) 등을 포함할 수 있다.The "3D tool" described herein is a game engine (eg, Unreal engine, etc.) and a modeling program such as Autodesk, 3DS Max, Unity, and SketchUp. ) and the like.
본 발명에 따른 웹 기반 가상 공간 3D 데이터 패키징 서비스를 위해, 사용자 단말1(110)은 본 발명의 시스템(1) 또는 서버(130)에 의해 제공되는 플러그-인(Plug-in)을 다운로드 받아 설치할 수 있다.For the web-based
여기에서, 플러그-인 이라 함은, 특정 프로그램의 기능을 보강하기 위해 추가된 프로그램 등을 말하는데, 본 명세서에서 기술되는 "플러그인"은, 다양한 3D 툴로 만들어진 적어도 하나 이상의 3D 데이터를 웹(web)으로 임포트(import)되도록 하되, 이를 3D 컨텐츠 데이터로 컨버팅(converting)하기 위한 다양한 전처리 작업 등의 기능을 수행하는 객체를 말한다. 본 발명의 경우, 단말에서 이용하는 3D 툴 및 OS 등의 종류에 따라 그에 상응하는 타입이나 버전의 플러그-인을 제공할 수 있으며, 이를 통해 상기 서버(130)는 다양한 타입이나 버전의 플러그인을 제공할 수 있고, 상기 단말이 이들 중 하나 이상을 다운로드 받아 설치하도록 할 수 있다. 물론, 하나의 플러그-인만을 제공하고, 이 하나의 플러그-인이 단말에서 이용하는 모든 종류의 3D 툴 및 OS 등에 상응하는 플러그-인이 되도록 할 수도 있다.Here, the term plug-in refers to a program added to reinforce the function of a specific program. The “plug-in” described in this specification converts at least one or more 3D data made with various 3D tools to the web. It refers to an object that performs functions such as various pre-processing tasks to be imported and converted into 3D content data. In the case of the present invention, a plug-in of a corresponding type or version may be provided according to the type of 3D tool and OS used in the terminal, and through this, the
만약 상기 사용자 단말1(110)이 3D 데이터 제작 단말이라면, 상기 사용자 단말2(120)는 3D 컨텐츠 데이터가 서버(130)를 통해 스트리밍 방식 등에 의해 배포될 경우, 이를 시청하며 인터렉션 등에 참여할 수 있는 사용자 소유의 단말을 나타낼 수 있다.If the user terminal 1 (110) is a 3D data production terminal, the user terminal 2 (120) is a user who can watch and participate in interactions when 3D content data is distributed through a streaming method through the
즉, 본 명세서에서는 본 발명의 이해를 돕고 설명의 편의를 위해, 상기 사용자 단말1(110)과 사용자 단말2(120)를 3D 데이터 제작 단말과 3D 컨텐츠 시청 단말로 구분하여 설명하였으나, 반드시 이에 한정되는 것은 아니며 서로 그 역할이 변경될 수 있다. 또한, 도 1에 도시된 것과는 달리, 사용자 단말1(3D 데이터 제작 단말)과 사용자 단말2(3D 컨텐츠 시청 단말)는 각각 복수 개일 수 있으며, 본 발명의 시스템(1)은 그들의 동시 접속 내지 이용이 있는 경우 원활한 서비스가 제공될 수 있도록 다양한 지원을 할 수 있다.That is, in this specification, the user terminal 1 (110) and the user terminal 2 (120) are divided into a 3D data production terminal and a 3D content viewing terminal for convenience of explanation and understanding of the present invention, but are necessarily limited to this. It is not, and their roles may change each other. 1, there may be a plurality of user terminals 1 (3D data production terminal) and 2 user terminals (3D content viewing terminal), respectively, and the
사용자 단말1(110)과 사용자 단말2(120)는 각각, PC, TV 등과 같은 고정 단말이거나 스마트폰, 노트북, 태블릿, HMD 등과 같은 이동 단말의 형태일 수 있다.
실시예에 따라, 사용자 단말1(110)과 사용자 단말2(120)는 각각, 본 발명에 따른 웹 기반 가상 공간 3D 컨텐츠 패키징 및 스트리밍 서비스 제공 시스템(1) 또는 상기 서비스를 위한 전용(dedicated) 단말 장치 형태일 수도 있다. According to the embodiment, the
다른 실시예에 따라, 사용자 단말1(110)과 사용자 단말2(120)는 각각, 웨어러블 디바이스(wearable device)나 타 단말과 연동되어 작동하는 장치일 수도 있다. 다만, 본 발명에 따른 사용자 단말1(110)과 사용자 단말2(120)는 반드시 전술한 예시에 한정되는 것은 아니며, 상기 시스템(1) 또는 서비스 이용에 필요한 소프트웨어와 하드웨어를 포함한 장치이면 충분하다.According to another embodiment, the
한편, 복수의 사용자 단말1(110)과 사용자 단말2(120)가 모두 동일한 형태나 동일한 성능을 가질 필요는 없다. 또한, 복수의 사용자 단말1(110) 모두가 동일한 3D 툴을 이용하여 동일한 타입의 3D 컨텐츠를 제작할 필요도 없으며, 나아가 상기 서버(130)로부터 동일한 플러그인을 다운로드 받아 설치할 필요 또한 없다.Meanwhile, the plurality of
사용자 단말1(110)은 상기 서버(130)에 의해 운영되는 본 발명과 관련된 웹 서비스에 가입 및/또는 로그인 등을 하고, 자신이 3D 툴을 이용하여 제작한 3D 데이터를 사용자 단말2(120) 등에게 배포하기 위한 3D 컨텐츠로의 패키징 또는 편집(edit) 등의 작업을 해당 웹 서비스를 통해 수행한 후 이를 상기 사용자 단말2(120) 등에게 스트리밍 방식 등으로 배포할 수 있다.User terminal 1 (110) subscribes to and/or logs in to a web service related to the present invention operated by the
사용자 단말1(110)에서 3D 툴에 의해 3D 데이터의 제작이 완료되면, 상기 제작된 3D 데이터는 기 설치된 플러그인을 통하여 상기 서버(130)의 클라우드 플랫폼으로 전송될 수 있다. 이때, 상기 전송은 실시간, 미리 정의한 특정 시점, 사용자 단말1(110)의 웹 서비스 로그인 시점 등 설정에 따라 이루어질 수 있으며, 이와 달리 자동으로 이루어질 수도 있다.When the production of 3D data by the 3D tool is completed in the
사용자 단말2(120)는 상기 서버(130)에 의해 운영되는 본 발명과 관련된 웹 서비스에 가입 및/또는 로그인 등을 하고, 해당 웹 페이지에서 제공하는 플레이어(Player)를 통하여 상기 사용자 단말1(110)에 의해 배포된 3D 컨텐츠를 스트리밍 방식 등으로 시청하거나 인터렉션에 참여할 수 있다. 실시예에 따라, 상기 사용자 단말2(120)는 상기 플레이어를 서버(130)로부터 별도로 다운로드 받아 설치할 수 있으며, 이와 달리 URL 주소 등으로 접속하여 로그인 또는 로그인 없이 상기 배포된 3D 컨텐츠의 시청 환경을 제공받을 수도 있다.User terminal 2 (120) subscribes to and/or logs in to the web service related to the present invention operated by the
사용자 단말2(120)는 상기 플레이어를 통해 본 발명의 웹 기반 가상 공간 3D 컨텐츠 스트리밍 서비스를 이용하기 위하여, 디스플레이와 스피커뿐만 아니라, 적절한 컨텐츠 제어를 위한 포인터(pointer), 스타일러스 펜(stylus pen) 또는 마우스(mouse) 등의 인터페이스를 추가적으로 구비하거나 지원할 수 있다.In order to use the web-based
한편, 서버(130)는 선술한 바와 같이 사용자 단말1(110)이 3D 데이터 제작 시 사용하는 3D 툴에 상응하는 플러그-인을 상기 사용자 단말1(110)에게 제공할 수 있으며, 상기 사용자 단말1(110)에서 3D 데이터를 보유하고 있다면, 상기 플러그-인을 통하여 상기 3D 데이터를 컷 단위가 아니라 3D 데이터 그대로 임포트(import, 또는 업로드)시킬 수 있도록 하되, 상기 사용자 단말1(110) 이를 웹 상에서 편집(또는 패키징)한 후 사용자 단말2(120) 등에게 스트리밍 방식 등으로 배포하도록 할 수 있다. 이를 위해, 서버(130)는 해당 기능 수행을 위해 필요한 소프트웨어 및 하드웨어를 포함할 수 있다.Meanwhile, as described above, the
서버(130)는 본 발명인 웹 기반 가상 공간 3D 컨텐츠 패키징 서비스를 위해 사용자 단말1(110)의 3D 데이터가 상기 플러그-인을 통하여 웹 상으로 임포트(import)되도록, 클라우드 플랫폼(Cloud platform)이나 데이터베이스(DB: database)를 구축할 수 있다. 한편, 상기 사용자 단말1(110)은 상기 클라우드 플랫폼에 대한 로그인 및/또는 3D 데이터의 임포트(import)를 위해, 서버(130)와 통신하여 발급받은 토큰을 저장하고 있을 수 있으며, 서버(130) 또한 권한을 가진 사용자 여부를 판별하고 로그인 관리를 위해 상기 토큰을 저장하고 있을 수 있다.The
서버(130)는 3D 데이터를 제작하고 3D 컨텐츠를 배포하는 사용자 단말1(110) 및/또는 배포된 3D 컨텐츠를 시청하는 사용자 단말2(120)와의 사이에서 상호 간 데이터 커뮤니케이션을 지원하기 위해 관련 API(Application Program Interface) 등을 지원할 수 있다.The
그 밖에, 본 발명인 웹 기반 가상 공간 3D 컨텐츠 패키징 및 스트리밍 서비스 제공 시스템(1)에 속한 구성요소들 사이의 통신 내지 데이터 커뮤니케이션은 현재까지 개발되었거나 향후 개발될 다양한 유/무선 통신 네트워크를 통하여 이루어질 수 있으며, 모든 구성요소들이 동일한 통신 네트워크 내지 통신 프로토콜을 사용할 필요는 없다.In addition, communication or data communication between components belonging to the web-based
한편, 사용자 단말은 3D 컨텐츠 제작 시 사용하는 3D 툴(예컨대, 언리얼 엔진(Unreal engine), 오토데스크(Autodesk), 3DS Max, 유니티(Unity), 스케치업 등)에 대응되는 플러그-인(plug-in)을 설치하고, 상기 3D 툴을 이용하여 3D 컨텐츠를 제작하면, 상기 설치된 플러그-인을 통하여 3D 데이터를 웹으로 임포트 한 후 이를 외부에 배포하기 위한 3D 컨텐츠로 컨버팅하기 위한 전처리 작업을 수행할 수 있는데, 이를 위해 본 발명은 3D 데이터 패키징 기술을 제공한다. On the other hand, the user terminal is a plug-in corresponding to a 3D tool (eg, Unreal engine, Autodesk, 3DS Max, Unity, Sketchup, etc.) used when producing 3D content. in) is installed and 3D content is produced using the 3D tool, 3D data is imported to the web through the installed plug-in and then preprocessing is performed to convert it into 3D content for external distribution. For this purpose, the present invention provides a 3D data packaging technology.
따라서, 이하에서는 본 발명의 일실시예에 따른 3D 데이터 패키징 기술을 보다 상세하게 설명하기로 한다.Therefore, 3D data packaging technology according to an embodiment of the present invention will be described in more detail below.
본 발명의 3D 데이터 패키징 기술은, 가상현실(Virtual reality), 증강현실(Augmented reality), 혼합현실(Mixed reality) 또는 메타버스(Metaverse) 등의 환경에서 이용 가능한 가상 공간을 쉽고 빠르게 구축하기 위한 기술이며, 가상 공간의 구축 프로세스를 간소화 및 자동화 시킬 수 있고, 현재까지 존재하는 종래기술의 문제점을 해결할 수 있으므로, 가상 공간 관리자(크리에이터를 포함한다.)가 더욱 쉽고 빠르게 3D 데이터를 변환하여 가상 공간을 구축할 수 있는 효과가 있다. The 3D data packaging technology of the present invention is a technology for easily and quickly building a virtual space usable in an environment such as virtual reality, augmented reality, mixed reality, or metaverse. In addition, it is possible to simplify and automate the construction process of virtual space, and to solve the problems of the prior art that exist so far, so that virtual space managers (including creators) can more easily and quickly convert 3D data to create virtual space. There is an effect that can be built.
종래 기존의 실감형 컨텐츠의 제작은 3D 데이터를 바탕으로 모델링(modeling), 렌더링(Rendering), 컴포지션(Composition)과 같은 반복처리 공정이 필요하였으며, 여러 공정이 요구되기 때문에 많은 시간이 소요되었으며, 최종 결과물 또한 웹을 통한 스트리밍 방식 등으로는 제공받을 수 없었고 이미지나 영상 또는 설치형으로만 경험할 수 있었다. Conventionally, the production of realistic content required repetitive processes such as modeling, rendering, and composition based on 3D data, and it took a lot of time because several processes were required. The results could not be provided through streaming through the web, and could only be experienced as images, videos, or installations.
그러나, 본 발명의 일실시예에 따른 3D 데이터 패키징 기술은, 기존과 같이 컷 단위로 3D 데이터를 수신하고 처리하는 웹 빌더(web builder)들과는 달리, 단말에 설치 가능한 플러그-인(Plug-in)을 제공하고 있다. 또한, 이를 통해 단말이 기 제작된 3D 데이터를 웹 상으로 손쉽게 임포트(Import) 시킬 수 있기 때문에 상기 3D 데이터가 어떤 종류의 3D 툴에 의해 제작되었는지 무관하므로, 범용성 및 편의성이 매우 뛰어난 효과가 있다. However, unlike conventional web builders that receive and
또한, 단말은 상기 플러그-인을 통해 웹 상으로 임포트 한 3D 데이터를 이용하여, 자신만의 가상 공간을 나타내는 3D 컨텐츠로의 컨버팅을 위해 3D 데이터 패키징 서비스를 이용할 수 있다. 상기 3D 데이터 패키징 서비스를 통해 자신만의 가상 공간을 나타내는 3D 컨텐츠로의 컨버팅을 완료하면, 상기 3D 컨텐츠를 스트리밍 방식으로 다른 단말에 전송하여 가상 공간으로의 참여 및 상호작용을 유도하는 것이 가능하다. In addition, the terminal may use a 3D data packaging service to convert 3D data imported onto the web through the plug-in into 3D content representing its own virtual space. When the conversion to 3D content representing one's own virtual space is completed through the 3D data packaging service, it is possible to transmit the 3D content to other terminals in a streaming manner to induce participation and interaction in the virtual space.
즉, 본 발명은 규격화된 파이프라인으로 가상 공간 구축 및 배포 프로세스를 표준화하는 것이 가능하며, 그로 인해 반복공정 시간을 획기적으로 단축할 수 있는 효과가 있다. 또한, 후술하여 설명하겠지만 종래 방식의 360도 이미지, 영상과 같은 다양한 형태뿐만 아니라, 웹, 모바일, 설치형 등 다양한 디바이스 환경에서도 3D 컨텐츠의 구동이 가능할 수 있도록 하여, 보다 높은 접근성과 범용성을 제공할 수 있는 효과가 있다. That is, according to the present invention, it is possible to standardize the process of constructing and distributing a virtual space through a standardized pipeline, thereby dramatically reducing the iterative process time. In addition, as will be described later, it is possible to drive 3D content in various device environments such as web, mobile, and installation, as well as in various forms such as conventional 360-degree images and videos, thereby providing higher accessibility and versatility. There is an effect.
아울러, 플러그-인 형태로 가상 공간 구축 및 관리 기능을 제공하되, 후술하는 바와 같이 각각의 기능을 모듈 단위로 제공하기 때문에, 가상 공간의 구축 및 관리에 필요한 물리적/논리적 비용 및 진입 장벽을 현저히 낮춰줄 수 있는 효과 또한 있다.In addition, virtual space construction and management functions are provided in the form of a plug-in, but as each function is provided in module units as described later, the physical / logical cost and entry barrier required for construction and management of virtual space are significantly lowered. There are also effects that can be given.
한편, 본 발명의 3D 데이터 패키징 기술은, 실시간 3D 모델링 데이터 자동 추출 기능, 메타 데이터 추출 기능, 라이트맵 추출 기능, 리소스 경량화 기능, 3D 모델 최적화 기능, 배포(publishing)를 위한 실시간 360도 이미지 재조합 기능 등을 포함할 수 있으며, 이에 제한되지 않고 3D 데이터를 이용하여 가상 공간을 나타내는 3D 컨텐츠로의 컨버팅을 웹 상에서 수행하기 위해 필요한 다른 기능을 더 포함할 수 있다.On the other hand, the 3D data packaging technology of the present invention, real-
이하, 3D 데이터 패키징 기술의 각 기능을 보다 상세하게 설명하면 다음과 같다.Hereinafter, each function of the 3D data packaging technology will be described in detail.
1. 실시간 3D 모델링 데이터 자동 추출 기능1. Real-
사용자에게 고품질의 가상 공간 3D 컨텐츠를 제작하여 제공하기 위해서는, 공간을 360도로 촬영하여 샘플링 한 이미지의 품질이 중요한 요소라고 볼 수 있다. 그러나, 카메라를 통해 사용자의 시선을 표현하는 가상 공간 3D 컨텐츠의 특성상, 카메라의 위치 또는 방향에 따라 카메라 상에 적용되는 렌더링 효과가 실시간으로 달라지므로, 일반적인 이미지 캡처 및 이미지 병합 방식으로는 가상 공간 3D 컨텐츠 서비스를 웹이나 모바일 환경에서 제공하기 위한 고품질의 360 이미지를 얻을 수 없다.In order to produce and provide high-quality
따라서, 본 발명은 이와 같은 문제점을 해결하고자, 도 2에서 도시한 바와 같이 실시간 렌더링 기반의 3D 모델링 데이터를 자동 추출하는 기능을 제공한다.Accordingly, the present invention provides a function of automatically extracting 3D modeling data based on real-time rendering as shown in FIG. 2 in order to solve this problem.
즉, 본 발명은 단말이 기 제작된 3D 컨텐츠 데이터를 앞서 설명한 플러그-인을 통해 웹 상으로 임포트시키면, 상기 3D 컨텐츠 내 카메라를 미리 정해진 특정 위치에서 전방위(360도 × 360도)로 회전시키면서 미리 정해진 타일(tile)을 단위로 하여 상기 3D 컨텐츠 데이터의 이미지 샘플링을 수행한다. That is, in the present invention, when a terminal imports pre-manufactured 3D content data onto the web through the plug-in described above, the camera in the 3D content is rotated in all directions (360 degrees × 360 degrees) at a predetermined specific position and Image sampling of the 3D content data is performed in units of predetermined tiles.
그 후 샘플링 된 이미지 타일들을 미리 정해진 위치로 겹쳐서 각각의 픽셀 값을 보간(Interpolation)하되, 상기 보간 된 픽셀 값들을 미리 설정된 전용 이미지 포맷인 등장방형(Equirectangular) 표면상에 투사하여 상기 3D 컨텐츠 데이터에 대한 고품질 360도 이미지를 추출할 수 있다. 본 발명에서는 이와 같이 추출된 고품질 360도 이미지를 종래 기술과 구별하기 위해 실시간 360도 이미지라 표현한다. 또한, 위 설명에서 보간이라 함은 확인된 데이터를 사용하여 확인되지 않은 지점의 값을 추정하는 방식을 의미하며, 등장방형 이란 360도 구형(sphere)의 화면을 2:1 비율의 평면에 담아내는 방식을 의미할 수 있다.Thereafter, the sampled image tiles are overlapped at a predetermined position to interpolate each pixel value, and the interpolated pixel values are projected onto an equirectangular surface, which is a dedicated image format set in advance, to obtain the 3D content data. You can extract high-quality 360-degree images for In the present invention, the extracted high-quality 360-degree image is expressed as a real-time 360-degree image in order to distinguish it from the prior art. In addition, interpolation in the above description means a method of estimating the value of an unconfirmed point using confirmed data, and an equirectangular is a method that captures a 360-degree sphere screen on a plane with a 2:1 ratio. can mean the way
한편, 위와 같은 방식에 따라 추출할 수 있는 실시간 360도 이미지는, 상기 3D 컨텐츠가 GPU(Graphic Processing Unit)를 거쳐 화면에 렌더링되는 최종 결과물을 활용하는 방식이기 때문에, 후처리(Post processing) 및 평면 반사(Planar reflection) 등이 모두 적용될 수 있고, 그로 인해 위신호 제거(Anti-aliasing)라고 불리는 계단 현상 방지 효과가, 종래 기술과 비교할 때 현저하게 개선되어 나타나는 것을 도 3과 같이 확인할 수 있다. 여기에서, 위신호 제거란 높은 해상도의 신호를 낮은 해상도에서 나타낼 때 생기는 계단 현상을 억제하거나 최소화 하는 것을 의미한다.On the other hand, since the real-time 360-degree image that can be extracted according to the above method utilizes the final result of the 3D content being rendered on the screen through a GPU (Graphic Processing Unit), post processing and flat It can be confirmed as shown in FIG. 3 that both planar reflection and the like can be applied, and as a result, the anti-aliasing effect called anti-aliasing is remarkably improved compared to the prior art. Here, the elimination of false signals means suppressing or minimizing a step phenomenon that occurs when a high-resolution signal is displayed at a low resolution.
또한, 본 발명의 일실시예에 따르면 상기와 같은 각 단계는 모듈화되어 구현될 수 있으며, 그로 인해 실시간 360도 이미지의 추출 과정 전부를 모듈화 및/또는 자동화 할 수도 있다. 또한, 추출된 실시간 360도 이미지를 이용하여 플러그-인 내에서 가상 공간으로의 변환, 웹 업로드, 배포 등을 진행할 수도 있다. In addition, according to an embodiment of the present invention, each of the above steps may be implemented in a modular manner, and thus the entire process of extracting a 360-degree image in real time may be modularized and/or automated. In addition, using the extracted real-time 360-degree image, conversion to a virtual space, web upload, distribution, etc. may be performed within the plug-in.
2. 메타데이터 추출 기능2. Metadata extraction function
3D 컨텐츠 데이터에서 추출한 실시간 360도 이미지 데이터를, 다양한 환경(웹/모바일/HMD 등)에서 재조합하여 배포하기 위해서는, 실시간 360도 이미지를 포함하여 3D 모델, 마커(사용자가 상호작용 가능한 아이콘 또는 오브젝트 등을 포함) 등과 같은 리소스들의 3차원 좌표 및 방향에 대한 메타데이터도 함께 전달되어야 한다. 따라서, 본 발명에서는 3D 컨텐츠 배포에 필요한 메타데이터들을 프로토콜화하되 이를 플러그-인을 통해 추출한 뒤, 추출된 메타데이터들을 가상 공간 별로 적재/관리하는 기능을 제공할 수 있다.In order to reassemble and distribute real-time 360-degree image data extracted from 3D content data in various environments (web/mobile/HMD, etc.), 3D models, markers (icons or objects that users can interact with), including real-time 360-degree images Metadata about 3D coordinates and directions of resources such as (including Therefore, in the present invention, it is possible to provide a function of protocolizing metadata required for 3D content distribution, extracting them through a plug-in, and then loading/managing the extracted metadata for each virtual space.
가상 공간 콘텐츠 상에서 3D 모델, 마커(오브젝트 등)를 정확한 위치에 배치하고 독립적으로 움직이게 하기 위해서는, 좌표계를 일치시키고 회전 중심축(pivot)을 보정해주어야 한다. In order to place 3D models and markers (objects, etc.) at precise positions on virtual space contents and to move them independently, coordinate systems must be matched and pivots must be corrected.
따라서 본 발명에서는, 전역 좌표계 상의 위치(Position), 크기(Scale), 회전(Rotation) 수치를, 3D 모델과 마커의 각 정점들과 행렬(matrix) 연산을 수행하여 좌표계를 일치시키되, 위치 벡터(vector)는 별도로 저장하여 회전 중심축을 보정하는 것이 가능하며, 이를 통해 추출된 3D 모델과 마커는 다른 환경(웹/모바일/HMD 등)에서도 독립적으로 제어하는 것이 가능하다.Therefore, in the present invention, the position (Position), size (Scale), and rotation (Rotation) values on the global coordinate system are matched by performing a matrix operation with each vertex of the 3D model and the marker, but the position vector ( vector) can be stored separately to calibrate the center axis of rotation, and through this, it is possible to independently control the extracted 3D model and markers in other environments (web/mobile/HMD, etc.).
3. 라이트맵 추출 기능3. Lightmap extraction function
한편, 위와 같은 방식에 따라 추출할 수 있는 실시간 360도 이미지는 고품질이기는 하나 정적이므로, 사용자가 3D 모델, 마커 등의 재질이나 구조를 변경하는 제어를 수행하는 데에는 한계가 있을 수 있다. 따라서, 본 발명에서는 도 4에 도시된 바와 같이 3D 모델, 마커의 표면에 미리 정해진 방향으로부터 미리 정해진 크기의 빛이 조사된 형태로 추출이 이루어지도록 할 수 있으며, 실시예에 따라 이를 WebGL(Web Graphic Library)을 기반으로 할 수 있으나 이에 제한되지는 않는다.On the other hand, since the real-time 360-degree image that can be extracted according to the above method is high-quality but static, there may be limitations in the user's ability to change the material or structure of the 3D model or marker. Therefore, in the present invention, as shown in FIG. 4, extraction can be performed in a form in which light of a predetermined size is irradiated from a predetermined direction on the surface of a 3D model or marker, and according to an embodiment, it can be extracted by WebGL (Web Graphic Library), but is not limited thereto.
4. 리소스 경량화 기능4. Resource lightening function
모바일, PC와 같은 환경에서도 가상 공간 3D 컨텐츠를 원활하게 서비스하게 하기 위해서는, 추출된 실시간 360도 이미지와 3D 모델, 마커 등의 리소스들을 경량화 할 필요성이 있다.In order to smoothly service
이 때, 상기 리소스 경량화는 기술과 서비스의 구현 측면만을 고려하는 것이 아니라, 용량의 감소 및 비용의 감소와 밀접한 연관이 있으므로, 다수의 사용자를 대상으로 서비스를 제공하는 경우 네트워크 트래픽을 감소시킬 수 있기 때문에 사용자 경험을 증대시키고 비용을 최소화할 수 있는 장점을 가질 수 있다. At this time, since the resource lightening is not only considered in terms of technology and service implementation, but is closely related to capacity reduction and cost reduction, network traffic can be reduced when providing services to a large number of users. Therefore, it is possible to have an advantage of increasing user experience and minimizing cost.
따라서, 본 발명에서는 후술하는 바와 같이 이미지 타일링 및 모델 최적화 등의 기능을 포함하고 있어 리소스의 경량화가 가능하고, 이를 통해 비용 또한 최소화 할 수 있는 효과가 있다.Therefore, in the present invention, as will be described later, since functions such as image tiling and model optimization are included, resources can be reduced in weight, and costs can also be minimized through this.
한편, 3D 컨텐츠 데이터에서 추출한 실시간 360도 이미지를, 추출한 원본 그대로 로딩하여 가상 공간을 제공하게 되면, 이를 이용하는 이용자는 긴 시간 동안 로딩을 대기하게 되며, 특히 가상 공간 내에서 위치 이동 시 다음 이미지를 불러올 때마다 전체 이미지를 모두 불러와야 할 수 밖에 없어, 로딩을 하는 동안 백색화면을 경험하거나 혹은 매우 긴 대기시간을 겪어야 하는 불편함이 있을 수 있다. On the other hand, if real-time 360-degree images extracted from 3D content data are loaded as they are extracted to provide a virtual space, users using this will wait for loading for a long time. Since all images have to be loaded each time, there may be inconveniences such as experiencing a white screen or experiencing a very long waiting time during loading.
따라서, 본 발명에서는 이러한 문제점을 예방하고 해결하기 위한 리소스 경량화 기능으로서, 추출된 실시간 360도 이미지를, 서로 다른 해상도를 나타내는 3개의 단계(예컨대, 저해상도, 중해상도, 고해상도)로 구분하되 이들을 타일링(멀티레벨 타일링)하여 저장함으로써, 위와 같은 문제점을 해결할 수 있다. Therefore, in the present invention, as a resource lightening function to prevent and solve these problems, the extracted real-time 360-degree image is divided into three stages (eg, low resolution, medium resolution, high resolution) representing different resolutions, but tiling them ( Multi-level tiling) and storing, the above problem can be solved.
즉, 도 5에 도시된 바와 같이, 실시간 360도 이미지를 서로 다른 해상도를 나타내는 3개의 단계(예컨대, 저해상도, 중해상도, 고해상도)로 구분하며, 구체적으로 실시간 360도 이미지를 1면으로 표현한 수십 KB(Kilobyte) 단위 저해상도 프리뷰(Preview) 이미지, 실시간 360도 이미지를 6면으로 분할한 수백 KB(Kilobyte) 단위 중해상도 이미지, 위 6면의 각 이미지를 다시 4분할하여 총 24개의 타일로 이루어진 MB(Megabyte) 단위 고해상도 이미지와 같이 총 3개의 단계로 분할하되 이들을 타일링(Tiling)하여 저장되도록 할 수 있다.That is, as shown in FIG. 5, the real-time 360-degree image is divided into three stages (eg, low resolution, medium resolution, high resolution) representing different resolutions, and specifically, several tens of KB expressing the real-time 360-degree image on one side (Kilobyte) unit low-resolution preview image, real-time 360-degree image divided into 6 sides, medium-resolution image in hundreds KB (Kilobyte) unit, and each image on the top 6 sides divided into 4 units to make a total of 24 MB ( It is divided into a total of 3 steps like a megabyte unit high-resolution image, but it can be stored by tiling them.
한편, 웹과 같이 GPU(Graphics Processing Unit)의 사용이 제한된 환경에서 가상 공간에 3D모델, 마커 등을 표시할 경우, 3D 모델이나 마커 자체가 가진 정점(Vertex)의 수가 많다 보면 렌더링 시간이 길어져서 사용자는 화면이 끊겨 보이거나 느려지는 현상 등을 경험하는 문제점이 발생할 수 있다. On the other hand, when displaying 3D models and markers in virtual space in an environment where the use of GPU (Graphics Processing Unit) is limited, such as on the web, rendering time increases when the number of vertices of the 3D model or marker itself increases. A user may experience a problem in that the screen appears disconnected or slows down.
따라서, 본 발명에서는 이러한 문제점을 예방하고 해결하기 위한 또 다른 리소스 경량화 기능으로서, 정점(Vertex) 감소를 위한 파일 포맷 컨버팅 단계 및 정점 그룹화 단계를 수행할 수 있다.Therefore, in the present invention, as another resource lightening function to prevent and solve these problems, a file format converting step and a vertex grouping step for vertex reduction can be performed.
먼저, 3D 파일의 포맷을 확인한 뒤, 해당 3D 파일이 이미 미리 정해진 파일 포맷 기준에 해당할 경우에는 상기 파일 포맷 컨버팅 단계가 생략될 수 있다. 그러나, 만약 해당 3D 파일이 미리 정해진 파일 포맷 기준에 해당하지 않는 경우에는 도 6에 도시된 바와 같이 파일 포맷 컨버팅이 수행될 수 있다. First, after checking the format of the 3D file, if the corresponding 3D file already meets a predetermined file format standard, the file format converting step may be omitted. However, if the corresponding 3D file does not meet the predetermined file format standard, file format conversion may be performed as shown in FIG. 6 .
예컨대, 미리 정해진 파일 포맷 기준은 OBJ, GLTF 라고 가정할 때, 확인된 3D 파일의 포맷이 FBX 파일 포맷인 경우, 이는 미리 정해진 파일 포맷 기준(OBJ, GLTF)에 해당하지 않기 때문에, 앞서 설명한 바와 같이 파일 포맷 컨버팅이 수행될 수 있다. 이 때, 상기 미리 정해진 파일 포맷 기준은, 3D모델, 마커가 미리 정해진 숫자보다 더 적은 수의 정점(vertex)으로 표현되도록 하는 파일 포맷일 수 있으며, 앞서 예시를 들어 설명한 OBJ, GLTF에 제한되는 것은 아니다.For example, assuming that the predetermined file format standards are OBJ and GLTF, if the format of the confirmed 3D file is the FBX file format, it does not correspond to the predetermined file format standards (OBJ, GLTF), as described above File format conversion may be performed. At this time, the predetermined file format criterion may be a file format that allows the 3D model and marker to be expressed with fewer vertices than the predetermined number, and is limited to OBJ and GLTF described above as an example. no.
본 발명의 일실시예에 따른 정점 그룹화 단계는, 시각적 중요도가 높고 낮음에 따라 가중치를 부여하는 정점 등급매기기(Grading), 정점의 삼각(폴리곤)분할(Triangulation), 기하학적 접근성을 기반으로 정점의 그룹화를 수행하는 클러스터링(Clustering), 그룹화된 정점들의 대표 정점을 도출하는 통합(Synthesis), 중복된 삼각(폴리곤)과 정점을 제거(Elimination), 남은 정점을 연결하여 삼각형을 형성하는 조정(Adjustment of normals) 과정을 거쳐 정점 그룹화(Vertex clustering)를 수행하게 되며, 이를 통해 도 7에 도시된 바와 같이 18개의 정점이 상기 그룹화를 통해 12개의 정점으로 감소되는 것을 확인할 수 있다.The step of grouping vertices according to an embodiment of the present invention includes vertex grading that assigns weights according to high and low visual importance, triangulation of vertices, and grouping of vertices based on geometric accessibility. clustering to perform, synthesis to derive representative vertices from grouped vertices, elimination of redundant triangles (polygons) and vertices, and adjustment to form triangles by connecting the remaining vertices (Adjustment of normals ) process, vertex clustering is performed, and through this, as shown in FIG. 7, it can be confirmed that 18 vertices are reduced to 12 vertices through the grouping.
따라서, 본 발명의 위와 같은 기술적 특징을 이용하면, 3D 모델이나 마커 자체가 가진 정점(Vertex)의 수가 감소될 수 있으므로, 웹과 같이 GPU의 사용이 제한된 환경에서 가상 공간에 3D모델, 마커 등을 표시하더라도, 화면이 끊기거나 느려지는 현상이 현저하게 줄어드는 효과가 있을 수 있다. Therefore, using the above technical features of the present invention, since the number of vertices of the 3D model or marker itself can be reduced, 3D models, markers, etc. Even if it is displayed, there may be an effect of significantly reducing the phenomenon that the screen is disconnected or slowed down.
5. 실시간 360도 이미지 재조합 기능5. Real-time 360-degree image recombination function
실시간 360도 이미지 추출 과정에서 샘플링하여 서버에 적재된 리소스 및 메타데이터들은, 미리 정해진 기준에 따라 재조합하여 재현해야 하며, 이를 위해 본 발명에서는 일 실시예에 따라 큐브릭 렌더링(Cubric Rendering) 방식을 적용할 수 있다. Resources and metadata loaded on the server after being sampled in the real-time 360-degree image extraction process must be recombined and reproduced according to predetermined standards. To this end, the present invention applies a Cubric Rendering method according to an embodiment. can
상기 큐브릭 렌더링 방식은, 도 8에 도시된 바와 같이 앞서 설명한 타일링 하여 저장된 실시간 360도 이미지 타일들 및 리소스/메타데이터들을 재조합하는 방식이며, 사용자의 시선이 포커싱하는 위치에 따라 필요한 이미지만 렌더링하되, 그와 더불어 시간에 따른 단계적 로딩을 수행해나가는 방식이다. 따라서, 본 발명의 일실시예에 따르면, 가상 공간 서비스의 제공이 빠른 속도로 이루어질 수 있으며 네트워크 트래픽 소모 또한 최소화할 수 있는 효과가 있다.The Kubrick rendering method, as shown in FIG. 8, is a method of recombining the tiling and stored real-
구체적으로, 가상 공간 서비스 상에서 사용자가 특정 위치로 빠르게 이동하는 경우, 이동 중에 잠시 머무는 위치에서는 전면에 보이는 일부 타일만을 로딩하면 되기 때문에, 본래 로딩 해야하는 데이터의 약 1/6만 로딩하면 되므로, 그로 인해 단말에 가해지는 부담 및 데이터의 소모량이 현저하게 낮아질 수 있다. Specifically, when a user quickly moves to a specific location on a virtual space service, only some of the tiles visible in the front need to be loaded at the location where the user stays for a while while moving, so only about 1/6 of the original data to be loaded needs to be loaded. The load applied to the terminal and the consumption of data can be significantly reduced.
즉, 도 9에 도시된 바와 같이, 일반 360도 이미지의 경우 초기 화면 로딩 시간(사용자 진입부터 최초 화면 렌더링까지의 시간)이 1650ms가 소요되었으나, 본 발명의 일실시예에 따른 실시간 360도 이미지 및 이를 타일링하여 저장하는 방식을 활용하는 경우 초기 화면 로딩 시간이 320ms가 소요되어 약 80% 감소하는 효과를 보여주고 있으며, 가상 공간 서비스를 이용할 때 소비되는 데이터 소모량 또한 일반 360도 이미지와 비교할 때, 약 40% 가량 절감할 수 있는 효과를 보여주고 있다. 따라서, 본 발명에 따르면 가상 공간 서비스를 이용할 때 네트워크 트랙픽 소모, 단말 부담, 데이터 소모량 모두를 최소화 할 수 있는 효과가 있다.That is, as shown in FIG. 9, in the case of a general 360-degree image, the initial screen loading time (time from user entry to initial screen rendering) took 1650 ms, but the real-time 360-degree image and When using the method of tiling and saving, the initial screen loading time takes 320 ms, showing an effect of about 80% reduction, and the amount of data consumed when using virtual space services is also about It shows an effect that can save about 40%. Therefore, according to the present invention, network traffic consumption, terminal load, and data consumption can all be minimized when using a virtual space service.
한편, 본 발명에 따른 웹 기반 가상 공간 구축을 위한 3D 데이터 패키징 및 스트리밍 서비스 처리 시스템(1)은, 실시간 360도 이미지와 3D 정보의 매칭 및 공간 이동 기능, 3D 데이터 저작을 위한 실시간 렌더링 기반 프리셋 제공 기능, 인터렉션을 위한 모듈 단위 마커 제공 기능, 클라우드 로그인 기능 등을 더 포함할 수 있다.On the other hand, the 3D data packaging and streaming
실시간 360도 이미지의 경우 이미지의 특성 상 2D로 구성되기 때문에 가상 공간 내에서 놓여진 물체나 벽면 등에 씬 이동포인트를 위치시키더라도 3D 모델이나 마커가 가지고 있는 굴곡은 표현 할 수 없다.In the case of real-time 360-degree images, because they are composed of 2D due to the nature of the image, even if the scene movement point is located on an object or wall in the virtual space, the curvature of the 3D model or marker cannot be expressed.
따라서, 본 발명에서는 보다 나은 사용자 경험과 몰입도를 제공하기 위해, 앞서 설명하였던 추출된 메타데이터를 활용하여 각 물체나 벽면의 x,y,z 좌표를 연산하여 이동 포인터 모양을 만들되, 그에 대한 반사 값을 표현함으로써 도 10에 도시된 바와 같이 실시간 360도 이미지에서도 3D 모델이나 마커의 굴곡 등 머터리얼(Meterial) 특징을 제공할 수 있다.Therefore, in the present invention, in order to provide a better user experience and immersion, the shape of the moving pointer is created by calculating the x, y, z coordinates of each object or wall using the extracted metadata described above, and the reflection thereof By expressing the value, as shown in FIG. 10, it is possible to provide material characteristics such as a 3D model or marker curvature even in a real-time 360-degree image.
한편, 본 발명에서는 가상 공간 서비스 상에서 사용자가 특정 위치로 이동하기 위해 사용하는 공간 이동 방식과 관련, 도 11 상단에 도시된 바와 같이 복수의 화살표로 표시된 종래의 공간 이동 방법의 경우, 제한되고 한정적인 움직임만을 제공할 수 밖에 없다는 문제점이 있어 이러한 문제점을 해결하고자, 마우스 포인터를 이용한 공간 이동 방법을 제공할 수 있다.On the other hand, in the present invention, in the case of the conventional space movement method indicated by a plurality of arrows as shown in the upper part of FIG. There is a problem that only motion can be provided, and to solve this problem, a space movement method using a mouse pointer can be provided.
보다 구체적으로, 본 발명의 일실시예에 따르면, 사용자가 가상 공간 서비스 상에서 특정 위치로 이동하기 위해 전체 가상 공간 중 임의의 영역을 선택하고 클릭하면, 상기 클릭된 영역이 바닥이라고 판단되는 경우에는 사용자가 이동을 희망한다고 판단할 수 있으므로, 이 경우 사용자가 이동 가능하도록 설정된 미리 정해진 마우스 포인터 영역 중 상기 클릭된 영역과 가장 가까운 마우스 포인터 영역을 탐색한 뒤, 상기 탐색된 마우스 포인터 영역으로 사용자의 위치이동이 이루어지게 된다.More specifically, according to an embodiment of the present invention, when a user selects and clicks an arbitrary area of the entire virtual space to move to a specific location on a virtual space service, when it is determined that the clicked area is the floor, the user Since it can be determined that the user wants to move, in this case, after searching for a mouse pointer area closest to the clicked area among predetermined mouse pointer areas set to allow the user to move, the user moves to the searched mouse pointer area. this will be done
한편, 본 발명에 따른 웹 기반 가상 공간 구축을 위한 3D 데이터 패키징 및 스트리밍 서비스 처리 시스템(1)은, 3D 데이터 저작을 위한 실시간 렌더링 기반 프리셋 제공 기능, 인터렉션을 위한 모듈 단위 마커 제공 기능, 클라우드 로그인 기능 등을 더 포함할 수 있다.On the other hand, the 3D data packaging and streaming
본 발명의 일실시예에 따르면, 본 발명에 따른 시스템(1)은 웹 기반으로 3D 데이터 패키징 및 스트리밍 서비스를 제공하는 과정에서, 3D 데이터 저작을 위한 실시간 렌더링 기반 프리셋（Preset, 미리 정의된 설정들의 집합）제공 기능을 더 포함할 수 있다.According to one embodiment of the present invention, the
상기 프리셋은 구축된 가상 공간을 유지 및 활용함에 있어서 균일한 접근방식을 제공하기 위함이며, 필요한 설정 값들을 미리 최적화 후 자동 적용하도록 할 수 있다. 본 발명에서 상기 프리셋의 종류는 현실적인 공간을 구성하기 위한 환경설정 프리셋, 다양한 재질들을 설정하기 위한 재질설정 프리셋, 실제 존재하는 빛의 값들을 정의한 라이팅 프리셋이 존재하나 이는 어디까지나 예시일 뿐 이에 제한되지는 않는다. The preset is intended to provide a uniform approach in maintaining and utilizing the constructed virtual space, and may be automatically applied after optimizing necessary setting values in advance. In the present invention, the types of presets include environment setting presets for configuring realistic spaces, material setting presets for setting various materials, and lighting presets for defining actual light values, but these are only examples and are not limited thereto. does not
즉, 각각의 설정된 값이나 정보들은 하나 이상의 프리셋 형태로 각각 내장되었다가 가상 공간 관리자(크리에이터 포함)가 원하는 시점에 편리하게 적용할 수 있다. 따라서, 본 발명은 위와 같은 정량화 및 자동화 된 다양한 프리셋들을 제공함에 따라 가상 공간의 품질을 용이하게 조절할 수 있도록 하며, 나아가 제작에 필요한 시간과 노력을 절감하고, 제작자의 숙련도 요구조건을 낮추는 효과를 줄 수 있다.That is, each set value or information is embedded in the form of one or more presets, and then the virtual space manager (including the creator) can conveniently apply it at a desired time. Therefore, the present invention makes it possible to easily adjust the quality of virtual space by providing various quantified and automated presets as described above, and further reduces the effect of reducing the time and effort required for production and lowering the skill level requirements of producers. can
한편, 본 발명의 일실시예에 따르면 상기 프리셋들은 모두 환경설정 프리셋, 재질설정 프리셋, 라이팅 프리셋 등과 같이 모듈화 된 형태로 제공될 수 있으며, 이를 통해 모듈 단위로 가상 공간이 구축 및 유지/활용될 수 있다. On the other hand, according to an embodiment of the present invention, all of the presets may be provided in a modular form such as environment setting presets, material setting presets, lighting presets, etc., through which a virtual space can be built and maintained/utilized in units of modules. there is.
구체적으로, 본 발명은 가상 공간 관리자가 가상 공간을 구축하고자 하는 경우 앞서 설명한 기능들 및 모듈화 된 프리셋 등을 통해 모듈 단위 구조 및 모듈 단위 기능을 포함하는 가상 공간 형태로 구축 및 관리 할 수 있는 서비스를 제공할 수 있으며, 이는 가상 공간을 구축하고 관리함에 소비되는 시간적, 비용적 부담을 감소시켜 줄 수 있는 효과 또한 존재한다.Specifically, the present invention is a service that can be built and managed in the form of a virtual space including a module unit structure and module unit function through the functions described above and modularized presets when a virtual space manager wants to build a virtual space. This can also provide an effect that can reduce the burden of time and cost consumed in constructing and managing a virtual space.
한편, 본 발명에 따른 시스템(1)은 웹 기반으로 3D 데이터 패키징 및 스트리밍 서비스를 제공하는 과정에서, 인터렉션을 위한 모듈 단위 마커를 제공하는 기능을 더 포함할 수 있다.Meanwhile, the
가상 공간 서비스의 경우 사용자에게 단순히 가상 공간을 표시하고 그들이 관람하게 하는 것을 넘어 추가적인 상호작용 활동을 제공할 필요가 있다. 즉, 가상 공간 상에서 아이콘, 스크린, 3D 모델 등 다양한 형태의 상호 작용 가능한 오브젝트 또는 마커를 제공하여 사용자들과의 다양한 상호작용을 수행하되 그로 인한 확장성을 확보할 필요가 있다.In the case of a virtual space service, it is necessary to provide additional interactive activities beyond simply displaying a virtual space to users and allowing them to view it. That is, various types of interactable objects or markers such as icons, screens, and 3D models are provided in a virtual space to perform various interactions with users, but it is necessary to secure scalability accordingly.
본 발명의 일실시예에 따르면, 상기 오브젝트 또는 마커는 웹 고유의 기능들을 기반으로 동작하므로 가상공간과는 별도로 웹 기반 컨버팅 툴 상에서도 자유롭게 편집이 가능하며, 다양한 형태의 외부 서비스와의 연동도 할 수 있다.According to one embodiment of the present invention, since the object or marker operates based on web-specific functions, it can be freely edited on a web-based converting tool apart from virtual space, and can be linked with various types of external services. there is.
본 발명의 일실시예에 따르면, 상기 상호작용 활동을 위한 오브젝트 또는 마커는 3D 컨텐츠의 패키징 과정에서 적용할 수 있으며, 구체적으로 가상 공간의 특정 영역에 삽입되거나, 특정버튼을 클릭하면 뷰어 등을 통해 특정한 정보를 표현 하거나 사전에 정의한 동작을 수행하도록 적용할 수 있다. 예컨대, 동영상 마커를 통해 가상 공간 내 컨퍼런스 홀에서 강연을 하거나, 뷰어로 제품의 상세정보 등을 표기하도록 적용할 수 있으며, 웹소켓(Web Socket)을 이용하여 채팅 서버로 데이터를 송/수신하거나, 외부 API를 연동하여 아이프레임(iframe) 형태로 뷰어에서 단체 화상채팅이나 웨비나를 진행하도록 적용할 수 있다.According to one embodiment of the present invention, the object or marker for the interactive activity can be applied in the process of
본 발명의 일실시예에 따른 오브젝트 또는 마커로는, 이미지나 동영상 또는 웹페이지 등을 모달(modal) 형태로 가상 공간 내에 노출시켜 부가적인 정보를 취득하게 하는 기본 마커, 가상 공간 내부의 특정 벽면이나 오브젝트 상에 이미지 또는 동영상을 재생하는 용도로 사용되는 뷰어 마커, 가상 공간 내에 배치된 인체 등 다양한 형상을 갖는 모델 자체를 마커화하여 상호작용 시 기본 마커의 기능 또는 커스텀 기능 등을 부여할 수 있는 3D 모델 마커, 가상 공간 컨텐츠가 외부 웹서비스 내에 포함될 경우, 외부와 포스트 메시지(Post Message)형태로 데이터 커뮤니케이션을 가능케 하는 외부 상호작용 마커, TTS(Text-To-Speech) 및 얼굴 재구성(Face Reconstruction) 기술로 제작된 AI 휴먼을 가상 공간 내에 배치하는 특수 마커, 외부 링크 혹은 서비스(설문조사, 화상채팅, 웨비나 등)와 연동할 수 있도록 하는 기타 마커 등이 있을 수 있으나, 이에 제한되지는 않는다.As an object or marker according to an embodiment of the present invention, a basic marker that obtains additional information by exposing an image, video, or web page in a modal form in a virtual space, a specific wall or Viewer markers used for reproducing images or videos on objects, and models with various shapes, such as human bodies placed in virtual space, can be marked to give basic marker functions or custom functions during interaction. 3D When model markers and virtual space contents are included in external web services, external interaction markers that enable data communication with the outside in the form of post messages, TTS (Text-To-Speech) and Face Reconstruction technologies There may be special markers for arranging AI humans created in virtual space, other markers for linking with external links or services (survey, video chat, webinar, etc.), but are not limited thereto.
한편, 도 12는 본 발명의 일실시예에 따른 웹 기반 가상 공간 3D 컨텐츠 패키징 서비스를 위한 서버(130)의 구성 블록도이고, 도 13은 본 발명의 일실시예에 따른 프로세서(240)의 상세 구성 블록도이며, 도 14 내지 15는 본 발명의 일실시예에 따른 3D 컨텐츠 처리 과정을 설명하기 위해 도시한 순서도이다.Meanwhile, FIG. 12 is a configuration block diagram of a
먼저 도 12를 참조하면, 웹 기반 가상 공간 3D 컨텐츠 패키징 서비스를 제공하기 위한 서버(130)는, 어카운트(210), IAM(Identity and Access Management)(220), 에디터(230), 프로세서(240), 플레이어(250), 및 CDN(Contents Delivery Network)(260)을 포함하여 구현될 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니며, 하나 또는 그 이상의 다른 구성요소들을 포함하여 구현되거나 그 반대일 수 있다. Referring first to FIG. 12, the
한편, 도 12에서는 하나의 구성요소로 표현되었다고 하더라도 그것은 복수의 구성요소들이 포함된 모듈 형태이거나 그 반대일 수 있다. 예를 들어, 도 12의 프로세서(240)는 하나의 모듈 형태로 도 13과 같은 구성일 수 있다. 도 12에서 에디터(230)와 프로세서(240)는 3D 컨텐츠를 배포하기 전 그 처리에 관한 구성이고, 플레이어(250)와 CDN(260)는 3D 컨텐츠의 배포 및 그 처리에 관한 구성으로 볼 수 있다.Meanwhile, even though it is expressed as one component in FIG. 12, it may be in the form of a module including a plurality of components or vice versa. For example, the
어카운트(210)는, 사용자 단말(110), 즉 사용자 계정의 등록(register)을 담당할 수 있으며, IAM(220)은, 사용자 계정의 등록 및 관리를 위한 것으로, 토큰(Token) 베이스일 수 있다. 또한 IAM(220)은, 사용자 계정의 접근 레벨 내지 권한 등에 관한 관리도 할 수 있다. 그 밖에, IAM(220)은, 사용자 계정의 사용자 데이터를 관리할 수도 있다.The
본 발명에서 에디터(230)는, 사용자가 로그인을 하면 어카운트(210)와 IAM(220)을 통해 사용자를 확인하되 그 권한에 따른 동작을 수행할 수 있는데, 예컨대, 권한이 있는 경우 사용자 단말(110)은 서버(130)의 에디터에 접속할 수 있다. 에디터(230)는 웹 에디터의 일종으로, 가상 공간을 나타내는 3D 컨텐츠의 프리뷰 기능(preview function)을 제공할 수 있으며, 좌표 기반으로 가상 공간 내 오브젝트의 핸들링이 가능하고, 이들을 배포하는 기능을 제공할 수 있다. 에디터(230)는 전술한 기능과 관련된 데이터를 클라우드 플랫폼으로부터 전달받아 제공할 수 있다.In the present invention, when the user logs in, the
전술한 에디터(230)가 기본 설정 등과 관련된 것이라면, 프로세서(240) 는 기본 설정 등에 따른 실제 데이터의 처리와 관련된 것으로 볼 수 있다. 프로세서(240)는 API를 통하여 플러그-인으로부터 3D 컨텐츠 데이터를 다운로드하고 에디터(230)를 통하여 메타데이터(metadata), 3D 모델 파일들(3D model files) 및/또는 다양한 360 이미지들을 수신하여 프로세싱할 수 있다. 한편, 실시예에 따라, 상기 에디터(230)는 전술한 프로세서(240)의 기능까지 포함하는 의미일 수 있다.If the
한편, 플러그-인의 데이터 커뮤니케이션, 즉 프로토콜(Protocol)은 다음과 같다.On the other hand, the data communication of the plug-in, that is, the protocol (Protocol) is as follows.
로그인과 관련해서는, 예를 들어 RESTful API(Application Programming Interface)를 통해 Authzip(IAM) 서버(220) 단으로 로그인 요청을 보내어 토큰을 발급받고, 상기 토큰을 통하여 이후 서버(130)와의 통신에서 인증 절차를 수행할 수 있다. 한편, 데이터의 다운로드/업로드(Data download/upload)와 관련해서는, 예를 들어 RESTful API를 통해 백스테이지(310)에서 관리하는 투어 정보(tour information)를 읽어 들이고, 구축된 데이터를 프로세싱하여 생성 혹은 갱신할 수 있다. 3D 모델, 360 이미지 등의 리소스도 백스테이지 API를 통해 업로드 될 수 있다.Regarding login, for example, a login request is sent to the Authzip (IAM)
도 13을 참조하면, 프로세서(240)는 백스테이지(backstage)(310), 관계형 데이터베이스(RDB, Relational Database)(320), 람다(Lambda)(330) 및 심플 스토리지 서비스(S3, Simple Storage Service)(340)를 포함할 수 있다. Referring to FIG. 13, the
백스테이지(310)는 플러그-인을 통해 수신되는 가상 공간 데이터와, 에디터(230)를 통해 수신되는 메타데이터(metadata), 3D 모델 파일들(3D model files), 360 이미지들을 수신하여 실제 프로세싱할 수 있다. 이러한 백스테이지(310)는 투어 스키마 관리(tour schema management), 공간 메타데이터 관리(spatial metadata management), 3D 모델 및 360 이미지 리소스 관리(3D model and 360 image resource management), 에디팅 퍼미션 관리(editing permission management), 배포 관리(version)(publish management), 컨커런트 액세스 제어(concurrent access control) 등을 수행할 수 있다.The backstage 310 receives virtual space data received through the plug-in, metadata received through the
백스테이지(310)는 페이 관리(pay management), 제품 플랜 관리(product plan management), 순환 페이먼트 지원(recurring payment support) 등을 위한 페이먼트 모듈(payment module)로 리소스 초과 체크(resource exceed check)를 전송할 수 있다.
관계형 데이터베이스(320)는, 백스테이지(310)에서 처리된 메타데이터를 저장할 수 있다. 관계형 데이터베이스(320)는, 트랜잭션 보증(transaction guarantee)과 관련된 데이터도 저장할 수 있다.The
람다(330)는, 백스테이지(310)로부터 이미지를 수신하여, 크롭(crop), 압축(compression) 등과 같은 이미지 프로세싱을 담당할 수 있다. 람다(330)는, 백스테이지(310)로부터 모델을 수신하여 모델 프로세싱(model processing)을 담당할 수도 있다.The
심플 스토리지 서비스(340)는, 백스테이지(310)와 람다(330)에서 처리된 데이터를 저장할 수 있다. 심플 스토리지 서비스(340)는, 3D 모델과 360 이미지뿐만 아니라 백스테이지(310)를 통해 배포된 메타데이터 파일을 저장할 수 있다. 이 때, 메타데이터 파일은 json 타입일 수 있으나, 이에 제한되지는 않는다.The
플레이어(250)는, 사용자 단말(120)의 요청에 따라 배포된 3D 가상 공간 컨텐츠의 재생을 지원할 수 있다. 상기 플레이어(250)는 본 발명에 따라 3D 데이터에서 추출, 경량화, 자동화, 패키징 과정을 거쳐 배포된 3D 가상 공간 컨텐츠의 재생을 지원하여, 단말이 가상 공간에 방문하거나 참여할 수 있도록 하는 웹 기반 서비스이며, 배포된 3D 가상 공간 컨텐츠의 메타데이터를 기반으로 리소스영상, 이미지, 3D 마커 등）들을 로드하여 렌더링 하는 기능, 씬 간의 이동 및 테마변경 기능, 각종 마커를 통한 부가정보 제공, 반응형 웹 서비스 등의 기능을 제공할 수 있다.The
플레이어(250)는, 앞서 설명한 바와 같이 일반 사용자를 대상으로 별도의 로그인 과정 없이 3D 가상 공간 컨텐츠를 경험하고 참여할 수 있도록 제공될 수도 있으나, 이와 달리 외부 홈페이지에 임베드(Embed) 형태로 제공할 경우에는 정해진 URL 만을 통해서 상기 3D 가상 공간 콘텐츠에 접근할 수 있도록 하기 위해 HTTP 프로토콜의 리퍼러(Referer) 헤더를 기반으로 하여 접근을 제한하거나 우회하도록 설정할 수도 있다. 리퍼러는 웹 상에서 다른 페이지로 이동할 시 이동 전의 도메인을 기록하는 헤더 값으로, 특정 웹 사이트 상에서 플레이어(250)로 진입할 때 화이트리스트(Whitelist)에서 도메인을 비교하여, 일치하면 접근하도록 허용하고 불일치하면 제한을 하는 일종의 방화벽이 구현되도록 할 수 있다. 사용자는 AWS S3(Simple storage service)와 AWS CloudFront(CDN)상에 배포된 메타데이터와 리소스를 HTTP를 통해 로드하게 된다.As described above, the
플레이어(250)는, 사용자에게 메타버스 환경의 가상 공간 투어를 제공할 수 있으며, 재생 중인 3D 컨텐츠에 대한 사용자 단말(120)의 다양한 액션(요청)에 대응할 수 있다. 이 때, 상기 다양한 액션이라 함은 예를 들어, 핫스팟(hotspot) 선택에 따라 뷰 제공, 화면 전환, 층 이동 등을 포함할 수 있으며, 더 나아가서는 본 발명에서 설명한 마커 등을 통해 제공할 수 있는 다양한 기능을 포함할 수 있다. 유사하게, 플레이어(250)는 사용자 단말(120)의 쿼리 파라미터 옵션들을 지원할 수도 있는데, 여기서 쿼리 파라미터 옵션들에는 앞서 설명한 임베드(embed), 씬 시작(start scene) 등이 포함될 수 있다. 한편, 플레이어(250)는, 반응형 웹(responsive web) 서비스를 제공할 수도 있다.The
한편, 누구나 쉽고 빠르게 실시간으로 3D 컨텐츠를 바탕으로 하는 가상 공간 서비스를 경험할 수 있도록 하기 위해서는, 표준화되고 간소화된 인프라 운영환경을 구축하는 것이 필수이다. 이상적인 표준 인프라 환경은 일관성을 확보하고 복잡성을 줄이는 것에서 시작되며, 일관된 구성요소, 인터페이스(Interface), 프로세스(Process)를 통해 달성할 수 있다.On the other hand, in order to allow anyone to easily and quickly experience virtual space services based on 3D contents in real time, it is essential to establish a standardized and simplified infrastructure operating environment. An ideal standard infrastructure environment starts with ensuring consistency and reducing complexity, and can be achieved through consistent components, interfaces, and processes.
간소화된 인프라는 관리와 운영이 용이하기 때문에 프로비저닝(Provisioning), 확장, 문제해결, 장애복구 등을 쉽게 수행할 수 있다. 잘 알려져 있고 단순화된 인프라를 사용한다면 표준화된 운영절차와 프로세스를 바탕으로 보다 적은 수의 인력이 효율적으로 인프라 운영을 할 수 있게 된다. 따라서, 효율적이고 안정적으로 인프라 운영을 할 수 있다면, 결국 사용자들에게 실시간으로 고품질의 가상 공간 서비스를 제공할 수 있게 되는 것이다. 따라서, 본 발명은 일정기간 또는 순간적으로 높은 트래픽에서의 무결성과 고가용성을 확보하는 것이 가능하고, 컴퓨팅 리소스의 낭비를 차단하는 효율성을 보유하며, 변화하는 워크로드를 지원할 수 있는 유연성과 함께, 구축된 가상공간 자산을 안전하게 보관할 수 있는 보안성 등을 종합적으로 고려하여, 온프레미스(On-premise)가 아닌 클라우드를 사용한 인프라를 이용하는 것이다.A simplified infrastructure is easy to manage and operate, making it easy to provision, scale, troubleshoot and failover. If a well-known and simplified infrastructure is used, fewer people can efficiently operate the infrastructure based on standardized operating procedures and processes. Therefore, if the infrastructure can be operated efficiently and stably, it is possible to provide high-quality virtual space services to users in real time. Therefore, the present invention makes it possible to secure integrity and high availability in high traffic for a certain period or momentarily, has efficiency to block waste of computing resources, and flexibility to support changing workloads. It is to use an infrastructure that uses a cloud rather than an on-premise system by comprehensively considering the security of safely storing virtual space assets.
과거에는 인프라 확장을 위해서는 서버의 증설이 필요하였으며, 이를 위해 구매한 서버가 물리적으로 도착하기까지 상당한 시간이 걸리는 불편함이 있었으나, 이와 달리 클라우드의 경우 비용 결제 후 즉시 사용이 가능하여 만약 트래픽이 폭주할 경우 즉각적인 인프라 증설이 가능하여 빠르고 손쉬운 대응이 이루어질 수 있다. In the past, server expansion was required to expand the infrastructure, and it took a considerable amount of time for the purchased server to physically arrive. If so, immediate infrastructure expansion is possible and quick and easy response can be made.
유사하게, 클라우드의 CDN（AWS CloudFront）을 WEB 서버 대신 사용하기 때문에 HTTPS 엔드포인트를 제공할 뿐만 아니라 대기 시간 또한 줄이고 컨텐츠를 빠르게 전송할 수 있으므로, 사용자 폭주에 대비한 유휴 서버를 확보할 필요가 없음에 따른 비용효율화 및 전세계 어디서든 실시간 3D 가상 공간 컨텐츠를 제공할 수 있는 안정성을 확보할 수 있다.Similarly, since the cloud's CDN (AWS CloudFront) is used instead of the WEB server, it not only provides an HTTPS endpoint, but also reduces latency and delivers content quickly, so there is no need to secure an idle server in preparation for user congestion. cost efficiency and stability to provide real-
또한 서비스 구축에 필요한 인프라의 규모에 대해 예상이 어긋나는 경우, 과거에는 인프라 부족 또는 잉여 발생 시 상응하는 비용 부담이 발생했지만, 클라우드를 사용할 경우에는 실시간으로 증감이 가능하되, 사용한 만큼만 비용을 지불하면 되므로 비용 절감 및 효율적으로 비용을 관리할 수 있는 효과가 있다. In addition, if the size of the infrastructure required to build a service is not expected, in the past, a corresponding cost burden occurred in case of insufficient or surplus infrastructure. It has the effect of reducing costs and managing costs efficiently.
또한, 구축된 실시간 3D 가상 공간 컨텐츠를 높은 보안성을 토대로 안전하게 보관할 수 있으며, 글로벌 클라우드 서비스 업체들은 전세계 주요 대륙에 데이터 센터를 보유하고 있어 어디서나 빠른 속도로 실시간 3D 가상 공간 콘텐츠를 경험할 수 있는 효과가 있다.In addition, the built real-
CDN(260)는, 플레이어(250)의 요청에 따라 AWS 클라우드 프론트와 캐싱을 지원하고, 상기 플레이어(250)의 요청을 심플 스토리지 서비스(340)에 전달할 수 있다.The
서버(130)(에디터와 프로세서를 포함)는 실시간 360도 이미지 및 3D 모델을 활용하여 실감도 높은 3D 가상 공간 컨텐츠를 구축할 수 있는 웹 에디터 서비스를 제공할 수 있다. 또한, 서버(130)는 실감도 높은 3D 가상 공간 컨텐츠 구축을 위하여, 관리 기능, 투어 메인 기능, 임포트 기능, 편집 기능, 및 배포 기능을 제공할 수 있고, 가상 공간 통계 기능을 제공할 수도 있다. The server 130 (including an editor and a processor) may provide a web editor service capable of constructing highly realistic 3D virtual space contents using real-time 360-degree images and 3D models. In addition, the
가상 공간 통계 기능이란 구체적으로 3D 가상 공간 컨텐츠에 접근한 사용자의 고객행동 데이터를 분석하여 컨텐츠에 접근한 사용자수, 체류시간, 유입경로, 선호페이지, 클릭이벤트, 국가별 사용자, 유지율 등을 구글 어낼리틱스(Google Analytics) 등을 이용하여 커스텀 이벤트(custom event)형태로 저장하여 제공할 수 있으나, 이는 예시일 뿐 다양한 형태로 제공할 수 있다. 또한, 통계 정보뿐만 아니라 사용자의 비정형 로그 데이터를 실시간으로 수집하고 도식화 된 대시보드(dashboard) 형태로 제공하는 것 또한 가능할 수 있다.The virtual space statistics function specifically analyzes the customer behavior data of users who access 3D virtual space contents, and calculates the number of users accessing the contents, staying time, inflow path, preferred pages, click events, users by country, retention rate, etc. It can be stored and provided in the form of a custom event using Google Analytics, etc., but this is only an example and can be provided in various forms. In addition, it may be possible to collect not only statistical information but also unstructured log data of users in real time and provide them in the form of a graphical dashboard.
상기 관리 기능은, 투어 생성 및 관리뿐만 아니라 복수의 사용자 계정들이 팀(team)으로 작업하는 경우에는 해당 투어가 공유될 수 있도록 처리할 수 있다. 상기 관리 기능에서는 또한, 가이드(guide)도 제공할 수 있다.The management function may not only create and manage tours, but also process a corresponding tour to be shared when a plurality of user accounts work as a team. The management function may also provide a guide.
상기 투어 메인 기능은, 예를 들어 도 31의 (a)에 도시된 바와 같이, 투어에 대한 제목/설명/태그/로고/대표 이미지 등을 기본 설정 사항, 시작 메시지와 같은 안내 문구 관리뿐만 아니라 CMS 프로젝트 연동 기능(예를 들어, 채팅, 고객문의, 통계)을 제공할 수 있다.The tour main function, for example, as shown in (a) of FIG. 31, manages the title/description/tag/logo/representative image of the tour as well as guide phrases such as basic settings and start messages, as well as CMS Project interlocking functions (eg, chatting, customer inquiry, statistics) can be provided.
임포트 기능은, 예를 들어 도 31의 (b)에 도시된 바와 같이, 해당 투어에 필요한 이미지 생성/변경/삭제 등 기능, 필터 및 검색 기능, 플로어(Floor) 및 테마(Theme) 생성/변경/삭제 기능 등을 제공할 수 있다. 한편, 임포트 기능은, 멀티플 업데이트(Multiple update)도 지원할 수 있다.The import function, for example, as shown in (b) of FIG. 31, functions such as creating/changing/deleting images required for the tour, filter and search functions, creating/changing/changing floors and themes. A delete function may be provided. Meanwhile, the import function may also support multiple updates.
편집 기능은, 키맵/프리뷰 기능, 3D 모델링 기능 지원, 이동 및 각종 액션(Hotspot) 편집 기능, Undo/Redo 기능, 자동 저장 기능, 동시 작업 제한 기능, 기타 편집 관련 기능 등을 제공할 수 있다. 예를 들어, 도 32의 (a)에서는 이러한 편집 기능과 관련하여 TOP 뷰를, 도 32의 (b)에서는 ISO 뷰를 예시하였다. 도 32의 (a)와 도 32의 (b)에서 이미지 내 원형 아이템은 카메라 포인트와 관련된 핫스팟을 나타내고 이러한 핫스팟의 개수는 임의 설정이 가능하다. 그 밖에, 상기 이미지 내 복수의 핫스팟들 중 하나의 핫스팟이 선택되면, 선택된 핫스팟에 설정된 카메라 포인트 예를 들어, 카메라 앵글도 표시될 수 있다.The editing function may provide a keymap/preview function, 3D modeling function support, movement and various action (hotspot) editing functions, undo/redo function, automatic save function, simultaneous operation limitation function, and other editing-related functions. For example, in (a) of FIG. 32, a TOP view is illustrated in relation to such an editing function, and in (b) of FIG. 32, an ISO view is illustrated. 32(a) and 32(b), circular items in the images represent hotspots related to camera points, and the number of hotspots can be arbitrarily set. In addition, when one hotspot is selected from among a plurality of hotspots in the image, a camera point, for example, a camera angle set to the selected hotspot may also be displayed.
그 밖에, 편집 기능과 관련하여, 전술한 핫스팟들 중 복수의 핫스팟들이 소정 시간에 순차적으로 선택이 된 경우에는, 선택된 순서에 따라 핫스팟의 순서가 결정되고, 임의로 상기 순서에 따라 도 32의 (a)와 도 32의 (b)과 같이, 우측 화면(일종의 프리뷰 기능)이 자동 재생될 수 있도록 설정할 수 있다. 또는, 복수의 핫스팟들 중 하나의 핫스팟이 선택되면, 미리 설정되거나 선택된 핫스팟의 이해를 돕기 위해 다음 선택 추천 핫스팟이 표시되도록 하여 투어 가이드를 할 수도 있다.In addition, in relation to the editing function, when a plurality of hotspots among the aforementioned hotspots are sequentially selected at a predetermined time, the order of the hotspots is determined according to the selected order, and the order of FIG. 32 (a) is optionally determined according to the order. ) and FIG. 32(b), the right screen (a kind of preview function) can be set to be automatically reproduced. Alternatively, when one hotspot is selected from among a plurality of hotspots, the tour guide may display the next selected hotspot to help understand the previously set or selected hotspot.
비록 도시되진 않았으나, 도 32의 (a)와 도 32의 (b)의 좌측 이미지 내 각 핫스팟에는 넘버링이 제공되고, 미리 설정된 소정 시간 내에 제공된 넘버링 중 최초 넘버링과 최종 넘버링 또는 제1 넘버링에서 제2 넘버링(각각, 임의의 넘버링)이 선택되면, 넘버링 순서에 따라 자동 재생될 수도 있다. 상기 넘버링은 사용자 단말(110)이나 서버(130)에 의해 설정되거나 사용자 단말(120)에 의해 자주 시청된 뷰의 수를 기초로 자동 설정될 수도 있다. 상기에서, 선택은 드래그 방식으로 이루어질 수도 있다.Although not shown, numbering is provided for each hotspot in the left image of FIGS. 32(a) and 32(b), and the first numbering and the last numbering among the numbering provided within a predetermined time, or the second from the first numbering If numbering (respectively, arbitrary numbering) is selected, it may be automatically reproduced according to the numbering sequence. The numbering may be set by the user terminal 110 or the
그 밖에, 전술한 바와 달리, 도 32의 (a)와 도 32의 (b)의 좌측 이미지에서 하나의 핫스팟이 선택되거나 디폴트 핫스팟에 따라 도 32의 (a)와 도 32의 (b)의 우측 이미지가 제공된 경우에는, 좌측의 다른 핫스팟을 선택하지 않더라도 카메라 앵글의 변화에 따라 이어지는 핫스팟으로 이동할 수 있도록 제공할 수 있다. 예를 들어, 이 경우 도 32의 (a)와 도 32의 (b)의 좌측 이미지에는 상기 카메라 앵글의 변화에 따라 선택 가능한 핫스팟 정보가 선택된 핫스팟과 유사한 방식으로 하이라이트(highlight) 표시되어 제공되고, 우측 이미지에서는 다른 핫스팟으로의 이동 선택 여부 가이드가 제공될 수 있다.In addition, unlike the above, one hotspot is selected from the left images of FIGS. 32(a) and 32(b) or the right side of FIGS. If an image is provided, it can be provided so that the user can move to the following hotspot according to the camera angle change without selecting another hotspot on the left. For example, in this case, in the left image of FIG. 32(a) and FIG. 32(b), hotspot information that can be selected according to the change of the camera angle is highlighted and displayed in a manner similar to the selected hotspot, In the right image, a guide on whether or not to move to another hotspot may be provided.
배포 기능과 관련해서는, 도 33과 같이 최종 검수 화면(프리뷰) 및 배포 기능과, 씬별 진입 URL을 제공할 수 있다. 상기 배포 기능은 호스팅, 임베딩 등 방식을 포함할 수 있다.Regarding the distribution function, the final inspection screen (preview) and distribution function, and an entry URL for each scene can be provided as shown in FIG. 33 . The distribution function may include hosting, embedding, and the like.
한편, 에디터의 데이터 커뮤니케이션, 즉 프로토콜은 다음과 같다.Meanwhile, the editor's data communication, that is, the protocol is as follows.
로그인과 관련해서는, 어카운트 도메인으로 재지정(redirect)하여 통합 로그인 처리하고 콜백(callback)으로 토큰을 받아와서 로그인 처리할 수 있다.Regarding login, integrated login can be processed by redirecting to the account domain, and login can be processed by receiving a token as a callback.
투어 생성/변경/삭제 등과 관련해서는, 예를 들어 RESTful API를 통해 백스테이지(310)에 단계별로 불러오기/저장을 수행할 수 있다. 사용자 단말(110)에서 리소스 파일(image, model, etc.)을 업로드를 하는 경우도 전술한 바와 같다.Regarding tour creation/change/deletion, etc., loading/storing may be performed step by step in the backstage 310 through, for example, a RESTful API. The case of uploading a resource file (image, model, etc.) from the user terminal 110 is the same as described above.
동시접속 제한과 관련해서는, 예를 들어 웹소켓(Websocket)을 사용하여 백스테이지(310)에 현재 연결된 세션을 관리할 수 있다.Regarding the simultaneous access limit, a session currently connected to the backstage 310 may be managed using, for example, Websocket.
상기 플레이어(250)는, 웹빌더로 제작된 투어를 재생할 수 있는 웹 서비스로, 배포된 투어 메타데이터를 기반으로 리소스(이미지 및 영상, 3D 모델 등)들을 로드(load)하여 렌더링(rendering)하는 기능, 씬 간 이동 기능 및 테마 변경 기능, 그 밖에 각종 기능들을 핫스팟 버튼 혹은 컨텐츠 내 부착된 형태로 제공하는 기능, 쿼리 파라미터(query parameter) 형태로 부가 기능 제공, 반응형 웹 지원 기능 등을 제공할 수 있다. 상기에서, 각종 기능에는 이미지 슬라이더(image slider), 비디오 뷰어(video viewer), 3D 모델 뷰어(3D model viewer), 커스텀 HTML 뷰어(custom HTML viewer) 등이 포함될 수 있다.The
한편, 플레이어(250)와 관련된 데이터 커뮤니케이션, 즉 프로토콜은 다음과 같다. 3D 컨텐츠 메이커인 사용자 단말(110)과 달리, 일반 사용자 대상으로 로그인 과정 없이 볼 수 있는 구조를 가질 수 있다. 데이터 로드와 관련하여, 심플 스토리지 서비스와 클라우드 프런트 상에 배포된 메타데이터, 리소스들을 HTTP로 로드할 수 있다. 채팅과 관련하여, 예를 들어 웹소켓을 이용하여 채팅 서버로 데이터를 송수신할 수 있다. 문의 폼과 관련하여, 예를 들어 RESTful API로 자피어(zapier) 서비스로 데이터를 전송할 수 있다. 통계와 관련하여, 앞서 설명한 바와 같이 예컨대, 고객 행동 데이터를 분석 서버(예를 들어, 구글 어낼리틱스와 같은)에 커스텀 이벤트(Custom event) 형태로 저장할 수도 있다. 상기 고객 행동 데이터에는, 씬 방문/체류시간(디폴트 타임 윈도우(default time window)를 미리 설정된 임의의 시간동안(예를 들어, 15seconds))로 카운트할 수 있으며, 핫스팟 액션 등도 포함될 수 있다.Meanwhile, data communication related to the
서버(130)와 사용자 단말(110) 사이에서 3D 컨텐츠 처리 과정을 도 14 내지 15를 참조하여 설명하면, 다음과 같다.A process of
먼저, 도 14를 참조하면, 사용자 단말(110)에서 3D 툴을 실행하여 3D 컨텐츠를 제작할 수 있다(S110).First, referring to FIG. 14 , 3D content may be produced by executing a 3D tool in the user terminal 110 (S110).
서버(130)는 API를 이용하여 플러그-인을 통하여 사용자 단말(110)에서 제작된 3D 컨텐츠 데이터를 그대로 수신할 수 있다(S120).The
서버(130)(웹빌더)는 수신한 3D 컨텐츠 데이터를 편집 등 패키징(packaging)할 수 있다(S130).The server 130 (web builder) may edit and package the received 3D content data (S130).
서버(130)는 패키징한 3D 컨텐츠를 배포할 수 있다(S140).The
도 15를 참조하여, 패키징 작업 방식을 설명하면, 다음과 같다.Referring to FIG. 15, the packaging operation method is described as follows.
서버(130)는 API를 이용하여 사용자 단말(110)에서 제작된 3D 컨텐츠 데이터가 수신되면, 이를 패키징하는데 이 경우, 패키징 작업 방식을 선택할 수 있다(S210). 이는 서버(130)에서 사용자 단말(110)의 이용 편의를 위하여 플로우 생성과 관련하여 템플릿(template, 또는 프리셋)을 제공함에 따른 것이다.When 3D content data produced by the user terminal 110 is received using the API, the
제1 방식은, 서버(130)에서 디폴트값 정의가 가능한 모든 데이터가 지정되어 있는 신규 플로우를 생성하는 것이다(S220). 상기 제1 방식은 서버(130)에서 제공하는 템플릿의 프레임만 이용하는 방식일 수 있다.A first method is to create a new flow in which all data for which default values can be defined are specified in the server 130 (S220). The first method may be a method using only frames of a template provided by the
반면, 제2 방식은, 서버(130)에서 템플릿에 샘플(sample)로 생성되어 있는 시퀀스(sequence), 모듈, 아이템 등을 그대로 이용하여 신규 플로우를 생성하는 것이다(S230). 상기 제2 방식은 서버(130)에서 제공하는 템플릿을 그래도 이용하는 방식일 수 있다.On the other hand, in the second method, a new flow is created by using a sequence, module, item, etc. generated as a sample in the template in the server 130 (S230). The second method may be a method of still using a template provided by the
한편, 제3 방식은, 서버(130)에서 템플릿 없이 신규 플로우를 자동 생성하는 것으로, 이 경우 시퀀스도 사용자가 생성할 수 있다(S240). 상기 제3 방식은 예컨대, API를 통해 사용자 단말(110)로부터 플러그-인을 통해 추출한 3D 컨텐츠 데이터를 바로 배포하는 방식일 수 있다.Meanwhile, a third method is to automatically create a new flow without a template in the
한편, 상기 S230 단계와 S240 단계에서 신규 플로우가 생성이 된 경우에는, 서버(130)는 사용자 단말에서 설정, 공유 등 변경 사항과 이미지, 투어, 비디어 등의 모듈 편집 기능을 제공할 수 있다(S250).On the other hand, when a new flow is created in steps S230 and S240, the
상기 S250 단계 이후 전술한 제1 내지 제3 방식으로 처리된 플로우 데이터가 배포될 수 있다. 이 때, 상기 배포 방식과 관련하여, 전술한 플레이어로 호스팅 배포, 임베딩 스크립트 생성, 파일 형태로 저장 등이 채택될 수 있다. 호스팅 배포 방식의 경우, 임의로 사용자 계정당 10개의 플로우 생성이 가능하도록 할 수 있다. After the step S250, the flow data processed in the first to third methods described above may be distributed. At this time, in relation to the distribution method, hosting distribution with the above-described player, generation of an embedding script, storage in a file form, and the like may be adopted. In the case of the hosting distribution method, it is possible to arbitrarily create 10 flows per user account.
다음으로, 3D 가상 공간 컨텐츠 스트리밍 서비스에 대해 설명하면, 다음과 같다.Next, the 3D virtual space content streaming service will be described.
도 16은 본 발명의 일실시예에 따른 3D 가상 공간 컨텐츠 스트리밍 서비스를 위한 서버(130)의 구성 블록도이며, 도 17은 본 발명의 일실시예에 따른 3D 가상 공간 컨텐츠의 처리 과정을 설명하기 위해 도시한 순서도이다.16 is a block diagram of a
도 16을 참조하면, 3D 가상 공간 컨텐츠의 스트리밍 서비스를 위한 서버(130)는, 어카운트(610), IAM(620), 페이먼트 모듈(630), 라이브 콘솔(Live Console)(640), 프로세서(650), 클라우드 플랫폼(660), 플레이어(670), CAM(680), 시그널링 서버(690) 등을 포함할 수 있다. 3D 가상 공간 컨텐츠의 스트리밍 서비스를 위한 서버(130)는 반드시 도 16에 도시된 구성요소에 한정되지 않으며, 하나 또는 그 이상의 구성요소들을 더 포함하거나 그 반대일 수 있다. 개별 구성요소로 도시되었다고 하더라도 실시예에 따라 하나 또는 그 이상의 구성요소들이 모듈화될 수도 있고 그 반대일 수도 있다.Referring to FIG. 16, the
한편, 도 16을 설명함에 있어서, 전술한 도 12 내지 13과 동일한 구성요소들은 해당 설명을 참조하고 여기서 중복 설명은 생략한다. 이하에서는 도 12 내지 13과 차이나는 구성을 위주로 하여 3D 가상 공간 컨텐츠의 스트리밍 서비스 제공에 대해 설명한다.Meanwhile, in the description of FIG. 16, the same components as those of FIGS. 12 to 13 refer to corresponding descriptions, and redundant descriptions are omitted here. Hereinafter, provision of a streaming service of 3D virtual space content will be described with a focus on configurations different from those of FIGS. 12 and 13 .
라이브 콘솔(Frontend)(640)은 3D 가상 공간 컨텐츠의 업로드/설정 변경 등을 담당하는 콘솔 웹 서비스로서, 다음과 같은 기능을 제공할 수 있다.The live console (Frontend) 640 is a console web service responsible for uploading/changing settings of 3D virtual space contents, and may provide the following functions.
라이브 콘솔(640)은 라지 파일 업로드 기능, 플랜 선택 기능, 제어 패널 제공 기능을 제공할 수 있다. 관련하여, 컨텐츠 파일은 EXE 포맷(format)을 가지며 픽셀 스트리밍(pixel streaming enabled)이 가능할 수 있다. 라이브 콘솔(640)은 제어 패널 제공을 통하여 컨텐츠 온/오프, 버전 등에 대한 설정할 수 있으며, 최대 연결(Max connection), 퀄리티(Quality)(QoS: 상시 준비 VM 개수, 화질: FHD, HD, 등) 제어 등 커스터머 한계 설정(customer limit setting) 기능을 수행할 수 있다.The
한편, 라이브 콘솔(640)의 데이터 커뮤니케이션(프로토콜)은, 예를 들어 RESTful API를 통하여 프로세서(650), 즉 라이브와이어(Livewire) 백엔드에 파일을 업로드 및 제어 요청 전달할 수 있다.Meanwhile, data communication (protocol) of the
플레이어(프론트엔드)(670)는, 스트리밍 플레이어로서 플레이어 내 다른 URL(예컨대, https://olimplayer.com/live/{content_id})로 WebRTC 기반으로 라이브 스트리밍 서비스를 제공할 수 있으며, 컨텐츠 연결을 위한 대기 화면 제공과 같은 불안정한 연결 제어 기능, WebRTC를 통한 화면 실시간 전송 기능, 컨텐츠 제어 기능(사용자 컨트롤 전송) 기능 등을 포함할 수 있다.The player (front end) 670, as a streaming player, may provide a live streaming service based on WebRTC to another URL (eg, https://olimplayer.com/live/{content_id}) within the player, and connect the content. It may include unstable connection control functions such as provision of a standby screen for various purposes, screen real-time transmission function through WebRTC, content control function (user control transmission) function, and the like.
플레이어(670)의 데이터 커뮤니케이션(프로토콜)은, 예를 들어 RESTful API를 통하여 프로세서(650)(즉, 라이브와이어)로부터 메타데이터 및 접속 프로토콜을 수신할 수 있으며, WebRTC를 통하여 VM(가상머신)으로부터 실시간 화면 데이터를 수신할 수 있다.Data communication (protocol) of the
프로세서(650)는 라이브와이어(백엔드)로 라이브 서비스의 메인 백엔드로 컨텐츠 관리, 사용자 요청 관리, 가상머신 관리 등을 수행할 수 있다.The
프로세서(650)는 사용자별 컨텐츠 파일 관리, 컨텐츠 스트리밍 옵션 관리 등 컨텐츠 관리 기능, 리퀘스트 큐(Request queue)를 통해 연결까지 대기해야 하는 사용자 요청 및 상태 관리 등 사용자 요청 관리 기능, VM 스케줄러를 통해 재사용 극대화를 통해 비용을 최소화하고 사용자 경험을 높이는 가상 머신 관리 기능 등을 제공할 수 있다.The
프로세서(650)의 데이터 커뮤니케이션(프로토콜)은, RESTful API를 통하여, 상기 라이브 콘솔(640)와 플레이어(670)에 API를 제공 및 클라우드 플랫폼(660)에 제어 및 상태 확인용으로 이용할 수 있다. 프로세서(650)는 웹소켓을 통하여 가상머신 상태 확인 및 기타 실시간 데이터용으로 이용할 수 있다.The data communication (protocol) of the
라이브 콘솔(640)은 EXE 파일과 설정 요청을 프로세서(650)으로 전달할 수 있다. 프로세서(650)는 EXE 파일과 VM 액션들을 클라우드 플랫폼(660)으로 업로드할 수 있다. 여기서, 클라우드 플랫폼은 VM들과 공유 스토리지를 포함할 수 있다. CAM(Content Access Manager)(680)는 룰 기반 액세스 컨트롤을 수행하며, 퍼블릭/프라이빗(public/private) 체크와 페이드(paid) 체크를 프로세서(650)와의 관계에서 수행할 수 있다. 시그널링 서버(690)는 플레이어(670) 동작 요청에 따라 어드레스 교환(address exchange), 연결 메이커(connection maker), 퀄리티 컨트롤을 위한 시그널링을 프로세서(650)와의 관계에서 수행할 수 있다. 플레이어(670)는 클라우드 플랫폼(660)의 가상머신과의 관계에서 WebRTC 프로토콜에 따라 TURN 서버(미도시)를 통하여 릴레이 기능을 수행할 수 있다. 클라우드 플랫폼(660)은 GPU(Graphic Process Unit)의 지원을 받는 윈도우 기반 VM을 포함할 수 있는데, ElasticSearch(미도시)는 VM과 플레이어(670)를 통한 씬, 레이어, 핫스팟 등에 대한 사용자 액션 데이터에 관한 로그들을 수집할 수 있으며, 플레이어로 리턴할 수도 있다.The
도 17을 참조하여, 3D 가상 공간 컨텐츠 파일 처리 과정을 설명하면, 다음과 같다.Referring to FIG. 17, a process of processing a 3D virtual space content file is as follows.
사용자 단말(110)에서 3D 가상 공간 컨텐츠와 같은 라지 컨텐츠 파일이 생성되면, 실시간으로 라이브 콘솔(640)에서 상기 생성된 3D 가상 공간 컨텐츠 파일을 수신할 수 있다(S310).When a large content file such as 3D virtual space content is generated in the user terminal 110, the generated 3D virtual space content file can be received in the
라이브 콘솔(640)은 API를 통해 수신한 3D 가상 공간 컨텐츠 파일과 설정 요청을 프로세서(650)에 업로드할 수 있다(S320).The
프로세서(650)는 가상머신 스케줄링에 따른 가상머신 액션 데이터와 수신된 3D 가상 공간 컨텐츠 파일을 가상머신들을 포함한 클라우드 플랫폼(660)으로 업로드할 수 있다(S330).The
클라우드 플랫폼(660)에서 상기 프로세서(650)에 의해 스케줄링 된 가상머신을 통하여 수신된 3D 가상 공간 컨텐츠 파일을 처리할 수 있다(S340). 이 때, 가상머신에 의해 처리된 3D 가상 공간 컨텐츠 파일은 공유 저장소에 저장될 수 있다.The
시그널링 서버(690)를 거쳐 클라우드 플랫폼(660)의 가상머신에 의해 처리된 3D 가상 공간 컨텐츠는 플레이어(670)로 업로드되고 상기 플레이어(670)에서 스트리밍 서비스로 제공할 수 있다(S350).The 3D virtual space content processed by the virtual machine of the
전술한 실시예와 관련하여, 이하에서는 3D 컨텐츠와 같은 빅데이터의 스트리밍을 위한 클라우드 구축 및 VM 스케줄링 프레임워크에 관하여 첨부된 도면을 참조하여 설명한다. 상기 클라우드 구축은 전술한 도 16의 클라우드 플랫폼에 대응 또는 반영될 수 있다. 이는 사용자 요청에 따른 VM 인스턴스(instance) 생성 및 스트리밍 실행 가능한 백엔드 서버 구축, 클라우드 환경 구축, 고신뢰/고성능 스트리밍 서비스 제공을 위한 VM 스케줄링 프레임워크에 관한 것이다.In relation to the foregoing embodiment, a cloud construction and VM scheduling framework for streaming big data such as 3D content will be described with reference to the accompanying drawings. The cloud construction may correspond to or be reflected in the aforementioned cloud platform of FIG. 16 . This relates to a VM scheduling framework for creating a VM instance according to a user's request, building a back-end server capable of streaming, building a cloud environment, and providing high-reliability/high-performance streaming services.
웹소켓 및 RESTful API와 관련하여, 노멀 클라이언트들을 위한 웹소켓은, run(activate)/exit(deactivate), 그리고 어드미니스터(administrator)를 위한 RESTful API는 VM 생성(create)/VM 삭제(delete)/VM 상태(status) 등에 활용될 수 있다. 사용자 요청 큐의 핸들링, 파일 시스템과 같이 자동으로 마운트되는 공유 컨텐츠 스토어, VM 스케줄러, SQL 로그 기반 모니터링 등이 관계될 수 있다. 상기에서 VM 스케줄러와 관련하여, 예를 들어 기실행된 대기 가상머신 인스턴스가 있는 경우에 재활용 방안, 동시접속 제한 방안, 사용자 계정 비활성 및 연결 종료 시 일정시간 대기 후 인스턴스 종료 방안 등이 고려될 수 있다.Regarding websocket and RESTful API, websocket for normal clients run(activate)/exit(deactivate), and RESTful API for administrator create/delete VM Can be used for /VM status, etc. Handling of user request queues, automatically mounted shared content stores such as filesystems, VM schedulers, SQL log-based monitoring, etc. can be involved. Regarding the VM scheduler above, for example, in case there is a standby virtual machine instance that has already been run, a method of recycling, a method of limiting concurrent access, a method of inactivating a user account and terminating an instance after waiting for a certain period of time when connection is terminated may be considered. .
도 18은 프레임워크의 전체 아키텍쳐를 도시한 도면이며, 도 19 내지 30은 각 시나리오에 따른 빅데이터 스트리밍 처리 과정을 설명하기 위해 도시한 도면이다.18 is a diagram showing the overall architecture of the framework, and FIGS. 19 to 30 are diagrams for explaining a big data streaming process according to each scenario.
도 18을 참조하면, 프레임워크의 전체 아키텍처는, 클라이언트 단, VM 스케줄링 프레임워크 단, 및 클라우드 플랫폼 단으로 구성될 수 있다.Referring to FIG. 18 , the overall architecture of the framework may be composed of a client end, a VM scheduling framework end, and a cloud platform end.
각 단의 구성과 설명은 후술하는 각 시나리오에 따른 빅데이터 스트리밍 처리 과정과 함께 설명하며, 해당 구성요소들에 대한 상세 설명은 전술한 도 16의 설명을 참조한다.The configuration and description of each stage will be explained together with the big data streaming processing process according to each scenario to be described later, and the detailed description of the corresponding components refers to the above-described description of FIG. 16 .
먼저, 빅테이터 스트리밍 처리 과정에 대한 시나리오는 다음과 같이 정의될 수 있다. 제1 시나리오는 새로운 VM과 함께 액티베이션(activation)(도 19 및20 참조), 제2 시나리오는 재사용 가능한 VM 및 VM상의 컨텐츠와 함께 액티베이션(도 21 및 22 참조), 제3 시나리오는 새로운 VM과 함께 액티베이션(activation)(도 23 및 24 참조), 제4 시나리오는 재사용 가능한 VM 및 VM상의 컨텐츠와 함께 액티베이션(도 25 및 26 참조), 제5 시나리오는 새로운 VM과 함께 액티베이션(activation)(도 27 및 28 참조), 및 제6 시나리오는 재사용 가능한 VM 및 VM상의 컨텐츠와 함께 액티베이션(도 29 및 30 참조)이다.First, the scenario for big data streaming processing can be defined as follows. The first scenario is activation with a new VM (see FIGS. 19 and 20), the second scenario is activation with a reusable VM and content on the VM (see FIGS. 21 and 22), and the third scenario is activation with a new VM. activation (see FIGS. 23 and 24), the fourth scenario is activation with a reusable VM and content on the VM (see FIGS. 25 and 26), and the fifth scenario is activation with a new VM (see FIGS. 27 and 26). 28), and the sixth scenario is activation with a reusable VM and content on the VM (see FIGS. 29 and 30).
먼저, 도 19와 20을 참조하여, 제1 시나리오(VM 인스턴스가 존재하지 않고 자원 할당이 가능한 경우)에 따른 처리 과정을 설명한다.First, with reference to FIGS. 19 and 20 , a process according to the first scenario (when no VM instance exists and resource allocation is possible) will be described.
클라이언트1에서 컨텐츠 식별자(contentId)와 함께 액티베이션 요청을 하면(1), VM 스케줄러는 스케줄링 큐를 통해 VM 스테이터스 테이블로 페치 요청(fetch request)을 전송할 수 있다(2). VM 스케줄러의 VM 스테이터스 테이블은 페치 요청 수신에 따라 데이터베이스에 로그 요청을 할 수 있다(3).When
클라우드 플랫폼에서는 새로운 VM을 생성하고, 이렇게 생성된 새로운 VM을 컨텐츠 식별자와 함께 할당할 수 있다(4). 이때, 새롭게 생성된 VM 정보는 컨텐츠 식별자와 함께 VM 스테이터스 테이블에 기록될 수 있다.In the cloud platform, a new VM can be created and the new VM created in this way can be assigned with a content identifier (4). At this time, the newly created VM information may be recorded in the VM status table together with the content identifier.
VM 스케줄러는 VM 스테이터스 테이블을 참조하여 VM 정보(컨텐츠 식별자와 할당된 VM)를 시그널링 서버로 전송하고(5), 할당된 VM에서 시그널링 서버를 시그널링할 수 있다(6).The VM scheduler refers to the VM status table and transmits VM information (content identifier and assigned VM) to the signaling server (5), and can signal the signaling server in the assigned VM (6).
시그널링 서버는 레디 메시지를 VM 스케줄러로 전송하고(7), VM 스케줄러는 할당된 VM 정보와 함께 클라이언트1의 액티베이션 요청에 응답한다(8).The signaling server transmits the ready message to the VM scheduler (7), and the VM scheduler responds to the activation request of
클라이언트1이 시그널링 서버를 시그널링하면(9), 클라이언트1과 할당된 VM 사이에 WebRTC가 연결되어 액티베이션된다(10).When
도 20을 참조하면, 클라이언트는 서버(130)와 통신을 위해 웹소켓 생성 요청을 하고, 서버(130)는 웹소켓을 생성할 수 있다.Referring to FIG. 20 , a client requests creation of a WebSocket for communication with the
이렇게 웹소켓이 생성되면, 클라이언트는 액티베이션 요청을 하고, 스케줄링 큐에서 요청 큐를 생성하여 VM 스케줄러로 전달하면, VM 스케줄러는 VM 스케줄링을 수행할 수 있다. When the WebSocket is created in this way, the client makes an activation request, creates a request queue in the scheduling queue, and transfers it to the VM scheduler, and the VM scheduler can perform VM scheduling.
VM 스케줄링 과정을 살펴보면, VM 스케줄러는 먼저, 상기 요청된 큐가 기존 VM 인스턴스인지 판단하여, 상기 요청된 큐가 기존 VM 인스턴스가 아니라면, VM 스케줄러는 VM 추가 시동이 가능 여부를 판단하여 가능하면, 새로운 VM 인스턴스(VM-N)을 시동하고, 시동된 VM 인스턴스에 컨텐츠 식별자를 할당하고, 해당 VM을 할당할 수 있다.Looking at the VM scheduling process, the VM scheduler first determines whether the requested queue is an existing VM instance, and if the requested queue is not an existing VM instance, the VM scheduler determines whether an additional VM can be started. A VM instance (VM-N) may be started, a content identifier may be assigned to the started VM instance, and the corresponding VM may be assigned.
할당된 VM의 정보는 WebRTC를 통해 클라이언트로 전달되고, WebRTC를 통해 클라이언트와 VM-N이 연결될 수 있다.The assigned VM information is delivered to the client through WebRTC, and the client and VM-N can be connected through WebRTC.
도 21과 22을 참조하여, 제2 시나리오(기존 컨텐츠에 해당하는 VM 인스턴스가 이미 존재하는 경우)에 따른 처리 과정을 설명한다.Referring to FIGS. 21 and 22 , a process according to the second scenario (when a VM instance corresponding to the existing content already exists) will be described.
도 21과 22의 과정을 설명함에 있어서, VM 할당과 관련된 내용을 제외하고는 동일한바, 이전 설명을 참조하고, 여기서는 제1 시나리오와의 차이점을 위주로 설명한다.In the description of the processes of FIGS. 21 and 22, since they are the same except for the contents related to VM allocation, reference is made to the previous description, and differences from the first scenario will be mainly described here.
도 21을 참조하면, VM 스케줄러는 페치 요청에 따라 VM 스테이터스 테이블을 살펴본 결과, 만약 해당 컨텐츠 식별자와 동일한 VM이 이미 존재하는 경우에는, - 전술한 제1 시나리오와 같이 새로운 VM 시동 및 할당이 아니라 - 해당 VM을 재사용하여 재할당할 수 있다.Referring to FIG. 21, as a result of examining the VM status table according to the fetch request, the VM scheduler finds that a VM identical to the corresponding content identifier already exists - instead of starting and assigning a new VM as in the first scenario described above. The VM can be reused and reassigned.
도 22를 참조하면, VM 스케줄러는 수신된 페치 요청이 기존 VM 인스턴스에 관한 것이고, 해당 VM 인스턴스의 컨텐츠 식별자가 페치 요청된 컨텐츠 식별자와 같으면, 해당 VM을 재사용하도록 할당할 수 있다.Referring to FIG. 22 , if the received fetch request is related to an existing VM instance and the content identifier of the corresponding VM instance is the same as the content identifier of the fetch request, the VM scheduler may allocate the corresponding VM to be reused.
도 23과 24를 참조하여, 제3 시나리오(VM 인스턴스는 존재하나 해당 컨텐츠 식별자는 없는 경우)에 따른 처리 과정을 설명한다.Referring to FIGS. 23 and 24 , processing according to the third scenario (a case in which a VM instance exists but no corresponding content identifier) will be described.
도 23과 24의 과정을 설명함에 있어서, VM 할당과 관련된 내용을 제외하고는 동일한바, 이전 설명을 참조하고, 여기서는 제1 시나리오 및 제2 시나리오와의 차이점을 위주로 설명한다.In the description of the processes of FIGS. 23 and 24, since they are the same except for the contents related to VM allocation, reference is made to the previous description, and the differences between the first and second scenarios will be mainly described here.
도 23을 참조하면, VM 스케줄러는 페치 요청에 따라 VM 스테이터스 테이블을 살펴본 결과, 만약 해당 컨텐츠 식별자와 동일한 VM이 이미 존재하는 경우에는, - 전술한 제1 시나리오와 같이 새로운 VM 시동 및 할당이 아님 - 해당 VM을 재사용하여 재할당할 수 있다. 다만, 이 경우, 제2 시나리오에서 이미 동일한 컨텐츠가 해당 VM에 할당된 것을 그대로 재사용하는 것이 아니라, 제3 시나리오는 할당 가능한 재사용 VM은 있으나 동일한 컨텐츠 식별자를 가지지 않은 경우이다. 따라서, VM 스케줄러는 재사용 가능한 VM에 페치 요청된 컨텐츠 식별자와 함께 할당할 수 있다.Referring to FIG. 23, as a result of examining the VM status table according to the fetch request, the VM scheduler finds that a VM identical to the corresponding content identifier already exists - not starting and assigning a new VM as in the first scenario described above. The VM can be reused and reassigned. However, in this case, the same content already allocated to the corresponding VM is not reused as it is in the second scenario, but in the third scenario, there is a reuseable VM that can be allocated but does not have the same content identifier. Accordingly, the VM scheduler may allocate the fetch-requested content identifier to the reusable VM.
도 24를 참조하면, VM 스케줄러는 수신된 페치 요청이 기존 VM 인스턴스에 관한 것이나 해당 VM 인스턴스의 컨텐츠 식별자가 페치 요청된 컨텐츠 식별자와 동일하지 않으면, 해당 VM 인스턴스에 상기 컨텐츠 식별자를 부여하여 해당 VM이 재사용되도록 할당할 수 있다.Referring to FIG. 24, if the received fetch request is for an existing VM instance, but the content identifier of the corresponding VM instance is not the same as the content identifier of the fetch request, the VM scheduler assigns the content identifier to the corresponding VM instance so that the corresponding VM can It can be allocated to be reused.
도 25와 26을 참조하여, 제4 시나리오(스트리밍 데이터)에 따른 처리 과정을 설명한다.A process according to the fourth scenario (streaming data) will be described with reference to FIGS. 25 and 26 .
도 25와 26을 참조하면, 클라이언트는 시그널링 서버와 웹소켓을 생성하고, 시그널링 서버는 VM과 웹소켓을 생성할 수 있다. 이렇게 시그널링 서버가 클라이언트와 VM 사이에 각각 웹소켓을 생성하면, 클라이언트와 VM은 WebRTC에 의해 스트리밍 서비스를 할 수 있다.Referring to FIGS. 25 and 26 , the client may create a signaling server and WebSocket, and the signaling server may create a VM and WebSocket. In this way, if the signaling server creates a web socket between the client and the VM, the client and the VM can provide streaming service by WebRTC.
도 27을 참조하여, 제5 시나리오(기존 VM 인스턴스 상태 조회)에 따른 처리 과정을 설명한다.Referring to FIG. 27, a process according to the fifth scenario (inquiry of existing VM instance status) will be described.
클라이언트에서 기존 VM 인스턴스 상태 조회 요청을 전송하면, 스케줄링 큐에서 큐를 생성하여 VM 스케줄러로 전송하고, VM 스케줄러는 VM 스테이터스 테이블에서 해당 VM 인스턴스를 조회하여 그 결과를 클라이언트로 리턴(return)(응답)할 수 있다.When a client sends a request to inquire the status of an existing VM instance, a queue is created in the scheduling queue and sent to the VM scheduler. The VM scheduler searches the VM instance in the VM status table and returns the result to the client (response). can do.
도 28과 29를 참조하여, 제6 시나리오(VM 인스턴스 디액티베이션)에 따른 처리 과정을 설명한다.Referring to FIGS. 28 and 29 , processing according to the sixth scenario (VM instance deactivation) will be described.
도 28과 29를 참조하면, 클라이언트에서 VM 디액티베이션 요청을 시그널링 서버로 전송하면, 시그널링 서버는 연결 해제(disconnection message)를 VM 스케줄러로 전송할 수 있다.Referring to FIGS. 28 and 29 , when a client transmits a VM deactivation request to the signaling server, the signaling server may transmit a disconnection message to the VM scheduler.
VM 스케줄러는 VM 스테이터스 테이블을 업데이트하고, 데이터베이스에 로그 클라이언트와 VM 정보를 기록한다. 그리고 VM 스케줄러는 클라우드 플랫폼에 해당 VM (인스턴스)의 디액티베이션 요청을 전송하고, 클라우드 플랫폼에서 해당 VM을 디액티베이트할 수 있다.The VM scheduler updates the VM status table and records the log client and VM information in the database. In addition, the VM scheduler may transmit a request for deactivation of the corresponding VM (instance) to the cloud platform and deactivate the corresponding VM in the cloud platform.
도 30에서는 해당 시나리오에 이용되는 각 구성요소들 사이의 인터페이스, 즉 API를 예시한 것으로, 클라이언트는 VM 스케줄러와 웹소켓 API가 설정되고, 클라이언트(어드미니스터)는 VM 스케줄러와 RESTful API가 설정될 수 있다.30 illustrates the interface between each component used in the scenario, that is, the API. The VM scheduler and WebSocket API are set for the client, and the VM scheduler and RESTful API are set for the client (administrator). can
VM 스케줄러와 클라우드 플랫폼의 VM 사이, 및 VM 스케줄러와 시그널링 서버 사이에는 RESTful API가 설정될 수 있다.A RESTful API may be established between the VM scheduler and the VMs of the cloud platform and between the VM scheduler and the signaling server.
클라이언트와 시그널링 서버 사이, 시그널링 서버와 VM 사이, 클라이언트와 VM 사이에는 각각, 웹소켓 API가 설정될 수 있다.A WebSocket API may be set between the client and the signaling server, between the signaling server and the VM, and between the client and the VM, respectively.
다만, 도 30에 예시된 API는 일실시예로서, 반드시 이에 한정되는 것은 아니다.However, the API illustrated in FIG. 30 is an example, and is not necessarily limited thereto.
도 34는 다른 실시예에 따른 3D 컨텐츠 데이터 처리 과정을 설명하기 위해 도시한 순서도이다.34 is a flowchart illustrating a process of
도 34는 API를 이용하여 사용자 단말(110)에 설치된 플러그-인을 통하여 3D 툴에서 제작된 컨텐츠 데이터를 가져온 후에, 서버(130)에서 처리 과정에서 수정, 추가, 삭제 등 변경이나 업데이트가 있는 경우에 자동으로 상기 사용자 단말(110)의 3D 툴에 반영되도록 하는 것에 관한 실시예이다. 34 shows a case where there is a change or update, such as modification, addition, deletion, etc., in the process of processing in the
한편, 전술한 내용의 반대의 경우도 가능하다. 즉, API를 이용하여 사용자 단말(110)에 설치된 플러그-인을 통하여 3D 툴에서 제작된 컨텐츠 데이터를 가져온 후에, 사용자 단말(110)의 3D 툴에서 해당 컨텐츠 데이터의 업데이트가 있으면, 서버(130) 단에서 별도의 동작을 하지 않더라도 실시간 반영이 되도록 하는 것이다. On the other hand, the opposite case of the above is also possible. That is, after importing the content data produced by the 3D tool through the plug-in installed in the user terminal 110 using the API, if there is an update of the corresponding content data in the 3D tool of the user terminal 110, the
한편, 상기 과정에서, 변경이나 업데이트가 있는 경우에 이전 작업 내용과 차이점을 식별 가능하도록 새로운 파일명을 가질 수 있도록 제어할 수 있다. 이는 여러 번의 작업 과정에서 작업에 따른 오류나 실수 등에 따른 문제를 미연에 방지하기 위함이다. 한편, 반영되는 업데이트 내용은 식별 가능하도록 표시하여 해당 업데이트 내용을 직관적으로 판단할 수 있도록 서비스할 수 있다.On the other hand, in the above process, if there is a change or update, it can be controlled to have a new file name so that the difference from the previous work can be identified. This is to prevent problems caused by errors or mistakes during work in advance. On the other hand, the reflected update content can be displayed to be identifiable, so that the corresponding update content can be intuitively determined.
도 34를 참조하여, 본 실시예를 설명하되, S410 내지 S430 단계는 전술한 도 14의 S110 내지 S130 단계와 동일한 바, 그를 참조하고 중복 설명은 생략한다.Referring to FIG. 34, this embodiment will be described, but steps S410 to S430 are the same as steps S110 to S130 of FIG.
서버(130)는 패키징 과정에서 업데이트 내용이 있는지 판단하고(S440), 판단 결과 업데이트 내용이 있는 경우에는 해당 내용을 추출하여 제어 커맨드가 포함된 제어 데이터를 생성할 수 있다(S450).The
서버(130)는 S450 단계에서 생성된 제어 데이터를 사용자 단말(110)로 전송하여(S460), 3D 툴 상의 3D 컨텐츠에 자동 반영되도록 할 수 있다(S470). 이 경우, 태그(tag)를 통하여 해당 3D 컨텐츠에 대한 내용임을 표시하여 함께 저장하고, 추후 3D 툴을 실행하여 해당 3D 컨텐츠를 호출하면 업데이트가 있다는 표시와 함께 가이드를 제공하고, 선택에 따라 자동으로 업데이터가 반영된 3D 컨텐츠를 3D 툴 상에 제공할 수 있다. 한편, 전술한 3D 툴을 실행하여 해당 3D 컨텐츠를 호출하기 전에 복수의 업데이트가 있는 경우에는, 예를 들어 시간대 순으로 업데이트를 구분하여 표시하거나 최종 버전의 업데이트만 표시할 수도 있다. 전자의 경우에는 각 구분된 업데이트의 간략한 내용을 표시하여 직관적으로 업데이트 반영 여부를 선택할 수 있도록 할 수 있다.The
도 35는 서버(130)의 구성 블록도이다.35 is a block diagram of the
먼저, 도 35는 서버(130)의 구성 블록도로서, 본 발명의 일실시예에 따른 서버(130)는 메모리(memory)(2510)와 프로세서(processor)(2520)를 포함하여 구현될 수 있다. First, FIG. 35 is a configuration block diagram of the
상기 메모리(2510)는 하나 또는 그 이상의 데이터베이스(DB: database) 일 수 있으며, 전술한 각종 데이터베이스에 해당할 수 있다.The memory 2510 may be one or more databases (DBs), and may correspond to the above-described various databases.
상기 프로세서(2520)는 도 12 내지 15, 도 16 내지 17, 도 19 내지 29, 및 도 34에서 기술한 각종 기능을 수행할 수 있다. 상기 프로세서(2520)는 도 31 내지 33에 도시된 사용자 인터페이스가 제공되도록 처리할 수 있다.The processor 2520 may perform various functions described in FIGS. 12 to 15, 16 to 17, 19 to 29, and 34 . The processor 2520 may process to provide the user interface shown in FIGS. 31 to 33 .
이상 상술한 바와 같이, 본 발명은 3D 공간과 공간상에서 이루어지는 행위들을 접근이 용이한 웹 기반의 3D 가상 공간 컨텐츠로 변환시키며, 이에 필요한 위치 정보나 시각화 내용 등에 관한 자동 변환 기능, 호스팅 자동 구축, 상기 행위에 관한 다양한 관련 기능들을 웹 빌더를 통해 제어하고 팀 단위와 같은 이해관계자들이 손쉽게 협업할 수 있는 저작툴을 제공할 수 있다.As described above, the present invention converts 3D space and actions performed in space into easily accessible web-based 3D virtual space content, and provides an automatic conversion function for location information or visualization contents necessary for this, automatic hosting, and the above It is possible to control various related functions related to behavior through the web builder and to provide an authoring tool that allows stakeholders such as teams to easily collaborate.
한편, 상술한 방법은, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 코드를 저장하는 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, CD, DVD 등)와 같은 저장 매체를 포함한다.Meanwhile, the above-described method can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable medium. In addition, the structure of data used in the above method can be recorded on a computer readable medium through various means. Computer-readable media storing executable computer codes for performing various methods of the present invention include magnetic storage media (eg, ROM, floppy disk, hard disk, etc.), optical readable media (eg, CD, DVD) etc.).
본원 발명의 실시예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 방법들은 한정적인 관점이 아닌 설명적 관점에서 고려되어야 한다. 본 발명의 범위는 발명의 상세한 설명이 아닌 특허청구 범위에 나타나며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Those skilled in the art related to the embodiments of the present invention will be able to understand that it may be implemented in a modified form without departing from the essential characteristics of the above description. Therefore, the disclosed methods are to be considered in an illustrative rather than a limiting sense. The scope of the present invention is shown in the claims rather than the detailed description of the invention, and all differences within the equivalent range should be construed as being included in the scope of the present invention.
본 발명인 웹 기반 가상 공간 3D 컨텐츠 패키징 및 스트리밍 서비스 제공 방법, 이를 위한 장치 및 시스템는 다양한 컨텐츠 패키징 및 스트리밍 서비스 제공 방법, 장치 및 시스템에 이용할 수 있다.The present invention, a web-based
Claims (5)
3D 툴을 통하여 제작된 3D 컨텐츠 데이터가 제1 단말에 설치된 플러그-인을 통하여 상기 서버로 임포트(import) 되는 단계;
상기 임포트 된 3D 컨텐츠 데이터를 가상 공간을 위한 3D 컨텐츠로 패키징하는 단계; 및
상기 패키징 된 가상 공간 3D 컨텐츠를 웹을 기반으로 하여 스트리밍 방식으로 배포(publishing)하는 단계;를 포함하여 이루어지는,
웹 기반 가상 공간 3D 컨텐츠 패키징 및 스트리밍 서비스 제공 방법A method for a server to provide virtual space 3D content packaging and streaming services based on the web,
importing 3D content data produced through a 3D tool to the server through a plug-in installed in a first terminal;
packaging the imported 3D content data into 3D content for virtual space; and
Distributing (publishing) the packaged virtual space 3D content based on the web in a streaming method; comprising,
Web-based virtual space 3D content packaging and streaming service provision method
제2 단말의 플레이어 실행 요청에 따라 3D 컨텐츠의 재생을 위한 플레이어를 제공하는 단계; 및
상기 제공된 플레이어를 통하여 상기 배포된 가상 공간 3D 컨텐츠를 상기 제2 단말에게 제공하는 단계;를 더 포함하는,
웹 기반 가상 공간 3D 컨텐츠 패키징 및 스트리밍 서비스 제공 방법.According to claim 1,
providing a player for playing 3D content according to a player execution request from a second terminal; and
Providing the distributed virtual space 3D content to the second terminal through the provided player; further comprising,
Web-based virtual space 3D content packaging and streaming service provision method.
상기 플러그-인은,
상기 3D 툴을 통해 제작된 3D 컨텐츠 데이터에 대하여, 실시간 3D 모델링 데이터 자동 추출 기능, 메타 데이터 추출 기능, 라이트맵 추출 기능, 리소스 경량화 기능, 3D 모델 최적화 기능, 배포(publishing)를 위한 실시간 360도 이미지 재조합 기능 중 적어도 하나 이상을 개별적인 모듈 단위로 하여 제공하는,
웹 기반 가상 공간 3D 컨텐츠 패키징 및 스트리밍 서비스 제공 방법.According to claim 1,
The plug-in,
For 3D content data produced through the 3D tool, real-time 3D modeling data automatic extraction function, meta data extraction function, light map extraction function, resource lightening function, 3D model optimization function, real-time 360-degree image for publishing Providing at least one or more of the recombinant functions as an individual module unit,
Web-based virtual space 3D content packaging and streaming service provision method.
상기 3D 컨텐츠 데이터를 가상 공간을 위한 3D 컨텐츠로 패키징하는 단계는,
미리 정의된 프리셋을 이용하여 디폴트값 정의가 가능한 모든 데이터가 지정되어 있는 신규 플로우를 생성하는 제1 방식, 상기 미리 정의된 프리셋에 샘플로 생성되어 있는 시퀀스(sequence), 모듈 및 아이템을 그대로 이용하여 신규 플로우를 생성하는 제2 방식 및 상기 미리 정의된 프리셋을 이용하지 않고 사용자 단말에 의하여 생성된 시퀀스를 반영하여 신규 플로우를 생성하는 제3 방식 중 어느 하나의 방식에 따라 수행되는,
웹 기반 가상 공간 3D 컨텐츠 패키징 및 스트리밍 서비스 제공 방법.According to claim 1,
The step of packaging the 3D content data into 3D content for virtual space,
A first method of creating a new flow in which all data for which a default value can be defined is designated using a predefined preset, using sequences, modules, and items generated as samples in the predefined preset as they are Performed according to any one of the second method of generating a new flow and the third method of generating a new flow by reflecting the sequence generated by the user terminal without using the predefined preset,
Web-based virtual space 3D content packaging and streaming service provision method.
메모리; 및
프로세서;를 포함하되,
상기 프로세서는,
3D 툴을 통하여 제작된 3D 컨텐츠 데이터가 제1 단말에 설치된 플러그-인을 통하여 상기 서버로 임포트(import) 되도록 하고, 상기 임포트 된 3D 컨텐츠 데이터를 가상 공간을 위한 3D 컨텐츠로 패키징 하며, 상기 패키징 된 가상 공간 3D 컨텐츠를 웹을 기반으로 하여 스트리밍 방식으로 배포(publishing)하도록 제어하는,
웹 기반 가상 공간 3D 컨텐츠 패키징 및 스트리밍 서비스 제공 장치.An apparatus for providing virtual space 3D content packaging and streaming services based on the web,
Memory; and
Including; processor;
the processor,
The 3D content data produced through the 3D tool is imported into the server through the plug-in installed in the first terminal, the imported 3D content data is packaged as 3D content for virtual space, and the packaged Controlling virtual space 3D content to be distributed in a streaming manner based on the web,
Web-based virtual space 3D content packaging and streaming service providing device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230102547A KR20230118794A (en) | 2021-06-23 | 2023-08-06 | Method and apparatus for providing 3d contents packaging and streaming service based on web to construct and control of virtual space |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20210081931 | 2021-06-23 | ||
| KR1020210081931 | 2021-06-23 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230102547A Division KR20230118794A (en) | 2021-06-23 | 2023-08-06 | Method and apparatus for providing 3d contents packaging and streaming service based on web to construct and control of virtual space |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220170737A true KR20220170737A (en) | 2022-12-30 |
| KR102565481B1 KR102565481B1 (en) | 2023-08-09 |
Family
ID=84538787
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220027730A KR102565481B1 (en) | 2021-06-23 | 2022-03-03 | Method, apparatus and system for providing virtual space 3d contents packaging and streaming service based on web |
| KR1020230102547A KR20230118794A (en) | 2021-06-23 | 2023-08-06 | Method and apparatus for providing 3d contents packaging and streaming service based on web to construct and control of virtual space |
| KR1020240043869A KR20240049245A (en) | 2021-06-23 | 2024-03-31 | Method and apparatus for extracting 360-degree spatial images and metadata of 3d data |
| KR1020240043867A KR20240049244A (en) | 2021-06-23 | 2024-03-31 | Method and apparatus for performing weight lightening of image and object data for web publishing of 3d contets |
| KR1020240053711A KR20240067843A (en) | 2021-06-23 | 2024-04-23 | Method and apparatus for providing streaming service of virtual space 3d contents |
Family Applications After (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230102547A KR20230118794A (en) | 2021-06-23 | 2023-08-06 | Method and apparatus for providing 3d contents packaging and streaming service based on web to construct and control of virtual space |
| KR1020240043869A KR20240049245A (en) | 2021-06-23 | 2024-03-31 | Method and apparatus for extracting 360-degree spatial images and metadata of 3d data |
| KR1020240043867A KR20240049244A (en) | 2021-06-23 | 2024-03-31 | Method and apparatus for performing weight lightening of image and object data for web publishing of 3d contets |
| KR1020240053711A KR20240067843A (en) | 2021-06-23 | 2024-04-23 | Method and apparatus for providing streaming service of virtual space 3d contents |
Country Status (1)
| Country | Link |
|---|---|
| KR (5) | KR102565481B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102566879B1 (en) * | 2023-01-03 | 2023-08-11 | (주)언커버3디모델링 | 3-Dimension Modeling Distribution Method and Computer Program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140088052A (en) * | 2014-05-16 | 2014-07-09 | 연세대학교 산학협력단 | Contents complex providing server |
| JP2019526133A (en) * | 2016-05-27 | 2019-09-12 | ホロビルダー インコーポレイテッド | Augmented virtual reality |
| US20200098173A1 (en) * | 2018-09-24 | 2020-03-26 | Magic Leap, Inc. | Methods and systems for three-dimensional model sharing |
| KR102280719B1 (en) | 2016-12-30 | 2021-07-22 | 구글 엘엘씨 | Rendering content in a 3d environment |
-
2022
- 2022-03-03 KR KR1020220027730A patent/KR102565481B1/en active IP Right Grant
-
2023
- 2023-08-06 KR KR1020230102547A patent/KR20230118794A/en active Application Filing
-
2024
- 2024-03-31 KR KR1020240043869A patent/KR20240049245A/en active Application Filing
- 2024-03-31 KR KR1020240043867A patent/KR20240049244A/en active Application Filing
- 2024-04-23 KR KR1020240053711A patent/KR20240067843A/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140088052A (en) * | 2014-05-16 | 2014-07-09 | 연세대학교 산학협력단 | Contents complex providing server |
| JP2019526133A (en) * | 2016-05-27 | 2019-09-12 | ホロビルダー インコーポレイテッド | Augmented virtual reality |
| KR102280719B1 (en) | 2016-12-30 | 2021-07-22 | 구글 엘엘씨 | Rendering content in a 3d environment |
| US20200098173A1 (en) * | 2018-09-24 | 2020-03-26 | Magic Leap, Inc. | Methods and systems for three-dimensional model sharing |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102566879B1 (en) * | 2023-01-03 | 2023-08-11 | (주)언커버3디모델링 | 3-Dimension Modeling Distribution Method and Computer Program |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102565481B1 (en) | 2023-08-09 |
| KR20240049245A (en) | 2024-04-16 |
| KR20230118794A (en) | 2023-08-14 |
| KR20240067843A (en) | 2024-05-17 |
| KR20240049244A (en) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11617947B2 (en) | Video game overlay | |
| US10300380B2 (en) | Qualified video delivery | |
| CN102413164B (en) | Web-based three-dimensional scenic visualized editing device and method | |
| US9486706B2 (en) | Voice overlay | |
| CN102576470B (en) | Automatic real-time shader modification for texture fetch instrumentation | |
| US10403022B1 (en) | Rendering of a virtual environment | |
| WO2010141522A1 (en) | Qualified video delivery | |
| CN102549547B (en) | Automatic run-time identification of textures | |
| KR20240067843A (en) | Method and apparatus for providing streaming service of virtual space 3d contents | |
| JP7482249B2 (en) | Method, device and computer program for media scene description | |
| Behr et al. | webvis/instant3dhub: Visual computing as a service infrastructure to deliver adaptive, secure and scalable user centric data visualisation | |
| US20220254114A1 (en) | Shared mixed reality and platform-agnostic format | |
| US20210264686A1 (en) | Method implemented by computer for the creation of contents comprising synthesis images | |
| CN116437153A (en) | Previewing method and device of virtual model, electronic equipment and storage medium | |
| US20210346799A1 (en) | Qualified Video Delivery Methods | |
| KR20230050853A (en) | Method, apparatus and system for providing web contents service | |
| EP2930621A1 (en) | Network-based Render Services and Local Rendering for Collaborative Environments | |
| Gu et al. | Virtual interactive online exhibition architecture in E-commerce based on flash 3D and flex | |
| US11949730B2 (en) | Context-aware interface layer for remote applications | |
| US20230334751A1 (en) | System and method for virtual events platform | |
| EP2916223A1 (en) | 3D simulation environment for supply chain and production process management |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |