KR102649693B1 - Experiential digital three-dimensional space construction system and its three-dimensional space construction method - Google Patents
Experiential digital three-dimensional space construction system and its three-dimensional space construction method Download PDFInfo
- Publication number
- KR102649693B1 KR102649693B1 KR1020230062101A KR20230062101A KR102649693B1 KR 102649693 B1 KR102649693 B1 KR 102649693B1 KR 1020230062101 A KR1020230062101 A KR 1020230062101A KR 20230062101 A KR20230062101 A KR 20230062101A KR 102649693 B1 KR102649693 B1 KR 102649693B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- dimensional space
- virtual
- panoramic image
- dimensional
- Prior art date
Links
- 238000010276 construction Methods 0.000 title claims abstract description 28
- 238000004519 manufacturing process Methods 0.000 claims abstract description 85
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000000605 extraction Methods 0.000 claims abstract description 44
- 238000013135 deep learning Methods 0.000 claims abstract description 22
- 238000002156 mixing Methods 0.000 claims description 20
- 239000000284 extract Substances 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 6
- 238000003702 image correction Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000002787 reinforcement Effects 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000007726 management method Methods 0.000 claims 1
- 238000003860 storage Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 14
- 230000009897 systematic effect Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 abstract description 3
- 238000007654 immersion Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 239000000306 component Substances 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003930 cognitive ability Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000009941 weaving Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/503—Blending, e.g. for anti-aliasing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 체험형 디지털 입체공간 구축시스템 및 구축방법에 관한 것이다.
본 발명의 목적은 다양한 단계별 작업(기술)을 융합하여 실감콘텐츠 기반의 체험형 입체공간을 구축함에 있어, 그들 융합 진행되는 일련의 단계별 작업(기술)을 입체공간제작 애플리케이션에 의해 보다 체계적이고 지능적이며 전문화된 기능과 방식으로 진행 할 수 있도록 함에 있다.
따라서, 상기 목적을 달성하기 위한 본 발명의 구체적 수단은;
입체공간제작 애플리케이션이 설치된 실감콘텐츠 제작플랫폼과, 다면투사 프로젝터를 포함하는 구성으로 형성하되;
상기 입체공간제작 애플리케이션은, 기초이미지 생성부와, 입체공간감 연출부와, 오브젝트 배치부와, 파노라마영상 생성부와, 가상공간 생성부와, 입체영상 통합추출부와, 가상이미지 딥러닝부를 포함하는 구성으로 형성하여 달성한다.
아울러, 상기 시스템을 이용한 방법적 구성으로, 파노라마 이미지 제작단계와, 이미지 입체편집단계와, 오브젝트 배치단계와, 파노라마 영상파일 제작단계와, 입체 가상공간 제작단계와, 파노라마 입체영상 제작단계와, 체험형 디지털 입체공간 구현단계를 행하도록 하여 달성한다. The present invention relates to an experiential digital three-dimensional space construction system and construction method.
The purpose of the present invention is to build an experiential three-dimensional space based on realistic content by fusing various step-by-step tasks (technologies), and to make the series of step-by-step tasks (technologies) that are fused more systematic, intelligent, and efficient through a three-dimensional space production application. The purpose is to enable the process to be carried out using specialized functions and methods.
Therefore, the specific means of the present invention for achieving the above object are;
It is formed to include a realistic content production platform with a three-dimensional space production application installed, and a multi-faceted projection projector;
The three-dimensional space production application includes a basic image creation unit, a three-dimensional space creation unit, an object placement unit, a panoramic image creation unit, a virtual space creation unit, a three-dimensional image integrated extraction unit, and a virtual image deep learning unit. It is achieved by forming.
In addition, the methodological structure using the above system includes a panoramic image production step, a three-dimensional image editing step, an object placement step, a panoramic image file production step, a three-dimensional virtual space production step, a panoramic three-dimensional image production step, and an experience. This is achieved by performing a digital three-dimensional space implementation step.
Description
본 발명은 체험형 디지털 입체공간 구축시스템에 관한 것으로, 더욱 상세하게는 인간의 감각기관과 인지능력을 자극하여 실제와 유사한 경험을 제공하는 차세대 디지털 콘텐츠, 예컨대 실감콘텐츠 기반의 체험형 입체공간을 구축함에 있어, 360°파노라마 영상을 적용시킨 다중 프로젝션 맵핑과, 다중시점의 착시효과를 활용한 디지털 트릭아트, 그리고 딥러닝 커스트마이징 등의 체계적 융합과정을 통해 3D 가상공간을 실제 공간에 구현되도록 한 체험형 디지털 입체공간 구축시스템 및 그 입체공간 구축방법에 관한 것이다. The present invention relates to an experiential digital three-dimensional space construction system, and more specifically, to constructing an experiential three-dimensional space based on next-generation digital content, such as realistic content, that stimulates human sense organs and cognitive abilities to provide an experience similar to reality. An experience that realizes 3D virtual space in real space through a systematic convergence process such as multi-projection mapping using 360° panoramic images, digital trick art using optical illusion effects of multiple perspectives, and deep learning customization. It relates to a digital three-dimensional space construction system and its three-dimensional space construction method.
실감형 콘텐츠란 가상현실(VR)이나 증강현실(AR), 홀로그램 등 실감기술을 적용한 융합 디지털콘텐츠를 의미한다. 이러한 실감형 콘텐츠는 문화산업뿐 아니라 교육, 의료, 관광, 영화, 공연, 자동차, 항공 외 모든 산업분야에서 다양하게 활용되는 몰입형 콘텐츠로서, 이는 최근 가장 주목받고 있는 미래성장동력의 한 분야이다. Realistic content refers to convergence digital content that applies realistic technologies such as virtual reality (VR), augmented reality (AR), and holograms. This realistic content is immersive content that is widely used in all industries including education, medicine, tourism, movies, performances, automobiles, and aviation, as well as the cultural industry, and is one of the future growth engines that has recently received the most attention.
예컨대, 실감형 콘텐츠는 정해진 스크린을 통해 영상물을 보고 듣는 것에 국한되지 않고 시각, 청각을 넘어 감각, 감성, 인지, 행동, 관계적 요소를 활용한 체험 마케팅을 통해 단순한 관람 이상의 새로움을 만들어 내는 차세대 콘텐츠로 정의 되는 것이다.For example, realistic content is not limited to watching and listening to videos through a designated screen, but is next-generation content that creates newness beyond simple viewing through experiential marketing that utilizes sensory, emotional, cognitive, behavioral, and relational elements beyond sight and hearing. It is defined as .
한편, 실감형 콘텐츠는 인간의 인지능력과 감각기관을 자극하여 몰입과 재미, 그리고 감성을 극대화시켜 실제와 같은 경험을 느낄 수 있게 하는 것으로, 이는 특정된 하나의 기술 분야에 한정되는 것이 아니라 다양한 기술적 요소들의 융합을 필요로 한다On the other hand, realistic content stimulates human cognitive abilities and sense organs to maximize immersion, fun, and emotion, allowing for a realistic experience. This is not limited to one specific technical field, but can be used in various technical fields. Requires fusion of elements
예컨대, 가상현실을 구현하기 위해서는 3D모델링, 헤드 마운트 디스플레이, 추적장치 등의 기술이 필요하고, 증강현실을 구현하기 위해서는 카메라, 위치인식기, 인식 알고리즘 등의 기술이 필요하며, 혼합현실을 구현하기 위해서는 상기 가상현실과 증강현실의 기술을 융합한 형태로서, 이들 기술적 요소 모두를 필요로 함이 그 예라 할 수 있다.For example, to implement virtual reality, technologies such as 3D modeling, head-mounted displays, and tracking devices are required; to implement augmented reality, technologies such as cameras, location recognizers, and recognition algorithms are required; and to implement mixed reality, technologies such as cameras, location recognizers, and recognition algorithms are required. For example, it is a form of fusion of the above virtual reality and augmented reality technologies, and requires all of these technical elements.
또한, 실감형 콘텐츠는 시각, 청각, 촉각, 후각 등 다양한 인터랙션 요소들이 이용자들의 경험, 인지, 감성, 감각, 지식 등과 관련하여 어떠한 형태로 소통되고 전달되는지가 매우 중요하다. In addition, for realistic content, it is very important how various interaction elements such as sight, hearing, touch, and smell are communicated and delivered in relation to users' experience, cognition, emotion, sense, and knowledge.
예컨대, 실감형 콘텐츠는 기술과 연결된 새로운 도구와 방법으로 몰입 요소를 제공하고, 콘텐츠의 내용을 수동적인 부분과 능동적인 부분으로 구분하여 기획해야 함을 필요로한다. 그래야 비로서 이용자가 실감형 콘텐츠를 체험하고 경험하는 과정에서 주관적인 해석과 다양한 상상력에 몰입할 수 있다. 이렇듯 다양한 방법과 기술에 의해 실감형 콘텐츠가 만들어져야 하므로 인터랙션의 중요성 또한 매우 크다 할 수 있다.For example, realistic content requires immersive elements to be provided through new tools and methods connected to technology, and the content needs to be planned by dividing it into passive and active parts. Only then can users experience realistic content and immerse themselves in subjective interpretation and diverse imagination in the process. As realistic content must be created using various methods and technologies, the importance of interaction is also very great.
따라서 실감콘텐츠를 제작하고, 그러한 실감콘텐츠를 기반으로 체험형 디지털 입체공간을 구축하고자 함에 있어서는 다양한 기술요소들을 체계적으로 융합할 수 있는 시스템과 그 시스템을 안정적으로 운영할 수 있는 숙련된 전문인력, 그리고 경제적 비용 등을 필요로 한다.Therefore, in producing realistic content and building an experiential digital three-dimensional space based on such realistic content, a system that can systematically integrate various technological elements, skilled professional manpower that can stably operate the system, and It requires economic costs, etc.
그러나, 실감콘텐츠를 기반으로 구축되는 종래 체험형 디지털 입체공간은, 서로 융합되지 못한채 분산된 개별적 기술구성과, 전문인력의 부족 그리고 과도한 비용 부담으로 인해 구축된 체험형 디지털 입체공간의 현실감과 몰입감, 정교함, 세련미, 신뢰성 등이 극히 저하되고, 그로 인해 이용자의 호기심과 만족감 또한 충족시킬 수 없는 문제점이 있다.However, the conventional experiential digital three-dimensional space built on the basis of realistic content is not fused with each other, but the reality and immersion of the experiential digital three-dimensional space built due to the dispersed individual technical composition, lack of professional manpower, and excessive cost burden, There is a problem in that sophistication, sophistication, reliability, etc. are extremely low, and as a result, users' curiosity and satisfaction cannot be satisfied.
예컨대, 구축된 체험형 디지털 입체공간이 단순한 평면 또는 단면 영상, 예컨대 2D 공간방식으로 표현되는 정도에 불과한 것인바, 따라서 현실감과 입체감, 그리고 몰입감 등이 현저히 저하될 수 밖에 없음이 그 예라 할 수 있다. For example, the constructed experiential digital three-dimensional space is only expressed in a simple flat or cross-sectional image, for example, a 2D space, so the sense of reality, three-dimensionality, and immersion are inevitably significantly reduced. .
또한, 실감콘텐츠를 기반으로 구축되는 체험형 디지털 입체공간은 몰입감, 상호작용, 지능화 등의 특징을 통해 시간과 공간의 제약을 탈피한 형태로 현실에서는 경험할 수 없는 가상의 세계를 실제와 같이 경험할 수 있도록 마련한 공간, 예컨대 물리적 실체의 구성요소가 아닌 가상의 세계를 시뮬레이트 한 공간이라는 특징이 있다.In addition, the experiential digital three-dimensional space built based on realistic content breaks away from the constraints of time and space through features such as immersion, interaction, and intelligence, allowing you to experience a virtual world that cannot be experienced in reality as if it were real. It has the characteristic of being a space that simulates a virtual world rather than a component of a physical entity.
따라서, 이러한 체험형 디지털 입체공간은 이용자가 프레즌스(presence) 상태로 깊이 몰입될 수 있는 실제적 느낌의 콘텐츠, 예컨대 창의력과 상상력을 필요로하는 다양한 실감콘텐츠의 개발을 지속적으로 요구하는 실정이다.Therefore, such experiential digital three-dimensional space continues to require the development of realistic content that allows users to be deeply immersed in a state of presence, for example, various realistic content that requires creativity and imagination.
하지만, 종래 체험형 디지털 입체공간은, 그 체험형 디지털 입체공간 구축의 기반이 되는 실감콘텐츠 개발을 단순히 전문인력에만 의존하는 것으로, 실감콘텐츠개발에 필요한 시간이 과다 소모되고, 콘텐츠의 완성도가 제한적일 수 밖에 없으며, 그로 인해 결국 이용자의 만족도 또한 충촉시킬 수 없는 폐단이 상존하는 문제점이 있다.However, the conventional experiential digital three-dimensional space simply relies on professional personnel to develop realistic content, which is the basis for constructing the experiential digital three-dimensional space, so the time required for realistic content development is excessive, and the completeness of the content may be limited. There is no other way to do this, and as a result, there is a problem that there are always negative effects that cannot satisfy the user's satisfaction.
본 발명은 실감콘텐츠를 기반으로 하는 종래 체험형 디지털 입체공간구축에 대한 제반적인 문제점을 해결하기 위해 창안된 것이다. The present invention was created to solve general problems in the construction of conventional experiential digital three-dimensional spaces based on realistic content.
본 발명의 목적은, 360°파노라마 영상을 적용시킨 다중 프로젝션 맵핑과, 다중시점의 착시효과를 활용한 디지털 트릭아트, 그리고 딥러닝 커스트마이징 등을 포함한 다양한 단계별 작업을 융합하여 실감콘텐츠 기반의 체험형 입체공간을 구축함에 있어, 그들 융합 진행되는 일련의 단계별 작업(기술)을 전용프로그램으로 마련된 입체공간제작 애플리케이션에 의해 보다 체계적이고 지능적이며 전문화된 기능과 방식으로 진행 할 수 있게 함으로써, 작업의 효율성과 신속성, 그리고 경제성을 증대시키고, 그에 따라 완성된 체험형 입체공간의 현실감과 몰입감, 정교함, 세련미, 신뢰성 또한 극히 향상시킬 수 있도록 한 체험형 디지털 입체공간 구축시스템 및 그 입체공간 구축방법을 제공함에 있다. The purpose of the present invention is to create an experiential product based on realistic content by fusing various step-by-step tasks, including multi-projection mapping using 360° panoramic images, digital trick art using optical illusion effects of multiple perspectives, and deep learning customization. In constructing a three-dimensional space, a series of step-by-step tasks (technologies) that are fused together can be carried out in a more systematic, intelligent, and specialized function and method using a three-dimensional space production application prepared as a dedicated program, thereby increasing work efficiency and We provide an experiential digital three-dimensional space construction system and a three-dimensional space construction method that increases speed and economic efficiency, and thereby greatly improves the realism, immersion, sophistication, sophistication, and reliability of the completed experiential three-dimensional space. .
본 발명의 목적은, 체험형 입체공간 구축의 기반이 되는 실감콘텐츠, 예컨대 독창적 아이디어와 차별화된 상상력으로 제작 완성된 다양한 분야별 실감콘텐츠에 대한 새플정보를 수집하여 이를 학습데이터로 생성하고, 생성된 학습데이터를 딥러닝 알고리즘이 설계된 강화학습모드로 입력하여 그 입력된 데이터를 학습하는 딥러닝과정을 행하도록 하며, 그러한 딥러닝을 통해 별도 별도 숙련된 전문인력의 도움 없이도 가상공간 및 현실공간에 최적화된 실감콘텐츠를 다양한 형태로 자동 생성되게 함으로써, 실감콘텐츠 개발의 편의성과 신속성은 물론 입체공간 체험자의 호기심과 이용만족도 또한 극히 향상시킬 수 있도록 한 체험형 디지털 입체공간 구축시스템 및 그 입체공간 구축방법을 제공함에 있다. The purpose of the present invention is to collect new information about realistic content that is the basis for building an experiential three-dimensional space, for example, realistic content in various fields created with original ideas and differentiated imagination, generate this as learning data, and generate the generated learning Data is input into a reinforcement learning mode designed with a deep learning algorithm, and a deep learning process is performed to learn the input data. Through such deep learning, the data is optimized for virtual space and real space without the help of separately skilled professionals. By automatically generating realistic content in various forms, we provide an experiential digital three-dimensional space construction system and a three-dimensional space construction method that greatly improves the convenience and speed of realistic content development as well as the curiosity and satisfaction of users who experience three-dimensional space. It is in
따라서, 상기 목적을 달성하기 위한 본 발명에 따른 체험형 디지털 입체공간 구축시스템 및 그 입체공간 구축방법의 구체적 수단은;Therefore, the specific means of the experiential digital three-dimensional space construction system and the three-dimensional space construction method according to the present invention to achieve the above object are;
입체공간제작 애플리케이션이 설치된 실감콘텐츠 제작플랫폼과, 3D 입체영상을 현실공간에 투사하여 체험형 디지털 입체공간을 구현하는 다면투사 프로젝터를 포함하는 구성으로 형성하되;It is formed to include a realistic content production platform with a three-dimensional space production application installed, and a multi-faceted projection projector that projects 3D stereoscopic images into real space to create an experiential digital three-dimensional space;
상기 입체공간제작 애플리케이션은, 구 형태의 파노라마 이미지를 생성하는 기초이미지 생성부와; The three-dimensional space production application includes a basic image generator that generates a spherical panoramic image;
생성된 파노라마 이미지에 입체감을 부여하는 입체공간감 연출부와;a three-dimensional spatial sense production unit that provides a three-dimensional feeling to the generated panoramic image;
오브젝트 이미지를 파노라마 이미지에 선택 배치하는 오브젝트 배치부와;an object placement unit that selects and places object images in the panoramic image;
360°파노라마 영상 파일을 생성 저장하는 파노라마영상 생성부와;a panoramic image generator that creates and stores a 360° panoramic image file;
가상공간 이미지를 생성하는 가상공간 생성부와;a virtual space creation unit that generates a virtual space image;
상기 360°파노라마 영상을 가상 공간이미지에 다면 분할방식으로 투사하고, 투사되는 다면 영상을 하나의 영상파일로 통합 변환하는 입체영상 통합추출부를 포함하는 구성으로 형성하여 달성한다.This is achieved by projecting the 360° panoramic image onto a virtual space image using a multi-sided split method and forming a structure that includes a stereoscopic image integrated extraction unit that integrates and converts the projected multi-sided images into a single image file.
아울러, 상기와 같은 시스템을 이용한 방법적 구성으로, 파노라마 이미지 제작단계와, 이미지 입체편집단계와, 오브젝트 배치단계와, 파노라마 영상파일 제작단계와, 입체 가상공간 제작단계와, 파노라마 입체영상 제작단계와, 체험형 디지털 입체공간 구현단계를 행하도록 하여 달성한다. In addition, the methodological configuration using the above system includes a panoramic image production step, a three-dimensional image editing step, an object placement step, a panoramic image file production step, a three-dimensional virtual space production step, and a panoramic three-dimensional image production step. , This is achieved by carrying out the stages of implementing an experiential digital three-dimensional space.
이상, 본 발명에 따른 체험형 디지털 입체공간 구축시스템 및 그 입체공간 구축방법은, 다양한 단계별 기술융합을 통해 실감콘텐츠 기반의 체험형 입체공간을 구축함에 있어, 그들 융합되는 일련의 단계별 작업(기술) 과정을 전용프로그램으로 마련된 입체공간제작 애플리케이션에 의해 보다 체계적이고 지능적이며 전문화된 방식으로 진행할 수 있게 한 것으로, 이는 작업의 효율성과 신속성, 경제성은 물론 구축된 체험형 입체공간의 현실감과 몰입감, 정교함, 세련미, 신뢰성 또한 향상되게 한 효과를 제공한다.As described above, the experiential digital three-dimensional space construction system and the three-dimensional space construction method according to the present invention are a series of step-by-step operations (technologies) that combine them in constructing an experiential three-dimensional space based on realistic content through various step-by-step technology convergence. The process can be carried out in a more systematic, intelligent, and specialized manner through a three-dimensional space production application prepared as a dedicated program, which not only improves the efficiency, speed, and economy of the work, but also provides the realism, immersion, and sophistication of the constructed experiential three-dimensional space. It also provides the effect of improving sophistication and reliability.
또한, 발명에 따른 체험형 디지털 입체공간 구축시스템 및 그 입체공간 구축방법은, 독창적 아이디어와 차별화된 상상력으로 제작 완성된 다양한 분야별 실감콘텐츠를 수집하여 이를 학습데이터로 생성 입력하고, 입력된 데이터를 학습하는 딥러닝과정을 통해 별도 숙련된 전문인력의 도움 없이도 가상공간 및 현실공간에 최적화된 실감콘텐츠를 자동 생성하여 다양하게 선택 이용할 수 있게 한 것으로, 이는, 실감콘텐츠 개발의 편의성과 신속성은 물론 입체공간 체험자의 호기심과 이용 만족도 또한 향상되게 하는 등 매우 유용한 기대효과를 제공한다.In addition, the experiential digital three-dimensional space construction system according to the invention and the three-dimensional space construction method collect realistic content in various fields created and completed with original ideas and differentiated imagination, generate and input this as learning data, and learn the input data. Through a deep learning process, realistic content optimized for virtual space and real space is automatically generated without the help of separately skilled professionals, allowing a variety of choices and uses. This not only improves the convenience and speed of developing realistic content, but also enables three-dimensional space It provides very useful expected effects, such as improving the experiencer's curiosity and user satisfaction.
도 1은 본 발명에 따른 체험형 디지털 입체공간 구축시스템의 개념도
도 2는 본 발명에 적용되는 입체공간제작 애플리케이션의 블럭구성도
도 3은 본 발명에 따른 체험형 디지털 입체공간 구축방법의 순서도1 is a conceptual diagram of an experiential digital three-dimensional space construction system according to the present invention.
Figure 2 is a block diagram of a three-dimensional space production application applied to the present invention.
Figure 3 is a flowchart of the method for constructing an experiential digital three-dimensional space according to the present invention.
이하, 본 발명에 따른 체험형 디지털 입체공간 구축시스템 및 그 입체공간 구축방법의 바람직한 실시예를 첨부도면에 의거하여 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the experiential digital three-dimensional space construction system and the three-dimensional space construction method according to the present invention will be described in detail based on the accompanying drawings.
먼저, 첨부도면을 참고로 하여 본 발명에 따른 체험형 디지털 입체공간 구축시스템의 구성을 간략하게 살펴보면, 이는 도 1로 도시된 바와 같이 입체공간제작 애플리케이션(100)과, 실감콘텐츠제작 플랫폼(200)과, 다면투사 프로젝터(300)로 구성된다.First, briefly looking at the configuration of the experiential digital three-dimensional space construction system according to the present invention with reference to the attached drawings. As shown in FIG. 1, it includes a three-dimensional
본 발명의 시스템 구성에 있어 상기 첫 번째 구성요소인 입체공간 애플리케이션(100)은, 다양한 단계별 기술(작업)을 융합하여 실감콘텐츠 기반의 체험형 입체공간을 구축함에 있어, 그들 융합 진행되는 일련의 단계별 기술(작업)을 보다 체계적이고 지능적이며 전문화된 방식으로 진행할 수 있도록 마련된 본 발명의 핵심적인 요지구성이다.The three-
이에, 상기 입체공간제작 애플리케이션(100)은 도 2로 도시된 바와 같이 기초이미지 생성부(1)와, 입체공간감 연출부(2)와, 오브젝트 배치부(3)와, 파노라마영상 생성부(4)와, 가상공간 생성부(5)와, 입체영상 통합추출부(6)를 포함하는 소프트웨어 구성으로 형성함이 바람직하며, 선택에 따라 가상이미지 딥러닝부(7)를 더 형성할 수 있다Accordingly, as shown in FIG. 2, the three-dimensional
여기서, 상기 입체공간제작 애플리케이션(100)으로 형성되는 기초이미지 생성부(1)는, 체험형 입체공간의 각 위치별 구분으로 분할 디자인된 다수개의 가상이미지를 그들 각 공간위치에 맞추어 360°원형배열구조로 붙힘 연결하여 구 형태의 파노라마 이미지를 생성하는 수단이다. Here, the
이러한 기초이미지 생성부(1)는, 공간위치별로 구분 디자인된 각 가상이미지의 특징점 검출과 특징점 매칭, 그리고 변환모델추정과 변환적용에 의해 360°구 형태로 붙힘 연결되는 상기 파노라마 이미지를 정합하는 이미지 정합모드(11)를 더 형성한다.This
또한, 기초이미지 생성부(1)는, 상기 이미지 정합모드(11)를 통해 정합된 가상이미지의 각 연결 경계면의 색상과 명암을 조절하여 하나의 이미지로 합성하는 이미지 블렌딩모드(12)를 더 형성한다.In addition, the
또한, 기초이미지 생성부(1)는, 상기 이미지 정합모드(11)를 통해 정합되고 이미지 블렌딩모드(12)를 통해 연결 경계면이 합성된 파노라마 이미지의 왜곡정보를 보정하는 이미지 보정모드(13)를 더 형성한다.In addition, the
상기 입체공간제작 애플리케이션(100)으로 형성되는 입체공간감 연출부(2)는, 전술한 기초이미지 생성부(1)를 통해 생성된 파노라마 이미지의 깊이감, 조명위치, 그림자, 빛 반사, 원근, 텍스처 등에 대한 정보를 선택메뉴에 의해 개별적 정보로 추출 분석하고, 분석된 정보에 맞춤된 자동랜더링 작업을 통해 상기 파노라마 이미지에 입체감을 부여하는 수단이다.The three-dimensional
이러한, 입체공간감 연출부(2)는 파노라마 이미지로 표현된 가상 사물이미의 입체적 깊이를 추출하는 깊이정보 추출모드(21)를 더 형성한다.The three-dimensional
또한, 입체공간감 연출부(2)는, 파노라마 이미지로 표현된 조명의 위치와 방향을 추출하는 조명정보 추출모드(22)를 더 형성한다.In addition, the three-dimensional
또한, 입체공간감 연출부(2)는, 파노라마 이미지로 표현된 조명의 위치 및 방향에 따라 드리워지는 그림자 위치와 형상을 추출하는 그림자정보 추출모드(23)를 더 형성한다.In addition, the three-dimensional
또한, 입체공간감 연출부(2)는, 파노라마 이미지로 표면된 사물표면의 광택률을 추출하는 빛 반사정보 추출모드(24)를 더 형성한다.In addition, the three-dimensional
또한, 입체공간감 연출부(2)는, 파노라마 이미지로 표현된 사물의 크기와 위치와 거리별 원근을 추출하는 원근정보 추출모드(25)를 더 형성한다.In addition, the three-dimensional
또한, 입체공간감 연출부(2)는, 파노라마 이미지로 표현된 사물의 시각적 패턴과 질감 특성을 추출하는 텍스처정보 추출모드(26)를 더 형성한다.In addition, the three-dimensional spatial
또한, 입체공간감 연출부(2)는, 상기 깊이정보 추출모드(21)와, 조명정보 추출모드(22)와, 그림자정보 추출모드(23)와, 빛 반사정보 추출모드(24)와, 원근정보 추출모드(25)와, 텍스처정보 추출모드(26)를 통해 추출된 일련의 정보를 취합 분석하고, 분석된 정보에 맞춤된 자동랜더링을 통해 파노라마 이미지를 입체적 공간이미지로 재현하는 그래픽스 모드(27)를 더 형성한다.In addition, the three-dimensional
이때, 상기 입체공간감 연출부(2) 설명에 있어 "파노라마 이미지로 표현된 사물"이라 함은 그 파노라마 이미지로 표현되는 모든 가상의 사물, 예컨대 산 바다 강 등의 자연물, 식물 동물 등의 생물, 인위적인 생산물, 기타 가상의 창착물 등 이미지로 표현될 수 있는 모든 사물을 말한다. At this time, in the description of the three-dimensional
상기 입체공간제작 애플리케이션(100)으로 형성되는 오브젝트 배치부(3)는, 3D 모델링을 통해 기제작된 오브젝트 이미지를 상기 입체감이 부여된 파노라마 이미지에 크기별, 위치별, 방향별 구성으로 선택 배치하는 수단이다.The
상기 입체공간제작 애플리케이션(100)으로 형성되는 파노라마영상 생성부(4)는, 전술한 오브젝트 배치부(3)를 통해 오브젝트 이미지 파일이 배치된 파노라마 이미지 파일의 픽셀좌표를 구 좌표로 변환하고, 변환된 구 좌표를 다시 파노라마 영상좌표로 변환하여 360°파노라마 영상 파일을 생성 저장하는 수단이다.The panoramic
상기 입체공간제작 애플리케이션(100)으로 형성되는 가상공간 생성부(5)는, 3D콘텐츠 제작툴을 이용한 3D모델링에 의해 현실 오프라인 공간과 동일한 형태를 갖는 가상공간 이미지를 생성하는 수단이다.The virtual space creation unit 5 formed by the three-dimensional
상기 입체공간제작 애플리케이션(100)으로 형성되는 입체영상 통합추출부(6)는, 전술한 파노라마 영상생성부(4)를 통해 생성된 360°파노라마 영상을 전술한 가상공간 생성부(5)를 통해 생성된 가상공간 이미지에 다면 분할방식으로 투사하고, 투사되는 다면 영상을 하나의 영상파일로 통합 변환하여 저장 관리하는 수단이다.The stereoscopic image
상기 입체공간제직 애플리케이션(100)에 선택적 구성으로 형성되는 가상이미지 딥러닝부(7)는, 기 제작된 분야별 실감콘텐츠 새플을 딥러닝 알고리즘이 설계된 강화학습모드(도시생략)에 학습데이터 정보로 입력 저장하고, 상기 입력된 학습데이터에 의한 딥러닝에 의해 전술한 기초이미지 생성부(1)로 제공하기 위한 가상이미지를 자동으로 생성하는 수단이다.The virtual image
본 발명의 시스템 구성에 있어 두 번째 구성요소인 상기 실감콘텐츠 제작플랫폼(100)은, 전술한 입체공간제작 애플리케이션(100)을 설치하고, 설치된 입체공간제작 애플리케이션(100)을 실행시켜 실감콘텐츠 기반의 체험형 입체공간 구축을 위한 일련의 작업을 진행할 수 있도록 하는 일종의 메인컴퓨터 장치, 예컨대 하드웨어 구성을 말한다. The realistic
이러한, 실감콘텐츠 제작플랫폼(100)은 일반적인 하드웨어, 예컨대 통상의 컴퓨터 시스템과 상이함이 없는 구성으로, 그에 대한 구체적인 기능설명은 생략하기로 한다.This realistic
끝으로, 본 발명의 시스템 구성에 있어 세 번째 구성요소인 상기 다면 투사 프로젝터(300)는, 전술한 입체공간 애플리케이션(100)에 의해 생성된 3D 입체영상을 현실공간에 프로젝션 다면 맵핑으로 투사하여 체험형 디지털 입체공간을 구현하는 수단이다.Finally, the
이러한, 다면 투사 프로젝터(300)는 3D 입체영상을 화면에 투사하는 통상의 다면 투사 프로젝터의 구성 및 기능과 상이함이 없는 것으로, 그에 대한 구체적인 설명은 생략하기로 한다. This
한편, 전술한 바와 같은 일련의 시스템 구성으로 이루어진 본 발명은 그 구축된 시스템을 이용하여, 기존과 차별화된 실감콘텐츠 기반의 체험형 입체공간 구축방법을 구현하는 것으로, 이러한, 일련의 방법적 구성을 첨부도면에 의거하에 상세히 설명하기로 한다.Meanwhile, the present invention, which consists of a series of system configurations as described above, uses the constructed system to implement an experiential three-dimensional space construction method based on realistic content that is differentiated from the existing one. This series of methodological configurations This will be explained in detail based on the attached drawings.
도 3은 본 발명에 따른 실감콘텐츠 기반의 체험형 입체공간 구축방법의 순서도로서, 이를 참고로하여 일련의 방법적 구성을 간략하게 살펴보면, 이는 파노라마 이미지 제작단계(S1)와, 이미지 입체편집단계(S2)와, 오브젝트 배치단계(S3)와, 파노라마 영상파일 제작단계(S4)와, 입체 가상공간 제작단계(S5)와, 입체 가상공간 제작단계(S5)와, 파노라마 입체영상 제작단계(S6)와, 체험형 디지털 입체공간 구현단계(S7)로 이루어진다.Figure 3 is a flowchart of a method for constructing an experiential three-dimensional space based on realistic content according to the present invention. With reference to this, a series of methodological configurations will be briefly looked at. This includes a panoramic image production step (S1) and an image three-dimensional editing step ( S2), object placement step (S3), panoramic image file production step (S4), three-dimensional virtual space production step (S5), three-dimensional virtual space production step (S5), and panoramic three-dimensional image production step (S6). Wow, it consists of the experiential digital three-dimensional space implementation stage (S7).
본 발명에의 방법적 구성에 있어, 상기 파노라마 이미지 제작단계(S1)는, 별도 디자인작업을 통해 마련된 다수개의 공간위치별 가상이미지를 입체공간제작 애플리케이션(100)으로 형성된 기초이미지 생성부(1)로 입력하고, 상기 입력된 공간위치별 가상이미지를 360°원형배열구조로 붙임 연결한다. In the method configuration of the present invention, the panoramic image production step (S1) is a basic image generator (1) formed by a three-dimensional space production application (100) with a plurality of virtual images for each spatial location prepared through separate design work. Input, and attach and connect the virtual images for each spatial location entered in a 360° circular array structure.
이어, 상기 붙임 연결된 가상이미지를 이미지 정합모드(11)를 통해 정합하고, 정합된 가상이미지의 각 연결 경계면을 이미지 블렌딩모드(12)를 통해 합성하며, 재차 이미지 보정모드(13)를 통해 상기 정합되고 합성된 가상이미지의 왜곡정보를 추출 보정하여 구 형태의 파노라마 이미지를 생성하는 과정으로 이루어지게 함이 바람직하다.Next, the pasted-connected virtual images are matched through the image matching mode (11), each connection boundary of the matched virtual images is synthesized through the image blending mode (12), and the matching is performed again through the image correction mode (13). It is desirable to extract and correct the distortion information of the synthesized virtual image to generate a spherical panoramic image.
이때, 이미지 정합모드(11)를 통해 진행되는 가상이미지의 정합방식은, 정합할 이미지에서 특징적인 지점과 구조를 검출하는 특징점 검출과정과, 검출된 특징점들 간의 대응 관계를 찾아 매칭하는 특징점 매칭과정과, 특징점 매칭결과를 기반으로 이미지들간의 변환 모델을 추정하는 변환모델 추정과정과, 추정된 변환 모델을 기반으로 이미지를 정합하는 변환적용 과정으로 진행할 수 있다. At this time, the virtual image matching method performed through the
또한, 상기 블렌딩모드(12)를 통해 정합된 가상이미지의 각 연결 경계면을 합성하는 것은, 그 연결 경계면이 분리감 없이 부드럽고 자연스럽게 합치될 수 있도록 하기 위함이다. 이에 이미지 블렌딩모드(12)를 통해 이루어지는 가상이미지 연결 경계면의 합성방식은 알파 블렌딩방식과, 가중치 블렌딩방식과, 픽셀수준 블렌딩 방식과, 색공간 변환방식 중 어느 하나의 방식을 선택적으로 이용할 수 있다. In addition, the purpose of synthesizing each connected boundary surface of the virtual image matched through the blending
여기서, 알파 블렌딩방식은 알파채널(이미지 픽셀의 투명도) 값을 기반으로 원본 이미지와 대상이미지를 혼합하고 투명도를 조절하는 방식이고, 가중치 블렌딩방식은 각 이미지의 연결경계선에 가중치를 할당하여 블렌딩하는 방식이며, 색공간 변환방식은 이미지를 다른 색공간, 예컨대 RGB(빨강,초록,파랑) 이미지를 색공간으로 변환하여 색조값 조절을 통해 블렌딩하는 방식이다.Here, the alpha blending method is a method of blending the original image and the target image and adjusting transparency based on the alpha channel (transparency of image pixel) value, and the weighted blending method is a method of blending by assigning a weight to the connection border of each image. The color space conversion method is a method of converting an image into another color space, such as an RGB (red, green, blue) image, and blending it by adjusting the color tone values.
본 발명의 방법적 구성에 있어 상기 이미지 입체편집단계(S2)는, 전술한 파노라마 이미지 제작단계(S1)를 통해 제작된 파노라마 이미지를 입체공간제작 애플리케이션(100)으로 형성된 입체공간감 연출부(2)로 불러오기 한다. In the method configuration of the present invention, the image stereoscopic editing step (S2) is to transfer the panoramic image produced through the above-described panoramic image production step (S1) to the three-dimensional space creation unit (2) formed by the three-dimensional space production application (100). Load it.
이어, 입체공간감 연출부(2)로 마련된 깊이정보 추출모드(21)와, 조명정보 추출모드(22)와, 그림자정보 추출모드(23)와, 빛 반사정보 추출모드(24)와, 원근정보 추출모드(25)와 텍스처정보 추출모드(26)를 통해 파노라마 이미지의 깊이감, 조명위치, 그림자, 빛 반사, 원근, 텍스처에 대한 정보를 추출 분석하고, 분석된 정보를 그래픽스 모드(27)에 입력하여 자동랜더링을 통해 파노라마 이미지에 입체감을 부여하는 과정으로 이루어지게 함이 바람직하다.Next, depth information extraction mode (21), lighting information extraction mode (22), shadow information extraction mode (23), light reflection information extraction mode (24), and perspective information extraction provided by the three-dimensional space production unit (2). Extract and analyze information about the depth, lighting position, shadow, light reflection, perspective, and texture of the panoramic image through mode (25) and texture information extraction mode (26), and input the analyzed information into graphics mode (27). Therefore, it is desirable to carry out a process of giving a three-dimensional effect to the panoramic image through automatic rendering.
본 발명의 방법적 구성에 있어 상기 오브젝트 배치단계(S3)는, 별도 3D 모델링 작업을 통해 기제작된 다양한 구성의 체험형 입체공간 구축용 오브젝트 이미지, 예컨대 파노라마 이미지를 부가적으로 장식하고 꾸며줄 수 있는 다양한 형상과 모양, 그리고 색체 등을 갖는 사물이미지를 마련한다.In the method configuration of the present invention, the object arrangement step (S3) can additionally decorate and decorate object images for constructing an experiential three-dimensional space of various configurations, for example, a panoramic image, already produced through a separate 3D modeling operation. Prepare images of objects with various shapes, shapes, and colors.
이어, 상기 마련된 오브젝트 이미지를 입체공간제작 애플리케이션(100)으로 형성된 오브젝트 배치부(3)에 입력 저장하고, 이후 상기 입력 저장된 오브젝트 이미지를 전술한 이미지 입체편집단계(S2)를 통해 입체감이 부여된 파노라마 이미지에 선택적 배치구조로 붙여넣기 하는 과정으로 이루어지게 함이 바람직하다.Next, the prepared object image is input and stored in the
본 발명의 방법적 구성에 있어 상기 파노라마 영상파일 제작단계(S4)는, 전술한 오브젝트 배치단계(S3)를 행한 파노라마 이미지를 입체공간제작 애플리케이션(100)으로 형성된 파노라마영상 생성부(4)로 불러오기 한다.In the method configuration of the present invention, the panoramic image file production step (S4) calls the panoramic image obtained through the above-described object arrangement step (S3) to the
이어, 상기 불러온 파노라마 이미지의 픽셀좌표를 구 좌표로 변환하고, 변환된 구 좌표를 다시 파노라마 영상좌표로 변환하며, 재차 변환된 영상좌표 정보를 이용한 보간기법에 의해 360°파노라마 영상파일을 생성하는 과정으로 이루어지게 함이 바람직하다.Next, the pixel coordinates of the loaded panoramic image are converted to spherical coordinates, the converted spherical coordinates are converted back to panoramic image coordinates, and a 360° panoramic image file is generated by an interpolation technique using the converted image coordinate information. It is desirable to do it through a process.
이때, 파노라마 영상파일 제작단계(S4)를 행함에 있어 상기 파노라마 이미지의 픽셀좌표를 구 좌표로 변환하는 방법은, 먼저 파노라마 이미지의 너비와 높이를 사용하여 이미지의 중심 좌표값을 계산한다.(여기서 중심 좌표는 이미지의 가로 중심과 세로 중심을 나타낸다.) At this time, in performing the panoramic image file production step (S4), the method of converting the pixel coordinates of the panoramic image into spherical coordinates is to first calculate the center coordinate value of the image using the width and height of the panoramic image. (here) The center coordinates represent the horizontal and vertical centers of the image.)
그리고, 변환하려는 픽셀의 좌표값에서 상기 중심 좌표값을 뺄셈하여 상대적인 좌표값을 획득하고, 획득한 상대적인 좌표값을 사용하여 구좌표로 변환하는 방식을 이용할 수 있다.Additionally, a method may be used to obtain relative coordinate values by subtracting the center coordinate value from the coordinate value of the pixel to be converted and converting to spherical coordinates using the obtained relative coordinate value.
아울러, 상기 변환된 구 좌표를 파노라마 영상좌표로 변환하는 방법은, 구 좌표에서 각도와 거리를 구한 후, 이를 경위도 좌표로 변환하는 수식을 이용할 수 있다.In addition, the method of converting the converted spherical coordinates into panoramic image coordinates can be done by using a formula that obtains the angle and distance from the spherical coordinates and then converts them into longitude and latitude coordinates.
본 발명의 방법적 구성에 있어 상기 입체 가상공간 제작단계(S5)는, 입체공간제작 애플리케이션(100)으로 형성된 가상공간 생성부(5)에 주지의 3D콘텐츠 제작툴을 설치하고, 상기 설치된 3D콘텐츠 제작툴을 이용한 3D모델링에 의해 체험형 입체공간 구축을 희망하는 현실세계의 공간과 동일한 형태로 가상 공간이미지를 생성하는 과정으로 이루어지게 함이 바람직하다.In the method configuration of the present invention, the three-dimensional virtual space production step (S5) involves installing a known 3D content production tool in the virtual space creation unit 5 formed by the three-dimensional
본 발명의 방법적 구성에 있어 상기 파노라마 입체영상 제작단계(S6)는, 전술한 파노라마 영상파일 제작단계(S4) 통해 제작된 360°파노라마 영상을, 전술한 입체 가상공간 제작단계(S5) 통해 제작된 가상 공간이미지에 다면 분할방식으로 투사한다.In the method configuration of the present invention, the panoramic three-dimensional image production step (S6) involves producing the 360° panoramic image produced through the above-described panoramic image file production step (S4) through the above-described three-dimensional virtual space production step (S5). It is projected onto the virtual space image using a multi-faceted split method.
그리고, 상기 투사되는 다면 영상을 입체공간제작 애플리케이션(100)으로 형성된 입체영상 통합추출부(6)를 통해 통합된 하나의 3D 입체영상으로 변환 생성하는 과정으로 이루어지게 함이 바람직하다.In addition, it is preferable to convert the projected multi-sided image into a single integrated 3D stereoscopic image through the stereoscopic image
끝으로, 본 발명의 방법적 구성에 있어 상기 체험형 디지털 입체공간 구현단계(S7)는, 전술한 파노라마 입체영상 제작단계(S6)를 통해 생성된 3D 입체영상을 다면 투사 프로젝터(300)를 이용, 체험형 입체공간 구축을 희망하는 현실세계의 공간에 다면 맵핑으로 투사하여 체험형 디지털 입체공간을 구현하는 과정으로 이루어지게 함이 바람직하다. Lastly, in the method configuration of the present invention, the experiential digital three-dimensional space realization step (S7) uses a multi-faceted projection projector (300) to project the 3D stereoscopic image generated through the panoramic three-dimensional image production step (S6) described above. , it is desirable to carry out the process of implementing an experiential digital three-dimensional space by projecting it through multi-faceted mapping onto the space in the real world where one wishes to build an experiential three-dimensional space.
한편, 전술한 바와 같은 일련의 방법적 구성으로 이루어지는 본 발명에 따른 실감콘텐츠 기반의 체험형 입체공간 구축방법은, 입체공간제작 애플리케이션(100)으로 형성된 가상이미지 딥러닝부(7)에 분야별 실감콘텐츠 샘플, 예컨대 각종 전시, 관람, 상영 등을 목적으로 이미 구축되고 실행된 바 있는 각종 산업분야의 실감콘텐츠를 수집하여 이를 강화학습모드(도시생략)에 학습데이터 정보로 입력하고, 상기 입력된 학습테이터에 의한 딥러닝에 의해 가상이미지를 자동 생성하는 딥러닝 이미지 제작단계(S1-1)를 더 행할 수 있다.Meanwhile, the method of constructing an experiential three-dimensional space based on realistic content according to the present invention, which consists of a series of methodological configurations as described above, provides realistic content for each field to the virtual image
이때, 상기 딥러닝 이미지 제작단계(S1-1)를 통해 자동 생성된 가상이미지는, 전술한 파노라마 이미지 제작단계(S1)에 있어 기초이미지 생성부(1)로 입력 제공된다. At this time, the virtual image automatically generated through the deep learning image production step (S1-1) is provided as input to the
100 : 입체공간제작 애플리케이션 200 : 실감콘텐츠 제작플랫폼
300 : 다면 투사 프로젝터 1 : 기초이미지 생성부
2 : 입체공간감 연출부 3 : 오브젝트 배치부
4 : 파노라마 영상생성부 5 : 가상공간 생성부
6 : 입체영상 통합추출부 7 : 가상이미지 딥러닝부
11 : 이미지 정합모드 12 : 이미지 블렌딩모드
13 : 이미지 보정모드 21 : 깊이정보 추출모드
22 : 조명정보 추출모드 23 : 그림자정보 추출모드
24 : 빛 반사정보 추출모드 25 : 원근정보 추출모드
26 : 텍스처정보 추출모드 27 : 그래픽스 모드100: Three-dimensional space production application 200: Realistic content production platform
300: Multi-directional projection projector 1: Basic image generation unit
2: Three-dimensional space production department 3: Object placement department
4: Panoramic image creation unit 5: Virtual space creation unit
6: Stereoscopic image integrated extraction unit 7: Virtual image deep learning unit
11: Image matching mode 12: Image blending mode
13: Image correction mode 21: Depth information extraction mode
22: Lighting information extraction mode 23: Shadow information extraction mode
24: Light reflection information extraction mode 25: Perspective information extraction mode
26: Texture information extraction mode 27: Graphics mode
Claims (7)
상기 입체공간제작 애플리케이션(100)은, 공간위치별로 구분 디자인된 다수개의 가상이미지를 그들 각 공간위치에 맞추어 360°원형배열구조로 붙힘 연결하여 구 형태의 파노라마 이미지를 생성하는 기초이미지 생성부(1)와;
상기 생성된 파노라마 이미지의 깊이감과 조명위치, 그림자, 빛 반사, 원근, 텍스처에 대한 정보를 선택메뉴에 의해 개별적으로 추출 분석하고, 분석된 정보에 맞춤된 자동랜더링을 통해 파노라마 이미지에 입체감을 부여하는 입체공간감 연출부(2)와;
3D 모델링으로 제작된 오브젝트 이미지를 상기 입체감이 부여된 파노라마 이미지에 크기별, 위치별, 방향별 구성으로 선택 배치하는 오브젝트 배치부(3)와;
상기 오브젝트 이미지가 배치된 파노라마 이미지의 픽셀좌표를 구 좌표로 변환하고, 변환된 구 좌표를 다시 파노라마 영상좌표로 변환하여 360°파노라마 영상 파일을 생성 저장하는 파노라마영상 생성부(4)와;
3D콘텐츠 제작툴을 이용한 3D모델링에 의해 실제 오프라인 공간과 동일한 형태의 가상공간 이미지를 생성하는 가상공간 생성부(5)와;
상기 파노라마 영상생성부(4)를 통해 생성된 360°파노라마 영상을, 상기 가상공간 생성부(5)를 통해 생성된 가상공간 이미지에 다면 분할방식으로 투사하고, 투사되는 다면 영상을 하나의 영상파일로 통합 변환하여 저장 관리하는 입체영상 통합추출부(6)를 더 형성하는 것을 포함하고;
상기 기초이미지 생성부(1)는, 360°구 형태로 붙힘 연결되는 가상이미지를 정합하는 이미지 정합모드(11)와;
상기 정합되는 가상이미지의 각 연결 경계면의 색상과 명암을 조절하여 하나의 파노라마 이미지로 합성하는 이미지 블렌딩모드(12)와;
상기 정합되고 연결 경계면이 합성된 파노라마 이미지의 왜곡정보를 보정하는 이미지 보정모드(13)를 포함하는 구성으로 형성됨을 특징으로 하는 체험형 디지털 입체공간 구축시스템.
A realistic content production platform (200) with a three-dimensional space production application (100) installed, and a 3D stereoscopic image generated by the three-dimensional space production application (100) is projected onto the real space using multi-faceted mapping to create an experiential digital three-dimensional space. Formed in a configuration including a multi-projection projector 300 that;
The three-dimensional space production application 100 includes a basic image generator (1) that generates a spherical panoramic image by attaching and connecting a plurality of virtual images designed by spatial location in a 360° circular array structure according to each spatial location. )and;
Information on the depth, lighting position, shadow, light reflection, perspective, and texture of the created panoramic image is individually extracted and analyzed through a selection menu, and a three-dimensional effect is given to the panoramic image through automatic rendering tailored to the analyzed information. a three-dimensional space production unit (2);
an object placement unit (3) that selects and arranges object images produced through 3D modeling into the three-dimensional panoramic image by size, location, and direction;
a panoramic image generator (4) that converts the pixel coordinates of the panoramic image in which the object image is placed into spherical coordinates, and converts the converted spherical coordinates back into panoramic image coordinates to generate and store a 360° panoramic image file;
a virtual space creation unit 5 that generates a virtual space image in the same form as an actual offline space through 3D modeling using a 3D content production tool;
The 360° panoramic image generated through the panoramic image generator 4 is projected onto the virtual space image generated through the virtual space generator 5 in a multi-sided splitting manner, and the projected multi-sided image is converted into one image file. It further includes forming a stereoscopic image integrated extraction unit (6) for integrated conversion, storage and management;
The basic image generator (1) includes an image matching mode (11) for matching virtual images glued and connected in a 360° sphere shape;
an image blending mode (12) that adjusts the color and brightness of each connection boundary of the matched virtual images and combines them into a single panoramic image;
An experiential digital three-dimensional space construction system, characterized in that it is formed with an image correction mode (13) that corrects distortion information of the panoramic image in which the matched and connected boundary surfaces are synthesized.
입체공간제작 애플리케이션(100)은, 기 제작된 분야별 실감콘텐츠 샘플을 딥러닝 알고리즘이 설계된 강화학습모드에 학습데이터 정보로 입력 저장하고, 입력된 학습데이터에 의한 딥러닝에 의해 기초이미지 생성부(1)로 제공하기 위한 가상이미지를 자동으로 생성하는 가상이미지 딥러닝부(7)를 더 형성함을 특징으로 하는 체험형 디지털 입체공간 구축시스템.
According to claim 1;
The three-dimensional space production application 100 inputs and stores pre-produced realistic content samples for each field as learning data information in a reinforcement learning mode designed with a deep learning algorithm, and creates a basic image generator (1) through deep learning using the input learning data. ) An experiential digital three-dimensional space construction system, characterized in that it further forms a virtual image deep learning unit (7) that automatically generates a virtual image to provide as.
상기 입체공간감 연출부(2)는, 파노라마 이미지로 표현된 가상 사물이미지의 입체적 깊이를 추출하는 깊이정보 추출모드(21)와
파노라마 이미지로 표현된 조명의 위치와 방향을 추출하는 조명정보 추출모드(22)와;
파노라마 이미지로 표현된 조명의 위치 및 방향에 따라 드리워지는 그림자 위치와 형상을 추출하는 그림자정보 추출모드(23)와;
파노라마 이미지로 표면된 사물표면의 광택률을 추출하는 빛 반사정보 추출모드(24)와;
파노라마 이미지로 표현된 사물의 크기와 위치와 거리별 원근을 추출하는 원근정보 추출모드(25)와;
파노라마 이미지로 표현된 사물의 시각적 패턴과 질감 특성을 추출하는 텍스처정보 추출모드(26)와;
상기 추출된 정보를 취합 분석하고, 분석된 정보에 맞춤된 자동랜더링을 통해 파노라마 이미지를 입체적 공간이미지로 재현하는 그래픽스 모드(27)를 포함하는 구성으로 형성됨을 특징으로 하는 체험형 디지털 입체공간 구축시스템.
According to claim 1;
The three-dimensional space creation unit (2) includes a depth information extraction mode (21) for extracting the three-dimensional depth of a virtual object image expressed as a panoramic image,
a lighting information extraction mode 22 that extracts the position and direction of lighting expressed in a panoramic image;
a shadow information extraction mode 23 that extracts the position and shape of the shadow cast according to the position and direction of lighting expressed in a panoramic image;
a light reflection information extraction mode 24 that extracts the gloss rate of the surface of an object displayed as a panoramic image;
a perspective information extraction mode (25) that extracts perspective by size, location, and distance of objects expressed in panoramic images;
a texture information extraction mode (26) that extracts visual patterns and texture characteristics of objects expressed in panoramic images;
An experiential digital three-dimensional space construction system comprising a graphics mode (27) that collects and analyzes the extracted information and reproduces the panoramic image as a three-dimensional space image through automatic rendering tailored to the analyzed information. .
상기 제작된 파노라마 이미지를 입체공간제작 애플리케이션(100)의 입체공간감 연출부(2)로 불러오기 하여 깊이정보 추출모드(21)와, 조명정보 추출모드(22)와, 그림자정보 추출모드(23)와, 빛 반사정보 추출모드(24)와, 원근정보 추출모드(25)와 텍스처정보 추출모드(26)를 통해 파노라마 이미지의 깊이감, 조명위치, 그림자, 빛 반사, 원근, 텍스처에 대한 정보를 추출 분석하고, 분석된 정보를 그래픽스 모드(27)에 입력하여 자동랜더링을 통해 파노라마 이미지에 입체감을 부여하는 이미지 입체편집단계(S2)와;
3D 모델링을 통해 기제작된 체험형 입체공간 구축용 오브젝트 이미지를 입체공간제작 애플리케이션(100)의 오브젝트 배치부(3)에 입력 저장하고, 입력 저장된 오브젝트 이미지를 상기 이미지 입체편집단계(S2)를 행한 파노라마 이미지에 선택적 배치구조로 붙여넣기 하는 오브젝트 배치단계(S3)와;
상기 오브젝트 배치단계(S3)를 행한 파노라마 이미지를 입체공간제작 애플리케이션(100)의 파노라마영상 생성부(4)로 불러오기 하여 파노라마 이미지 파일의 픽셀좌표를 구 좌표로 변환하고, 이를 다시 파노라마 영상좌표로 변환하며, 이후 변환된 영상좌표 정보를 이용한 보간기법에 의해 360°파노라마 영상파일을 생성하고 저장하는 파노라마 영상파일 제작단계(S4)와;
입체공간제작 애플리케이션(100)으로 형성된 가상공간 생성부(5)에 3D콘텐츠 제작툴을 설치하고, 설치된 3D콘텐츠 제작툴을 이용한 3D모델링에 의해 체험형 입체공간 구축을 희망하는 현실세계의 공간과 동일한 형태로 가상 공간이미지를 생성하는 입체 가상공간 제작단계(S5)와;
상기 파노라마 영상파일 제작단계(S4) 통해 제작된 360°파노라마 영상을, 상기 입체 가상공간 제작단계(S5) 통해 제작된 가상 공간이미지에 다면 분할방식으로 투사하고, 투사되는 다면 영상을 입체공간제작 애플리케이션(100)의 입체영상 통합추출부(6)를 통해 통합된 하나의 3D 입체영상으로 변환 생성하는 파노라마 입체영상 제작단계(S6)와;
상기 파노라마 입체영상 제작단계를 통해 생성된 3D 입체영상을 다면 투사 프로젝터(300)를 이용, 체험형 입체공간 구축을 희망하는 현실세계의 공간에 다면 맵핑으로 투사하는 체험형 디지털 입체공간 구현단계(S7)로 이루어지는 것을 포함하고;
입체공간제작 애플리케이션(100)으로 형성된 가상이미지 딥러닝부(7)에 분야별 실감콘텐츠 샘플을 학습데이터 정보로 입력하고, 입력된 학습테이터에 의한 딥러닝에 의해 가상이미지를 자동 생성하며, 자동 생성된 가상이미지를 상기 파노라마 이미지 제작단계(S1)에서 이용되는 기초이미지 생성부(1)로 입력 제공하는 딥러닝 이미지 제작단계(S1-1)를 더 포함하는 것을 특징으로 하는 체험형 디지털 입체공간 구축방법. A plurality of virtual images for each spatial location are input into the basic image creation unit 1 of the three-dimensional space production application 100, the input virtual images for each spatial location are pasted and connected in a 360° circular array structure, and the pasted connected virtual images are connected to each other. Matching is performed through the image matching mode (11), each connection boundary of the matched virtual image is synthesized through the image blending mode (12), and distortion information of the matched and synthesized virtual image is extracted through the image correction mode (13). A panoramic image production step (S1) of generating a spherical panoramic image through correction;
The created panoramic image is loaded into the three-dimensional space production unit (2) of the three-dimensional space production application (100), and the depth information extraction mode (21), the lighting information extraction mode (22), and the shadow information extraction mode (23) are used. , Extract information about the depth, lighting position, shadow, light reflection, perspective, and texture of the panoramic image through the light reflection information extraction mode (24), perspective information extraction mode (25), and texture information extraction mode (26). a three-dimensional image editing step (S2) of analyzing and inputting the analyzed information into the graphics mode (27) to give a three-dimensional effect to the panoramic image through automatic rendering;
An object image for constructing an experiential three-dimensional space pre-produced through 3D modeling is input and stored in the object placement unit 3 of the three-dimensional space production application 100, and the input and stored object image is subjected to the image three-dimensional editing step (S2). an object placement step (S3) of pasting the panoramic image in a selective arrangement structure;
The panoramic image obtained in the object placement step (S3) is loaded into the panoramic image generator 4 of the three-dimensional space production application 100, and the pixel coordinates of the panoramic image file are converted to spherical coordinates, which are then converted into panoramic image coordinates. A panoramic image file production step (S4) of converting and then generating and storing a 360° panoramic image file using an interpolation technique using the converted image coordinate information;
A 3D content creation tool is installed in the virtual space creation unit 5 formed by the three-dimensional space creation application 100, and an experiential three-dimensional space is created in the same form as the space in the real world through 3D modeling using the installed 3D content creation tool. A three-dimensional virtual space production step (S5) of generating a virtual space image;
The 360° panoramic image produced through the panoramic image file production step (S4) is projected on the virtual space image produced through the three-dimensional virtual space production step (S5) in a multi-sided split method, and the projected multi-sided image is used in a three-dimensional space production application. A panoramic stereoscopic image production step (S6) of converting and generating a single integrated 3D stereoscopic image through the stereoscopic image integrated extraction unit (6) of (100);
An experiential digital three-dimensional space implementation step (S7) in which the 3D stereoscopic image generated through the panoramic three-dimensional image production step is projected using a multi-sided projection projector 300 through multi-face mapping into a space in the real world where it is desired to construct an experiential three-dimensional space. ), including those consisting of;
Realistic content samples for each field are input as learning data information into the virtual image deep learning unit (7) formed by the three-dimensional space production application (100), a virtual image is automatically generated by deep learning using the input learning data, and the automatically generated An experiential digital three-dimensional space construction method further comprising a deep learning image production step (S1-1) of inputting a virtual image to the basic image generator (1) used in the panoramic image production step (S1). .
파노라마 이미지 제작단계(S1)는, 이미지 블렌딩모드(12)를 통해 정합된 가상이미지의 각 연결 경계면을 합성함에 있어, 알파 블렌딩방식과, 가중치 블렌딩방식과, 픽셀수준 블렌딩 방식과, 색공간 변환방식 중 어느 하나의 방식을 이용하여 가상이미지의 연결 경계면을 합성함을 특징으로 하는 체험형 디지털 입체공간 구축방법.
According to claim 5;
In the panoramic image production step (S1), in synthesizing each connected boundary surface of the virtual image matched through the image blending mode 12, an alpha blending method, a weight blending method, a pixel-level blending method, and a color space conversion method are used. An experiential digital three-dimensional space construction method characterized by synthesizing the connecting boundary surface of virtual images using any one of the following methods.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230062101A KR102649693B1 (en) | 2023-05-14 | 2023-05-14 | Experiential digital three-dimensional space construction system and its three-dimensional space construction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230062101A KR102649693B1 (en) | 2023-05-14 | 2023-05-14 | Experiential digital three-dimensional space construction system and its three-dimensional space construction method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102649693B1 true KR102649693B1 (en) | 2024-03-21 |
Family
ID=90472349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230062101A KR102649693B1 (en) | 2023-05-14 | 2023-05-14 | Experiential digital three-dimensional space construction system and its three-dimensional space construction method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102649693B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180108184A (en) * | 2017-03-24 | 2018-10-04 | 영산대학교산학협력단 | Real-time rendering method for full lighting for mobile |
| KR20190075041A (en) * | 2016-08-25 | 2019-06-28 | 엘지전자 주식회사 | A method for transmitting omni-directional video, a method for receiving omni-directional video, an omni-directional video transmission device, an omni-directional video receiving device |
| KR20200070550A (en) * | 2018-12-10 | 2020-06-18 | (주)에이알씨엔에스 | System for constructing of virtual reality shoppingmall using photographed image data and method thereof |
| KR102181084B1 (en) | 2020-05-04 | 2020-11-20 | 주식회사 팝스라인 | Apparatus for providing immersive contents and method thereof |
| KR102518397B1 (en) | 2023-01-31 | 2023-04-05 | 주식회사 팔레트온 | Space-customized immersive content construction system |
-
2023
- 2023-05-14 KR KR1020230062101A patent/KR102649693B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190075041A (en) * | 2016-08-25 | 2019-06-28 | 엘지전자 주식회사 | A method for transmitting omni-directional video, a method for receiving omni-directional video, an omni-directional video transmission device, an omni-directional video receiving device |
| KR20180108184A (en) * | 2017-03-24 | 2018-10-04 | 영산대학교산학협력단 | Real-time rendering method for full lighting for mobile |
| KR20200070550A (en) * | 2018-12-10 | 2020-06-18 | (주)에이알씨엔에스 | System for constructing of virtual reality shoppingmall using photographed image data and method thereof |
| KR102181084B1 (en) | 2020-05-04 | 2020-11-20 | 주식회사 팝스라인 | Apparatus for providing immersive contents and method thereof |
| KR102518397B1 (en) | 2023-01-31 | 2023-04-05 | 주식회사 팔레트온 | Space-customized immersive content construction system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Agrawala et al. | Artistic multiprojection rendering | |
| JP5244951B2 (en) | Apparatus and system for image processing based on 3D spatial dimensions | |
| CN108389249B (en) | Multi-compatibility VR/AR space classroom and construction method thereof | |
| CN106097435A (en) | A kind of augmented reality camera system and method | |
| Cantrell et al. | Modeling the environment: techniques and tools for the 3D illustration of dynamic landscapes | |
| KR102649693B1 (en) | Experiential digital three-dimensional space construction system and its three-dimensional space construction method | |
| CN116681854A (en) | Virtual city generation method and device based on target detection and building reconstruction | |
| Yoo et al. | Evaluation of an Augmented Reality for Historical Context Experiences of 3D Restored Court Paintings | |
| Nahrstedt et al. | Computational Model of Human Creativity in Dance Choreography. | |
| EP3980975B1 (en) | Method of inferring microdetail on skin animation | |
| Fu et al. | Design of Interactive Landscape Virtual Tour System Based on 3D Virtual Reality Technology | |
| JP3850080B2 (en) | Image generation and display device | |
| Thalmann et al. | Participant, user-guided and autonomous actors in the virtual life network VLNET | |
| Booth et al. | Computers: Computers animate films and video: Computers permit spectacular visual effects and take the drudgery out of film cartooning | |
| JPH0241785B2 (en) | ||
| Choi | A technological review to develop an AR-based design supporting system | |
| Cheok et al. | Humanistic Oriental art created using automated computer processing and non-photorealistic rendering | |
| CN114693895B (en) | Map switching method and device, electronic equipment and storage medium | |
| US20240112394A1 (en) | AI Methods for Transforming a Text Prompt into an Immersive Volumetric Photo or Video | |
| Ryoo et al. | Simulation of 3D Virtual Space Model Based on Texture Image & Structure Analysis | |
| Tollola | Procedural animations in interactive art experiences--A state of the art review | |
| US20230196702A1 (en) | Object Deformation with Bindings and Deformers Interpolated from Key Poses | |
| Lu | How to Create 3D Movie Scenes in the Style of Chinese Paintings Using Computer Processing | |
| Xia | Application of sensor imaging technology based on image fusion algorithm in sculpture design | |
| Papaefthymiou et al. | Projecting our Past to the Future-Challenges and Results: The Case of Asinou church. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |