KR20220074674A - Apparatus and method for generating 3d data - Google Patents

Apparatus and method for generating 3d data Download PDF

Info

Publication number
KR20220074674A
KR20220074674A KR1020210028936A KR20210028936A KR20220074674A KR 20220074674 A KR20220074674 A KR 20220074674A KR 1020210028936 A KR1020210028936 A KR 1020210028936A KR 20210028936 A KR20210028936 A KR 20210028936A KR 20220074674 A KR20220074674 A KR 20220074674A
Authority
KR
South Korea
Prior art keywords
data
generating
unit
point cloud
information
Prior art date
Application number
KR1020210028936A
Other languages
Korean (ko)
Other versions
KR102578580B1 (en
Inventor
반윤지
강경규
김혜선
박창준
이만희
추창우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20220074674A publication Critical patent/KR20220074674A/en
Application granted granted Critical
Publication of KR102578580B1 publication Critical patent/KR102578580B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

본 개시는 3차원 데이터 생성 장치 및 방법에 관한 것이다. 본 개시의 실시예에 따른 방법은 외부로부터 데이터를 수신하는 단계, 수신된 데이터에 기초하여 제1 포인트 클라우드 데이터를 생성하는 단계, 제1 포인트 클라우드 데이터에 기초하여 폐색 영역을 검출하는 단계, 검출된 폐색 영역에 기초하여 제2 포인트 클라우드 데이터를 생성하는 단계, 제1 및 제2 포인트 클라우드 데이터에 기초하여 3차원 메쉬 및 텍스쳐 정보를 생성하는 단계, 3차원 메쉬 및 텍스쳐 정보에 기초하여 오브젝트 단위 정보를 생성하는 단계, 그리고 오브젝트 단위 정보에 기반하여 가시화 데이터를 생성하는 단계를 포함한다. 본 개시에 따르면, 폐색 영역에 해당하는 일부 영역의 데이터를 입력 데이터로 이용할 수 있고, 오브젝트 단위로 재가공하여 경량화 및 가시화한 3차원 데이터를 생성할 수 있다.The present disclosure relates to an apparatus and method for generating 3D data. A method according to an embodiment of the present disclosure includes the steps of receiving data from the outside, generating first point cloud data based on the received data, detecting an occlusion area based on the first point cloud data, the detected Generating second point cloud data based on the occlusion area, generating 3D mesh and texture information based on the first and second point cloud data, Object unit information based on the 3D mesh and texture information generating, and generating visualization data based on the object unit information. According to the present disclosure, data of a partial region corresponding to the occluded region may be used as input data, and 3D data that is lightweight and visualized may be generated by reprocessing in units of objects.

Description

3차원 데이터 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING 3D DATA}Apparatus and method for generating three-dimensional data {APPARATUS AND METHOD FOR GENERATING 3D DATA}

본 개시는 3차원 데이터 생성 장치 및 방법에 관한 것으로, 좀 더 상세하게는, 데이터 획득에서부터 가상 공간 서비스에 적합한 3차원 데이터 생성까지의 파이프라인을 따르는 3차원 데이터 생성 장치 및 방법에 관한 것이다.The present disclosure relates to an apparatus and method for generating 3D data, and more particularly, to an apparatus and method for generating 3D data that follows a pipeline from data acquisition to 3D data generation suitable for a virtual space service.

최근 3차원 공간 복원 기술의 발달 및 AR/VR 시장의 활성화로 3차원 복원 데이터에 대한 관심이 높아지고 있다. 특히 AR/VR 시장의 규모는 가파르게 성장하고 있고, 그에 필수적인 3차원 복원 데이터 수요는 증가하고 있는 추세이다. Recently, with the development of 3D spatial restoration technology and the activation of the AR/VR market, interest in 3D restoration data is increasing. In particular, the size of the AR/VR market is growing rapidly, and the demand for essential 3D restoration data is increasing.

3차원 데이터를 생성하기 위해서는, 영상 획득 과정, 획득한 영상으로부터 3차원 정보를 계산하고 3차원 공간을 생성하는 과정, 그리고 3차원 공간을 활용하고 서비스하기 위한 가시화하는 과정이 필요하다. 일반적인 3차원 데이터 복원 툴은 영상을 입력으로 받아 공간 전체를 복원하는 기능을 제공한다.In order to generate 3D data, an image acquisition process, a process of calculating 3D information from the acquired image and generating a 3D space, and a process of visualizing the 3D space to utilize and service are required. A general 3D data restoration tool receives an image as an input and provides a function to restore the entire space.

실제로 사용자가 서비스를 제공하기 위해서는 서비스 시나리오에 적합하게 3차원 데이터를 생성 및 수정할 수 있는 방안이 필요하다. 그러나, 기존의 기술은 사용자의 필요에 따라 일부 영역만을 복원할 수 없거나, 복원된 결과 중 일부 오브젝트만을 활용할 수 없는 문제가 있다.In order for a user to actually provide a service, a method for generating and modifying 3D data suitable for a service scenario is required. However, the existing technology has a problem in that only some areas cannot be restored according to the user's needs, or only some objects among the restored results cannot be utilized.

또한, 일반적인 3차원 데이터 복원 툴은 서비스 시나리오의 종류에 따라 복원 결과의 품질과 경량화를 함께 고려하지 않은 문제가 있다. 이와 같은 문제를 해결하기 위해서는 사용자가 직접 3차원 데이터를 수작업으로 수정하여 시간과 노력이 크게 소요되어, 결과적으로 서비스 제작 단가가 증가되는 문제가 있다. 나아가, 일반적인 3차원 데이터 복원 툴로는 복원 데이터에 폐색 영역이 존재하더라도 일부 영역만 복원할 수 없어 전 영역을 다시 복원해야 하는 문제가 있다.In addition, there is a problem in that a general 3D data restoration tool does not consider both the quality and weight reduction of the restoration result depending on the type of service scenario. In order to solve such a problem, a user manually modifies the 3D data, which takes a lot of time and effort, and as a result, there is a problem in that the service production unit cost is increased. Furthermore, even if an occluded region exists in the restored data with a general 3D data restoration tool, only some regions cannot be restored, so the entire region must be restored again.

본 개시의 목적은, 3차원 공간을 복원하고 활용하기 위하여, 데이터 획득에서부터 가상 공간 서비스에 적합한 3차원 데이터 생성까지의 파이프라인을 따르는 3차원 데이터 생성 장치 및 방법을 제공하는데 있다.An object of the present disclosure is to provide an apparatus and method for generating 3D data that follow a pipeline from data acquisition to generation of 3D data suitable for a virtual space service in order to restore and utilize 3D space.

본 개시의 실시 예에 따른 3차원 데이터 생성 방법은, 외부로부터 이미지 데이터 및 동영상 데이터 중 적어도 하나를 수신하는 단계, 상기 수신된 데이터에 기초하여 3차원 공간 정보를 계산하여 제1 포인트 클라우드 데이터를 생성하는 단계, 상기 제1 포인트 클라우드 데이터에 기초하여 폐색 영역을 검출하는 단계, 상기 검출된 폐색 영역에 기초하여 상기 폐색 영역에 해당하는 일부 영역의 데이터를 수신하여 제2 포인트 클라우드 데이터를 생성하는 단계, 상기 제1 포인트 클라우드 데이터 및 상기 제2 포인트 클라우드 데이터에 기초하여 3차원 메쉬 및 텍스쳐 정보를 생성하는 단계, 상기 3차원 메쉬 및 텍스쳐 정보에 기초하여 오브젝트 단위로 분류하여 재가공한 오브젝트 단위 정보를 생성하는 단계, 그리고 상기 오브젝트 단위 정보에 기초하여 가시화 데이터를 생성하는 단계를 포함한다.The method for generating 3D data according to an embodiment of the present disclosure includes receiving at least one of image data and video data from the outside, calculating 3D spatial information based on the received data to generate first point cloud data detecting an occlusion area based on the first point cloud data; generating second point cloud data by receiving data of a partial area corresponding to the occlusion area based on the detected occlusion area; Generating three-dimensional mesh and texture information based on the first point cloud data and the second point cloud data, classifying into object units based on the three-dimensional mesh and texture information, and generating object unit information reprocessed and generating visualization data based on the object unit information.

본 개시에 의하면, 복원 결과의 폐색 영역에 대응하는 이미지 또는 영상만을 재촬영하여 3차원 데이터를 생성할 수 있다. 또한, 일반적인 3차원 데이터 복원 툴에서 제공하지 않는 오브젝트 분류 및 재구성 기능을 이용하여 오브젝트 단위로 3차원 데이터를 생성할 수 있다.According to the present disclosure, 3D data may be generated by re-photographing only an image or an image corresponding to the occluded area of the restoration result. In addition, 3D data may be generated in units of objects by using object classification and reconstruction functions that are not provided by general 3D data restoration tools.

나아가, 본 개시에 의하면, 서비스 시나리오에 적합하게 데이터의 경량화 및 가시화할 수 있어 다양한 서비스에 활용할 수 있다.Furthermore, according to the present disclosure, data can be reduced and visualized appropriately for a service scenario, so that it can be utilized for various services.

도 1은 본 개시의 실시 예에 따른 3차원 데이터 생성 장치(100)를 개략적으로 보여주는 블록도이다.
도 2는 도 1에 도시된 3차원 복원부(120)의 구성을 좀 더 상세하게 보여주는 블록도이다.
도 3은 도 1에 도시된 재구성부(130)의 구성을 좀 더 상세하게 보여주는 블록도이다.
도 4는 도 1에 도시된 서비스화 작업부(140)의 구성을 좀 더 상세하게 보여주는 블록도이다.
도 5는 본 개시의 실시 예에 따른 폐색영역을 보여주는 도면이다.
도 6은 본 개시의 실시 예에 따른 오브젝트 분류 결과를 보여주는 도면이다.
도 7은 본 개시의 실시 예에 따른 3차원 데이터 생성 방법을 보여주는 순서도이다.1 is a block diagram schematically showing an apparatus 100 for generating 3D data according to an embodiment of the present disclosure.
FIG. 2 is a block diagram showing the configuration of the three-dimensional reconstruction unit 120 shown in FIG. 1 in more detail.
FIG. 3 is a block diagram showing the configuration of the reconstruction unit 130 shown in FIG. 1 in more detail.
4 is a block diagram showing in more detail the configuration of the service processing unit 140 shown in FIG. 1 .
5 is a diagram illustrating an occluded area according to an embodiment of the present disclosure.
6 is a diagram illustrating an object classification result according to an embodiment of the present disclosure.
7 is a flowchart illustrating a method for generating 3D data according to an embodiment of the present disclosure.

아래에서는, 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 개시를 쉽게 실시할 수 있을 정도로, 본 개시의 실시 예들이 명확하고 상세하게 기재될 것이다.Below, embodiments of the present disclosure will be described clearly and in detail to the extent that those skilled in the art can easily practice the present disclosure.

상세한 설명에서 사용되는 부 또는 유닛(unit), 모듈(module), 블록(block), ~기(~or, ~er) 등의 용어들을 참조하여 설명되는 구성 요소들 및 도면에 도시된 기능 블록들은 소프트웨어, 또는 하드웨어, 또는 그것들의 조합의 형태로 구현될 수 있다. 예시적으로, 소프트웨어는 기계 코드, 펌웨어, 임베디드 코드, 및 응용 애플리케이션 소프트웨어일 수 있다. 예를 들어, 하드웨어는 전기 회로, 전자 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어들, 압력 센서, 관성 센서, 멤즈(microelectromechanical system; MEMS), 수동 소자, 또는 그것들의 조합을 포함할 수 있다. Components described with reference to terms such as unit or unit, module, block, and group (~or, ~er) used in the detailed description and functional blocks shown in the drawings are It may be implemented in the form of software, hardware, or a combination thereof. Illustratively, the software may be machine code, firmware, embedded code, and application software. For example, hardware may include an electrical circuit, an electronic circuit, a processor, a computer, an integrated circuit, integrated circuit cores, a pressure sensor, an inertial sensor, a microelectromechanical system (MEMS), a passive element, or a combination thereof. .

도 1은 본 개시의 실시 예에 따른 3차원 데이터 생성 장치(100)를 개략적으로 보여주는 블록도이다. 3차원 데이터 생성 장치(100)는 데이터 획득부(110), 3차원 복원부(120), 재구성부(130), 서비스화 작업부(140), 및 저장부(150)을 포함할 수 있다.1 is a block diagram schematically showing an apparatus 100 for generating 3D data according to an embodiment of the present disclosure. The 3D data generating apparatus 100 may include a data acquisition unit 110 , a 3D restoration unit 120 , a reconstruction unit 130 , a service processing unit 140 , and a storage unit 150 .

3차원 데이터 생성 장치(100)는 입력 데이터(input data; DIN)에 기반하여 온라인 서비스에 필요한 3차원 데이터를 생성하고 저장할 수 있다. 예를 들어, 온라인 서비스는 영화, TV광고, 게임, 또는 AR/VR 등 3차원 공간정보를 필요로 하는 콘텐츠를 사용자에게 제공하는 것과 관련될 수 있다. 예를 들어, 3차원 데이터 생성 장치(100)는 사용자가 원하는 오브젝트 단위 정보에 기반하여 3차원 데이터를 생성하고 저장할 수 있다. 나아가, 3차원 데이터 생성 장치(100)는 3차원 데이터 생성 과정에서 3차원 공간으로 복원되지 않은 영역 즉, 폐색영역이 검출되면 폐색영역에 해당하는 입력 데이터(DIN)를 재획득하여 3차원 데이터를 생성할 수 있다.The 3D data generating apparatus 100 may generate and store 3D data required for an online service based on input data ( DIN ). For example, the online service may be related to providing a user with content requiring 3D spatial information, such as a movie, TV advertisement, game, or AR/VR. For example, the 3D data generating apparatus 100 may generate and store 3D data based on object unit information desired by the user. Furthermore, the 3D data generating apparatus 100 re-acquires the input data DIN corresponding to the occluded area when an area that is not restored to the 3D space, ie, an occluded area, is detected in the 3D data generation process to obtain 3D data. can create

데이터 획득부(110)는 입력 데이터(DIN)에 기반하여 3차원 데이터 생성에 필요한 처리 데이터(processed data; PD)를 생성할 수 있다. 예를 들어, 입력 데이터(DIN)는 항공기, 인공위성, 또는 드론 등으로 촬영된 이미지 데이터 및 동영상 데이터 중 적어도 하나를 포함할 수 있다. 도시되지 않았으나, 3차원 데이터 생성 장치(100)는 송수신 모듈(미도시) 또는 네트워크 아답터(미도시)를 더 포함할 수 있다. 예를 들어, 송수신 모듈(미도시)은 증폭기, 믹서, 대역폭 필터, 및 송수신 안테나를 포함할 수 있다. 송수신 모듈(미도시)은 항공기, 인공위성, 또는 드론 등과 상호 무선 통신하여 데이터를 물리적으로 송수신할 수 있다. 예를 들어, 네트워크 아답터(미도시)는 항공기, 인공위성, 또는 드론 등으로 촬영된 이미지 데이터 및 동영상 데이터를 전송받기 위해 외부 네트워크와 통신할 수 있다. 예를 들어, 데이터 획득부(110)는 송수신 모듈(미도시) 또는 네트워크 아답터(미도시)로부터 입력 데이터(DIN)를 수신할 수 있다.The data acquisition unit 110 may generate processed data ( PD ) necessary for 3D data generation based on the input data DIN. For example, the input data DIN may include at least one of image data and video data captured by an aircraft, a satellite, or a drone. Although not shown, the 3D data generating apparatus 100 may further include a transmission/reception module (not shown) or a network adapter (not shown). For example, the transmit/receive module (not shown) may include an amplifier, a mixer, a bandwidth filter, and a transmit/receive antenna. The transmitting/receiving module (not shown) may physically transmit/receive data through mutual wireless communication with an aircraft, a satellite, or a drone. For example, a network adapter (not shown) may communicate with an external network in order to receive image data and video data captured by an aircraft, satellite, or drone. For example, the data acquisition unit 110 may receive input data DIN from a transceiver module (not shown) or a network adapter (not shown).

나아가, 데이터 획득부(110)는 폐색 영역 피드백 신호(occlusion region feedback signal; ORS)를 수신한 경우, 폐색 영역에 해당하는 새로운 입력 데이터(DIN)를 획득하기 위해, 항공기, 인공위성, 및 드론 등에 재촬영을 요청하는 재촬영 요청 신호(re-shoot request signal; RRS)를 송수신 모듈(미도시) 또는 네트워크 아답터(미도시)를 이용하여 송신할 수 있다.Furthermore, when the data acquisition unit 110 receives an occlusion region feedback signal ( ORS ), in order to acquire new input data DIN corresponding to the occlusion region, an aircraft, a satellite, a drone, etc. A re-shoot request signal (RRS) for requesting re-shooting may be transmitted using a transmission/reception module (not shown) or a network adapter (not shown).

또한, 데이터 획득부(110)는 필요한 경우 입력 데이터(DIN)에 기반하여 전처리(Preprocessing) 과정을 통해 처리 데이터(PD)를 생성할 수 있다. 예를 들어, 전처리 과정은 이미지 또는 동영상 데이터의 사이즈 조절, 형식 변환, 융합, 및 화질 보정 등 중 적어도 하나를 포함할 수 있다. 예시적으로, 데이터 획득부(110)는 2 이상의 입력 데이터(DIN)를 수신한 경우, 각각의 입력 데이터를 융합하는 전처리 과정을 통해 처리 데이터(PD)를 생성할 수 있다. 예를 들어, 처리 데이터(PD)는 입력 데이터(DIN) 자체 또는 입력 데이터(DIN)에 기반하여 전처리 과정을 수행한 데이터일 수 있다.Also, if necessary, the data acquisition unit 110 may generate the processed data PD through a preprocessing process based on the input data DIN . For example, the pre-processing process may include at least one of size adjustment, format conversion, fusion, and image quality correction of image or video data. For example, when receiving two or more input data D IN , the data acquisition unit 110 may generate the processed data PD through a pre-processing process of fusing each input data. For example, the processed data PD may be the input data DIN itself or data that has been pre-processed based on the input data DIN .

3차원 복원부(120)는 처리 데이터(PD)에 기반하여 3차원 메쉬 및 텍스쳐 정보(MTI)를 생성할 수 있다. 3차원 복원부(120)는 복원 결과 온전히 복원되지 않은 영역, 즉 폐색 영역을 검출할 수 있다. 따라서, 폐색 영역이 검출된 경우, 3차원 복원부(120)는 새로운 입력 데이터(DIN)를 요구하는 폐색 영역 피드백 신호(ORS)를 데이터 획득부(110)에 송신할 수 있다. 예를 들어, 폐색 영역 피드백 신호(ORS)는 폐색 영역에 관한 정보(예를 들어, 좌표값, 방향값, 및 위상값 등), 재촬영 도구의 필요 이동값 정보, 및 필요 조도값 정보 등을 포함할 수 있다. 예를 들어, 폐색 영역에 관한 정보는 폐색 영역을 포함하는 전체 영역에 해당하는 정보 또는 폐색 영역에 해당하는 정보일 수 있다. 나아가, 3차원 복원부(120)는 피드백에 의해 재촬영된 데이터와 외부 메모리(미도시)에 저장된 기존 복원 데이터에 융합할 수 있다. 3차원 복원부(120)의 구체적인 구성 및 동작은 도 2를 통하여 설명될 것이다.The 3D restoration unit 120 may generate 3D mesh and texture information MTI based on the processed data PD. The 3D restoration unit 120 may detect a region that is not completely restored as a result of restoration, that is, an occluded region. Accordingly, when the occlusion region is detected, the 3D restoration unit 120 may transmit the occlusion region feedback signal ORS requesting new input data DIN to the data acquirer 110 . For example, the occlusion area feedback signal ORS may provide information on the occlusion area (eg, coordinate values, direction values, and phase values), necessary movement value information of the re-photography tool, and required illuminance value information. may include For example, the information about the occlusion area may be information corresponding to the entire area including the occlusion area or information corresponding to the occlusion area. Furthermore, the 3D restoration unit 120 may fuse the re-imaged data by feedback with the existing restoration data stored in an external memory (not shown). A detailed configuration and operation of the 3D restoration unit 120 will be described with reference to FIG. 2 .

재구성부(130)는 3차원 메쉬 및 텍스쳐 정보(3D mesh and texture information; MTI)에 기반하여 오브젝트 단위 정보(object information; OBJI)를 생성할 수 있다. 예를 들어, 재구성부(130)는 3차원 메쉬 및 텍스쳐 정보(MTI)를 오브젝트 단위(예를 들어, 자동차, 빌딩, 나무 등)로 분류할 수 있고, 분류된 오브젝트들을 사용자의 요청에 따라 재구성할 수 있다. 재구성부(130)의 구체적인 구성 및 동작은 도 3을 통하여 설명될 것이다.The reconstruction unit 130 may generate object information (OBJI) based on 3D mesh and texture information (MTI). For example, the reconstruction unit 130 may classify the 3D mesh and texture information (MTI) into object units (eg, cars, buildings, trees, etc.), and reconstruct the classified objects according to a user's request. can do. A detailed configuration and operation of the reconfiguration unit 130 will be described with reference to FIG. 3 .

서비스화 작업부(140)는 오브젝트 단위 정보(OBJI)에 기반하여 가시화 데이터(visualized data; VD)를 생성할 수 있다. 서비스화 작업부(140)는 사용자가 원하는 품질과 용량을 가진 3차원 데이터로 가시화할 수 있다. 예를 들어, 빌딩 오브젝트의 경우, 서비스화 작업부(140)는 빌딩을 표현할 수 있는 여러 가지 특징을 정의하고 정의한 특징으로만 빌딩을 가시화할 수 있다. 예를 들어, 서비스화 작업부(140)는 3차원 데이터를 사용자의 요청 또는 서비스 장치의 사양에 따라 가공(예를 들어, 경량화)할 수 있다. 3차원 데이터의 경량화가 요구되지 않는 경우에는, 서비스화 작업부(140)는 3차원 데이터를 경량화하지 않을 수 있다. 서비스화 작업부(140)의 구체적인 구성 및 동작은 도 4를 통하여 설명될 것이다.The service processing unit 140 may generate visualized data (VD) based on the object unit information (OBJI). The service processing unit 140 may visualize the 3D data having the quality and capacity desired by the user. For example, in the case of a building object, the service processing unit 140 may define various characteristics that can express the building and visualize the building only with the defined characteristics. For example, the service processing unit 140 may process (eg, reduce weight) 3D data according to a user's request or a specification of a service device. When the weight reduction of the 3D data is not required, the service processing unit 140 may not reduce the weight of the 3D data. A detailed configuration and operation of the service conversion unit 140 will be described with reference to FIG. 4 .

저장부(150)는 가시화 데이터(VD)를 저장하도록 구성될 수 있다. 예를 들어, 저장부(150)는 일반적인 기억장치인 RAM(random access memory), 또는 플래시 메모리(flash memory) 등으로 구성될 수 있다. 그러나, 저장부(150)는 이러한 구성에 한정되지 않고 저장을 위한 어떠한 메모리로도 구성될 수 있으며, 외부 메모리(미도시)의 일부일 수 있다.The storage 150 may be configured to store the visualization data VD. For example, the storage unit 150 may be configured as a general storage device, such as random access memory (RAM) or flash memory. However, the storage unit 150 is not limited to this configuration and may be configured as any memory for storage, and may be a part of an external memory (not shown).

도 2는 도 1에 도시된 3차원 복원부(120)의 구성을 좀 더 상세하게 보여주는 블록도이다. 3차원 복원부(120)는 공간정보 계산기(121), 3차원 공간 복원기(122), 및 메쉬/텍스쳐 생성기(123)를 포함할 수 있다.FIG. 2 is a block diagram showing the configuration of the three-dimensional reconstruction unit 120 shown in FIG. 1 in more detail. The 3D restoration unit 120 may include a spatial information calculator 121 , a 3D spatial restoration unit 122 , and a mesh/texture generator 123 .

공간정보 계산기(121)는 처리 데이터(PD)에 기반하여 3차원 공간 정보(SI)를 생성할 수 있다. 예를 들어, 공간정보 계산기(121)는 2차원 형태의 처리 데이터(PD)를 이용하여 3차원 공간을 복원하기 위한 3차원 공간 정보(SI)를 계산할 수 있다. 예를 들어, 공간정보 계산기(121)는 하나 이상의 처리 데이터(PD)에 기반하여 3차원 공간 특징들을 추출하고, 변환 함수를 이용하여 3차원 공간 정보(SI)를 계산할 수 있다.The spatial information calculator 121 may generate 3D spatial information SI based on the processed data PD. For example, the spatial information calculator 121 may calculate 3D spatial information SI for reconstructing a 3D space by using the 2D processed data PD. For example, the spatial information calculator 121 may extract 3D spatial features based on one or more processed data PD and calculate 3D spatial information SI by using a transform function.

3차원 공간 복원기(122)는 3차원 공간 정보(3D spatial information; SI)에 기반하여 포인트 클라우드 데이터(point cloud data; PCD)를 생성할 수 있다. 포인트 클라우드의 각 포인트들은 3차원 공간 좌표값, 색상값, 및 노말값 등을 가질 수 있다. 예를 들어, 포인트 클라우드 데이터(PCD)는 3차원 공간 정보(SI)에 의해 복원되지 않은 영역, 즉 폐색 영역(occlusion region)을 포함할 수 있다. 3차원 공간 복원기(122)는 폐색 영역을 검출할 수 있다. 폐색 영역이 검출된 경우, 공간 복원기(122)는 데이터 획득부(110)에 폐색 영역 피드백 신호(ORS)를 송신할 수 있다. 이는 3차원 복원부(120)가 폐색 영역에 해당하는 처리 데이터(PD)를 3차원 복원할 수 있도록 하기 위함이다.The 3D spatial restorer 122 may generate point cloud data (PCD) based on 3D spatial information (SI). Each point of the point cloud may have a three-dimensional space coordinate value, a color value, a normal value, and the like. For example, the point cloud data PCD may include a region not restored by the 3D spatial information SI, that is, an occlusion region. The 3D space restorer 122 may detect the occlusion area. When the occlusion region is detected, the spatial restorer 122 may transmit an occlusion region feedback signal ORS to the data acquisition unit 110 . This is to allow the 3D restoration unit 120 to 3D reconstruct the processed data PD corresponding to the occluded area.

나아가, 3차원 공간 복원기(122)는 3차원 공간 정보(SI)를 외부 메모리(미도시)에 임시 저장할 수 있다. 예를 들어, 3차원 공간 복원기(122)는 폐색 영역 피드백 신호(ORS)에 의해 새롭게 생성된 3차원 공간 정보(SI)를 외부 메모리(미도시)에 저장된 기존의 3차원 공간 정보(SI)와 융합할 수 있다. 결과적으로 폐색 영역이 검출되지 않았다면, 3차원 공간 복원기(122)는 융합된 또는 융합되지 않은 3차원 공간 정보(SI)를 이용하여 포인트 클라우드 데이터(PCD)를 생성할 수 있다.Furthermore, the 3D space restorer 122 may temporarily store the 3D spatial information SI in an external memory (not shown). For example, the 3D space restorer 122 converts the 3D spatial information SI newly generated by the occlusion region feedback signal ORS to the existing 3D spatial information SI stored in an external memory (not shown). can be fused with As a result, if the occluded region is not detected, the 3D spatial restorer 122 may generate the point cloud data PCD using the fused or unfused 3D spatial information SI.

메쉬/텍스쳐 생성기(123)는 포인트 클라우드 데이터(PCD)에 기반하여 3차원 메쉬 및 텍스쳐 정보(MTI)를 생성할 수 있다. 예를 들어, 메쉬/텍스쳐 생성기(123)는 포인트 클라우드에서 노이즈 정보를 갖는 포인트를 제거할 수 있다. 나아가, 메쉬/텍스쳐 생성기(123)는 평탄화 등의 작업을 통해 보다 직관적인 3차원 메쉬 및 텍스쳐 정보(MTI)를 생성할 수 있다. The mesh/texture generator 123 may generate a 3D mesh and texture information (MTI) based on the point cloud data (PCD). For example, the mesh/texture generator 123 may remove points having noise information from the point cloud. Furthermore, the mesh/texture generator 123 may generate a more intuitive 3D mesh and texture information (MTI) through an operation such as planarization.

도 3은 도 1에 도시된 재구성부(130)의 구성을 좀 더 상세하게 보여주는 블록도이다. 재구성부(130)는 오브젝트 분류기(131), 및 오브젝트 처리기(132)를 포함할 수 있다.FIG. 3 is a block diagram showing the configuration of the reconstruction unit 130 shown in FIG. 1 in more detail. The reconstruction unit 130 may include an object classifier 131 and an object processor 132 .

오브젝트 분류기(131)는 3차원 메쉬 및 텍스쳐 정보(MTI)에 기반하여 분류된 오브젝트들(OSEG)을 생성할 수 있다. 예를 들어, 오브젝트 분류기(131)는 하나의 이어진 형태로 생성된 3차원 메쉬 및 텍스쳐 정보(MTI)를 개별적인 오브젝트 단위로 분리하는 세그멘테이션(segmentation)과정을 수행할 수 있다. 예를 들어, 분류된 오브젝트(segmented object; OSEG)들은 물체의 외형을 기준으로 분류된 건물, 도로, 나무 또는 자동차 등의 오브젝트들을 포함할 수 있다. The object classifier 131 may generate classified objects O SEG based on the 3D mesh and texture information MTI. For example, the object classifier 131 may perform a segmentation process for separating the 3D mesh and texture information (MTI) generated in a continuous form into individual object units. For example, segmented objects (O SEG ) may include objects such as buildings, roads, trees, or cars classified based on the appearance of the object.

오브젝트 처리기(132)는 분류된 오브젝트들(OSEG)에 기반하여 오브젝트 단위 정보(OBJI)를 생성할 수 있다. 예를 들어, 오브젝트 처리기(132)는 분류된 오브젝트들(OSEG)를 이용하여 사용자가 원하는 형태로 오브젝트들을 새로 생성하거나 재구성한 오브젝트 단위 정보(OBJI)를 생성할 수 있다. The object processor 132 may generate object unit information OBJI based on the classified objects O SEG . For example, the object processor 132 may generate new or reconstructed object unit information OBJI in a shape desired by a user by using the classified objects O SEG .

도 4는 도 1에 도시된 서비스화 작업부(140)의 구성을 좀 더 상세하게 보여주는 블록도이다. 서비스화 작업부(140)는 경량화 작업부(141), 가시화 작업부(142), 및 데이터 버퍼(143)를 포함할 수 있다.4 is a block diagram showing in more detail the configuration of the service processing unit 140 shown in FIG. 1 . The service work unit 140 may include a lightweight work unit 141 , a visualization work unit 142 , and a data buffer 143 .

경량화 작업부(141)는 오브젝트 단위 정보(OBJI)에 기반하여 경량화 데이터를 생성할 수 있다. 예를 들어, 서비스 시나리오상 데이터의 경량화가 필요한 경우, 경량화 작업부(141)는 데이터 용량 및 품질간의 트레이드 오프(trade-off) 관계를 이용한 데이터 경량화, 사용자의 요청에 따른 특정 오트젝트 데이터에 대한 선택적 경량화, 및 오브젝트를 제외한 백그라운드 영역의 제거 등의 압축기술을 이용한 데이터 경량화 중 적어도 하나를 포함하는 경량화 작업을 통해 경량화 데이터를 생성할 수 있다. 경량화 작업부(141)는 경량화 데이터가 후술하는 가시화 작업부(142)에 의해 가시화되기 전에 데이터 버퍼(143)에 경량화 데이터를 임시 저장할 수 있다.The weight reduction operation unit 141 may generate weight reduction data based on the object unit information OBJI. For example, when data reduction is required in a service scenario, the weight reduction task unit 141 performs data reduction using a trade-off relationship between data capacity and quality, and for specific object data according to a user's request Lightweight data may be generated through a weight reduction operation including at least one of selective weight reduction and data weight reduction using a compression technique such as removal of a background area excluding an object. The weight reduction operation unit 141 may temporarily store the weight reduction data in the data buffer 143 before the weight reduction data is visualized by the visualization operation unit 142 to be described later.

가시화 작업부(142)는 오브젝트 단위 정보(OBJI) 또는 경량화 데이터에 기반하여 가시화 데이터(VD)를 생성할 수 있다. 예를 들어, 서비스 시나리오상 데이터의 경량화가 필요하지 않은 경우, 가시화 작업부(142)는 직접 오브젝트 단위 정보(OBJI)를 수신하여 가시화 데이터(VD)를 생성할 수 있다. 반면, 서비스 시나리오상 데이터의 경량화가 필요한 경우, 가시화 작업부(142)는 경량화 데이터에 기반하여 가시화 데이터(VD)를 생성할 수 있다.The visualization operation unit 142 may generate the visualization data VD based on the object unit information OBJI or the weight reduction data. For example, when light weight of data is not required in a service scenario, the visualization work unit 142 may directly receive the object unit information OBJI to generate the visualization data VD. On the other hand, when data reduction is required in a service scenario, the visualization task unit 142 may generate visualization data VD based on the weight reduction data.

나아가, 가시화 작업부(141)는 가시화 데이터(VD)가 서비스 시나리오에 적절한 용량의 데이터로 생성되었는지 여부를 확인할 수 있다. 용량이 부적격한 경우, 추가적인 경량화 작업이 필요하므로, 경량화 작업부(141)에 추가적인 경량화 작업을 요청할 수 있다. 경량화 작업을 요청 받은 경량화 작업부(141)는 데이터 버퍼(143)에 저장된 경량화 데이터를 추가적으로 경량화하여 가시화 작업부(142)에 전달할 수 있다. 서비스화 작업부(140)는 서비스 시나리오에 적절한 용량의 데이터로 가시화 데이터(VD)가 생성될 때까지 경량화 및 가시화 작업을 반복할 수 있다.Furthermore, the visualization task unit 141 may check whether the visualization data VD is generated as data having an appropriate capacity for a service scenario. If the capacity is unsuitable, since an additional weight reduction operation is required, an additional weight reduction operation may be requested from the weight reduction operation unit 141 . The lightweight work unit 141 that has been requested to reduce the weight may additionally lighten the weight reduction data stored in the data buffer 143 and transmit it to the visualization work unit 142 . The service work unit 140 may repeat the weight reduction and visualization work until the visualization data VD is generated with data having an appropriate capacity for the service scenario.

도 5는 본 개시의 실시 예에 따른 폐색영역을 보여주는 도면이다. 이하, 도 1 및 도 2를 참조하여 설명한다. 3차원 복원부(120)에서, 3차원 공간 복원기(122)는 3차원 공간 정보(SI)를 통해 폐색 영역을 검출할 수 있다. 도 5에 도시된 바와 같이, 3차원 공간 정보(SI)는 다른 물체에 의해 가리워져 복원되지 않는 부분, 즉 폐색 영역을 포함할 수 있다. 폐색 영역이 검출된 경우, 3차원 공간 복원기(122)는 데이터 획득부(110)에 폐색 영역 피드백 신호(ORS)를 송신함으로써 폐색 영역에 해당하는 새로운 입력 데이터(DIN)를 요구할 수 있다.5 is a diagram illustrating an occluded area according to an embodiment of the present disclosure. Hereinafter, it will be described with reference to FIGS. 1 and 2 . In the 3D restoration unit 120 , the 3D space restoration unit 122 may detect an occluded region through 3D spatial information SI. As shown in FIG. 5 , the 3D spatial information SI may include a portion that is not restored because it is obscured by another object, that is, an occluded area. When the occlusion region is detected, the 3D space restorer 122 may request new input data DIN corresponding to the occlusion region by transmitting the occlusion region feedback signal ORS to the data acquisition unit 110 .

도 6은 본 개시의 실시 예에 따른 오브젝트 분류 결과를 보여주는 도면이다. 이하, 도 1 및 도 3을 참조하여 설명한다. 도 6에 도시된 바와 같이, 재구성부(130)의 오브젝트 분류기(131)는 하나의 이어진 형태로 생성된 3차원 메쉬 및 텍스쳐 정보(MTI)를 오브젝트 단위로 분리할 수 있다. 도 6에 도시된 분류된 오브젝트들(OSEG)은 오브젝트 처리기(132)를 통해 수정 또는 재구성될 수 있다.6 is a diagram illustrating an object classification result according to an embodiment of the present disclosure. Hereinafter, it will be described with reference to FIGS. 1 and 3 . As shown in FIG. 6 , the object classifier 131 of the reconstruction unit 130 may separate the 3D mesh and texture information (MTI) generated in a continuous form in units of objects. The classified objects O SEG shown in FIG. 6 may be modified or reconstructed through the object processor 132 .

도 7은 본 개시의 실시 예에 따른 3차원 데이터 생성 방법을 보여주는 순서도이다. 이하, 도 1 내지 도 3을 참조하여 설명한다.7 is a flowchart illustrating a method for generating 3D data according to an embodiment of the present disclosure. Hereinafter, it will be described with reference to FIGS. 1 to 3 .

단계 S110에서, 데이터 획득부(110)는 항공기, 인공위성, 또는 드론 등으로 촬영된 이미지 데이터 및 동영상 데이터 중 적어도 하나를 입력받을 수 있다. 폐색 영역 피드백 신호(ORS)를 수신한 경우, 데이터 획득부(110)는 항공기, 인공위성, 또는 드론 등에 폐색영역에 해당하는 일부 영역에 대한 재촬영을 요청할 수 있고, 이에 따라 재촬영된 이미지 데이터 및 동영상 데이터 중 적어도 하나를 입력받을 수 있다.In step S110, the data acquisition unit 110 may receive at least one of image data and video data captured by an aircraft, satellite, or drone. When receiving the occluded area feedback signal ORS, the data acquisition unit 110 may request re-photography of a partial area corresponding to the occluded area, such as an aircraft, satellite, or drone, and accordingly the re-photographed image data and At least one of video data may be input.

단계 S120에서, 데이터 획득부(110)는 입력 데이터(DIN)를 획득하여 처리 데이터(PD)를 생성할 수 있고, 2 이상의 입력 데이터(DIN)를 획득한 경우에는, 입력 데이터(DIN)들을 융합하여 처리 데이터(PD)를 생성할 수 있다. In step S120 , the data acquisition unit 110 acquires the input data DIN to generate the processing data PD, and when two or more input data DIN is obtained, the input data DIN ) can be fused to generate the processing data PD.

단계 S130에서, 공간정보 계산기(121)는 입력 받은 처리 데이터(PD)의 3차원 공간 정보(SI)를 산출하고 이를 3차원 공간 복원기(122)에 전달할 수 있다. 3차원 공간 복원기(122)은 3차원 공간 정보(SI)를 이용하여 포인트 클라우드 형태로 데이터를 복원하고 외부 메모리(미도시)에 저장할 수 있다.In operation S130 , the spatial information calculator 121 may calculate 3D spatial information SI of the received processed data PD and transmit it to the 3D spatial restorer 122 . The 3D space restorer 122 may restore data in the form of a point cloud using 3D spatial information SI and store the data in an external memory (not shown).

단계 S140에서, 3차원 공간 복원기(122)는 3차원 공간으로 복원된 데이터에 폐색 영역을 검출할 수 있다. 만약 폐색 영역이 검출되었다면(예), 절차는 S110 단계로 이동한다. 이 경우, 3차원 공간 복원기(122)는 데이터 획득부(110)로 폐색 영역 피드백 신호(ORS)를 전달할 수 있다. 폐색 영역 피드백 신호(ORS)를 전달받은 데이터 획득부(110)는, 폐색 영역에 해당하는 일부 영역에 대한 이미지 데이터 및 동영상 데이터 중 적어도 하나를 입력받을 수 있다. 반면, 폐색 영역에 검출되지 않았다면(아니오), 절차는 S150 단계로 이동한다.In operation S140 , the 3D space reconstructor 122 may detect an occluded area in the data restored to the 3D space. If the occlusion area is detected (Yes), the procedure moves to step S110. In this case, the 3D space restorer 122 may transmit the occlusion region feedback signal ORS to the data acquisition unit 110 . The data acquisition unit 110 receiving the occlusion region feedback signal ORS may receive at least one of image data and video data for a partial region corresponding to the occlusion region. On the other hand, if it is not detected in the occluded region (No), the procedure moves to step S150.

단계 S150에서, 적어도 1회 이상 폐색 영역 피드백 신호(ORS)를 송신한 경우, 3차원 공간 복원기(122)는 외부 메모리(미도시)에 저장된 포인트 클라우드 데이터(PCD)와 폐색 영역 피드백 신호(ORS)에 의해 새롭게 생성된 포인트 클라우드 데이터(PCD)를 융합할 수 있다. 메쉬/텍스쳐 생성기(123)는 포인트 클라우드 데이터(PCD)를 이용하여 3차원 메쉬 및 텍스쳐 정보(MTI)를 생성할 수 있다. In step S150, when the occlusion region feedback signal ORS is transmitted at least once, the 3D space restorer 122 stores the point cloud data PCD and the occlusion region feedback signal ORS stored in an external memory (not shown). ), the newly created point cloud data (PCD) can be fused. The mesh/texture generator 123 may generate a 3D mesh and texture information (MTI) by using the point cloud data (PCD).

단계 S160에서, 오브젝트 분류기(131)는 하나의 이어진 형태인 3차원 메쉬 및 텍스쳐 정보(MTI)를 오브젝트 단위로 분리할 수 있다. 오브젝트 처리기(132)는 분류된 오브젝트들(OSEG)을 이용하여 오브젝트를 새로 생성하거나 재구성할 수 있다. In operation S160 , the object classifier 131 may separate the three-dimensional mesh and texture information (MTI) in one continuous form in units of objects. The object processor 132 may newly create or reconstruct an object by using the classified objects O SEG .

단계 S170에서, 오브젝트 처리기(132)는 오브젝트의 분류 적합성, 오브젝트 간 경계 추정 적합성 등을 확인할 수 있다. 상기 적합성을 수치화한 값이 사용자의 요청으로 임의로 설정된 임계값에 미치지 못할 경우, 절차는 S160으로 이동하여 다시 오브젝트를 새로 생성하거나 재구성할 수 있고, 임계값을 초과한 경우, S180로 이동할 수 있다.In step S170 , the object processor 132 may check object classification suitability, object boundary estimation suitability, and the like. If the numerical value of suitability does not reach the threshold value arbitrarily set by the user's request, the procedure moves to S160 to create or reconfigure an object again. If the threshold value is exceeded, the procedure may move to S180.

단계 S180에서, 서비스화 작업부(140)는 서비스 시나리오에 적합하게 3차원 데이터를 경량화 및/또는 가시화할 수 있다.In step S180, the service work unit 140 may lighten and/or visualize 3D data suitable for a service scenario.

단계 S190에서, 서비스화 작업부(140)는 서비스 시나리오에 적합한 용량의 3차원 데이터가 생성되었는지 여부를 확인할 수 있다. 용량이 적합하다면(예), 저장부(150)는 3차원 가시화 데이터(VD)를 저장하면서 전체 절차는 종료된다. 용량이 부적합하다면(아니오), 절차는 S180로 이동한다.In step S190, the service processing unit 140 may check whether 3D data of a capacity suitable for a service scenario is generated. If the capacity is suitable (Yes), the storage unit 150 stores the 3D visualization data VD and the entire procedure ends. If the capacity is not suitable (No), the procedure moves to S180.

이상 본 개시의 실시 예에 따른 3차원 데이터 생성 장치 및 방법이 설명되었다. 본 개시에 의하면, 데이터 획득에서부터 가상 공간 서비스에 적합한 3차원 데이터 생성까지의 전체 파이프라인을 수행한다. 입력이 부족하여 폐색 영역이 발생한 경우 일부만 재촬영하여 3차원 데이터를 생성할 수 있고, 일반적인 3차원 데이터 복원 툴에서 제공하지 않는 오브젝트 분류 및 재구성 기능을 이용하여 오브젝트 단위로 3차원 데이터를 활용할 수 있다. 나아가, 서비스 시나리오에 적합하게 3차원 데이터를 경량화 및 가시화할 수 있다.The apparatus and method for generating 3D data according to an embodiment of the present disclosure have been described above. According to the present disclosure, the entire pipeline from data acquisition to 3D data generation suitable for virtual space service is performed. When an occluded area occurs due to insufficient input, 3D data can be generated by re-photographing only a portion, and 3D data can be utilized in units of objects by using object classification and reconstruction functions that are not provided by general 3D data restoration tools. . Furthermore, it is possible to lighten and visualize 3D data suitable for service scenarios.

상술된 내용은 본 개시를 실시하기 위한 구체적인 실시 예들이다. 본 개시는 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 개시는 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 개시의 범위는 상술된 실시 예들에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 개시의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.The above are specific embodiments for carrying out the present disclosure. The present disclosure will include not only the above-described embodiments, but also simple design changes or easily changeable embodiments. In addition, the present disclosure will also include techniques that can be easily modified and implemented using the embodiments. Therefore, the scope of the present disclosure should not be limited to the above-described embodiments, but should be defined by the claims described below as well as the claims and equivalents of the present disclosure.

100: 3차원 데이터 생성장치 110: 데이터 획득부
120: 3차원 복원부 121: 공간정보 계산기
122: 3차원 공간 복원기 123: 메쉬/텍스쳐 생성기
130: 재구성부 131: 오브젝트 분류기
132: 오브젝트 처리기 140: 서비스화 작업부
141: 경량화 작업부 142: 가시화 작업부
143: 데이터 버퍼 150: 저장부100: three-dimensional data generating device 110: data acquisition unit
120: three-dimensional restoration unit 121: spatial information calculator
122: three-dimensional space restorer 123: mesh/texture generator
130: reconstruction unit 131: object classifier
132: object handler 140: serviceization work unit
141: lightweight work unit 142: visualization work unit
143: data buffer 150: storage

Claims (1)

3차원 데이터 생성 방법에 있어서,
외부로부터 이미지 데이터 및 동영상 데이터 중 적어도 하나를 수신하는 단계;
상기 수신된 데이터에 기초하여 3차원 공간 정보를 계산하여 제1 포인트 클라우드 데이터를 생성하는 단계;
상기 제1 포인트 클라우드 데이터에 기초하여 폐색 영역을 검출하는 단계;
상기 검출된 폐색 영역에 기초하여 상기 폐색 영역에 해당하는 일부 영역의 데이터를 수신하여 제2 포인트 클라우드 데이터를 생성하는 단계;
상기 제1 포인트 클라우드 데이터 및 상기 제2 포인트 클라우드 데이터에 기초하여 3차원 메쉬 및 텍스쳐 정보를 생성하는 단계;
상기 3차원 메쉬 및 텍스쳐 정보에 기초하여 오브젝트 단위로 분류하여 재가공한 오브젝트 단위 정보를 생성하는 단계; 그리고
상기 오브젝트 단위 정보에 기초하여 가시화 데이터를 생성하는 단계를 포함하는 방법.In the three-dimensional data generation method,
Receiving at least one of image data and video data from the outside;
generating first point cloud data by calculating 3D spatial information based on the received data;
detecting an occlusion area based on the first point cloud data;
generating second point cloud data by receiving data of a partial region corresponding to the occlusion region based on the detected occlusion region;
generating 3D mesh and texture information based on the first point cloud data and the second point cloud data;
classifying into object units based on the 3D mesh and texture information to generate reprocessed object unit information; and
and generating visualization data based on the object unit information.
KR1020210028936A 2020-11-27 2021-03-04 Apparatus and method for generating 3d data KR102578580B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200163018 2020-11-27
KR1020200163018 2020-11-27

Publications (2)

Publication Number Publication Date
KR20220074674A true KR20220074674A (en) 2022-06-03
KR102578580B1 KR102578580B1 (en) 2023-09-15

Family

ID=81983312

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210028936A KR102578580B1 (en) 2020-11-27 2021-03-04 Apparatus and method for generating 3d data

Country Status (1)

Country Link
KR (1) KR102578580B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024076027A1 (en) * 2022-10-07 2024-04-11 삼성전자 주식회사 Method for generating point cloud and electronic device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101013886B1 (en) * 2008-03-03 2011-02-14 경상대학교산학협력단 Method and apparatus for estimating initial pole position of AC permanent magnet synchronous motor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200042781A (en) * 2018-10-16 2020-04-24 에스케이텔레콤 주식회사 3d model producing method and apparatus
KR20200045321A (en) * 2018-10-22 2020-05-04 에스케이텔레콤 주식회사 Space scanning apparatus and information processing method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200042781A (en) * 2018-10-16 2020-04-24 에스케이텔레콤 주식회사 3d model producing method and apparatus
KR20200045321A (en) * 2018-10-22 2020-05-04 에스케이텔레콤 주식회사 Space scanning apparatus and information processing method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024076027A1 (en) * 2022-10-07 2024-04-11 삼성전자 주식회사 Method for generating point cloud and electronic device

Also Published As

Publication number Publication date
KR102578580B1 (en) 2023-09-15

Similar Documents

Publication Publication Date Title
US10783668B2 (en) Handling duplicate points in point cloud compression
US11024092B2 (en) System and method for augmented reality content delivery in pre-captured environments
EP3786890B1 (en) Method and apparatus for determining pose of image capture device, and storage medium therefor
EP3473311B1 (en) Providing apparatus, providing method and computer program
US11902577B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US8766979B2 (en) Three dimensional data compression
KR102009292B1 (en) Apparatus and method for reconstructing three dimensional face based on multiple cameras
KR102578580B1 (en) Apparatus and method for generating 3d data
KR102519653B1 (en) Apparatus and method for point cloud compression
KR101669820B1 (en) Apparatus and method for bidirectional inpainting in occlusion based on volume prediction
CN104717481A (en) Image capturing apparatus, monitoring system, image processing apparatus, and image capturing method
US20100250588A1 (en) Image searching system and image searching method
EP3806474A1 (en) Method and device for encoding three-dimensional image, and method and device for decoding three-dimensional image
Anand et al. Real time LiDAR point cloud compression and transmission for intelligent transportation system
WO2019098318A1 (en) Three-dimensional point group data generation method, position estimation method, three-dimensional point group data generation device, and position estimation device
US20230245373A1 (en) System and method for generating a three-dimensional photographic image
CN113313832A (en) Semantic generation method and device of three-dimensional model, storage medium and electronic equipment
JP6944180B2 (en) Video conversion system, video conversion method and video conversion program
KR101575284B1 (en) Apparatus for generating texture of 3-demensional reconstructed object by resolution level of 2-demensional image and method thereof
JP2024040321A (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
JP7440546B2 (en) Point cloud data processing device and method
US20240040149A1 (en) Three-dimensional data storage method, three-dimensional data acquisition method, three-dimensional data storage device, and three-dimensional data acquisition device
JP2024515203A (en) Point cloud data transmission device, point cloud data transmission method, point cloud data receiving device, and point cloud data receiving method
KR102338488B1 (en) Apparatus and Method for Reconstructing Human Posture and Shape Model based on Multi-View Image using Relative Distance information between Joints
WO2022224112A1 (en) Inherited geometry patches

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant