KR101325926B1 - 3d data processing apparatus and method for real-time 3d data transmission and reception - Google Patents
3d data processing apparatus and method for real-time 3d data transmission and reception Download PDFInfo
- Publication number
- KR101325926B1 KR101325926B1 KR1020120054190A KR20120054190A KR101325926B1 KR 101325926 B1 KR101325926 B1 KR 101325926B1 KR 1020120054190 A KR1020120054190 A KR 1020120054190A KR 20120054190 A KR20120054190 A KR 20120054190A KR 101325926 B1 KR101325926 B1 KR 101325926B1
- Authority
- KR
- South Korea
- Prior art keywords
- voxel
- local
- remote control
- global
- real
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
- B25J9/162—Mobile manipulator, movable base with manipulator arm mounted on it
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Computer Graphics (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Instructional Devices (AREA)
- Navigation (AREA)
Abstract
Description
본 발명은 실시간 3D 데이터 송수신을 위한 3D 데이터 처리 장치 및 방법에 관한 것으로, 특히 지형을 모니터링하는 원격제어로봇이 획득한 포인트 클라우드를 통해 갱신된 로컬 복셀맵의 복셀정보만을 원격제어서버로 전송하여, 전송되는 지형 데이터의 양을 감소시킬 수 있는 실시간 3D 데이터 송수신을 위한 3D 데이터 처리 장치 및 방법에 관한 것이다.
The present invention relates to a 3D data processing apparatus and method for real-time 3D data transmission and reception, in particular by transmitting only the voxel information of the local voxel map updated through the point cloud obtained by the remote control robot for monitoring the terrain, The present invention relates to a 3D data processing apparatus and method for real-time 3D data transmission and reception that can reduce the amount of terrain data transmitted.
최근 인터넷의 급속한 발전으로 표준 통신 네트워크를 이용한 원격제어 로봇에 관한 연구가 널리 진행되고 있다. 이러한 원격제어로봇은 위험지역탐사, 수중탐사, 핵산업, 원격수술, 전투, 경비용 로봇, 공장 자동화 등의 다양한 분야에서 널리 사용되고 있다. Recently, due to the rapid development of the Internet, research on a remote control robot using a standard communication network has been widely conducted. Such remote control robots are widely used in various areas such as dangerous area exploration, underwater exploration, nucleic acid industry, remote surgery, combat, security robot, factory automation, and the like.
이러한 원격제어로봇을 효율적으로 제어하기 위해서는 지형에 대한 탐사가 이루어져야 한다. 이를 위해, 로봇의 주변환경에 대한 월드 모델(world model)이 필요로 하는데, 상기 월드 모델이란, 로봇의 주변에 있는 지형, 지도, 혹은 고해상도의 이미지와 같이 로봇의 임무에 중요한 정보를 저장하며, 이러한 정보를 이용하여 조종사가 상기 로봇을 조종하게 된다. In order to efficiently control such a remote control robot, an exploration of terrain must be performed. To this end, a world model of the robot's surroundings is required. The world model stores information important to the robot's mission, such as terrain, maps, or high-resolution images around the robot. Using this information, a pilot controls the robot.
특히, 종래의 2D 영상 전송에 기반을 둔 원격제어는 군사적인 목적을 위해, 지형을 미리 탐색하여 작전 계획을 수립하거나, 위험한 지역에 무인 차량 혹은 로봇을 사람 대신 투입시킬 수 있어, 많은 이점을 가지고 있으나, 실제 세계를 하나의 카메라를 통해 관찰하기 때문에 운용효율 및 성능적인 측면에서 불합리하다는 문제점이 발생했다. In particular, the remote control based on the conventional 2D image transmission has many advantages for military purposes, by exploring the terrain in advance to plan the operation, or put unmanned vehicles or robots in dangerous areas instead of humans. However, since the real world is observed through a single camera, there is a problem in that it is unreasonable in terms of operational efficiency and performance.
상술한 바와 같이, 실시간 3D 데이터 송수신을 위한 3D 데이터 처리 장치 및 방법에 대한 선행기술을 살펴보면 다음과 같다. As described above, the prior art of the 3D data processing apparatus and method for real-time 3D data transmission and reception is as follows.
선행기술 1은 한국공개특허공보 제2011-0097140호(2011.08.31)로서, 이동 로봇의 위치 추정 장치 및 방법에 관한 것이다. 이러한 선행기술 1은 3D 포인트 클라우드 데이터를 획득하고, 이전에 획득된 3D 포인트 클라우드 데이터로부터 추출된 특징점 주변의 포인트들을 포함하는 복수 개의 패치를 저장하며, 획득된 3D 포인트 클라우드 데이터로부터 복수 개의 패치를 추적하여 이동 로봇의 위치를 추정한다.
또한, 선행기술 2는 한국공개특허공보 제2011-0124892호(2011.11.18)로서, 움직임 보상 3차원 필터링 방법 및 장치에 관한 것이다. 이러한 선행기술 2는 카메라에서 생성되는 영상에 포함된 각 프레임의 뎁스 포인트 클라우드를 획득하여, 획득한 뎁스 포인트 클라우드 간의 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출하고, 상기 영상에서 상기 추출된 움직임 정보를 보상하여 시간 필터링을 수행한다.
In addition, the
상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명은 중복되지 않는 지형의 포인트 클라우드 데이터만을 원격제어서버로 전송하여, 전송되는 데이터의 양을 감소시킴으로써, 데이터 전송효율을 향상시킬 수 있는 실시간 3D 데이터 송수신을 위한 3D 데이터 처리 장치 및 방법을 제공하고자 한다.
In order to solve the problems of the prior art as described above, the present invention transmits only point cloud data of a non-overlapping terrain to the remote control server, thereby reducing the amount of data to be transmitted, thereby real-time 3D data efficiency. An apparatus and method for 3D data processing for data transmission and reception are provided.
위와 같은 과제를 해결하기 위한 본 발명의 한 실시 예에 따른 실시간 3D 데이터 송수신을 위한 3D 데이터 처리 장치는 3D(dimensional)센서로부터 지형에 대한 적어도 하나의 포인트 클라우드를 수신하여 양자화하고, 양자화된 상기 포인트 클라우드에 기초하여 원격제어로봇에 기저장된 로컬 복셀맵을 갱신한 다음, 갱신된 상기 로컬 복셀맵의 복셀정보에 기초하여 신규 로컬 복셀 인덱스 배열을 생성하고, 생성된 상기 신규 로컬 복셀 인덱스 배열을 원격제어서버로 전송하는 것을 특징으로 한다. 3D data processing apparatus for real-time 3D data transmission and reception according to an embodiment of the present invention for solving the above problems receives and quantizes at least one point cloud of the terrain from a 3D (dimensional) sensor, the quantized point After updating the local voxel map previously stored in the remote control robot based on the cloud, a new local voxel index array is generated based on the updated voxel information of the local voxel map, and the new local voxel index array is remotely controlled. Characterized in that the transmission to the server.
보다 바람직하게는 상기 3D센서로부터 획득한 적어도 하나의 포인트 클라우드를 양자화한 값이 3D공간을 표현하는 다수의 복셀 중 어느 위치의 복셀에 해당하는지 확인하는 것을 특징으로 한다. More preferably, it is determined whether a value obtained by quantizing at least one point cloud acquired from the 3D sensor corresponds to a voxel of which position among a plurality of voxels representing a 3D space.
특히, 다수의 정육면체가 기설정된 일정 간격을 갖도록 배치되어, 3D공간을 표현하는 복셀을 포함할 수 있다. In particular, the plurality of cubes may be arranged to have a predetermined predetermined interval, and may include a voxel representing a 3D space.
보다 바람직하게는 상기 복셀에 양자화된 포인트 클라우드를 적어도 하나 포함하는지 여부에 따라 포인트 포함정보를 표시하는 것을 특징으로 한다. More preferably, the point inclusion information is displayed according to whether the voxel includes at least one quantized point cloud.
보다 바람직하게는 상기 복셀에 표시된 이전 포인트 포함정보가 0에서 1로 변경되는 경우, 상기 복셀에 표시된 포인트 포함정보를 신규 로컬 복셀 인덱스 배열에 포함시키는 것을 특징으로 한다. More preferably, when the previous point inclusion information displayed on the voxel is changed from 0 to 1, the point inclusion information displayed on the voxel is included in the new local voxel index array.
특히, GPS(Global Positioning System) 또는 자이로스코프 센서로부터 지형에 대한 자세정보를 획득하여 상기 원격제어서버로 전송할 수 있다. In particular, it is possible to obtain attitude information about the terrain from a Global Positioning System (GPS) or a gyroscope sensor and transmit it to the remote control server.
특히, 원격제어로봇으로 이루어질 수 있다. In particular, it may be made of a remote control robot.
위와 같은 과제를 해결하기 위한 본 발명의 한 실시 예에 따른 실시간 3D 데이터 송수신을 위한 3D 데이터 처리 장치는 복셀에 표시된 포인트 포함정보로 구성된 신규 로컬 복셀 인덱스 배열 내 각각의 복셀 인덱스를 로컬 3D좌표로 변환하고, 상기 로컬 3D좌표를 글로벌좌표계로 변환하여 글로벌 3D좌표를 획득한 다음, 획득한 상기 글로벌 3D좌표에 기초하여 원격제어서버에 기저장된 글로벌 복셀맵을 갱신한다. 3D data processing apparatus for real-time 3D data transmission and reception according to an embodiment of the present invention to solve the above problems is to convert each voxel index in the new local voxel index array consisting of the point inclusion information displayed on the voxel to local 3D coordinates And converting the local 3D coordinates into a global coordinate system to obtain a global 3D coordinate, and then updating the pre-stored global voxel map on the remote control server based on the obtained global 3D coordinate.
특히, GPS(Global Positioning System) 또는 자이로스코프 센서로부터 지형에 대한 자세정보를 수신할 수 있다. In particular, attitude information about the terrain may be received from a global positioning system (GPS) or a gyroscope sensor.
특히, 상기 자세정보에 기초하여 상기 로컬 3D좌표를 글로벌 3D좌표로 변환할 수 있다. In particular, the local 3D coordinates may be converted into global 3D coordinates based on the attitude information.
보다 바람직하게는 갱신된 상기 글로벌 복셀맵에 대한 렌더링을 수행할 수 있다. More preferably, the updated global voxel map may be rendered.
특히, 원격제어서버로 이루어질 수 있다. In particular, it may be made of a remote control server.
위와 같은 과제를 해결하기 위한 본 발명의 한 실시 예에 따른 실시간 3D 데이터 송수신을 위한 3D 데이터 처리 방법은 3D(dimensional)센서로부터 지형에 대한 적어도 하나의 포인트 클라우드를 수신하여 양자화하는 단계; 양자화된 상기 포인트 클라우드에 기초하여 원격제어로봇에 기저장된 로컬 복셀맵을 갱신하는 단계; 갱신된 상기 로컬 복셀맵의 복셀정보에 기초하여 신규 로컬 복셀 인덱스 배열을 생성하는 단계; 및 생성된 상기 신규 로컬 복셀 인덱스 배열을 원격제어서버로 전송하는 단계;를 포함할 수 있다. 3D data processing method for real-time 3D data transmission and reception according to an embodiment of the present invention for solving the above problems comprises the steps of receiving and quantizing at least one point cloud of the terrain from a 3D (dimensional) sensor; Updating a local voxel map previously stored in a remote control robot based on the quantized point cloud; Generating a new local voxel index array based on the updated voxel information of the local voxel map; And transmitting the generated new local voxel index array to a remote control server.
보다 바람직하게는 GPS(Global Positioning System) 또는 자이로스코프 센서로부터 지형에 대한 자세정보를 획득하는 과정을 더 포함하는 포인트 클라우드를 수신하여 양자화하는 단계를 포함할 수 있다. More preferably, the method may include receiving and quantizing a point cloud, which further includes obtaining attitude information about the terrain from a global positioning system (GPS) or a gyroscope sensor.
보다 바람직하게는 상기 적어도 하나의 포인트 클라우드를 양자화한 값이 3D공간을 표현하는 다수의 복셀 중 어느 복셀에 위치하는지를 확인하는 과정; 상기 포인트 클라우드를 양자화한 값이 위치하는 해당 복셀에 포인트 포함정보를 표시하는 과정; 및 상기 복셀에 표시된 포인트 포함정보가 0에서 1로 변경되는 경우, 원격제어로봇에 기저장된 로컬 복셀맵을 갱신하는 과정; 을 포함하는 로컬 복셀맵을 갱신하는 단계를 포함할 수 있다. More preferably, the step of identifying which voxel of the plurality of voxels representing the 3D space is a value of the quantized at least one point cloud; Displaying point inclusion information in a corresponding voxel in which the point cloud quantized value is located; And updating the local voxel map previously stored in the remote control robot when the point inclusion information displayed on the voxel is changed from 0 to 1. The method may include updating a local voxel map including a.
보다 바람직하게는 상기 복셀의 변경된 포인트 포함정보를 신규 로컬 복셀 인덱스 배열에 포함하는 신규 로컬 복셀 인덱스 배열을 생성하는 단계를 포함할 수 있다. More preferably, the method may include generating a new local voxel index array including the changed point inclusion information of the voxel in the new local voxel index array.
위와 같은 과제를 해결하기 위한 본 발명의 한 실시 예에 따른 실시간 3D 데이터 송수신을 위한 3D 데이터 처리 방법은 복셀에 표시된 포인트 포함정보로 구성된 신규 로컬 복셀 인덱스 배열 내 각각의 복셀 인덱스를 로컬 3D좌표로 변환하는 단계; 상기 로컬 3D좌표를 글로벌좌표계로 변환하여 글로벌 3D좌표를 획득하는 단계; 및 상기 글로벌 3D좌표에 기초하여 원격제어서버에 기저장된 글로벌 복셀맵을 갱신하는 단계;를 포함한다. 3D data processing method for real-time 3D data transmission and reception according to an embodiment of the present invention for solving the above problems is to convert each voxel index in the new local voxel index array consisting of the point inclusion information displayed on the voxel to local 3D coordinates Making; Converting the local 3D coordinates into a global coordinate system to obtain a global 3D coordinate; And updating a global voxel map previously stored in a remote control server based on the global 3D coordinates.
특히, 상기 로컬3D좌표를 GPS(Global Positioning System) 또는 자이로스코프 센서로부터 수신한 자세정보에 기초하여 글로벌 3D좌표로 변환하는 글로벌 3D좌표를 획득하는 단계를 포함할 수 있다. In particular, the method may include obtaining the global 3D coordinates for converting the local 3D coordinates into global 3D coordinates based on attitude information received from a global positioning system (GPS) or a gyroscope sensor.
보다 바람직하게는 갱신된 상기 글로벌 복셀맵에 대하여 렌더링을 수행하는 단계;를 더 포함할 수 있다.
More preferably, the rendering may be performed on the updated global voxel map.
본 실시간 3D 데이터 송수신을 위한 3D 데이터 처리 장치 및 방법은 원격제어로봇이 획득한 지형에 대한 포인트 클라우드 중 중복되지 않은 포인트 클라우드를 원격제어서버로 전송함으로써, 전송하는 데이터량을 크게 감소시킬 수 있는 효과가 있다. This 3D data processing apparatus and method for real-time 3D data transmission and reception by transmitting a non-overlapping point cloud of the point cloud for the terrain obtained by the remote control robot to the remote control server, the amount of data to be transmitted can be greatly reduced There is.
또한, 본 발명의 실시간 3D 데이터 송수신을 위한 3D 데이터 처리 장치 및 방법은 원격제어로봇이 획득한 지형 데이터를 3차원 영상으로 디스플레이함으로써, 영상을 보는 사용자가 지형에 대한 실재감을 느낄 수 있도록 하는 효과가 있다.
In addition, the 3D data processing apparatus and method for real-time 3D data transmission and reception of the present invention by displaying the terrain data obtained by the remote control robot as a three-dimensional image, the effect of the user viewing the image to feel the reality of the terrain have.
도 1은 본 발명의 일 실시 예에 따른 실시간 3D 데이터 송수신을 위한 3D 데이터 처리장치의 블록도이다.
도 2는 본 발명의 다른 실시 예에 따른 실시간 3D 데이터 송신을 위한 3D 데이터 처리방법의 순서도이다.
도 3은 복셀의 형태를 나타낸 도면이다.
도 4는 로컬 복셀맵을 나타낸 도면이다.
도 5는 로컬 복셀맵의 일 실시 예를 나타낸 도면이다.
도 6은 본 발명의 또 다른 실시 예에 따른 실시간 3D 데이터 수신을 위한 3D 데이터 처리방법의 순서도이다.
도 7은 글로벌 복셀맵을 나타낸 도면이다.
도 8은 포인트 렌더링과 파티클 렌더링을 비교한 결과를 나타내는 도면이다.
도 9는 신규 로컬 복셀 인덱스 배열과 3D센서로부터 획득한 포인트 클라우드간 데이터 비교를 나타낸 그래프이다.
도 10은 로컬 복셀맵을 파티클로 가시화한 도면이다.1 is a block diagram of a 3D data processing apparatus for real-time 3D data transmission and reception according to an embodiment of the present invention.
2 is a flowchart of a 3D data processing method for real-time 3D data transmission according to another embodiment of the present invention.
3 is a diagram illustrating a shape of a voxel.
4 is a diagram illustrating a local voxel map.
5 is a diagram illustrating an embodiment of a local voxel map.
6 is a flowchart of a 3D data processing method for receiving real-time 3D data according to another embodiment of the present invention.
7 is a diagram illustrating a global voxel map.
8 is a diagram illustrating a result of comparing point rendering and particle rendering.
9 is a graph illustrating data comparison between a new local voxel index array and a point cloud acquired from a 3D sensor.
10 is a view visualizing a local voxel map as particles.
이하, 본 발명을 바람직한 실시 예와 첨부한 도면을 참고로 하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되는 것은 아니다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT Hereinafter, the present invention will be described in detail with reference to preferred embodiments and accompanying drawings, which will be easily understood by those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein.
이하, 도 1을 참조하여, 본 발명의 일 실시 예에 따른 실시간 3D 데이터 송수신을 위한 3D 데이터 처리장치에 대하여 자세히 살펴보도록 한다. Hereinafter, a 3D data processing apparatus for transmitting and receiving real-time 3D data according to an embodiment of the present invention will be described in detail with reference to FIG. 1.
도 1은 본 발명의 일 실시 예에 따른 실시간 3D 데이터 송수신을 위한 3D 데이터 처리장치의 블록도이다. 1 is a block diagram of a 3D data processing apparatus for real-time 3D data transmission and reception according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 실시간 3D 데이터 송수신을 위한 3D 데이터 처리 장치는 지형을 모니터링하는 원격제어로봇(110)으로 이루어진다. As shown in FIG. 1, the 3D data processing apparatus for real-time 3D data transmission and reception according to an embodiment of the present invention includes a
원격제어로봇(110)은 3D(dimensional)센서로부터 지형에 대한 적어도 하나의 포인트 클라우드(point cloud)를 수신한 후, 수신한 포인트 클라우드를 양자화한다. 이때, 상기 3D센서로는 공간정보를 수집할 수 있는 라이다(Lidar), 소나(Sonar) 등을 사용함으로써, 지형의 주변환경에 대하여 실재감있게 영상을 구현하도록 한다. The
이때, 상기 원격제어로봇(110)은 적어도 하나의 포인트 클라우드 뿐만 아니라, 지형을 모니터링하고 있는 GPS 또는 자이로스코프 센서로부터 지형에 대한 자세정보를 더불어 획득한다. At this time, the
또한, 상기 원격제어로봇(110)은 양자화된 적어도 하나의 포인트 클라우드에 중복되는 데이터가 존재하는지 검출하고, 상기 양자화된 적어도 하나의 포인트 클라우드가 3D 공간을 표현하는 다수의 복셀 중에 어느 복셀에 위치하는지 확인한다. 이때, 상기 복셀은 표현하고자 하는 3D공간을 다수의 정육면체가 기설정된 일정 간격을 가지며 배치됨에 따라, 양자화된 포인트 클라우드의 3차원 공간좌표정보가 아닌 인덱스정보만을 파악하더라도 해당하는 복셀의 위치를 파악할 수 있다. In addition, the
또한, 상기 원격제어로봇(110)은 양자화된 포인트 클라우드가 포함되는지 여부에 따라 각 복셀에 포인트 포함정보를 표시한다. 예를 들어, 상기 원격제어로봇(110)에 기저장된 로컬 복셀맵의 각 복셀에 처음 표시되는 포인트 포함정보는 모두 0이고, 이후, 양자화된 포인트 클라우드가 각 복셀에 포함되는지 여부에 따라, 양자화된 포인트 클라우드가 포함되는 복셀에 표시되는 포인트 포함정보가 1이 되고, 양자화된 포인트 클라우드가 포함되지 않는 복셀에 표시되는 포인트 포함정보는 0이 될 수 있다. In addition, the
이때, 상기 원격제어로봇(110)은 로컬 복셀맵 중 어느 특정 복셀에 표시된 포인트 포함정보가 0인 경우에는, 상기 포인트 포함정보를 1로 변경하여 상기 로컬 복셀맵을 갱신하고, 갱신된 로컬 복셀맵의 복셀정보에 의해 신규 로컬 복셀 인덱스 배열을 생성한다. 즉, 상기 원격제어로봇(110)은 미리 저장하고 있는 로컬 복셀맵으로부터 새로 변경된 즉, 갱신된 복셀정보만을 가지고 신규 로컬 복셀 인덱스 배열을 생성함으로써, 이전의 복셀정보는 상기 신규 로컬 복셀 인덱스 배열 내 포함되지 않도록 한다. 이러한 원격제어로봇(110)은 생성한 신규 로컬 복셀 인덱스 배열을 원격제어서버(120)로 전송하는데, 이때 새로 갱신된 복셀정보만을 이용하여 신규 로컬 복셀 인덱스 배열을 전송함으로써, 전송되는 데이터의 용량을 감소시킬 수 있다. In this case, when the point inclusion information displayed on any particular voxel of the local voxel map is 0, the
뿐만 아니라, 상기 원격제어로봇(110)은 지형을 모니터링하는 GPS(Global Positioning System) 또는 자이로스코프 센서로부터 수신한 지형에 대한 자세정보를 상기 신규 로컬 복셀 인덱스 배열과 함께 상기 원격제어서버(120)로 전송한다. In addition, the
또한, 본 발명의 다른 실시 예에 따른 실시간 3D 데이터 송수신을 위한 3D 데이터 처리장치는 원격제어로봇(110)으로부터 수신한 지형의 포인트 클라우드를 이용하여 상기 지형의 3D 영상 렌더링을 수행하는 원격제어서버(120)를 포함한다. In addition, the 3D data processing apparatus for real-time 3D data transmission and reception according to another embodiment of the present invention is a remote control server for performing a 3D image rendering of the terrain using a point cloud of the terrain received from the remote control robot 110 ( 120).
원격제어서버(120)는 지형을 모니터링하는 원격제어로봇으로부터 네트워크를 통해 지형에 대한 포인트 클라우드를 양자화하여 갱신된 로컬 복셀맵의 복셀정보에 기초하여 생성된 신규 로컬 복셀 인덱스 배열을 수신하고, 수신한 상기 신규 로컬 복셀 인덱스 배열 내 각각의 복셀 인덱스를 로컬 3D좌표로 변환한 후, 변환된 상기 로컬 3D좌표를 글로벌좌표계로 변환하여 글로벌 3D 좌표를 획득하고, 획득한 상기 글로벌 3D 좌표에 기초하여 기저장된 글로벌 복셀맵을 갱신하고, 갱신된 글로벌 복셀맵에 대한 렌더링을 수행한다. 이러한 원격제어서버(120)는 상기 원격제어로봇(110)의 GPS(Global Positioning System) 또는 자이로스코프 센서로부터 상기 네트워크를 통해 지형에 대한 자세정보를 수신하고, 수신한 상기 자세정보를 이용하여 상기 로컬 3D좌표를 글로벌 좌표계에 따르는 글로벌 3D좌표로 변환한다. The
이하, 도 2를 참조하여 본 발명의 다른 실시 예에 따른 실시간 3D 데이터 송수신을 위한 3D 데이터 처리방법에 대하여 자세히 살펴보도록 한다. Hereinafter, a 3D data processing method for real-time 3D data transmission and reception according to another embodiment of the present invention will be described in detail with reference to FIG. 2.
도 2는 본 발명의 다른 실시 예에 따른 실시간 3D 데이터 송신을 위한 3D 데이터 처리방법의 순서도이다. 2 is a flowchart of a 3D data processing method for real-time 3D data transmission according to another embodiment of the present invention.
도 2에 도시된 바와 같이, 본 발명의 실시간 3D 데이터 송신을 위한 3D 데이터 처리방법은 원격제어로봇이 라이다(Lidar) 또는 소나(Sonar)등과 같은 3D(dimensional)센서로부터 지형에 대한 적어도 하나의 포인트 클라우드를 수신하고, 이를 양자화한다(S210). 이때, 상기 원격제어로봇(110)이 GPS(Global Positioning System) 또는 자이로스코프 센서로부터 상기 지형에 대한 자세정보 또한 획득한다. As shown in Figure 2, the 3D data processing method for real-time 3D data transmission of the present invention is a remote control robot at least one of the terrain from the 3D (dimensional) sensor, such as Lidar or Sonar (Sonar), etc. Receive the point cloud and quantize it (S210). In this case, the
이후, 상기 원격제어로봇(110)이 양자화된 포인트 클라우드에 기초하여 원격제어로봇(110)에 기저장된 로컬 복셀맵을 갱신한다(S220). 이러한 로컬 복셀맵의 갱신과정에 대하여 자세히 살펴보기에 앞서, 상기 로컬 복셀맵에 대하여 먼저 자세히 살펴보도록 한다. Thereafter, the
상기 로컬 복셀맵이란, 10cm의 단위로 양자화한 3D공간이 복수 개의 정육면체로 이루어지며, 이때, 상기 정육면체를 복셀(Volume Pixel)이라고 정의한다. In the local voxel map, a 3D space quantized in units of 10 cm is formed of a plurality of cubes, and the cube is defined as a voxel.
이러한 상기 원격제어로봇(110)이 앞서, 과정 S210을 통해 양자화된 상기 적어도 하나의 포인트 클라우드에 대하여 중복되는 데이터가 존재하는지 검출하고, 상기 적어도 하나의 포인트 클라우드를 양자화한 값이 로컬 복셀맵의 다수의 복셀 중 어디에 위치하는 복셀에 포함되는지 여부를 확인한다. 이에 따라, 상기 포인트 클라우드를 양자화한 값에 해당하는 복셀에 포인트 클라우드의 양자화값 존재여부를 나타내는 포인트 포함정보를 표시한다. The
도 3은 복셀의 형태를 나타낸 도면이다. 3 is a diagram illustrating a shape of a voxel.
도 3에 도시된 바와 같이, 로컬 복셀 맵 중 (1, 1)에 위치하는 첫 번째 복셀에 포인트 클라우드의 양자화값이 두 개가 포함되고, (1,2)에 위치하는 두 번째 복셀에 포인트 클라우드의 양자화값이 네 개가 포함되며, (2,1)에 위치하는 세 번째 복셀에 포인트 클라우드의 양자화값은 포함되어있지 않고, (2,2)에 위치하는 네 번째 복셀에 포인트 클라우드의 양자화값이 두 개가 포함되어 있는 것을 알 수 있다. As shown in FIG. 3, the first voxel located in (1, 1) of the local voxel map includes two quantization values of the point cloud, and the second voxel located in (1,2) includes the point cloud. Four quantization values are included, the third voxel located at (2,1) does not contain the quantization value of the point cloud, and the fourth voxel located at (2,2) has two quantization values of the point cloud. You can see that the dog is included.
이러한 복셀 내 포인트 클라우드의 양자화값이 그 개수와 상관없이 존재하는지 여부를 판단하여, 해당하는 각 복셀별 0 또는 1의 포인트 포함정보를 표시한다. 예를 들어, 상기 첫 번째, 두 번째 및 네 번째 복셀에는 포인트 클라우드의 양자화값이 존재함에 따라, 상기 첫 번째, 두 번째 및 네 번째 복셀에는 포인트 포함정보는 1이 표시되나 이와 달리, 상기 세 번째 복셀에는 포인트 클라우드의 양자화값이 존재하지 않음에 따라, 포인트 포함정보 0이 표시된다. It is determined whether or not the quantization value of the point cloud in the voxel exists regardless of the number thereof, and information corresponding to 0 or 1 point of each voxel is displayed. For example, as the first, second and fourth voxels have a quantization value of a point cloud, the first, second and fourth voxels have a point inclusion information of 1, but otherwise, the third As there is no quantization value of the point cloud in the voxel, the
이와 같이 다수의 복셀이 합쳐져 하나의 가상공간을 표현하는 로컬 복셀맵은 도 4와 같이, 표현될 수 있다. As such, a local voxel map, in which a plurality of voxels are combined to represent one virtual space, may be represented as shown in FIG. 4.
도 4는 로컬 복셀맵을 나타낸 도면이다. 4 is a diagram illustrating a local voxel map.
도 4에 도시된 바와 같이, 로컬 복셀맵은 각각 정육면체의 복셀이 일정하게 배열됨에 따라, (x, y, z)와 같은 좌표형태가 아닌 인덱스정보만을 통해 각 복셀의 3차원 공간 상의 위치를 표현할 수 있다. 이때, 각 복셀의 인덱스 범위는 W×D×H 으로 연산될 수 있는데, 상기 W는 폭, H는 높이, D는 깊이를 나타내며, 최소 0 부터 최대 W×D×H - 1 까지 표현될 수 있으며, 최초의 로컬 복셀맵의 경우에는 어떠한 복셀에도 포인트 클라우드의 양자화값을 포함하지 않음에 따라, 모든 복셀의 포인트 포함정보는 0이 표시된다. As shown in FIG. 4, the local voxel maps may express positions on the three-dimensional space of each voxel only through index information rather than coordinate types such as (x, y, z) as the voxels of the cubes are constantly arranged. Can be. In this case, the index range of each voxel may be calculated as W × D × H, where W is the width, H is the height, and D is the depth, and may be expressed from at least 0 to at most W × D × H −1. In the case of the first local voxel map, since no voxel includes the quantization value of the point cloud, the point inclusion information of all voxels is displayed as zero.
이하, 도 5를 참조하여, 로컬 복셀맵의 일 예에 대하여 살펴보도록 한다. Hereinafter, an example of a local voxel map will be described with reference to FIG. 5.
원격제어로봇이 자신을 중심으로 200 m × 200 m × 16 m의 공간을 로컬 복셀맵으로 표현한다고 가정한다. 이러한 상기 로컬 복셀맵을 이루는 각 복셀은 10cm × 10cm ×10cm 의 정육면체로 이루어짐에 따라, 각 복셀의 인덱스 범위는 최소 0부터 최대 2000 × 2000 × 160 - 1까지가 된다. 특히, 각 복셀은 한 변이 10cm인 정육면체로 이루어짐에 따라 상기 원격제어로봇은 상기 로컬 복셀맵을 운용하기 위해 총 2000 × 2000 × 160 × 1 bit 인 약 76.30MB의 메모리 공간을 사용하는 것을 알 수 있다. Assume that the remote control robot represents a 200 v × 200 m × 16 m space around itself as a local voxel map. Each voxel constituting the local voxel map is composed of a cubic cube of 10 cm × 10 cm × 10 cm, and thus, an index range of each voxel is from 0 to 2000 × 2000 × 160 −1. In particular, each voxel is composed of a cube of 10cm on one side, it can be seen that the remote control robot uses about 76.30MB of memory space total 2000 × 2000 × 160 × 1 bit to operate the local voxel map .
이와 같이 이루어지는 로컬 복셀맵의 각 복셀 중 앞서 연산한 포인트 클라우드의 양자화값이 위치하는 복셀을 확인하고, 각 복셀에 상기 포인트 클라우드의 양자화값이 위치하는 경우, 포인트 포함정보 1을 표시하고, 상기 포인트 클라우드의 양자화값이 위치하지 않는 경우, 포인트 포함정보 0을 각각 표시한다. The voxel in which the quantization value of the point cloud computed previously is located among each voxel of the local voxel map formed as described above is identified. When the quantization value of the point cloud is located in each voxel, the
이러한 복셀에 표시된 포인트 포함정보에 대하여, 로컬 복셀맵 상의 복셀에 대하여 이전 포인트 포함정보가 0인 상태에서 1로 변경되는 경우, 상기 원격제어로봇이 기저장하고 있는 로컬 복셀맵을 갱신한다. 하지만, 이와 달리, 이전 포인트 포함정보가 1인 상태인 경우에는 이미 하나 이상의 양자화된 포인트 클라우드를 포함함에 따라, 상기 원격제어로봇은 해당 복셀에 대한 로컬 복셀맵의 갱신을 수행하지 않는다. With respect to the point inclusion information displayed on the voxel, when the previous point inclusion information is changed from 0 to 1 for the voxel on the local voxel map, the remote control robot updates the local voxel map previously stored. However, in contrast, when the previous point inclusion information is 1, the remote control robot does not update the local voxel map for the corresponding voxel, as it includes one or more quantized point clouds.
특히, 3D 센서로 사용되는 3D 라이다가 1회 감지하는 포인트 클라우드의 개수는 약 10,000개 이상이므로, 각 포인트 클라우드에 대한 연산시간은 포인트의 개수의 증가에 따라 비례하여 증가하나, 본 발명에서는 원격제어로봇이 로컬 복셀맵의 갱신작업을 병렬처리한다. 즉, 상기 3D 라이다가 1회 감지하여 획득한 포인트 클라우드를 한 번에 처리함에 따라, 소요시간이 급격히 감소하는 효과가 있다. In particular, since the number of point clouds that the 3D lidar used as the 3D sensor detects once is about 10,000 or more, the calculation time for each point cloud increases in proportion to the increase in the number of points. The control robot parallelizes the update of the local voxel map. That is, as the 3D lidar processes the point cloud acquired by sensing once, the required time is drastically reduced.
이에 따라, 원격제어로봇(110)은 갱신된 상기 로컬 복셀맵의 복셀정보에 기초하여 신규 로컬 복셀 인덱스 배열을 생성한 다음(S230), 생성한 신규 로컬 복셀 인덱스 배열을 원격제어서버로 전송하되(S230), 이때, 상기 복셀의 변경된 포인트 포함정보를 상기 생성된 신규 로컬 복셀 인덱스 배열에 포함시켜, 상기 원격제어서버(120)로 전송되도록 한다. 즉, 이전의 로컬 복셀맵의 상태로부터 갱신된 정보만을 포함하는 신규 로컬 복셀 인덱스 배열로 생성하여 원격제어서버로 전송함에 따라, 보다 효율적으로 데이터를 전송할 수 있다. Accordingly, the
이하, 도 6을 참조하여 본 발명의 또 다른 실시 예에 따른 실시간 3D 데이터 수신을 위한 3D 데이터 처리 방법에 대하여 자세히 살펴보도록 한다. Hereinafter, a 3D data processing method for receiving real-time 3D data according to another embodiment of the present invention will be described in detail with reference to FIG. 6.
도 6은 본 발명의 또 다른 실시 예에 따른 실시간 3D 데이터 수신을 위한 3D 데이터 처리 방법의 순서도이다.6 is a flowchart of a 3D data processing method for receiving real-time 3D data according to another embodiment of the present invention.
도 6에 도시된 바와 같이, 본 발명의 실시간 3D 데이터 수신을 위한 3D 데이터 처리 방법은 복셀에 표시된 포인트 포함정보로 구성된 원격제어서버(120)가 원격제어로봇으로부터 네트워크를 통해 수신한 신규 로컬 복셀 인덱스 배열에 대하여, 상기 신규 로컬 복셀 인덱스 배열 내 각각의 복셀 인덱스를 로컬 3D좌표로 변환한다(S310). 이때, 상기 신규 로컬 복셀 인덱스 배열 내 각 복셀 인덱스로부터 로컬 3D 좌표가 변환되는 과정은 하기의 수학식 1을 통해 연산될 수 있다. As shown in FIG. 6, in the 3D data processing method for real-time 3D data reception according to the present invention, the new local voxel index received by the
[수학식 1][Equation 1]
이때, 상기 i는 신규 로컬 복셀 인덱스 배열 내 각 로컬 복셀 인덱스를 나타내고, W는 로컬 복셀맵의 폭, H는 로컬 복셀맵의 높이, D는 로컬 복셀맵의 깊이를 나타내며, S는 각 복셀의 한 변 길이를 나타낸다. I denotes each local voxel index in the new local voxel index array, W denotes the width of the local voxel map, H denotes the height of the local voxel map, D denotes the depth of the local voxel map, and S denotes one of the voxel maps. The side length is shown.
이후, 원격제어서버(120)는 상기 신규 로컬 복셀 인덱스 배열 내 모든 복셀 인덱스에 대하여 상기 수학식 1을 통해 로컬 3D 좌표의 변환과정을 반복수행한다. Thereafter, the
이와 같이, 변환된 상기 로컬 3D좌표에 대하여 GPS 또는 자이로스코프 센서로부터 수신한 자세정보를 이용하여 글로벌좌표계로 변환하여 글로벌 3D좌표를 획득한다(S320).In this way, the global 3D coordinate is obtained by converting the converted local 3D coordinate into a global coordinate system using the attitude information received from the GPS or gyroscope sensor (S320).
따라서, 상기 원격제어서버(120)가 상기 수학식 1을 통해 신규 로컬 복셀 인덱스 배열 내 각 복셀 인덱스로부터 변환된 로컬 3D 좌표로부터 글로벌 3D좌표가 변환되는 과정은 하기의 수학식 2를 통해 연산될 수 있다. Therefore, the process of converting the global 3D coordinates from the local 3D coordinates converted from each voxel index in the new local voxel index array by the
[수학식 2]&Quot; (2) "
G는 글로벌 3D 좌표이고, R은 로봇의 회전행렬이며, P는 로컬 3D 좌표이고, T0는 3D 센서 중의 하나로 사용된 3D 라이다로부터 GPS센서를 연결하는 벡터이며, T는 원격제어로봇의 글로벌 좌표를 나타낸다. G is the global 3D coordinate, R is the robot's rotation matrix, P is the local 3D coordinate, T 0 is the vector connecting the GPS sensor from the 3D lidar used as one of the 3D sensors, and T is the global of the remote control robot. Represents a coordinate.
이후, 상기 원격제어서버(120)가 상기 로컬 3D 좌표로부터 변환된 글로벌 3D좌표에 기초하여 원격제어서버(120) 상에 기저장된 글로벌 복셀맵을 갱신한다(S330). 이러한 상기 글로벌 복셀맵은 도 7과 같이 도시될 수 있다.Thereafter, the
도 7은 글로벌 복셀맵을 나타낸 도면이다.7 is a diagram illustrating a global voxel map.
도 7에 도시된 바와 같이, 글로벌 복셀맵은 원격제어로봇으로부터 수신한 지형 데이터를 누적하여 나타내는 것으로서, 여러 개의 블록의 집합으로 이루어지며, 각 블록의 중심위치와 각 블록에 대한 포인터로 각 블록을 관리한다. 특히, 각 블록이 서로 일정한 간격을 두고 연결되며, 가로, 세로, 높이 등이 제한됨에 따라, 오르막길 또는 내리막길 등의 지형의 상태를 표현하기 위해, 이러한 글로벌 복셀맵이 앞서 과정 S330을 통해 갱신됨에 따라, 갱신된 글로벌 복셀맵에 대한 3차원 화상을 구현하는 렌더링을 수행한다. 이때, 상기 글로벌 복셀맵에 대한 랜더링 수행과정은 파티클 형태로 수행된다. As shown in FIG. 7, the global voxel map is a cumulative representation of terrain data received from a remote control robot. The global voxel map is composed of a plurality of blocks. Each block is represented by a center position of each block and a pointer to each block. Manage. In particular, each block is connected to each other at regular intervals, and as the width, length, height, etc. are restricted, such a global voxel map is updated through the process S330 to express the state of the terrain such as an uphill or downhill. Accordingly, rendering is performed to implement a 3D image for the updated global voxel map. At this time, the rendering process for the global voxel map is performed in the form of particles.
도 8은 포인트 렌더링과 파티클 렌더링을 비교한 결과를 나타내는 도면이다. 8 is a diagram illustrating a result of comparing point rendering and particle rendering.
도 8(a)에 도시된 바와 같이, 원격제어서버가 상기 글로벌 복셀맵에 대하여 육면체 형태로 포인트 렌더링을 수행하기 위해서는 8개의 버텍스가 필요하지만, 도 8(b) 내지 도 8(d)에 도시된 바와 같이, 파티클 형태로 렌더링하는 경우에는 하나의 버텍스만 있으면 박스처럼 보이도록 렌더링할 수 있다. 이에 따라, 더 넓은 범위의 지형에 대해서도 높은 밀도로 렌더링을 수행할 수 있다.As shown in FIG. 8 (a), eight vertices are required for the remote control server to perform point rendering in the hexahedral form with respect to the global voxel map, but shown in FIGS. 8 (b) to 8 (d). As you can see, if you are rendering particles, you only need one vertex to render it look like a box. Accordingly, it is possible to render at a higher density even for a wider range of terrain.
특히, 상기 글로벌 복셀맵은 각 복셀의 중심 좌표로 구성됨에 따라, 이러한 복셀 중심 좌표들을 그대로 3D 공간 상에 버텍스로 할당하여 파티클 형태로 렌더링하게 되면 단순히 화면에 1 픽셀의 점들만 보이게 된다. 따라서, 각 포인트가 화면에서 차지하는 픽셀의 크기를 확장시켜, 정사각형 형태로 렌더링을 수행하게 되면, 부피감을 향상시킬 수 있는 효과가 있다.In particular, as the global voxel map is composed of the center coordinates of each voxel, when the voxel center coordinates are allocated as vertices in 3D space and rendered in a particle form, only 1 pixel points are displayed on the screen. Therefore, when the size of the pixels occupied on the screen is expanded, and the rendering is performed in a square shape, the volume may be improved.
이하에서는, 본 발명에서 생성된 신규 로컬 인덱스 배열과 3D센서로부터 획득한 포인트 클라우드간의 데이터를 상호 비교한 결과를 도 9를 참조하여 살펴보도록 한다. Hereinafter, a result of comparing the data between the new local index array generated in the present invention and the point cloud acquired from the 3D sensor will be described with reference to FIG. 9.
도 9(a)는 3D센서로부터 획득한 원시의 포인트 클라우드의 데이트 크기를 나타낸 그래프이고, 도 9(b)는 신규 로컬 복셀 인덱스 배열의 데이터 크기를 나타낸 그래프이다. 9 (a) is a graph showing the data size of the original point cloud obtained from the 3D sensor, Figure 9 (b) is a graph showing the data size of the new local voxel index array.
신규 로컬 복셀 인덱스 배열의 데이터 크기와 3D센서로부터 획득한 원시의 포인트 클라우드의 데이트 크기간 비교를 위해, 3D 라이다 중 하나인 벨로다인(Velodyne™) 센서의 출력 값을 저장한 로그 파일(log file)로 실험을 진행하였다. 본 실험에서 사용된 로그 파일은 원격제어로봇(또는 차량)에 벨로다인 센서를 탑재하여, 일정 구간을 주행하면서 획득한 포인트 클라우드 데이터가 누적되어있다. 포인트 클라우드의 데이터 크기는 도 9(a)와 같이, 프레임이 경과하더라도 약 72KB의 데이터 크기가 유지되는 것을 알 수 있다. Log file that stores the output values of the Velodyne ™ sensor, one of the 3D lidars, for comparison between the data size of the new local voxel index array and the data size of the raw point cloud obtained from the 3D sensor. ) Was conducted. The log file used in this experiment is equipped with a Velodyne sensor in the remote control robot (or vehicle), and the point cloud data acquired while driving a certain section is accumulated. As shown in FIG. 9A, the point cloud has a data size of about 72 KB even when a frame elapses.
하지만, 본 발명을 사용하는 경우, 포인트 클라우드에 양자화를 거쳐 복셀로 변환한 후 중복되지 않는 복셀의 인덱스만을 원격제어서버로 전송함에 따라, 데이터 크기가 크게 감소하게 된다. 도 9(b)에 도시된 바와 같이, 최초 프레임에서는 약 32KB의 데이터 크기를 차지하지만, 프레임이 경과할수록 약 10KB정도의 데이터 크기만을 차지하는 것을 알 수 있으며, 이에 따라, 본 발명을 통해 프레임이 증가할수록 원시 포인트 클라우드 대비 효율이 증가한다는 것을 알 수 있다.However, in the case of using the present invention, the data size is greatly reduced as only the indexes of the non-overlapping voxels are transmitted to the remote control server after being converted to voxels through quantization in the point cloud. As shown in FIG. 9 (b), the first frame occupies a data size of about 32 KB, but as the frame elapses, only a data size of about 10 KB is occupied. Accordingly, the frame increases according to the present invention. As you can see, the efficiency increases compared to the raw point cloud.
이와 더불어, 로컬 복셀맵을 통해 실시간 가시화에 따른 시간을 분석해보면 다음과 같다. In addition, the time according to the real-time visualization through the local voxel map is as follows.
원격제어서버가 초당 10프레임 렌더링을 수행하기 위해서는 1 프레임 렌더링에 최소 0.1초가 소요되어야 하지만, 하기의 표 1과 같이, 본 발명을 이용하게 되면, 로컬 복셀맵을 1 프레임을 렌더링하기 위해 고작 0.016초가 소요되는 것을 알 수 있다. 결국, 1초에 10 프레임 이상의 렌더링을 수행할 수 있게 된다. In order to perform the rendering of 10 frames per second, the remote control server should take at least 0.1 seconds to render 1 frame. However, as shown in Table 1 below, when using the present invention, the local voxel map may only have 0.016 seconds to render 1 frame. It can be seen that it takes. As a result, more than 10 frames can be rendered per second.
이러한 과정을 통해 도 10과 같이, 로컬 복셀맵을 파티클 형태로 렌더링하여 가시화한 화면을 획득하게 된다. Through this process, as shown in FIG. 10, the local voxel map is rendered in a particle form to obtain a visualized screen.
또한, 이러한 실시간 3D 데이터 송수신을 위한 3D 데이터 처리 장치 및 방법은 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체에 저장될 수 있다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, DVD±ROM, DVD-RAM, 자기 테이프, 플로피 디스크, 하드 디스크(hard disk), 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.In addition, the 3D data processing apparatus and method for real-time 3D data transmission and reception may be stored in a computer readable recording medium in which a program for execution by a computer is recorded. At this time, the computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer readable recording medium include ROM, RAM, CD-ROM, DVD 占 ROM, DVD-RAM, magnetic tape, floppy disk, hard disk, optical data storage, and the like. The computer readable recording medium can also be distributed over network coupled computer devices so that the computer readable code is stored and executed in a distributed fashion.
본 실시간 3D 데이터 송수신을 위한 3D 데이터 처리 장치 및 방법은 원격제어로봇이 획득한 지형에 대한 포인트 클라우드 중 중복되지 않은 포인트 클라우드를 원격제어서버로 전송함으로써, 전송하는 데이터량을 크게 감소시킬 수 있는 효과가 있다. This 3D data processing apparatus and method for real-time 3D data transmission and reception by transmitting a non-overlapping point cloud of the point cloud for the terrain obtained by the remote control robot to the remote control server, the amount of data to be transmitted can be greatly reduced There is.
또한, 본 발명의 실시간 3D 데이터 송수신을 위한 3D 데이터 처리 장치 및 방법은 원격제어로봇이 획득한 지형 데이터를 3차원 영상으로 디스플레이함으로써, 영상을 보는 사용자가 지형에 대한 실재감을 느낄 수 있도록 하는 효과가 있다.In addition, the 3D data processing apparatus and method for real-time 3D data transmission and reception of the present invention by displaying the terrain data obtained by the remote control robot as a three-dimensional image, the effect of the user viewing the image to feel the reality of the terrain have.
상기에서는 본 발명의 바람직한 실시 예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 본 발명의 기술 사상 범위 내에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 첨부된 특허청구범위에 속하는 것은 당연하다.
While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, Do.
110: 원격제어로봇 120: 원격제어서버110: remote control robot 120: remote control server
Claims (20)
상기 3D센서로부터 획득한 적어도 하나의 포인트 클라우드를 양자화한 값이 3D공간을 표현하는 다수의 복셀 중 어느 위치의 복셀에 해당하는지 확인하는 것을 특징으로 하는 실시간 3D 데이터 송수신을 위한 3D 데이터 처리장치.
Receives and quantizes at least one point cloud of the terrain from a 3D sensor, updates the local voxel map previously stored in the remote control robot based on the quantized point cloud, and then voxels of the updated local voxel map. Generate a new local voxel index array based on the information, and transmit the generated new local voxel index array to a remote control server,
3D data processing apparatus for real-time 3D data transmission and reception, characterized in that the quantized value of the at least one point cloud obtained from the 3D sensor corresponds to the voxel of a plurality of voxels representing the 3D space.
상기 복셀은
다수의 정육면체가 기설정된 일정 간격을 갖도록 배치되어, 3D공간을 표현하는 것을 특징으로 하는 실시간 3D 데이터 송수신을 위한 3D 데이터 처리장치.
The method of claim 1,
The voxel is
3D data processing apparatus for real-time 3D data transmission and reception, characterized in that a plurality of cubes are arranged to have a predetermined predetermined interval, to represent a 3D space.
상기 복셀에 양자화된 포인트 클라우드를 적어도 하나 포함하는지 여부에 따라 포인트 포함정보를 표시하는 것을 특징으로 하는 실시간 3D 데이터 송수신을 위한 3D 데이터 처리장치.
The method of claim 3,
3D data processing apparatus for real-time 3D data transmission and reception, characterized in that to display the point inclusion information according to whether or not including at least one quantized point cloud in the voxel.
상기 복셀에 표시된 이전 포인트 포함정보가 0에서 1로 변경되는 경우, 상기 복셀에 표시된 포인트 포함정보를 신규 로컬 복셀 인덱스 배열에 포함시키는 것을 특징으로 하는 실시간 3D 데이터 송수신을 위한 3D 데이터 처리장치.
5. The method of claim 4,
And when the previous point inclusion information displayed on the voxel is changed from 0 to 1, the point inclusion information displayed on the voxel is included in a new local voxel index array. 3D data processing apparatus for real-time 3D data transmission and reception.
GPS(Global Positioning System) 또는 자이로스코프 센서로부터 지형에 대한 자세정보를 획득하여 상기 원격제어서버로 전송하는 것을 특징으로 하는 실시간 3D 데이터 송수신을 위한 3D 데이터 처리장치.
The method of claim 1,
3D data processing apparatus for real-time 3D data transmission and reception, characterized in that for obtaining the attitude information on the terrain from a GPS (Global Positioning System) or gyroscope sensor to transmit to the remote control server.
원격제어로봇으로 이루어지는 실시간 3D 데이터 송수신을 위한 3D 데이터 처리장치.
The method of claim 1,
3D data processing device for real-time 3D data transmission and reception made of a remote control robot.
GPS(Global Positioning System) 또는 자이로스코프 센서로부터 지형에 대한 자세정보를 수신하고, 수신한 자세정보에 기초하여 상기 로컬 3D좌표를 글로벌 3D좌표로 변환하는 것을 특징으로 하는 실시간 3D 데이터 송수신을 위한 3D 데이터 처리장치.
Convert each voxel index in the new local voxel index array composed of the point inclusion information displayed in the voxel into a local 3D coordinate, convert the local 3D coordinate into a global coordinate system to obtain a global 3D coordinate, and then obtain the obtained global 3D coordinate. Based on the update of the pre-stored global voxel map on the remote control server,
3D data for real-time 3D data transmission and reception comprising receiving attitude information about the terrain from a global positioning system (GPS) or gyroscope sensor and converting the local 3D coordinates into global 3D coordinates based on the received attitude information Processing unit.
갱신된 상기 글로벌 복셀맵에 대한 렌더링을 수행하는 실시간 3D 데이터 송수신을 위한 3D 데이터 처리장치.
9. The method of claim 8,
3D data processing apparatus for transmitting and receiving real-time 3D data for rendering the updated global voxel map.
원격제어서버로 이루어지는 실시간 3D 데이터 송수신을 위한 3D 데이터 처리장치.
9. The method of claim 8,
3D data processing device for real-time 3D data transmission and reception consisting of a remote control server.
양자화된 상기 포인트 클라우드에 기초하여 원격제어로봇에 기저장된 로컬 복셀맵을 갱신하는 단계;
갱신된 상기 로컬 복셀맵의 복셀정보에 기초하여 신규 로컬 복셀 인덱스 배열을 생성하는 단계; 및
생성된 상기 신규 로컬 복셀 인덱스 배열을 원격제어서버로 전송하는 단계;
를 포함하되,
상기 신규 로컬 복셀 인덱스 배열을 생성하는 단계는
상기 복셀의 변경된 포인트 포함정보만을 신규 로컬 복셀 인덱스 배열에 포함하는 것을 특징으로 하는 실시간 3D 데이터 송수신을 위한 3D 데이터 처리방법.
Receiving and quantizing at least one point cloud of the terrain from a 3D sensor;
Updating a local voxel map previously stored in a remote control robot based on the quantized point cloud;
Generating a new local voxel index array based on the updated voxel information of the local voxel map; And
Transmitting the generated new local voxel index array to a remote control server;
Including,
Generating the new local voxel index array
3D data processing method for real-time 3D data transmission and reception, characterized in that it includes only the changed point containing information of the voxel in a new local voxel index array.
상기 포인트 클라우드를 수신하여 양자화하는 단계는
GPS(Global Positioning System) 또는 자이로스코프 센서로부터 지형에 대한 자세정보를 획득하는 과정을 더 포함하는 것을 특징으로 하는 실시간 3D 데이터 송수신을 위한 3D 데이터 처리방법.
The method of claim 13,
Receiving and quantizing the point cloud
3D data processing method for real-time 3D data transmission and reception further comprising the step of obtaining attitude information about the terrain from a GPS (Global Positioning System) or gyroscope sensor.
상기 로컬 복셀맵을 갱신하는 단계는
상기 적어도 하나의 포인트 클라우드를 양자화한 값이 3D공간을 표현하는 다수의 복셀 중 어느 복셀에 위치하는지를 확인하는 과정;
상기 포인트 클라우드를 양자화한 값이 위치하는 해당 복셀에 포인트 포함정보를 표시하는 과정; 및
상기 복셀에 표시된 포인트 포함정보가 0에서 1로 변경되는 경우, 원격제어로봇에 기저장된 로컬 복셀맵을 갱신하는 과정;
을 포함하는 것을 특징으로 하는 실시간 3D 데이터 송수신을 위한 3D 데이터 처리방법.
The method of claim 13,
Updating the local voxel map
Determining which voxel of the plurality of voxels representing the 3D space is a value obtained by quantizing the at least one point cloud;
Displaying point inclusion information in a corresponding voxel in which the point cloud quantized value is located; And
Updating the local voxel map previously stored in the remote control robot when the point inclusion information displayed on the voxel is changed from 0 to 1;
3D data processing method for real-time 3D data transmission and reception comprising a.
상기 로컬 3D좌표를 글로벌좌표계로 변환하여 글로벌 3D좌표를 획득하는 단계; 및
상기 글로벌 3D좌표에 기초하여 원격제어서버에 기저장된 글로벌 복셀맵을 갱신하는 단계;
를 포함하되,
상기 글로벌 3D좌표를 획득하는 단계는
GPS(Global Positioning System) 또는 자이로스코프 센서로부터 지형에 대한 자세정보를 수신하고, 수신한 자세정보에 기초하여 상기 로컬 3D좌표를 글로벌 3D좌표로 변환하는 것을 특징으로 하는 실시간 3D 데이터 송수신을 위한 3D 데이터 처리방법.
Converting each voxel index in the new local voxel index array composed of the point inclusion information indicated in the voxel into local 3D coordinates;
Converting the local 3D coordinates into a global coordinate system to obtain a global 3D coordinate; And
Updating a global voxel map previously stored in a remote control server based on the global 3D coordinates;
Including,
Acquiring the global 3D coordinates
3D data for real-time 3D data transmission and reception comprising receiving attitude information about the terrain from a global positioning system (GPS) or gyroscope sensor and converting the local 3D coordinates into global 3D coordinates based on the received attitude information Treatment method.
갱신된 상기 글로벌 복셀맵에 대하여 렌더링을 수행하는 단계;
를 더 포함하는 실시간 3D 데이터 송수신을 위한 3D 데이터 처리방법.
18. The method of claim 17,
Performing rendering on the updated global voxel map;
3D data processing method for real-time 3D data transmission and reception further comprising.
A computer readable recording medium having recorded thereon a program for executing a method according to any one of claims 13 to 15 or 17 and 19 with a computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120054190A KR101325926B1 (en) | 2012-05-22 | 2012-05-22 | 3d data processing apparatus and method for real-time 3d data transmission and reception |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120054190A KR101325926B1 (en) | 2012-05-22 | 2012-05-22 | 3d data processing apparatus and method for real-time 3d data transmission and reception |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101325926B1 true KR101325926B1 (en) | 2013-11-07 |
Family
ID=49856878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120054190A KR101325926B1 (en) | 2012-05-22 | 2012-05-22 | 3d data processing apparatus and method for real-time 3d data transmission and reception |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101325926B1 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101877739B1 (en) * | 2017-01-04 | 2018-07-12 | 가이아쓰리디 주식회사 | Method of providing 3d gis web service |
| CN109701273A (en) * | 2019-01-16 | 2019-05-03 | 腾讯科技（北京）有限公司 | Processing method, device, electronic equipment and the readable storage medium storing program for executing of game data |
| CN109807933A (en) * | 2019-01-29 | 2019-05-28 | 江苏通佑视觉科技有限公司 | Capability map point cloud updating method, device, equipment and storage medium |
| CN110009741A (en) * | 2019-06-04 | 2019-07-12 | 奥特酷智能科技(南京)有限公司 | A method of the build environment point cloud map in Unity |
| CN110019609A (en) * | 2017-11-20 | 2019-07-16 | 北京京东尚科信息技术有限公司 | Map updating method, device and computer readable storage medium |
| KR102039021B1 (en) * | 2019-05-17 | 2019-11-01 | 한국건설기술연구원 | World map modeling apparatus and method using the integration of 3D point cloud of Construction Site |
| WO2020017668A1 (en) * | 2018-07-16 | 2020-01-23 | 주식회사 이누씨 | Method and apparatus for generating avatar by using multi-view image matching |
| CN112074871A (en) * | 2018-11-26 | 2020-12-11 | 北京嘀嘀无限科技发展有限公司 | High-definition map management system and method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100724609B1 (en) * | 2007-04-16 | 2007-06-04 | 인하대학교 산학협력단 | A method for generating a cube mesh structure for a terrain rendering |
| KR20110097140A (en) * | 2010-02-24 | 2011-08-31 | 삼성전자주식회사 | Apparatus for estimating location of moving robot and method thereof |
| KR101079475B1 (en) * | 2011-06-28 | 2011-11-03 | (주)태일아이엔지 | A system for generating 3-dimensional urban spatial information using point cloud filtering |
-
2012
- 2012-05-22 KR KR1020120054190A patent/KR101325926B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100724609B1 (en) * | 2007-04-16 | 2007-06-04 | 인하대학교 산학협력단 | A method for generating a cube mesh structure for a terrain rendering |
| KR20110097140A (en) * | 2010-02-24 | 2011-08-31 | 삼성전자주식회사 | Apparatus for estimating location of moving robot and method thereof |
| KR101079475B1 (en) * | 2011-06-28 | 2011-11-03 | (주)태일아이엔지 | A system for generating 3-dimensional urban spatial information using point cloud filtering |
Non-Patent Citations (1)
| Title |
|---|
| Wei Song, "원격제어 이동로봇을 위한 실시간 지형 모델링과 완전한 장면 재구성 기법", 동국대학교 박사학위논문, 2013년. * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101877739B1 (en) * | 2017-01-04 | 2018-07-12 | 가이아쓰리디 주식회사 | Method of providing 3d gis web service |
| CN110019609A (en) * | 2017-11-20 | 2019-07-16 | 北京京东尚科信息技术有限公司 | Map updating method, device and computer readable storage medium |
| WO2020017668A1 (en) * | 2018-07-16 | 2020-01-23 | 주식회사 이누씨 | Method and apparatus for generating avatar by using multi-view image matching |
| CN112074871A (en) * | 2018-11-26 | 2020-12-11 | 北京嘀嘀无限科技发展有限公司 | High-definition map management system and method |
| CN109701273A (en) * | 2019-01-16 | 2019-05-03 | 腾讯科技（北京）有限公司 | Processing method, device, electronic equipment and the readable storage medium storing program for executing of game data |
| CN109701273B (en) * | 2019-01-16 | 2022-04-19 | 腾讯科技（北京）有限公司 | Game data processing method and device, electronic equipment and readable storage medium |
| CN109807933A (en) * | 2019-01-29 | 2019-05-28 | 江苏通佑视觉科技有限公司 | Capability map point cloud updating method, device, equipment and storage medium |
| CN109807933B (en) * | 2019-01-29 | 2022-04-15 | 江苏通佑视觉科技有限公司 | Capability map point cloud updating method, device, equipment and storage medium |
| KR102039021B1 (en) * | 2019-05-17 | 2019-11-01 | 한국건설기술연구원 | World map modeling apparatus and method using the integration of 3D point cloud of Construction Site |
| CN110009741A (en) * | 2019-06-04 | 2019-07-12 | 奥特酷智能科技(南京)有限公司 | A method of the build environment point cloud map in Unity |
| CN110009741B (en) * | 2019-06-04 | 2019-08-16 | 奥特酷智能科技(南京)有限公司 | A method of the build environment point cloud map in Unity |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101325926B1 (en) | 3d data processing apparatus and method for real-time 3d data transmission and reception | |
| EP2659458B1 (en) | System and method for generating textured map object images | |
| US8774950B2 (en) | Apparatuses, systems, and methods for apparatus operation and remote sensing | |
| Rovira-Más et al. | Creation of three-dimensional crop maps based on aerial stereoimages | |
| US11209277B2 (en) | Systems and methods for electronic mapping and localization within a facility | |
| GB2573792A (en) | Surround monitoring system for vehicle | |
| KR20110127202A (en) | Fusion of a 2d electro-optical image and 3d point cloud data for scene interpretation and registration performance assessment | |
| EP2263380A1 (en) | Method of using laser scanned point clouds to create selective compression masks | |
| US11593996B2 (en) | Synthesizing three-dimensional visualizations from perspectives of onboard sensors of autonomous vehicles | |
| WO2021249469A1 (en) | Grid map generation method, device, and computer readable storage medium | |
| CN116420096A (en) | Method and system for marking LIDAR point cloud data | |
| JP5294177B2 (en) | 3D shape data processing method, 3D shape data processing apparatus | |
| US20200286290A1 (en) | Method for displaying object on three-dimensional model | |
| CN114627237A (en) | Real-scene three-dimensional model-based front video image generation method | |
| JP2007193850A (en) | Change region recognition apparatus | |
| CN117152371B (en) | Three-dimensional topographic mapping method and system | |
| CN114529585A (en) | Mobile equipment autonomous positioning method based on depth vision and inertial measurement | |
| Grehl et al. | Towards virtualization of underground mines using mobile robots–from 3D scans to virtual mines | |
| Paszotta et al. | Internet photogrammetry for inspection of seaports | |
| Huber et al. | Real-time photo-realistic visualization of 3D environments for enhanced tele-operation of vehicles | |
| CN114612622A (en) | Robot three-dimensional map pose display method, device and equipment and storage medium | |
| Habib et al. | Integration of lidar and airborne imagery for realistic visualization of 3d urban environments | |
| Kaspar et al. | Holographic mixed reality: an enhanced technology for visualizing and evaluating complex 3D geologic data | |
| KR102538012B1 (en) | Method and apparatus for updating 3D model of object in virtual space | |
| KR102545445B1 (en) | Apparatus and method for third dimension earth XR visualization using unity engine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160929 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20181002 Year of fee payment: 6 |