KR20230137820A - Method and Apparatus for Coding Mesh and Point Cloud - Google Patents

Abstract

메시 및 포인트 클라우드 코딩 방법 및 장치에 관한 개시로서, 본 실시예는, 3차원 메시 및 포인트 클라우드에 대한 부호화 효율을 향상시키기 위해, 메시를 부/복호화함에 있어서 복원된 포인트 클라우드를 참조하여 예측하거나, 포인트 클라우드를 부/복호화함에 있어서, 복원된 메시를 참조하여 예측하는 메시 및 포인트 클라우드 코딩 방법 및 장치를 제공한다. As a disclosure regarding a mesh and point cloud coding method and device, the present embodiment makes predictions with reference to the restored point cloud when encoding/decoding the mesh, in order to improve the coding efficiency for 3D mesh and point cloud, or When encoding/decoding a point cloud, a mesh and point cloud coding method and device for prediction by referring to the restored mesh are provided.

Description

메시 및 포인트 클라우드 코딩 방법 및 장치{Method and Apparatus for Coding Mesh and Point Cloud}{Method and Apparatus for Coding Mesh and Point Cloud}

본 개시는 메시 및 포인트 클라우드 코딩 방법 및 장치에 관한 것이다. This disclosure relates to mesh and point cloud coding methods and devices.

이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다. The content described below simply provides background information related to this embodiment and does not constitute prior art.

종래의 메시(mesh) 압축 기술과 포인트 클라우드(point cloud) 압축 기술은 서로 별도로 사용되고, 메시와 포인트 클라우드는 별도의 압축 기술을 이용하여 부/복호화된다.Conventional mesh compression technology and point cloud compression technology are used separately, and the mesh and point cloud are encoded/decoded using separate compression technologies.

메시는 3차원 공간 상의 다수의 면의 집합이다. 메시는 기하정보(geometry information)로서 3차원 공간 상의 정점(vertex)의 위치 좌표, 정점들 간의 다각형에 대한 연결(connectivity) 정보를 포함하고, 정점의 위치 좌표과 연결 정보를 이용하여 3차원 공간 상의 특정 객체에 대해 3차원 부피를 표현할 수 있다. 메시는 추가로 해당 3차원 부피를 감싸는 다각형들의 면에 대해 속성정보(attribute information)를 포함할 수 있다. 또한, 각 정점들 별로 속성정보를 포함할 수 있다. 또는, 메시는, 다각형들의 면을 2차원 공간으로 사영시켜 생성된 텍스처맵(texture map)의 형태로 속성정보를 포함할 수 있다. 텍스처맵을 포함하는 경우, 메시는 추가로 각 다각형의 정점별로 텍스처맵 상의 좌표를 포함할 수 있다. 즉, 메시는 정점 좌표, 연결성 정보 및 속성정보로 구성되거나, 정점 좌표, 연결성 정보, 텍스처맵 좌표 및 텍스처맵으로 구성될 수 있다. 여기서, 속성정보는, RGB, YCbCr 등과 같이 색을 표현한 값을 나타내거나, 표면의 재질, 반사율 등과 같은 정보를 나타낼 수 있다. A mesh is a collection of multiple faces in three-dimensional space. The mesh is geometry information and includes the positional coordinates of vertices in 3D space and connectivity information for polygons between vertices, and uses the positional coordinates and connection information of vertices to identify specific locations in 3D space. The three-dimensional volume of an object can be expressed. The mesh may additionally include attribute information about the faces of polygons surrounding the three-dimensional volume. Additionally, attribute information may be included for each vertex. Alternatively, the mesh may include attribute information in the form of a texture map created by projecting the faces of polygons into a two-dimensional space. When including a texture map, the mesh may additionally include coordinates on the texture map for each vertex of each polygon. That is, the mesh may be composed of vertex coordinates, connectivity information, and attribute information, or may be composed of vertex coordinates, connectivity information, texture map coordinates, and texture map. Here, the attribute information may represent a value expressing a color such as RGB, YCbCr, etc., or may represent information such as surface material, reflectance, etc.

포인트 클라우드는 3차원 공간 상의 점들의 집합으로서 3차원 공간의 부피를 표현할 수 있다. 포인트 클라우드는 3차원 공간 상의 위치 좌표 값과 해당 포인트의 속성값을 포함할 수 있다. 여기서, 속성값은 RGB, YCbCr 등과 같이 색을 표현한 값을 나타내거나, 표면의 재질, 반사율 등과 같은 정보를 나타낼 수 있다. A point cloud is a set of points in 3D space and can express the volume of 3D space. A point cloud may include location coordinate values in 3D space and attribute values of the point. Here, the attribute value may represent a value expressing a color such as RGB, YCbCr, etc., or may represent information such as surface material, reflectance, etc.

한편, 메시와 포인트 클라우드 모두 3차원 공간을 표현하는 방식으로서, 밀집된 포인트 클라우드는 메시보다 더 풍부한 정보를 포함할 수 있고, 희박한 메시는 연결성 정보를 포함하므로 포인트 클라우드와 다른 측면에서 더 풍부한 정보를 포함할 수 있다. 따라서, 메시와 포인트 클라우드를 부/복호화 시, 이러한 서로의 특성을 이용하는 방안이 고려될 필요가 있다. Meanwhile, both mesh and point cloud are ways of expressing three-dimensional space. A dense point cloud can contain richer information than a mesh, and a sparse mesh contains connectivity information and thus contains richer information in other aspects than a point cloud. can do. Therefore, when encoding/decoding a mesh and a point cloud, a method of utilizing these characteristics of each other needs to be considered.

본 개시는, 3차원 메시 및 포인트 클라우드에 대한 부호화 효율을 향상시키기 위해, 메시를 부/복호화함에 있어서 복원된 포인트 클라우드를 참조하여 예측하거나, 포인트 클라우드를 부/복호화함에 있어서, 복원된 메시를 참조하여 예측하는 메시 및 포인트 클라우드 코딩 방법 및 장치를 제공하는 데 목적이 있다.In order to improve the encoding efficiency for 3D meshes and point clouds, the present disclosure makes predictions by referring to the restored point cloud when encoding/decoding the mesh, or refers to the restored mesh when encoding/decoding the point cloud. The purpose is to provide a mesh and point cloud coding method and device for predicting.

본 개시의 실시예에 따르면, 포인트 클라우드 및 메시 복호화 장치가 수행하는, 포인트 클라우드(point cloud) 및 메시(mesh)를 복호화하는 방법에 있어서, 비트스트림을 제1 비트스트림, 제2 비트스트림, 제3 비트스트림, 제4 비트스트림 및 제5 비트스트림으로 분리하는 단계; 상기 제1 비트스트림을 복호화하여 패치정보를 복원하는 단계; 상기 제2 비트스트림을 복호화하여 기하이미지를 복원하는 단계; 상기 제3 비트스트림을 복호화하여 점유이미지를 복원하는 단계; 상기 제4 비트스트림을 복호화하여 속성이미지 또는 메시의 텍스처맵을 복원하는 단계; 및 상기 제5 비트스트림을 복호화하여 메시의 기하정보를 복원하는 단계를 포함하고, 상기 메시의 기하정보는 상기 메시의 정점, 상기 메시의 연결성 및 상기 메시의 텍스처맵 정점을 포함하는 것을 특징으로 하는, 방법을 제공한다. According to an embodiment of the present disclosure, in a method of decoding a point cloud and a mesh performed by a point cloud and mesh decoding device, the bitstream is divided into a first bitstream, a second bitstream, and a second bitstream. Separating into 3 bitstreams, 4th bitstreams and 5th bitstreams; Decoding the first bitstream to restore patch information; Decoding the second bitstream to restore a geometric image; Decoding the third bitstream to restore an occupancy image; Decoding the fourth bitstream to restore an attribute image or a texture map of the mesh; And decoding the fifth bitstream to restore geometric information of the mesh, wherein the geometric information of the mesh includes vertices of the mesh, connectivity of the mesh, and texture map vertices of the mesh. , provides a method.

본 개시의 다른 실시예에 따르면, 포인트 클라우드 및 메시 부호화 장치가 수행하는, 포인트 클라우드(point cloud) 및 메시(mesh)를 부호화하는 방법에 있어서, 상기 포인트 클라우드 및 메시를 획득하는 단계; 상기 포인트 클라우드로부터 포인트 클라우드 이미지를 생성하는 단계, 여기서, 상기 포인트 클라우드 이미지는 패치정보, 기하이미지, 점유이미지 및 속성이미지를 포함함; 상기 패치정보를 부호화하는 단계; 상기 기하이미지를 부호화하는 단계; 상기 점유이미지를 부호화하는 단계; 상기 속성이미지 또는 상기 메시의 텍스처맵을 부호화하는 단계; 및 상기 메시의 기하정보를 부호화하는 단계를 포함하고, 상기 메시의 기하정보는 메시의 정점, 상기 메시의 연결성 및 상기 메시의 텍스처맵 정점을 포함하는 것을 특징으로 하는, 방법을 제공한다. According to another embodiment of the present disclosure, a method of encoding a point cloud and a mesh performed by a point cloud and mesh encoding device includes the steps of acquiring the point cloud and the mesh; Generating a point cloud image from the point cloud, wherein the point cloud image includes patch information, a geometric image, an occupancy image, and an attribute image; Encoding the patch information; Encoding the geometric image; Encoding the occupancy image; Encoding the attribute image or the texture map of the mesh; and encoding geometric information of the mesh, wherein the geometric information of the mesh includes vertices of the mesh, connectivity of the mesh, and texture map vertices of the mesh.

본 개시의 다른 실시예에 따르면, 포인트 클라우드 및 메시 부호화 부호화 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 기록매체로서, 상기 포인트 클라우드(point cloud) 및 메시(mesh)를 부호화 방법은, 포인트 클라우드 및 메시를 획득하는 단계; 상기 포인트 클라우드로부터 포인트 클라우드 이미지를 생성하는 단계, 여기서, 상기 포인트 클라우드 이미지는 패치정보, 기하이미지, 점유이미지 및 속성이미지를 포함함; 상기 패치정보를 부호화하는 단계; 상기 기하이미지를 부호화하는 단계; 상기 점유이미지를 부호화하는 단계; 상기 속성이미지 또는 상기 메시의 텍스처맵을 부호화하는 단계; 및 상기 메시의 기하정보를 부호화하는 단계를 포함하고, 상기 메시의 기하정보는 메시의 정점, 상기 메시의 연결성 및 상기 메시의 텍스처맵 정점을 포함하는 것을 특징으로 하는, 기록매체를 제공한다. According to another embodiment of the present disclosure, a computer-readable recording medium storing a bitstream generated by a point cloud and mesh encoding method, wherein the point cloud and mesh encoding method includes: Obtaining cloud and mesh; Generating a point cloud image from the point cloud, wherein the point cloud image includes patch information, a geometric image, an occupancy image, and an attribute image; Encoding the patch information; Encoding the geometric image; Encoding the occupancy image; Encoding the attribute image or the texture map of the mesh; and encoding geometric information of the mesh, wherein the geometric information of the mesh includes vertices of the mesh, connectivity of the mesh, and texture map vertices of the mesh.

이상에서 설명한 바와 같이 본 실시예에 따르면, 메시를 부/복호화함에 있어서 복원된 포인트 클라우드를 참조하여 예측하거나, 포인트 클라우드를 부/복호화함에 있어서, 복원된 메시를 참조하여 예측하는 메시 및 포인트 클라우드 코딩 방법 및 장치를 제공함으로써, 3차원 메시 및 포인트 클라우드에 대한 부호화 효율을 향상시키는 것이 가능해지는 효과가 있다. As described above, according to the present embodiment, mesh and point cloud coding are made by making predictions with reference to the restored point cloud when encoding/decoding the mesh, or making predictions by referring to the restored mesh when encoding/decoding the point cloud. By providing a method and device, it is possible to improve encoding efficiency for 3D mesh and point cloud.

도 1은 본 개시의 일 실시예에 따른, 포인트 클라우드 및 메시 부호화 장치를 나타내는 블록도이다.
도 2는 본 개시의 일 실시예에 따른, 텍스처 비디오의 형태, 및 메시 텍스처맵을 참조하는 참조구조를 나타내는 예시도이다.
도 3은 본 개시의 일 실시예에 따른, 텍스처 비디오의 형태, 및 포인트 클라우드의 속성이미지를 참조하는 참조구조를 나타내는 예시도이다.
도 4는 본 개시의 일 실시예에 따른, 포인트 클라우드 및 메시 복호화 장치를 나타내는 블록도이다.
도 5는 본 개시의 다른 실시예에 따른, 포인트 클라우드 및 메시 부호화 장치를 나타내는 블록도이다.
도 6은 본 개시의 일 실시예에 따른, 포인트 클라우드 부호화부를 상세하게 나타내는 블록도이다.
도 7은 본 개시의 일 실시예에 따른, 메시 부호화부를 상세하게 나타내는 블록도이다.
도 8은 본 개시의 다른 실시예에 따른, 포인트 클라우드 및 메시 복호화 장치를 나타내는 블록도이다.
도 9는 본 개시의 일 실시예에 따른, 포인트 클라우드 복호화부를 상세하게 나타내는 블록도이다.
도 10은 본 개시의 일 실시예에 따른, 메시 복호화부를 상세하게 나타내는 블록도이다.
도 11은 복원된 메시를 이용하여 포인트 클라우드의 기하정보 및 속성정보를 예측하는 방법을 나타내는 예시도이다.
도 12는 텍스처맵을 갖는 복원된 메시를 이용하여 포인트 클라우드의 기하정보 및 속성정보를 예측하는 방법을 나타내는 예시도이다.
도 13은 이전 프레임의 복원된 포인트 클라우드를 이용하여 메시 텍스처맵 예측하는 방법을 나타내는 예시도이다.
도 14는 본 개시의 일 실시예에 따른, 포인트 클라우드 및 메시를 부호화하는 방법을 나타내는 순서도이다.
도 15는 본 개시의 일 실시예에 따른, 포인트 클라우드 및 메시를 복호화하는 방법을 나타내는 순서도이다.1 is a block diagram showing a point cloud and mesh encoding device according to an embodiment of the present disclosure.
Figure 2 is an example diagram showing the form of a texture video and a reference structure referencing a mesh texture map, according to an embodiment of the present disclosure.
FIG. 3 is an example diagram showing a reference structure referring to the form of a texture video and an attribute image of a point cloud, according to an embodiment of the present disclosure.
Figure 4 is a block diagram showing a point cloud and mesh decoding device according to an embodiment of the present disclosure.
Figure 5 is a block diagram showing a point cloud and mesh encoding device according to another embodiment of the present disclosure.
Figure 6 is a block diagram showing in detail a point cloud encoding unit according to an embodiment of the present disclosure.
Figure 7 is a block diagram showing the mesh encoding unit in detail, according to an embodiment of the present disclosure.
Figure 8 is a block diagram showing a point cloud and mesh decoding device according to another embodiment of the present disclosure.
Figure 9 is a block diagram showing the point cloud decoding unit in detail, according to an embodiment of the present disclosure.
Figure 10 is a block diagram showing the mesh decoder in detail, according to an embodiment of the present disclosure.
Figure 11 is an example diagram showing a method of predicting geometric information and attribute information of a point cloud using a restored mesh.
Figure 12 is an example diagram showing a method of predicting geometric information and attribute information of a point cloud using a restored mesh with a texture map.
Figure 13 is an example diagram showing a method of predicting a mesh texture map using the restored point cloud of the previous frame.
Figure 14 is a flowchart showing a method for encoding a point cloud and a mesh, according to an embodiment of the present disclosure.
Figure 15 is a flowchart showing a method for decoding a point cloud and mesh, according to an embodiment of the present disclosure.

이하, 본 개시의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 실시예들의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present disclosure will be described in detail with reference to illustrative drawings. When adding reference numerals to components in each drawing, it should be noted that identical components are given the same reference numerals as much as possible even if they are shown in different drawings. Additionally, in describing the present embodiments, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present embodiments, the detailed description will be omitted.

본 실시예는 메시 및 포인트 클라우드 코딩 방법 및 장치에 관한 내용을 개시한다. 보다 자세하게는, 메시를 부/복호화함에 있어서 복원된 포인트 클라우드를 참조하여 예측하거나, 포인트 클라우드를 부/복호화함에 있어서, 복원된 메시를 참조하여 예측하는 메시 및 포인트 클라우드 코딩 방법 및 장치를 제공한다.This embodiment discloses information on mesh and point cloud coding methods and devices. More specifically, a mesh and point cloud coding method and device are provided for making predictions with reference to a restored point cloud when encoding/decoding a mesh, or making predictions with reference to a restored mesh when encoding/decoding a point cloud.

도 1은 본 개시의 일 실시예에 따른, 포인트 클라우드 및 메시 부호화 장치를 나타내는 블록도이다. 1 is a block diagram showing a point cloud and mesh encoding device according to an embodiment of the present disclosure.

포인트 클라우드 및 메시 부호화 장치(이하, '부호화 장치'와 호환적으로 사용)는 입력받은 3차원 포인트 클라우드 또는 메시를 부호화하여 비트스트림을 생성한다. 또는, 부호화 장치는 입력받은 3차원 포인트 클라우드 및 메시를 부호화하여 비트스트림을 생성한다. 부호화 장치는 포인트 클라우드 이미지 생성부(110), 패치정보 부호화부(120), 기하 비디오 부호화부(130), 점유 비디오 부호화부(140), 속성 비디오 부호화부(150). 메시 기하정보 부호화부(160) 및 비트스트림 합성부(170)의 전부 또는 일부를 포함할 수 있다. The point cloud and mesh encoding device (hereinafter used interchangeably with 'encoding device') encodes the input 3D point cloud or mesh to generate a bitstream. Alternatively, the encoding device encodes the input 3D point cloud and mesh to generate a bitstream. The encoding device includes a point cloud image generator 110, a patch information encoder 120, a geometric video encoder 130, an occupancy video encoder 140, and an attribute video encoder 150. It may include all or part of the mesh geometric information encoding unit 160 and the bitstream synthesis unit 170.

부호화 장치의 입력은 3차원 포인트 클라우드 및 메시를 모두 포함할 수 있다. 또한, 부호화 장치의 출력은 3차원 포인트 클라우드에 대한 비트스트림 및 3차원 메시에 대한 비트스트림을 모두 포함할 수 있다. The input of the encoding device may include both a 3D point cloud and a mesh. Additionally, the output of the encoding device may include both a bitstream for a 3D point cloud and a bitstream for a 3D mesh.

포인트 클라우드 이미지 생성부(110)는 포인트 클라우드를 입력받아 패치정보, 기하이미지, 점유이미지 및 속성이미지를 생성한다. 여기서, 패치정보, 기하이미지 및 점유이미지는 모두 포인트 클라우드의 기하정보로부터 생성될 수 있다. The point cloud image generator 110 receives the point cloud and generates patch information, geometric image, occupancy image, and attribute image. Here, patch information, geometric images, and occupancy images can all be generated from the geometric information of the point cloud.

패치정보는 포인트 클라우드 이미지 생성부(110)에서 3차원 공간 상에 분류된 다수의 패치들이 2차원 사영 평면 상으로 매핑(또는, 사영)될 때 사용되는 정보이다. 따라서, 패치정보는 각 패치의 3차원 공간 상의 좌표값과 가로, 세로, 깊이 등과 같은 3차원 공간 상의 정보를 포함할 수 있다. 또한, 2차원 사영 평면 상의 좌표값 및 가로, 세로 길이 등과 같은 정보를 포함할 수 있다. Patch information is information used by the point cloud image generator 110 when a plurality of patches classified in 3D space are mapped (or projected) onto a 2D projection plane. Accordingly, patch information may include coordinate values in 3D space of each patch and information in 3D space such as width, height, depth, etc. Additionally, it may include information such as coordinate values and horizontal and vertical lengths on a two-dimensional projective plane.

기하이미지는, 생성된 패치정보를 이용하여, 3차원 공간 상의 포인트들의 위치와 사영 평면 간의 거리가 2차원으로 매핑된 이미지이다. 즉, 기하 이미지는 3차원 공간을 2차원 평면으로 사영하였을 때, 포인트들과 평면 간의 깊이(depth)에 대한 맵(map)이라고 할 수 있다. 이때, 2차원 평면은 x-y 평면, y-z 평면 및 x-z 평면 중의 하나일 수 있다. A geometric image is an image in which the positions of points in a three-dimensional space and the distance between the projection plane are mapped in two dimensions using the generated patch information. In other words, a geometric image can be said to be a map of the depth between points and the plane when 3D space is projected onto a 2D plane. At this time, the two-dimensional plane may be one of the x-y plane, y-z plane, and x-z plane.

한편, 3차원 패치가 3차원 공간 상의 볼륨을 가지고 있는 경우, 하나의 2차원 위치에 다수의 3차원 포인트가 사영될 수 있다. 이러한 경우 다수의 깊이가 존재할 수 있으므로, 그에 따른 다수의 기하이미지가 생성될 수 있다. 일반적으로는 가장 가까운 3차원 포인트 및 가장 먼 3차원 포인트에 대해 총 2 개의 기하이미지가 생성될 수 있다. Meanwhile, if the 3D patch has a volume in 3D space, multiple 3D points may be projected at one 2D location. In this case, since multiple depths may exist, multiple geometric images may be generated accordingly. In general, a total of two geometric images can be created for the nearest 3D point and the farthest 3D point.

점유이미지는 포인트 클라우드 이미지 생성부(110)에서 3차원 공간 상에 분류된 다수의 패치들을 2차원 사영 평면 상의 이미지로 사영한 위치들을 표시하는 이미지이다. 즉, 점유이미지는 각 픽셀의 위치에 대해 포인트의 사영 여부를 0과 1로 표현한 이진맵일 수 있다. 생성된 패치 정보, 기하이미지 및 점유이미지는 각각 패치정보 부호화부(120), 기하 비디오 부호화부(130), 및 점유 비디오 부호화부(140)로 전달될 수 있다. The occupancy image is an image that displays positions where the point cloud image generator 110 projects a number of patches classified in a three-dimensional space into an image on a two-dimensional projection plane. In other words, the occupancy image may be a binary map in which 0 and 1 represent whether a point is projected for the location of each pixel. The generated patch information, geometric image, and occupancy image may be transmitted to the patch information encoder 120, the geometric video encoder 130, and the occupancy video encoder 140, respectively.

한편, 속성이미지는 포인트 클라우드의 속성정보로부터 생성될 수 있다. 속성이미지는 3차원 공간 상의 포인트들의 속성값을 사영 평면에 사영시켜 생성된 2차원 이미지이다. 생성된 속성이미지는 속성 비디오 부호화부(150)로 전달될 수 있다. Meanwhile, an attribute image can be created from the attribute information of a point cloud. An attribute image is a two-dimensional image created by projecting the attribute values of points in three-dimensional space onto a projection plane. The generated attribute image may be transmitted to the attribute video encoder 150.

패치정보 부호화부(120)는 패치정보를 부호화하여 비트스트림을 생성할 수 있다. 이때, 일반적인 엔트로피 부호화된 비트스트림은 비트스트림 합성부(170)로 전달될 수 있다. The patch information encoder 120 may encode patch information to generate a bitstream. At this time, a general entropy encoded bitstream may be transmitted to the bitstream synthesis unit 170.

기하 비디오 부호화부(130)는 하나 또는 다수의 기하이미지를 부호화하여 비트스트림을 생성한다. 이때, 기하 비디오 부호화부(130)는 H.264/AVC(Advanced Video Coding), HEVC(High Efficiency Video Coding), VVC(Versatile Video Coding), VP8, VP9, AV1 등과 같은 비디오 부호화 기술을 사용할 수 있다. 생성된 비트스트림은 비트스트림 합성부(170)로 전달될 수 있다. The geometric video encoder 130 encodes one or multiple geometric images to generate a bitstream. At this time, the geometric video encoder 130 may use video coding technologies such as H.264/AVC (Advanced Video Coding), HEVC (High Efficiency Video Coding), VVC (Versatile Video Coding), VP8, VP9, AV1, etc. . The generated bitstream may be transmitted to the bitstream synthesis unit 170.

점유 비디오 부호화부(140)는 점유이미지를 부호화하여 비트스트림을 생성한다. 이때, 점유 비디오 부호화부(140)는 H.264/AVC, H.265/HEVC, H.266/VVC, VP8, VP9, AV1 등과 같은 비디오 부호화 기술을 사용할 수 있다. 생성된 비트스트림은 비트스트림 합성부(170)로 전달될 수 있다. The occupancy video encoder 140 encodes the occupancy image and generates a bitstream. At this time, the occupied video encoder 140 may use video encoding technologies such as H.264/AVC, H.265/HEVC, H.266/VVC, VP8, VP9, AV1, etc. The generated bitstream may be transmitted to the bitstream synthesis unit 170.

속성 비디오 부호화부(150)는 속성이미지 또는 메시 텍스처맵을 입력받은 후, 이를 부호화하여 비트스트림을 생성한다. 이때, 속성 비디오 부호화부(150)는 H.264/AVC, H.265/HEVC, H.266/VVC, VP8, VP9, AV1 등과 같은 비디오 부호화 기술을 사용할 수 있다. 생성된 비트스트림은 비트스트림 합성부(170)로 전달될 수 있다. 부호화 장치는, 부호화 대상 이미지가 포인트 클라우드의 속성이미지인지 메시의 텍스처맵인지 여부를 지시하는 정보를 프레임 단위로 결정하고, 이를 복호화 장치로부터 전달할 수 있다.The attribute video encoder 150 receives an attribute image or mesh texture map and encodes it to generate a bitstream. At this time, the property video encoder 150 may use video encoding technologies such as H.264/AVC, H.265/HEVC, H.266/VVC, VP8, VP9, AV1, etc. The generated bitstream may be transmitted to the bitstream synthesis unit 170. The encoding device may determine information indicating whether the encoding target image is an attribute image of a point cloud or a texture map of a mesh on a frame-by-frame basis and transmit this information from the decoding device.

한편, 속성이미지와 메시 텍스처맵은 도 2의 좌측 예시와 같은 순서로 속성 비디오 부호화부(150)에 입력될 수 있다. 또한, 도 2의 우측 예시와 같은 참조구조를 이용하여 속성 비디오 부호화부(150)는 비디오 부호화를 수행할 수 있다. 즉, 속성 비디오 부호화부(150)는 포인트 클라우드의 속성이미지 부호화를 위하여, 메시의 텍스처맵을 참조하여 인터 예측을 수행함으로써, 속성이미지를 효율적으로 부호화할 수 있다. 도 2의 예시에서, PCC는 포인트 클라우드 코딩(Point Cloud Coding)을 나타낸다. Meanwhile, the attribute image and mesh texture map may be input to the attribute video encoder 150 in the same order as the example on the left of FIG. 2. Additionally, the property video encoder 150 can perform video encoding using a reference structure such as the example on the right side of FIG. 2. That is, the attribute video encoder 150 can efficiently encode the attribute image by performing inter prediction with reference to the texture map of the mesh in order to encode the attribute image of the point cloud. In the example of Figure 2, PCC stands for Point Cloud Coding.

다른 예로서, 속성이미지와 메시 텍스처맵은 도 3의 좌측 예시와 같은 순서로 속성 비디오 부호화부(150)에 입력될 수 있다. 또한, 도 3의 우측 예시와 같은 참조구조를 이용하여 속성 비디오 부호화부(150)는 비디오 부호화를 수행할 수 있다. 즉, 속성 비디오 부호화부(150)는 메시 텍스처맵의 부호화를 위하여, 포인트 클라우드의 속성이미지를 참조하여 인터 예측을 수행함으로써, 메시 텍스처맵을 효율적으로 부호화할 수 있다. As another example, the attribute image and mesh texture map may be input to the attribute video encoder 150 in the same order as the example on the left of FIG. 3. Additionally, the property video encoder 150 can perform video encoding using a reference structure such as the example on the right side of FIG. 3. That is, the attribute video encoder 150 can efficiently encode the mesh texture map by performing inter prediction with reference to the attribute image of the point cloud.

메시 기하정보 부호화부(160)는 메시의 정점, 연결성, 텍스처맵 정점 등을 부호화하여 비트스트림을 생성한다. 이때, 메시의 정점, 연결성 및 텍스처맵 정점은 메시 압축 방법인 TFAN(Triangle-FAN) 또는 DRACO와 같은 메시 기하정보 압축 기술에 의해 생성될 수 있다. 생성된 비트스트림은 비트스트림 합성부(170)로 전달될 수 있다. The mesh geometric information encoder 160 encodes the vertices, connectivity, and texture map vertices of the mesh to generate a bitstream. At this time, the vertices, connectivity, and texture map vertices of the mesh can be generated by a mesh geometry compression technology such as TFAN (Triangle-FAN) or DRACO, which are mesh compression methods. The generated bitstream may be transmitted to the bitstream synthesis unit 170.

이하, 메시의 정점은 메시의 정점 좌표를 함축적으로 나타낼 수 있다. 또한, 텍스처맵 정점은 텍스처맵 정점 좌표를 함축적으로 나타낼 수 있다. Hereinafter, the vertices of the mesh may implicitly represent the vertex coordinates of the mesh. Additionally, texture map vertices can implicitly represent texture map vertex coordinates.

비트스트림 합성부(170)는 전달받은 모든 비트스트림을 연결하여 하나의 비트스트림을 생성한다. 이때, 각 비트스트림의 순서는 부호화 장치 및 복호화 장치 간 약속에 따라 결정될 수 있다. 또는, 순서와 상관 없이 비트스트림들이 연결될 수 있다. 또는, 각 비트스트림은 비트스트림 앞 부분에 각 비트스트림의 종류를 표현하는 심볼을 포함할 수 있다. 이런 경우, 비트스트림 합성부(170)는 각 비트스트림의 종류를 확인한 후, 기설정된 순서에 따라 비트스트림들을 연결할 수 있다. 또는, 부호화 장치는 순서와 상관 없이 비트스트림들을 연결하고, 복호화 장치는 해당 심볼을 복호화한 후, 해당 심볼에 따라 비트스트림을 분리할 수 있다. The bitstream synthesis unit 170 generates one bitstream by concatenating all received bitstreams. At this time, the order of each bitstream may be determined according to an agreement between the encoding device and the decoding device. Alternatively, bitstreams may be connected regardless of order. Alternatively, each bitstream may include a symbol representing the type of each bitstream at the front of the bitstream. In this case, the bitstream synthesis unit 170 may check the type of each bitstream and then connect the bitstreams according to a preset order. Alternatively, the encoding device may connect the bitstreams regardless of the order, and the decoding device may decode the corresponding symbols and then separate the bitstreams according to the corresponding symbols.

도 4는 본 개시의 일 실시예에 따른, 포인트 클라우드 및 메시 복호화 장치를 나타내는 블록도이다. Figure 4 is a block diagram showing a point cloud and mesh decoding device according to an embodiment of the present disclosure.

포인트 클라우드 및 메시 복호화 장치(이하, '복호화 장치'와 호환적으로 사용)는 비트스트림으로부터 3차원 포인트 클라우드 및 메시를 복원한다. 또는, 복호화 장치는 비트스트림으로부터 3차원 포인트 클라우드 또는 메시를 복원할 수 있다. 복호화 장치는 비트스트림 분리부(410), 패치정보 복호화부(420), 기하 비디오 복호화부(430), 점유 비디오 복호화부(440), 속성 비디오 복호화부(450), 메시 기하정보 복호화부(460) 및 포인트 클라우드 이미지 합성부(470)의 전부 또는 일부를 포함할 수 있다.A point cloud and mesh decoding device (hereinafter used interchangeably with 'decoding device') restores a 3D point cloud and mesh from a bitstream. Alternatively, the decoding device can restore a 3D point cloud or mesh from the bitstream. The decoding device includes a bitstream separation unit 410, patch information decoding unit 420, geometric video decoding unit 430, occupied video decoding unit 440, attribute video decoding unit 450, and mesh geometric information decoding unit 460. ) and all or part of the point cloud image synthesis unit 470.

복호화 장치의 입력은 3차원 포인트 클라우드에 대한 비트스트림 및 3차원 메시에 대한 비트스트림을 모두 포함할 수 있다. 복호화 장치의 출력은 3차원 포인트 클라우드 및 메시를 모두 포함할 수 있다. The input of the decoding device may include both a bitstream for a 3D point cloud and a bitstream for a 3D mesh. The output of the decryption device may include both a 3D point cloud and a mesh.

비트스트림 분리부(410)는 비트스트림을 입력받아 다수의 비트스트림으로 분리한다. 분리된 비트스트림들은 패치정보 복호화부(420), 기하 비디오 복호화부(430), 점유 비디오 복호화부(440), 속성 비디오 복호화부(450) 및 메시 기하정보 복호화부(460)로 전달될 수 있다. The bitstream separation unit 410 receives a bitstream and separates it into multiple bitstreams. The separated bitstreams may be transmitted to the patch information decoder 420, the geometric video decoder 430, the occupied video decoder 440, the attribute video decoder 450, and the mesh geometric information decoder 460. .

패치정보 복호화부(420)는 입력받은 비트스트림을 복호화하여 패치정보를 복원한다. 복원된 패치정보는 포인트 클라우드 이미지 합성부(470)로 전달될 수 있다. The patch information decoder 420 decodes the input bitstream and restores the patch information. The restored patch information may be transmitted to the point cloud image synthesis unit 470.

기하 비디오 복호화부(430)는 전달받은 비트스트림을 복호화하여 기하이미지를 복원한다. 이때, 기하 비디오 복호화부(430)는 비디오 복호화 기술을 사용할 수 있다. 복원된 기하이미지는 포인트 클라우드 이미지 합성부(470)로 전달될 수 있다. The geometric video decoder 430 decodes the received bitstream and restores the geometric image. At this time, the geometric video decoder 430 may use video decoding technology. The restored geometric image may be transmitted to the point cloud image synthesis unit 470.

점유 비디오 복호화부(440)는 입력받은 비트스트림을 복호화하여 점유이미지를 복원한다. 이때, 점유 비디오 복호화부(440)는 비디오 복호화 기술을 사용할 수 있다. 복원된 점유이미지는 포인트 클라우드 이미지 합성부(470)로 전달될 수 있다. The occupied video decoder 440 decodes the input bitstream and restores the occupied image. At this time, the occupied video decoding unit 440 may use video decoding technology. The restored occupancy image may be transmitted to the point cloud image synthesis unit 470.

속성 비디오 복호화부(450)는 입력받은 비트스트림을 복호화하여 속성이미지 또는 메시 텍스처맵을 복원할 수 있다. 이때, 속성 비디오 복호화부(450)는 비디오 복호화 기술을 사용할 수 있다. 한편, 복호화 장치는, 복원 대상 이미지가 포인트 클라우드의 속성이미지인지 메시의 텍스처맵인지 여부를 지시하는 정보를 프레임 단위로 부호화 장치로부터 전달받을 수 있다. 해당 정보가 포인트 클라우드의 속성 이미지를 지시하는 경우, 복원된 이미지는 포인트 클라우드 이미지 합성부(470)로 전달될 수 있다. 반면, 해당 정보가 메시의 텍스처맵을 지시하는 경우, 복원된 이미지는 메시 기하정보 복호화부(460)에 의해 생성된 결과들과 결합되어, 복원된 메시가 생성될 수 있다. The attribute video decoder 450 can decode the input bitstream and restore the attribute image or mesh texture map. At this time, the attribute video decoding unit 450 may use video decoding technology. Meanwhile, the decoding device can receive information indicating whether the image to be restored is an attribute image of a point cloud or a texture map of a mesh from the encoding device in units of frames. If the information indicates an attribute image of the point cloud, the restored image may be transmitted to the point cloud image synthesis unit 470. On the other hand, if the information indicates a texture map of the mesh, the restored image may be combined with the results generated by the mesh geometry decoding unit 460 to generate a restored mesh.

한편, 속성 비디오 복호화부(450)는 도 2 또는 도 3에 예시된 바와 같이 인터 예측을 수행할 수 있다. 예컨대, 도 2의 예시와 같이, 속성 비디오 복호화부(450)는 포인트 클라우드의 속성이미지 복호화를 위하여, 메시의 텍스처맵을 참조하여 인터 예측을 수행할 수 있다. 또는, 도 3 예시와 같이, 속성 비디오 복호화부(450)는 메시의 텍스처맵 복호화를 위해, 포인트 클라우드의 속성이미지를 참조하여 인터 예측을 수행할 수 있다. Meanwhile, the attribute video decoder 450 may perform inter prediction as illustrated in FIG. 2 or 3. For example, as shown in the example of FIG. 2, the attribute video decoder 450 may perform inter prediction with reference to the texture map of the mesh to decode the attribute image of the point cloud. Alternatively, as shown in the example of FIG. 3, the attribute video decoder 450 may perform inter prediction by referring to the attribute image of the point cloud to decode the texture map of the mesh.

메시 기하정보 복호화부(460)는 비트스트림을 입력받아 메시의 기하정보를 복원할 수 있다. 이때, 메시의 기하정보는 메시의 정점, 메시의 연결성, 메시의 텍스처 정점 정보를 포함할 수 있다. 복원된 기하정보는 속성 비디오 복호화부(450)에 의해 생성된 복원된 메시 텍스처맵과 결합되어 복원된 메시의 형태로 출력될 수 있다.The mesh geometric information decoding unit 460 can receive a bitstream and restore the geometric information of the mesh. At this time, the geometric information of the mesh may include the vertices of the mesh, the connectivity of the mesh, and the texture vertex information of the mesh. The restored geometric information may be combined with the restored mesh texture map generated by the attribute video decoder 450 and output in the form of a restored mesh.

포인트 클라우드 이미지 합성부(470)는 복원된 패치정보, 기하이미지, 점유이미지 및 속성이미지를 결합하여 포인트 클라우드를 복원한다. The point cloud image synthesis unit 470 restores the point cloud by combining the restored patch information, geometric image, occupancy image, and attribute image.

이하, 도 5 내지 도 7의 도시를 이용하여, 복원된 포인트 클라우드 또는 복원된 메시를 이용하는 포인트 클라우드 및 메시 부호화 장치를 기술한다. Hereinafter, a point cloud and mesh encoding device using a restored point cloud or a restored mesh will be described using the illustrations of FIGS. 5 to 7.

도 5는 본 개시의 다른 실시예에 따른, 포인트 클라우드 및 메시 부호화 장치를 나타내는 블록도이다. Figure 5 is a block diagram showing a point cloud and mesh encoding device according to another embodiment of the present disclosure.

부호화 장치는 입력받은 포인트 클라우드 및 메시를 부호화하여 비트스트림을 생성한다. 또는, 부호화 장치는 입력받은 포인트 클라우드 또는 메시를 부호화하여 비트스트림을 생성할 수 있다. 부호화 장치는 좌표계 변환부(510), 색공간 변환부(520), 포인트 클라우드 부호화부(530), 저장부(540), 메시 부호화부(550) 및 비트스트림 합성부(560)의 전부 또는 일부를 포함할 수 있다.The encoding device encodes the input point cloud and mesh to generate a bitstream. Alternatively, the encoding device may generate a bitstream by encoding the input point cloud or mesh. The encoding device includes all or part of a coordinate system conversion unit 510, a color space conversion unit 520, a point cloud encoding unit 530, a storage unit 540, a mesh encoding unit 550, and a bitstream synthesis unit 560. may include.

좌표계 변환부(510)는 포인트 클라우드 및 메시를 입력받은 후, 이들의 좌표계를 변환하여 변환된 포인트 클라우드 및/또는 메시를 생성한다. 이때, 직교 좌표계를 원통 좌표계로 변환하는 좌표계 변환이 사용될 수 있다. 또는, 구형 좌표계를 원통 좌표계로 변환하는 좌표계 변환이 사용될 수 있다. 또는, 원통 좌표계를 구형 좌표계로 변환하는 좌표계 변환이 사용될 수 있다. 즉, 직교, 원통 및 구형 좌표계들 간 상호 변환이 가능하고, 결정된 변환에 대한 정보가 복호화 장치로 전달될 수 있다. 복호화 장치는 해당 정보에 따라 역 좌표계 변환을 수행할 수 있다. The coordinate system conversion unit 510 receives the point cloud and mesh and then converts their coordinate system to generate the converted point cloud and/or mesh. At this time, coordinate system transformation that converts the Cartesian coordinate system into a cylindrical coordinate system may be used. Alternatively, coordinate system transformation that converts a spherical coordinate system into a cylindrical coordinate system can be used. Alternatively, coordinate system transformation that converts a cylindrical coordinate system to a spherical coordinate system can be used. That is, mutual transformation between orthogonal, cylindrical, and spherical coordinate systems is possible, and information about the determined transformation can be transmitted to the decoding device. The decoding device can perform inverse coordinate system transformation according to the corresponding information.

한편, 포인트 클라우드 및 메시의 3차원좌표가 세계 표준 좌표계인 경우, 세계 표준 좌표계를 부호화 장치 내부 좌표계로 변환하는 좌표계 변환이 포함될 수 있다. 여기서, 좌표계 변환부(510)의 입력이 포인트 클라우드인 경우, 좌표계 변환부(510)는 각 포인트의 기하정보인 좌표값에 대해 좌표계를 변환할 수 있다. 또는, 입력이 메시인 경우, 좌표계 변환부(510)는 메시의 정점들의 3차원 좌표값에 대해 좌표계를 변환할 수 있다. Meanwhile, if the 3D coordinates of the point cloud and mesh are a world standard coordinate system, coordinate system transformation that converts the world standard coordinate system to the internal coordinate system of the encoding device may be included. Here, when the input of the coordinate system conversion unit 510 is a point cloud, the coordinate system conversion unit 510 may convert the coordinate system for the coordinate value that is the geometric information of each point. Alternatively, when the input is a mesh, the coordinate system conversion unit 510 may convert the coordinate system to the 3D coordinate values of the vertices of the mesh.

색공간 변환부(520)는 포인트 클라우드 및/또는 메시를 입력받은 후, 이들에 대해 색공간 변환을 수행하여 변환된 포인트 클라우드 및/또는 메시를 생성한다. 이때, 색공간 변환부(520)의 입력이 포인트 클라우드인 경우, 색공간 변환부(520)는 각 포인트의 속성정보에 대해 색공간을 변환할 수 있다. 이때, 상위 레벨로부터 전달받은 정보를 이용하여, 부호화 장치는 속성정보의 채널 개수 및 종류를 확인할 수 있다. 예를 들면, 속성정보는 RGB, YUV, YCbCr 등과 같은 3 개의 색 채널을 가질 수 있다. 또는, 속성정보는 반사도(reflectance)와 같은 반사 계수(reflection coefficient)를 단일하게 포함할 수 있다. 또는, 속성정보는 RGB+반사도와 같이 4 개의 채널을 포함할 수 있다. 따라서, 색공간 변환부(520)는 반사도를 제외한 나머지 색 채널들에 대해 색공간을 변환할 수 있다. 속성정보가 반사도만을 포함하는 경우, 색공간 변환이 생략될 수 있다. 부호화 장치는 색공간 변환에 사용된 정보들은 복호화 장치로 전달할 수 있다. 복호화 장치는 해당 정보에 따라 색공간 변환의 역과정을 수행할 수 있다. The color space conversion unit 520 receives the point cloud and/or mesh and performs color space conversion on them to generate the converted point cloud and/or mesh. At this time, when the input of the color space converter 520 is a point cloud, the color space converter 520 may convert the color space for the attribute information of each point. At this time, using the information received from the higher level, the encoding device can check the number and type of channels of attribute information. For example, attribute information may have three color channels such as RGB, YUV, and YCbCr. Alternatively, the attribute information may include a single reflection coefficient such as reflectance. Alternatively, attribute information may include four channels such as RGB+reflectance. Accordingly, the color space converter 520 can convert the color space for the remaining color channels excluding reflectivity. If attribute information includes only reflectivity, color space conversion may be omitted. The encoding device can transmit information used for color space conversion to the decoding device. The decoding device can perform the reverse process of color space conversion according to the corresponding information.

포인트 클라우드 부호화부(530)는 포인트 클라우드, 복원된 포인트 클라우드, 및/또는 복원된 메시를 입력받아, 포인트 클라우드를 부호화하여 포인트 클라우드 비트스트림과 복원된 포인트 클라우드를 생성한다. 복원된 포인트 클라우드는 저장부(540)로 전달되고, 포인트 클라우드 비트스트림은 비트스트림 합성부(560)로 전달될 수 있다.The point cloud encoder 530 receives a point cloud, a restored point cloud, and/or a restored mesh, encodes the point cloud, and generates a point cloud bitstream and a restored point cloud. The restored point cloud may be transmitted to the storage unit 540, and the point cloud bitstream may be transmitted to the bitstream synthesis unit 560.

메시 부호화부(550)는 메시, 복원된 메시, 및/또는 복원된 포인트 클라우드를 입력받아, 메시를 부호화하여 메시 비트스트림과 복원된 메시를 생성한다. 복원된 메시는 저장부(540)로 전달되고, 메시 비트스트림은 비트스트림 합성부(560)로 전달될 수 있다.The mesh encoder 550 receives a mesh, a restored mesh, and/or a restored point cloud, encodes the mesh, and generates a mesh bitstream and a restored mesh. The restored mesh may be transmitted to the storage unit 540, and the mesh bitstream may be transmitted to the bitstream synthesis unit 560.

저장부(540)는 복원된 포인트 클라우드 또는 복원된 메시를 입력받아 저장한다. 이후, 포인트 클라우드 또는 메시 부호화/복호화를 위하여 복원된 포인트 클라우드 및 복원된 메시가 사용될 수 있다.The storage unit 540 receives and stores the restored point cloud or restored mesh. Thereafter, the restored point cloud and the restored mesh can be used for point cloud or mesh encoding/decoding.

비트스트림 합성부(560)는 입력받은 모든 비트스트림을 연결하여 하나의 비트스트림을 생성한다. The bitstream synthesis unit 560 generates one bitstream by concatenating all input bitstreams.

도 6은 본 개시의 일 실시예에 따른, 포인트 클라우드 부호화부를 상세하게 나타내는 블록도이다. Figure 6 is a block diagram showing in detail a point cloud encoding unit according to an embodiment of the present disclosure.

전술한 바와 같이, 포인트 클라우드 부호화부(530)는, 원본 포인트 클라우드, 복원 포인트 클라우드 및/또는 복원 메시를 입력받아, 원본 포인트 클라우드를 부호화하여 포인트 클라우드 비트스트림을 생성하고, 복원된 포인트 클라우드를 생성할 수 있다. 포인트 클라우드 부호화부(530)는 제1 포인트 분할부(602), 기하정보 예측 부호화부(604), 기하정보 엔트로피 부호화부(606), 포인트 전역 움직임 보상부(608), 제2 포인트 분할부(610), 포인트 지역적 움직임 보상부(612), 메시 정점 전역 움직임 보상부(614), 메시 정점 분할부(616), 메시 정점 지역적 움직임 보상부(618), 기하정보 예측 복호화부(620), 속성정보 보상부(622), LOD 생성부(624), 속성정보 예측 부호화부(626), 속성정보 양자화부(628), 속성정보 엔트로피 부호화부(630) 및 비트스트림 합성부(632)의 전부 또는 일부를 포함할 수 있다.As described above, the point cloud encoder 530 receives an original point cloud, a restored point cloud, and/or a restored mesh, encodes the original point cloud, generates a point cloud bitstream, and generates a restored point cloud. can do. The point cloud encoding unit 530 includes a first point division unit 602, a geometric information prediction encoding unit 604, a geometric information entropy encoding unit 606, a point global motion compensation unit 608, and a second point division unit ( 610), point local motion compensation unit 612, mesh vertex global motion compensation unit 614, mesh vertex division unit 616, mesh vertex local motion compensation unit 618, geometric information prediction decoder 620, properties All or It may include some.

제1 포인트 분할부(602)는 입력받은 원본 포인트 클라우드의 기하정보를 이용하여, 이진트리, 쿼드트리, 옥트리, K-D트리(K-dimension tree) 등과 같은 트리 구조 기반 분할 방법에 따라 3차원 공간 상의 포인트들을 분할한다. 포인트 클라우드의 분할된 포인트들은 기하정보 예측 부호화부(604)로 전달될 수 있다.The first point division unit 602 uses the geometric information of the input original point cloud to divide the data in three-dimensional space according to a tree structure-based division method such as binary tree, quad tree, octree, K-dimension tree, etc. Split the points. The divided points of the point cloud may be transmitted to the geometric information prediction encoding unit 604.

포인트 전역 움직임 보상부(608)는 복원된 포인트 클라우드 및 원본 포인트 클라우드를 입력받아 복원된 포인트 클라우드의 기하정보에 대해 전역 움직임 보상을 수행한다. 원본 포인트 클라우드와 복원된 포인트 클라우드 간 전역적 움직임을 나타내는 파라미터를 이용하여 전역 움직임 보상이 수행될 수 있다. 이때, 전역 움직임 보상은 모든 포인트들에 대해 동일한 파라미터를 이용하여 움직임을 보상한다. 전역 움직임 파라미터는, 원본 포인트 클라우드와 복원된 포인트 클라우드의 기하정보를 이용하여 최소 자승법에 따라 생성될 수 있다. 이때, 생성된 파라미터는 엔트로피 부호화된 후, 복호화 장치로 전달될 수 있다. 전역 움직임 보상된 복원된 포인트 클라우드는 제2 포인트 분할부(610)로 전달될 수 있다. The point global motion compensation unit 608 receives the restored point cloud and the original point cloud and performs global motion compensation on the geometric information of the restored point cloud. Global motion compensation may be performed using parameters representing global motion between the original point cloud and the restored point cloud. At this time, global motion compensation compensates for motion using the same parameters for all points. Global motion parameters can be generated according to the least squares method using the geometric information of the original point cloud and the restored point cloud. At this time, the generated parameters may be entropy encoded and then transmitted to the decoding device. The restored point cloud with global motion compensation may be transmitted to the second point division unit 610.

제2 포인트 클라우드 분할부(610)는 전역 움직임 보상된 복원된 포인트 클라우드를 입력받아 작은 단위들로 분할한다. 이때, 분할하는 방법으로 이진트리, 쿼드트리, 옥트리, K-D트리 등과 같은 트리 구조 기반 분할 방법이 사용될 수 있다. 분할된 포인트 클라우드는 포인트 지역적 움직임 보상부(612)로 전달될 수 있다.The second point cloud division unit 610 receives the restored point cloud with global motion compensation and divides it into small units. At this time, a tree structure-based partitioning method such as binary tree, quad tree, octree, K-D tree, etc. can be used as a partitioning method. The segmented point cloud may be transmitted to the point local motion compensation unit 612.

포인트 지역적 움직임 보상부(612)는 입력받은 분할된 포인트 클라우드와 원본 포인트 클라우드의 기하정보를 이용하여 분할된 포인트 클라우드에 대해 지역적 움직임 보상을 수행한다. 포인트 지역적 움직임 보상부(612)는 원본 포인트 클라우드와 복원된 포인트 클라우드를 이용하여 지역적 움직임 보상 파라미터를 산정한 후, 이를 이용하여 지역적 움직임 보상을 수행할 수 있다. 현재 분할된 포인트 클라우드 단위와 원본 포인트 클라우드에서 오차가 가장 작은 포인트 클라우드 단위에 대해, 둘 간의 차이를 3차원 벡터로 표현한 움직임벡터가 움직임 보상 파라미터일 수 있다. 이때, 생성된 파라미터는 엔트로피 부호화된 후, 복호화 장치로 전달될 수 있다. 움직임 보상된 포인트 클라우드는 기하정보 예측 부호화부(604) 및 속성정보 예측 부호화부(626)로 전달될 수 있다.The point local motion compensation unit 612 performs local motion compensation on the segmented point cloud using the geometric information of the input segmented point cloud and the original point cloud. The point local motion compensation unit 612 may calculate local motion compensation parameters using the original point cloud and the restored point cloud, and then use the calculated local motion compensation parameters to perform local motion compensation. For the point cloud unit with the smallest error in the currently divided point cloud unit and the original point cloud, a motion vector expressing the difference between the two as a 3D vector may be a motion compensation parameter. At this time, the generated parameters may be entropy encoded and then transmitted to the decoding device. The motion-compensated point cloud may be transmitted to the geometric information prediction encoding unit 604 and the attribute information prediction encoding unit 626.

메시 정점 전역 움직임 보상부(614)는 복원된 메시와 원본 포인트 클라우드를 입력받아 메시의 정점들에 대해 전역 움직임 보상을 수행한다. 전역 움직임 보상된 메시는 메지 정점 분할부(616)로 전달될 수 있다. 움직임 보상에 사용된 파라미터는 엔트로피 부호화된 후, 복호화 장치로 전달될 수 있다. The mesh vertex global motion compensation unit 614 receives the restored mesh and the original point cloud and performs global motion compensation on the vertices of the mesh. The global motion compensated mesh may be passed to the mesh vertex splitter 616. Parameters used for motion compensation may be entropy encoded and then transmitted to the decoding device.

메시 정점 분할부(616)는 메시의 정점들을 더 작은 단위로 분할한다. 이때, 분할하는 방법으로 이진트리, 쿼드트리, 옥트리, K-D트리 등과 같은 트리 구조 기반 분할 방법이 사용될 수 있다. 분할된 메시 정점들은 메시 정점 지역적 움직임 보상부(618)로 전달될 수 있다. The mesh vertex division unit 616 divides the vertices of the mesh into smaller units. At this time, a tree structure-based partitioning method such as binary tree, quad tree, octree, K-D tree, etc. can be used as a partitioning method. The segmented mesh vertices may be transmitted to the mesh vertex local motion compensation unit 618.

메시 지역적 움직임 보상부(618)는 분할된 메시 정점들과 원본 포인트 클라우드를 이용하여 분할된 메시 정점들에 대해 각각 움직임 보상을 수행한다. 메시 지역적 움직임 보상부(618)는 현재 포인트 클라우드와 복원된 메시의 정점들을 이용하여 움직임 보상에 필요한 파라미터를 계산하여, 움직임 보상을 수행할 수 있다. 여기서, 움직임 보상에 필요한 파라미터는 움직임벡터로서, 3차원 벡터일 수 있다. 또는, 파라미터로서 아핀(affine) 변환과 같이 6 개 또는 9 개의 요소를 갖는 행렬을 이용하여, 메시 지역적 움직임 보상부(618)는 각 정점들에 대해 좌표 변환을 수행할 수 있다. 움직임 보상에 사용된 파라미터는 엔트로피 부호화된 후, 복호화 장치로 전달될 수 있다. 움직임 보상된 메시는 기하정보 예측 부호화부(604) 및 속성정보 예측 부호화부(626)로 전달될 수 있다.The mesh local motion compensation unit 618 performs motion compensation on the segmented mesh vertices using the segmented mesh vertices and the original point cloud, respectively. The mesh local motion compensation unit 618 may perform motion compensation by calculating parameters necessary for motion compensation using the vertices of the current point cloud and the restored mesh. Here, the parameter required for motion compensation is a motion vector, which may be a three-dimensional vector. Alternatively, the mesh local motion compensation unit 618 may perform coordinate transformation on each vertex by using a matrix with 6 or 9 elements, such as an affine transformation, as a parameter. Parameters used for motion compensation may be entropy encoded and then transmitted to the decoding device. The motion-compensated mesh may be transmitted to the geometric information prediction encoding unit 604 and the attribute information prediction encoding unit 626.

기하정보 예측 부호화부(604)는 분할된 현재 포인트 클라우드와 움직임 보상된 복원된 포인트 클라우드, 또는 분할된 현재 포인트 클라우드와 움직임 보상된 복원된 메시를 입력받아 현재 포인트 클라우드의 기하정보에 대해 예측 부호화를 수행한다. 예측 부호화에 따라 생성된 기하정보에 관련된 심볼들은 기하정보 엔트로피 부호화부(606) 및 기하정보 예측 복호화부(620)로 전달될 수 있다.The geometric information prediction encoding unit 604 receives the segmented current point cloud and the motion-compensated restored point cloud, or the segmented current point cloud and the motion-compensated restored mesh, and performs predictive encoding on the geometric information of the current point cloud. Perform. Symbols related to geometric information generated through predictive encoding may be transmitted to the geometric information entropy encoding unit 606 and the geometric information prediction decoding unit 620.

기하정보 엔트로피 부호화부(606)는 입력받은 기하정보 심볼들을 엔트로피 부호화하여 비트스트림을 생성한다. 생성된 비트스트림은 비트스트림 합성부(632)로 전달될 수 있다. The geometric information entropy encoding unit 606 generates a bitstream by entropy encoding the input geometric information symbols. The generated bitstream may be transmitted to the bitstream synthesis unit 632.

기하정보 예측 복호화부(620)는 입력받은 기하정보 심볼들을 이용하여 현재 포인트 클라우드를 복원한다. 복원된 포인트 클라우드는 속성정보 보정부(622)로 전달되고, 다음 포인트 클라우드 또는 메시 부호화를 위해 사용될 수 있다. The geometric information prediction decoder 620 restores the current point cloud using the input geometric information symbols. The restored point cloud is transmitted to the attribute information correction unit 622 and can be used for the next point cloud or mesh encoding.

속성정보 보정부(622)는 현재 포인트 클라우드의 속성정보와 복원된 현재 포인트 클라우드의 기하정보를 입력받아, 현재 포인트 클라우드의 속성정보를 보정한다. 속성정보 보정은 복원된 기하정보를 기준으로 가장 가까운 원본 포인트 클라우드의 속성 값을 사용할 수 있다. 또는 복원된 기하정보를 기준으로 최근접 3 개의 포인트의 속성정보를 기반으로 현재 포인트의 속성정보가 결정될 수 있다. 이때, 3 개의 포인트에 대해 가중치는 거리를 기반으로 결정될 수 있다. 속성 보정된 포인트 클라우드는 LOD 생성부(624)로 전달될 수 있다. The attribute information correction unit 622 receives attribute information of the current point cloud and geometric information of the restored current point cloud, and corrects the attribute information of the current point cloud. Attribute information correction can use the attribute values of the closest original point cloud based on the restored geometric information. Alternatively, the attribute information of the current point may be determined based on the attribute information of the three closest points based on the restored geometric information. At this time, the weight for the three points may be determined based on the distance. The attribute-corrected point cloud may be transmitted to the LOD generator 624.

LOD 생성부(624)는 속성 보정된 포인트 클라우드를 입력받아 다수의 레벨로 나누어 LOD(Level Of Detail)를 구성한다. LOD 레벨이 증가할수록 모든 포인트가 포함되며 낮은 LOD에는 3차원 객체의 형태만 유지할 수 있을 정도의 적은 포인트들만이 포함될 수 있다. 여기서, 거리를 기반으로 각 LOD 레벨에 포함되는 포인트들이 분류될 수 있다. 다수의 레벨로 분할된 포인트 클라우드는 속성정보 예측 부호화부(626)로 전달될 수 있다. The LOD generator 624 receives the attribute-corrected point cloud and divides it into a plurality of levels to form a Level Of Detail (LOD). As the LOD level increases, all points are included, while low LODs may include only a small number of points to maintain the shape of a 3D object. Here, points included in each LOD level can be classified based on distance. The point cloud divided into multiple levels may be transmitted to the attribute information prediction encoding unit 626.

속성정보 예측 부호화부(626)는 LOD 분할된 포인트 클라우드, 움직임 보상된 복원된 포인트 클라우드, 및/또는 움직임 보상된 복원된 메시를 입력받아 각 포인트별로 예측 부호화를 수행한다. 예측 부호화에 따라 생성된 잔차 속성정보는 속성정보 양자화부(628)로 전달될 수 있다. 또한, 포인트의 예측 정보가 속성정보 양자화부(628)로 전달될 수 있다.The attribute information prediction encoding unit 626 receives the LOD-divided point cloud, the motion-compensated restored point cloud, and/or the motion-compensated restored mesh and performs predictive coding for each point. Residual attribute information generated according to predictive encoding may be transmitted to the attribute information quantization unit 628. Additionally, point prediction information may be transmitted to the attribute information quantization unit 628.

속성정보 양자화부(628)는 잔차 속성정보를 전달받아 양자화를 수행하여 속성정보 심볼들을 생성한다. 생성된 속성정보 심볼들은 속성정보 엔트로피 부호화부(630)로 전달될 수 있다. 또한, 속성정보 양자화부(628)는 양자화에 따른 심볼들을 역양자화하고, 전달받은 예측 정보를 이용하여 포인트 클라우드의 속성정보를 복원할 수 있다. 복원된 포인트 클라우드 속성정보는 다음 프레임의 부호화를 위하여 사용될 수 있다.The attribute information quantization unit 628 receives residual attribute information and performs quantization to generate attribute information symbols. The generated attribute information symbols may be transmitted to the attribute information entropy encoding unit 630. Additionally, the attribute information quantization unit 628 can dequantize symbols according to quantization and restore attribute information of the point cloud using the received prediction information. The restored point cloud attribute information can be used for encoding the next frame.

속성정보 엔트로피 부호화부(630)는 입력받은 속성정보 심볼들을 엔트로피 부호화하여 비트스트림을 생성한다. 생성된 비트스트림은 비트스트림 합성부(632)로 전달될 수 있다.The attribute information entropy encoding unit 630 generates a bitstream by entropy encoding the input attribute information symbols. The generated bitstream may be transmitted to the bitstream synthesis unit 632.

비트스트림 합성부(632)는 전달받은 모든 비트스트림을 연결하여 포인트 클라우드 비트스트림을 생성한다.The bitstream synthesis unit 632 connects all received bitstreams to generate a point cloud bitstream.

도 7은 본 개시의 일 실시예에 따른, 메시 부호화부를 상세하게 나타내는 블록도이다. Figure 7 is a block diagram showing the mesh encoding unit in detail, according to an embodiment of the present disclosure.

전술한 바와 같이, 메시 부호화부(550)는, 원본 메시, 복원된 포인트 클라우드, 및/또는 원본 메시와 이전 프레임의 복원된 메시를 입력받아, 원본 메시를 부호화하여 메시 비트스트림을 생성하고, 현재 프레임의 복원된 메시를 생성한다. 메시 부호화부(550)는 포인트 클라우드 전역 움직임 보상부(702), 포인트 클라우드 분할부(704), 포인트 클라우드 지역적 움직임 보상부(706), 텍스처맵 예측부(708), 비디오 부호화부(710), 메시 기하정보 부호화부(712) 및 비트스트림 합성부(714)의 전부 또는 일부를 포함할 수 있다. As described above, the mesh encoder 550 receives the original mesh, the restored point cloud, and/or the original mesh and the restored mesh of the previous frame, encodes the original mesh, and generates a mesh bitstream. Generates a restored mesh of the frame. The mesh encoding unit 550 includes a point cloud global motion compensation unit 702, a point cloud segmentation unit 704, a point cloud local motion compensation unit 706, a texture map prediction unit 708, a video encoding unit 710, It may include all or part of the mesh geometry encoding unit 712 and the bitstream synthesis unit 714.

포인트 클라우드 전역 움직임 보상부(702)는 복원된 포인트 클라우드와 원본 메시 정점을 입력받아 전역 움직임 보상을 수행한다. 원본 메시와 복원된 포인트 클라우드 간 전역적 움직임을 나타내는 파라미터를 이용하여 전역 움직임 보상이 수행될 수 있다. 이때, 전역 움직임 보상은 모든 포인트들에 대해 동일한 파라미터를 이용하여 움직임을 보상한다. 전역 움직임 파라미터는, 원본 메시와 복원된 포인트 클라우드의 기하정보를 이용하여 최소 자승법에 따라 생성될 수 있다. 이때, 생성된 파라미터는 엔트로피 부호화된 후, 복호화 장치로 전달될 수 있다. 전역 움직임 보상된 복원된 포인트 클라우드는 포인트 클라우드 분할부(704)로 전달될 수 있다.The point cloud global motion compensation unit 702 receives the restored point cloud and the original mesh vertices and performs global motion compensation. Global motion compensation may be performed using parameters representing global motion between the original mesh and the restored point cloud. At this time, global motion compensation compensates for motion using the same parameters for all points. Global motion parameters can be generated according to the least squares method using the geometric information of the original mesh and the restored point cloud. At this time, the generated parameters may be entropy encoded and then transmitted to the decoding device. The reconstructed point cloud with global motion compensation may be passed to the point cloud segmentation unit 704.

포인트 클라우드 분할부(704)는 전역 움직임 보상된 복원된 포인트 클라우드를 입력받아 더 작은 단위로 분할한다. 이때, 분할하는 방법으로 이진트리, 쿼드트리, 옥트리, K-D트리 등과 같은 트리 구조 기반 분할 방법이 사용될 수 있다. 분할된 포인트 클라우드는 포인트 클라우드 지역적 움직임 보상부(706)로 전달될 수 있다. The point cloud division unit 704 receives the restored point cloud with global motion compensation and divides it into smaller units. At this time, a tree structure-based partitioning method such as binary tree, quad tree, octree, K-D tree, etc. can be used as a partitioning method. The segmented point cloud may be passed to the point cloud local motion compensation unit 706.

포인트 클라우드 지역적 움직임 보상부(706)는 분할된 포인트 클라우드와 원본 메시의 정점을 입력받아 분할된 포인트 클라우드에 대해 지역적 움직임 보상을 수행한다. 이때, 움직임 보상에 사용된 정보는 엔트로피 부호화된 후, 복호화 장치로 전달될 수 있다. 지역적 움직임 보상된 포인트 클라우드는 텍스처맵 예측부(708)로 전달될 수 있다. The point cloud local motion compensation unit 706 receives the vertices of the segmented point cloud and the original mesh and performs local motion compensation on the segmented point cloud. At this time, the information used for motion compensation may be entropy encoded and then transmitted to the decoding device. The local motion compensated point cloud may be transmitted to the texture map prediction unit 708.

메시 기하정보 부호화부(712)는 입력받은 원본 메시의 정점의 위치 정보와 정점들의 연결정보를 입력받아, 이들을 부호화하여 메시 기하정보 비트스트림, 및 복원된 메시 정점과 연결 정보를 생성한다. 생성된 메시 기하정보 비트스트림은 비트스트림 합성부(714)로 전달될 수 있고, 복원된 메시 정점과 연결 정보는 복원된 메시 텍스처맵과 함께 출력되어, 다음 포인트 클라우드 또는 메시 부호화를 위해 사용될 수 있다. 또한, 복원된 메시 정점과 연결 정보는 텍스처맵 예측부(708)로 전달될 수 있다. The mesh geometric information encoding unit 712 receives vertex position information and connection information of the vertices of the original mesh, encodes them, and generates a mesh geometric information bitstream and restored mesh vertex and connection information. The generated mesh geometry bitstream can be transmitted to the bitstream synthesis unit 714, and the restored mesh vertex and connection information can be output together with the restored mesh texture map and used for the next point cloud or mesh encoding. . Additionally, the restored mesh vertices and connection information may be transmitted to the texture map prediction unit 708.

텍스처맵 예측부(708)는 움직임 보상된 포인트 클라우드, 및 복원된 메시 정점과 연결 정보를 이용하여 예측 텍스처맵을 생성한다. 텍스처맵 예측부(708)는 예측 텍스처맵을 원본 텍스처맵으로부터 차분하여 차분 텍스처맵을 생성한 후, 이를 비디오 부호화부(710)로 전달될 수 있다. 여기서, 메시 부호화부(550)의 입력으로 복원된 포인트 클라우드가 입력되지 않고 이전 프레임의 복원된 메시가 입력된 경우, 원본 메시 텍스처맵으로부터 이전 프레임의 복원된 메시의 텍스처맵이 차분된 차분 텍스처맵이 비디오 부호화부(710)로 전달될 수 있다. The texture map prediction unit 708 generates a predicted texture map using the motion compensated point cloud and the restored mesh vertices and connection information. The texture map prediction unit 708 may generate a differential texture map by differentiating the predicted texture map from the original texture map, and then transmit the differential texture map to the video encoding unit 710. Here, when the restored point cloud is not input to the mesh encoder 550 but the restored mesh of the previous frame is input, the texture map of the restored mesh of the previous frame is differentiated from the original mesh texture map to create a differential texture map. This can be transmitted to the video encoder 710.

비디오 부호화부(710)는 입력받은 차분 텍스처맵을 부호화하여 메시 텍스처맵 비트스트림을 생성한다. 이때, PNG(Portable Network Graphics), JPEG(Joint Photographic coding Experts Group), JPEG2000, HEIF(High Efficiency Image File Format) 등과 같은 이미지 압축 기술이 사용될 수 있다. 또는, MPEG-2, H.264/AVC, H.265/HEVC, H.266/VVC, VP8, VP9, AV1 등과 같은 비디오 부호화 기술이 사용될 수 있다. 메시 텍스처맵 비트스트림은 비트스트림 합성부(714)로 전달될 수 있다. The video encoder 710 encodes the input differential texture map to generate a mesh texture map bitstream. At this time, image compression technologies such as PNG (Portable Network Graphics), JPEG (Joint Photographic coding Experts Group), JPEG2000, HEIF (High Efficiency Image File Format), etc. may be used. Alternatively, video coding technologies such as MPEG-2, H.264/AVC, H.265/HEVC, H.266/VVC, VP8, VP9, AV1, etc. may be used. The mesh texture map bitstream may be transmitted to the bitstream synthesis unit 714.

비트스트림 합성부(714)는 입력받은 모든 비트스트림을 연결하여 메시 비트스트림을 생성한다.The bitstream synthesis unit 714 connects all input bitstreams to generate a mesh bitstream.

이하, 도 8 내지 도 10의 도시를 이용하여, 복원된 포인트 클라우드 또는 복원된 메시를 이용하는 포인트 클라우드 및 메시 복호화 장치를 기술한다. Hereinafter, a point cloud and mesh decoding device using a restored point cloud or a restored mesh will be described using the illustrations of FIGS. 8 to 10.

도 8은 본 개시의 다른 실시예에 따른, 포인트 클라우드 및 메시 복호화 장치를 나타내는 블록도이다. Figure 8 is a block diagram showing a point cloud and mesh decoding device according to another embodiment of the present disclosure.

복호화 장치는 비트스트림을 입력받아 복원된 포인트 클라우드 및/또는 복원된 메시를 생성한다. 복호화 장치는 비트스트림 분리부(810), 포인트 클라우드 복호화부(820), 저장부(830), 메시 복호화부(840), 색공간 역변환부(850) 및 좌표계 역변환부(860)의 전부 또는 일부를 포함할 수 있다. The decoding device receives a bitstream and generates a restored point cloud and/or a restored mesh. The decoding device includes all or part of a bitstream separation unit 810, a point cloud decoding unit 820, a storage unit 830, a mesh decoding unit 840, a color space inversion unit 850, and a coordinate system inversion unit 860. may include.

비트스트림 분리부(810)는 입력받은 비트스트림을 포인트 클라우드 비트스트림 및 메시 비트스트림으로 분리한다. 분리된 포인트 클라우드 비트스트림은 포인트 클라우드 복호화부(820)로 전달될 수 있다. 분리된 메시 비트스트림은 메시 복호화부(840)로 전달될 수 있다.The bitstream separation unit 810 separates the input bitstream into a point cloud bitstream and a mesh bitstream. The separated point cloud bitstream may be transmitted to the point cloud decoder 820. The separated mesh bitstream may be transmitted to the mesh decoder 840.

포인트 클라우드 복호화부(820)는 포인트 클라우드 비트스트림, 이전 프레임의 복원된 포인트 클라우드 및/또는 복원된 메시를 입력받아, 현재 프레임의 포인트 클라우드를 복원한다. 현재 프레임의 복원된 포인트 클라우드는 저장부(830)로 전달될 수 있다.The point cloud decoder 820 receives the point cloud bitstream, the restored point cloud of the previous frame, and/or the restored mesh, and restores the point cloud of the current frame. The restored point cloud of the current frame may be transmitted to the storage unit 830.

메시 복호화부(840)는 메시 비트스트림, 복원된 포인트 클라우드 및/또는 복원된 메시를 입력받아, 현재 프레임의 메시를 복원할 수 있다. 복원된 현재 프레임의 복원된 메시는 저장부(830)로 전달될 수 있다. The mesh decoder 840 may receive a mesh bitstream, a restored point cloud, and/or a restored mesh, and restore the mesh of the current frame. The restored mesh of the restored current frame may be transmitted to the storage unit 830.

저장부(830)는 현재 프레임의 복원된 포인트 클라우드와 복원된 메시를 저장하고, 이후 프레임들의 복호화를 위하여 복원된 포인트 클라우드 및 메시를 포인트 클라우드 복호화부(820)와 메시 복호화부(840)로 전달할 수 있다. 또한, 저장부(830)는 복원된 포인트 클라우드 및 메시를 색공간 역변환부(850)로 전달할 수 있다.The storage unit 830 stores the restored point cloud and the restored mesh of the current frame, and transmits the restored point cloud and mesh to the point cloud decoder 820 and the mesh decoder 840 for decoding of subsequent frames. You can. Additionally, the storage unit 830 may transmit the restored point cloud and mesh to the color space inversion unit 850.

색공간 역변환부(850)는 복원된 포인트 클라우드 및 메시를 입력받아 포인트 클라우드의 속성정보와 메시의 텍스처맵에 대해 색공간 역변환을 수행한 후, 좌표계 역변환부(860)로 전달할 수있다.The color space inversion unit 850 may receive the restored point cloud and mesh, perform color space inversion on the attribute information of the point cloud and the texture map of the mesh, and then transmit them to the coordinate system inversion unit 860.

좌표계 역변환부(860)는 색공간 변환된 포인트 클라우드와 메시를 입력받아 포인트 클라우드의 기하정보와 메시의 정점에 대해 좌표계 역변환을 적용하여 복원된 포인트 클라우드 및 복원된 메시를 생성한다. The coordinate system inversion unit 860 receives the color space transformed point cloud and mesh and applies coordinate system inversion to the geometric information of the point cloud and the vertices of the mesh to generate a restored point cloud and a restored mesh.

도 9는 본 개시의 일 실시예에 따른, 포인트 클라우드 복호화부를 상세하게 나타내는 블록도이다. Figure 9 is a block diagram showing the point cloud decoding unit in detail, according to an embodiment of the present disclosure.

포인트 클라우드는 복호화부(820)는 비트스트림, 이전 프레임의 복원된 포인트 클라우드 및 복원된 메시를 입력받아 복원된 포인트 클라우드를 생성한다. 포인트 클라우드 복호화부(820)는 비트스트림 분리부(902), 기하정보 엔트로피 복호화부(904), 포인트 전역 움직임 보상부(906), 포인트 분할부(908), 포인트 지역적 움직임 보상부(910), 메시 정점 전역 움직임 보상부(912), 메시 정점 분할부(914), 메시 정점 지역적 움직임 보상부(916), 기하정보 예측 복호화부(918), LOD 생성부(20), 속성정보 엔트로피 복호화부(922), 속성정보 역양자화부(924), 속성정보 예측 복호화부(926)의 전부 또는 일부를 포함할 수 있다. The point cloud decoder 820 receives the bitstream, the restored point cloud of the previous frame, and the restored mesh and generates a restored point cloud. The point cloud decoder 820 includes a bitstream separation unit 902, a geometric information entropy decoder 904, a point global motion compensation unit 906, a point division unit 908, a point local motion compensation unit 910, Mesh vertex global motion compensation unit 912, mesh vertex division unit 914, mesh vertex local motion compensation unit 916, geometric information prediction decoder 918, LOD generation unit 20, attribute information entropy decoder ( 922), an attribute information inverse quantization unit 924, and an attribute information prediction decoding unit 926.

비트스트림 분리부(902)는 비트스트림을 입력받아 포인트 클라우드 기하정보 비트스트림 및 포인트 클라우드 속성정보 비트스트림으로 분리한다. 포인트 클라우드 기하정보 비트스트림은 기하정보 엔트로피 복호화부(904)로 전달될 수 있고 포인트 클라우드 속성정보 비트스트림은 속성정보 엔트로피 복호화부(922)로 전달될 수 있다. The bitstream separation unit 902 receives the bitstream and separates it into a point cloud geometric information bitstream and a point cloud attribute information bitstream. The point cloud geometric information bitstream may be transmitted to the geometric information entropy decoding unit 904, and the point cloud attribute information bitstream may be transmitted to the attribute information entropy decoding unit 922.

기하정보 엔트로피 복호화부(904)는 포인트 클라우드 기하정보 비트스트림을 복호화하여 기하정보 심볼들과 움직임 보상에 필요한 파라미터들을 생성한다. 생성된 기하정보 심볼들은 기하정보 예측 복호화부(918)로 전달될 수 있다.The geometric entropy decoder 904 decodes the point cloud geometric information bitstream and generates geometric information symbols and parameters necessary for motion compensation. The generated geometric information symbols may be transmitted to the geometric information prediction decoding unit 918.

포인트 전역 움직임 보상부(906)는 복원된 포인트 클라우드 입력받아 복원된 포인트 클라우드의 기하정보들에 대해 전역 움직임 보상을 수행한다. 원본 포인트 클라우드와 복원된 포인트 클라우드 간 전역적 움직임을 나타내는 파라미터를 이용하여 전역 움직임 보상이 수행될 수 있다. 이때, 전역적 움직임 보상은 모든 포인트들에 대해 동일한 파라미터를 이용하여 움직임을 보상한다. 전역적 움직임 파라미터는 기하정보 엔트로피 복호화부(904)로부터 획득될 수 있다. 전역 움직임 보상된 복원된 포인트 클라우드는 포인트 분할부(908)로 전달될 수 있다. The point global motion compensation unit 906 receives the restored point cloud and performs global motion compensation on the geometric information of the restored point cloud. Global motion compensation may be performed using parameters representing global motion between the original point cloud and the restored point cloud. At this time, global motion compensation compensates for motion using the same parameters for all points. Global motion parameters can be obtained from the geometric information entropy decoder 904. The reconstructed point cloud with global motion compensation may be passed to the point segmentation unit 908.

포인트 분할부(908)는 전역 움직임 보상된 복원된 포인트 클라우드를 입력받아 작은 단위들로 분할한다. 이때, 분할하는 방법으로 이진트리, 쿼드트리, 옥트리, K-D트리 등과 같은 트리 구조 기반 분할 방법이 사용될 수 있다. 분할된 포인트 클라우드는 포인트 지역적 움직임 보상부(910)로 전달될 수 있다.The point division unit 908 receives the restored point cloud with global motion compensation and divides it into small units. At this time, a tree structure-based partitioning method such as binary tree, quad tree, octree, K-D tree, etc. can be used as a partitioning method. The segmented point cloud may be transmitted to the point local motion compensation unit 910.

포인트 지역적 움직임 보상부(910)는 입력받은 분할된 포인트 클라우드들의 기하정보에 대해, 지역적 움직임 보상에 관련된 파라미터를 이용하여 지역적 움직임 보상을 수행한다. 여기서, 파라미터는 3차원 벡터로 표현된 움직임벡터일 수 있다. 또한, 파라미터는 엔트로피 기하정보 엔트로피 복호화부(904)로부터 획득될 수 있다. 움직임 보상된 포인트 클라우드는 기하정보 예측 복호화부(918) 및 속성정보 예측 복호화부(926)로 전달될 수 있다.The point local motion compensation unit 910 performs local motion compensation on the geometric information of the input segmented point clouds using parameters related to local motion compensation. Here, the parameter may be a motion vector expressed as a 3D vector. Additionally, parameters may be obtained from the entropy geometry entropy decoding unit 904. The motion-compensated point cloud may be transmitted to the geometric information prediction decoding unit 918 and the attribute information prediction decoding unit 926.

메시 정점 전역 움직임 보상부(912)는 복원된 메시를 입력받아 메시의 정점들에 대해 전역 움직임 보상을 수행한다. 이때, 전역 움직임 보상을 위해 전역 움직임 파라미터는 기하정보 엔트로피 복호화부(904)로부터 획득될 수 있다. 전역 움직임 보상된 메시는 메시 정점 분할부(914)로 전달될 수 있다. The mesh vertex global motion compensation unit 912 receives the restored mesh and performs global motion compensation on the vertices of the mesh. At this time, global motion parameters may be obtained from the geometric information entropy decoder 904 for global motion compensation. The globally motion compensated mesh may be passed to the mesh vertex splitter 914.

메시 정점 분할부(914)는 메시의 정점들을 더 작은 단위로 분할한다. 이때, 분할하는 방법으로 이진트리, 쿼드트리, 옥트리, K-D트리 등과 같은 트리 구조 기반 분할 방법이 사용될 수 있다. 분할된 메시 정점들은 메시 정점 지역적 움직임 보상부(916)로 전달될 수 있다. The mesh vertex division unit 914 divides the vertices of the mesh into smaller units. At this time, a tree structure-based partitioning method such as binary tree, quad tree, octree, K-D tree, etc. can be used as a partitioning method. The segmented mesh vertices may be passed to the mesh vertex local motion compensation unit 916.

메시 지역적 움직임 보상부(916)는 분할된 메시 정점들에 대해 각각 움직임 보상을 수행한다. 이때, 움직임 보상은 부호화 장치로부터 전송받은 지역적 움직임 보상 관련된 파라미터를 이용할 수 있다. 여기서, 움직임 보상에 필요한 파라미터는 움직임벡터일 수 있다. 움직임 벡터는 3차원 벡터를 의미할 수 있다. 또는, 파라미터로서 아핀 변환과 같이 6 개 또는 9 개의 요소를 갖는 행렬을 이용하여, 메시 지역적 움직임 보상부(916)는 각 정점들에 대해 좌표 변환을 수행할 수 있다. 움직임 보상에 관련된 파라미터는 엔트로피 기하정보 복호화부(904)로부터 획득될 수 있다. 움직임 보상된 메시는 기하정보 예측 복호화부(918) 및 속성정보 예측 복호화부(926)로 전달될 수 있다.The mesh local motion compensation unit 916 performs motion compensation on each segmented mesh vertex. At this time, motion compensation can use parameters related to local motion compensation received from the encoding device. Here, the parameter required for motion compensation may be a motion vector. A motion vector may refer to a three-dimensional vector. Alternatively, the mesh local motion compensation unit 916 may perform coordinate transformation on each vertex by using a matrix with 6 or 9 elements, such as an affine transformation, as a parameter. Parameters related to motion compensation can be obtained from the entropy geometry decoding unit 904. The motion-compensated mesh may be transmitted to the geometric information prediction decoding unit 918 and the attribute information prediction decoding unit 926.

기하정보 예측 복호화부(918)는 기하정보 심볼들, 움직임 보상된 이전 프레임의 포인트 클라우드, 및 움직임 보상된 이전 프레임의 메시를 입력받아 현재 프레임의 포인트 클라우드의 기하정보를 복원한다. 복원된 포인트 클라우드 기하정보는 복원된 포인트 클라우드 속성정보와 함께 출력될 수 있다. 또한, 복원된 포인트 클라우드 기하정보는 LOD 생성부(920)로 전달될 수 있다. The geometric information prediction decoder 918 receives geometric information symbols, a motion-compensated point cloud of the previous frame, and a motion-compensated mesh of the previous frame and restores the geometric information of the point cloud of the current frame. The restored point cloud geometric information may be output together with the restored point cloud attribute information. Additionally, the restored point cloud geometric information may be transmitted to the LOD generator 920.

LOD 생성부(920)는 입력받은 포인트 클라우드 기하정보를 이용하여 다수의 LOD를 구성함으로써 포인트 클라우드를 분할한다. LOD에 따라 분할된 포인트 클라우드는 속성정보 예측 복호화부(926)로 전달될 수 있다.The LOD generator 920 divides the point cloud by configuring a plurality of LODs using the input point cloud geometric information. The point cloud divided according to the LOD may be transmitted to the attribute information prediction decoder 926.

속성정보 엔트로피 복호화부(922)는 입력받은 포인트 클라우드 속성정보 비트스트림을 복호화하여 포인트 클라우드의 양자화된 잔차 속성정보를 복원한다. 양자화된 잔차 속성정보는 속성정보 역양자화부(924)로 전달될 수 있다.The attribute information entropy decoder 922 decodes the input point cloud attribute information bitstream and restores the quantized residual attribute information of the point cloud. The quantized residual attribute information may be transmitted to the attribute information inverse quantization unit 924.

속성정보 역양자화부(924)는 입력받은 양자화된 잔차 속성정보를 역양자화하여 잔차 속성정보를 복원한다. 복원된 잔차 속성정보는 속성정보 예측 복호화부(926)로 전달될 수 있다.The attribute information inverse quantization unit 924 restores the residual attribute information by inverse quantizing the input quantized residual attribute information. The restored residual attribute information may be transmitted to the attribute information prediction decoder 926.

속성정보 예측 복호화부(926)는 입력받은 복원된 잔차 속성정보, LOD 분할된 포인트 클라우드, 움직임 보상된 이전 프레임의 포인트 클라우드, 및/또는 움직임 보상된 이전 프레임의 메시를 이용하여 현재 프레임의 속성정보를 복원한다. 복원된 포인트 클라우드 속성정보는 복원된 포인트 클라우드 기하정보와 함께 출력될 수 있다. The attribute information prediction decoder 926 uses the input restored residual attribute information, LOD segmented point cloud, motion-compensated point cloud of the previous frame, and/or motion-compensated mesh of the previous frame to provide attribute information of the current frame. Restore . The restored point cloud attribute information may be output together with the restored point cloud geometric information.

도 10은 본 개시의 일 실시예에 따른, 메시 복호화부를 상세하게 나타내는 블록도이다. Figure 10 is a block diagram showing the mesh decoder in detail, according to an embodiment of the present disclosure.

메시 복호화부(840)는 메시 비트스트림, 복원된 포인트 클라우드 및 복원된 메시를 입력받아 현재 프레임의 메시를 복원한다. 메시 복호화부(840)는 비트스트림 분리부(1002), 비디오 복호화부(1004), 메시 기하정보 복호화부(1006), 포인트 클라우드 전역 움직임 보상부(1008), 포인트 클라우드 분할부(1010), 포인트 클라우드 지역적 움직임 보상부(1012) 및 텍스처맵 예측부(1014)의 전부 또는 일부를 포함할 수 있다.The mesh decoder 840 receives the mesh bitstream, the restored point cloud, and the restored mesh and restores the mesh of the current frame. The mesh decoding unit 840 includes a bitstream separation unit 1002, a video decoding unit 1004, a mesh geometry decoding unit 1006, a point cloud global motion compensation unit 1008, a point cloud division unit 1010, and a point cloud decoding unit 1002. It may include all or part of the cloud local motion compensation unit 1012 and the texture map prediction unit 1014.

비트스트림 분리부(1002)는 메시 비트스트림을 입력받아 텍스처맵 비트스트림과 메시 기하정보 비트스트림으로 분리한다. 텍스처맵 비트스트림은 비디오 복호화부(1004)로 전달될 수 있다. 또한, 메시 기하정보 비트스트림은 메시 기하정보 복호화부(1006)로 전달될 수 있다.The bitstream separation unit 1002 receives the mesh bitstream and separates it into a texture map bitstream and a mesh geometry bitstream. The texture map bitstream may be transmitted to the video decoder 1004. Additionally, the mesh geometry bitstream may be transmitted to the mesh geometry decoder 1006.

비디오 복호화부(1004)는 입력받은 텍스처맵 비트스트림을 복호화하여 잔차 텍스처맵을 복원할 수 있다. 잔차 텍스처맵은 예측 텍스처맵과 합산되고 복원된 메시 정점 및 연결정보와 함께 출력될 수 있다. The video decoder 1004 can restore the residual texture map by decoding the input texture map bitstream. The residual texture map can be summed with the predicted texture map and output along with the restored mesh vertex and connection information.

메시 기하정보 복호화부(1006)는 입력받은 메시 기하정보 비트스트림을 복호화하여 메시 정점 및 연결정보를 복원한다. 복원된 메시 정점 및 연결 정보는 텍스처맵 예측부(1014)로 전달될 수 있다. 또한, 복원된 메시 텍스처맵와 함께 복원된 메시의 형태로 출력될 수 있다. The mesh geometry decoding unit 1006 decodes the input mesh geometry bitstream and restores mesh vertices and connection information. The restored mesh vertex and connection information may be transmitted to the texture map prediction unit 1014. Additionally, it can be output in the form of a restored mesh along with a restored mesh texture map.

포인트 클라우드 전역 움직임 보상부(1008)는 복원된 포인트 클라우드를 입력받아 복원된 포인트 클라우드의 기하정보에 대해 전역 움직임 보상을 수행한다. 원본 메시 정점과 복원된 포인트 클라우드 간 전역적 움직임을 나타내는 파라미터를 이용하여 움직임 보상이 수행될 수 있다. 이때, 전역적 움직임 보상은 모든 포인트들에 대하여 동일한 파라미터를 동일한 파라미터를 이용하여 움직임을 보상한다. 전역적 움직임 파라미터는 기하정보 엔트로피 복호화부(904)로부터 획득될 수 있다. 전역 움직임 보상된 복원된 포인트 클라우드는 포인트 클라우드 분할부(1010)로 전달될 수 있다. The point cloud global motion compensation unit 1008 receives the restored point cloud and performs global motion compensation on the geometric information of the restored point cloud. Motion compensation may be performed using parameters representing the global movement between the original mesh vertices and the restored point cloud. At this time, global motion compensation compensates for motion using the same parameters for all points. Global motion parameters can be obtained from the geometric information entropy decoder 904. The restored point cloud with global motion compensation may be transmitted to the point cloud division unit 1010.

포인트 클라우드 분할부(1010)는 전역 움직임 보상된 복원된 포인트 클라우드를 입력받아 작은 단위들로 분할한다. 이때, 분할하는 방법으로 이진트리, 쿼드트리, 옥트리, K-D트리 등과 같은 트리 구조 기반 분할 방법이 사용될 수 있다. 분할된 포인트 클라우드는 포인트 지역적 움직임 보상부(1012)로 전달될 수 있다. The point cloud division unit 1010 receives the restored point cloud with global motion compensation and divides it into small units. At this time, a tree structure-based partitioning method such as binary tree, quad tree, octree, K-D tree, etc. can be used as a partitioning method. The segmented point cloud may be transmitted to the point local motion compensation unit 1012.

포인트 지역적 움직임 보상부(1012)는 입력받은 분할된 포인트 클라우드의 기하정보에 대해 지역적 움직임 보상에 관련된 파라미터를 이용하여 지역적 움직임 보상을 수행한다. 여기서, 파라미터는 3차원 벡터로 표현된 움직임벡터일 수 있다. 또한, 파라미터는 기하정보 엔트로피 복호화부(904)로부터 획득될 수 있다. 움직임 보상된 포인트 클라우드는 텍스처맵 예측부(1014)로 전달될 수 있다. The point local motion compensation unit 1012 performs local motion compensation using parameters related to local motion compensation on the geometric information of the input segmented point cloud. Here, the parameter may be a motion vector expressed as a 3D vector. Additionally, parameters may be obtained from the geometric information entropy decoding unit 904. The motion compensated point cloud may be transmitted to the texture map prediction unit 1014.

텍스처맵 예측부(1014)는 움직임 보상된 포인트 클라우드, 복원된 메시 정점 및 연결 정보를 이용하여 예측 텍스처맵을 생성한다. 예측 텍스처맵과 차분 텍스처맵을 합산하여 텍스처맵이 복원될 수 있다. 또한, 메시 복호화부(840)의 입력으로 복원된 포인트 클라우드가 입력되지 않고 이전 프레임의 복원된 메시가 입력된 경우, 이전 프레임의 복원된 메시의 텍스처맵과 차분 텍스처맵이 합산되어 복원된 메시 텍스처맵이 생성될 수 있다. 복원된 메시 텍스처맵은 복원된 메시 정점 및 연결 정보와 함께 복원된 메시의 형태로 출력될 수 있다. The texture map prediction unit 1014 generates a predicted texture map using the motion compensated point cloud, restored mesh vertices, and connection information. The texture map can be restored by adding the predicted texture map and the differential texture map. In addition, when the restored point cloud is not input to the mesh decoder 840, but the restored mesh of the previous frame is input, the mesh texture is restored by adding the texture map and the differential texture map of the restored mesh of the previous frame. A map can be created. The restored mesh texture map can be output in the form of a restored mesh along with restored mesh vertex and connection information.

이하, 도 11 및 도 12의 도시를 이용하여, 포인트 클라우드 부호화부(530)의 기하정보 예측 부호화부(604)와 속성정보 예측 부호화부(626), 및 포인트 클라우드 복호화부(820)의 기하정보 예측 복호화부(918)와 속성정보 예측 복호화부(926)에서, 현재 포인트의 예측 시 복원된 메시를 이용하는 방법을 기술한다. Hereinafter, using the illustrations of FIGS. 11 and 12, the geometric information prediction encoding unit 604, the attribute information prediction encoding unit 626, and the point cloud decoding unit 820 of the point cloud encoding unit 530. A method of using the restored mesh when predicting the current point in the prediction decoding unit 918 and the attribute information prediction decoding unit 926 is described.

도 11은 복원된 메시를 이용하여 포인트 클라우드의 기하정보 및 속성정보를 예측하는 방법을 나타내는 예시도이다. Figure 11 is an example diagram showing a method of predicting geometric information and attribute information of a point cloud using a restored mesh.

도 11의 예시와 같이, 복원된 메시에 대해 각 정점이 기하정보와 속성정보를 포함할 수 있고, 삼각형 메시의 한 면은 총 3 개의 정점을 포함할 수 있다.As in the example of FIG. 11, each vertex of the restored mesh may include geometric information and attribute information, and one side of the triangular mesh may include a total of three vertices.

현재 포인트의 예측을 위하여, 현재 포인트와 가장 가까운 면을 가지는 메시의 면이 선택되고, 해당 면에 포함된 정점들의 정보가 이용될 수 있다. 이때, 부호화 장치는 거리를 기반으로 현재 포인트와 가장 가까운 면을 찾을 수 있다. 복호화 장치는 복원된 메시의 면에 대한 인덱스, 3차원 움직임벡터 등의 정보를 부호화 장치로부터 전달받아 특정 메시 면을 선택할 수 있다. To predict the current point, the face of the mesh having the face closest to the current point is selected, and information on vertices included in the face can be used. At this time, the encoding device can find the side closest to the current point based on the distance. The decoding device can select a specific mesh side by receiving information such as an index and a 3D motion vector for the side of the reconstructed mesh from the coding device.

이후, 선택된 면으로부터 대표 포인트를 생성하고 해당 포인트가 예측 포인트로 사용될 수 있다. 이때, 대표 포인트의 기하정보 및 속성정보는 메시 면에 포함된 3 개의 정점의 기하정보로부터 산정될 수 있다. 예를 들어, 대표 포인트의 기하정보 및 속정정보는, 선택된 메시 면에 포함된 정점 3 개의 기하정보 및 속성정보의 가중합일 수 있다. 이때, 가중치로서 부호화 장치와 복호화 장치 간 약속에 따라 고정된 값이 사용될 수 있다. 또는, 대표 포인트의 기하정보는 3 개의 정점의 무게중심의 위치일 수 있다.Afterwards, a representative point is generated from the selected face and the point can be used as a prediction point. At this time, the geometric information and attribute information of the representative point can be calculated from the geometric information of the three vertices included in the mesh surface. For example, the geometric information and attribute information of the representative point may be a weighted sum of the geometric information and attribute information of three vertices included in the selected mesh surface. At this time, a fixed value may be used as a weight according to an agreement between the encoding device and the decoding device. Alternatively, the geometric information of the representative point may be the positions of the centers of gravity of three vertices.

도 12는 텍스처맵을 갖는 복원된 메시를 이용하여 포인트 클라우드의 기하정보 및 속성정보를 예측하는 방법을 나타내는 예시도이다. Figure 12 is an example diagram showing a method of predicting geometric information and attribute information of a point cloud using a restored mesh with a texture map.

도 12의 예시와 같이, 복원된 메시에 대해 각 정점이 기하정보를 포함하고, 텍스처맵의 형태로 속성정보를 포함할 수 있다. As in the example of FIG. 12, each vertex of the restored mesh includes geometric information and may include attribute information in the form of a texture map.

현재 포인트의 예측을 위하여 현재 포인트와 가장 가까운 면을 가지는 메시의 면을 선택하고, 해당 면에 포함된 정점들의 정보와 정점들에 포함된 텍스처맵의 좌표에 기초하여 텍스처맵의 속성정보가 사용될 수 있다. 이때, 부호화 장치는 거리를 기반으로 현재 포인트와 가장 가까운 면을 찾을 수 있다. 복호화 장치는 복원된 메시의 면에 대한 인덱스, 3차원 움직임벡터 등의 정보를 부호화 장치로부터 전달받아 특정 메시 면을 선택할 수 있다. To predict the current point, the face of the mesh that has the face closest to the current point is selected, and the attribute information of the texture map can be used based on the information on the vertices included in the face and the coordinates of the texture map included in the vertices. there is. At this time, the encoding device can find the side closest to the current point based on the distance. The decoding device can select a specific mesh side by receiving information such as an index and a 3D motion vector for the side of the reconstructed mesh from the coding device.

이후, 선택된 면으로부터 대표 포인트를 생성하고 해당 포인트가 예측 포인트로 사용될 수 있다. 이때, 대표 포인트의 기하정보는 메시 면에 포함된 3 개의 정점의 기하정보로부터 산정될 수 있다. 예를 들어, 대표 포인트의 기하정보는 선택된 메시 면에 포함된 정점 3 개의 기하정보의 가중합일 수 있다. 이때, 가중치로서 부호화 장치와 복호화 장치 간 약속에 따른 고정된 값이 사용될 수 있다. 또는, 대표 포인트의 기하정보는 3 개의 정점의 무게중심의 위치일 수 있다. Afterwards, a representative point is generated from the selected face and the point can be used as a prediction point. At this time, the geometric information of the representative point can be calculated from the geometric information of the three vertices included in the mesh surface. For example, the geometric information of the representative point may be a weighted sum of the geometric information of three vertices included in the selected mesh surface. At this time, a fixed value according to an agreement between the encoding device and the decoding device may be used as the weight. Alternatively, the geometric information of the representative point may be the positions of the centers of gravity of three vertices.

이후, 정점들의 좌표, 정점의 텍스처맵의 좌표, 대표 포인트의 기하정보를 기반으로 해당 위치의 텍스처맵 좌표가 생성될 수 있다. 대표 포인트의 텍스처맵의 좌표를 이용하여 해당 위치의 텍스처맵의 속성정보가 대표 포인트의 속성정보로 결정될 수 있다. Afterwards, the texture map coordinates of the corresponding location may be generated based on the coordinates of the vertices, the coordinates of the texture map of the vertices, and the geometric information of the representative point. By using the coordinates of the texture map of the representative point, the attribute information of the texture map at the corresponding location can be determined as the attribute information of the representative point.

이하, 도 13의 도시를 이용하여, 메시 부호화부(550)의 텍스처맵 예측부(708), 및 메시 복호화부(840)의 텍스처맵 예측부(1014)가 움직임 보상된 포인트 클라우드 및 복원된 현재 메시의 기하정보를 기반으로 예측 텍스처맵을 생성하는 방법을 기술한다. Hereinafter, using the illustration of FIG. 13, the texture map prediction unit 708 of the mesh encoding unit 550 and the texture map prediction unit 1014 of the mesh decoding unit 840 predict the motion compensated point cloud and the restored current. Describes a method for generating a predicted texture map based on the geometric information of the mesh.

도 13은 이전 프레임의 복원된 포인트 클라우드를 이용하여 메시 텍스처맵 예측하는 방법을 나타내는 예시도이다. Figure 13 is an example diagram showing a method of predicting a mesh texture map using the restored point cloud of the previous frame.

현재 프레임의 복원된 메시의 기하정보는 정점의 3차원 좌표, 정점의 연결성, 텍스처맵의 2차원 좌표를 포함할 수 있다. The geometric information of the restored mesh of the current frame may include the 3D coordinates of the vertices, the connectivity of the vertices, and the 2D coordinates of the texture map.

도 13의 예시와 같이, 정점의 3차원 좌표 및 연결성 정보를 기반으로 메시의 면을 획득하고 복원된 포인트 클라우드의 속성정보를 해당 면에 사영시킬 수 있다. 또한, 사영된 속성정보는 정점들의 텍스처맵 좌표를 기반으로 다시 텍스처맵으로 사영될 수 있다. 즉, 정점의 좌표 및 텍스처맵의 좌표를 기반으로 포인트 클라우드의 속성정보를 UV 도메인으로 사영시킨 이미지가 예측 텍스처맵일 수 있다. As in the example of FIG. 13, the surface of the mesh can be obtained based on the 3D coordinates and connectivity information of the vertices, and the attribute information of the restored point cloud can be projected onto the surface. Additionally, the projected attribute information can be projected back into the texture map based on the texture map coordinates of the vertices. That is, an image that projects the attribute information of the point cloud into the UV domain based on the coordinates of the vertex and the coordinates of the texture map may be a predicted texture map.

이하, 도 14 및 도 15의 도시를 이용하여 포인트 클라우드 및 메시를 부호화/복호화하는 방법을 기술한다. Hereinafter, a method for encoding/decoding a point cloud and mesh will be described using the illustrations of FIGS. 14 and 15.

도 14는 본 개시의 일 실시예에 따른, 포인트 클라우드 및 메시를 부호화하는 방법을 나타내는 순서도이다.Figure 14 is a flowchart showing a method for encoding a point cloud and a mesh, according to an embodiment of the present disclosure.

부호화 장치는 포인트 클라우드 및 메시를 획득한다(S1400).The encoding device acquires the point cloud and mesh (S1400).

부호화 장치는 포인트 클라우드로부터 포인트 클라우드 이미지를 생성한다(S1402). 여기서, 포인트 클라우드 이미지는 패치정보, 기하이미지, 점유이미지 및 속성이미지를 포함한다.The encoding device generates a point cloud image from the point cloud (S1402). Here, the point cloud image includes patch information, geometric image, occupancy image, and attribute image.

패치정보는 3차원 공간 상에 분류된 다수의 패치들이 2차원 사영 평면 상으로 매핑될 때 사용되는 정보이다. 따라서, 패치정보는 각 패치의 3차원 공간 상의 좌표값과 가로, 세로, 깊이 등과 같은 3차원 공간 상의 정보를 포함할 수 있다. 또한, 2차원 사영 평면 상의 좌표값 및 가로, 세로 길이 등과 같은 정보를 포함할 수 있다.Patch information is information used when multiple patches classified in 3D space are mapped onto a 2D projective plane. Accordingly, patch information may include coordinate values in 3D space of each patch and information in 3D space such as width, height, depth, etc. Additionally, it may include information such as coordinate values and horizontal and vertical lengths on a two-dimensional projective plane.

기하이미지는 패치정보를 이용하여, 3차원 공간 상의 포인트들의 위치와 사영 평면 간의 거리가 2차원으로 매핑된 이미지이다. 즉, 기하 이미지는 3차원 공간을 2차원 평면으로 사영하였을 때, 포인트들과 평면 간의 깊이에 대한 맵이라고 할 수 있다. A geometric image is an image in which the positions of points in a three-dimensional space and the distance between the projection plane are mapped in two dimensions using patch information. In other words, a geometric image can be said to be a map of the depth between points and the plane when 3D space is projected onto a 2D plane.

점유이미지는 3차원 공간 상에 분류된 다수의 패치들을 2차원 사영 평면 상의 이미지로 사영한 위치들을 표시하는 이미지이다. 즉, 점유이미지는 각 픽셀의 위치에 대해 포인트의 사영 여부를 0과 1로 표현한 이진맵일 수 있다. An occupancy image is an image that displays the positions of a number of patches classified in 3D space as images on a 2D projection plane. In other words, the occupancy image may be a binary map in which 0 and 1 represent whether a point is projected for the location of each pixel.

속성이미지는 포인트 클라우드의 속성정보로부터 생성될 수 있다. 속성이미지는 3차원 공간 상의 포인트들의 속성값을 사영 평면에 사영시켜 생성된 2차원 이미지이다. The attribute image can be created from the attribute information of the point cloud. An attribute image is a two-dimensional image created by projecting the attribute values of points in three-dimensional space onto a projection plane.

부호화 장치는 패치정보를 부호화하여 제1 비트스트림을 생성한다(S1404).The encoding device encodes the patch information and generates a first bitstream (S1404).

부호화 장치는 기하이미지를 부호화하여 제2 비트스트림을 생성한다(S1406).The encoding device encodes the geometric image and generates a second bitstream (S1406).

부호화 장치는 점유이미지를 부호화하여 제3 비트스트림을 생성한다(S1408).The encoding device encodes the occupancy image and generates a third bitstream (S1408).

부호화 장치는 속성이미지 또는 메시의 텍스처맵을 부호화하여 제4 비트스트림을 생성한다(S1410). The encoding device encodes the attribute image or the texture map of the mesh to generate the fourth bitstream (S1410).

부호화 장치는 부호화 대상 이미지가 포인트 클라우드의 속성이미지 또는 메시의 텍스처맵인지를 지시하는 정보를 프레임 단위로 결정한다.The encoding device determines information indicating whether the encoding target image is an attribute image of a point cloud or a texture map of a mesh on a frame-by-frame basis.

부호화 장치는 도 2의 예시와 같이, 메시의 텍스처맵을 참조하여 인터 예측을 수행함으로써, 속성이미지를 부호화할 수 있다. 또는, 부호화 장치는 도 3의 예시와 같이, 포인트 클라우드의 속성이미지를 참조하여 인터 예측을 수행함으로써, 메시의 텍스처맵을 부호화할 수 있다. As shown in the example of FIG. 2, the encoding device can encode an attribute image by performing inter prediction with reference to the texture map of the mesh. Alternatively, the encoding device may encode the texture map of the mesh by performing inter prediction with reference to the attribute image of the point cloud, as shown in the example of FIG. 3.

부호화 장치는 제2 비트스트림 내지 제4 비트스트림을 생성하기 위해, H.264/AVC, H.265/HEVC, H.266/VVC, VP8, VP9, AV1 등과 같은 비디오 부호화 기술을 이용할 수 있다. The encoding device may use video encoding technology such as H.264/AVC, H.265/HEVC, H.266/VVC, VP8, VP9, AV1, etc. to generate the second to fourth bitstreams.

부호화 장치는 메시의 기하정보를 부호화하여 제5 비트스트림을 생성한다(S1412). 여기서, 메시의 기하정보는 메시의 정점, 메시의 연결성 및 메시의 텍스처맵 정점을 포함한다. The encoding device encodes the geometric information of the mesh and generates the fifth bitstream (S1412). Here, the geometric information of the mesh includes the vertices of the mesh, the connectivity of the mesh, and the vertices of the texture map of the mesh.

부호화 장치는 제1 비트스트림 내지 제5 비트스트림을 결합한다(S1414). The encoding device combines the first to fifth bitstreams (S1414).

부호화 장치는 각 비트스트림의 앞 부분에 각 비트스트림의 종류를 표현하는 심볼을 포함시키고, 심볼 및 기설정된 순서에 따라 각 비트스트림을 결합할 수 있다. The encoding device may include a symbol representing the type of each bitstream at the front of each bitstream and combine each bitstream according to the symbol and a preset order.

도 15는 본 개시의 일 실시예에 따른, 포인트 클라우드 및 메시를 복호화하는 방법을 나타내는 순서도이다.Figure 15 is a flowchart showing a method for decoding a point cloud and mesh, according to an embodiment of the present disclosure.

복호화 장치는 비트스트림을 제1 비트스트림, 제2 비트스트림, 제3 비트스트림, 제4 비트스트림 및 제5 비트스트림으로 분리한다(S1500).The decoding device separates the bitstream into a first bitstream, a second bitstream, a third bitstream, a fourth bitstream, and a fifth bitstream (S1500).

복호화 장치는 각 비트스트림의 앞 부분에 포함된, 각 비트스트림의 종류를 표현하는 심볼을 복호화하고, 복호화된 심볼에 따라 각 비트스트림을 분리할 수 있다. The decoding device can decode symbols representing the type of each bitstream included in the front part of each bitstream, and separate each bitstream according to the decoded symbols.

복호화 장치는 제1 비트스트림을 복호화하여 패치정보를 복원한다(S1502).The decoding device decodes the first bitstream and restores patch information (S1502).

복호화 장치는 제2 비트스트림을 복호화하여 기하이미지를 복원한다(S1504).The decoding device decodes the second bitstream and restores the geometric image (S1504).

복호화 장치는 제3 비트스트림을 복호화하여 점유이미지를 복원한다(S1506).The decoding device decodes the third bitstream and restores the occupancy image (S1506).

복호화 장치는 제4 비트스트림을 복호화하여 속성이미지 또는 메시의 텍스처맵을 복원한다(S1508).The decoding device decodes the fourth bitstream and restores the attribute image or texture map of the mesh (S1508).

복호화 장치는, 복원 대상 이미지가 포인트 클라우드의 속성이미지 또는 메시의 텍스처맵인지를 지시하는 정보를 복호화하고, 복호화된 정보에 따라 제4 비트스트림을 복호화할 수 있다. The decoding device may decode information indicating whether the image to be restored is an attribute image of a point cloud or a texture map of a mesh, and decode the fourth bitstream according to the decoded information.

복호화 장치는, 도 2의 예시와 같이, 메시의 텍스처맵을 참조하여 인터 예측을 수행함으로써, 속성이미지를 복호화할 수 있다. 또는, 복호화 장치는 도 3의 예시와 같이, 포인트 클라우드의 속성이미지를 참조하여 인터 예측을 수행함으로써, 메시의 텍스처맵을 복호화할 수 있다. The decoding device can decode the attribute image by performing inter prediction with reference to the texture map of the mesh, as shown in the example of FIG. 2. Alternatively, the decoding device may decode the texture map of the mesh by performing inter prediction with reference to the attribute image of the point cloud, as shown in the example of FIG. 3.

복호화 장치는, 제2 비트스트림 내지 제4 비트스트림을 복호화하기 위해, H.264/AVC, H.265/HEVC, H.266/VVC, VP8, VP9, AV1 등과 같은 비디오 복호화 기술을 이용할 수 있다. The decoding device may use video decoding technology such as H.264/AVC, H.265/HEVC, H.266/VVC, VP8, VP9, AV1, etc. to decode the second to fourth bitstreams. .

복호화 장치는 제5 비트스트림을 복호화하여 메시의 기하정보를 복원한다(S1510). 여기서, 메시의 기하정보는 메시의 정점, 메시의 연결성 및 메시의 텍스처맵 정점을 포함한다. The decoding device decodes the fifth bitstream and restores the geometric information of the mesh (S1510). Here, the geometric information of the mesh includes the vertices of the mesh, the connectivity of the mesh, and the vertices of the texture map of the mesh.

복호화 장치는 메시의 기하정보와 메시의 텍스처맵을 결합하여 복원 메시를 생성한다(S1512).The decoding device generates a restored mesh by combining the geometric information of the mesh and the texture map of the mesh (S1512).

복호화 장치는 패치정보, 기하이미지, 점유이미지 및 속성이미지를 결합하여 복원 포인트 클라우드를 생성한다(S1508).The decoding device generates a restored point cloud by combining patch information, geometric image, occupancy image, and attribute image (S1508).

본 명세서의 흐름도/타이밍도에서는 각 과정들을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 개시의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 개시의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 흐름도/타이밍도에 기재된 순서를 변경하여 실행하거나 각 과정들 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 흐름도/타이밍도는 시계열적인 순서로 한정되는 것은 아니다.In the flowchart/timing diagram of this specification, each process is described as being executed sequentially, but this is merely an illustrative explanation of the technical idea of an embodiment of the present disclosure. In other words, a person skilled in the art to which an embodiment of the present disclosure pertains may change the order described in the flowchart/timing diagram and execute one of the processes without departing from the essential characteristics of the embodiment of the present disclosure. Since the above processes can be applied in various modifications and variations by executing them in parallel, the flowchart/timing diagram is not limited to a time series order.

이상의 설명에서 예시적인 실시예들은 많은 다른 방식으로 구현될 수 있다는 것을 이해해야 한다. 하나 이상의 예시들에서 설명된 기능들 혹은 방법들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 본 명세서에서 설명된 기능적 컴포넌트들은 그들의 구현 독립성을 특히 더 강조하기 위해 "...부(unit)" 로 라벨링되었음을 이해해야 한다. It should be understood from the above description that the example embodiments may be implemented in many different ways. The functions or methods described in one or more examples may be implemented in hardware, software, firmware, or any combination thereof. It should be understood that the functional components described herein are labeled as "...units" to particularly emphasize their implementation independence.

한편, 본 실시예에서 설명된 다양한 기능들 혹은 방법들은 하나 이상의 프로세서에 의해 판독되고 실행될 수 있는 비일시적 기록매체에 저장된 명령어들로 구현될 수도 있다. 비일시적 기록매체는, 예를 들어, 컴퓨터 시스템에 의하여 판독가능한 형태로 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 예를 들어, 비일시적 기록매체는 EPROM(erasable programmable read only memory), 플래시 드라이브, 광학 드라이브, 자기 하드 드라이브, 솔리드 스테이트 드라이브(SSD)와 같은 저장매체를 포함한다.Meanwhile, various functions or methods described in this embodiment may be implemented with instructions stored in a non-transitory recording medium that can be read and executed by one or more processors. Non-transitory recording media include, for example, all types of recording devices that store data in a form readable by a computer system. For example, non-transitory recording media include storage media such as erasable programmable read only memory (EPROM), flash drives, optical drives, magnetic hard drives, and solid state drives (SSD).

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely an illustrative explanation of the technical idea of the present embodiment, and those skilled in the art will be able to make various modifications and variations without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are not intended to limit the technical idea of the present embodiment, but rather to explain it, and the scope of the technical idea of the present embodiment is not limited by these examples. The scope of protection of this embodiment should be interpreted in accordance with the claims below, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of rights of this embodiment.

110: 포인트 클라우드 이미지 생성부
120: 패치정보 부호화부
130: 기하 비디오 부호화부
140: 점유 비디오 부호화부
150: 속성 비디오 부호화부
160: 메시 기하정보 부호화부
420: 패치정보 복호화부
430: 기하 비디오 복호화부
440: 점유 비디오 복호화부
450: 속성 비디오 복호화부
460: 메시 기하정보 복호화부
470: 포인트 클라우드 이미지 합성부
110: Point cloud image generation unit
120: Patch information encoding unit
130: Geometric video encoding unit
140: Occupied video encoding unit
150: Attribute video encoding unit
160: Mesh geometric information encoding unit
420: Patch information decoding unit
430: Geometric video decoding unit
440: Occupied video decoding unit
450: Attribute video decoding unit
460: Mesh geometric information decoding unit
470: Point cloud image synthesis unit

Claims (18)

포인트 클라우드 및 메시 복호화 장치가 수행하는, 포인트 클라우드(point cloud) 및 메시(mesh)를 복호화하는 방법에 있어서,
비트스트림을 제1 비트스트림, 제2 비트스트림, 제3 비트스트림, 제4 비트스트림 및 제5 비트스트림으로 분리하는 단계;
상기 제1 비트스트림을 복호화하여 패치정보를 복원하는 단계;
상기 제2 비트스트림을 복호화하여 기하이미지를 복원하는 단계;
상기 제3 비트스트림을 복호화하여 점유이미지를 복원하는 단계;
상기 제4 비트스트림을 복호화하여 속성이미지 또는 메시의 텍스처맵을 복원하는 단계; 및
상기 제5 비트스트림을 복호화하여 메시의 기하정보를 복원하는 단계
를 포함하고,
상기 메시의 기하정보는 상기 메시의 정점, 상기 메시의 연결성 및 상기 메시의 텍스처맵 정점을 포함하는 것을 특징으로 하는, 방법. In the method of decoding a point cloud and mesh performed by a point cloud and mesh decoding device,
Separating the bitstream into a first bitstream, a second bitstream, a third bitstream, a fourth bitstream, and a fifth bitstream;
Decoding the first bitstream to restore patch information;
Decoding the second bitstream to restore a geometric image;
Decoding the third bitstream to restore an occupancy image;
Decoding the fourth bitstream to restore an attribute image or a texture map of the mesh; and
Decoding the fifth bitstream to restore geometric information of the mesh
Including,
The method, characterized in that the geometric information of the mesh includes vertices of the mesh, connectivity of the mesh, and texture map vertices of the mesh. 제1항에 있어서,
상기 메시의 기하정보와 상기 메시의 텍스처맵을 결합하여 복원 메시를 생성하는 단계를 더 포함하는 것을 특징으로 하는, 방법. According to paragraph 1,
The method further comprising generating a restored mesh by combining geometric information of the mesh and a texture map of the mesh. 제1항에 있어서,
상기 패치정보, 상기 기하이미지, 상기 점유이미지 및 상기 속성이미지를 결합하여 복원 포인트 클라우드를 생성하는 단계를 더 포함하는 것을 특징으로 하는, 방법. According to paragraph 1,
The method further comprising generating a restored point cloud by combining the patch information, the geometric image, the occupancy image, and the attribute image. 제1항에 있어서,
상기 분리하는 단계는,
각 비트스트림의 앞 부분에 포함된 상기 각 비트스트림의 종류를 표현하는 심볼을 복호화하고, 상기 심볼에 따라 상기 각 비트스트림을 분리하는 것을 특징으로 하는, 방법. According to paragraph 1,
The separating step is,
A method characterized by decoding symbols representing the types of each bitstream included in the front part of each bitstream, and separating each bitstream according to the symbols. 제1항에 있어서,
상기 기하이미지를 복원하는 단계, 상기 점유이미지를 복원하는 단계, 및 상기 속성이미지 또는 상기 메시의 텍스처맵을 복원하는 단계는 비디오 복호화 기술을 이용하는 것을 특징으로 하는, 방법.According to paragraph 1,
A method, wherein the steps of restoring the geometric image, restoring the occupancy image, and restoring the attribute image or the texture map of the mesh use video decoding technology. 제1항에 있어서,
상기 속성이미지 또는 메시의 텍스처맵을 복원하는 단계는,
복원 대상 이미지가 상기 포인트 클라우드의 속성이미지 또는 상기 메시의 텍스처맵인지를 지시하는 정보를 복호화하고, 상기 정보에 따라 상기 제4 비트스트림을 복호화하는 것을 특징으로 하는, 방법. According to paragraph 1,
The step of restoring the attribute image or texture map of the mesh is,
A method characterized by decoding information indicating whether the image to be restored is an attribute image of the point cloud or a texture map of the mesh, and decoding the fourth bitstream according to the information. 제1항에 있어서,
상기 패치정보는,
3차원 공간 상에 분류된 다수의 패치들을 2차원 사영 평면 상으로 매핑될 때 사용되는 것을 특징으로 하는, 방법. According to paragraph 1,
The patch information is,
A method, characterized in that it is used when a plurality of patches classified in three-dimensional space are mapped onto a two-dimensional projective plane. 제7항에 있어서,
상기 기하이미지는,
상기 패치정보를 이용하여, 상기 3차원 공간 상의 포인트들의 위치와 상기 사영 평면 간의 거리가 2차원으로 매핑된 이미지인 것을 특징으로 하는, 방법.In clause 7,
The geometric image is,
A method, characterized in that, using the patch information, the distance between the positions of the points in the three-dimensional space and the projection plane is a two-dimensional mapped image. 제7항에 있어서,
상기 점유이미지는,
상기 다수의 패치들을 상기 2차원 사영 평면 상의 이미지로 사영한 위치들을 표시하는 이미지인 것을 특징으로 하는, 방법.In clause 7,
The occupancy image is,
The method is characterized in that the image displays the positions of the plurality of patches projected onto the image on the two-dimensional projection plane. 제7항에 있어서,
상기 속성이미지는,
상기 3차원 공간 상의 포인트들의 속성값을 상기 사영 평면에 사영시켜 생성된 2차원 이미지인 것을 특징으로 하는, 방법. In clause 7,
The attribute image is,
A method, characterized in that the two-dimensional image is generated by projecting attribute values of points in the three-dimensional space onto the projection plane. 제1항에 있어서,
상기 속성이미지 또는 상기 메시의 텍스처를 복원하는 단계는,
상기 메시의 텍스처맵을 참조하여 인터 예측을 수행함으로써, 상기 속성이미지를 복원하는 것을 특징으로 하는, 방법. According to paragraph 1,
The step of restoring the attribute image or the texture of the mesh is,
A method characterized in that the attribute image is restored by performing inter prediction with reference to the texture map of the mesh. 제1항에 있어서,
상기 속성이미지 또는 상기 메시의 텍스처를 복원하는 단계는,
상기 포인트 클라우드의 속성이미지를 참조하여 인터 예측을 수행함으로써, 상기 메시의 텍스처맵을 복원하는 것을 특징으로 하는, 방법.According to paragraph 1,
The step of restoring the attribute image or the texture of the mesh is,
A method characterized in that the texture map of the mesh is restored by performing inter prediction with reference to the attribute image of the point cloud. 포인트 클라우드 및 메시 부호화 장치가 수행하는, 포인트 클라우드(point cloud) 및 메시(mesh)를 부호화하는 방법에 있어서,
상기 포인트 클라우드 및 메시를 획득하는 단계;
상기 포인트 클라우드로부터 포인트 클라우드 이미지를 생성하는 단계, 여기서, 상기 포인트 클라우드 이미지는 패치정보, 기하이미지, 점유이미지 및 속성이미지를 포함함;
상기 패치정보를 부호화하는 단계;
상기 기하이미지를 부호화하는 단계;
상기 점유이미지를 부호화하는 단계;
상기 속성이미지 또는 상기 메시의 텍스처맵을 부호화하는 단계; 및
상기 메시의 기하정보를 부호화하는 단계
를 포함하고,
상기 메시의 기하정보는 메시의 정점, 상기 메시의 연결성 및 상기 메시의 텍스처맵 정점을 포함하는 것을 특징으로 하는, 방법. In a method of encoding a point cloud and a mesh performed by a point cloud and mesh encoding device,
Obtaining the point cloud and mesh;
Generating a point cloud image from the point cloud, wherein the point cloud image includes patch information, a geometric image, an occupancy image, and an attribute image;
Encoding the patch information;
Encoding the geometric image;
Encoding the occupancy image;
Encoding the attribute image or the texture map of the mesh; and
Encoding the geometric information of the mesh
Including,
The method, characterized in that the geometric information of the mesh includes vertices of the mesh, connectivity of the mesh, and texture map vertices of the mesh. 제13항에 있어서,
상기 패치정보를 부호화하여 생성한 제1 비트스트림, 상기 기하이미지를 부호화하여 생성한 제2 비트스트림, 상기 점유이미지를 부호화하여 생성한 제3 비트스트림, 상기 속성이미지 또는 상기 메시의 텍스처를 부호화하여 생성한 제4 비트스트림, 및 상기 메시의 기하정보를 부호화하여 생성한 제5 비트스트림을 결합하는 단계를 더 포함하는 것을 특징으로 하는, 방법.According to clause 13,
A first bitstream generated by encoding the patch information, a second bitstream generated by encoding the geometry image, a third bitstream generated by encoding the occupancy image, and the attribute image or the texture of the mesh are encoded. The method further comprising combining the generated fourth bitstream and the fifth bitstream generated by encoding the geometric information of the mesh. 제14항에 있어서,
상기 결합하는 단계는,
각 비트스트림의 앞 부분에 상기 각 비트스트림의 종류를 표현하는 심볼을 포함시키고, 상기 심볼 및 기설정된 순서에 따라 상기 각 비트스트림을 결합하는 것을 특징으로 하는, 방법. According to clause 14,
The combining step is,
A method characterized by including a symbol representing the type of each bitstream at the front of each bitstream, and combining each bitstream according to the symbol and a preset order. 제11항에 있어서,
상기 기하이미지를 부호화하는 단계, 상기 점유이미지를 부호화하는 단계, 및 상기 속성이미지 또는 상기 메시의 텍스처맵을 부호화하는 단계는 비디오 부호화 기술을 이용하는 것을 특징으로 하는, 방법.According to clause 11,
The method wherein the step of encoding the geometric image, the step of encoding the occupancy image, and the step of encoding the attribute image or the texture map of the mesh use video encoding technology. 제11항에 있어서,
상기 속성이미지 또는 상기 메시의 텍스처를 부호화하는 단계는,
부호화 대상 이미지가 상기 포인트 클라우드의 속성이미지 또는 상기 메시의 텍스처맵인지를 지시하는 정보를 프레임 단위로 결정하는 것을 특징으로 하는, 방법.According to clause 11,
The step of encoding the attribute image or the texture of the mesh is,
A method characterized in that information indicating whether the encoding target image is an attribute image of the point cloud or a texture map of the mesh is determined on a frame basis. 포인트 클라우드 및 메시 부호화 부호화 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 기록매체로서, 상기 포인트 클라우드(point cloud) 및 메시(mesh)를 부호화 방법은,
포인트 클라우드 및 메시를 획득하는 단계;
상기 포인트 클라우드로부터 포인트 클라우드 이미지를 생성하는 단계, 여기서, 상기 포인트 클라우드 이미지는 패치정보, 기하이미지, 점유이미지 및 속성이미지를 포함함;
상기 패치정보를 부호화하는 단계;
상기 기하이미지를 부호화하는 단계;
상기 점유이미지를 부호화하는 단계;
상기 속성이미지 또는 상기 메시의 텍스처맵을 부호화하는 단계; 및
상기 메시의 기하정보를 부호화하는 단계
를 포함하고,
상기 메시의 기하정보는 메시의 정점, 상기 메시의 연결성 및 상기 메시의 텍스처맵 정점을 포함하는 것을 특징으로 하는, 기록매체.
A computer-readable recording medium that stores a bitstream generated by a point cloud and mesh encoding method, wherein the point cloud and mesh encoding method includes:
Obtaining a point cloud and mesh;
Generating a point cloud image from the point cloud, wherein the point cloud image includes patch information, a geometric image, an occupancy image, and an attribute image;
Encoding the patch information;
Encoding the geometric image;
Encoding the occupancy image;
Encoding the attribute image or the texture map of the mesh; and
Encoding the geometric information of the mesh
Including,
A recording medium, characterized in that the geometric information of the mesh includes vertices of the mesh, connectivity of the mesh, and texture map vertices of the mesh.

Images