KR20220067517A

KR20220067517A - Method and apparatus for encoding/decoding multiview image and recording medium for storing bitstream

Info

Publication number: KR20220067517A
Application number: KR1020210157706A
Authority: KR
Inventors: 이진호; 강정원; 김수웅; 방건; 배성준; 이하현; 임성창
Original assignee: 한국전자통신연구원
Priority date: 2020-11-17
Filing date: 2021-11-16
Publication date: 2022-05-24

Abstract

The present invention relates to a method for encoding/decoding a multi-view image. A method for encoding a multi-view image according to an embodiment of the present invention includes the steps of: obtaining property information of the multi-view image; decomposing attribute information of the multi-view image into view an independent component and a view dependent component to obtain a view independent component image and a view dependent component image; and encoding the multi-view image by applying different encoding methods to the view independent component image and the view dependent component image. The viewpoint independent component may be attribute information equally applied to all viewpoints. The viewpoint dependent component may be attribute information applied differently according to viewpoints.

Description

다시점 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 {METHOD AND APPARATUS FOR ENCODING/DECODING MULTIVIEW IMAGE AND RECORDING MEDIUM FOR STORING BITSTREAM}Multi-view video encoding/decoding method, apparatus, and recording medium storing bitstream

본 발명은 다시점 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체에 관한 것으로, 보다 구체적으로 다시점 영상의 속성 분해 방법, 장치 및 비트스트림을 저장한 기록 매체에 관한 것이다.The present invention relates to a multi-view image encoding/decoding method, apparatus, and a recording medium storing a bitstream, and more particularly, to a multi-view image attribute decomposition method, apparatus, and a recording medium storing a bitstream.

최근 UHD(Ultra High Definition) 및 VR(Virtual Reality), AR(Augmented Reality) 등을 지원하는 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 데이터량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다.Recently, demand for high-resolution and high-quality images such as images supporting Ultra High Definition (UHD), Virtual Reality (VR), and Augmented Reality (AR) is increasing in various application fields. As the image data becomes higher resolution and higher quality, the amount of data relatively increases compared to the existing image data. The storage cost will increase.

영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 더 높은 해상도 및 화질을 갖는 영상에 대한 고효율 영상 부호화(encoding)/복호화(decoding) 기술이 요구된다. 또한, 입체 공간을 표현하기 위한 다시점(Multiview) 영상 또는 포인트 클라우드(Point Cloud), 메쉬(Mesh) 등의 데이터가 매우 크기 때문에 속성(attribute) 분해를 통해 데이터의 양을 줄이는 기술이 요구된다.In order to solve these problems that occur as the image data becomes high-resolution and high-quality, high-efficiency image encoding/decoding technology for images having higher resolution and image quality is required. In addition, since data such as a multiview image or point cloud or mesh for expressing a three-dimensional space is very large, a technique for reducing the amount of data through attribute decomposition is required.

본 발명은 다시점 영상의 속성 정보를 분해하는 다시점 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.An object of the present invention is to provide a multi-view image encoding/decoding method and apparatus for decomposing attribute information of a multi-view image.

본 발명은 다시점 영상 및/또는 다시점 텍스처 맵의 속성을 분해하여 테이터의 중복성 제거하고, 압축 효율을 향상시키는 방법 및 장치를 제공하는 것을 목적으로 한다. An object of the present invention is to provide a method and apparatus for de-duplicating data by decomposing properties of a multi-view image and/or a multi-view texture map, and improving compression efficiency.

또한, 본 발명은 다시점 영상 부호화/복호화 방법 및 장치에 의해 생성된 비트스트림을 저장한 기록 매체를 제공하는 것을 목적으로 한다. Another object of the present invention is to provide a recording medium storing a bitstream generated by a multiview video encoding/decoding method and apparatus.

본 개시의 일 실시예에 따른 다시점 영상 부호화 방법은 다시점 영상의 속성 정보를 획득하는 단계, 상기 다시점 영상의 속성 정보를 시점 독립 성분 및 시점 종속 성분으로 분해하여, 시점 독립 성분 영상 및 시점 종속 성분 영상을 획득하는 단계 및 상기 시점 독립 성분 영상 및 상기 시점 종속 성분 영상에 상이한 부호화 방법을 적용하여, 상기 다시점 영상을 부호화하는 단계를 포함하되, 상기 시점 독립 성분은 모든 시점에 동일하게 적용되는 속성 정보이고, 상기 시점 종속 성분은 시점에 따라 다르게 적용되는 속성 정보일 수 있다.A multi-viewpoint image encoding method according to an embodiment of the present disclosure includes: obtaining attribute information of a multi-viewpoint image; decomposing the attribute information of the multi-viewpoint image into a view-independent component and a view-dependent component; obtaining a dependent component image and encoding the multi-view image by applying different encoding methods to the view-independent component image and the view-dependent component image, wherein the view-independent component is equally applied to all views attribute information, and the view-dependent component may be attribute information that is applied differently depending on the view.

본 발명에 따르면, 부호화/복호화 효율이 향상된 다시점 영상 부호화/복호화 방법 및 장치가 제공될 수 있다.According to the present invention, a method and apparatus for encoding/decoding a multi-viewpoint image having improved encoding/decoding efficiency may be provided.

또한, 본 발명에 따르면, 다시점 영상 내에서 속성을 효율적으로 분해하는 방법 및 장치가 제공될 수 있다Also, according to the present invention, a method and apparatus for efficiently decomposing attributes in a multi-viewpoint image may be provided.

또한, 본 발명에 따르면, 다시점 텍스처 맵 영상 내에서 속성을 효율적으로 분해하는 방법 및 장치가 제공될 수 있다In addition, according to the present invention, a method and apparatus for efficiently decomposing attributes in a multi-viewpoint texture map image may be provided.

도 1은 플렌옵틱 포인트 클라우드의 생성 예시를 도시한다.
도 2는 플렌옵틱 포인트에 할당된 속성 정보를 시점의 위치에 따라 표현하는 방식을 설명하기 위한 도면이다.
도 3 본 개시의 일 실시예에 따른 다시점 영상 생성 방법을 설명하기 위한 도면이다.
도 4는 본 개시의 몇몇 실시예에 따른 다시점 영상의 카메라 배열을 설명하기 위한 도면이다.
도 5는 본 개시의 몇몇 실시예에 따른 텍스처 맵을 설명하기 위한 도면이다.
도 6은 본 개시의 몇몇 실시예에 따른 시점 독립 성분 텍스처 맵을 설명하기 위한 도면이다.
도 7은 본 개시의 몇몇 실시예에 따른 시점 종속 성분 택스처 맵을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 스케일링 방법을 설명하기 위한 도면이다.
도 9 내지 도 12는 본 개시의 몇몇 실시예에 따라 시점 종속 성분을 분해하는 방법을 설명하기 위한 도면이다.
도 13은 본 개시의 몇몇 실시예에 따른 영상 압축 방법을 설명하기 위한 도면이다.
도 14는 본 개시의 일 실시예에 따른 다시점 영상 부호화 방법을 설명하기 위한 도면이다.
도 15는 본 개시의 일 실시예에 따른 다시점 영상 복호화 방법을 설명하기 위한 도면이다.1 shows an example of generating a plenoptic point cloud.
FIG. 2 is a diagram for explaining a method of expressing attribute information allocated to a plenoptic point according to a position of a viewpoint.
3 is a view for explaining a method for generating a multi-viewpoint image according to an embodiment of the present disclosure.
4 is a view for explaining a camera arrangement of a multi-view image according to some embodiments of the present disclosure.
5 is a diagram for describing a texture map according to some embodiments of the present disclosure.
6 is a view for explaining a view-independent component texture map according to some embodiments of the present disclosure.
7 is a view for explaining a view-dependent component texture map according to some embodiments of the present disclosure.
8 is a diagram for describing a scaling method according to an embodiment of the present disclosure.
9 to 12 are diagrams for explaining a method of decomposing a viewpoint dependent component according to some embodiments of the present disclosure.
13 is a diagram for explaining an image compression method according to some embodiments of the present disclosure.
14 is a view for explaining a multi-view image encoding method according to an embodiment of the present disclosure.
15 is a diagram for describing a multi-viewpoint image decoding method according to an embodiment of the present disclosure.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing each figure, like reference numerals have been used for like elements.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When an element is referred to as being “connected” or “connected” to another element, it is understood that it may be directly connected or connected to the other element, but other elements may exist in between. it should be On the other hand, when it is mentioned that a certain element is "directly connected" or "directly connected" to another element, it should be understood that no other element is present in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

이하, 첨부한 도면들을 참조하여, 본 발명의 실시예들을 상세하게 설명한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Hereinafter, the same reference numerals are used for the same components in the drawings, and repeated descriptions of the same components are omitted.

도 1은 플렌옵틱 포인트 클라우드의 생성 예시를 도시한다. 플렌옵틱 포인트(plenoptic point)는 3차원 공간에서 X, Y, Z 등의 3차원 좌표로 표현되는 하나의 기하(geometry) 정보와 N개의 카메라 시점으로 관측했을 때 획득되는 RGB, YUV 등의 N개의 속성(attribute) 정보를 포함하고 있는 데이터 형태이다. 플렌옵틱 포인트 클라우드(plenoptic point cloud)는 플렌옵틱 포인트의 집합으로, 플렌옵틱 포인트를 최소 하나 이상 포함할 수 있다.1 shows an example of generating a plenoptic point cloud. A plenoptic point is one piece of geometry information expressed in three-dimensional coordinates such as X, Y, and Z in a three-dimensional space, and N pieces of RGB, YUV, etc. It is a data type that includes attribute information. A plenoptic point cloud is a set of plenoptic points, and may include at least one plenoptic point.

플렌옵틱 포인트 클라우드는 N개의 각 입력 시점 별 2차원 영상과 깊이 정보를 이용하여 생성될 수 있다. 이때, 3차원 공간은 생성한 포인트들을 모두 포함하는 공간을 통해 정의될 수 있다.The plenoptic point cloud may be generated using a 2D image and depth information for each of the N input viewpoints. In this case, the 3D space may be defined through a space including all the generated points.

여기서, 2D 영상은 다시점(multi-view) 영상, 라이트필드(lightfield) 영상 등 하나 이상의 카메라로 획득된 영상들을 의미할 수 있다. 그리고 다시점 영상은 특정 영역을 서로 다른 시점을 가진 다수의 카메라들이 동시에 촬영한 영상들로 구성될 수 있다.Here, the 2D image may mean images acquired by one or more cameras, such as a multi-view image and a lightfield image. In addition, the multi-view image may be composed of images simultaneously photographed by a plurality of cameras having different viewpoints in a specific area.

이때, 정의된 3차원 공간이 일정 단위 복셀로 분할되고 복셀안에 있는 포인트들이 하나의 기하 정보 값을 갖도록 병합될 수 있다. 또한 이때, 3차원 포인트들이 갖고 있던 색상 정보가 모두 저장되고 어느 시점으로부터 생성된 포인트 인지에 관한 정보를 활용하여 플렌옵틱 포인트 클라우드가 생성될 수 있다. In this case, the defined 3D space may be divided into predetermined unit voxels, and points within the voxels may be merged to have one geometric information value. Also, at this time, all color information of the three-dimensional points is stored, and a plenoptic point cloud may be generated by using the information regarding the point generated from which point.

3차원 포인트가 생성되지 않은 시점의 색상 정보는, 같은 복셀에 포함되는 다른 시점들의 색상 정보로부터 유추될 수 있다. 예컨대, 3차원 포인트가 생성되지 않은 시점의 색상 정보는 복셀 안의 다른 시점 또는 포인트들의 색상 정보들의 평균값, 최대값, 최소값 중 적어도 하나를 이용하여 유도될 수 있다. 또한 예컨대, 3차원 포인트가 생성되지 않은 시점의 색상 정보는, 해당 시점 또는 포인트에 인접한 시점 또는 포인트의 색상 정보로부터 유도될 수 있다.The color information of a viewpoint in which a 3D point is not generated may be inferred from color information of other viewpoints included in the same voxel. For example, color information of a viewpoint in which a 3D point is not generated may be derived using at least one of an average value, a maximum value, and a minimum value of color information of other viewpoints or points in the voxel. Also, for example, color information of a viewpoint in which a 3D point is not generated may be derived from color information of a viewpoint or point adjacent to the corresponding viewpoint or point.

한편, 한 시점에서 생성된 3차원 포인트가 한 복셀에 여러 개 포함되어 있는 경우, 해당 시점의 색상 값들의 평균값, 최대값, 최소값 중 적어도 하나를 저장하는 방법으로 플렌옵틱 포인트 클라우드가 생성될 수 있다.Meanwhile, when a plurality of 3D points generated at one viewpoint are included in one voxel, a plenoptic point cloud may be generated by storing at least one of the average value, the maximum value, and the minimum value of the color values of the corresponding viewpoint. .

다른 예로, 한 시점에서 생성된 3차원 포인트가 한 복셀에 여러 개 포함되어 있는 경우, 가장 작은 깊이 정보 또는 가장 큰 깊이 정보를 가진 포인트의 색상 정보를 저장하는 방법으로 플렌옵틱 포인트 클라우드가 생성될 수 있다. As another example, if multiple 3D points generated at one point are included in one voxel, a plenoptic point cloud can be created by storing the color information of the point with the smallest depth information or the largest depth information. have.

여기서, 하나 이상의 속성 정보를 가지는 복셀을 다속성 복셀이라고 할 수 있다. 즉, 다속성 복셀은 플렌옵틱 포인트를 의미할 수 있다.Here, a voxel having one or more attribute information may be referred to as a multi-attribute voxel. That is, the multi-attribute voxel may mean a plenoptic point.

도 2는 플렌옵틱 포인트에 할당된 속성 정보를 시점의 위치에 따라 표현하는 방식을 설명하기 위한 도면이다. FIG. 2 is a diagram for explaining a method of expressing attribute information allocated to a plenoptic point according to a position of a viewpoint.

도 2의 예와 같이, 생성된 플렌옵틱 포인트에 할당된 속성 정보는 시점의 위치에 따라 θ와 h를 이용한 2차원 형태로 표현할 수 있다. 여기서, θ는 실수 값, 정수 값 등으로 표현되는 각도를 의미하며, h는 실수 값, 정수 값 등의 표현되는 크기를 의미할 수 있다. 즉, 플렌옵틱 포인트에 할당된 속성 정보는 θ와 h로 표현되는 2차원 좌표 값을 가질 수 있다.As in the example of FIG. 2 , the attribute information assigned to the generated plenoptic point may be expressed in a two-dimensional form using θ and h according to the position of the viewpoint. Here, θ may mean an angle expressed by a real value, an integer value, etc., and h may mean a size expressed by a real value or an integer value. That is, the attribute information assigned to the plenoptic point may have two-dimensional coordinate values expressed by θ and h.

2차원 형태로 표현된 N개 시점의 플렌옵틱 포인트의 속성 정보들 간의 중복성을 효율적으로 제거하기 위해, 속성 분해(analysis) 또는 분리가 수행될 수 있다. 이때, 플렌옵틱 포인트의 속성 분해는 속성 정보에 대해 속성 정보 간 예측(prediction), 속성 정보의 패딩(padding), 속성 정보의 외삽(extrapolation), 속성 정보의 보간(interpolation), 속성 정보의 변환(transform), 속성 정보의 양자화(quantization) 중 적어도 하나를 수행하는 것을 의미할 수 있다. In order to efficiently remove redundancy between attribute information of plenoptic points of N views expressed in a two-dimensional form, attribute analysis or separation may be performed. At this time, the property decomposition of the plenoptic point includes prediction between property information for property information, padding of property information, extrapolation of property information, interpolation of property information, conversion of property information ( transform) and quantization of attribute information may mean performing at least one of.

속성 분해는 시점 종속 속성 정보 및 시점 독립 속성 정보로 속성을 분해하는 것을 의미할 수 있다. 여기서, 시점 종속 속성 정보는 각 시점에서 가지는 고유한 속성 정보를 의미할 수 있고, 시점 독립 속성 정보는 하나 이상의 시점에서 공통적으로 가지는 속성 정보를 의미할 수 있다. 예를 들어, 시점 종속 속성 정보는 정반사(specular) 성분을 의미할 수 있고, 시점 독립 속성 정보는 난반사(diffuse) 성분을 의미할 수 있다.Attribute decomposition may mean decomposing attributes into view-dependent attribute information and view-independent attribute information. Here, the view-dependent attribute information may mean unique attribute information of each view, and the view-independent attribute information may refer to attribute information that is common to one or more views. For example, view-dependent attribute information may mean a specular component, and view-independent attribute information may mean a diffuse component.

도 3 본 개시의 일 실시예에 따른 다시점 영상 생성 방법을 설명하기 위한 도면이다.3 is a view for explaining a method of generating a multi-viewpoint image according to an embodiment of the present disclosure.

먼저, 플렌옵틱 포인트 클라우드의 기하 정보를 활용하여, 3차원 물체가 2차원 영상으로 투영될 수 있다(S300). 또한, 플렌옵틱 포인트 클라우드의 폐색 패턴 정보를 활용하여 3차원 물체(포인트)가 2차원 영상으로 투영될 수 있다. 예를 들어, 폐색 패턴 정보 중 임의의 시점에 해당하는 폐색 패턴 정보가 무의미한 속성 정보를 나타내는 경우 해당 포인트는 해당 시점으로 투영이 이루어지지 않을 수 있다. 폐색 패턴 정보는 제 1 값으로 '1'을 가질 수 있으며, 제 2 값으로 '0'을 가질 수 있다. 예를 들어, 임의 시점의 폐색 패턴 정보가 제1 값을 갖는 경우, 해당 시점으로 투영된 위치의 픽셀 값은 해당 포인트의 해당 시점의 속성 정보로 결정될 수 있다. 반면, 폐색 패턴 정보가 제2 값을 갖는 경우, 해당 시점으로 포인트가 투영되지 않을 수 있다.First, a 3D object may be projected as a 2D image by using the geometric information of the plenoptic point cloud (S300). In addition, a 3D object (point) may be projected as a 2D image by using the occlusion pattern information of the plenoptic point cloud. For example, when occlusion pattern information corresponding to an arbitrary viewpoint among occlusion pattern information indicates meaningless attribute information, the corresponding point may not be projected to the corresponding viewpoint. The occlusion pattern information may have a first value of '1' and a second value of '0'. For example, when the occlusion pattern information of an arbitrary viewpoint has a first value, a pixel value of a position projected to the corresponding viewpoint may be determined as attribute information of the corresponding viewpoint of the corresponding point. On the other hand, when the occlusion pattern information has the second value, the point may not be projected to the corresponding viewpoint.

이때, 현재 픽셀에 대해 하나의 포인트만이 투영되는 경우에는, 해당 시점(의 포인트)의 속성 정보를 이용하여 현재 픽셀의 속성 정보가 결정될 수 있다(S305, S310). 반면, 현재 픽셀에 대해 다수의 포인트가 투영되는 경우에는, 카메라와 거리가 가장 가까운 시점(의 포인트)의 속성 정보를 이용하여 해당 픽셀의 속성 정보가 결정될 수 있다(S305, S320).In this case, when only one point is projected on the current pixel, the attribute information of the current pixel may be determined using attribute information of (the point of) the current pixel ( S305 and S310 ). On the other hand, when a plurality of points are projected on the current pixel, the attribute information of the corresponding pixel may be determined using attribute information of (a point of) that is closest to the camera ( S305 and S320 ).

반면, 현재 픽셀에 대해 플렌옵틱 포인트의 투영이 이루어지지 않은 속성 정보에 대해, 현재 픽셀의 N개의 이웃 픽셀들의 속성 정보를 참조될 수 있다. 이때, 카메라와의 거리가 가장 가까운 이웃 픽셀의 속성 정보를 이용하여, 현재 픽셀의 속성 정보가 결정될 수 있다(S315, S330). 이때, N은 0보다 큰 자연수 일 수 있으며, 예컨대, 4 또는 8의 값을 가질 수 있다.On the other hand, with respect to attribute information in which the projection of the plenoptic point is not performed on the current pixel, attribute information of N neighboring pixels of the current pixel may be referred to. In this case, property information of the current pixel may be determined using property information of a neighboring pixel having the closest distance to the camera ( S315 and S330 ). In this case, N may be a natural number greater than 0, for example, may have a value of 4 or 8.

또한, 현재 픽셀에 대해 플렌옵틱 포인트의 투영이 이루어지지 않고, 현재 픽셀의 N개의 이웃 픽셀들의 속성 정보가 없거나 투영된 포인트가 없는 경우, 2차원 영상 상의 NxN 마스크를 활용한 보간 방법을 활용하여, 현재 샘플에 대한 홀(Hole) 필링이 수행될 수 있다(S315, S340). 이때, N은 0보다 큰 자연수 일 수 있으며, 예컨대, 5의 값을 가질 수 있다.In addition, if the projection of the plenoptic point is not performed on the current pixel and there is no property information or no projected points of the N neighboring pixels of the current pixel, using an interpolation method using an NxN mask on a two-dimensional image, Hole filling may be performed on the current sample (S315 and S340). In this case, N may be a natural number greater than 0, for example, may have a value of 5.

이하 도 4 내지 도 15를 참고하여, 다시점 영상 속성 분해 방법/및 장치에 대해서 자세히 설명한다. Hereinafter, a method/and apparatus for decomposing multi-viewpoint image properties will be described in detail with reference to FIGS. 4 to 15 .

도 4는 본 개시의 몇몇 실시예에 따른 다시점 영상의 카메라 배열을 설명하기 위한 도면이다.4 is a diagram for describing a camera arrangement of a multi-view image according to some embodiments of the present disclosure.

본 개시의 몇몇 실시예에서, 속성을 분해하기 위한 영상은 다시점 영상, 다시점 텍스처 맵 영상, 포인트 클라우드, 메쉬(mesh) 등 입체 공간을 표현할 수 있는 영상 중 적어도 하나일 수 있다.In some embodiments of the present disclosure, an image for decomposing a property may be at least one of images capable of representing a stereoscopic space, such as a multi-viewpoint image, a multi-viewpoint texture map image, a point cloud, and a mesh.

다시점 영상은 3차원의 물체 또는 장면을 다수의 카메라로 획득한 영상, 라이트필드(lightfield) 영상, 렌즈릿(lenselet) 영상 중 적어도 하나일 수 있다. 일 예로, 카메라 배열은 도 4와 같이 MxN 형태의 2차원 평면 배열, 구 형상의 3차원 입체 배열 등 다양하게 구성될 수 있다.The multi-view image may be at least one of an image obtained by acquiring a three-dimensional object or scene with a plurality of cameras, a lightfield image, and a lenslet image. As an example, the camera arrangement may be variously configured, such as an MxN type 2D planar arrangement, a spherical 3D stereoscopic arrangement, etc. as shown in FIG. 4 .

이때, 속성은 카메라 또는 시점에 따른 텍스처, 색상, RGB, YUV, 깊이(depth), 빛, 잔차 신호에 해당하는 값 중 적어도 하나일 수 있으나, 이에 한정되는 것은 아니며, 영상을 정의할 수 있는 다양한 정보가 속성에 포함될 수 있다.In this case, the property may be at least one of values corresponding to texture, color, RGB, YUV, depth, light, and a residual signal according to a camera or viewpoint, but is not limited thereto, and various Information may be included in an attribute.

포인트 클라우드 또는 메쉬 영상은 다시점 영상을 3차원으로 투영하여 생성된 영상일 수 있다. 예컨대, 각 시점에서 획득한 영상의 샘플 값은 카메라의 내부 변수(intrinsic parameter) 및 외부 변수(extrinsic parameter) 정보에 기초하여 3차원의 포인트로 투영될 수 있다. 이때, 3차원 상의 기하 정보, 색상, 밝기 값 등의 속성 정보를 저장되어 포인트 클라우드가 생성될 수 있다. 또한, 3차원 상의 하나 이상의 포인트를 연결하여 2차원 면의 형태를 가지는 메쉬 영상이 생성될 수 있다. 예컨대, 이때 2차원 면은 삼각형일 수 있다.The point cloud or mesh image may be an image generated by projecting a multi-viewpoint image in three dimensions. For example, a sample value of an image acquired at each viewpoint may be projected as a three-dimensional point based on information about an intrinsic parameter and an extrinsic parameter of the camera. In this case, the point cloud may be generated by storing attribute information such as 3D geometric information, color, and brightness value. Also, a mesh image having a shape of a two-dimensional surface may be generated by connecting one or more points on a three-dimensional surface. For example, in this case, the two-dimensional surface may be a triangle.

도 5는 본 개시의 몇몇 실시예에 따른 텍스처 맵을 설명하기 위한 도면이다.5 is a diagram for describing a texture map according to some embodiments of the present disclosure.

텍스처 맵 영상은 메쉬 모델의 매개 변수화(mesh parameterization) 기법을 이용하여 획득될 수 있다. 예컨대, 3차원 영상에서 삼각형을 이루는 XYZ 좌표가 텍스처 맵 상의 UV 좌표로 변경될 수 있다. 이때 색상, 밝기 등의 정보가 텍스처 맵에 할당될 수 있다. 텍스처 맵은 시점마다 가시적인 영역이 다르기 때문에 시점마다 다르게 생성될 수 있다.The texture map image may be obtained using a mesh parameterization technique. For example, XYZ coordinates constituting a triangle in a 3D image may be changed to UV coordinates on a texture map. In this case, information such as color and brightness may be allocated to the texture map. The texture map may be generated differently for each viewpoint because the visible area is different for each viewpoint.

본 개시의 몇몇 실시예에 따르면, 다시점 영상 또는 다시점 텍스처 맵의 속성이 분해될 수 있다. 이하에서 설명하는 속성 분해에 따라 시점 영상 간의 중복 정보가 제거되고 효율적인 다시점 영상 압축이 수행될 수 있는 효과가 있다.According to some embodiments of the present disclosure, a property of a multi-viewpoint image or a multi-viewpoint texture map may be decomposed. According to the attribute decomposition described below, overlapping information between viewpoint images is removed and effective multi-view image compression can be performed.

본 개시의 몇몇 실시예에서 속성은 시점 독립 성분 및 시점 종속 성분으로 구분될 수 있다. 이하의 설명에서, 시점 독립 성분은 시점과 관계없이 다시점 영상의 모든 지점에 동일하게 적용될 수 있는 성분을 의미할 수 있다. 한편, 시점 종속 성분은 다시점 영상의 시점 마다 서로 다른 값을 가지는 성분을 의미할 수 있다.In some embodiments of the present disclosure, an attribute may be divided into a view-independent component and a view-dependent component. In the following description, the view-independent component may mean a component that can be equally applied to all points of a multi-view image regardless of a viewpoint. Meanwhile, the view-dependent component may mean a component having a different value for each view of the multi-viewpoint image.

일 예로, 시점 독립 성분 및 시점 종속 성분은 색상 성분 각각에 대해서 개별적으로 분해될 수 있다. 예컨대, 시점 독립 성분 및 시점 종속 성분은 색상 성분 R, G, B 각각에 대해서 개별적으로 분해될 수 있다. 또는, 시점 독립 성분 및 시점 종속 성분은 색상 성분 Y, U, V 각각에 대해서 개별적으로 분해될 수 있다.For example, the view-independent component and the view-dependent component may be separately decomposed for each of the color components. For example, the view-independent component and the view-dependent component may be separately decomposed for each of the color components R, G, and B. Alternatively, the view-independent component and the view-dependent component may be separately decomposed for each of the color components Y, U, and V.

한편, 시점 독립 성분은 모든 시점의 영상에서 통계적인 특성을 이용하여 분해될 수 있다. 예컨대, 통계적인 특성은 평균, 가중 평균, 분산, 표준 편차, 최대값, 최소값, 중간값 중 적어도 하나일 수 있다.Meanwhile, the view-independent component may be decomposed using statistical characteristics in the images of all views. For example, the statistical characteristic may be at least one of a mean, a weighted mean, a variance, a standard deviation, a maximum value, a minimum value, and a median value.

각 시점 영상에서의 위치는 3차원 상에서 다른 위치일 수 있다. 예컨대, 제 1 시점 영상에서의 (m, n) 위치가 3차원 상에서 (x, y, z) 위치에 해당할 경우, 제 2 시점 영상에서의 (m, n) 위치는 3차원 상에서 (x, y, z) 이외의 다른 위치에 해당할 수 있다.A position in each viewpoint image may be a different position in 3D. For example, if the (m, n) position in the first view image corresponds to the (x, y, z) position in 3D, the (m, n) position in the second view image is (x, y, z) may correspond to other positions.

각 시점의 텍스처 맵 영상에서의 위치는 2차원 상에서 동일한 위치에 해당할 수 있다. 텍스처 맵 영상은 3차원 메쉬에 매개변수화 및 텍스처 맵핑이 적용되어 생성될 수 있다. 예컨대, 제 1 시점 텍스처 맵에서의 (u, v) 위치와 제 2 시점 텍스처 맵에서의 (u, v) 위치는 3차원 상에서 동일한 (x, y, z) 위치에 해당할 수 있다.A position in the texture map image of each viewpoint may correspond to the same position in two dimensions. The texture map image may be generated by applying parameterization and texture mapping to a 3D mesh. For example, the (u, v) position in the first view texture map and the (u, v) position in the second view texture map may correspond to the same (x, y, z) position in three dimensions.

도 6은 본 개시의 몇몇 실시예에 따른 시점 독립 성분 텍스처 맵을 설명하기 위한 도면이며, 도 7은 본 개시의 몇몇 실시예에 따른 시점 종속 성분 택스처 맵을 설명하기 위한 도면이다.6 is a view for explaining a view-independent component texture map according to some embodiments of the present disclosure, and FIG. 7 is a view for explaining a view-dependent component texture map according to some embodiments of the present disclosure.

다시점 텍스처 맵 영상의 평균값이 시점 독립 성분으로 분해될 수 있다. 예컨대, 각 시점의 텍스처 맵에서 샘플 값이 존재하는(occupied) 샘플들의 평균으로 이루어진 평균 텍스처 맵이 생성될 수 있다. 즉, 평균 택스처 맵은 시점 독립 성분 텍스처 맵의 일 예일 수 있다.The average value of the multi-view texture map image may be decomposed into view-independent components. For example, an average texture map including an average of occupied samples in the texture map at each viewpoint may be generated. That is, the average texture map may be an example of the view-independent component texture map.

시점 독립 성분 텍스처 맵과 각 시점 영상의 차이값을 통해, 시점 독립 성분이 시점 종속 성분으로 분해될 수 있다. 이때 차이값은 시점이 이동함에 따라 변하는 성분 중 적어도 하나의 차이값을 의미할 수 있다. 이때, 분해된 시점 종속 텍스처 맵은 원본 시점 영상에 비해 적은 데이터를 가질 수 있다. A view-independent component may be decomposed into a view-dependent component through a difference value between the view-independent component texture map and each view image. In this case, the difference value may mean a difference value of at least one of the components that change as the viewpoint moves. In this case, the decomposed view-dependent texture map may have less data than the original view image.

본 개시의 몇몇 실시예에 따른, 시점 독립 성분 텍스처 맵과 시점 종속 성분 텍스처 맵을 이용하여, 다시점 영상의 데이터의 양이 감소될 수 있다. 또한, 감소된 데이터에 대해 압축이 수행되어 압축 효율이 추가로 향상될 수 있다.The amount of data of the multi-viewpoint image may be reduced by using the view-independent component texture map and the view-dependent component texture map according to some embodiments of the present disclosure. In addition, compression is performed on the reduced data, so that compression efficiency can be further improved.

도 8은 본 개시의 일 실시예에 따른 스케일링 방법을 설명하기 위한 도면이다.8 is a diagram for explaining a scaling method according to an embodiment of the present disclosure.

시점 종속 텍스처 맵 생성 시, 시점 독립 성분 텍스처 맵 및 각 시점 영상 간의 차이값이 음수가 되는 것을 방지하기 위해, 스케일링이 적용될 수 있다.When generating the view-dependent texture map, scaling may be applied to prevent a difference value between the view-independent component texture map and each view image from becoming negative.

일 예로, 비트 심도(bitdepth)가 이용될 수 있으며, 비트 심도 범위의 중간 값이 차이값에 더해져서 스케일링이 수행될 수 있다. 예컨대, 비트 심도가 10 bit인 경우, 2^10의 절반에 해당하는 512가 차이값에 더해져서 스케일링이 수행될 수 있다.For example, bit depth may be used, and scaling may be performed by adding an intermediate value of a bit depth range to a difference value. For example, when the bit depth is 10 bits, scaling may be performed by adding 512, which is half of 2^10, to the difference value.

다른 예로, 최소 차이값이 D_min이고 최대 차이값이 D_max라고 할 때, 소정의 차이값 p가 n 비트 범위 내의 샘플 x로 변환될 수 있다. 한편, 수학식 1의 역과정으로 x로부터 p가 변환 또는 유도될 수도 있다. 여기서 최소값 및 최대값은 모든 시점에 대한 최소값 및 최대값을 의미할 수 있다. 수학식 1 및 도 5는 n이 10인 경우를 예시하나 이에 한정되는 것은 아니다.As another example, when the minimum difference value is D_min and the maximum difference value is D_max, the predetermined difference value p may be converted into a sample x within an n-bit range. Meanwhile, p may be transformed or derived from x by the reverse process of Equation 1. Here, the minimum and maximum values may mean minimum and maximum values for all time points. Equations 1 and 5 illustrate a case where n is 10, but is not limited thereto.

[수학식 1][Equation 1]

또 다른 예로, 상술한 최소값, 최대값, 중간값 및 평균값 중 적어도 하나에 대한 정보가 비트스트림을 통해 시그널링될 수 있다.As another example, information on at least one of the above-described minimum value, maximum value, median value, and average value may be signaled through a bitstream.

도 9 내지 도 12는 본 개시의 몇몇 실시예에 따라 시점 종속 성분을 분해하는 방법을 설명하기 위한 도면이다.9 to 12 are diagrams for explaining a method of decomposing a viewpoint dependent component according to some embodiments of the present disclosure.

시점 종속 성분은 영상의 Y, U, V에 따라 개별적으로 분해될 수 있다. 일 예로, 도 9의 다시점 영상에서, Y에 대해서는 모든 시점에 대한 평균값을 시점 독립 성분으로 가지는 시점 독립 성분 텍스처 맵이 도 10과 같이 생성되고, 해당 평균값과 각 시점의 차이값을 시점 종속 성분으로 갖는 시점 종속 성분 텍스처 맵이 도 11과 같이 생성될 수 있다. 한편, U 또는 V에 대해서는 모든 시점에 대한 평균값을 시점 독립 성분으로 가지는 시점 독립 성분 텍스처 맵이 도 10과 같이 생성되고, 시점 종속 성분에 대한 시점 종속 성분 텍스처 맵의 생성은 도 11과 같이 생략될 수 있다.View-dependent components can be individually decomposed according to Y, U, and V of the image. For example, in the multi-view image of FIG. 9 , for Y, a view-independent component texture map having an average value for all views as view-independent components is generated as shown in FIG. 10, and the difference between the average value and each view is calculated as a view-dependent component A view-dependent component texture map with ? may be generated as shown in FIG. 11 . Meanwhile, for U or V, a view-independent component texture map having the average value for all views as view-independent components is generated as shown in FIG. 10, and generation of the view-dependent component texture map for the view-dependent component is omitted as shown in FIG. can

즉, 평균값 기반의 Y, U, V 시점 독립 성분 텍스처 맵이 도 10과 같이 생성되고, 평균값과 각 시점의 차이값 기반의 Y 시점 종속 성분 텍스처 맵이 도 11과 같이 생성될 수 있다. 분해 또는 생성된 텍스처 맵에 대해서 압축이 수행된 후, 소정의 시점을 복원하는 과정에서 Y는 시점 종속 성분 텍스처 맵인 도 11과 시점 독립 성분 텍스처 맵인 도 10의 성분값을 더하여 유도될 수 있다. 한편, U 또는 V는 시점 독립 성분 텍스처 맵 도 10을 이용하여 유도될 수 있다. 최종적으로 유도 또는 복원된 Y, U, V를 이용하여 특정 시점 영상이 복원될 수 있다. 예컨대, 시점 독립 성분 텍스처 맵 도 10과 시점 종속 성분 텍스처 맵 도 11을 이용하여 특정 시점(예컨대, view 2)의 영상 도 12가 복원될 수 있다.That is, an average value-based Y, U, and V-view independent component texture map may be generated as shown in FIG. 10 , and a Y-view dependent component texture map based on a difference value between the average value and each viewpoint may be generated as shown in FIG. 11 . After compression is performed on the decomposed or generated texture map, Y may be derived by adding the component values of FIG. 11 which is a view-dependent component texture map and FIG. 10 which is a view-independent component texture map in the process of restoring a predetermined viewpoint. Meanwhile, U or V may be derived using the view-independent component texture map of FIG. 10 . Finally, a specific viewpoint image may be reconstructed using the induced or reconstructed Y, U, and V. For example, the image FIG. 12 of a specific viewpoint (eg, view 2) may be reconstructed using the view-independent component texture map of FIG. 10 and the view-dependent component texture map of FIG. 11 .

도 13은 본 개시의 몇몇 실시예에 따른 영상 압축 방법을 설명하기 위한 도면이다.13 is a diagram for explaining an image compression method according to some embodiments of the present disclosure.

생성된 시점 독립 성분 및/또는 시점 종속 성분에 대해 영상 압축이 수행될 수 있다. 이때 영상 압축은 종래의 다양한 영상 코덱 중 적어도 하나를 이용하여 유도될 수 있다. 예컨대, AVC, HEVC, AV1, VP9 등 종래의 영상 압축 코덱 중 적어도 하나를 이용하여, 생성된 시점 독립 성분 및/또는 시점 종속 성분에 대한 부호화/복호화가 수행될 수 있다.Image compression may be performed on the generated view-independent component and/or the view-dependent component. In this case, image compression may be induced by using at least one of various conventional image codecs. For example, encoding/decoding may be performed on the generated view-independent component and/or view-dependent component by using at least one of conventional image compression codecs such as AVC, HEVC, AV1, and VP9.

일 예로, 각 시점 독립 성분 텍스처 맵 또는 시점 종속 성분 텍스처 맵이 소정의 순서에 따라 배열될 수 있다. 예컨대, 도 13(a) 또는 도 13(b)와 같이 영상이 배열될 수 있다. 이때, 영상 배열은 시점 간 움직임 차이가 적은 순서의 내림차순 혹은 오름차순 순으로 배열될 수 있다. 이후, 배열된 텍스처 맵에 대한 부호화/복호화가 수행될 수 있다. 이때, 배열 순서 또는 배열 방법을 지시하는 정보가 비트스트림을 통해 시그널링될 수 있다.For example, each view-independent component texture map or view-dependent component texture map may be arranged according to a predetermined order. For example, images may be arranged as shown in FIG. 13(a) or FIG. 13(b). In this case, the image arrangement may be arranged in a descending order or an ascending order in an order in which a motion difference between viewpoints is small. Thereafter, encoding/decoding may be performed on the arranged texture map. In this case, information indicating the arrangement order or arrangement method may be signaled through a bitstream.

시점 독립 성분 및/또는 시점 종속 성분에 대해 영상 압축이 수행됨에 있어, 시점 독립 성분과 시점 종속 성분 각각은 서로 다른 방법을 이용하여 압축될 수 있다. 예컨대, 부호화 파라미터 별로 다른 부호화/복호화 방법을 이용하여 압축이 수행될 수 있다.When image compression is performed on the view-independent component and/or the view-dependent component, each of the view-independent component and the view-dependent component may be compressed using different methods. For example, compression may be performed using a different encoding/decoding method for each encoding parameter.

일 예로, 시점 독립 성분에 대해서는 낮은 QP(quantization parameter)가 적용되고, 시점 종속 성분에 대해서는 높은 QP가 적용될 수 있다. 반대로, 시점 독립 성분 영상에 대해서 높은 QP가 적용되고, 시점 종속 성분 영상에 대해서는 낮은 QP가 적용될 수 있다.For example, a low quantization parameter (QP) may be applied to the view-independent component and a high QP may be applied to the view-dependent component. Conversely, a high QP may be applied to a view-independent component image, and a low QP may be applied to a view-dependent component image.

다른 예로, 시점 독립 성분 영상에 대해서는 필터링이 적용되고, 시점 종속 성분 영상에 대해서는 필터링이 적용되지 않을 수 있다. 반대로, 시점 독립 성분 영상에 대해서는 필터링이 적용되지 않고, 시점 종속 성분 영상에 대해서는 필터링이 적용될 수도 있다.As another example, filtering may be applied to the view-independent component image and filtering may not be applied to the view-dependent component image. Conversely, filtering may not be applied to the view-independent component image and filtering may be applied to the view-dependent component image.

또 다른 예로, 시점 독립 성분 영상 및 시점 종속 성분 영상 중 적어도 하나에 대해 화면 내 예측 또는 화면 간 예측 중 적어도 하나가 생략될 수 있다.As another example, at least one of intra-prediction and inter-prediction may be omitted for at least one of the view-independent component image and the view-dependent component image.

도 14는 본 개시의 일 실시예에 따른 다시점 영상 부호화 방법을 설명하기 위한 도면이다.14 is a diagram for explaining a multi-view image encoding method according to an embodiment of the present disclosure.

도 14를 참고하면, 본 개시의 일 실시예에 따른 영상 부호화 방법은, 다시점 영상의 속성 정보를 획득하는 단계(S1410), 다시점 영상의 속성 정보를 시점 독립 성분 및 시점 종속 성분으로 분해하여, 시점 독립 성분 영상 및 시점 종속 성분 영상을 획득하는 단계(S1420) 및 시점 독립 성분 영상 및 시점 종속 성분 영상에 상이한 부호화 방법을 적용하여, 상기 다시점 영상을 부호화하는 단계(S1430)를 포함할 수 있다.Referring to FIG. 14 , in the image encoding method according to an embodiment of the present disclosure, obtaining attribute information of a multi-viewpoint image ( S1410 ), decomposing attribute information of the multi-viewpoint image into a view-independent component and a view-dependent component , obtaining a view-independent component image and a view-dependent component image (S1420) and encoding the multi-view image by applying different encoding methods to the view-independent component image and the view-dependent component image (S1430). have.

이때, 시점 독립 성분은 모든 시점에 동일하게 적용되는 속성 정보이고, 상기 시점 종속 성분은 시점에 따라 다르게 적용되는 속성 정보일 수 있다.In this case, the view-independent component may be attribute information that is equally applied to all views, and the view-dependent component may be attribute information that is differently applied according to views.

도 15는 본 개시의 일 실시예에 따른 다시점 영상 복호화 방법을 설명하기 위한 도면이다.15 is a diagram for explaining a multi-view image decoding method according to an embodiment of the present disclosure.

도 15를 참고하면, 본 개시의 일 실시예에 따른 영상 복호화 방법은 비트스트림을 복호화하여 다시점 영상의 시점 독립 성분 및 시점 종속 성분을 획득하는 단계(S1510), 상기 시점 독립 성분 및 상기 시점 종속 성분을 이용하여 시점 독립 성분 영상 및 시점 종속 성분 영상을 획득하는 단계(S1520) 및 상기 시점 독립 성분 영상 및 상기 시점 종속 성분을 이용하여 상기 다시점 영상을 복원하는 단계(S1530)를 포함할 수 있다.15 , in the image decoding method according to an embodiment of the present disclosure, decoding a bitstream to obtain a view-independent component and a view-dependent component of a multi-view image (S1510), the view-independent component and the view-dependent component The method may include obtaining a view-independent component image and a view-dependent component image using the component (S1520) and reconstructing the multi-view image using the view-independent component image and the view-dependent component (S1530). .

상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다. In the above-described embodiments, the methods are described on the basis of a flowchart as a series of steps or units, but the present invention is not limited to the order of steps, and some steps may occur in a different order or concurrently with other steps as described above. can In addition, those of ordinary skill in the art will recognize that the steps shown in the flowchart are not exclusive, other steps may be included, or that one or more steps in the flowchart may be deleted without affecting the scope of the present invention. You will understand.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.The above-described embodiments include examples of various aspects. It is not possible to describe every possible combination for representing the various aspects, but one of ordinary skill in the art will recognize that other combinations are possible. Accordingly, it is intended that the present invention cover all other substitutions, modifications and variations falling within the scope of the following claims.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software field. Examples of the computer readable recording medium include a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as a CD-ROM and DVD, and a magneto-optical medium such as a floppy disk. media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules for carrying out the processing according to the present invention, and vice versa.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.In the above, the present invention has been described with specific matters such as specific components and limited embodiments and drawings, but these are provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , various modifications and variations can be devised from these descriptions by those of ordinary skill in the art to which the present invention pertains.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be limited to the above-described embodiments, and not only the claims described below, but also all modifications equivalently or equivalently to the claims described below belong to the scope of the spirit of the present invention. will do it

Claims

다시점 영상 부호화 방법에 있어서,
다시점 영상의 속성 정보를 획득하는 단계;
상기 다시점 영상의 속성 정보를 시점 독립 성분 및 시점 종속 성분으로 분해하여, 시점 독립 성분 영상 및 시점 종속 성분 영상을 획득하는 단계; 및
상기 시점 독립 성분 영상 및 상기 시점 종속 성분 영상에 상이한 부호화 방법을 적용하여, 상기 다시점 영상을 부호화하는 단계를 포함하되,
상기 시점 독립 성분은 모든 시점에 동일하게 적용되는 속성 정보이고, 상기 시점 종속 성분은 시점에 따라 다르게 적용되는 속성 정보인, 다시점 영상 부호화 방법.In the multi-view video encoding method,
obtaining attribute information of a multi-viewpoint image;
decomposing the attribute information of the multi-view image into a view-independent component and a view-dependent component to obtain a view-independent component image and a view-dependent component image; and
and encoding the multi-view image by applying different encoding methods to the view-independent component image and the view-dependent component image,
The view-independent component is attribute information that is equally applied to all views, and the view-dependent component is attribute information that is applied differently according to views.