KR100374797B1 - Method for processing nodes in 3D scene and the apparatus thereof - Google Patents
Method for processing nodes in 3D scene and the apparatus thereof Download PDFInfo
- Publication number
- KR100374797B1 KR100374797B1 KR10-2001-0011473A KR20010011473A KR100374797B1 KR 100374797 B1 KR100374797 B1 KR 100374797B1 KR 20010011473 A KR20010011473 A KR 20010011473A KR 100374797 B1 KR100374797 B1 KR 100374797B1
- Authority
- KR
- South Korea
- Prior art keywords
- node
- dimensional
- dimensional mesh
- information
- encoded
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 삼차원 장면에 포함된 노드를 처리하는 방법에 관한 것으로, 처리할 삼차원 장면에 포함된 노드들중 정점들로부터 면들을 구성함으로써 형성되는 삼차원 형상을 표현하는 삼차원 메쉬 정보를 가지는 삼차원메쉬노드중 삼차원메쉬코딩 식별자가 설정되어 있는 삼차원메쉬노드를 식별하는 단계와, 상기 식별된 삼차원메쉬노드를 부호화 또는 복호화하는 단계를 포함한다. 또한, 본 발명은 상기 노드처리방법이 상기 부호화되는 삼차원메쉬노드의 삼차원 메쉬 정보를 삼차원 장면 기술 스트림과 별도의 독립적인 스트림에 실어서 전송 또는 저장하는 단계를 더 포함한다.The present invention relates to a method for processing a node included in a three-dimensional scene, of the three-dimensional mesh node having a three-dimensional mesh information representing a three-dimensional shape formed by forming faces from the vertices of the nodes included in the three-dimensional scene to be processed Identifying a three-dimensional mesh node to which a three-dimensional mesh coding identifier is set, and encoding or decoding the identified three-dimensional mesh node. The present invention further includes the step of transmitting or storing the three-dimensional mesh information of the three-dimensional mesh node to be encoded in a separate stream separate from the three-dimensional scene description stream.
이와 같은 본 발명에 의하면 삼차원 장면에 포함되어 있는 방대한 양의 정보를 가지고 있는 삼차원 메쉬 정보를 표현하는 노드를 효율적으로 부호화하고 복호화하여 삼차원 장면의 전송 및 저장을 효율적으로 할 수 있고, 삼차원 메쉬 정보를 삼차원 장면 기술 정보와는 별도의 스트림에 실어서 전송 및 저장함으로써, 방대한 양의 삼차원 메쉬 정보가 전체적인 삼차원 장면의 전송에 영향을 주는 것을 방지할 수 있다.According to the present invention, it is possible to efficiently encode and decode nodes representing three-dimensional mesh information having a large amount of information included in the three-dimensional scene to efficiently transmit and store the three-dimensional scene. By transmitting and storing in a separate stream from the 3D scene description information, a large amount of 3D mesh information can be prevented from affecting the transmission of the overall 3D scene.
Description
본 발명은 삼차원 장면의 노드를 처리하는 방법 및 그 장치에 관한 것으로, 특히, 삼차원 장면의 노드중 삼차원 메쉬 정보를 표현하는 노드를 처리하는 방법 및 그 장치에 관한 것이다.The present invention relates to a method and apparatus for processing a node of a three-dimensional scene, and more particularly, to a method and apparatus for processing a node representing three-dimensional mesh information among the nodes of the three-dimensional scene.
삼차원 그래픽스 분야는 최근 들어 많이 사용되고 있지만 방대한 량의 정보 때문에 그 사용 범위가 제한되어 있다. 즉, 삼차원 메쉬 정보를 표현하기 위해서는 각 점의 기하 정보, 각 점들 간의 연결성 정보, 그리고 색상, 법선 및 질감좌표와 같은 속성정보들이 필요하다. 일반적으로 이러한 정보들의 방대한 량으로 인해 부호화의 필요성이 대두되었으며, 이를 위하여, MPEG-4(Moving Picture Expert Group)-SNHC(Synthetic and Natural Hybrid Coding) 파트에서 ISO/IEC (International Organization for Standardization/International Electrotechnical Commission)의 표준안으로 채택된 삼차원 메쉬 코딩(3DMC:3D Mesh Coding) 장치는 IndexedFaceSet으로 표현될 수 있는 삼차원 메쉬 정보를 부호화 및 복호화하여 부호화 및 전송 효율의 향상을 제공하고 있다.The three-dimensional graphics field has been widely used in recent years, but its use range is limited due to the large amount of information. That is, in order to express three-dimensional mesh information, geometric information of each point, connectivity information between each point, and attribute information such as color, normal, and texture coordinates are required. In general, the vast amount of such information has led to the need for coding. For this purpose, the International Organization for Standardization / International Electrotechnical (MPEG-4) -Synthetic and Natural Hybrid Coding (SNHC) parts The 3D Mesh Coding (3DMC) device, adopted as a Commission's standard, encodes and decodes three-dimensional mesh information, which can be represented by an IndexedFaceSet, to improve encoding and transmission efficiency.
한편, MPEG-4 systems 파트에서는 객체의 표시방법과 특성을 지정하기 위한 장면기술 언어로서 BIFS(Binary Format for Scene)를 규격화하고 있다. 장면기술언어는 BIFS 이외에도 VRML(Virtual Reality Modeling Language)과 Web3D를 포함한다.Meanwhile, the MPEG-4 systems part standardizes BIFS (Binary Format for Scene) as a scene description language for specifying the display method and characteristics of an object. In addition to BIFS, the scene description language includes VRML (Virtual Reality Modeling Language) and Web3D.
MPEG4-Systems의 BIFS(BInary Format for Scene) 및 VRML(Virtual Reality Modeling Language) 등의 분야에서는 삼차원 장면을 구성할 수 있으며 그 장면에는 삼차원 메쉬 정보를 표현하기 위한 IndexedFaceSet 노드가 포함되어 있다.In the fields of Binary Format for Scene (BIFS) and Virtual Reality Modeling Language (VRML) of MPEG4-Systems, three-dimensional scenes can be composed, and the scene includes an IndexedFaceSet node for representing three-dimensional mesh information.
그러나, 방대한 량의 IndexedFaceSet 정보를 포함한 삼차원 장면의 정보를 BIFS 에서는 단순히 이진(binary)으로 압축하며, VRML의 경우에는 ASCII 문자로 표현된 상태로 저장 및 전송을 한다.However, BIFS simply compresses the information of three-dimensional scene including a large amount of IndexedFaceSet information into binary, and in the case of VRML, it stores and transmits it in the form of ASCII characters.
따라서, MPEG-4 system에서는 방대한 양의 삼차원 메쉬 정보를 갖는 IndexedFaceSet 노드를 포함한 삼차원 장면 정보를 BIFS 스트림으로 단말기에 전송할 때, IndexedFaceSet 노드 정보의 방대한 양으로 인한 전송 지연이나 복호화 지연등이 발생할 수 있어 삼차원 장면 정보를 주어진 특정 시간내에 모두 복원하지 못할 가능성도 발생하는 문제점이 있다.Therefore, in the MPEG-4 system, when three-dimensional scene information including an IndexedFaceSet node having a large amount of three-dimensional mesh information is transmitted to a terminal as a BIFS stream, a transmission delay or a decoding delay may occur due to a large amount of IndexedFaceSet node information. There is also a problem that the possibility of not recovering all the scene information in a given time period occurs.
또한, 이러한 정보는 부호화를 하여도 대형 삼차원 메쉬일 경우에는 삼차원 장면에 포함된 다른 정보들에 비해 그 량이 비교적 클 수 있어서, 부호화된 삼차원 메쉬 정보를 삼차원 장면 기술 정보와 함께 같은 스트림으로 전송하면 전체적인 삼차원 장면의 전송에 영향을 줄 수 있다는 문제점이 있다.In addition, even if the information is encoded, a large three-dimensional mesh may be relatively large in comparison with other information included in the three-dimensional scene. Therefore, when the encoded three-dimensional mesh information is transmitted together with the three-dimensional scene description information in the same stream, There is a problem that it may affect the transmission of the three-dimensional scene.
따라서, 본 발명은 상기와 같은 문제점을 해결하여 삼차원 장면에 포함되어 있는 방대한 양의 정보를 가지고 있는 삼차원 메쉬 정보를 표현하는 노드를 효율적으로 부호화하고 복호화하여 삼차원 장면의 전송 및 저장을 효율적으로 하기 위한 것을 목적으로 한다.Accordingly, the present invention solves the above problems and efficiently encodes and decodes a node representing three-dimensional mesh information having a large amount of information included in the three-dimensional scene to efficiently transmit and store the three-dimensional scene. For the purpose of
또한, 본 발명은 삼차원 장면에 포함되어 있는 삼차원 메쉬 정보를 표현하는 노드의 삼차원 메쉬 정보를 삼차원 장면 기술 정보와는 별도의 스트림에 실어서 전송 및 저장함으로써, 방대한 양의 삼차원 메쉬 정보가 전체적인 삼차원 장면의 전송에 영향을 주는 것을 방지하는 것을 목적으로 한다.The present invention also transmits and stores three-dimensional mesh information of a node representing three-dimensional mesh information included in a three-dimensional scene in a stream separate from the three-dimensional scene description information, thereby storing a large amount of three-dimensional mesh information as a whole. It is intended to prevent the influence of the transmission.
도 1은 삼차원 메쉬 부호화기의 블럭도.1 is a block diagram of a three-dimensional mesh encoder.
도 2는 삼차원 메쉬 복호화기의 블럭도.2 is a block diagram of a three-dimensional mesh decoder.
도 3은 기초 스트림으로부터 BIFS 장면을 구성하는 과정의 흐름도.3 is a flowchart of a process of constructing a BIFS scene from an elementary stream.
도 4는 BIFS 장면의 노드를 해석하는 과정의 흐름도,4 is a flowchart of a process of interpreting nodes of a BIFS scene;
도 5는 IndexedFaceSet 노드의 정보를 3DMC를 사용하여 처리하는 노드 해석기의 흐름도.5 is a flowchart of a node interpreter for processing information of an IndexedFaceSet node using 3DMC.
도 6은 IndexedFaceSet 노드의 정보를 선택적으로 3DMC를 사용하여 처리하는 노드 해석기의 흐름도.6 is a flow diagram of a node interpreter that optionally processes information in an IndexedFaceSet node using 3DMC.
도 7a는 기존의 IndexedFaceSet 노드의 구성을 나타내고, 도 7b는 도 7a에 도시된 IndexedFaceSet 노드 인터페이스를 구성하는 필드들을 구체적으로 나타내는 도면.FIG. 7A illustrates the configuration of an existing IndexedFaceSet node, and FIG. 7B illustrates in detail the fields constituting the IndexedFaceSet node interface shown in FIG. 7A.
도 8a는 URL을 이용하는 IndexedFaceSet 노드 구성의 일예를 나타내고, 도 8b는 도 8a에 도시된 IndexedFaceSet 노드 인터페이스를 구성하는 필드를 구체적으로 나타내는 도면.FIG. 8A illustrates an example of configuring an IndexedFaceSet node using a URL, and FIG. 8B illustrates in detail the fields constituting the IndexedFaceSet node interface shown in FIG. 8A.
도 9a는 기존의 IndexedFaceSet의 노드 필드에 URL 필드를 추가한IndexedFaceSet 노드 구성의 일예를 나타내고, 도 9b는 도 9a에 도시된 IndexedFaceSet 노드 인터페이스를 구성하는 필드를 구체적으로 나타내는 도면.FIG. 9A illustrates an example of an IndexedFaceSet node configuration in which a URL field is added to a node field of an existing IndexedFaceSet, and FIG. 9B is a diagram specifically illustrating a field constituting an IndexedFaceSet node interface shown in FIG. 9A.
도 10a는 기존의 IndexedFaceSet 노드를 연결하는 IFSConnect 노드 구성의 일예를 나타내고, 도 10b는 도 10a에 도시된 IFSConnect 노드 인터페이스를 구성하는 필드를 구체적으로 나타내는 도면.FIG. 10A illustrates an example of an IFSConnect node configuration connecting an existing IndexedFaceSet node, and FIG. 10B is a diagram specifically illustrating a field configuring an IFSConnect node interface shown in FIG. 10A.
도 11a는 기존의 IndexedFaceSet 노드 필드에 URL 필드를 추가하여 새로 생성되는 CompressedIFS 노드 구성의 일예를 나타내고, 도 11b는 도 11a에 도시된 CompressedIFS 노드 인터페이스를 구성하는 필드를 구체적으로 나타내는 도면.FIG. 11A illustrates an example of a newly created CompressedIFS node configuration by adding a URL field to an existing IndexedFaceSet node field, and FIG. 11B illustrates in detail a field configuring a CompressedIFS node interface shown in FIG. 11A.
도 12는 장면 기술의 IndexedFaceSet 노드를 종래의 방법으로 처리하는 개념도.12 is a conceptual diagram of processing an IndexedFaceSet node of a scene description by a conventional method.
도 13은 본 발명의 제 1 실시예에 따라 장면 기술의 IndexedFaceSet 노드를 처리하는 개념도.13 is a conceptual diagram of processing an IndexedFaceSet node of a scene description according to the first embodiment of the present invention.
도 14는 본 발명의 제 2 실시예에 따라 장면 기술의 IndexedFaceSet 노드를 처리하는 개념도.14 is a conceptual diagram of processing an IndexedFaceSet node of a scene description according to the second embodiment of the present invention.
도 15은 본 발명의 제 3 실시예에 따라 장면 기술의 IndexedFaceSet 노드를 처리하는 개념도.15 is a conceptual diagram of processing an IndexedFaceSet node of a scene description according to a third embodiment of the present invention.
도 16은 본 발명의 제 4 실시예에 따라 장면 기술의 IndexedFaceSet 노드를 처리하는 개념도.16 is a conceptual diagram of processing an IndexedFaceSet node of a scene description according to a fourth embodiment of the present invention.
도 17은 본 발명의 제 5 실시예에 따라 장면 기술의 IndexedFaceSet 노드를 처리하는 개념도.17 is a conceptual diagram of processing an IndexedFaceSet node of a scene description according to the fifth embodiment of the present invention.
도 18은 본 발명의 제 6 실시예에 따라 장면 기술의 IndexedFaceSet 노드를 처리하는 개념도.18 is a conceptual diagram of processing an IndexedFaceSet node of a scene description according to a sixth embodiment of the present invention.
도 19은 본 발명의 제 7 실시예에 따라 장면 기술의 IndexedFaceSet 노드를 처리하는 개념도.19 is a conceptual diagram of processing an IndexedFaceSet node of a scene description according to the seventh embodiment of the present invention.
도 20은 본 발명의 제 8 실시예에 따라 장면 기술의 IndexedFaceSet 노드를 처리하는 개념도.20 is a conceptual diagram of processing an IndexedFaceSet node of a scene description according to an eighth embodiment of the present invention;
* 도면의 주요한 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings
100 : 삼차원 메쉬 부호화기 200 : 삼차원 메쉬 복호화기100: three-dimensional mesh decoder 200: three-dimensional mesh decoder
1200 : 초기 객체 디스크립터 1210 : 장면 기술 스트림1200: initial object descriptor 1210: scene description stream
1220 : 객체 디스크립터 스트림 1230 : 기초 스트림1220: object descriptor stream 1230: elementary stream
1240 : IndexedFaceSet 노드 1250 : SD 코덱1240: IndexedFaceSet node 1250: SD codec
1260 : ES_디스크립터 1320 : 3DMC1260: ES_descriptor 1320: 3DMC
상기와 같은 과제를 해결하기 위한 본 발명의 하나의 특징은, 삼차원 장면에 포함된 노드를 처리하는 방법에 있어서, 처리할 삼차원 장면에 포함된 노드들중 정점들로부터 면들을 구성함으로써 형성되는 삼차원 형상을 표현하는 삼차원 메쉬 정보를 가지는 삼차원메쉬노드를 식별하는 단계와, 상기 식별된 삼차원메쉬노드를 부호화 또는 복호화하는 단계를 포함하는 것이다.One feature of the present invention for solving the above problems is, in the method for processing a node included in the three-dimensional scene, a three-dimensional shape formed by forming the faces from the vertices of the nodes included in the three-dimensional scene to be processed Identifying a three-dimensional mesh node having three-dimensional mesh information representing the, and encoding or decoding the identified three-dimensional mesh node.
본 발명의 다른 특징은, 상기 노드처리방법이 상기 식별된 삼차원메쉬노드중 삼차원메쉬코딩 식별자가 설정되어 있는 삼차원메쉬노드를 식별하는 단계를 더 포함하고, 상기 식별된 삼차원메쉬노드를 부호화 또는 복호화하는 단계는, 상기 삼차원메쉬코딩 식별자가 설정된 삼차원메쉬노드를 부호화 또는 복호화하는 것이다.In another aspect of the present invention, the node processing method further comprises the step of identifying a three-dimensional mesh node of which the three-dimensional mesh coding identifier is set among the identified three-dimensional mesh node, encoding or decoding the identified three-dimensional mesh node In the step, the three-dimensional mesh node in which the three-dimensional mesh coding identifier is set is encoded or decoded.
바람직하게는 상기 노드처리방법에 있어서 상기 삼차원메쉬노드를 삼차원 메쉬 부호화기/복호화기를 이용하여 부호화 또는 복호화한다.Preferably, the node processing method encodes or decodes the three-dimensional mesh node using a three-dimensional mesh encoder / decoder.
본 발명의 또다른 특징은, 상기 노드처리방법이 상기 부호화되는 삼차원메쉬노드의 삼차원 메쉬 정보를 삼차원 장면 기술 스트림에 실어서 전송 또는 저장하는 단계를 더 포함하는 것이다.Another feature of the present invention is that the node processing method further comprises the step of transmitting or storing the three-dimensional mesh information of the encoded three-dimensional mesh node in a three-dimensional scene description stream.
바람직하게는 상기 삼차원 장면 기술 스트림에 실려서 전송되는 상기 부호화되는 삼차원메쉬노드의 삼차원 메쉬 정보를 부호화 또는 복호화하도록 삼차원 장면 기술 부호화기/복호화기에 삼차원 메쉬 부호화기/복호화기를 내장시켜 배열한다.Preferably, a three-dimensional mesh encoder / decoder is arranged in a three-dimensional scene description encoder / decoder to encode or decode three-dimensional mesh information of the encoded three-dimensional mesh node carried on the three-dimensional scene description stream.
본 발명의 또다른 특징은, 상기 노드처리방법이 상기 부호화되는 삼차원메쉬노드의 삼차원 메쉬 정보를 삼차원 장면 기술 스트림과 별도의 독립적인 스트림에 실어서 전송 또는 저장하는 단계를 더 포함하는 것이다.Another feature of the present invention is that the node processing method further comprises the step of transmitting or storing the three-dimensional mesh information of the encoded three-dimensional mesh node in a stream separate from the three-dimensional scene description stream.
바람직하게는 상기 삼차원 장면 기술 스트림과 별도의 독립적인 스트림에 실려서 전송되는 상기 부호화되는 삼차원메쉬노드의 삼차원 메쉬 정보를 부호화 또는 복호화하도록 삼차원 장면 기술 부호화기/복호화기와 별도의 독립적인 삼차원 메쉬부호화기/복호화기를 배열한다.Preferably, a three-dimensional scene description encoder / decoder and a separate independent three-dimensional mesh encoder / decoder to encode or decode three-dimensional mesh information of the encoded three-dimensional mesh node carried in a separate stream separate from the three-dimensional scene description stream. Arrange.
본 발명의 또다른 특징은, 상기 노드처리방법이 상기 부호화되는 삼차원메쉬노드중 일부의 삼차원메쉬노드의 삼차원 메쉬 정보는 삼차원 장면 기술 스트림에 실어서 전송 또는 저장하는 단계와, 상기 부호화되는 삼차원메쉬노드중 일부의 삼차원메쉬노드의 삼차원 메쉬 정보는 삼차원 장면 기술 스트림과 별도의 독립적인 스트림에 실어서 전송 또는 저장하는 단계를 더 포함하는 것이다.In another aspect of the present invention, the node processing method includes transmitting or storing three-dimensional mesh information of a three-dimensional mesh node of some of the three-dimensional mesh nodes to be encoded in a three-dimensional scene description stream, and transmitting the encoded three-dimensional mesh node. The three-dimensional mesh information of some of the three-dimensional mesh node is further included in the step of transmitting or storing in a separate stream separate from the three-dimensional scene description stream.
바람직하게는 상기 삼차원 장면 기술 스트림에 실려서 전송되는 상기 부호화되는 삼차원메쉬노드중 일부의 삼차원메쉬노드의 삼차원 메쉬 정보의 부호화 또는 복호화하도록 삼차원 장면 기술 부호화기/복호화기에 삼차원 메쉬 부호화기/복호화기를 내장시켜 배열하고, 상기 삼차원 장면 기술 스트림과 별도의 독립적인 스트림에 실려서 전송되는상기 부호화되는 삼차원메쉬노드중 일부의 삼차원메쉬노드의 삼차원 메쉬 정보를 부호화 또는 복호화하도록 상기 삼차원 장면 기술 부호화기/복호화기와 별도의 독립적인 또다른 삼차원 메쉬 부호화기/복호화기를 배열한다.Preferably, a three-dimensional mesh encoder / decoder is embedded in a three-dimensional scene description encoder / decoder to encode or decode three-dimensional mesh information of a portion of the encoded three-dimensional mesh nodes of the encoded three-dimensional mesh nodes transmitted in the three-dimensional scene description stream. A separate independent from the three-dimensional scene description encoder / decoder to encode or decode three-dimensional mesh information of some of the three-dimensional mesh nodes of the encoded three-dimensional mesh nodes which are carried in separate streams from the three-dimensional scene description stream. Arrange other three-dimensional mesh encoders / decoders.
본 발명의 또다른 특징은, 상기 노드처리방법이 상기 부호화되는 삼차원메쉬노드의 삼차원 메쉬 정보가 실려지는 상기 독립적인 스트림의 Uniform Resource Locator(URL)을 포함하는 삼차원메쉬노드를 생성하는 단계를 더 포함하고, 상기 삼차원메쉬노드를 부호화 또는 복호화하는 단계는, 상기 삼차원메쉬노드가 포함하는 상기 URL을 참조하는 단계를 포함하는 것이다.Another aspect of the invention, the node processing method further comprises the step of generating a three-dimensional mesh node including a Uniform Resource Locator (URL) of the independent stream on which the three-dimensional mesh information of the encoded three-dimensional mesh node is carried; The encoding or decoding of the 3D mesh node includes referencing the URL included in the 3D mesh node.
본 발명의 또다른 특징은, 상기 노드처리방법이 상기 부호화되는 삼차원메쉬노드의 삼차원 메쉬 정보가 실려지는 상기 독립적인 스트림의 Uniform ResourceLocator(URL)을 포함하는 연결 노드를 생성하는 단계를 더 포함하고, 상기 삼차원메쉬노드를 부호화 또는 복호화하는 단계는, 상기 연결 노드를 참조하여 부호화 또는 복호화하는 단계를 포함하는 것이다.In another aspect, the method further includes the step of generating a connection node including the Uniform ResourceLocator (URL) of the independent stream on which the three-dimensional mesh information of the encoded three-dimensional mesh node is loaded. Encoding or decoding the 3D mesh node includes encoding or decoding with reference to the connection node.
본 발명의 또다른 특징은, 삼차원 장면에 포함된 노드를 처리하는 방법에 있어서, 삼차원 장면에 포함된 노드중 정점들로부터 면들을 구성함으로써 형성되는 삼차원 형상을 표현하는 삼차원메쉬 정보를 가지는 삼차원메쉬노드의 압축을 위해 압축 삼차원메쉬노드를 생성하는 단계와, 처리할 삼차원 장면에 포함된 노드중 상기 압축 삼차원메쉬노드를 식별하는 단계와, 상기 식별된 압축 삼차원메쉬노드를 삼차원 메쉬 부호화기/복호화기를 이용하여 부호화 또는 복호화하는 단계를 포함하는 것이다.According to another aspect of the present invention, in a method for processing a node included in a three-dimensional scene, a three-dimensional mesh node having three-dimensional mesh information representing a three-dimensional shape formed by forming faces from the vertices of the nodes included in the three-dimensional scene Generating a compressed three-dimensional mesh node for the compression of the data, identifying the compressed three-dimensional mesh node among nodes included in the three-dimensional scene to be processed, and using the three-dimensional mesh encoder / decoder to identify the compressed three-dimensional mesh node. Encoding or decoding.
본 발명의 또다른 특징은, 삼차원 장면에 포함된 노드를 처리하는 장치에 있어서, 처리할 삼차원 장면의 노드가 정점들로부터 면들을 구성함으로써 형성되는 삼차원 형상을 표현하는 삼차원메쉬 정보를 가지는 삼차원메쉬노드인지를 식별하는 제어기와, 상기 제어기에 의해 식별된 삼차원메쉬노드를 부호화 또는 복호화하는 삼차원 메쉬 부호화기/복호화기와, 상기 삼차원 장면의 노드를 부호화 또는 복호화하는 삼차원 장면 기술 부호화기/복호화기를 포함하는 것이다.According to another aspect of the present invention, in an apparatus for processing a node included in a three-dimensional scene, a three-dimensional mesh node having three-dimensional mesh information representing a three-dimensional shape is formed by the nodes of the three-dimensional scene to be processed by forming the faces from the vertices And a three-dimensional mesh encoder / decoder for encoding or decoding a three-dimensional mesh node identified by the controller, and a three-dimensional scene description encoder / decoder for encoding or decoding nodes of the three-dimensional scene.
본 발명의 또다른 특징은, 상기 노드처리장치에서 상기 제어기는 상기 삼차원메쉬노드에 삼차원 메쉬 코딩 식별자가 설정되어 있는지를 더 식별하고, 상기 삼차원 메쉬 부호화기/복호화기는 상기 제어기에 의해 식별된 상기 삼차원메쉬노드중 상기 삼차원 메쉬 코딩 식별자가 설정되어 있는 삼차원메쉬노드를 부호화 또는 복호화하는 것이다.In still another aspect of the present invention, in the node processing apparatus, the controller further identifies whether a three-dimensional mesh coding identifier is set in the three-dimensional mesh node, and the three-dimensional mesh encoder / decoder is configured to identify the three-dimensional mesh identified by the controller. The three-dimensional mesh node in which the three-dimensional mesh coding identifier is set among the nodes is encoded or decoded.
본 발명의 또다른 특징은, 상기 노드처리장치에서 상기 제어기는 상기 부호화되는 삼차원메쉬노드의 삼차원 메쉬 정보를 삼차원 장면 기술 스트림에 실어서 전송 또는 저장하고, 상기 삼차원 메쉬 부호화기/복호화기는 상기 삼차원 장면 기술 부호화기/복호화기에 내장되어 배열되는 것이다.In another aspect of the present invention, in the node processing apparatus, the controller transmits or stores three-dimensional mesh information of the encoded three-dimensional mesh node in a three-dimensional scene description stream, and the three-dimensional mesh encoder / decoder is configured to perform the three-dimensional scene description. It is arranged in a built-in encoder / decoder.
본 발명의 또다른 특징은, 상기 노드처리장치에서 상기 제어기는 상기 부호화되는 삼차원메쉬노드의 삼차원 메쉬 정보를 삼차원 장면 기술 스트림과 별도의 독립적인 스트림에 실어서 전송 또는 저장하고, 상기 삼차원 메쉬 부호화기/복호화기는 상기 삼차원 장면 기술 부호화기/복호화기와 별도로 독립적으로 배열되는 것이다.In another aspect of the present invention, in the node processing apparatus, the controller transmits or stores three-dimensional mesh information of the encoded three-dimensional mesh node in a stream independent of the three-dimensional scene description stream, and transmits or stores the three-dimensional mesh encoder. The decoder is arranged separately from the three-dimensional scene description encoder / decoder.
본 발명의 또다른 특징은, 상기 노드처리장치에서 상기 제어기는 상기 부호화되는 삼차원메쉬노드중 일부의 삼차원메쉬노드의 삼차원 메쉬 정보는 삼차원 장면 기술 스트림에 실어서 전송 또는 저장하고, 일부의 삼차원메쉬노드의 삼차원 메쉬 정보는 상기 삼차원 장면 기술 스트림과 별도의 독립적인 스트림에 실어서 전송 또는 저장하며, 상기 삼차원 메쉬 부호화기/복호화기는 상기 삼차원 장면 기술 부호화기/복호화기에 내장되어 배열되고, 또다른 삼차원 메쉬 부호화기/복호화기는 상기 삼차원 장면 기술 부호화기/복호화기와 별도로 독립적으로 배열되는 것이다.In another aspect of the present invention, in the node processing apparatus, the controller transmits or stores three-dimensional mesh information of a three-dimensional mesh node of some of the encoded three-dimensional mesh nodes in a three-dimensional scene description stream and transmits or stores the three-dimensional mesh node. The three-dimensional mesh information of the three-dimensional scene description stream is carried or stored in a separate stream from the stream, the three-dimensional mesh encoder / decoder is embedded in the three-dimensional scene description encoder / decoder is arranged, another three-dimensional mesh encoder / The decoder is arranged separately from the three-dimensional scene description encoder / decoder.
바람직하게는, 상기 삼차원 장면 기술 스트림에 실려서 전송되는 삼차원메쉬노드의 삼차원 메쉬 정보는 상기 삼차원 장면 기술 부호화기/복호화기 내장되어 배열된 상기 삼차원 메쉬 부호화기/복호화기에 의해 부호화 또는 복호화되고, 상기삼차원 장면 기술 스트림과 별도의 독립적인 스트림에 실려서 전송되는 삼차원메쉬노드의 삼차원 메쉬 정보는 상기 독립적으로 배열된 삼차원 메쉬 부호화기/복호화기에 의해 부호화 또는 복호화된다.Advantageously, three-dimensional mesh information of a three-dimensional mesh node transmitted in the three-dimensional scene description stream is encoded or decoded by the three-dimensional mesh encoder / decoder embedded in the three-dimensional scene description encoder / decoder, and the three-dimensional scene description. Three-dimensional mesh information of a three-dimensional mesh node carried in a separate stream from the stream is encoded or decoded by the independently arranged three-dimensional mesh encoder / decoder.
본 발명의 또다른 특징은, 상기 노드처리장치에서 상기 제어기는, 상기 부호화되는 삼차원메쉬노드의 삼차원 메쉬 정보를 독립적인 스트림에 실어서 전송하도록, 상기 부호화되는 삼차원메쉬노드의 삼차원 메쉬 정보가 실려지는 상기 독립적인 스트림의 Uniform Resource Locator(URL)을 포함하는 삼차원메쉬노드를 생성하고, 상기 삼차원 메쉬 부호화기/복호화기는 상기 삼차원메쉬노드가 포함하는 상기 URL을 참조하여 부호화 또는 복호화하는 것이다.In another aspect of the present invention, in the node processing apparatus, the controller is configured to carry three-dimensional mesh information of the encoded three-dimensional mesh node so that the three-dimensional mesh information of the three-dimensional mesh node to be encoded is transmitted in an independent stream. A three-dimensional mesh node including a uniform resource locator (URL) of the independent stream is generated, and the three-dimensional mesh encoder / decoder encodes or decodes by referring to the URL included in the three-dimensional mesh node.
본 발명의 또다른 특징은, 상기 노드처리장치에서 상기 제어기는, 상기 부호화되는 삼차원메쉬노드의 삼차원 메쉬 정보를 독립적인 스트림에 실어서 전송하도록, 상기 부호화되는 삼차원메쉬노드의 삼차원 메쉬 정보가 실려지는 상기 독립적인 스트림의 Uniform Resource Locator(URL)을 포함하는 연결 노드를 생성하고, 상기 삼차원 메쉬 부호화기/복호화기는 상기 연결 노드가 포함하는 URL을 참조하여 부호화 또는 복호화하는 것이다.In another aspect of the present invention, in the node processing apparatus, the controller is configured to carry three-dimensional mesh information of the encoded three-dimensional mesh node so that the three-dimensional mesh information of the three-dimensional mesh node to be encoded is transmitted in an independent stream. A connection node including a uniform resource locator (URL) of the independent stream is generated, and the 3D mesh encoder / decoder encodes or decodes by referring to a URL included in the connection node.
본 발명의 또다른 특징은, 삼차원 장면에 포함된 노드를 처리하는 장치에 있어서, 삼차원 장면에 포함된 노드중 정점들로부터 면들을 구성함으로써 형성되는 삼차원 형상을 표현하는 삼차원 메쉬 정보를 가지는 삼차원메쉬노드의 압축을 위해 압축 삼차원메쉬노드를 생성하고, 처리할 삼차원 장면에 포함된 노드중 상기 압축 삼차원메쉬노드를 식별하는 제어기와, 상기 식별된 압축 삼차원메쉬노드를 부호화또는 복호화하는 삼차원 메쉬 부호화기/복호화기와, 상기 삼차원 장면에 포함된 노드중 상기 압축 삼차원메쉬노드를 제외한 노드를 부호화 또는 복호화하는 삼차원 장면 기술 부호화기/복호화기를 포함하는 것이다.Another feature of the present invention is an apparatus for processing a node included in a three-dimensional scene, a three-dimensional mesh node having a three-dimensional mesh information representing a three-dimensional shape formed by forming faces from the vertices of the nodes included in the three-dimensional scene A controller for generating a compressed three-dimensional mesh node for the compression of the; and identifying the compressed three-dimensional mesh node among nodes included in the three-dimensional scene to be processed; and a three-dimensional mesh encoder / decoder for encoding or decoding the identified compressed three-dimensional mesh node. And a three-dimensional scene description encoder / decoder for encoding or decoding a node except the compressed three-dimensional mesh node among nodes included in the three-dimensional scene.
바람직하게는, 본 발명에서 상기 삼차원 장면을 구현하는 플랫폼은 VRML(Virtual Reality Modeling Language), BIFS(BInary Format for Scene), Web3D를 포함한다.Preferably, the platform for implementing the three-dimensional scene in the present invention includes a Virtual Reality Modeling Language (VRML), Binary Format for Scene (BIFS), Web3D.
또한, 바람직하게는, 본 발명에서 상기 삼차원메쉬노드는 IndexedFaceSet 노드를 포함한다.Also preferably, in the present invention, the three-dimensional mesh node includes an IndexedFaceSet node.
이하에서는, 주로 MPEG-4 시스템 파트에서 BIFS의 IndexedFaceSet 노드를 예로 설명하지만, 이는 정점들로부터 면들을 구성함으로써 형성되는 삼차원 형상을 표현하여 삼차원 메쉬 정보를 표현하기 위한 노드를 나타내기 위한 예시적인 것일 뿐이며, 본 발명의 적용은 이러한 IndexedFaceSet 노드에 제한되는 것이 아니며, 삼차원 장면에서 정점들로부터 면들을 구성함으로써 형성되는 삼차원 형상을 표현하는 어떠한 노드라도 포함한다는 것을 본 발명이 속하는 기술분야의 당업자라면 충분히 이해할 것이다.In the following, the IndexedFaceSet node of BIFS is mainly described as an example in the MPEG-4 system part, but this is merely an example for representing a node for representing three-dimensional mesh information by representing a three-dimensional shape formed by constructing faces from vertices. It will be appreciated by those skilled in the art that the application of the present invention is not limited to such IndexedFaceSet nodes, but includes any node representing a three-dimensional shape formed by constructing faces from vertices in a three-dimensional scene. .
이제, 첨부된 도 1 내지 도 20을 참조하여 본 발명을 상세히 설명한다.The present invention will now be described in detail with reference to the attached FIGS. 1 to 20.
MPEG-4 SNHC 파트에서 IndexedFaceSet 노드를 표현할 수 있도록 제공되는 삼차원 메쉬 부호화기와 복호화기가 도 1과 도 2에 각각 도시되어 있으며, 본 발명은 도 1 및 도 2에 도시된 바와 같이 MPEG-4 SNHC 파트에서 이용되던 삼차원 메쉬 부호화기와 복호화기를 삼차원 장면 기술에 포함된 노드에 이용하려는 것이다.A three-dimensional mesh encoder and a decoder provided to represent an IndexedFaceSet node in an MPEG-4 SNHC part are shown in FIGS. 1 and 2, respectively. The present invention is illustrated in the MPEG-4 SNHC part as shown in FIGS. The three-dimensional mesh encoder and decoder used in the present invention are intended to be used in nodes included in the three-dimensional scene description.
도 1에 삼차원 메쉬 부호화기(100)가 도시되어 있으며, 기하정보, 연결정보, 속성정보를 포함하는 삼차원 메쉬 정보는 삼차원 메쉬 부호화기(100)에 의해 부호화되어 압축된 삼차원 메쉬 모델을 형성한다. 삼차원 메쉬 정보(110)는 기하 정보(111), 연결성 정보(112), 속성 정보(113)가 분리되어 삼차원 메쉬 부호화기(100)의 기하 정보 부호화기(101), 연결 정보 부호화기(102), 속성 정보 부호화기(103)를 통해 부호화되며, 이들은 종합적으로 엔트로피 부호화기(104)를 통하여 최종 부호화된 삼차원 메쉬 모델이 생성된다.A three-dimensional mesh encoder 100 is shown in FIG. 1, and three-dimensional mesh information including geometric information, connection information, and attribute information is encoded by the three-dimensional mesh encoder 100 to form a compressed three-dimensional mesh model. The three-dimensional mesh information 110 is divided into the geometric information 111, the connectivity information 112, and the attribute information 113, so that the geometric information encoder 101, the connection information encoder 102, and the attribute information of the three-dimensional mesh encoder 100 are separated. Encoded through the encoder 103, these are synthesized through the entropy encoder 104, the final coded three-dimensional mesh model.
또한, 도 2에 삼차원 메쉬 복호화기(200)가 도시되어 있다. 비트 스트림으로 입력된 부호화된 삼차원 메쉬 정보는 삼차원 메쉬 복호화기(200)를 통해 복호화되어 기하정보(221), 연결정보(222), 속성정보(223)를 포함하는 삼차원 메쉬 모델로 복원된다. 즉, 엔트로피 복호화기(204)를 통해 복호화된 각각의 정보는 기하 정보 복호화기(201), 연결 정보 복호화기(202), 속성 정보 복호화기(203)를 통해 각각 복호화되어 삼차원 메쉬 모델(220)이 복원된다.Also shown in FIG. 2 is a three-dimensional mesh decoder 200. The encoded three-dimensional mesh information input to the bit stream is decoded by the three-dimensional mesh decoder 200 and restored to a three-dimensional mesh model including the geometry information 221, the connection information 222, and the attribute information 223. That is, each piece of information decoded by the entropy decoder 204 is decoded by the geometric information decoder 201, the connection information decoder 202, and the attribute information decoder 203, respectively, and then the three-dimensional mesh model 220. Is restored.
도 3에는 MPEG-4 System 파트에서 기초 스트림(Elementary Stream(ES))으로 전송되는 삼차원 장면들(301)의 각 노드를 해석하여 BIFS 장면(304)을 생성하는 흐름을 도시한다.3 shows a flow of generating a BIFS scene 304 by analyzing each node of the three-dimensional scenes 301 transmitted in an elementary stream (ES) in the MPEG-4 System part.
MPEG-4는 클라이언트-서버 모델을 이용하며, MPEG-4 클라이언트(또는 플레이어 또는 브라우저)는 MPEG-4 서버를 접촉하고, 콘텐트를 요청하고, 콘텐트를 수신하고, 콘텐트를 랜더링한다. 이러한 콘텐트는 비디오 데이터, 오디오 데이터, 정지 화상, 합성 2D 또는 3D 데이터, 또는 위의 모든 것들로 구성될 수 있으며, 이러한 모든 데이터들이 사용자의 스크린에서 디스플레이되고 사용자의 스피커에서 재생되게 하기 위해 수신단에서 결합되는 방법이 장면 기술(Scene Description)이다.MPEG-4 uses a client-server model, where an MPEG-4 client (or player or browser) contacts an MPEG-4 server, requests content, receives content, and renders content. Such content may consist of video data, audio data, still images, composite 2D or 3D data, or all of the above, combined at the receiving end to allow all such data to be displayed on the user's screen and played on the user's speaker. The way of doing so is a scene description.
VRML이나 BIFS에서 장면은 트리 상태로 배치되어 다양한 노드들의 집합으로서 표현되며, 각 노드는 장면에 포함된 각 객체를 표현하며, 노드의 특정 행동을 정의하는 필드들의 리스트로 구성된다. 또한, 기초 스트림은 각 객체 데이터, 장면 기술 정보, 또는 객체등에 관련된 제어 정보를 운반한다.In VRML or BIFS, a scene is placed in a tree state and represented as a collection of various nodes, each node representing each object included in the scene, consisting of a list of fields that define the specific behavior of the node. The elementary stream also carries control information associated with each object data, scene description information, or object.
또한, MPEG-4 Systems 분야에서는 노드의 타입을 현재 두 개의 버전 값을 이용하여 구분시키며, 각 버전 값에 따라 노드의 타입을 구분하는 식별자(NodeCode)가 달리 정의되어 있어 각 버전별로 노드를 위한 해석기가 각각 존재한다.Also, in the MPEG-4 Systems field, node types are classified using two version values, and an identifier (NodeCode) that distinguishes node types according to each version value is defined differently. Are present respectively.
도 3에서는 기초 스트림들(301)로부터 BIFS 구성정보를 알아내고, 각 장면의 노드 처리시 처리할 노드의 타입에 따라 버전 1 해석기(302) 또는 버전 2 해석기(303)로 해석하고, 더이상 처리할 노드가 없으면 경로를 파싱하고 BIFS 장면을 구성한다(304).In FIG. 3, the BIFS configuration information is obtained from the elementary streams 301, and is interpreted by the version 1 interpreter 302 or the version 2 interpreter 303 according to the type of node to be processed when processing the nodes of each scene, and is no longer processed. If there is no node, the path is parsed and a BIFS scene is constructed (304).
일반적으로, 도 3에 도시된 노드 해석기(302,303)는 도 4와 같은 형태로 구현된다. VRML과 BIFS는 모두 노드를 재사용하는 메커니즘을 가지며, 처리할 노드가 재사용되는 노드일 경우 해당 노드ID(401)를 가져오고, 새로운 노드일 경우에는 노드의 타입(402)을 구하여 그 노드의 타입에 따라 처리한다(403). 그리고 현재 노드가 자식 노드를 갖고 있는 경우(404)에는 각 자식 노드에 대하여 이와 동일한 방법으로 처리한다.In general, the node interpreters 302 and 303 illustrated in FIG. 3 are implemented as shown in FIG. 4. Both VRML and BIFS have a mechanism for reusing nodes. If the node to be processed is a node to be reused, the node ID 401 is taken. If the node is a new node, the node type 402 is obtained and the node type is obtained. Process accordingly (403). If the current node has child nodes (404), the child nodes are processed in the same manner.
MPEG4-Systems 파트에서 삼차원 메쉬 부호화기 및 복호화기를 사용하여IndexedFaceSet 노드를 부호화 및 복호화하기 위해서 도 3의 버전 2의 노드 해석기(303)를 도 5와 같이 구현할 수 있다. 처리할 노드의 타입을 확인하여(501), 노드의 타입이 IndexedFaceSet 노드인 경우(502)에는 삼차원 메쉬 부호화기 및 복호화기를 사용하여 IndexedFaceSet 노드를 부호화 및 복호화한다(503). 그러나, 처리할 노드의 타입이 IndexedFaceSet 노드가 아닌 경우에는 기존의 BIFS 노드 처리 방식으로 처리한다(504). 그리고, 현재 노드가 자식 노드를 갖고 있는 경우(505)에는 각 자식 노드에 대하여 이와 동일한 방법으로 처리한다.In order to encode and decode the IndexedFaceSet node using the three-dimensional mesh encoder and decoder in the MPEG4-Systems part, the node interpreter 303 of version 2 of FIG. 3 may be implemented as shown in FIG. 5. If the type of the node to be processed is checked (501), and if the node type is an IndexedFaceSet node (502), the IndexedFaceSet node is encoded and decoded using a three-dimensional mesh encoder and decoder (503). However, if the type of node to be processed is not an IndexedFaceSet node, it is processed by the existing BIFS node processing method (504). If the current node has child nodes (505), processing is performed for each child node in the same manner.
MPEG4-Systems 분야에서 삼차원 메쉬 부호화기 및 복호화기를 사용하여 IndexedFaceSet 노드를 부호화 및 복호화하기 위한 또다른 방법으로는 도 3의 버전 2의 노드 해석기(303)를 도 6과 같이 구현할 수 있다. 처리할 노드의 타입을 확인하여(601), 노드의 타입이 IndexedFaceSet 노드인 경우(602)에는, BIFS의 구성 정보로부터 IndexedFaceSet 노드의 처리 방법을 알려주는 삼차원 메쉬 코딩 식별자(use3DMeshCoding) 신호를 참조하여(606), 상기 삼차원 메쉬 코딩 식별자 신호가 설정되어 있는 경우에는 IndexedFaceSet 노드를 삼차원 메쉬 부호화기 및 복호화기를 사용하여 부호화 및 복호화한다(603). 그러나, 처리할 노드의 타입이 IndexedFaceSet 노드가 아니거나 처리할 노드에 삼차원 메쉬 코딩 식별자가 설정되어 있지 않은 경우에는 기존의 BIFS 노드 처리 방식으로 처리한다(604). 그리고, 현재 노드가 자식 노드를 갖고 있는 경우(605)에는 각 자식 노드에 대하여 이와 동일한 방법으로 처리한다.As another method for encoding and decoding an IndexedFaceSet node using a 3D mesh encoder and decoder in the MPEG4-Systems field, the node interpreter 303 of version 2 of FIG. 3 may be implemented as shown in FIG. 6. If the node type to be processed is checked (601), and the node type is an IndexedFaceSet node (602), the BIFS configuration information is referred to a three-dimensional mesh coding identifier (use3DMeshCoding) signal indicating how to handle the IndexedFaceSet node ( If the 3D mesh coding identifier signal is set, the IndexedFaceSet node is encoded and decoded using a 3D mesh encoder and decoder (603). However, if the type of the node to be processed is not an IndexedFaceSet node or if the 3D mesh coding identifier is not set in the node to be processed, the process is performed using the existing BIFS node processing method (604). If the current node has child nodes (605), processing is performed for each child node in the same manner.
도 5의 노드해석기에서는 장면에 포함된 모든 IndexedFaceSet 노드를 삼차원 메쉬 부호화기/복호화기로 부호화/복호화하지만, 도 6의 노드해석기에서는 장면에 포함된 모든 IndexedFaceSet 노드를 삼차원 메쉬 부호화/복호화하는 것은 아니며, 삼차원 메쉬 부호화/복호화되지 않는 IndexedFaceSet 노드도 포함할 수 있다는 점에 차이가 있다. 즉, 도 6의 노드해석기에서는, IndexedFaceSet 노드에 관한 정보에 삼차원 메쉬 코딩 식별자를 두어, IndexedFaceSet 노드에 삼차원 메쉬 코딩 식별자가 설정되어 있는 경우에는 삼차원 메쉬 부호화/복호화하고 삼차원 메쉬 코딩 식별자가 설정되어 있지 않은 경우에는 삼차원 메쉬 부호화/복호화 처리를 하지 않는다는 점이 도 5의 노드해석기와 다르다.The node resolver of FIG. 5 encodes / decodes all IndexedFaceSet nodes included in the scene with the 3D mesh encoder / decoder, but the node interpreter of FIG. 6 does not encode / decode all IndexedFaceSet nodes included in the scene. The difference is that it can also contain IndexedFaceSet nodes that are not encoded / decoded. That is, in the node interpreter of FIG. 6, when the three-dimensional mesh coding identifier is set in the information about the IndexedFaceSet node, and the three-dimensional mesh coding identifier is set in the IndexedFaceSet node, the three-dimensional mesh coding / decoding is performed and the three-dimensional mesh coding identifier is not set. In this case, the three-dimensional mesh encoding / decoding process is different from the node interpreter of FIG.
MPEG4-Systems 분야에서 삼차원 메쉬 부호화기 및 복호화기를 사용하여 IndexedFaceSet 노드의 정보를 부호화 및 복호화하기 위한 또다른 방법은, 기존의 IndexedFaceSet 노드는 그대로 유지하고, IndexedFaceSet 노드를 부호화하기 위해 새로운 노드를 생성하는 것이다. 이 경우에는 기존의 IndexedFaceSet 노드에 대해서는 도 4에 도시된 바와 같은 노드해석기를 사용하여 기존의 BIFS 노드 처리 방법으로 처리하고, 새로 생성된 노드, 예를 들어, 이하에서 설명할 도 11에 도시한 바와 같이 새로 생성된 CompressedIFS 노드에 대해서는 삼차원 메쉬 부호화기/복호화기를 이용하여 부호화 및 복호화한다.Another method for encoding and decoding information of an IndexedFaceSet node using a three-dimensional mesh encoder and decoder in the field of MPEG4-Systems is to create a new node to encode an IndexedFaceSet node while retaining an existing IndexedFaceSet node. In this case, the existing IndexedFaceSet node is processed using an existing BIFS node processing method using a node interpreter as shown in FIG. 4, and a newly created node, for example, as shown in FIG. Likewise, a newly generated CompressedIFS node is encoded and decoded using a 3D mesh encoder / decoder.
도 7은 현재 삼차원 장면에서 삼차원 메쉬를 표현하기 위해 사용되는 IndexedFaceSet의 노드 인터페이스를 도시하며, 도 8 내지 11에는 본 발명에 따라 생성되는 IndexedFaceSet의 노드 인터페이스를 도시한다. 도 8과 도 9에 도시된IndexedFaceSet 노드는 기존의 IndexedFaceSet 노드 인터페이스를 대체하는 새로운 노드 인터페이스를 생성하는 형태이며, 도 10과 도 11에서는 기존의 IndexedFaceSet 노드는 그대로 사용하고 새로운 노드 인터페이스를 추가하는 형태를 보여준다.7 illustrates a node interface of an IndexedFaceSet used to represent a three-dimensional mesh in a current three-dimensional scene, and FIGS. 8 to 11 illustrate a node interface of an IndexedFaceSet generated according to the present invention. The IndexedFaceSet node shown in FIGS. 8 and 9 is a form of creating a new node interface that replaces the existing IndexedFaceSet node interface. In FIGS. 10 and 11, the existing IndexedFaceSet node is used as it is and a new node interface is added. Shows.
전체적인 삼차원 장면에 영향을 주지 않도록 부호화된 삼차원 메쉬 정보를 삼차원 장면 기술 정보와는 별도의 스트림을 사용하여 전송하기 위해 IndexedFaceSet 노드 인터페이스를 도 8과 같이 구현할 수 있다.The IndexedFaceSet node interface may be implemented as shown in FIG. 8 to transmit encoded 3D mesh information using a separate stream from the 3D scene description information so as not to affect the overall 3D scene.
도 8의 IndexedFaceSet 노드는 기존의 IndexedFaceSet 노드의 모든 필드를 없애고, 상기 IndexedFaceSet 노드를 다른 스트림으로 연결할 수 있는 URL(Uniform Resource Locator) 필드(800)를 포함한다. 이러한 URL 필드(800)에는 기존의 IndexedFaceSet의 모든 필드 정보를 포함하는 스트림을 찾을 수 있는 정보가 기록된다. 따라서, IndexedFaceSet 노드의 삼차원 메쉬 정보는 별도의 독립적인 스트림에 실려서 전송되며, IndexedFaceSet 노드의 처리시에는 상기 IndexedFaceSet 노드의 삼차원 메쉬 정보가 실려서 전송되는 독립적인 스트림에 대한 위치 정보를 가지고 있는 URL 필드를 참조한다.The IndexedFaceSet node of FIG. 8 removes all fields of the existing IndexedFaceSet node and includes a Uniform Resource Locator (URL) field 800 that can connect the IndexedFaceSet node to another stream. The URL field 800 records information for finding a stream including all field information of the existing IndexedFaceSet. Therefore, three-dimensional mesh information of an IndexedFaceSet node is transmitted in a separate independent stream, and when processing an IndexedFaceSet node, refer to a URL field having position information of an independent stream in which the three-dimensional mesh information of the IndexedFaceSet node is carried and transmitted. do.
별도의 스트림으로 삼차원 메쉬 정보를 전송하기 위한 또다른 방법은 IndexedFaceSet 노드 인터페이스를 도 9와 같이 구현하는 것이다. 도 9의 IndexedFaceSet 노드는 기존의 IndexedFaceSet 노드에 포함된 모든 필드(900)를 포함하고 URL 필드(910)를 더 포함한다. 이는 도 7과 도 8을 합친 형태로서, URL 필드(910)를 이용하여 삼차원 메쉬 정보를 별도의 부호화된 스트림으로 전송할 수도있고, 기존의 IndexedFaceSet 노드의 필드들(900)을 이용하여 부호화되는 삼차원 메쉬 정보를 장면 기술 스트림에 실어서 전송할 수도 있다. 한편, 상기 기존의 IndexedFaceSet 노드의 필드들에 포함된 삼차원 메쉬 정보는 부호화하지 않고 장면 기술 스트림에 실어서 전송할 수도 있다.Another method for transmitting three-dimensional mesh information in a separate stream is to implement the IndexedFaceSet node interface as shown in FIG. The IndexedFaceSet node of FIG. 9 includes all fields 900 included in the existing IndexedFaceSet node and further includes a URL field 910. 7 and 8 combine the three-dimensional mesh information using a URL field 910 as a separate encoded stream, and the three-dimensional mesh encoded using fields 900 of an existing IndexedFaceSet node. Information may be carried in a scene description stream and transmitted. Meanwhile, the 3D mesh information included in the fields of the existing IndexedFaceSet node may be loaded and transmitted in a scene description stream without encoding.
별도의 스트림으로 삼차원 메쉬 정보를 전송하기 위한 또다른 방법은 IndexedFaceSet의 노드 인터페이스는 기존의 방법대로 도 7과 같이 유지하면서 도 10과 같은 형태의 새로운 연결 노드를 생성하는 것이다. 이 방법에서는 URL 필드(1000)를 보유하고 있는 연결 노드인 IFSConnect 노드를 생성하고, 상기 URL 필드가 IndexedFaceSet 정보가 실려서 전송되는 스트림을 찾을 수 있는 정보를 갖게 한다. 그리고 상기 IFSConnect 노드를 삼차원 장면에서 IndexedFaceSet 노드의 이전 위치에 삽입한다. 이후에 삼차원 장면을 해석할 때, 처리할 노드가 IndexedFaceSet 노드인 경우 이전에 나온 IFSConnect 연결 노드를 참조하고, 상기 연결노드의 URL 필드로부터 IndexedFaceSet 정보가 있는 스트림을 찾을 수 있다. 실제로, 도 8에 도시된 IndexedFaceSet 노드와 도 9에 도시된 IFSConnect 노드는 그 필드의 내용은 동일하지만, 도 8에서는 새로운 형태의 IndexedFaceSet 노드를 새로 생성하는 것인 반면, 도 10에서는 기존의 IndexedFaceSet 노드는 그대로 유지하면서 연결 노드만을 새로 생성한다는 데에 차이점이 있다.Another method for transmitting three-dimensional mesh information in a separate stream is to create a new connection node of the type shown in FIG. 10 while maintaining the node interface of the IndexedFaceSet as shown in FIG. In this method, an IFSConnect node, which is a connection node having a URL field 1000, is created, and the URL field has information for finding a stream transmitted by carrying IndexedFaceSet information. The IFSConnect node is then inserted at the previous position of the IndexedFaceSet node in the 3D scene. Subsequently, when analyzing a 3D scene, if the node to be processed is an IndexedFaceSet node, the IFSConnect connection node may be referred to previously, and a stream including IndexedFaceSet information may be found from the URL field of the connection node. In fact, the IndexedFaceSet node shown in FIG. 8 and the IFSConnect node shown in FIG. 9 have the same contents, but in FIG. 8, a new type of IndexedFaceSet node is created, whereas in FIG. 10, the existing IndexedFaceSet node The difference is that you just create a new connection node, leaving it intact.
별도의 스트림으로 삼차원 메쉬 정보를 전송하기 위한 또다른 방법은 도 9와 같은 노드 인터페이스를 갖는 노드를 도 11과 같이 새로운 노드로 생성하는 것이다. 즉, IndexedFaceSet 노드를 기존과 같이 부호화하지 않고 삼차원 메쉬 정보를표현하도록 유지하고, 삼차원 메쉬 정보를 부호화하기 위해서 새로운 노드를 정의하여 사용하는 것이다.Another method for transmitting 3D mesh information in a separate stream is to create a node having a node interface as shown in FIG. 9 as a new node as shown in FIG. In other words, the IndexedFaceSet node is maintained without expressing the existing three-dimensional mesh information without encoding, and a new node is defined and used to encode the three-dimensional mesh information.
도 11에 도시된 CompressedIFS 노드는 기존의 IndexedFaceSet 노드의 필드들(1100)과 URL 필드(1110)를 포함한다. CompressedISF 노드에 포함된 URL 필드(1110)를 이용하여 삼차원 메쉬 정보를 부호화된 스트림으로 전송할 수 있고, CompressedISF 노드에 포함된 기존의 IndexedFaceSet 필드들(1100)을 이용하여 삼차원 장면 기술 스트림에 실어서 부호화된 삼차원 메쉬 정보를 전송할 수 있다.The CompressedIFS node shown in FIG. 11 includes fields 1100 and URL fields 1110 of an existing IndexedFaceSet node. Three-dimensional mesh information may be transmitted as an encoded stream using the URL field 1110 included in the CompressedISF node, and encoded in a three-dimensional scene description stream by using existing IndexedFaceSet fields 1100 included in the CompressedISF node. Three-dimensional mesh information can be transmitted.
도 12는 종래의 방법에 의해 장면 기술의 노드를 처리하는 방법의 개념도이고, 도 13 내지 도 20은 본 발명에 따른 노드의 구성에 의해 장면 기술의 각 노드를 처리하는 방법의 개념도이다.12 is a conceptual diagram of a method of processing a node of a scene description by a conventional method, and FIGS. 13 to 20 are conceptual views of a method of processing each node of a scene description by the configuration of a node according to the present invention.
BIFS와 VRML에서 장면은 모두 계층적 트리 구조로 배열된 노드들의 집합으로 이루어지며, 각 노드는 장면의 객체를 표현하고, 그룹짓고, 변형시키며, 노드의 특정 행동을 정의하는 필드들의 리스트로 구성된다.In BIFS and VRML, a scene is made up of a set of nodes arranged in a hierarchical tree structure, with each node consisting of a list of fields that represent, group, transform, and define the object's specific behavior. .
객체 디스크립터 스트림(1220)의 객체 디스크립터(OD)에는 기초 스트림(Elementary Stream(ES))에 대한 정보인 ES_디스크립터(ES_Descriptor)가 한 개 이상 있으며, 이러한 ES_디스크립터는 ES_ID를 사용하여 해당 객체가 있는 기초 스트림(1230)을 찾아가게 된다. 초기 객체 디스크립터(1200)에는 장면 기술 스트림(1210) 및 객체 디스크립터 스트림(1220)에 대한 ES_디스크립터가 있고 SD 내의 노드가 다른 스트림의 정보를 찾을 때는 객체 디스크립터 스트림내의 객체 디스크립터를 통해 해당 스트림을 찾게 된다.The object descriptor (OD) of the object descriptor stream 1220 includes at least one ES_Descriptor, which is information about an elementary stream (ES), and the ES_descriptor uses the ES_ID to identify the object. The elementary stream 1230 is located. The initial object descriptor 1200 has an ES_descriptor for the scene description stream 1210 and the object descriptor stream 1220, and when a node in the SD finds information of another stream, it finds the stream through the object descriptor in the object descriptor stream. do.
도 12에 도시된 장면 기술의 IndexedFaceSet 노드(1240)는 도 7과 같은 기존의 노드 인터페이스를 사용하며 이 정보는 SD 스트림(1210)에 실려서 다른 장면 기술 정보와 함께 SD 코덱(장면 기술 부호화기/복호화기(1250))으로 전송되거나 SD 코덱(1250)으로부터 전송된다. 설명의 편의를 위해서 이하에서는 장면 기술 스트림이 SD 코덱으로 입력되는 방향을 설명하겠지만, 도 12 내지 도 20에 도시된 SD 코덱은 장면 기술 부호화기와 복호화기를 포함하고, 3DMC는 삼차원 메쉬 부호화기와 복호화기를 포함하므로, 부호화된 스트림은 장면기술 복호화기나 삼차원 메쉬 복호화기로 입력되고, 장면기술 부호화기나 삼차원 메쉬 부호화기로부터 부호화된 스트림이 출력됨은 물론이다.The IndexedFaceSet node 1240 of the scene description shown in FIG. 12 uses the existing node interface as shown in FIG. 7 and this information is loaded onto the SD stream 1210 and is accompanied by other scene description information along with the SD codec (scene description encoder / decoder). (1250) or from the SD codec 1250. For convenience of explanation, hereinafter, the direction in which the scene description stream is input to the SD codec will be described, but the SD codec illustrated in FIGS. 12 to 20 includes a scene description encoder and a decoder, and the 3DMC includes a three-dimensional mesh encoder and a decoder. Therefore, the encoded stream is input to the scene description decoder or the 3D mesh decoder, and the encoded stream is output from the scene description encoder or the 3D mesh encoder.
도 13은 본 발명의 제 1 실시예에 따라 장면 기술의 모든 IndexedFaceSet 노드를 3DMC로 부호화/복호화하고, 3DMC(1320)를 SD 코덱(1410)내에 내장시켜 배열하는 구성의 개념도이다. 제 1 실시예에서 IndexedFaceSet 노드(1300)는 도 7에 도시한 바와 같은 기존의 노드 인터페이스를 그대로 사용하며, 삼차원 메쉬 부호화기/복호화기(1320)를 SD 코덱(1310)에 내장시킨다. 부호화된 삼차원 메쉬 정보는 삼차원 장면 기술 정보가 전송되는 장면 기술 스트림에 실려서 함께 전송되며, 장면 기술 스트림에 포함된 장면 기술 정보는 SD 코덱(1310)에 의해 복호화되고, 장면 기술 스트림에 실려서 전송되는 부호화된 삼차원 메쉬 정보는 3DMC(1320)에 의해 복호화된다. 물론, SD 코덱(1310)에 의해 부호화된 장면 기술 스트림이 SD 코덱(1310)으로부터 출력되고, 3DMC(1320)에 의해 부호화된 삼차원 메쉬 정보가 3DMC(1320)로부터 출력되는 것도 포함한다.FIG. 13 is a conceptual diagram of a configuration in which all IndexedFaceSet nodes of a scene description are encoded / decoded by 3DMC according to the first embodiment of the present invention, and the 3DMC 1320 is embedded in the SD codec 1410 and arranged. In the first embodiment, the IndexedFaceSet node 1300 uses the existing node interface as shown in FIG. 7 and embeds the 3D mesh encoder / decoder 1320 in the SD codec 1310. The encoded three-dimensional mesh information is transmitted along with the scene description stream through which the three-dimensional scene description information is transmitted, and the scene description information included in the scene description stream is decoded by the SD codec 1310 and encoded by the scene description stream. 3D mesh information is decoded by the 3DMC 1320. Of course, the scene description stream encoded by the SD codec 1310 may be output from the SD codec 1310, and the 3D mesh information encoded by the 3DMC 1320 may be output from the 3DMC 1320.
도 14는 본 발명의 제 2 실시예에 따라 장면 기술의 모든 IndexedFaceSet 노드를 3DMC로 부호화/복호화하며, 3DMC(1420)는 SD 코덱(1410)과는 별도로 독립적으로 배열되어 SD 코덱(1410)과 연결된 구성의 개념도이다. 장면 기술의 IFS 노드(1400)는 도 8에 도시한 바와 같이 노드 인터페이스에 URL 필드만을 포함한다. IFS 노드(1400)의 URL 필드는 부호화된 삼차원 메쉬 객체의 객체 디스크립터 ID를 관리하고 있으며 해당 객체 디스크립터(1430)내의 ES_디스크립터를 통해 부호화된 삼차원 메쉬 객체의 정보가 담겨있는 스트림(1440)을 찾을 수 있다. 상기 삼차원 메쉬 코딩으로 압축된 IndexedFaceSet 스트림(1440)은 독립적인 3DMC(1420)로 전송되어 복호화되고, 장면 기술 스트림내의 장면 기술 정보는 SD 코덱(1410)으로 전송되어 복호화된다.14 encodes / decodes all IndexedFaceSet nodes of a scene description in 3DMC according to the second embodiment of the present invention, and the 3DMC 1420 is arranged independently of the SD codec 1410 and connected to the SD codec 1410. A conceptual diagram of the configuration. The IFS node 1400 of the scene description includes only the URL field in the node interface as shown in FIG. The URL field of the IFS node 1400 manages the object descriptor ID of the encoded three-dimensional mesh object, and finds a stream 1440 containing information of the encoded three-dimensional mesh object through the ES_descriptor in the object descriptor 1430. Can be. The IndexedFaceSet stream 1440 compressed by the 3D mesh coding is transmitted and decoded by the independent 3DMC 1420, and the scene description information in the scene description stream is transmitted and decoded by the SD codec 1410.
도 15는 본 발명의 제 3 실시예에 따라 장면 기술의 IFS 노드는 도 9에 도시된 바와 같이 기존의 IndexedFaceSet 노드 인터페이스에 URL 필드를 추가한 형태이고, 3DMC(1520)가 SD 코덱(1510)과 별도로 독립적으로 존재하여 SD 코덱(1510)에 연결되는 구성의 개념도이다. 도 14에 도시된 제 2 실시예와의 차이점은, 도 14에서는 모든 IndexedFaceSet 노드가 삼차원 메쉬 부호화/복호화되지만, 도 15에서는 삼차원 메쉬 부호화/복호화되지 않는 기존의 IndexedFaceSet 노드도 포함한다는 것이다.FIG. 15 is a view in which an IFS node of a scene description according to a third embodiment of the present invention adds a URL field to an existing IndexedFaceSet node interface as shown in FIG. 9, and the 3DMC 1520 is connected to the SD codec 1510. A conceptual diagram of a configuration that exists independently and connected to the SD codec 1510. The difference from the second embodiment shown in FIG. 14 is that all IndexedFaceSet nodes are three-dimensional mesh encoded / decoded in FIG. 14, but also include existing IndexedFaceSet nodes that are not three-dimensional mesh encoded / decoded in FIG. 15.
IFS 노드에 포함된 URL 필드가 사용되지 않고 기존의 IndexedFaceSet 노드의 필드들로 삼차원 메쉬 정보를 표현하는 IndexedFaceSet 노드(1550)의 경우에는 IndexedFaceSet 노드의 삼차원 메쉬 정보는 SD 스트림에 실려서 장면 기술내의 다른 SD 정보와 함께 SD 코덱(1510)으로 전송되며, IFS 노드에 포함된 기존의 IndexedFaceSet 노드의 필드들이 사용되지 않고 URL 필드가 사용되는 IFS 노드(1500)의 경우에는 별도의 스트림(1540)으로 전송되는 부호화된 삼차원 메쉬 정보가 3DMC(1520)로 전송된다.In the case of the IndexedFaceSet node 1550, in which the URL field included in the IFS node is not used and the three-dimensional mesh information is represented by the fields of the existing IndexedFaceSet node, the three-dimensional mesh information of the IndexedFaceSet node is loaded into the SD stream so that other SD information in the scene description can be loaded. In the case of the IFS node 1500, which is transmitted to the SD codec 1510 and the fields of the existing IndexedFaceSet node included in the IFS node are not used and the URL field is used, it is transmitted to a separate stream 1540. Three-dimensional mesh information is transmitted to the 3DMC 1520.
도 16은 본 발명의 제 4 실시예에 따라 장면 기술의 IFS 노드가 도 9에 도시된 바와 같이 기존의 IndexedFaceSet 노드 인터페이스에 URL 필드가 추가된 형태이고, 3DMC(1620)는 SD 코덱(1610)내에도 내장되어 배열되고, 또한 SD 코덱(1610)과 별도로 독립적으로도 배열되어 상기 SD 코덱(1610)에 연결되는 구성의 개념도이다.FIG. 16 is a view in which an IFS node of a scene description is a URL field added to an existing IndexedFaceSet node interface as shown in FIG. 9 according to the fourth embodiment of the present invention, and the 3DMC 1620 is included in the SD codec 1610. FIG. 5 is a conceptual diagram of a configuration in which the internal memory is also arranged and connected to the SD codec 1610 separately from the SD codec 1610.
IFS 노드의 URL 필드를 사용하는 경우의 IFS 노드(1600)의 경우에 부호화된 삼차원 메쉬 정보는 별도의 스트림(1640)을 통해 독립적으로 배열된 3DMC(1620)로 전송되고, IFS 노드의 URL 필드를 사용하지 않고 기존의 IndexedFaceSet 필드들을 사용하는 경우의 IFS 노드(1650)의 경우에 부호화된 삼차원 메쉬정보는 장면 기술 스트림에 실려서 SD 코덱(1610)내의 3DMC(1620)로 전송되어 복호화된다.In the case of the IFS node 1600 using the URL field of the IFS node, the encoded three-dimensional mesh information is transmitted to the 3DMC 1620 arranged independently through a separate stream 1640, and the URL field of the IFS node is transmitted. In the case of the IFS node 1650 when using existing IndexedFaceSet fields without using them, the encoded three-dimensional mesh information is carried in the scene description stream and transmitted to the 3DMC 1620 in the SD codec 1610 to be decoded.
도 15에 도시된 제 3 실시예와의 차이점은, 제 3 실시예에서 부호화된 삼차원 메쉬 정보는 별도의 스트림으로만 전송되었지만, 본 제 4실시예에서는 3DMC(1620)가 SD 코덱(1610)내에도 배열되고 독립적으로 배열되므로, 부호화된 삼차원 메쉬 정보는 장면 기술 스트림에 실려서 전송될 수도 있고 장면 기술 스트림과 별도로 독립적인 스트림으로 전송될 수 있다는 것이다.The difference from the third embodiment shown in FIG. 15 is that the 3D mesh information encoded in the third embodiment is transmitted only as a separate stream. However, in the fourth embodiment, the 3DMC 1620 is stored in the SD codec 1610. Since the 3D mesh information is also arranged and independently arranged, the encoded three-dimensional mesh information may be carried in a scene description stream and may be transmitted in a stream independent of the scene description stream.
또한, 도 15에 도시된 제 3 실시예와 도 16에 도시된 제 4 실시예 모두 IndexedFaceSet 노드 인터페이스로서 도 9에 도시한 바와 같은 노드 인터페이스를사용하지만, 제 3 실시예는 삼차원 메쉬 정보가 부호화된 IndexedFaceSet 노드와 삼차원 메쉬 정보가 부호화되지 않은 IndexedFaceSet 노드를 모두 포함하지만, 제 4 실시예는 부호화된 IndexedFaceSet 노드만을 포함하는 것이 다르다.In addition, although the third embodiment shown in FIG. 15 and the fourth embodiment shown in FIG. 16 use the node interface shown in FIG. 9 as the IndexedFaceSet node interface, the third embodiment uses three-dimensional mesh information encoded. Although the IndexedFaceSet node and the three-dimensional mesh information include both unencoded IndexedFaceSet nodes, the fourth embodiment differs from including only the encoded IndexedFaceSet nodes.
도 17은 본 발명의 제 5 실시예에 따라 장면 기술의 IFS 노드는 도 7에 도시된 바와 같은 기존의 IndexedFaceSet 노드 인터페이스를 사용하고, 선택적 3DMC(1720)가 SD 코덱(1710)내에 내장되어 배열되는 구성의 개념도이다. 제 5 실시예는 삼차원 메쉬 코딩으로 부호화/복호화되는 IndexedFaceSet 노드(1700)와 삼차원 메쉬 코딩으로 부호화/복호화되지 않는 IndexedFaceSet 노드(1730)를 모두 포함한다.FIG. 17 is a scene description IFS node according to a fifth embodiment of the present invention using an existing IndexedFaceSet node interface as shown in FIG. 7, with an optional 3DMC 1720 embedded in the SD codec 1710 and arranged. A conceptual diagram of the configuration. The fifth embodiment includes both an IndexedFaceSet node 1700 that is encoded / decoded by three-dimensional mesh coding and an IndexedFaceSet node 1730 that is not encoded / decoded by three-dimensional mesh coding.
제 5 실시예에서 3DMC(1720)를 SD 코덱(1710)에 기본적으로 내장시키지만, 장면 기술내의 모든 IndexedFaceSet 노드를 삼차원 메쉬 부호화/복호화하는 것은 아니며, 도 6에 도시한 노드 해석기에서와 같이 선택적으로 부호화 및 복호화한다. 즉, 처리할 노드가 IndexedFaceSet 타입인 경우에, BIFS 구성 정보로부터 3차원 메쉬 코딩 식별자가 설정되어 있는지를 판단하여, 3차원 메쉬 코딩 식별자가 설정되어 있지 않으면, 삼차원 메쉬 정보를 다른 장면 기술정보와 함께 장면 기술 스트림에 실어서 SD 코덱(1510)으로 전송하여 기존의 BIFS 노드 처리방식으로 처리하고, 3차원 메쉬 코딩 식별자가 설정되어 있으면, 삼차원 메쉬 정보는 역시 다른 장면 기술 정보와 함께 장면 기술 스트림에 실어서 SD 코덱(1510)으로 전송하여 선택적 3DMC(1720)에 의해 삼차원 메쉬정보를 복호화한다.In the fifth embodiment, the 3DMC 1720 is basically embedded in the SD codec 1710, but not all IndexedFaceSet nodes in the scene description are three-dimensional mesh encoded / decoded, but selectively encoded as in the node interpreter shown in FIG. And decrypt. That is, when the node to be processed is of type IndexedFaceSet, it is determined whether the 3D mesh coding identifier is set from the BIFS configuration information. If the 3D mesh coding identifier is not set, the 3D mesh information is combined with other scene description information. It is loaded on the scene description stream and transmitted to the SD codec 1510 for processing by the existing BIFS node processing method. If the 3D mesh coding identifier is set, the 3D mesh information is also loaded on the scene description stream together with other scene description information. The 3D mesh information is then decoded by the optional 3DMC 1720 by transmitting to the SD codec 1510.
도 18은 본 발명의 제 6 실시예에 따라 기존의 IndexedFaceSet 노드(1800)를포함하고, IFS 노드(1830)를 삼차원 메쉬 정보를 담고있는 독립된 스트림과 연결해주는 연결 노드인 IFSConnect 노드(1840)를 도 10과 같이 정의하여 사용하며, 3DMC(1820)를 SD 코덱(1810)과 별도로 독립적으로 배열하여 구성하는 개념도이다.18 illustrates an IFSConnect node 1840, which is a connection node including an existing IndexedFaceSet node 1800 and connecting an IFS node 1830 with an independent stream containing three-dimensional mesh information according to a sixth embodiment of the present invention. Defined and used as shown in FIG. 10, the 3DMC 1820 is a conceptual diagram that is arranged separately from the SD codec 1810.
제 6 실시예에서, 장면기술내의 기존의 IndexedFaceSet 노드(1800)의 삼차원 메쉬 정보는 장면 기술 스트림에 실려서 다른 장면 기술 정보와 함께 SD 코덱(1810)으로 전송된다. 연결 노드 IFSC(1840)는 삼차원 장면의 트리구조에서 IFS 노드(1830)의 앞에 위치하도록 삽입되며, 연결 노드의 URL 필드는 삼차원 메쉬 정보가 전송되는 독립된 스트림(1860)에 대한 위치를 찾을 수 있는 정보를 갖고 있다. 사실상, 연결 노드의 URL 필드가 삼차원 메쉬 정보가 전송되는 스트림에 대한 위치를 찾을 수 있다는 정보를 가지고 있다는 것은, 연결 노드의 URL이 객체 디스크립터를 포인터하고 있으며, 객체 디스크립터의 ES_디스크립터가 삼차원 메쉬 정보를 담고 있는 스트림을 찾을 수 있는 정보를 가지고 있다는 것을 의미한다.In the sixth embodiment, the three-dimensional mesh information of the existing IndexedFaceSet node 1800 in the scene description is carried in the scene description stream and transmitted to the SD codec 1810 along with other scene description information. The connection node IFSC 1840 is inserted so as to be located in front of the IFS node 1830 in the tree structure of the three-dimensional scene, and the URL field of the connection node contains information for finding the position of the independent stream 1860 to which the three-dimensional mesh information is transmitted. Have In fact, the fact that the URL field of the connection node has information that the location of the stream to which the three-dimensional mesh information is transmitted can be found is that the URL of the connection node points to the object descriptor, and the ES_descriptor of the object descriptor indicates the three-dimensional mesh information. This means that it has information to find the stream containing it.
IFSC 노드(1840)의 처리시 먼저 IFSC 연결 노드의 url에 의해 삼차원 메쉬 정보를 가지고 있다가, 다음 노드 처리시 삼차원 메쉬 정보를 포함하지 않는 빈 IndexedFaceSet 노드가 나오는 경우에, 이전에 나왔던 IFSC 연결 노드를 참조하여 삼차원 메쉬 정보를 담고 있는 독립된 스트림에서 삼차원 메쉬 정보를 가져올 수 있다. 그러나, IFS 노드 앞에 IFSC 연결 노드가 없는 경우, 즉, IndexedFaceSet 노드(1800)와 같은 경우에는 기존의 IndexedFaceSet 노드 처리 방법과 마찬가지로 삼차원 메쉬 정보는 SD 스트림을 통해 다른 SD 정보와 함께 전송되어 SD 코덱(1810)에 의해 처리된다.In the case of processing the IFSC node 1840, if an empty IndexedFaceSet node that has three-dimensional mesh information is first identified by the url of the IFSC connection node, and does not include the three-dimensional mesh information in the next node processing, the previously released IFSC connection node is selected. By referring to the three-dimensional mesh information can be obtained from an independent stream containing the three-dimensional mesh information. However, if there is no IFSC connection node in front of the IFS node, that is, such as the IndexedFaceSet node 1800, the three-dimensional mesh information is transmitted along with the other SD information through the SD stream in the same way as the existing IndexedFaceSet node processing method. Is handled by
도 19는 본 발명의 제 7 실시예에 따라 IFS 노드(1940)를 삼차원 메쉬 정보를 담고있는 독립된 스트림과 연결해주는 연결 노드인 IFSConnect 노드(1930)를 도 10과 같이 정의하여 사용하고 또한 별도의 스트림을 이용하지 않고 삼차원 메쉬 정보를 부호화하는 IFS 노드(1900)를 포함하며, 3DMC(1920)은 SD 코덱(1910)과 별도로 독립적으로도 배열하고, SD 코덱(1910)내에 내장시켜 배열하기도 하는 구성의 개념도이다.FIG. 19 defines and uses an IFSConnect node 1930, which is a connection node for connecting the IFS node 1940 with an independent stream containing three-dimensional mesh information as shown in FIG. 10, according to a seventh embodiment of the present invention. It includes an IFS node (1900) for encoding three-dimensional mesh information without using, and the 3DMC (1920) is arranged separately from the SD codec (1910), and also embedded in the SD codec (1910) Conceptual diagram.
제 7 실시예가 도 18에 도시된 제 6 실시예와 다른 점은, IFSC 연결 노드를 이용하지 않는 IFS 노드(1900)의 경우에도 부호화된 삼차원 메쉬 정보는 장면 기술 스트림에 실려서 다른 장면 기술 정보와 함께 SD 코덱(1910)으로 전송되어, SD 코덱(1910)에 내장된 선택적 3DMC(1920)에 의해 복호화된다는 것이며, 그밖에 다른 사항은 제 6 실시예에서와 동일하다.The seventh embodiment differs from the sixth embodiment shown in FIG. 18 in that, even in the case of the IFS node 1900 which does not use the IFSC connection node, the encoded three-dimensional mesh information is carried in the scene description stream together with other scene description information. It is transmitted to the SD codec 1910 and decoded by the optional 3DMC 1920 embedded in the SD codec 1910. Other matters are the same as in the sixth embodiment.
도 20은 본 발명의 제 8 실시예에 따라 기존의 IndexedFaceSet 노드를 변경시키지 않고, 도 11에 도시된 바와 같은 인터페이스를 가지는 새로운 압축노드를 정의하여 사용하며, 3DMC(2020)는 SD 코덱(2010)내에 내장시켜 배열하기도 하고 SD 코덱(2010)과 별도로 독립적으로 배열하기도 하는 구성의 개념도이다.FIG. 20 defines and uses a new compression node having an interface as shown in FIG. 11 without changing an existing IndexedFaceSet node according to the eighth embodiment of the present invention, and the 3DMC 2020 uses the SD codec 2010. It is a conceptual diagram of a configuration that may be arranged inside and arranged separately from the SD codec 2010.
기존의 IndexedFaceSet 노드(2000)는 도 7에서와 같은 기존의 IndexedFaceSet 필드들을 포함하며, 새로 생성한 CIFS 노드(2030)는 도 11a에 도시한 바와 같이 기존의 IndexedFaceSet 노드의 필드들(1100)과 URL 필드(1110)를 포함한다.The existing IndexedFaceSet node 2000 includes the existing IndexedFaceSet fields as shown in FIG. 7, and the newly created CIFS node 2030 includes the fields 1100 and URL fields of the existing IndexedFaceSet node as shown in FIG. 11A. 1110.
IndexedFaceSet 노드(2000)는 기존의 노드 처리 방식대로, 즉, 삼차원 메쉬정보를 부호화함없이 처리하며, 새로 생성된 CIFS 노드(203)의 경우에는, URL 필드(1110)를 이용하는 경우에는 부호화된 삼차원 메쉬정보를 담고있는 독립된 스트림(2050)을 통해 부호화된 삼차원 메쉬 정보를 SD 코덱과 별도로 독립적으로 배열된 3DMC(2020)로 전송하여 복호화하고, 새로 생성된 CIFS 노드가 기존의 IndexedFaceSet 노드의 필드들(1100)을 이용하는 경우에는 부호화된 삼차원 메쉬 정보는 장면 기술 스트림에 실려서 다른 장면 기술 정보와 함께 SD 코덱(2010)으로 전송되어 SD 코덱에 내장된 CIFS용 3DMC(2020)에 의해 복호화된다.The IndexedFaceSet node 2000 processes the existing node processing method, that is, without encoding the three-dimensional mesh information. In the case of the newly generated CIFS node 203, the encoded three-dimensional mesh is used when the URL field 1110 is used. The 3D mesh information encoded through the independent stream 2050 containing the information is transmitted to the 3DMC 2020 arranged independently of the SD codec to be decoded, and the newly generated CIFS node is a field 1100 of the existing IndexedFaceSet node. ), The encoded three-dimensional mesh information is carried in the scene description stream and transmitted along with other scene description information to the SD codec 2010 and decoded by the CIFS 3DMC 2020 embedded in the SD codec.
이상의 본 발명에 따른 설명에서는 MPEG-4 시스템 파트에서 삼차원 장면을 표현하는 언어로 BIFS를 주로 하여 설명하였지만, 삼차원 장면을 기술하는 언어인 VRML이나 Web3D에도 본 발명이 적용될 수 있음은 본 발명이 속하는 분야의 당업자라면 충분히 이해할 수 있을 것이다.In the above description according to the present invention, the BIFS is mainly described as a language for expressing a three-dimensional scene in an MPEG-4 system part, but the present invention can be applied to VRML or Web3D, which is a language for describing a three-dimensional scene. Those skilled in the art will fully understand.
이상 설명한 바와 같이 본 명세서의 상세한 설명 및 도면에는 본 발명의 바람직한 형태가 설명되고 도시되었지만, 본 발명은 다른 다수의 다양한 조합 및 환경에서 이용될 수 있고 본 발명의 개념의 범위내에서 다수의 변형 및 수정이 가해질 수 있다는 것을 본 발명이 속하는 기술분야의 당업자라면 충분히 이해할 것이다.While the description and drawings herein have described and illustrated the preferred forms of the invention, the invention can be utilized in many other various combinations and environments and within the scope of the concepts of the invention. It will be understood by those skilled in the art that modifications may be made.
이상 설명한 바와 같이 본 발명에 의하면 삼차원 장면에 포함된 노드중 삼차원 메쉬 정보를 표현하는 노드를 삼차원 메쉬 부호화기와 복호화기를 이용하여 부호화 및 복호화함으로써 삼차원 장면 기술의 전송 및 저장을 보다 효율적으로 할수 있다.As described above, according to the present invention, the nodes expressing the 3D mesh information among the nodes included in the 3D scene may be encoded and decoded using the 3D mesh encoder and the decoder to more efficiently transmit and store the 3D scene description.
또한 본 발명에 의하면 부호화되는 삼차원 메쉬 정보를 표현하는 노드의 삼차원 메쉬 정보를 삼차원 장면 기술 정보와는 별도의 독립적인 스트림에 실어서 전송 및 저장함으로써 부호화된 삼차원 메쉬 정보의 양이 방대하더라도 전체적인 삼차원 장면에 영향을 주지 않으면서 전송할 수 있다.In addition, according to the present invention, by transmitting and storing the three-dimensional mesh information of the node representing the encoded three-dimensional mesh information in a separate stream separate from the three-dimensional scene description information, even if the amount of encoded three-dimensional mesh information is huge, the overall three-dimensional scene Can be transmitted without affecting.
Claims (33)
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20010302358 EP1134702A3 (en) | 2000-03-14 | 2001-03-14 | Method for processing nodes in 3D scene and apparatus thereof |
| US09/805,562 US6898320B2 (en) | 2000-03-14 | 2001-03-14 | Method for processing nodes in 3D scene and apparatus thereof |
| JP2001072084A JP4758013B2 (en) | 2000-03-14 | 2001-03-14 | Node processing method and apparatus for 3D scene |
| JP2011085837A JP5097287B2 (en) | 2000-03-14 | 2011-04-07 | Node processing method and three-dimensional scene node processing apparatus |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020000012849 | 2000-03-14 | ||
| KR20000012849 | 2000-03-14 | ||
| KR20000039266 | 2000-07-10 | ||
| KR1020000039266 | 2000-07-10 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20010091928A KR20010091928A (en) | 2001-10-23 |
| KR100374797B1 true KR100374797B1 (en) | 2003-03-03 |
Family
ID=26637487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2001-0011473A KR100374797B1 (en) | 2000-03-14 | 2001-03-06 | Method for processing nodes in 3D scene and the apparatus thereof |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5097287B2 (en) |
| KR (1) | KR100374797B1 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100718119B1 (en) * | 2001-07-09 | 2007-05-14 | 삼성전자주식회사 | Method and apparatus for coding and decoding three dimension mesh information |
| KR100785012B1 (en) * | 2005-04-11 | 2007-12-12 | 삼성전자주식회사 | Methods and apparatuses for generating and recovering 3D compression data |
| EP1869773A4 (en) * | 2005-04-11 | 2009-03-11 | Samsung Electronics Co Ltd | Methods and apparatuses for generating and recovering 3d compression data |
| KR101334173B1 (en) * | 2006-01-11 | 2013-11-28 | 삼성전자주식회사 | Method and apparatus for encoding/decoding graphic data |
| KR100832707B1 (en) * | 2006-09-28 | 2008-05-28 | 에스케이 텔레콤주식회사 | Apparatus And Method For Processing BIFS Contents In The DMB Terminal |
| KR101654777B1 (en) | 2010-07-19 | 2016-09-06 | 삼성전자주식회사 | Apparatus and method for scalable encoding 3d mesh, and apparatus and method for scalable decoding 3d mesh |
| CN104040592A (en) | 2011-11-07 | 2014-09-10 | 汤姆逊许可公司 | Predictive position decoding |
| WO2013157812A1 (en) * | 2012-04-16 | 2013-10-24 | 삼성전자주식회사 | 3d video coding/decoding apparatus and 3d video coding/decoding method |
| KR102133936B1 (en) * | 2012-04-16 | 2020-07-14 | 삼성전자주식회사 | Apparatus and method for encoding/decoding for 3d video |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5818463A (en) * | 1997-02-13 | 1998-10-06 | Rockwell Science Center, Inc. | Data compression for animated three dimensional objects |
| KR19990085657A (en) * | 1998-05-20 | 1999-12-15 | 윤종용 | Method and device for compressing connectivity information of graphic modeling data |
| KR100276468B1 (en) * | 1997-12-27 | 2000-12-15 | 하영호 | 3-dimensional object coding method based on adaptive bit allocation and dfsvq |
| KR20010008944A (en) * | 1999-07-06 | 2001-02-05 | 정선종 | Method and Apparatus for compressing vertex position of 3D mesh model |
| EP1077431A1 (en) * | 1999-08-16 | 2001-02-21 | Mtu Motoren- Und Turbinen-Union MàNchen Gmbh | Generating a three-dimensional mesh for finite element analysis |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU761202B2 (en) * | 1997-09-22 | 2003-05-29 | Sony Corporation | Generation of a bit stream containing binary image/audio data that is multiplexed with a code defining an object in ascii format |
| US6262737B1 (en) * | 1998-01-30 | 2001-07-17 | University Of Southern California | 3D mesh compression and coding |
| KR100294927B1 (en) * | 1998-08-29 | 2001-07-12 | 윤종용 | 3-D mesh coding method and apparatus for incremental rendering |
| US6577310B1 (en) * | 1998-12-01 | 2003-06-10 | Samsung Electronics Co., Ltd. | 3D mesh coding/decoding method and apparatus for error resilience and incremental rendering |
-
2001
- 2001-03-06 KR KR10-2001-0011473A patent/KR100374797B1/en not_active IP Right Cessation
-
2011
- 2011-04-07 JP JP2011085837A patent/JP5097287B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5818463A (en) * | 1997-02-13 | 1998-10-06 | Rockwell Science Center, Inc. | Data compression for animated three dimensional objects |
| KR100276468B1 (en) * | 1997-12-27 | 2000-12-15 | 하영호 | 3-dimensional object coding method based on adaptive bit allocation and dfsvq |
| KR19990085657A (en) * | 1998-05-20 | 1999-12-15 | 윤종용 | Method and device for compressing connectivity information of graphic modeling data |
| KR20010008944A (en) * | 1999-07-06 | 2001-02-05 | 정선종 | Method and Apparatus for compressing vertex position of 3D mesh model |
| EP1077431A1 (en) * | 1999-08-16 | 2001-02-21 | Mtu Motoren- Und Turbinen-Union MàNchen Gmbh | Generating a three-dimensional mesh for finite element analysis |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011134361A (en) | 2011-07-07 |
| KR20010091928A (en) | 2001-10-23 |
| JP5097287B2 (en) | 2012-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4758013B2 (en) | Node processing method and apparatus for 3D scene | |
| JP5097287B2 (en) | Node processing method and three-dimensional scene node processing apparatus | |
| JP4474365B2 (en) | Progressive encoding / decoding method and apparatus for three-dimensional mesh information | |
| JP4757299B2 (en) | Method and apparatus for generating and restoring 3D compressed data | |
| Signes et al. | MPEG-4's binary format for scene description | |
| CN110506423A (en) | The method and apparatus that the media data for including content generated is encoded | |
| US20060198438A1 (en) | Scene description generating apparatus and method, scene description converting apparatus and method, scene description storing apparatus and method, scene description decoding apparatus and method, user interface system, recording medium, and transmission medium | |
| CN115668938A (en) | Point cloud data transmitting device, point cloud data transmitting method, point cloud data receiving device, and point cloud data receiving method | |
| CN117978994A (en) | Method for encoding/decoding point cloud data and storage medium | |
| CN114697668B (en) | Encoding and decoding method of point cloud media and related products | |
| CN114503587A (en) | Point cloud data transmitting device, point cloud data transmitting method, point cloud data receiving device, and point cloud data receiving method | |
| US8687686B2 (en) | 3D contents data encoding/decoding apparatus and method | |
| CN114697631B (en) | Immersion medium processing method, device, equipment and storage medium | |
| CN115396645A (en) | Immersion media data processing method, device, equipment and storage medium | |
| CN114116617A (en) | Data processing method, device and equipment for point cloud media and readable storage medium | |
| US6549206B1 (en) | Graphic scene animation signal, corresponding method and device | |
| KR100785012B1 (en) | Methods and apparatuses for generating and recovering 3D compression data | |
| CN115396647A (en) | Data processing method, device and equipment for immersion media and storage medium | |
| CN115002470A (en) | Media data processing method, device, equipment and readable storage medium | |
| EP1435738A1 (en) | Method and system for generating input file using meta language regarding graphic data compression | |
| AU739379B2 (en) | Graphic scene animation signal, corresponding method and device | |
| KR20010021728A (en) | Graphic scene animation data signal with quantization object, corresponding method and device | |
| KR100718119B1 (en) | Method and apparatus for coding and decoding three dimension mesh information | |
| EP1538841A2 (en) | Method and system for generating input file using meta representation of compression of graphics data, and animation framework extension (AFX) coding method and apparatus | |
| CN115061984A (en) | Data processing method, device, equipment and storage medium of point cloud media |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130115 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20140124 Year of fee payment: 12 |
|
| FPAY | Annual fee payment |
Payment date: 20150116 Year of fee payment: 13 |
|
| FPAY | Annual fee payment |
Payment date: 20160119 Year of fee payment: 14 |
|
| LAPS | Lapse due to unpaid annual fee |