WO2020166612A1 - 三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置 - Google Patents
三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置 Download PDFInfo
- Publication number
- WO2020166612A1 WO2020166612A1 PCT/JP2020/005363 JP2020005363W WO2020166612A1 WO 2020166612 A1 WO2020166612 A1 WO 2020166612A1 JP 2020005363 W JP2020005363 W JP 2020005363W WO 2020166612 A1 WO2020166612 A1 WO 2020166612A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- information
- unit
- point cloud
- encoding
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 170
- 238000010586 diagram Methods 0.000 description 61
- 238000012545 processing Methods 0.000 description 46
- 230000008569 process Effects 0.000 description 19
- 230000005540 biological transmission Effects 0.000 description 12
- 230000001360 synchronised effect Effects 0.000 description 11
- 238000013500 data storage Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 8
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 8
- 239000000470 constituent Substances 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000013139 quantization Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Definitions
- the present disclosure relates to a three-dimensional data multiplexing method, a three-dimensional data demultiplexing method, a three-dimensional data multiplexing device, and a three-dimensional data demultiplexing device.
- the three-dimensional data is acquired by various methods such as a distance sensor such as a range finder, a stereo camera, or a combination of a plurality of monocular cameras.
- a representation method As one of the representation methods of 3D data, there is a representation method called a point cloud that represents the shape of a 3D structure by a point cloud in a 3D space.
- the position and color of the point cloud are stored. It is expected that point clouds will become the mainstream method of expressing three-dimensional data, but the amount of data in point clouds is extremely large. Therefore, in the storage or transmission of three-dimensional data, it is necessary to compress the amount of data by encoding, as in two-dimensional moving images (for example, MPEG-4 AVC or HEVC standardized by MPEG). Become.
- compression of the point cloud is partially supported by the public library (Point Cloud Library) that performs processing related to the point cloud.
- Point Cloud Library performs processing related to the point cloud.
- the present disclosure provides a three-dimensional data multiplexing method, a three-dimensional data demultiplexing method, a three-dimensional data demultiplexing apparatus, or a three-dimensional data demultiplexing apparatus that can appropriately multiplex and transmit point cloud data. To aim.
- a three-dimensional data multiplexing method generates an output signal of a predetermined file structure by multiplexing a plurality of types of data including point cloud data, and outputs the output signal to metadata in the file structure. Information indicating the type of each of the plurality of data included in the signal is stored.
- a three-dimensional data demultiplexing method stores an output signal of a predetermined file structure in which a plurality of types of data including point cloud data are multiplexed, and stores the metadata in the file structure. , Acquiring information indicating the type of each of the plurality of data included in the output signal, and using the information, acquiring the plurality of data from the output signal.
- the present disclosure can provide a three-dimensional data multiplexing method, a three-dimensional data demultiplexing method, a three-dimensional data multiplexing apparatus, or a three-dimensional data demultiplexing apparatus that can appropriately multiplex and transmit point cloud data.
- FIG. 1 is a diagram showing a configuration of a three-dimensional data encoding/decoding system according to an embodiment.
- FIG. 2 is a diagram showing a configuration example of point cloud data according to the embodiment.
- FIG. 3 is a diagram showing a configuration example of a data file in which point cloud data information according to the embodiment is described.
- FIG. 4 is a diagram showing types of point cloud data according to the embodiment.
- FIG. 5 is a diagram showing the configuration of the first encoding unit according to the embodiment.
- FIG. 6 is a block diagram of the first encoding unit according to the embodiment.
- FIG. 7 is a diagram showing the configuration of the first decoding unit according to the embodiment.
- FIG. 8 is a block diagram of the first decoding unit according to the embodiment.
- FIG. 1 is a diagram showing a configuration of a three-dimensional data encoding/decoding system according to an embodiment.
- FIG. 2 is a diagram showing a configuration example of point cloud data according to the embodiment.
- FIG. 9 is a diagram showing the configuration of the second encoding unit according to the embodiment.
- FIG. 10 is a block diagram of the second encoding unit according to the embodiment.
- FIG. 11 is a diagram showing the configuration of the second decoding unit according to the embodiment.
- FIG. 12 is a block diagram of the second decoding unit according to the embodiment.
- FIG. 13 is a diagram showing a protocol stack related to PCC encoded data according to the embodiment.
- FIG. 14 is a diagram illustrating a configuration example of the point cloud data generation device according to the embodiment.
- FIG. 15 is a diagram illustrating a configuration example of the point cloud data generation device according to the embodiment.
- FIG. 16 is a diagram showing a configuration example of the point cloud data generation device according to the embodiment.
- FIG. 17 is a diagram showing a configuration example of the point cloud data encoding system according to the embodiment.
- FIG. 18 is a diagram showing a configuration example of the three-dimensional data multiplexing apparatus according to the embodiment.
- FIG. 19 is a diagram showing a specific example of the three-dimensional data multiplexing apparatus according to the embodiment.
- FIG. 20 is a diagram showing sensor ranges of various sensors according to the embodiment.
- FIG. 21 is a diagram showing another configuration example of the three-dimensional data multiplexing device according to the embodiment.
- FIG. 22 is a diagram showing a protocol for storing a plurality of information in a file format according to the embodiment.
- FIG. 23 is a diagram showing a configuration example of input data according to the embodiment.
- FIG. 24 is a diagram showing a configuration example of the NAL unit according to the embodiment.
- FIG. 25 is a diagram showing a configuration example of the ISOBMFF according to the embodiment.
- FIG. 26 is a diagram showing a configuration example of moov and mdat according to the embodiment.
- FIG. 27 is a diagram showing a configuration example of the configuration information according to the embodiment.
- FIG. 28 is a diagram showing a syntax example of the configuration information according to the embodiment.
- FIG. 29 is a diagram showing a configuration example of mdat according to the embodiment.
- FIG. 30 is a flowchart showing an example of application processing according to the embodiment.
- FIG. 31 is a diagram showing sensor ranges of various sensors according to the embodiment.
- FIG. 32 is a diagram showing a configuration example of the automatic driving system according to the embodiment.
- FIG. 33 is a flowchart of the three-dimensional data multiplexing process according to the embodiment.
- FIG. 34 is a flowchart of the three-dimensional data demultiplexing process according to the embodiment.
- a three-dimensional data multiplexing method generates an output signal of a predetermined file structure by multiplexing a plurality of types of data including point cloud data, and outputs the output signal to metadata in the file structure. Information indicating the type of each of the plurality of data included in the signal is stored.
- the three-dimensional data multiplexing method stores the information indicating the type of each of the plurality of data included in the output signal in the metadata in the file structure. This makes it possible to easily determine the type of each data in the three-dimensional data demultiplexing device that receives the output signal.
- the three-dimensional data multiplexing method can appropriately multiplex and transmit point cloud data.
- the information may indicate (1) the encoding method applied to the data, (2) the configuration of the data, (3) the type of sensor that generated the data, or (4) the data format.
- the metadata may include synchronization information for synchronizing the times of the plurality of data included in the output signal.
- the synchronization information may indicate a time stamp difference between the plurality of data.
- the data amount of the output signal can be reduced.
- a three-dimensional data demultiplexing method stores an output signal of a predetermined file structure in which a plurality of types of data including point cloud data are multiplexed, and stores the metadata in the file structure. , Acquiring information indicating the type of each of the plurality of data included in the output signal, and using the information, acquiring the plurality of data from the output signal.
- the three-dimensional data demultiplexing method can easily determine the type of each data.
- the information may indicate (1) the encoding method applied to the data, (2) the configuration of the data, (3) the type of sensor that generated the data, or (4) the data format.
- the metadata may include synchronization information for synchronizing the times of the plurality of data included in the output signal.
- the three-dimensional data demultiplexing method can synchronize a plurality of data.
- the synchronization information may indicate a time stamp difference between the plurality of data.
- the data amount of the output signal can be reduced.
- a three-dimensional data multiplexing apparatus includes a processor and a memory, and the processor multiplexes multiple types of data including point cloud data using the memory.
- An output signal having a predetermined file structure is generated, and information indicating each type of a plurality of data included in the output signal is stored in the metadata in the file structure.
- the three-dimensional data multiplexing apparatus stores the information indicating the type of each of the plurality of data included in the output signal in the metadata in the file structure. This makes it possible to easily determine the type of each data in the three-dimensional data demultiplexing device that receives the output signal. As described above, the three-dimensional data multiplexing apparatus can appropriately multiplex and transmit the point cloud data.
- a three-dimensional data demultiplexing device includes a processor and a memory, and the processor uses the memory to multiplex multiple types of data including point cloud data. From the output signal of the predetermined file structure, information indicating the type of each of the plurality of data included in the output signal, which is stored in the metadata in the file structure, is obtained, and the output signal is obtained using the information. From the plurality of data.
- the three-dimensional data demultiplexer can easily determine the type of each data.
- a recording medium such as a system, a method, an integrated circuit, a computer program or a computer-readable CD-ROM, and the system, the method, the integrated circuit, the computer program. And may be realized by any combination of recording media.
- FIG. 1 is a diagram showing a configuration example of a three-dimensional data encoding/decoding system according to the present embodiment.
- the 3D data encoding/decoding system includes a 3D data encoding system 4601, a 3D data decoding system 4602, a sensor terminal 4603, and an external connection unit 4604.
- the three-dimensional data encoding system 4601 generates encoded data or multiplexed data by encoding the point group data that is three-dimensional data.
- the three-dimensional data encoding system 4601 may be a three-dimensional data encoding device realized by a single device or a system realized by a plurality of devices. Further, the three-dimensional data encoding device may include a part of a plurality of processing units included in the three-dimensional data encoding system 4601.
- the three-dimensional data encoding system 4601 includes a point cloud data generation system 4611, a presentation unit 4612, an encoding unit 4613, a multiplexing unit 4614, an input/output unit 4615, and a control unit 4616.
- the point cloud data generation system 4611 includes a sensor information acquisition unit 4617 and a point cloud data generation unit 4618.
- the sensor information acquisition unit 4617 acquires sensor information from the sensor terminal 4603 and outputs the sensor information to the point cloud data generation unit 4618.
- the point cloud data generation unit 4618 generates point cloud data from the sensor information and outputs the point cloud data to the encoding unit 4613.
- the presentation unit 4612 presents sensor information or point cloud data to the user. For example, the presentation unit 4612 displays information or images based on sensor information or point cloud data.
- the encoding unit 4613 encodes (compresses) the point cloud data, and outputs the obtained encoded data, the control information obtained in the encoding process, and other additional information to the multiplexing unit 4614.
- the additional information includes, for example, sensor information.
- the multiplexing unit 4614 generates multiplexed data by multiplexing the encoded data input from the encoding unit 4613, the control information, and the additional information.
- the format of the multiplexed data is, for example, a file format for storage or a packet format for transmission.
- the input/output unit 4615 (eg, communication unit or interface) outputs the multiplexed data to the outside.
- the multiplexed data is stored in a storage unit such as an internal memory.
- the control unit 4616 (or the application execution unit) controls each processing unit. That is, the control unit 4616 performs control such as encoding and multiplexing.
- the sensor information may be input to the encoding unit 4613 or the multiplexing unit 4614.
- the input/output unit 4615 may output the point cloud data or the encoded data as it is to the outside.
- the transmission signal (multiplexed data) output from the three-dimensional data encoding system 4601 is input to the three-dimensional data decoding system 4602 via the external connection unit 4604.
- the three-dimensional data decoding system 4602 generates point cloud data that is three-dimensional data by decoding encoded data or multiplexed data.
- the three-dimensional data decoding system 4602 may be a three-dimensional data decoding device realized by a single device or may be a system realized by a plurality of devices.
- the three-dimensional data decoding device may include a part of the plurality of processing units included in the three-dimensional data decoding system 4602.
- the three-dimensional data decoding system 4602 includes a sensor information acquisition unit 4621, an input/output unit 4622, a demultiplexing unit 4623, a decoding unit 4624, a presentation unit 4625, a user interface 4626, and a control unit 4627.
- the sensor information acquisition unit 4621 acquires sensor information from the sensor terminal 4603.
- the input/output unit 4622 acquires the transmission signal, decodes the multiplexed data (file format or packet) from the transmission signal, and outputs the multiplexed data to the demultiplexing unit 4623.
- the demultiplexing unit 4623 acquires encoded data, control information, and additional information from the multiplexed data, and outputs the encoded data, control information, and additional information to the decoding unit 4624.
- the decoding unit 4624 reconstructs the point cloud data by decoding the encoded data.
- the presentation unit 4625 presents the point cloud data to the user. For example, the presentation unit 4625 displays information or an image based on the point cloud data.
- the user interface 4626 acquires an instruction based on a user operation.
- the control unit 4627 (or the application execution unit) controls each processing unit. That is, the control unit 4627 performs control such as demultiplexing, decoding and presentation.
- the input/output unit 4622 may directly acquire the point cloud data or the encoded data from the outside. Further, the presentation unit 4625 may acquire additional information such as sensor information and present the information based on the additional information. Further, the presentation unit 4625 may perform the presentation based on the user's instruction acquired by the user interface 4626.
- the sensor terminal 4603 generates sensor information that is information obtained by the sensor.
- the sensor terminal 4603 is a terminal equipped with a sensor or a camera, and includes, for example, a moving object such as an automobile, a flying object such as an airplane, a mobile terminal, or a camera.
- the sensor information that can be acquired by the sensor terminal 4603 is, for example, (1) LIDAR, a millimeter wave radar, or an infrared sensor, and the distance (positional information) between the sensor terminal 4603 and the object, color, or reflection of the object. Rate, (2) distance (positional information) between a camera and an object obtained from a plurality of monocular camera images or stereo camera images, color, or reflectance of the object.
- the sensor information may include the attitude, orientation, gyro (angular velocity), position (GPS information or altitude), velocity, acceleration, acquisition time of the sensor information, or the like of the sensor.
- the sensor information may include temperature, atmospheric pressure, humidity, magnetism, or the like.
- the external connection unit 4604 is realized by an integrated circuit (LSI or IC), an external storage unit, communication with a cloud server via the Internet, broadcasting, or the like.
- LSI integrated circuit
- IC integrated circuit
- FIG. 2 is a diagram showing the structure of point cloud data.
- FIG. 3 is a diagram showing a configuration example of a data file in which information of point cloud data is described.
- ⁇ Point cloud data includes data of multiple points.
- the data of each point includes position information (three-dimensional coordinates) and attribute information for the position information.
- a set of multiple points is called a point cloud.
- the point cloud indicates a three-dimensional shape of an object (object).
- Positional information such as three-dimensional coordinates is sometimes called geometry.
- the data of each point may include attribute information (attribute) of a plurality of attribute types.
- the attribute type is, for example, color or reflectance.
- One piece of attribute information may be associated with one piece of location information, or one piece of location information may be associated with pieces of attribute information having a plurality of different attribute types. Further, a plurality of pieces of attribute information of the same attribute type may be associated with one piece of position information.
- the configuration example of the data file shown in FIG. 3 is an example in which the position information and the attribute information have a one-to-one correspondence, and shows the position information and the attribute information of N points forming the point cloud data. There is.
- the position information is, for example, information on three axes of x, y, and z.
- the attribute information is, for example, RGB color information.
- a typical file is a ply file.
- FIG. 4 is a diagram showing types of point cloud data. As shown in FIG. 4, the point cloud data includes static objects and dynamic objects.
- Statistic object is 3D point cloud data at any time (at a certain time).
- a dynamic object is three-dimensional point cloud data that changes with time.
- the three-dimensional point cloud data at a certain time will be referred to as a PCC frame or a frame.
- the object may be a point cloud whose area is limited to some extent like normal video data, or a large-scale point cloud whose area is not limited like map information.
- point cloud data of various densities there may be point cloud data of various densities, and sparse point cloud data and dense point cloud data may exist.
- the sensor information is acquired by various methods such as a distance sensor such as a LIDAR or a range finder, a stereo camera, or a combination of a plurality of monocular cameras.
- the point cloud data generation unit 4618 generates point cloud data based on the sensor information obtained by the sensor information acquisition unit 4617.
- the point cloud data generation unit 4618 generates position information as point cloud data and adds attribute information for the position information to the position information.
- the point cloud data generation unit 4618 may process the point cloud data when generating the position information or adding the attribute information. For example, the point cloud data generation unit 4618 may reduce the data amount by deleting the point cloud whose positions overlap. Further, the point cloud data generation unit 4618 may convert the position information (position shift, rotation or normalization), or may render the attribute information.
- point cloud data generation system 4611 is included in the three-dimensional data encoding system 4601 in FIG. 1, it may be independently provided outside the three-dimensional data encoding system 4601.
- the coding unit 4613 generates coded data by coding the point cloud data based on a coding method defined in advance.
- a coding method There are the following two types of encoding methods.
- the first is a coding method using position information, and this coding method will be hereinafter referred to as a first coding method.
- the second is a coding method using a video codec, and this coding method is hereinafter referred to as a second coding method.
- the decoding unit 4624 decodes the point cloud data by decoding the coded data based on the coding method defined in advance.
- the multiplexing unit 4614 generates multiplexed data by multiplexing encoded data using an existing multiplexing method.
- the generated multiplexed data is transmitted or stored.
- the multiplexing unit 4614 multiplexes other media such as video, audio, subtitles, applications, files, or reference time information, in addition to the PCC encoded data.
- the multiplexing unit 4614 may further multiplex attribute information related to the sensor information or the point cloud data.
- ISOBMFF ISOBMFF-based transmission methods such as MPEG-DASH, MMT, MPEG-2 TS Systems, and RMP.
- the demultiplexing unit 4623 extracts PCC encoded data, other media, time information, etc. from the multiplexed data.
- the input/output unit 4615 transmits the multiplexed data using a method suitable for the medium to be transmitted or the medium to be stored, such as broadcasting or communication.
- the input/output unit 4615 may communicate with another device via the Internet, or may communicate with a storage unit such as a cloud server.
- http http, ftp, TCP, UDP or IP is used.
- the PULL type communication method may be used, or the PUSH type communication method may be used.
- Either wired transmission or wireless transmission may be used.
- Ethernet registered trademark
- USB registered trademark
- RS-232C HDMI
- coaxial cable or the like is used.
- wireless transmission 3G/4G/5G, wireless LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark), millimeter wave, or the like defined by the IEEE of 3GPP is used.
- DVB-T2, DVB-S2, DVB-C2, ATSC3.0, ISDB-S3, etc. are used as the broadcasting system.
- FIG. 5 is a diagram showing a configuration of a first encoding unit 4630, which is an example of an encoding unit 4613 that performs encoding of the first encoding method.
- FIG. 6 is a block diagram of the first encoding unit 4630.
- the first coding unit 4630 generates coded data (coded stream) by coding the point cloud data by the first coding method.
- the first coding unit 4630 includes a position information coding unit 4631, an attribute information coding unit 4632, an additional information coding unit 4633, and a multiplexing unit 4634.
- the first encoding unit 4630 has a feature of performing encoding while being aware of the three-dimensional structure.
- the first encoding unit 4630 has a characteristic that the attribute information encoding unit 4632 performs encoding using the information obtained from the position information encoding unit 4631.
- the first encoding method is also called GPCC (Geometry based PCC).
- the point cloud data is PCC point cloud data such as a PLY file, or PCC point cloud data generated from sensor information, and includes position information (Position), attribute information (Attribute), and other additional information (MetaData). including.
- the position information is input to the position information encoding unit 4631, the attribute information is input to the attribute information encoding unit 4632, and the additional information is input to the additional information encoding unit 4633.
- the position information encoding unit 4631 generates encoded position information (Compressed Geometry) that is encoded data by encoding the position information.
- the position information encoding unit 4631 encodes position information using an N-ary tree structure such as an octree. Specifically, in the octree, the target space is divided into eight nodes (subspaces), and 8-bit information (occupancy code) indicating whether or not each node includes a point cloud is generated. .. The node including the point cloud is further divided into eight nodes, and 8-bit information indicating whether or not each of the eight nodes includes the point cloud is generated. This process is repeated until the number of points included in a predetermined layer or node is equal to or less than the threshold value.
- the attribute information encoding unit 4632 generates encoded attribute information (Compressed Attribute) that is encoded data by performing encoding using the configuration information generated by the position information encoding unit 4631. For example, the attribute information encoding unit 4632 determines a reference point (reference node) to be referred to in encoding the target point (target node) to be processed, based on the octree structure generated by the position information encoding unit 4631. To do. For example, the attribute information encoding unit 4632 refers to, among the peripheral nodes or the adjacent nodes, the node whose parent node in the octree is the same as the target node. The method of determining the reference relationship is not limited to this.
- the attribute information encoding process may include at least one of a quantization process, a prediction process, and an arithmetic encoding process.
- the reference refers to using the reference node to calculate the predicted value of the attribute information, or the state of the reference node in determining the coding parameter (for example, an occupancy indicating whether or not the point node is included in the reference node).
- Information for example, the encoding parameter is a quantization parameter in quantization processing, a context in arithmetic encoding, or the like.
- the additional information encoding unit 4633 generates encoded additional information (Compressed MetaData) that is encoded data by encoding compressible data in the additional information.
- compressed MetaData encoded additional information
- the multiplexing unit 4634 multiplexes the coding position information, the coding attribute information, the coding additional information, and other additional information to generate a coded stream (Compressed Stream) that is coded data.
- the generated encoded stream is output to the processing unit of the system layer (not shown).
- FIG. 7 is a diagram showing the configuration of the first decoding unit 4640.
- FIG. 8 is a block diagram of the first decoding unit 4640.
- the first decoding unit 4640 generates point cloud data by decoding the coded data (coded stream) coded by the first coding method by the first coding method.
- the first decoding unit 4640 includes a demultiplexing unit 4641, a position information decoding unit 4642, an attribute information decoding unit 4643, and an additional information decoding unit 4644.
- An encoded stream (Compressed Stream) that is encoded data is input to the first decoding unit 4640 from a processing unit of a system layer (not shown).
- the demultiplexing unit 4641 separates encoded position information (Compressed Geometry), encoded attribute information (Compressed Attribute), encoded additional information (Compressed MetaData), and other additional information from the encoded data.
- the position information decoding unit 4642 generates position information by decoding the coded position information. For example, the position information decoding unit 4642 restores the position information of the point group represented by the three-dimensional coordinates from the encoded position information represented by the N-tree structure such as an octree.
- the attribute information decoding unit 4643 decodes the encoded attribute information based on the configuration information generated by the position information decoding unit 4642. For example, the attribute information decoding unit 4643 determines a reference point (reference node) to be referred in decoding the target point (target node) to be processed, based on the octree structure obtained by the position information decoding unit 4642. For example, the attribute information decoding unit 4643 refers to, among the peripheral nodes or the adjacent nodes, the node whose parent node in the octree is the same as the target node. The method of determining the reference relationship is not limited to this.
- the attribute information decoding process may include at least one of a dequantization process, a prediction process, and an arithmetic decoding process.
- the reference refers to using the reference node to calculate the prediction value of the attribute information, or the state of the reference node in determining the decoding parameter (for example, occupancy information indicating whether the reference node includes a point cloud). ) Is used.
- the decoding parameter is a quantization parameter in inverse quantization processing, a context in arithmetic decoding, or the like.
- the additional information decoding unit 4644 generates additional information by decoding the encoded additional information. Also, the first decoding unit 4640 uses the additional information necessary for the decoding process of the position information and the attribute information at the time of decoding, and outputs the additional information necessary for the application to the outside.
- FIG. 9 is a diagram showing the configuration of the second encoding unit 4650.
- FIG. 10 is a block diagram of the second encoding unit 4650.
- the second coding unit 4650 generates coded data (coded stream) by coding the point cloud data by the second coding method.
- the second encoding unit 4650 includes an additional information generating unit 4651, a position image generating unit 4652, an attribute image generating unit 4653, a video encoding unit 4654, an additional information encoding unit 4655, and a multiplexing unit 4656. Including and
- the second encoding unit 4650 generates a position image and an attribute image by projecting a three-dimensional structure on a two-dimensional image, and encodes the generated position image and the attribute image using an existing video encoding method. It has the feature.
- the second encoding method is also called VPCC (Video based PCC).
- the point cloud data is PCC point cloud data such as a PLY file, or PCC point cloud data generated from sensor information, and includes position information (Position), attribute information (Attribute), and other additional information MetaData). Including.
- the additional information generation unit 4651 generates map information of a plurality of two-dimensional images by projecting the three-dimensional structure on a two-dimensional image.
- the position image generation unit 4652 generates a position image (Geometry Image) based on the position information and the map information generated by the additional information generation unit 4651.
- This position image is, for example, a distance image in which a distance (Depth) is shown as a pixel value.
- this range image may be an image in which a plurality of point groups are viewed from one viewpoint (an image obtained by projecting a plurality of point groups on one two-dimensional plane), or a plurality of point groups from a plurality of viewpoints. It may be a plurality of images viewed, or may be a single image obtained by integrating these plurality of images.
- the attribute image generation unit 4653 generates an attribute image based on the attribute information and the map information generated by the additional information generation unit 4651.
- This attribute image is, for example, an image in which attribute information (for example, color (RGB)) is shown as a pixel value.
- RGB color
- this image may be an image in which a plurality of point clouds are viewed from one viewpoint (an image in which a plurality of point clouds are projected on one two-dimensional plane), or a plurality of point clouds are viewed from a plurality of viewpoints. It may be a plurality of viewed images or one image obtained by integrating these plurality of images.
- the video encoding unit 4654 encodes the position image and the attribute image by using the video encoding method, so that the encoded position image (Compressed Geometry Image) and the encoded attribute image (Compressed Attribute Image) are encoded data. ) Is generated.
- Any known encoding method may be used as the video encoding method.
- the video encoding method is AVC, HEVC, or the like.
- the additional information encoding unit 4655 generates encoded additional information (Compressed MetaData) by encoding the additional information included in the point cloud data, the map information, and the like.
- the multiplexing unit 4656 generates a coded stream (Compressed Stream) that is coded data by multiplexing the coded position image, the coded attribute image, the coded additional information, and other additional information.
- the generated encoded stream is output to the processing unit of the system layer (not shown).
- FIG. 11 is a diagram showing the configuration of the second decoding unit 4660.
- FIG. 12 is a block diagram of the second decoding unit 4660.
- the second decoding unit 4660 generates point cloud data by decoding the coded data (coded stream) coded by the second coding method by the second coding method.
- the second decoding unit 4660 includes a demultiplexing unit 4661, a video decoding unit 4662, an additional information decoding unit 4663, a position information generation unit 4664, and an attribute information generation unit 4665.
- An encoded stream (Compressed Stream), which is encoded data, is input to the second decoding unit 4660 from the processing unit of the system layer (not shown).
- the demultiplexing unit 4661 separates the encoded position image (Compressed Geometry Image), the encoded attribute image (Compressed Attribute Image), the encoded additional information (Compressed MetaData), and other additional information from the encoded data. ..
- the video decoding unit 4662 generates a position image and an attribute image by decoding the encoded position image and the encoded attribute image using the video encoding method.
- Any known encoding method may be used as the video encoding method.
- the video encoding method is AVC, HEVC, or the like.
- the additional information decoding unit 4663 generates additional information including map information by decoding the encoded additional information.
- the position information generation unit 4664 generates position information using the position image and map information.
- the attribute information generation unit 4665 generates attribute information using the attribute image and map information.
- the second decryption unit 4660 uses the additional information required for the decryption at the time of decryption, and outputs the additional information required for the application to the outside.
- FIG. 13 is a diagram showing a protocol stack related to PCC encoded data.
- FIG. 13 shows an example in which PCC encoded data is multiplexed with data of other media such as video (for example, HEVC) or audio, or sensor information, and transmitted or stored.
- the multiplexing method and file format have the function to multiplex various encoded data and transmit or store them.
- the encoded data is converted into a multiplexing format.
- HEVC defines a technique of storing encoded data in a data structure called a NAL unit and storing the NAL unit in ISOBMFF.
- the sensor information may be PCC-coded together with the point cloud data, may be coded using another coding method, and may be directly stored in a multi-layer without being coded. Can also be combined.
- the other encoding method is specifically another three-dimensional encoding method or an encoding method for encoding data obtained by converting point cloud data into two-dimensional or one-dimensional data.
- 14 to 16 are diagrams each showing a configuration example of a point cloud data generation device that generates point cloud data from sensor signals.
- the point cloud data generation device shown in FIG. 14 generates point cloud data from sensor signals obtained from one sensing device 7301.
- the point cloud data generation device shown in FIG. 14 includes a sensing device 7301, a sensor information input unit 7302, and a point cloud data generation unit 7303.
- the sensor information input unit 7302 acquires the sensor signal obtained by the sensing device 7301.
- the point cloud data generation unit 7303 generates point cloud data from the sensor signal acquired by the sensor information input unit 7302. For the generated point cloud data, for example, the point cloud data in the subsequent stage is output to the encoding unit (not shown).
- point cloud data may be generated based on sensor signals obtained from two or more sensing devices.
- the point cloud data generation device shown in FIG. 15 includes sensing devices 7301A and 7301B, sensor information input units 7302A and 7302B, and a point cloud data generation unit 7303A.
- the sensor information input unit 7302A acquires the first sensor signal obtained by the sensing device 7301A.
- the sensor information input unit 7302B acquires the second sensor signal obtained by the sensing device 7301B.
- the point cloud data generation unit 7303A generates point cloud data from the two sensor signals acquired by the sensor information input units 7302A and 7302B. For the generated point cloud data, for example, the point cloud data in the subsequent stage is output to the encoding unit (not shown).
- the point cloud data generation device shown in FIG. 16 includes a sensing device 7301C, a sensor information input unit 7302C, and a point cloud data generation unit 7303C.
- the sensing device 7301C generates a sensor signal by merging two pieces of information sensed using two or more sensing methods by a predetermined method.
- the sensing device 7301C includes sensing units 7304A and 7304B and a merge unit 7305.
- the sensing unit 7304A generates a first sensor signal by the first sensing method.
- the sensing unit 7304B generates a second sensor signal by the second sensing method.
- the merging unit 7305 merges the first sensor signal and the second sensor signal and outputs the generated sensor signal to the sensor information input unit 7302C.
- the merge unit 7305 may select one of the first sensor signal and the second sensor signal based on a predetermined condition and output the selected sensor signal. When merging two sensor signals, the merging unit 7305 may change the weighting coefficient used for merging.
- the merging unit 7305 may determine which sensor signal to select, based on the acquired sensor signal, or based on another sensor signal.
- the first sensing method and the second sensing method may have different sensor parameters, or different sensing frequencies or mechanisms.
- the center signal may include information indicating a sensing method or a parameter at the time of sensing.
- the merging unit 7305 may include information indicating which sensing method is used or data of a determination criterion for switching in the sensor signal.
- the merging unit 7305 may include information for identifying the merged sensing method, merge determination reference data, or a merge coefficient in the sensor signal.
- the sensing device 7301C may output a plurality of sensor signals. Further, the sensing device 7301C may output the absolute value of the first sensor signal and the difference value between the first sensor signal and the second sensor signal as the plurality of sensor signals.
- the sensor signal may include information indicating the relationship between the first sensing method and the second sensing method.
- the sensor signal may include the absolute value or the relative value of the reference position information of the first sensing method and the second sensing method, or the acquisition time of the sensor signal, the reference time information, or the angle of the sensor.
- the information may be included.
- the sensor information input unit 7302C acquires the sensor signal obtained by the sensing device 7301C.
- the point cloud data generation unit 7303C generates point cloud data from the sensor signal acquired by the sensor information input unit 7302C.
- the point cloud data in the subsequent stage is output to the encoding unit (not shown).
- the point cloud data generation device generates the point cloud data based on any one or two or more of the above various sensor signals.
- the point cloud data generation device may correct the position information or the attribute information of the points in the process of generating the point cloud data.
- the point cloud data generation device may have the configuration shown in any of FIGS. 14 to 16 or a combination of a plurality of these.
- the point cloud data generation device may use a fixed method, or may adaptively change the method to be used depending on the purpose or use case of sensing, for example.
- FIG. 17 is a diagram showing a configuration example of the point cloud data encoding system according to the present embodiment.
- the point cloud data encoding system shown in FIG. 17 includes a first device 7310 and a second device 7320.
- the first device 7310 includes a sensing unit 7311 and an output I/F (interface) 7312.
- the second device 7320 includes a sensing unit 7321, an output I/F 7322, an input I/F 7323, and a processing unit 7324.
- the processing unit 7324 includes a point cloud data generation unit 7325 and an encoding unit 7326.
- the sensing unit 7311 or 7321 may be included in the same hardware or device as the processing unit 7324 configured by a CPU or the like, or may be included in different hardware or device.
- the sensing unit 7321 is included in the same device (second device 7320) as the processing unit 7324.
- the output signal of the sensing unit 7321 (referred to as RAW data) is directly input to the point cloud data generation unit 7325.
- the sensing unit 7311 is included in a device (first device 7310) different from the processing unit 7324.
- the RAW data output from the sensing unit 7311 is converted into an input/output format (external output format) at the output I/F 7312, and the formatted signal is input to the second device 7320.
- the input I/F 7323 included in the second device 7320 converts the formatted signal into RAW data, and outputs the obtained RAW data to the point cloud data generation unit 7325.
- the output I/F 7312 and the input I/F 7323 have, for example, the functions of the multiplexing unit 4614 and the input/output unit 4615 shown in FIG.
- an output signal (RAW data) from a sensing unit 7321 included in the same device as the processing unit 7324 is converted into an input/output format by an output I/F7322, and a signal formatted by the input I/F7323 is converted into RAW data. Then, the obtained RAW data may be input to the point cloud data generation unit 7325.
- each signal when transmission is performed using UDP (User Datagram Protocol), each signal may be identified by an IP (Internet Protocol) or a UDP source address or a source port number.
- UDP User Datagram Protocol
- IP Internet Protocol
- the point cloud data generation unit 7325 generates point cloud data using the input RAW data.
- the encoding unit 7326 encodes the generated point cloud data.
- FIG. 18 is a diagram showing a configuration example of the three-dimensional data multiplexing apparatus according to this embodiment.
- the three-dimensional data multiplexing device generates an output signal by encoding and multiplexing various sensor signals, and stores or transmits the generated output signal.
- the three-dimensional data multiplexing apparatus includes sensing units 7331A, 7331B and 7331C, sensor information input units 7332A, 7332B and 7332C, point cloud data generation units 7333A and 7333B, and coding units 7334A and 7334B.
- a synchronization unit 7335 and a multiplexing unit 7336 are shown, but the number of sensing units is not limited to this. Further, as a method of processing the sensor signal from each sensing unit, any combination of the following processing methods can be used.
- the sensor information input unit 7332A acquires the first sensor signal generated by sensing by the sensing unit 7331A.
- the sensor information input unit 7332B acquires the second sensor signal generated by sensing by the sensing unit 7331B.
- the sensor information input unit 7332C acquires the third sensor signal generated by sensing by the sensing unit 7331C.
- the point cloud data generation unit 7333A generates first point cloud data from the first sensor signal.
- the point cloud data generation unit 7333B generates second point cloud data from the second sensor signal.
- the points in the point cloud data generated by the difference in the sensing method used by the sensing unit 7331A and the sensing unit 7331B for example, direction, range, acquirable attribute, frequency, resolution, etc., method or means.
- the range of points, and the attribute information may differ.
- the encoding unit 7334A generates the first encoded data by encoding the first point cloud data.
- the encoding unit 7334B generates second encoded data by encoding the second point cloud data.
- the encoding units 7334A and 7334B apply different encoding methods.
- the coding unit 7334A may use the first coding system and the coding unit 7334B may use the second coding system different from the first coding system.
- the encoding units 7334A and 7334B may use the same encoding method.
- the encoding units 7334A and 7334B may compress position information or attribute information of points in the point cloud data by using entropy encoding or the like.
- the encoding units 7334A and 7334B may store the sensor signal, sensor position information or angle information, time information, or the like as metadata.
- the encoding units 7334A and 7334B use an encoding method suitable for the point cloud data.
- the first encoding method is an encoding method that can expect a high encoding rate for map information or still content
- the second encoding method has a high encoding rate for contents such as AR or VR. This is a promising coding method.
- the encoding units 7334A and 7334B may use an encoding method suitable for the content.
- the first coding scheme is a coding scheme that can expect a high coding rate for a point cloud based on information sensed by a sensing unit such as beam LiDAR
- the second coding scheme Is a coding method that can expect a high coding rate for a point cloud based on information sensed by a sensing unit such as FLASH LiDAR.
- the coding units 7334A and 7334B may use a coding method suitable for the sensing unit.
- the encoding units 7334A and 7334B may use the encoding tool suitable for the content or the sensing unit or the parameter relating to the encoding in the same encoding system, instead of changing the encoding system.
- the generated first coded data and second coded data are input to the multiplexing unit 7336.
- the third sensor signal sensed by the sensing unit 7331C is data that does not need to be encoded.
- the point cloud data is not generated and encoded, and the third sensor signal is directly input to the multiplexing unit 7336. Note that encoding may not be performed for the purpose of low-delay transmission.
- the synchronization unit 7335 has a function of synchronizing a plurality of sensing units.
- the synchronization unit 7335 uses sensing time information, time stamp information, angle information, and the like as information related to synchronization. These pieces of information related to synchronization may be multiplexed into the output signal as a common signal, which is a synchronization signal. Alternatively, information related to these synchronizations may be included in each sensor signal.
- the multiplexing unit 7336 generates an output signal by multiplexing one or more pieces of encoded data, metadata, RAW data of sensor signals, and a synchronization signal. Also, the multiplexing unit 7336 stores information for identifying each data and information indicating the correspondence relationship of each data in the output signal.
- FIG. 19 is a diagram showing a specific example of the three-dimensional data multiplexing device.
- a beam LiDAR is used as the sensing unit 7331A
- a FLASH LiDAR is used as the sensing unit 7331B.
- the range and distance of the point cloud, the resolution, and the like differ depending on the characteristics of LiDAR.
- FIG. 20 is a diagram showing an example of the sensor ranges of the beam LiDAR and the FLASH LiDAR.
- the beam LiDAR detects all directions around the vehicle (sensor)
- the FLASH LiDAR detects a range in one direction (for example, the front) of the vehicle.
- the point cloud data generation unit 7333A generates first point cloud data based on the distance information and the reflectance information for the beam irradiation angle acquired from the beam LiDAR.
- the point cloud data generation unit 7333B generates second point cloud data based on the two-dimensional distance information and reflectance obtained from FLASH LiDAR. Note that the point cloud data generation units 7333A and 7333B may further use the two-dimensional color information acquired by the camera and the like to generate point cloud data having both color information and reflectance.
- an on-vehicle sensor that is a position information sensor such as a 3-axis gyro sensor, a 3-axis acceleration sensor, or GPS is used.
- These pieces of sensor information are sensor information that represents the state of the entire vehicle, and can also be referred to as common information related to the first sensor signal and the second sensor signal.
- These common sensor information may be coded and multiplexed, or may be coded and multiplexed. Further, these pieces of information may be stored and encoded in the first sensor signal or the second sensor signal as additional information common to the point cloud data.
- the common sensor information may be stored in one of the first sensor signal and the second sensor signal. In this case, information indicating in which sensor signal the common sensor information is stored may be indicated in, for example, another sensor signal or a synchronization signal.
- a time stamp based on reference time information such as NTP (Network Time Protocol) or PTP (Precision Time Protocol) is the first point cloud data based on the beam LiDAR and FLASH And the second point cloud data based on LiDAR.
- the time stamps of the respective sensors are synchronized with a common reference time, and are encoded by the encoding units 7334A and 7334B.
- the reference time information indicating the common reference time may be multiplexed as a synchronization signal.
- the reference time information may not be multiplexed.
- a three-dimensional data demultiplexing device acquires respective time stamps from encoded data of a plurality of sensor signals. Since the time stamps are synchronized with a common reference time, the three-dimensional data demultiplexing device operates the decoded data of the plurality of sensor signals based on the respective time stamps to synchronize the plurality of sensors. Can be taken.
- time information corresponding to each of the beam LiDAR and FLASH LiDAR may be set.
- a 3-axis sensor may be provided for each of the beams LiDAR and FLASH LiDAR.
- a common time such as the Internet time is used as each NTP.
- each of the three-axis sensors is pre-calibrated and a plurality of pre-synchronized three-axis sensors are used.
- FIG. 21 is a diagram showing another configuration example of the three-dimensional data multiplexing device.
- the three-dimensional data multiplexing apparatus synchronizes with the sensing units 7341A, 7341B and 7341C, the input/output units 7342A, 7342B and 7342C, the point cloud data generation unit 7343, the coding units 7344A and 7344B.
- the unit 7345 and the multiplexing unit 7346 are provided.
- the input/output unit 7342A acquires the first sensor signal generated by sensing by the sensing unit 7341A.
- the input/output unit 7342B acquires the second sensor signal generated by sensing by the sensing unit 7341B.
- the input/output unit 7342C acquires the third sensor signal generated by sensing by the sensing unit 7341C. Note that the input/output units 7342A, 7342B, and 7342C may each include a memory that stores the acquired sensor signal.
- the point cloud data generation unit 7343 generates first point cloud data from the first sensor signal.
- the encoding unit 7344A generates the first encoded data by encoding the first point cloud data.
- the encoding unit 7344B encodes the second sensor information to generate second encoded data.
- the synchronization unit 7345 has a function of synchronizing a plurality of sensing units.
- the multiplexing unit 7346 multiplexes one or more pieces of encoded data, metadata, RAW data of sensor signals, and a synchronization signal to generate an output signal.
- point cloud data is not generated from the sensor signal (RAW data) obtained by the sensing unit 7341B, and the sensor signal is encoded as RAW data.
- the encoding unit 7344B uses the moving image codec such as AVC or HEVC to detect the second sensor signal. Is encoded. As a result, encoding with high encoding efficiency can be realized. Also, by utilizing the existing codec, it becomes possible to construct a system with low cost.
- the three-dimensional data multiplexing apparatus uses both the means for encoding the point cloud data after conversion and the means for encoding the raw data as it is without converting it to the point cloud data, depending on the sensing unit. , Multiplex each encoded data.
- the predetermined file format is ISOBMFF (ISO based media file format)
- ISOBMFF ISO based media file format
- the file format is not limited to ISOBMFF, and other file formats may be used.
- ISOBMFF is a file format standard defined in ISO/IEC 14496-12.
- ISOBMFF defines a format in which data of various media such as video, audio, and text can be multiplexed and stored, and is a standard independent of media.
- the storage method for each media in ISOBMFF is specified separately.
- the storage method of AVC video and HEVC video is specified in ISO/IEC 14496-15.
- FIG. 22 is a diagram showing a protocol in which a plurality of pieces of sensor information are encoded by various encoding methods and stored in ISOBMFF.
- Data1 to Data5 are sensor data (sensor signals) acquired from various types of sensors, for example, RAW data.
- Data1 and Data2 are converted into a 3D point cloud format and coded using the coding method Codec1 or Codec2 for the 3D point cloud format.
- Data3 and Data4 are converted into a format of 2D data such as an image, and are encoded using the encoding method Codec3 or Codec4 for the 2D data format.
- Each encoded data is converted into NAL unit by a predetermined method and stored in ISOBMFF.
- the NAL unit may have a common format in 3D Format and 2D Format, or may have a different format. Further, the NAL units of different encoding methods may have a common format or different formats.
- the format of the sensor data may be a 1D format or another format other than the 3D and 2D formats mentioned here.
- Data5 is a case where the sensor data acquired from the sensor is directly stored in ISOBMFF without being encoded.
- the three-dimensional data multiplexing device stores a plurality of sensor data in ISOBMFF.
- FIG. 23 is a diagram showing a configuration example of input data to be multiplexed.
- FIG. 24 is a diagram showing a configuration example of the NAL unit.
- FIG. 25 is a diagram showing a configuration example of ISOBMFF.
- FIG. 26 is a diagram showing a configuration example of moov and mdat.
- the encoded data included in the input data is roughly classified into encoded data (Data) and metadata (Meta).
- the metadata includes metadata indicated by a header for each encoded data and metadata stored in an independent NAL unit as a parameter set.
- the metadata may be included in the encoded data.
- the three-dimensional data multiplexer stores the NAL unit and RAW data for each of the plurality of different codecs in one ISOBMFF.
- ISOBMFF has a box structure.
- the ISOBMFF boxes mainly include “moov” and “meta” for storing metadata and “mdat” for storing data.
- Encoded data and RAW data are stored in "mdat” in ISOBMFF in sample units. Further, the metadata in the input data is stored in a predetermined format in “trak” of “moov” in ISOMBFF for each encoded data. The metadata and synchronization information included in the encoded data is also stored in “moov”.
- Information for obtaining data from "mdat” (address information (offset information) of data from the beginning of the file, data size, etc.) is stored in the metadata for each encoded data. Further, “ftyp” indicates a file type of subsequent data.
- units such as “moov” and “mdat” that are divided boxes may be divided and transmitted in time. Further, the divided data units may be interleaved.
- the three-dimensional data multiplexing device defines a box indicating configuration information (hereinafter simply referred to as configuration information), and stores identification information of a plurality of data included in a file in the configuration information. Also, the three-dimensional data multiplexing device stores identification information that can access the metadata of each data in the configuration information.
- FIG. 27 is a diagram showing a configuration example of the configuration information.
- FIG. 28 is a diagram illustrating a syntax example of the configuration information.
- the configuration information indicates information on the contents and components that make up the ISOBMFF file, sensor information when the original data of the component is acquired, format information, and an encoding method.
- the configuration information includes overall configuration information and configuration information for each encoded data.
- the plurality of pieces of configuration information may have the same data structure or box, or may have different data structures or boxes.
- the type in the mp4 box indicates that it is a configuration information box, for example, by 4CC such as “msuc”.
- the overall configuration information (data()) indicates the configuration of a plurality of data with different encoding methods.
- data() includes num_of_data, data_type and data_configuration.
- Num_of_data indicates the number of encoded data and RAW data that make up a file.
- data_type indicates identification information for each data. That is, data_type indicates the type of a plurality of data.
- data_type indicates whether the data is point cloud data or a sensor signal (for example, RAW data). Further, data_type may indicate whether or not the data is encoded. Further, data_type may indicate the encoding method (encoding method) used for encoding the encoded data. The encoding method is, for example, GPPC or VPPC. Further, the coding method may be Codecs 1 to 4 and the like shown in FIG. Also, data_type may indicate information for identifying the configuration information.
- data_type may indicate the type of original data of the point cloud data.
- the type of original data is, for example, the type of sensor that generated the sensor signal (for example, 2D sensor or 3D sensor) when the original data is a sensor signal.
- the data_type may also include information indicating the data format of the sensor signal (for example, 1D information, 2D information, 3D information, or the like).
- data_configuration indicates the configuration information for each data.
- the data_configuration() is configuration information for each encoded data, and includes num_of_component, component_type, and component_id.
- Num_of_component indicates the number of components in the encoded data.
- component_type indicates the type of the component. For example, in the case of PCC encoding, component_type indicates whether the component is a geometry, an attribute, or metadata.
- Component_id indicates a unique identifier for associating the component with other metadata and data.
- the encoding method may be an encoding method used for audio, text, an application, a 360-degree image, etc., in addition to the video codec and the PCC codec.
- the data may be processed data such as mesh or CAD.
- the coding method may be the same codec, or different coding methods of profiles, levels, or tools, and any coding method can be handled in an integrated manner. is there.
- FIG. 29 is a diagram showing a configuration example of the data box “mdat”. Each coded data or RAW data is individually stored in the sample which is the minimum unit of the data box.
- the synchronization information such as the time stamp for each encoded data included in the file is set based on the overall synchronization information such as the common reference time.
- the synchronization information is information that is synchronized with each other.
- the reference time, the time resolution and the time interval in the time stamps of a plurality of encoded data may be aligned, and the synchronization information may be shared by a plurality of encoded data.
- the synchronization information may be stored in any one or more of the synchronization information for each encoded data and the common synchronization information.
- the metadata includes at least one of information indicating a place where the common time information is stored and information indicating that the synchronization information is common.
- the three-dimensional data multiplexing device may store a plurality of synchronized encoded data as one sample.
- the three-dimensional data multiplexing apparatus separately provides difference information indicating the difference between the time stamps of the encoded data.
- the derived difference information may be stored in the output signal.
- the three-dimensional data multiplexing device may store a flag indicating whether or not synchronization is achieved in the output signal.
- the three-dimensional data demultiplexing apparatus encodes each sample by processing the respective samples at the time indicated by the time stamp indicated in the metadata by using the synchronization information of the respective encoded data and the overall synchronization information. Synchronize data.
- FIG. 30 is a flowchart showing an example of application processing.
- the three-dimensional data demultiplexing apparatus acquires an ISOBMFF file including point cloud data and a plurality of encoded data (S7301).
- the three-dimensional data demultiplexing device may obtain the ISOBMFF file by communication or read it from the stored data.
- the three-dimensional data demultiplexing apparatus analyzes the entire configuration information in the ISOBMFF file and specifies the data used for the application (S7302). For example, the three-dimensional data demultiplexing apparatus acquires data used for processing and does not acquire data not used for processing.
- the three-dimensional data demultiplexing apparatus extracts one or more data used for the application and analyzes the configuration information of the data (S7303).
- the three-dimensional data demultiplexing device converts ISOBMFF into an encoded stream and extracts a time stamp (S7305). In addition, the three-dimensional data demultiplexing device determines whether or not the data is synchronized with each other, for example, by referring to a flag indicating whether or not the data is synchronized with each other. Processing may be performed.
- the three-dimensional data demultiplexing apparatus decodes the data by a predetermined method according to the time stamp and other instructions, and processes the decoded data (S7306).
- the three-dimensional data demultiplexing device extracts data and a time stamp (S7307). In addition, the three-dimensional data demultiplexing device determines whether or not the data is synchronized with each other, for example, by referring to a flag indicating whether or not the data is synchronized with each other. Processing may be performed. Next, the three-dimensional data demultiplexer processes the data according to the time stamp and other instructions (S7308).
- FIG. 31 is a diagram showing an example of the beam LiDAR, FLASH LiDAR, and the sensor range of the camera.
- the beam LiDAR detects all directions around the vehicle (sensor), and the FLASH LiDAR and the camera detect a range in one direction (for example, the front) of the vehicle.
- the three-dimensional data demultiplexer refers to the overall configuration information and extracts and decodes the coded data of beam LiDAR and FLASH LiDAR. Also, the three-dimensional data demultiplexer does not extract camera images.
- the three-dimensional data demultiplexer simultaneously processes the encoded data of the same time stamp according to the LiDAR and FLASH LiDAR time stamps.
- the three-dimensional data demultiplexing device may present the processed data with a presentation device, combine the beam cloud data of the beam LiDAR and FLASH LiDAR, and perform processing such as rendering.
- the three-dimensional data demultiplexing device may extract sensor position information and use it in the application.
- the three-dimensional data demultiplexer may select whether to use the beam LiDAR information or FLASH LiDAR in the application and switch the processing according to the selection result.
- the data acquisition and code processing can be changed adaptively according to the processing of the application, so the processing amount and power consumption can be reduced.
- FIG. 32 is a diagram showing a configuration example of the automatic driving system.
- This automatic driving system includes a cloud server 7350 and an edge 7360 such as an in-vehicle device or a mobile device.
- the cloud server 7350 includes a demultiplexing unit 7351, decoding units 7352A, 7352B and 7355, a point cloud data combining unit 7353, a large-scale data storage unit 7354, a comparing unit 7356, and an encoding unit 7357.
- the edge 7360 includes sensors 7361A and 7361B, point cloud data generation units 7362A and 7362B, a synchronization unit 7363, encoding units 7364A and 7364B, a multiplexing unit 7365, an update data storage unit 7366, and a demultiplexing unit. 7367, the decoding part 7368, the filter 7369, the self-position estimation part 7370, and the driving control part 7371.
- the edge 7360 downloads large-scale data that is large-scale point cloud map data accumulated in the cloud server 7350.
- the edge 7360 performs self-position estimation processing of the edge 7360 (vehicle or terminal) by matching the large-scale data with the sensor information obtained by the edge 7360.
- the edge 7360 also uploads the acquired sensor information to the cloud server 7350 and updates the large-scale data with the latest map data.
- point cloud data with different encoding methods are handled in various applications that handle point cloud data in the system.
- the cloud server 7350 encodes and multiplexes large-scale data. Specifically, the encoding unit 7357 performs encoding using the third encoding method suitable for encoding the large scale point cloud. Also, the encoding unit 7357 multiplexes the encoded data.
- the large-scale data storage unit 7354 stores the data encoded and multiplexed by the encoding unit 7357.
- Edge 7360 performs sensing.
- the point cloud data generation unit 7362A uses the sensing information acquired by the sensor 7361A to generate the first point cloud data (position information (geometry) and attribute information).
- the point cloud data generation unit 7362B uses the sensing information acquired by the sensor 7361B to generate second point cloud data (position information and attribute information).
- the generated first point cloud data and second point cloud data are used for self-position estimation in automatic driving, vehicle control, or map update. In each processing, a part of the information of the first point cloud data and the second point cloud data may be used.
- Edge 7360 performs self-position estimation. Specifically, the edge 7360 downloads large-scale data from the cloud server 7350.
- the demultiplexing unit 7367 obtains encoded data by demultiplexing large-scale data in the file format.
- the decoding unit 7368 acquires large-scale data that is large-scale point cloud map data by decoding the acquired encoded data.
- the self-position estimation unit 7370 matches the acquired large-scale data with the first point cloud data and the second point cloud data generated by the point cloud data generation units 7362A and 7362B, to thereby map the vehicle map. Estimate the self-position at.
- the driving control unit 7371 uses the matching result or the self-position estimation result for driving control.
- the self-position estimation unit 7370 and the operation control unit 7371 may extract specific information such as position information from the large-scale data and perform processing using the extracted information. Further, the filter 7369 performs processing such as correction or thinning on the first point cloud data and the second point cloud data.
- the self-position estimation unit 7370 and the operation control unit 7371 may use the first point cloud data and the second point cloud data after the processing is performed.
- the self-position estimation unit 7370 and the operation control unit 7371 may use the sensor signals obtained by the sensors 7361A and 7361B.
- the synchronization unit 7363 performs time synchronization and position correction between data of a plurality of sensor signals or a plurality of point cloud data.
- the synchronization unit 7363 corrects the position information of the sensor signal or the point cloud data so as to match the large-scale data, based on the position correction information of the large-scale data and the sensor data generated by the self-position estimation process. Good.
- the synchronization and position correction may be performed by the cloud server 7350 instead of the edge 7360.
- the edge 7360 may multiplex the synchronization information and the position information and transmit the multiplexed information to the cloud server 7350.
- Edge 7360 is. Encode and multiplex sensor signals or point cloud data.
- the sensor signal or the point cloud data is encoded using the first encoding method or the second encoding method suitable for encoding the respective signals.
- the encoding unit 7364A generates the first encoded data by encoding the first point cloud data using the first encoding method.
- the encoding unit 7364B generates the second encoded data by encoding the second point cloud data using the second encoding method.
- the multiplexing unit 7365 generates a multiplexed signal by multiplexing the first coded data, the second coded data, the synchronization information and the like.
- the update data storage unit 7366 stores the generated multiplexed signal. Also, the update data storage unit 7366 uploads the multiplexed signal to the cloud server 7350.
- the cloud server 7350 synthesizes the point cloud data. Specifically, the demultiplexing unit 7351 obtains the first coded data and the second coded data by demultiplexing the multiplexed signal uploaded to the cloud server 7350.
- the decoding unit 7352A acquires the first point cloud data (or the sensor signal) by decoding the first encoded data.
- the decoding unit 7352B acquires the second point cloud data (or the sensor signal) by decoding the second encoded data.
- the point cloud data synthesis unit 7353 synthesizes the first point cloud data and the second point cloud data by a predetermined method.
- the point cloud data combination unit 7353 may perform the combination using the information.
- the decryption unit 7355 demultiplexes and decrypts the large-scale data stored in the large-scale data storage unit 7354.
- the comparison unit 7356 compares the point cloud data generated based on the sensor signal obtained at the edge 7360 and the large-scale data included in the cloud server 7350, and determines the point cloud data that needs to be updated.
- the comparing unit 7356 updates the point cloud data determined to be necessary to be updated from the large-scale data to the point cloud data obtained from the edge 7360.
- the encoding unit 7357 encodes and multiplexes the updated large-scale data, and stores the obtained data in the large-scale data storage unit 7354.
- the signals to be handled may differ, and the signals to be multiplexed or the encoding method may differ, depending on the intended use or application. Even in such a case, flexible decoding and application processing can be performed by multiplexing data of various encoding methods using the present embodiment. Even if the signal encoding method is different, various applications and systems can be constructed by converting the appropriate encoding method by demultiplexing, decoding, data conversion, encoding, and multiplexing processing. It will be possible to provide flexible services.
- the three-dimensional data multiplexing apparatus performs the processing shown in FIG.
- the three-dimensional data multiplexing device generates an output signal having a predetermined file structure (for example, ISOBMFF) by multiplexing a plurality of types of data including point cloud data (S7311).
- the three-dimensional data multiplexing device stores information (for example, data_type) indicating the type of each of the plurality of data included in the output signal in the metadata (control information) in the file configuration (S7312).
- the 3D data multiplexing device stores information indicating the type of each of the plurality of data included in the output signal in the metadata in the file configuration. This makes it possible to easily determine the type of each data in the three-dimensional data demultiplexing device that receives the output signal.
- the three-dimensional data multiplexing method can appropriately multiplex and transmit point cloud data.
- the information indicating the type of each of the plurality of data includes (1) the encoding method applied to the data, (2) the structure of the data, (3) the type of sensor that generated the data, or (4) the data format. Indicates.
- the metadata in the file structure includes synchronization information for synchronizing the times of a plurality of data included in the output signal.
- a plurality of data can be synchronized in the three-dimensional data demultiplexing device that receives the output signal.
- the synchronization information indicates the time stamp difference between a plurality of data. According to this, the data amount of the output signal can be reduced.
- the three-dimensional data multiplexing device includes a processor and a memory, and the processor uses the memory to perform the above processing.
- the three-dimensional data demultiplexing apparatus performs the processing shown in FIG.
- the three-dimensional data demultiplexer converts an output signal of a predetermined file structure (for example, ISOBMFF) in which a plurality of types of data including point cloud data are multiplexed into an output signal stored in metadata in the file structure.
- Information for example, data_type
- the three-dimensional data demultiplexer acquires a plurality of data from the output signal by using the information indicating the type of each of the plurality of data (S7322).
- the three-dimensional data demultiplexing apparatus selectively acquires the necessary data from the output signal using the information indicating the type of each of the plurality of data. According to this, the three-dimensional data demultiplexing device can easily determine the type of each data.
- the information indicating the type of each of the plurality of data includes (1) the encoding method applied to the data, (2) the structure of the data, (3) the type of sensor that generated the data, or (4) the data format. Indicates.
- the metadata in the file structure includes synchronization information for synchronizing the times of a plurality of data included in the output signal.
- a three-dimensional data demultiplexer synchronizes a plurality of data using synchronization information.
- the synchronization information indicates the time stamp difference between a plurality of data.
- the synchronization information includes information indicating a time stamp of any of the plurality of data, and the three-dimensional data demultiplexer adds the difference indicated by the synchronization information to any time stamp of the plurality of data. Then, the time stamp of the other data of the plurality of data is restored. As a result, the data amount of the output signal can be reduced.
- the three-dimensional data demultiplexing device includes a processor and a memory, and the processor uses the memory to perform the above processing.
- the three-dimensional data multiplexing device, the three-dimensional data demultiplexing device, the three-dimensional data encoding device, the three-dimensional data decoding device, and the like according to the embodiments of the present disclosure have been described above. It is not limited to the form.
- each processing unit included in the three-dimensional data multiplexing device, the three-dimensional data demultiplexing device, the three-dimensional data encoding device, the three-dimensional data decoding device, and the like according to the above embodiments is typically an integrated circuit. It is realized as a certain LSI. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
- the integrated circuit is not limited to the LSI, and it may be realized by a dedicated circuit or a general-purpose processor.
- An FPGA Field Programmable Gate Array
- a reconfigurable processor that can reconfigure connection and settings of circuit cells inside the LSI may be used.
- each component may be configured by dedicated hardware, or may be realized by executing a software program suitable for each component.
- Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory.
- the present disclosure also discloses a three-dimensional data multiplexing method, a three-dimensional data demultiplexing apparatus, a three-dimensional data demultiplexing apparatus, a three-dimensional data encoding apparatus, a three-dimensional data decoding apparatus, and the like. It may be realized as an encoding method, a three-dimensional data encoding method, a three-dimensional data decoding method, or the like.
- the division of functional blocks in the block diagram is an example, and multiple functional blocks can be implemented as one functional block, one functional block can be divided into multiple, and some functions can be transferred to other functional blocks. May be. Further, the functions of a plurality of functional blocks having similar functions may be processed in parallel or in time division by a single piece of hardware or software.
- the order in which the steps in the flowchart are executed is an example for specifically describing the present disclosure, and may be an order other than the above.
- some of the above steps may be executed simultaneously (in parallel) with other steps.
- the three-dimensional data multiplexing device, the three-dimensional data demultiplexing device, the three-dimensional data encoding device, the three-dimensional data decoding device, and the like have been described above based on the embodiments.
- the present disclosure is not limited to this embodiment. As long as it does not depart from the gist of the present disclosure, various modifications that can be conceived by those skilled in the art are made to the present embodiment, and forms constructed by combining components in different embodiments are also within the scope of one or more aspects. May be included within.
- the present disclosure can be applied to a three-dimensional data multiplexing device, a three-dimensional data demultiplexing device, a three-dimensional data encoding device, and a three-dimensional data decoding device.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
三次元データ符号化方法は、点群データを含む複数種類のデータを多重化することで所定のファイル構成の出力信号を生成し(S7311)、前記ファイル構成におけるメタデータに出力信号に含まれる複数のデータの各々の種別を示す情報を格納する(S7312)。例えば、前記情報は、(1)データに適用された符号化方式、(2)データの構成、(3)データを生成したセンサの種類、又は(4)データフォーマットを示してもよい。
Description
本開示は、三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置に関する。
自動車或いはロボットが自律的に動作するためのコンピュータビジョン、マップ情報、監視、インフラ点検、又は、映像配信など、幅広い分野において、今後、三次元データを活用した装置又はサービスの普及が見込まれる。三次元データは、レンジファインダなどの距離センサ、ステレオカメラ、又は複数の単眼カメラの組み合わせなど様々な方法で取得される。
三次元データの表現方法の1つとして、三次元空間内の点群によって三次元構造の形状を表すポイントクラウドと呼ばれる表現方法がある。ポイントクラウドでは、点群の位置と色とが格納される。ポイントクラウドは三次元データの表現方法として主流になると予想されるが、点群はデータ量が非常に大きい。よって、三次元データの蓄積又は伝送においては二次元の動画像(一例として、MPEGで規格化されたMPEG-4 AVC又はHEVCなどがある)と同様に、符号化によるデータ量の圧縮が必須となる。
また、ポイントクラウドの圧縮については、ポイントクラウド関連の処理を行う公開のライブラリ(Point Cloud Library)などによって一部サポートされている。
また、三次元の地図データを用いて、車両周辺に位置する施設を検索し、表示する技術が知られている(例えば、特許文献1参照)。
また、点群(ポイントクラウド)データを多重化して送信する手法が求められている。
本開示は、適切に点群データを多重化して送信できる三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、又は三次元データ逆多重化装置を提供することを目的とする。
本開示の一態様に係る三次元データ多重化方法は、点群データを含む複数種類のデータを多重化することで所定のファイル構成の出力信号を生成し、前記ファイル構成におけるメタデータに前記出力信号に含まれる複数のデータの各々の種別を示す情報を格納する。
本開示の一態様に係る三次元データ逆多重化方法は、点群データを含む複数種類のデータが多重化された所定のファイル構成の出力信号から、前記ファイル構成におけるメタデータに格納されている、前記出力信号に含まれる複数のデータの各々の種別を示す情報を取得し、前記情報を用いて、前記出力信号から前記複数のデータを取得する。
本開示は、適切に点群データを多重化して送信できる三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、又は三次元データ逆多重化装置を提供できる。
本開示の一態様に係る三次元データ多重化方法は、点群データを含む複数種類のデータを多重化することで所定のファイル構成の出力信号を生成し、前記ファイル構成におけるメタデータに前記出力信号に含まれる複数のデータの各々の種別を示す情報を格納する。
これによれば、当該三次元データ多重化方法は、ファイル構成におけるメタデータに出力信号に含まれる複数のデータの各々の種別を示す情報を格納する。これにより、当該出力信号を受信する三次元データ逆多重化装置において、容易に各データの種別を判定できる。このように、当該三次元データ多重化方法は、適切に点群データを多重化して送信できる。
例えば、前記情報は、(1)データに適用された符号化方式、(2)データの構成、(3)データを生成したセンサの種類、又は(4)データフォーマットを示してもよい。
例えば、前記メタデータは、前記出力信号に含まれる前記複数のデータの時刻を同期させるための同期情報を含んでもよい。
これによれば、当該出力信号を受信する三次元データ逆多重化装置において、複数のデータを同期させることができる。
例えば、前記同期情報は、前記複数のデータ間におけるタイムスタンプの差分を示してもよい。
これによれば、出力信号のデータ量を削減できる。
本開示の一態様に係る三次元データ逆多重化方法は、点群データを含む複数種類のデータが多重化された所定のファイル構成の出力信号から、前記ファイル構成におけるメタデータに格納されている、前記出力信号に含まれる複数のデータの各々の種別を示す情報を取得し、前記情報を用いて、前記出力信号から前記複数のデータを取得する。
これによれば、当該三次元データ逆多重化方法は、容易に各データの種別を判定できる。
例えば、前記情報は、(1)データに適用された符号化方式、(2)データの構成、(3)データを生成したセンサの種類、又は(4)データフォーマットを示してもよい。
例えば、前記メタデータは、前記出力信号に含まれる前記複数のデータの時刻を同期させるための同期情報を含んでもよい。
これによれば、当該三次元データ逆多重化方法は、複数のデータを同期させることができる。
例えば、前記同期情報は、前記複数のデータ間におけるタイムスタンプの差分を示してもよい。
これによれば、出力信号のデータ量を削減できる。
また、本開示の一態様に係る三次元データ多重化装置は、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、点群データを含む複数種類のデータを多重化することで所定のファイル構成の出力信号を生成し、前記ファイル構成におけるメタデータに前記出力信号に含まれる複数のデータの各々の種別を示す情報を格納する。
これによれば、当該三次元データ多重化装置は、ファイル構成におけるメタデータに出力信号に含まれる複数のデータの各々の種別を示す情報を格納する。これにより、当該出力信号を受信する三次元データ逆多重化装置において、容易に各データの種別を判定できる。このように、当該三次元データ多重化装置は、適切に点群データを多重化して送信できる。
また、本開示の一態様に係る三次元データ逆多重化装置は、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、点群データを含む複数種類のデータが多重化された所定のファイル構成の出力信号から、前記ファイル構成におけるメタデータに格納されている、前記出力信号に含まれる複数のデータの各々の種別を示す情報を取得し、前記情報を用いて、前記出力信号から前記複数のデータを取得する。
これによれば、当該三次元データ逆多重化装置は、容易に各データの種別を判定できる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態)
まず、本実施の形態に係る三次元データ(点群データ)符号化復号システムの構成を説明する。図1は、本実施の形態に係る三次元データ符号化復号システムの構成例を示す図である。図1に示すように、三次元データ符号化復号システムは、三次元データ符号化システム4601と、三次元データ復号システム4602と、センサ端末4603と、外部接続部4604とを含む。
まず、本実施の形態に係る三次元データ(点群データ)符号化復号システムの構成を説明する。図1は、本実施の形態に係る三次元データ符号化復号システムの構成例を示す図である。図1に示すように、三次元データ符号化復号システムは、三次元データ符号化システム4601と、三次元データ復号システム4602と、センサ端末4603と、外部接続部4604とを含む。
三次元データ符号化システム4601は、三次元データである点群データを符号化することで符号化データ又は多重化データを生成する。なお、三次元データ符号化システム4601は、単一の装置により実現される三次元データ符号化装置であってもよいし、複数の装置により実現されるシステムであってもよい。また、三次元データ符号化装置は、三次元データ符号化システム4601に含まれる複数の処理部のうち一部を含んでもよい。
三次元データ符号化システム4601は、点群データ生成システム4611と、提示部4612と、符号化部4613と、多重化部4614と、入出力部4615と、制御部4616とを含む。点群データ生成システム4611は、センサ情報取得部4617と、点群データ生成部4618とを含む。
センサ情報取得部4617は、センサ端末4603からセンサ情報を取得し、センサ情報を点群データ生成部4618に出力する。点群データ生成部4618は、センサ情報から点群データを生成し、点群データを符号化部4613へ出力する。
提示部4612は、センサ情報又は点群データをユーザに提示する。例えば、提示部4612は、センサ情報又は点群データに基づく情報又は画像を表示する。
符号化部4613は、点群データを符号化(圧縮)し、得られた符号化データと、符号化過程において得られた制御情報と、その他の付加情報とを多重化部4614へ出力する。付加情報は、例えば、センサ情報を含む。
多重化部4614は、符号化部4613から入力された符号化データと、制御情報と、付加情報とを多重することで多重化データを生成する。多重化データのフォーマットは、例えば蓄積のためのファイルフォーマット、又は伝送のためのパケットフォーマットである。
入出力部4615(例えば、通信部又はインタフェース)は、多重化データを外部へ出力する。または、多重化データは、内部メモリ等の蓄積部に蓄積される。制御部4616(またはアプリ実行部)は、各処理部を制御する。つまり、制御部4616は、符号化及び多重化等の制御を行う。
なお、センサ情報が符号化部4613又は多重化部4614へ入力されてもよい。また、入出力部4615は、点群データ又は符号化データをそのまま外部へ出力してもよい。
三次元データ符号化システム4601から出力された伝送信号(多重化データ)は、外部接続部4604を介して、三次元データ復号システム4602に入力される。
三次元データ復号システム4602は、符号化データ又は多重化データを復号することで三次元データである点群データを生成する。なお、三次元データ復号システム4602は、単一の装置により実現される三次元データ復号装置であってもよいし、複数の装置により実現されるシステムであってもよい。また、三次元データ復号装置は、三次元データ復号システム4602に含まれる複数の処理部のうち一部を含んでもよい。
三次元データ復号システム4602は、センサ情報取得部4621と、入出力部4622と、逆多重化部4623と、復号部4624と、提示部4625と、ユーザインタフェース4626と、制御部4627とを含む。
センサ情報取得部4621は、センサ端末4603からセンサ情報を取得する。
入出力部4622は、伝送信号を取得し、伝送信号から多重化データ(ファイルフォーマット又はパケット)を復号し、多重化データを逆多重化部4623へ出力する。
逆多重化部4623は、多重化データから符号化データ、制御情報及び付加情報を取得し、符号化データ、制御情報及び付加情報を復号部4624へ出力する。
復号部4624は、符号化データを復号することで点群データを再構成する。
提示部4625は、点群データをユーザに提示する。例えば、提示部4625は、点群データに基づく情報又は画像を表示する。ユーザインタフェース4626は、ユーザの操作に基づく指示を取得する。制御部4627(またはアプリ実行部)は、各処理部を制御する。つまり、制御部4627は、逆多重化、復号及び提示等の制御を行う。
なお、入出力部4622は、点群データ又は符号化データをそのまま外部から取得してもよい。また、提示部4625は、センサ情報などの付加情報を取得し、付加情報に基づいた情報を提示してもよい。また、提示部4625は、ユーザインタフェース4626で取得されたユーザの指示に基づき、提示を行ってもよい。
センサ端末4603は、センサで得られた情報であるセンサ情報を生成する。センサ端末4603は、センサ又はカメラを搭載した端末であり、例えば、自動車などの移動体、飛行機などの飛行物体、携帯端末、又はカメラなどがある。
センサ端末4603で取得可能なセンサ情報は、例えば、(1)LIDAR、ミリ波レーダ、又は赤外線センサから得られる、センサ端末4603と対象物との距離(位置情報)、色、又は対象物の反射率、(2)複数の単眼カメラ画像又はステレオカメラ画像から得られるカメラと対象物との距離(位置情報)、色又は対象物の反射率等である。また、センサ情報は、センサの姿勢、向き、ジャイロ(角速度)、位置(GPS情報又は高度)、速度、加速度、又はセンサ情報の取得時刻等を含んでもよい。また、センサ情報は、気温、気圧、湿度、又は磁気等を含んでもよい。
外部接続部4604は、集積回路(LSI又はIC)、外部蓄積部、インターネットを介したクラウドサーバとの通信、又は、放送等により実現される。
次に、点群データについて説明する。図2は、点群データの構成を示す図である。図3は、点群データの情報が記述されたデータファイルの構成例を示す図である。
点群データは、複数の点のデータを含む。各点のデータは、位置情報(三次元座標)、及びその位置情報に対する属性情報とを含む。この点が複数集まったものを点群と呼ぶ。例えば、点群は対象物(オブジェクト)の三次元形状を示す。
三次元座標等の位置情報(Position)をジオメトリ(geometry)と呼ぶこともある。また、各点のデータは、複数の属性種別の属性情報(attribute)を含んでもよい。属性種別は、例えば色又は反射率などである。
1つの位置情報に対して1つの属性情報が対応付けられてもよいし、1つの位置情報に対して複数の異なる属性種別を持つ属性情報が対応付けられてもよい。また、1つの位置情報に対して同じ属性種別の属性情報が複数対応付けられてもよい。
図3に示すデータファイルの構成例は、位置情報と属性情報とが1対1に対応する場合の例であり、点群データを構成するN個の点の位置情報と属性情報とを示している。
位置情報は、例えば、x、y、zの3軸の情報である。属性情報は、例えば、RGBの色情報である。代表的なデータファイルとしてplyファイルなどがある。
次に、点群データの種類について説明する。図4は、点群データの種類を示す図である。図4に示すように、点群データには、静的オブジェクトと、動的オブジェクトとがある。
静的オブジェクトは、任意の時間(ある時刻)の三次元点群データである。動的オブジェクトは、時間的に変化する三次元点群データである。以降、ある時刻の三次元点群データをPCCフレーム、又はフレームと呼ぶ。
オブジェクトは、通常の映像データのように、ある程度領域が制限されている点群であってもよいし、地図情報のように領域が制限されていない大規模点群であってもよい。
また、様々な密度の点群データがあり、疎な点群データと、密な点群データとが存在してもよい。
以下、各処理部の詳細について説明する。センサ情報は、LIDAR或いはレンジファインダなどの距離センサ、ステレオカメラ、又は、複数の単眼カメラの組合せなど様々な方法で取得される。点群データ生成部4618は、センサ情報取得部4617で得られたセンサ情報に基づき点群データを生成する。点群データ生成部4618は、点群データとして、位置情報を生成し、位置情報に、当該位置情報に対する属性情報を付加する。
点群データ生成部4618は、位置情報の生成又は属性情報の付加の際に、点群データを加工してもよい。例えば、点群データ生成部4618は、位置が重複する点群を削除することでデータ量を減らしてもよい。また、点群データ生成部4618は、位置情報を変換(位置シフト、回転又は正規化など)してもよいし、属性情報をレンダリングしてもよい。
なお、図1では、点群データ生成システム4611は、三次元データ符号化システム4601に含まれるが、三次元データ符号化システム4601の外部に独立して設けられてもよい。
符号化部4613は、点群データを予め規定された符号化方法に基づき符号化することで符号化データを生成する。符号化方法には大きく以下の2種類がある。一つ目は、位置情報を用いた符号化方法であり、この符号化方法を、以降、第1の符号化方法と記載する。二つ目は、ビデオコーデックを用いた符号化方法であり、この符号化方法を、以降、第2の符号化方法と記載する。
復号部4624は、符号化データを予め規定された符号化方法に基づき復号することで点群データを復号する。
多重化部4614は、符号化データを、既存の多重化方式を用いて多重化することで多重化データを生成する。生成された多重化データは、伝送又は蓄積される。多重化部4614は、PCC符号化データの他に、映像、音声、字幕、アプリケーション、ファイルなどの他のメディア、又は基準時刻情報を多重化する。また、多重化部4614は、さらに、センサ情報又は点群データに関連する属性情報を多重してもよい。
多重化方式又はファイルフォーマットとしては、ISOBMFF、ISOBMFFベースの伝送方式であるMPEG-DASH、MMT、MPEG-2 TS Systems、RMPなどがある。
逆多重化部4623は、多重化データからPCC符号化データ、その他のメディア、及び時刻情報などを抽出する。
入出力部4615は、多重化データを、放送又は通信など、伝送する媒体又は蓄積する媒体にあわせた方法を用いて伝送する。入出力部4615は、インターネット経由で他のデバイスと通信してもよいし、クラウドサーバなどの蓄積部と通信してもよい。
通信プロトコルとしては、http、ftp、TCP、UDP又はIPなどが用いられる。PULL型の通信方式が用いられてもよいし、PUSH型の通信方式が用いられてもよい。
有線伝送及び無線伝送のいずれが用いられてもよい。有線伝送としては、Ethernet(登録商標)、USB、RS-232C、HDMI(登録商標)、又は同軸ケーブルなどが用いられる。無線伝送としては、3GPPのIEEEで規定される3G/4G/5G、無線LAN、Wi-Fi(登録商標)、Bluetooth(登録商標)又はミリ波などが用いられる。
また、放送方式としては、例えばDVB-T2、DVB-S2、DVB-C2、ATSC3.0、又はISDB-S3などが用いられる。
図5は、第1の符号化方法の符号化を行う符号化部4613の例である第1の符号化部4630の構成を示す図である。図6は、第1の符号化部4630のブロック図である。第1の符号化部4630は、点群データを第1の符号化方法で符号化することで符号化データ(符号化ストリーム)を生成する。この第1の符号化部4630は、位置情報符号化部4631と、属性情報符号化部4632と、付加情報符号化部4633と、多重化部4634とを含む。
第1の符号化部4630は、三次元構造を意識して符号化を行うという特徴を有する。また、第1の符号化部4630は、属性情報符号化部4632が、位置情報符号化部4631から得られる情報を用いて符号を行うという特徴を有する。第1の符号化方法は、GPCC(Geometry based PCC)とも呼ばれる。
点群データは、PLYファイルのようなPCC点群データ、又は、センサ情報から生成されたPCC点群データであり、位置情報(Position)、属性情報(Attribute)、及びその他の付加情報(MetaData)を含む。位置情報は位置情報符号化部4631に入力され、属性情報は属性情報符号化部4632に入力され、付加情報は付加情報符号化部4633に入力される。
位置情報符号化部4631は、位置情報を符号化することで符号化データである符号化位置情報(Compressed Geometry)を生成する。例えば、位置情報符号化部4631は、8分木等のN分木構造を用いて位置情報を符号化する。具体的には、8分木では、対象空間が8個のノード(サブ空間)に分割され、各ノードに点群が含まれるか否かを示す8ビットの情報(オキュパンシー符号)が生成される。また、点群が含まれるノードは、さらに、8個のノードに分割され、当該8個のノードの各々に点群が含まれるか否かを示す8ビットの情報が生成される。この処理が、予め定められた階層又はノードに含まれる点群の数の閾値以下になるまで繰り返される。
属性情報符号化部4632は、位置情報符号化部4631で生成された構成情報を用いて符号化することで符号化データである符号化属性情報(Compressed Attribute)を生成する。例えば、属性情報符号化部4632は、位置情報符号化部4631で生成された8分木構造に基づき、処理対象の対象点(対象ノード)の符号化において参照する参照点(参照ノード)を決定する。例えば、属性情報符号化部4632は、周辺ノード又は隣接ノードのうち、8分木における親ノードが対象ノードと同一のノードを参照する。なお、参照関係の決定方法はこれに限らない。
また、属性情報の符号化処理は、量子化処理、予測処理、及び算術符号化処理のうち少なくとも一つを含んでもよい。この場合、参照とは、属性情報の予測値の算出に参照ノードを用いること、又は、符号化のパラメータの決定に参照ノードの状態(例えば、参照ノードに点群が含まれる否かを示す占有情報)を用いること、である。例えば、符号化のパラメータとは、量子化処理における量子化パラメータ、又は算術符号化におけるコンテキスト等である。
付加情報符号化部4633は、付加情報のうち、圧縮可能なデータを符号化することで符号化データである符号化付加情報(Compressed MetaData)を生成する。
多重化部4634は、符号化位置情報、符号化属性情報、符号化付加情報及びその他の付加情報を多重化することで符号化データである符号化ストリーム(Compressed Stream)を生成する。生成された符号化ストリームは、図示しないシステムレイヤの処理部へ出力される。
次に、第1の符号化方法の復号を行う復号部4624の例である第1の復号部4640について説明する。図7は、第1の復号部4640の構成を示す図である。図8は、第1の復号部4640のブロック図である。第1の復号部4640は、第1の符号化方法で符号化された符号化データ(符号化ストリーム)を、第1の符号化方法で復号することで点群データを生成する。この第1の復号部4640は、逆多重化部4641と、位置情報復号部4642と、属性情報復号部4643と、付加情報復号部4644とを含む。
図示しないシステムレイヤの処理部から符号化データである符号化ストリーム(Compressed Stream)が第1の復号部4640に入力される。
逆多重化部4641は、符号化データから、符号化位置情報(Compressed Geometry)、符号化属性情報(Compressed Attribute)、符号化付加情報(Compressed MetaData)、及び、その他の付加情報を分離する。
位置情報復号部4642は、符号化位置情報を復号することで位置情報を生成する。例えば、位置情報復号部4642は、8分木等のN分木構造で表される符号化位置情報から三次元座標で表される点群の位置情報を復元する。
属性情報復号部4643は、位置情報復号部4642で生成された構成情報に基づき、符号化属性情報を復号する。例えば、属性情報復号部4643は、位置情報復号部4642で得られた8分木構造に基づき、処理対象の対象点(対象ノード)の復号において参照する参照点(参照ノード)を決定する。例えば、属性情報復号部4643は、周辺ノード又は隣接ノードのうち、8分木における親ノードが対象ノードと同一のノードを参照する。なお、参照関係の決定方法はこれに限らない。
また、属性情報の復号処理は、逆量子化処理、予測処理、及び算術復号処理のうち少なくとも一つを含んでもよい。この場合、参照とは、属性情報の予測値の算出に参照ノードを用いること、又は、復号のパラメータの決定に参照ノードの状態(例えば、参照ノードに点群が含まれる否かを示す占有情報)を用いること、である。例えば、復号のパラメータとは、逆量子化処理における量子化パラメータ、又は算術復号におけるコンテキスト等である。
付加情報復号部4644は、符号化付加情報を復号することで付加情報を生成する。また、第1の復号部4640は、位置情報及び属性情報の復号処理に必要な付加情報を復号時に使用し、アプリケーションに必要な付加情報を外部に出力する。
次に、第2の符号化方法の符号化を行う符号化部4613の例である第2の符号化部4650について説明する。図9は、第2の符号化部4650の構成を示す図である。図10は、第2の符号化部4650のブロック図である。
第2の符号化部4650は、点群データを第2の符号化方法で符号化することで符号化データ(符号化ストリーム)を生成する。この第2の符号化部4650は、付加情報生成部4651と、位置画像生成部4652と、属性画像生成部4653と、映像符号化部4654と、付加情報符号化部4655と、多重化部4656とを含む。
第2の符号化部4650は、三次元構造を二次元画像に投影することで位置画像及び属性画像を生成し、生成した位置画像及び属性画像を既存の映像符号化方式を用いて符号化するという特徴を有する。第2の符号化方法は、VPCC(Video based PCC)とも呼ばれる。
点群データは、PLYファイルのようなPCC点群データ、又は、センサ情報から生成されたPCC点群データであり、位置情報(Position)、属性情報(Attribute)、及びその他の付加情報MetaData)を含む。
付加情報生成部4651は、三次元構造を二次元画像に投影することで、複数の二次元画像のマップ情報を生成する。
位置画像生成部4652は、位置情報と、付加情報生成部4651で生成されたマップ情報とに基づき、位置画像(Geometry Image)を生成する。この位置画像は、例えば、画素値として距離(Depth)が示される距離画像である。なお、この距離画像は、一つの視点から複数の点群を見た画像(一つの二次元平面に複数の点群を投影した画像)であってもよいし、複数の視点から複数の点群を見た複数の画像であってもよいし、これらの複数の画像を統合した一つの画像であってもよい。
属性画像生成部4653は、属性情報と、付加情報生成部4651で生成されたマップ情報とに基づき、属性画像を生成する。この属性画像は、例えば、画素値として属性情報(例えば色(RGB))が示される画像である。なお、この画像は、一つの視点から複数の点群を見た画像(一つの二次元平面に複数の点群を投影した画像)であってもよいし、複数の視点から複数の点群を見た複数の画像であってもよいし、これらの複数の画像を統合した一つの画像であってもよい。
映像符号化部4654は、位置画像及び属性画像を、映像符号化方式を用いて符号化することで、符号化データである符号化位置画像(Compressed Geometry Image)及び符号化属性画像(Compressed Attribute Image)を生成する。なお、映像符号化方式として、公知の任意の符号化方法が用いられてよい。例えば、映像符号化方式は、AVC又はHEVC等である。
付加情報符号化部4655は、点群データに含まれる付加情報、及びマップ情報等を符号化することで符号化付加情報(Compressed MetaData)を生成する。
多重化部4656は、符号化位置画像、符号化属性画像、符号化付加情報、及び、その他の付加情報を多重化することで符号化データである符号化ストリーム(Compressed Stream)を生成する。生成された符号化ストリームは、図示しないシステムレイヤの処理部へ出力される。
次に、第2の符号化方法の復号を行う復号部4624の例である第2の復号部4660について説明する。図11は、第2の復号部4660の構成を示す図である。図12は、第2の復号部4660のブロック図である。第2の復号部4660は、第2の符号化方法で符号化された符号化データ(符号化ストリーム)を、第2の符号化方法で復号することで点群データを生成する。この第2の復号部4660は、逆多重化部4661と、映像復号部4662と、付加情報復号部4663と、位置情報生成部4664と、属性情報生成部4665とを含む。
図示しないシステムレイヤの処理部から符号化データである符号化ストリーム(Compressed Stream)が第2の復号部4660に入力される。
逆多重化部4661は、符号化データから、符号化位置画像(Compressed Geometry Image)、符号化属性画像(Compressed Attribute Image)、符号化付加情報(Compressed MetaData)、及び、その他の付加情報を分離する。
映像復号部4662は、符号化位置画像及び符号化属性画像を、映像符号化方式を用いて復号することで、位置画像及び属性画像を生成する。なお、映像符号化方式として、公知の任意の符号化方式が用いられてよい。例えば、映像符号化方式は、AVC又はHEVC等である。
付加情報復号部4663は、符号化付加情報を復号することで、マップ情報等を含む付加情報を生成する。
位置情報生成部4664は、位置画像とマップ情報とを用いて位置情報を生成する。属性情報生成部4665は、属性画像とマップ情報とを用いて属性情報を生成する。
第2の復号部4660は、復号に必要な付加情報を復号時に使用し、アプリケーションに必要な付加情報を外部に出力する。
以下、PCC符号化方式について説明する。図13は、PCC符号化データに関わるプロトコルスタックを示す図である。図13には、PCC符号化データに、映像(例えばHEVC)或いは音声などの他のメディアのデータ、又はセンサ情報を多重し、伝送又は蓄積する例を示す。
多重化方式及びファイルフォーマットは、様々な符号化データを多重し、伝送又は蓄積するための機能を有している。符号化データを伝送又は蓄積するために、符号化データを多重化方式のフォーマットに変換する。例えば、HEVCでは、NALユニットと呼ばれるデータ構造に符号化データを格納し、NALユニットをISOBMFFに格納する技術が規定されている。
PCCにおいても同様の構成が想定される。センサ情報は、点群データとともに、PCC符号化される場合もあれば、別の符号化方法をもちいて符号化される場合、符号化されずに直接多重レイヤに格納される場合があり、それらを組み合わせることもできる。別の符号化方法とは、具体的には、別の三次元符号化方法、又は、点群データを二次元或いは一次元データに変換したデータを符号化する符号化方法である。
以下、センサ信号(センサ情報とも呼ぶ)から点群データを生成する構成の例を説明する。図14~図16は、それぞれセンサ信号から点群データを生成する点群データ生成装置の構成例を示す図である。
図14に示す点群データ生成装置は、1つのセンシングデバイス7301から得られるセンサ信号から点群データを生成する。図14に示す点群データ生成装置は、センシングデバイス7301と、センサ情報入力部7302と、点群データ生成部7303とを備える。センサ情報入力部7302は、センシングデバイス7301で得られたセンサ信号を取得する。点群データ生成部7303は、センサ情報入力部7302が取得したセンサ信号から点群データを生成する。生成された点群データは、例えば、後段の点群データを符号化部(図示せず)に出力される。
図15に示すように、2以上のセンシングデバイスから得られるセンサ信号に基づき点群データが生成されてもよい。図15に示す点群データ生成装置は、センシングデバイス7301A及び7301Bと、センサ情報入力部7302A及び7302Bと、点群データ生成部7303Aとを備える。センサ情報入力部7302Aは、センシングデバイス7301Aで得られた第1のセンサ信号を取得する。センサ情報入力部7302Bは、センシングデバイス7301Bで得られた第2のセンサ信号を取得する。点群データ生成部7303Aは、センサ情報入力部7302A及び7302Bが取得した2つのセンサ信号から点群データを生成する。生成された点群データは、例えば、後段の点群データを符号化部(図示せず)に出力される。
図16に示す点群データ生成装置は、センシングデバイス7301Cと、センサ情報入力部7302Cと、点群データ生成部7303Cとを備える。センシングデバイス7301Cは、2以上のセンシング方法を用いてセンシングされた2つの情報を所定の方法でマージしたセンサ信号を生成する。センシングデバイス7301Cは、センシング部7304A及び7304Bと、マージ部7305とを備える。
センシング部7304Aは、第1のセンシング方法により第1のセンサ信号を生成する。センシング部7304Bは、第2のセンシング方法により第2のセンサ信号を生成する。マージ部7305は、第1のセンサ信号と第2のセンサ信号とをマージし、生成したセンサ信号をセンサ情報入力部7302Cに出力する。
なお、マージ部7305は、所定の条件に基づき第1のセンサ信号と第2のセンサ信号との一方を選択し、選択したセンサ信号を出力してもよい。また、マージ部7305は、2つのセンサ信号をマージする場合は、マージに使用する重み係数を変化させてもよい。
例えば、マージ部7305は、いずれのセンサ信号を選択するかの判定を、取得したセンサ信号に基づき行ってもよいし、別のセンサ信号に基づき行ってもよい。
例えば、第1のセンシング方法と第2のセンシング方法とは、センサのパラメータが異なってもよいし、センシングの周波数又は機構が異なってもよい。また、センタ信号は、センシング方法又はセンシングの際のパラメータなどを示す情報を含んでもよい。
マージ部7305は、複数のセンシング方法を切り替える場合には、どのセンシング方法を用いたかを示す情報、又は切り替えの判定基準のデータをセンサ信号に含めてもよい。マージ部7305は、センサ信号をマージする場合には、マージしたセンシング方法を識別するための情報、マージの判定基準のデータ、又はマージ係数をセンサ信号に含めてもよい。
また、センシングデバイス7301Cは、複数のセンサ信号を出力してもよい。また、センシングデバイス7301Cは、複数のセンサ信号として、第1のセンサ信号の絶対値と、第1のセンサ信号と第2のセンサ信号との差分値とを出力してもよい。
また、センサ信号は、第1のセンシング方法と第2のセンシング方法との関係を示す情報を含んでもよい。例えば、センサ信号は、第1のセンシング方法と第2のセンシング方法との基準位置情報の絶対値、又は相対値を含んでもよいし、センサ信号の取得時間、基準時刻情報、又はセンサの角度を示す情報を含んでもよい。これらの情報がセンサ信号に含まれることで、後段の処理においてこれらの情報に基づき2つのセンサ信号の関係の補正又は合成が可能となる。
センサ情報入力部7302Cは、センシングデバイス7301Cで得られたセンサ信号を取得する。点群データ生成部7303Cは、センサ情報入力部7302Cが取得したセンサ信号から点群データを生成する。生成された点群データは、例えば、後段の点群データを符号化部(図示せず)に出力される。
このように、点群データ生成装置は、上記の様々なセンサ信号のうち、いずれか一つ又は2以上のセンサ信号に基づき点群データを生成する。なお、点群データ生成装置は、点群データの生成過程において点の位置情報又は属性情報を補正してもよい。
なお、点群データ生成装置は、図14~図16のいずれかに示す構成でもよいし、これらのうちの複数を組み合わせた構成であってもよい。また、点群データ生成装置は、固定的な方法を用いてもよいし、例えば、センシングの目的又はユースケースに応じて、用いる方法を適応的に変化させてもよい。
次に、本実施の形態に係る点群データ符号化システムの構成例を説明する。図17は、本実施の形態に係る点群データ符号化システムの構成例を示す図である。図17に示す点群データ符号化システムは、第1のデバイス7310と、第2のデバイス7320とを含む。
第1のデバイス7310は、センシング部7311と出力I/F(インタフェース)7312とを含む。第2のデバイス7320は、センシング部7321と、出力I/F7322と、入力I/F7323と、処理部7324とを含む。処理部7324は、点群データ生成部7325と、符号化部7326とを含む。
センシング部7311又は7321は、CPUなどで構成される処理部7324と同一のハードウェア又はデバイスに含まれてもよいし、異なるハードウェア又はデバイスに含まれてもよい。
センシング部7321は、処理部7324と同一のデバイス(第2のデバイス7320)に含まれる。この場合、センシング部7321の出力信号(RAWデータと呼ぶ)はそのまま点群データ生成部7325に入力される。
センシング部7311は、処理部7324と異なるデバイス(第1のデバイス7310)に含まれる。この場合、センシング部7311から出力されるRAWデータは、出力I/F7312において入出力フォーマット(外部出力フォーマット)に変換され、フォーマット化された信号が第2のデバイス7320へ入力される。第2のデバイス7320に含まれる入力I/F7323は、フォーマット化された信号をRAWデータに変換し、得られたRAWデータを点群データ生成部7325へ出力する。出力I/F7312及び入力I/F7323は、例えば、図1に示す多重化部4614及び入出力部4615の機能を有する。
また、処理部7324と同一デバイスに含まれるセンシング部7321からの出力信号(RAWデータ)を出力I/F7322で入出力フォーマットに変換し、入力I/F7323においてフォーマット化された信号をRAWデータに変換し、得られたRAWデータが点群データ生成部7325へ入力されてもよい。
また、複数のセンサ信号が入力される場合において、例えば、他のデバイスから入力されるセンサ信号と同一デバイスから入力されるセンサ信号とが混在する場合は、これらのセンサ信号が同一のフォーマットに変換されてもよい。また、変換の際、それぞれの信号には信号を特定できる識別子が付与されてもよい。例えば、UDP(User Datagram Protocol)を用いて送信が行われる場合、各信号は、IP(Internet Protocol)又はUDPの送信元アドレス又は送信元ポート番号で識別されてもよい。これにより、点群データ生成部7325へ入力されるフォーマットを統一できるので、信号の制御が容易となる。
点群データ生成部7325は、入力されたRAWデータを用いて点群データを生成する。符号化部7326は、生成された点群データを符号化する。
次に、本実施の形態に係る三次元データ多重化装置(三次元データ多重化システム)の構成例を説明する。図18は、本実施の形態に係る三次元データ多重化装置の構成例を示す図である。三次元データ多重化装置は、様々なセンサ信号を符号化及び多重化することで出力信号を生成し、生成された出力信号を蓄積又は伝送する。
図18に示すように三次元データ多重化装置は、センシング部7331A、7331B及び7331Cと、センサ情報入力部7332A、7332B及び7332Cと、点群データ生成部7333A及び7333Bと、符号化部7334A及び7334Bと、同期部7335と、多重化部7336とを備える。ここでは3つのセンシング部が用いられる例を示すが、センシング部の数はこれに限定されない。また、各センシング部からセンサ信号の処理方法についても下記の処理方法の任意の組み合わせを用いることができる。
センサ情報入力部7332Aは、センシング部7331Aでセンシングにより生成された第1のセンサ信号を取得する。センサ情報入力部7332Bは、センシング部7331Bでセンシングにより生成された第2のセンサ信号を取得する。センサ情報入力部7332Cは、センシング部7331Cでセンシングにより生成された第3のセンサ信号を取得する。
点群データ生成部7333Aは、第1のセンサ信号から第1の点群データを生成する。点群データ生成部7333Bは、第2のセンサ信号から第2の点群データを生成する。このとき、センシング部7331Aとセンシング部7331Bとで用いられるセンシング方法の違い(例えば、方向、範囲、取得可能な属性、周波数、分解能等、方法、又は手段)により、生成される点群データにおける点の数、点の範囲、属性情報が異なる場合がある。
符号化部7334Aは、第1の点群データを符号化することで第1の符号化データを生成する。符号化部7334Bは、第2の点群データを符号化することで第2の符号化データを生成する。例えば、符号化部7334Aと符号化部7334Bとは、互いに異なる符号化方法を適用する。例えば、符号化部7334Aは第1の符号化方式を用い、符号化部7334Bは第1の符号化方式と異なる第2の符号化方式を用いてもよい。なお、符号化部7334Aと符号化部7334Bとは、同一の符号化方式を用いてもよい。
符号化部7334A及び7334Bは、点群データにおける点の位置情報又は属性情報をエントロピー符号化などを用いて圧縮してもよい。また、符号化部7334A及び7334Bは、センサ信号、センサの位置情報或いは角度情報、又は時刻情報などをメタデータとして格納してもよい。
符号化部7334A及び7334Bは、点群データに適した符号化方式を用いる。例えば、第1の符号化方式は、地図情報又は静止コンテンツで高い符号化率を期待できる符号化方式であり、第2の符号化方式は、AR又はVRのようなコンテンツで高い符号化率を期待できる符号化方式である。この場合、符号化部7334A及び7334Bは、コンテンツに適した符号化方式を用いてもよい。
あるいは、例えば、第1の符号化方式は、ビームLiDARのようなセンシング部でセンシングされた情報に基づく点群に対して高い符号化率を期待できる符号化方式であり、第2の符号化方式は、FLASH LiDARのようなセンシング部でセンシングされた情報に基づく点群に対して高い符号化率を期待できる符号化方式である。この場合、符号化部7334A及び7334Bは、センシング部に適した符号化方式を用いてもよい。
また、符号化部7334A及び7334Bは、符号化方式を変更するのではなく、同一の符号化方式においてコンテンツ又はセンシング部に適した符号化ツール又は符号化に関わるパラメータを用いてもよい。
生成された第1の符号化データ及び第2の符号化データは、多重化部7336に入力される。例えば、センシング部7331Cでセンシングされた第3のセンサ信号は、符号化の必要がないデータである。この場合、点群データの生成及び符号化は行われず、第3のセンサ信号がそのまま多重化部7336に入力される。なお、低遅延な伝送を目的として符号化が行われなくてもよい。
同期部7335は、複数のセンシング部を同期させるための機能を持つ。例えば、同期部7335は、同期に関わる情報として、センシングの時刻情報、タイムスタンプ情報、及び角度情報などを用いる。これらの同期に関わる情報は、共通の情報である同期信号として出力信号に多重化されてもよい。または、これらの同期に関わる情報は、各センサ信号に含まれてもよい。
多重化部7336は、1以上の符号化データ、メタデータ、センサ信号のRAWデータ、及び同期信号を多重化することで出力信号を生成する。また、多重化部7336は、それぞれのデータを識別するための情報、及び各データの対応関係を示す情報を出力信号に格納する。
図19は、三次元データ多重化装置の具体例を示す図である。図19に示すように、センシング部7331AとしてビームLiDARが用いられ、センシング部7331BとしてFLASH LiDARが用いられる。LiDARの特性に応じて、点群の範囲及び距離、並びに解像度などが異なる。図20は、ビームLiDAR及びFLASH LiDARのセンサ範囲の例を示す図である。例えば、ビームLiDARは、車両(センサ)の周囲の全方向を検知し、FLASH LiDARは、車両の一方向(例えば前方)の範囲を検知する。
点群データ生成部7333Aは、ビームLiDARから取得されるビーム照射角に対する距離情報及び反射率情報に基づき第1の点群データを生成する。点群データ生成部7333Bは、FLASH LiDARから得られる二次元の距離情報及び反射率に基づき第2の点群データを生成する。なお、点群データ生成部7333A及び7333Bは、さらにカメラで取得される二次元の色情報などを併用し、色情報と反射率との両方を持つ点群データを生成してもよい。
また、センシング部7331Cとして、3軸ジャイロセンサ、3軸加速度センサ又はGPSなどの位置情報センサである車載センサが用いられる。これらのセンサ情報は、車全体の状態を表すセンサ情報であり、第1のセンサ信号及び第2のセンサ信号に関連する共通の情報ということもできる。これらの共通のセンサ情報は、符号化されて多重化されてもよいし、符号されずに多重化されてもよい。また、これらの情報は、点群データに共通の付加情報として第1のセンサ信号や第2のセンサ信号に格納され符号化されてもよい。または、共通のセンサ情報は、第1のセンサ信号と第2のセンサ信号との一方のセンサ信号に格納されてもよい。この場合、共通のセンサ情報がいずれのセンサ信号に格納されているかを示す情報が、例えばその他のセンサ信号又は同期信号に示されてもよい。
また、センサを取得する時刻に関する情報として、例えばNTP(Network Time Protocol)又はPTP(Precision Time Protocol)などの基準時刻情報に基づいたタイムスタンプが、ビームLiDARに基づく第1の点群データと、FLASH LiDARに基づく第2の点群データとに付与される。それぞれセンサのタイムスタンプは、共通の基準時刻に同期するものであり、符号化部7334A及び7334Bで符号化される。
また、共通の基準時刻を示す基準時刻情報は、同期信号として多重化されてもよい。基準時刻情報は多重されなくてもよい。三次元データ逆多重化装置(三次元データ復号装置)は、複数のセンサ信号の符号化データからそれぞれのタイムスタンプを取得する。タイムスタンプは共通の基準時刻に同期しているため、三次元データ逆多重化装置は、複数のセンサ信号の復号データを、それぞれのタイムスタンプに基づき動作させることで、複数のセンサ間の同期をとることができる。
なお、ビームLiDAR及びFLASH LiDAR毎にそれぞれ対応する時刻情報が設定されてもよい。また、ビームLiDAR及びFLASH LiDAR毎にそれぞれ3軸センサが設けられてもよい。その場合、それぞれのNTPとしてインターネット時刻などの共通の時刻が用いられる。また、それぞれの3軸センサが、予めキャリブレーションされ、予め同期された複数の3軸センサが用いられる。
図21は、三次元データ多重化装置の別の構成例を示す図である。図21に示すように三次元データ多重化装置は、センシング部7341A、7341B及び7341Cと、入出力部7342A、7342B及び7342Cと、点群データ生成部7343と、符号化部7344A及び7344Bと、同期部7345と、多重化部7346とを備える。
入出力部7342Aは、センシング部7341Aでセンシングにより生成された第1のセンサ信号を取得する。入出力部7342Bは、センシング部7341Bでセンシングにより生成された第2のセンサ信号を取得する。入出力部7342Cは、センシング部7341Cでセンシングにより生成された第3のセンサ信号を取得する。なお、入出力部7342A、7342B及び7342Cは、取得したセンサ信号を蓄積するメモリを有してもよい。
点群データ生成部7343は、第1のセンサ信号から第1の点群データを生成する。符号化部7344Aは、第1の点群データを符号化することで第1の符号化データを生成する。符号化部7344Bは、第2のセンサ情報を符号化することで第2の符号化データを生成する。
同期部7345は、複数のセンシング部を同期させるための機能を持つ。多重化部7346は、1以上の符号化データ、メタデータ、センサ信号のRAWデータ、及び同期信号を多重化することで出力信号を生成する。
このように、図21に示す構成では、センシング部7341Bで得られるセンサ信号(RAWデータ)から点群データは生成されず、センサ信号はRAWデータのまま符号化される。例えば、第2のセンサ信号が、FLASH LiDAR、又はカメラなどCMOSセンサで得られる二次元の情報である場合、符号化部7344Bは、AVC又はHEVCなどの動画像コーデックを用いて第2のセンサ信号を符号化する。これにより、符号化効率の高い符号化を実現できる。また、既存コーデックを活用することでコストの安いシステム構築が可能となる。
このように、三次元データ多重化装置は、センシング部に応じて、点群データを変換後に符号化する手段と、点群データに変換せずにRAWデータのまま符号化する手段とを併用し、それぞれの符号化データを多重化する。
次に、多重化により所定のファイルフォーマットの出力信号を生成する手法の例を説明する。以下では、所定のファイルフォーマットがISOBMFF(ISO based media file format)である場合の例を説明する。なお、ファイルフォーマットはISOBMFFに限定されず、他のファイルフォーマットが用いられてもよい。
ISOBMFFは、ISO/IEC14496-12に規定されるファイルフォーマット規格である。ISOBMFFは、ビデオ、オーディオ、及びテキストなど様々なメディアのデータを多重して格納できるフォーマットを規定しており、メディアに依存しない規格である。
ISOBMFFへのメディア毎の格納方法は別途規定されている。例えば、AVCビデオ及びHEVCビデオの格納方法は、ISO/IEC14496-15に規定される。
一方で、複数のセンサ情報(センサ信号)から取得されたデータの符号化データをISOBMFFに格納する方法が必要である。図22は、複数のセンサ情報を、様々な符号化方法でそれぞれ符号化し、ISOBMFFへ格納するプロトコルを示す図である。
Data1~Data5は、それぞれ様々な種類のセンサから取得されたセンサデータ(センサ信号)であり、例えばRAWデータ等である。Data1とData2は3D点群フォーマットに変換され、3D点群フォーマット用の符号化方法Codec1又はCodec2を用いて符号化される。また、Data3とData4は画像などの2Dデータのフォーマットに変換され、2Dデータフォーマット用の符号化方法Codec3又はCodec4を用いて符号化される。
それぞれの符号化データは、所定の方法でNALユニットに変換されてISOBMFFに格納される。なお、NALユニットは、3DFormat及び2DFormatで共通の形式であってもよいし、異なる形式であってもよい。また、異なる符号化方法のNALユニットは共通の形式であってもよいし、異なる形式であってもよい。なお、センサデータのフォーマットは、ここにあげる3D及び2Dフォーマット以外にも、1Dのフォーマット、又はその他のフォーマットであってもよい。
Data5は、センサから取得されたセンサデータを符号化せずに直接ISOBMFFに格納する場合である。
これらのデータの任意の組み合わせのデータを統合的に格納するフォーマットを提供することにより、複数のセンサを扱うシステムのデータの管理が容易となり、様々な機能を実現することが可能となる。
次に、ISOBMFFの構成を説明する。三次元データ多重化装置は、複数のセンサデータをISOBMFFへ格納する。図23は、多重化対象の入力データの構成例を示す図である。図24は、NALユニットの構成例を示す図である。図25は、ISOBMFFの構成例を示す図である。図26は、moov及びmdatの構成例を示す図である。
入力データに含まれる符号化データは、主に符号化データ(Data)とメタデータ(Meta)に大別される。メタデータとしては、符号化データ毎のヘッダで示されるメタデータと、パラメータセットとして独立のNALユニットに格納されるメタデータとがある。また、メタデータが符号化データに含まれる場合もある。三次元データ多重化装置は、これらの複数の異なるコーデック毎のNALユニット及びRAWデータを一つのISOBMFFへ格納する。
ISOBMFFはボックス構造で構成される。ISOBMFFのボックスとして、主にメタデータを格納する「moov」及び「meta」と、データを格納する「mdat」とがある。
符号化データ及びRAWデータはISOBMFFにおける「mdat」にサンプル単位で格納される。また、入力データにおけるメタデータは、符号化データ毎に、ISOMBFFにおける「moov」の「trak」に所定のフォーマットで格納される。符号化データ内に含まれるメタデータ及び同期情報も「moov」内に格納される。
「mdat」からデータを取得するための情報(ファイル先頭からのデータのアドレス情報(オフセット情報)及びデータのサイズなど)は、符号化データ毎のメタデータに格納される。また、「ftyp」には後続のデータのファイルタイプ等が示される。
なお、フォーマットおよびボックス名は、ここに挙げたもの以外でもよく、同じ機能を有するものであればよい。
また、リアルタイム通信などのユースケースにおいては、「moov」及び「mdat」のようなボックスを分割した単位が時間的に分けて送信されてもよい。また、分割した単位のデータがインターリーブされてもよい。
三次元データ多重化装置は、構成情報を示すボックス(以下単に構成情報と記す)を定義し、ファイルに含まれる複数のデータの識別情報を構成情報に格納する。また、三次元データ多重化装置は、それぞれのデータのメタデータにアクセス可能な識別情報を構成情報に格納する。
図27は、構成情報の構成例を示す図である。図28は、構成情報のシンタックス例を示す図である。
構成情報は、ISOBMFFファイルを構成するコンテンツ及びコンポーネントの情報、コンポーネントの元データを取得した際のセンサ情報、フォーマット情報、並びに、符号化方法などを示す。
図27に示すように、構成情報は、全体構成情報と、符号化データ毎の構成情報とを含む。複数の構成情報は、同一のデータ構造又はボックスであってもよいし、異なるデータ構造又はボックスであってもよい。
mp4ボックスにおけるtypeには、構成情報ボックスであることが、例えば「msuc」などの4CCで示される。全体構成情報(data())には、符号化方式の異なる複数のデータの構成が示される。data()は、num_of_data、data_type及びdata_configurationを含む。
num_of_dataは、ファイルを構成する符号化データ及びRAWデータの数を示す。data_typeは、データ毎の識別情報を示す。つまり、data_typeは、複数のデータの種別を示す。
具体的には、data_typeは、データが点群データであるか、センサ信号(例えばRAWデータ)であるかを示す。また、data_typeは、データが符号化されているか否かを示してもよい。また、data_typeは、符号化データの符号化に用いられた符号化方法(符号化方式)を示してもよい。符号化方法とは、例えば、GPPC又はVPPC等である。また、符号化方法は、図22に示すCodec1~4等であってもよい。また、data_typeは、構成情報を識別するための情報を示してもよい。
また、data_typeは、点群データの元データの種別を示してもよい。元データの種別とは、元データがセンサ信号である場合の、センサ信号を生成したセンサの種類(例えば2Dセンサか3Dセンサかなど)等である。また、data_typeは、センサ信号のデータフォーマット(例えば1D情報か2D情報か3D情報かなど)を示す情報を含んでもよい。
例えば、data_type=0はPCC Codec1を示し、data_type=1はPCC Codec2を示し、data_type=2はVideo Codec3を示し、data_type=4は、3D軸センサ RAWデータを示す。data_configurationは、データ毎の構成情報を示す。
data_configuration()は、符号化データ毎の構成情報であり、num_of_componentと、component_typeと、component_idとを含む。
num_of_componentは、符号化データ内のコンポーネントの数を示す。component_typeは、コンポーネントのタイプを示す。例えばPCC符号化の場合は、component_typeは、コンポーネントが、ジオメトリであるか属性であるかメタデータであるかを示す。
component_idは、コンポーネントを他のメタデータ及びデータと紐付けるための一意の識別子を示す。
なお、符号化の方法は、ビデオコーデック及びPCCコーデック以外にも、オーディオ、テキスト、アプリケーション、又は360度画像などに用いられる符号化方法であってもよい。また、データは、メッシュ又はCADなどの加工されたデータであってもよい。また、符号化の方法は、同一のコーデックであってもよいし、プロファイル、レベル又はツールの異なる符号化方法であってもよく、いかなる符号化方法であっても統合的に扱うことが可能である。
このように、三次元データ逆多重化装置において復号した点群データをアプリケーションで活用するために必要なデータを一つのファイルに多重することで、アプリケーションで取り扱うファイル管理及び同期管理を容易化できる。
図29は、データボックス「mdat」の構成例を示す図である。データボックスの最小単位であるサンプルに、それぞれの符号化データ又はRAWデータが個別に格納される。
また、ファイルに含まれる符号化データ毎のタイムスタンプなどの同期情報は、共通の基準時刻などの全体同期情報に基づき設定される。また、同期情報は、それぞれ同期がとれている情報とする。
また、例えば、複数の符号化データのタイムスタンプにおける基準時刻、時間分解能及び時間間隔を揃え、同期情報を複数の符号化データで共通化してもよい。その場合、同期情報は、符号化データ毎の同期情報と共通の同期情報のいずれか1以上に格納すればよい。その場合、メタデータは、共通の時刻情報が格納されている場所を示す情報、及び同期情報が共通であることを示す情報の少なくとも一方を含む。
また、符号化データ間で同期がとれている場合には、三次元データ多重化装置は、同期がとれている複数の符号化データを一つのサンプルとして格納してもよい。一方、複数の符号化データで、基準時刻、時間分解能及び時間間隔の少なくとも一つが揃っていない場合は、三次元データ多重化装置は、別途符号化データ間のタイムスタンプの差分を示す差分情報を導出し、導出した差分情報を出力信号に格納してもよい。また、三次元データ多重化装置は、同期がとれているか否かを示すフラグを出力信号に格納してもよい。
三次元データ逆多重化装置は、それぞれの符号化データの同期情報と全体同期情報とを用いて、それぞれのサンプルを、メタデータに示されるタイムスタンプに示される時刻に処理することにより、符号化データ間の同期をとる。
以下、アプリケーション処理の例を説明する。図30は、アプリケーション処理の例を示すフローチャートである。アプリ操作が開始されると、三次元データ逆多重化装置は、点群データ及び複数の符号化データを含むISOBMFFファイルを取得する(S7301)。例えば、三次元データ逆多重化装置は、ISOBMFFファイルを、通信により取得してもよいし、蓄積しているデータから読み込んでもよい。
次に、三次元データ逆多重化装置は、ISOBMFFファイルにおける全体構成情報を解析し、アプリケーションに使用するデータを特定する(S7302)。例えば、三次元データ逆多重化装置は、処理に用いるデータを取得し、処理に用いないデータは取得しない。
次に、三次元データ逆多重化装置は、アプリケーションに使用する1以上のデータを抽出し、当該データの構成情報を解析する(S7303)。
データの種別が符号化データである場合(S7304で符号化データ)、三次元データ逆多重化装置は、ISOBMFFを符号化ストリームに変換し、タイムスタンプを抽出する(S7305)。また、三次元データ逆多重化装置は、データ間の同期がそろっているか否かを、例えば、データ間の同期がそろっているか否かを示すフラグを参照して判定し、揃っていなければ同期処理を行ってもよい。
次に、三次元データ逆多重化装置は、タイムスタンプ及びその他の指示に従い、所定の方法でデータを復号し、復号したデータを処理する(S7306)。
一方、データの種別が符号化データである場合(S7304でRAWデータ)、三次元データ逆多重化装置は、データ及びタイムスタンプを抽出する(S7307)。また、三次元データ逆多重化装置は、データ間の同期がそろっているか否かを、例えば、データ間の同期がそろっているか否かを示すフラグを参照して判定し、揃っていなければ同期処理を行ってもよい。次に、三次元データ逆多重化装置は、タイムスタンプ及びその他の指示に従い、データを処理する(S7308)。
例えば、ビームLiDAR、FLASH LiDAR、及びカメラで取得されたセンサ信号が、それぞれ異なる符号化方式で符号化及び多重化されている場合の例を説明する。図31は、ビームLiDAR、FLASH LiDAR及びカメラのセンサ範囲の例を示す図である。例えば、ビームLiDARは、車両(センサ)の周囲の全方向を検知し、FLASH LiDAR及びカメラは、車両の一方向(例えば前方)の範囲を検知する。
LiDAR点群を統合的に扱うアプリケーションの場合、三次元データ逆多重化装置は、全体構成情報を参照して、ビームLiDARとFLASH LiDARの符号化データを抽出して復号する。また、三次元データ逆多重化装置は、カメラ映像は抽出しない。
三次元データ逆多重化装置は、LiDARとFLASH LiDARのタイムスタンプに従い、同一のタイムスタンプの時刻のそれぞれの符号化データを同時に処理する。
例えば、三次元データ逆多重化装置は、処理したデータを提示装置で提示したり、ビームLiDARとFLASH LiDARの点群データを合成したり、レンダリングなどの処理を行ってもよい。
また、データ間でキャリブレーションをするアプリケーションの場合には、三次元データ逆多重化装置は、センサ位置情報を抽出してアプリケーションで用いてもよい。
例えば、三次元データ逆多重化装置は、アプリケーションにおいて、ビームLiDAR情報を使用するか、FLASH LiDARを使用するかを選択し、選択結果に応じて処理を切り替えてもよい。
このように、アプリケーションの処理に応じて適応的にデータの取得及び符号処理を変えることができるので、処理量及び消費電力を削減できる。
以下、自動運転におけるユースケースについて説明する。図32は、自動運転システムの構成例を示す図である。この自動運転システムは、クラウドサーバ7350と、車載装置又はモバイル装置等のエッジ7360とを含む。クラウドサーバ7350は、逆多重化部7351と、復号部7352A、7352B及び7355と、点群データ合成部7353と、大規模データ蓄積部7354と、比較部7356と、符号化部7357とを備える。エッジ7360は、センサ7361A及び7361Bと、点群データ生成部7362A及び7362Bと、同期部7363と、符号化部7364A及び7364Bと、多重化部7365と、更新データ蓄積部7366と、逆多重化部7367と、復号部7368と、フィルタ7369と、自己位置推定部7370と、運転制御部7371とを備える。
このシステムでは、エッジ7360は、クラウドサーバ7350に蓄積されている大規模点群地図データである大規模データをダウンロードする。エッジ7360は、大規模データとエッジ7360で得られたセンサ情報とをマッチングすることで、エッジ7360(車両又は端末)の自己位置推定処理を行う。また、エッジ7360は、取得したセンサ情報をクラウドサーバ7350へアップロードし、大規模データを最新の地図データに更新する。
また、システム内における点群データを扱う様々なアプリケーションにおいて、符号化方法の異なる点群データが扱われる。
クラウドサーバ7350は、大規模データを符号化及び多重化する。具体的には、符号化部7357は、大規模点群を符号化するために適した第3の符号化方法を用いて符号化を行う。また、符号化部7357は、符号化データを多重化する。大規模データ蓄積部7354は、符号化部7357で符号化及び多重化されたデータを蓄積する。
エッジ7360は、センシングを行う。具体的には、点群データ生成部7362Aは、センサ7361Aで取得されるセンシング情報を用いて、第1の点群データ(位置情報(ジオメトリ)及び属性情報)を生成する。点群データ生成部7362Bは、センサ7361Bで取得されるセンシング情報を用いて、第2の点群データ(位置情報及び属性情報)を生成する。生成された第1の点群データ及び第2の点群データは、自動運転の自己位置推定或いは車両制御、又は地図更新に用いられる。それぞれの処理において、第1の点群データ及び第2の点群データのうちの一部の情報が用いられてもよい。
エッジ7360は、自己位置推定を行う。具体的には、エッジ7360は、大規模データをクラウドサーバ7350からダウンロードする。逆多重化部7367は、ファイルフォーマットの大規模データを逆多重化することで符号化データを取得する。復号部7368は、取得された符号化データを復号することで大規模点群地図データである大規模データを取得する。
自己位置推定部7370は、取得された大規模データと、点群データ生成部7362A及び7362Bで生成された第1の点群データ及び第2の点群データとをマッチングすることで、車両の地図における自己位置を推定する。また、運転制御部7371は、当該マッチング結果又は自己位置推定結果を運転制御に用いる。
なお、自己位置推定部7370及び運転制御部7371は、大規模データのうち、位置情報などの特定の情報を抽出し、抽出した情報を用いて処理を行ってもよい。また、フィルタ7369は、第1の点群データ及び第2の点群データに補正又は間引き等の処理を行う。自己位置推定部7370及び運転制御部7371は、当該処理が行われた後の第1の点群データ及び第2の点群データを用いてもよい。また、自己位置推定部7370及び運転制御部7371は、センサ7361A及び7361Bで得られたセンサ信号を用いてもよい。
同期部7363は、複数のセンサ信号又は複数の点群データのデータ間の時間同期及び位置補正を行う。また、同期部7363は、自己位置推定処理によって生成された、大規模データとセンサデータとの位置補正情報に基づき、センサ信号又は点群データの位置情報を大規模データに合わせるように補正してもよい。
なお、同期及び位置補正はエッジ7360でなく、クラウドサーバ7350で行われてもよい。この場合、エッジ7360は、同期情報及び位置情報を多重化してクラウドサーバ7350へ送信してもよい。
エッジ7360は.センサ信号又は点群データを符号化及び多重化する。具体的には、センサ信号又は点群データは、それぞれの信号を符号化するために適した第1の符号化方法又は第2の符号化方法を用いて符号化される。例えば、符号化部7364Aは、第1の符号化方法を用いて第1の点群データを符号化することで第1の符号化データを生成する。符号化部7364Bは、第2の符号化方法を用いて第2の点群データを符号化することで第2の符号化データを生成する。
多重化部7365は、第1の符号化データ、第2の符号化データ、及び同期情報などを多重化することで多重化信号を生成する。更新データ蓄積部7366は、生成された多重化信号を蓄積する。また、更新データ蓄積部7366は、多重化信号をクラウドサーバ7350へアップロードする。
クラウドサーバ7350は、点群データを合成する。具体的には、逆多重化部7351は、クラウドサーバ7350にアップロードされた多重化信号を逆多重化することで第1の符号化データ及び第2の符号化データを取得する。復号部7352Aは、第1の符号化データを復号することで第1の点群データ(又はセンサ信号)を取得する。復号部7352Bは、第2の符号化データを復号することで第2の点群データ(又はセンサ信号)を取得する。
点群データ合成部7353は、第1の点群データと第2の点群データとを所定の方法で合成する。多重化信号に同期情報及び位置補正情報が多重化されている場合には、点群データ合成部7353は、それらの情報を用いて合成を行ってもよい。
復号部7355は、大規模データ蓄積部7354に蓄積されている大規模データを逆多重化及び復号する。比較部7356は、エッジ7360で得られたセンサ信号に基づき生成された点群データとクラウドサーバ7350が有する大規模データとを比較し、更新が必要な点群データを判断する。比較部7356は、大規模データのうち、更新が必要と判断された点群データを、エッジ7360から得られた点群データに更新する。
符号化部7357は、更新された大規模データを符号化及び多重化し、得られたデータを大規模データ蓄積部7354に蓄積する。
以上のように、使用する用途又はアプリケーションに応じて、取り扱う信号が異なり、多重化する信号又は符号化方法が異なる場合がある。このような場合であっても、本実施の形態を用いて様々な符号化方式のデータを多重化することで、柔軟な復号及びアプリケーション処理が可能となる。また、信号の符号化方式が異なる場合であっても、逆多重化、復号、データ変換、符号化、多重の処理により適した符号化方式を変換することで、様々なアプリケーションやシステムを構築し、柔軟なサービスの提供が可能となる。
以上のように、本実施の形態に係る三次元データ多重化装置は、図33に示す処理を行う。三次元データ多重化装置は、点群データを含む複数種類のデータを多重化することで所定のファイル構成(例えばISOBMFF)の出力信号を生成する(S7311)。次に、三次元データ多重化装置は、ファイル構成におけるメタデータ(制御情報)に出力信号に含まれる複数のデータの各々の種別を示す情報(例えばdata_type)を格納する(S7312)。
これによれば、三次元データ多重化装置は、ファイル構成におけるメタデータに出力信号に含まれる複数のデータの各々の種別を示す情報を格納する。これにより、当該出力信号を受信する三次元データ逆多重化装置において、容易に各データの種別を判定できる。このように、当該三次元データ多重化方法は、適切に点群データを多重化して送信できる。
例えば、複数のデータの各々の種別を示す情報は、(1)データに適用された符号化方式、(2)データの構成、(3)データを生成したセンサの種類、又は(4)データフォーマットを示す。
例えば、ファイル構成におけるメタデータは、出力信号に含まれる複数のデータの時刻を同期させるための同期情報を含む。これによれば、当該出力信号を受信する三次元データ逆多重化装置において、複数のデータを同期させることができる。
例えば、同期情報は、複数のデータ間におけるタイムスタンプの差分を示す。これによれば、出力信号のデータ量を削減できる。
例えば、三次元データ多重化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
また、本実施の形態に係る三次元データ逆多重化装置は、図34に示す処理を行う。三次元データ逆多重化装置は、点群データを含む複数種類のデータが多重化された所定のファイル構成(例えばISOBMFF)の出力信号から、ファイル構成におけるメタデータに格納されている、出力信号に含まれる複数のデータの各々の種別を示す情報(例えばdata_type)を取得する(S7321)。三次元データ逆多重化装置は、複数のデータの各々の種別を示す情報を用いて、出力信号から複数のデータを取得する(S7322)。例えば、三次元データ逆多重化装置は、複数のデータの各々の種別を示す情報を用いて、出力信号から必要なデータを選択的に取得する。これによれば、三次元データ逆多重化装置は、容易に各データの種別を判定できる。
例えば、複数のデータの各々の種別を示す情報は、(1)データに適用された符号化方式、(2)データの構成、(3)データを生成したセンサの種類、又は(4)データフォーマットを示す。
例えば、ファイル構成におけるメタデータは、出力信号に含まれる複数のデータの時刻を同期させるための同期情報を含む。例えば、三次元データ逆多重化装置は、同期情報を用いて複数のデータを同期させる。
例えば、同期情報は、複数のデータ間におけるタイムスタンプの差分を示す。例えば、同期情報は、複数のデータのいずれかのタイムスタンプを示す情報を含み、三次元データ逆多重化装置は、複数のデータのいずれかのタイムスタンプに、同期情報で示される差分を加えることで、複数のデータのうちの他のデータのタイムスタンプを復元する。これにより、出力信号のデータ量を削減できる。
例えば、三次元データ逆多重化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
以上、本開示の実施の形態に係る三次元データ多重化装置、三次元データ逆多重化装置、三次元データ符号化装置及び三次元データ復号装置等について説明したが、本開示は、この実施の形態に限定されるものではない。
また、上記実施の形態に係る三次元データ多重化装置、三次元データ逆多重化装置、三次元データ符号化装置及び三次元データ復号装置等に含まれる各処理部は典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、本開示は、三次元データ多重化装置、三次元データ逆多重化装置、三次元データ符号化装置及び三次元データ復号装置等により実行される三次元データ多重化方法、三次元データ逆多重化方法、三次元データ符号化方法又は三次元データ復号方法等として実現されてもよい。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
以上、一つまたは複数の態様に係る三次元データ多重化装置、三次元データ逆多重化装置、三次元データ符号化装置及び三次元データ復号装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本開示は、三次元データ多重化装置、三次元データ逆多重化装置、三次元データ符号化装置及び三次元データ復号装置に適用できる。
4601 三次元データ符号化システム
4602 三次元データ復号システム
4603 センサ端末
4604 外部接続部
4611 点群データ生成システム
4612 提示部
4613 符号化部
4614 多重化部
4615 入出力部
4616 制御部
4617 センサ情報取得部
4618 点群データ生成部
4621 センサ情報取得部
4622 入出力部
4623 逆多重化部
4624 復号部
4625 提示部
4626 ユーザインタフェース
4627 制御部
4630 第1の符号化部
4631 位置情報符号化部
4632 属性情報符号化部
4633 付加情報符号化部
4634 多重化部
4640 第1の復号部
4641 逆多重化部
4642 位置情報復号部
4643 属性情報復号部
4644 付加情報復号部
4650 第2の符号化部
4651 付加情報生成部
4652 位置画像生成部
4653 属性画像生成部
4654 映像符号化部
4655 付加情報符号化部
4656 多重化部
4660 第2の復号部
4661 逆多重化部
4662 映像復号部
4663 付加情報復号部
4664 位置情報生成部
4665 属性情報生成部
7301、7301A、7301B、7301C センシングデバイス
7302、7302A、7302B、7302C センサ情報入力部
7303、7303A、7303C 点群データ生成部
7304A、7304B センシング部
7305 マージ部
7310 第1のデバイス
7311、7321 センシング部
7312、7322 出力I/F
7320 第2のデバイス
7323 入力I/F
7324 処理部
7325 点群データ生成部
7326 符号化部
7331A、7331B、7331C センシング部
7332A、7332B、7332C センサ情報入力部
7333A、7333B 点群データ生成部
7334A、7334B 符号化部
7335 同期部
7336 多重化部
7341A、7341B、7341C センシング部
7342A、7342B、7342C 入出力部
7343 点群データ生成部
7344A、7344B 符号化部
7345 同期部
7346 多重化部
7350 クラウドサーバ
7351 逆多重化部
7352A、7352B 復号部
7353 点群データ合成部
7354 大規模データ蓄積部
7355 復号部
7356 比較部
7357 符号化部
7360 エッジ
7361A、7361B センサ
7362A、7362B 点群データ生成部
7363 同期部
7364A、7364B 符号化部
7365 多重化部
7366 更新データ蓄積部
7367 逆多重化部
7368 復号部
7369 フィルタ
7370 自己位置推定部
7371 運転制御部
4602 三次元データ復号システム
4603 センサ端末
4604 外部接続部
4611 点群データ生成システム
4612 提示部
4613 符号化部
4614 多重化部
4615 入出力部
4616 制御部
4617 センサ情報取得部
4618 点群データ生成部
4621 センサ情報取得部
4622 入出力部
4623 逆多重化部
4624 復号部
4625 提示部
4626 ユーザインタフェース
4627 制御部
4630 第1の符号化部
4631 位置情報符号化部
4632 属性情報符号化部
4633 付加情報符号化部
4634 多重化部
4640 第1の復号部
4641 逆多重化部
4642 位置情報復号部
4643 属性情報復号部
4644 付加情報復号部
4650 第2の符号化部
4651 付加情報生成部
4652 位置画像生成部
4653 属性画像生成部
4654 映像符号化部
4655 付加情報符号化部
4656 多重化部
4660 第2の復号部
4661 逆多重化部
4662 映像復号部
4663 付加情報復号部
4664 位置情報生成部
4665 属性情報生成部
7301、7301A、7301B、7301C センシングデバイス
7302、7302A、7302B、7302C センサ情報入力部
7303、7303A、7303C 点群データ生成部
7304A、7304B センシング部
7305 マージ部
7310 第1のデバイス
7311、7321 センシング部
7312、7322 出力I/F
7320 第2のデバイス
7323 入力I/F
7324 処理部
7325 点群データ生成部
7326 符号化部
7331A、7331B、7331C センシング部
7332A、7332B、7332C センサ情報入力部
7333A、7333B 点群データ生成部
7334A、7334B 符号化部
7335 同期部
7336 多重化部
7341A、7341B、7341C センシング部
7342A、7342B、7342C 入出力部
7343 点群データ生成部
7344A、7344B 符号化部
7345 同期部
7346 多重化部
7350 クラウドサーバ
7351 逆多重化部
7352A、7352B 復号部
7353 点群データ合成部
7354 大規模データ蓄積部
7355 復号部
7356 比較部
7357 符号化部
7360 エッジ
7361A、7361B センサ
7362A、7362B 点群データ生成部
7363 同期部
7364A、7364B 符号化部
7365 多重化部
7366 更新データ蓄積部
7367 逆多重化部
7368 復号部
7369 フィルタ
7370 自己位置推定部
7371 運転制御部
Claims (10)
- 点群データを含む複数種類のデータを多重化することで所定のファイル構成の出力信号を生成し、
前記ファイル構成におけるメタデータに前記出力信号に含まれる複数のデータの各々の種別を示す情報を格納する
三次元データ多重化方法。 - 前記情報は、(1)データに適用された符号化方式、(2)データの構成、(3)データを生成したセンサの種類、又は(4)データフォーマットを示す
請求項1記載の三次元データ多重化方法。 - 前記メタデータは、前記出力信号に含まれる前記複数のデータの時刻を同期させるための同期情報を含む
請求項1又は2記載の三次元データ多重化方法。 - 前記同期情報は、前記複数のデータ間におけるタイムスタンプの差分を示す
請求項3記載の三次元データ多重化方法。 - 点群データを含む複数種類のデータが多重化された所定のファイル構成の出力信号から、前記ファイル構成におけるメタデータに格納されている、前記出力信号に含まれる複数のデータの各々の種別を示す情報を取得し、
前記情報を用いて、前記出力信号から前記複数のデータを取得する
三次元データ逆多重化方法。 - 前記情報は、(1)データに適用された符号化方式、(2)データの構成、(3)データを生成したセンサの種類、又は(4)データフォーマットを示す
請求項5記載の三次元データ逆多重化方法。 - 前記メタデータは、前記出力信号に含まれる前記複数のデータの時刻を同期させるための同期情報を含む
請求項5又は6記載の三次元データ逆多重化方法。 - 前記同期情報は、前記複数のデータ間におけるタイムスタンプの差分を示す
請求項7記載の三次元データ逆多重化方法。 - プロセッサと、
メモリとを備え、
前記プロセッサは、前記メモリを用いて、
点群データを含む複数種類のデータを多重化することで所定のファイル構成の出力信号を生成し、
前記ファイル構成におけるメタデータに前記出力信号に含まれる複数のデータの各々の種別を示す情報を格納する
三次元データ多重化装置。 - プロセッサと、
メモリとを備え、
前記プロセッサは、前記メモリを用いて、
点群データを含む複数種類のデータが多重化された所定のファイル構成の出力信号から、前記ファイル構成におけるメタデータに格納されている、前記出力信号に含まれる複数のデータの各々の種別を示す情報を取得し、
前記情報を用いて、前記出力信号から前記複数のデータを取得する
三次元データ逆多重化装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202080012977.9A CN113396595A (zh) | 2019-02-12 | 2020-02-12 | 三维数据复用方法、三维数据逆复用方法、三维数据复用装置及三维数据逆复用装置 |
JP2020572277A JP7511488B2 (ja) | 2019-02-12 | 2020-02-12 | 三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置 |
US17/386,194 US20210358175A1 (en) | 2019-02-12 | 2021-07-27 | Three-dimensional data multiplexing method, three-dimensional data demultiplexing method, three-dimensional data multiplexing device, and three-dimensional data demultiplexing device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962804453P | 2019-02-12 | 2019-02-12 | |
US62/804,453 | 2019-02-12 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/386,194 Continuation US20210358175A1 (en) | 2019-02-12 | 2021-07-27 | Three-dimensional data multiplexing method, three-dimensional data demultiplexing method, three-dimensional data multiplexing device, and three-dimensional data demultiplexing device |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020166612A1 true WO2020166612A1 (ja) | 2020-08-20 |
Family
ID=72043853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/005363 WO2020166612A1 (ja) | 2019-02-12 | 2020-02-12 | 三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210358175A1 (ja) |
JP (1) | JP7511488B2 (ja) |
CN (1) | CN113396595A (ja) |
WO (1) | WO2020166612A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023194762A1 (ja) * | 2022-04-08 | 2023-10-12 | 日産自動車株式会社 | 情報処理方法及び情報処理装置 |
JP7471731B2 (ja) | 2020-10-14 | 2024-04-22 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | メディアファイルのカプセル化方法、メディアファイルのカプセル化解除方法及び関連機器 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017082078A1 (ja) * | 2015-11-11 | 2017-05-18 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP2018522345A (ja) * | 2015-04-10 | 2018-08-09 | ザ ヨーロピアン アトミック エナジー コミュニティ(ユーラトム)、リプリゼンテッド バイ ザ ヨーロピアン コミッションTHE EUROPEAN ATOMIC ENERGY COMMUNITY(EURATOM) represented by The EUROPEAN COMMISSION | リアルタイムのマッピングと位置確認のための方法及び装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4524582B2 (ja) * | 2004-06-11 | 2010-08-18 | ソニー株式会社 | データ処理装置およびデータ処理方法、プログラムおよびプログラム記録媒体、並びにデータ記録媒体 |
US10992185B2 (en) * | 2012-07-06 | 2021-04-27 | Energous Corporation | Systems and methods of using electromagnetic waves to wirelessly deliver power to game controllers |
JP2015173312A (ja) * | 2014-03-11 | 2015-10-01 | ソニー株式会社 | 画像符号化装置および方法、並びに画像復号装置および方法 |
US9996976B2 (en) * | 2014-05-05 | 2018-06-12 | Avigilon Fortress Corporation | System and method for real-time overlay of map features onto a video feed |
EP3143774A4 (en) * | 2014-05-13 | 2018-04-25 | PCP VR Inc. | Method, system and apparatus for generation and playback of virtual reality multimedia |
EP3021257A1 (en) * | 2014-11-14 | 2016-05-18 | Soundisplay Limited | A sensor utilising overlapping signals and method thereof |
CN109690243B (zh) | 2016-09-16 | 2022-03-01 | 松下电器(美国)知识产权公司 | 三维数据制作方法以及三维数据制作装置 |
US10535161B2 (en) * | 2017-11-09 | 2020-01-14 | Samsung Electronics Co., Ltd. | Point cloud compression using non-orthogonal projection |
-
2020
- 2020-02-12 JP JP2020572277A patent/JP7511488B2/ja active Active
- 2020-02-12 CN CN202080012977.9A patent/CN113396595A/zh active Pending
- 2020-02-12 WO PCT/JP2020/005363 patent/WO2020166612A1/ja active Application Filing
-
2021
- 2021-07-27 US US17/386,194 patent/US20210358175A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018522345A (ja) * | 2015-04-10 | 2018-08-09 | ザ ヨーロピアン アトミック エナジー コミュニティ(ユーラトム)、リプリゼンテッド バイ ザ ヨーロピアン コミッションTHE EUROPEAN ATOMIC ENERGY COMMUNITY(EURATOM) represented by The EUROPEAN COMMISSION | リアルタイムのマッピングと位置確認のための方法及び装置 |
WO2017082078A1 (ja) * | 2015-11-11 | 2017-05-18 | ソニー株式会社 | 画像処理装置および画像処理方法 |
Non-Patent Citations (4)
Title |
---|
CHAMPEL, MARY-LUC ET AL.: "Proposed Draft 1. 0 of TR : Technical Report on Architectures for Immersive Media", INTERNATIONAL ORGANIZATION FOR STANDARDIZATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC 1/SC 29/WG 11 CODEING OF MOVING PICTURES AND AUDIO, 25 April 2018 (2018-04-25), pages 1 - 13, XP055732711, Retrieved from the Internet <URL:https://mpeg.chiariglione.org/standards/mpeg-i/technical-report-immersive-media/text-pdtr-isoiec-23090-1-immersive-media> * |
CUI, LI ET AL.: "HYBRID COLOR ATTRIBUTE COMPRESSION FOR POINT CLOUD DATA", 2017 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME), 10 July 2017 (2017-07-10), pages 1273 - 1278, XP033146600, DOI: 10.1109/ICME.2017.8019426 * |
SCHWARZ, SEBASTIAN ET AL., EMERGING MPEG STANDARDS FOR POINT CLOUD COMPRESSION, vol. 9, no. 1, 10 December 2018 (2018-12-10), pages 133 - 148, XP011714044 * |
TU, CHENXI ET AL.: "Compressing Continuous Point Cloud Data Using Image Compression Methods", 2016 IEEE 19TH INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC, 1 November 2016 (2016-11-01), pages 1712 - 1719, XP033028570, DOI: 10.1109/ITSC.2016.7795789 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7471731B2 (ja) | 2020-10-14 | 2024-04-22 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | メディアファイルのカプセル化方法、メディアファイルのカプセル化解除方法及び関連機器 |
WO2023194762A1 (ja) * | 2022-04-08 | 2023-10-12 | 日産自動車株式会社 | 情報処理方法及び情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020166612A1 (ja) | 2021-12-16 |
US20210358175A1 (en) | 2021-11-18 |
JP7511488B2 (ja) | 2024-07-05 |
CN113396595A (zh) | 2021-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11423581B2 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
EP3883246A1 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
US20240107064A1 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
US11750840B2 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
US11936919B2 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
US11750844B2 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
US20220046280A1 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
US20210358175A1 (en) | Three-dimensional data multiplexing method, three-dimensional data demultiplexing method, three-dimensional data multiplexing device, and three-dimensional data demultiplexing device | |
JP2024040321A (ja) | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 | |
US20240040149A1 (en) | Three-dimensional data storage method, three-dimensional data acquisition method, three-dimensional data storage device, and three-dimensional data acquisition device | |
US20230030392A1 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
US20230017612A1 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
US20230154056A1 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20755573 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020572277 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20755573 Country of ref document: EP Kind code of ref document: A1 |