JP7511488B2 - 三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置 - Google Patents
三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置 Download PDFInfo
- Publication number
- JP7511488B2 JP7511488B2 JP2020572277A JP2020572277A JP7511488B2 JP 7511488 B2 JP7511488 B2 JP 7511488B2 JP 2020572277 A JP2020572277 A JP 2020572277A JP 2020572277 A JP2020572277 A JP 2020572277A JP 7511488 B2 JP7511488 B2 JP 7511488B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- information
- unit
- point cloud
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 179
- 239000000203 mixture Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 57
- 238000012545 processing Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 26
- 230000001360 synchronised effect Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 238000013139 quantization Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Description
まず、本実施の形態に係る三次元データ(点群データ)符号化復号システムの構成を説明する。図1は、本実施の形態に係る三次元データ符号化復号システムの構成例を示す図である。図1に示すように、三次元データ符号化復号システムは、三次元データ符号化システム4601と、三次元データ復号システム4602と、センサ端末4603と、外部接続部4604とを含む。
4602 三次元データ復号システム
4603 センサ端末
4604 外部接続部
4611 点群データ生成システム
4612 提示部
4613 符号化部
4614 多重化部
4615 入出力部
4616 制御部
4617 センサ情報取得部
4618 点群データ生成部
4621 センサ情報取得部
4622 入出力部
4623 逆多重化部
4624 復号部
4625 提示部
4626 ユーザインタフェース
4627 制御部
4630 第1の符号化部
4631 位置情報符号化部
4632 属性情報符号化部
4633 付加情報符号化部
4634 多重化部
4640 第1の復号部
4641 逆多重化部
4642 位置情報復号部
4643 属性情報復号部
4644 付加情報復号部
4650 第2の符号化部
4651 付加情報生成部
4652 位置画像生成部
4653 属性画像生成部
4654 映像符号化部
4655 付加情報符号化部
4656 多重化部
4660 第2の復号部
4661 逆多重化部
4662 映像復号部
4663 付加情報復号部
4664 位置情報生成部
4665 属性情報生成部
7301、7301A、7301B、7301C センシングデバイス
7302、7302A、7302B、7302C センサ情報入力部
7303、7303A、7303C 点群データ生成部
7304A、7304B センシング部
7305 マージ部
7310 第1のデバイス
7311、7321 センシング部
7312、7322 出力I/F
7320 第2のデバイス
7323 入力I/F
7324 処理部
7325 点群データ生成部
7326 符号化部
7331A、7331B、7331C センシング部
7332A、7332B、7332C センサ情報入力部
7333A、7333B 点群データ生成部
7334A、7334B 符号化部
7335 同期部
7336 多重化部
7341A、7341B、7341C センシング部
7342A、7342B、7342C 入出力部
7343 点群データ生成部
7344A、7344B 符号化部
7345 同期部
7346 多重化部
7350 クラウドサーバ
7351 逆多重化部
7352A、7352B 復号部
7353 点群データ合成部
7354 大規模データ蓄積部
7355 復号部
7356 比較部
7357 符号化部
7360 エッジ
7361A、7361B センサ
7362A、7362B 点群データ生成部
7363 同期部
7364A、7364B 符号化部
7365 多重化部
7366 更新データ蓄積部
7367 逆多重化部
7368 復号部
7369 フィルタ
7370 自己位置推定部
7371 運転制御部
Claims (12)
- 点群データを含む複数種類のデータを多重化することで、多重化された前記複数種類のデータとメタデータとを含む所定のファイル構成の出力信号を生成し、
前記メタデータに前記複数種類のデータの各々の種別を示す情報を格納し、
前記情報は前記複数種類のデータを生成した際の各々のセンサの位置情報、または角度情報を含む、
三次元データ多重化方法。 - 前記情報は、さらに、(1)データに適用された符号化方式、(2)データの構成、(3)データを生成したセンサの種類、又は(4)データフォーマットを示す
請求項1記載の三次元データ多重化方法。 - 前記メタデータは、前記出力信号に含まれる前記複数種類のデータの時刻を同期させるための同期情報を含む
請求項1又は2記載の三次元データ多重化方法。 - 前記同期情報は、前記複数種類のデータ間におけるタイムスタンプの差分を示す
請求項3記載の三次元データ多重化方法。 - 前記情報はさらに前記複数種類のデータを生成した際の各々の時刻情報を含む
請求項1記載の三次元データ多重化方法。 - 点群データを含む複数種類のデータが多重化された、多重化された前記複数種類のデータとメタデータとを含む所定のファイル構成の出力信号から、前記メタデータに格納されている、前記複数種類のデータの各々の種別を示す情報を取得し、
前記情報を用いて、前記出力信号から前記複数種類のデータを取得し、
前記情報は前記複数種類のデータを生成した際の各々のセンサの位置情報、または角度情報を含む、
三次元データ逆多重化方法。 - 前記情報は、さらに、(1)データに適用された符号化方式、(2)データの構成、(3)データを生成したセンサの種類、又は(4)データフォーマットを示す
請求項6記載の三次元データ逆多重化方法。 - 前記メタデータは、前記出力信号に含まれる前記複数種類のデータの時刻を同期させるための同期情報を含む
請求項6又は7記載の三次元データ逆多重化方法。 - 前記同期情報は、前記複数種類のデータ間におけるタイムスタンプの差分を示す
請求項8記載の三次元データ逆多重化方法。 - 前記情報はさらに前記複数種類のデータを生成した際の各々の時刻情報を含む
請求項6記載の三次元データ逆多重化方法。 - プロセッサと、
メモリとを備え、
前記プロセッサは、前記メモリを用いて、
点群データを含む複数種類のデータを多重化することで、多重化された前記複数種類のデータとメタデータとを含む所定のファイル構成の出力信号を生成し、
前記メタデータに前記複数種類のデータの各々の種別を示す情報を格納し、
前記情報は前記複数種類のデータを生成した際の各々のセンサの位置情報、または角度情報を含む、
三次元データ多重化装置。 - プロセッサと、
メモリとを備え、
前記プロセッサは、前記メモリを用いて、
点群データを含む複数種類のデータが多重化された、多重化された前記複数種類のデータとメタデータとを含む所定のファイル構成の出力信号から、前記メタデータに格納されている、前記複数種類のデータの各々の種別を示す情報を取得し、
前記情報を用いて、前記出力信号から前記複数種類のデータを取得し、
前記情報は前記複数種類のデータを生成した際の各々のセンサの位置情報、または角度情報を含む、
三次元データ逆多重化装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962804453P | 2019-02-12 | 2019-02-12 | |
US62/804,453 | 2019-02-12 | ||
PCT/JP2020/005363 WO2020166612A1 (ja) | 2019-02-12 | 2020-02-12 | 三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2020166612A1 JPWO2020166612A1 (ja) | 2021-12-16 |
JPWO2020166612A5 JPWO2020166612A5 (ja) | 2023-02-17 |
JP7511488B2 true JP7511488B2 (ja) | 2024-07-05 |
Family
ID=72043853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020572277A Active JP7511488B2 (ja) | 2019-02-12 | 2020-02-12 | 三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210358175A1 (ja) |
JP (1) | JP7511488B2 (ja) |
CN (1) | CN113396595A (ja) |
WO (1) | WO2020166612A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114374675B (zh) | 2020-10-14 | 2023-02-28 | 腾讯科技(深圳)有限公司 | 媒体文件的封装方法、媒体文件的解封装方法及相关设备 |
WO2023194762A1 (ja) * | 2022-04-08 | 2023-10-12 | 日産自動車株式会社 | 情報処理方法及び情報処理装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017082078A1 (ja) | 2015-11-11 | 2017-05-18 | ソニー株式会社 | 画像処理装置および画像処理方法 |
WO2018051746A1 (ja) | 2016-09-16 | 2018-03-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ作成方法及び三次元データ作成装置 |
JP2018522345A (ja) | 2015-04-10 | 2018-08-09 | ザ ヨーロピアン アトミック エナジー コミュニティ(ユーラトム)、リプリゼンテッド バイ ザ ヨーロピアン コミッションTHE EUROPEAN ATOMIC ENERGY COMMUNITY(EURATOM) represented by The EUROPEAN COMMISSION | リアルタイムのマッピングと位置確認のための方法及び装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4524582B2 (ja) * | 2004-06-11 | 2010-08-18 | ソニー株式会社 | データ処理装置およびデータ処理方法、プログラムおよびプログラム記録媒体、並びにデータ記録媒体 |
US10992185B2 (en) * | 2012-07-06 | 2021-04-27 | Energous Corporation | Systems and methods of using electromagnetic waves to wirelessly deliver power to game controllers |
JP2015173312A (ja) * | 2014-03-11 | 2015-10-01 | ソニー株式会社 | 画像符号化装置および方法、並びに画像復号装置および方法 |
US9996976B2 (en) * | 2014-05-05 | 2018-06-12 | Avigilon Fortress Corporation | System and method for real-time overlay of map features onto a video feed |
EP3143774A4 (en) * | 2014-05-13 | 2018-04-25 | PCP VR Inc. | Method, system and apparatus for generation and playback of virtual reality multimedia |
EP3021257A1 (en) * | 2014-11-14 | 2016-05-18 | Soundisplay Limited | A sensor utilising overlapping signals and method thereof |
US10535161B2 (en) * | 2017-11-09 | 2020-01-14 | Samsung Electronics Co., Ltd. | Point cloud compression using non-orthogonal projection |
-
2020
- 2020-02-12 JP JP2020572277A patent/JP7511488B2/ja active Active
- 2020-02-12 CN CN202080012977.9A patent/CN113396595A/zh active Pending
- 2020-02-12 WO PCT/JP2020/005363 patent/WO2020166612A1/ja active Application Filing
-
2021
- 2021-07-27 US US17/386,194 patent/US20210358175A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018522345A (ja) | 2015-04-10 | 2018-08-09 | ザ ヨーロピアン アトミック エナジー コミュニティ(ユーラトム)、リプリゼンテッド バイ ザ ヨーロピアン コミッションTHE EUROPEAN ATOMIC ENERGY COMMUNITY(EURATOM) represented by The EUROPEAN COMMISSION | リアルタイムのマッピングと位置確認のための方法及び装置 |
WO2017082078A1 (ja) | 2015-11-11 | 2017-05-18 | ソニー株式会社 | 画像処理装置および画像処理方法 |
WO2018051746A1 (ja) | 2016-09-16 | 2018-03-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ作成方法及び三次元データ作成装置 |
Non-Patent Citations (4)
Title |
---|
CHAMPEL, Mary-Luc et al.,"Proposed Draft 1.0 of TR: Technical Report on Architectures for Immersive Media",INTERNATIONAL ORGANIZATION FOR STANDARDIZATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC,JTC 1 Working Group,2018年04月25日,pp.1-13,https://mpeg.chiariglione.org/standards/mpeg-i/technical-report-immersive-media/text-pdtr-isoiec-23090-1-immersive-media |
CUI, Li et al.,"HYBRID COLOR ATTRIBUTE COMPRESSION FOR POINT CLOUD DATA",2017 IEEE International Conference on Multimedia and Expo (ICME),米国,IEEE,2017年07月10日,pp.1273-1278 |
SCHWARZ, Sebastian et al.,"Emerging MPEG Standards for Point Cloud Compression",IEEE,米国,IEEE Journal on Emerging and Selected Topics in Ci,2018年12月10日,Vol.9, No.1,pp.133-148 |
TU, Chenxi et al.,"Compressing Continuous Point Cloud Data Using Image Compression Methods",2016 IEEE 19th International Conference on Intelligent Transportation Systems (ITSC),米国,IEEE,2016年11月01日,pp.1712-1719 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020166612A1 (ja) | 2021-12-16 |
US20210358175A1 (en) | 2021-11-18 |
WO2020166612A1 (ja) | 2020-08-20 |
CN113396595A (zh) | 2021-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11470352B2 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
US11423581B2 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
US20240107064A1 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
JP7517987B2 (ja) | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 | |
US11936919B2 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
US11750844B2 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
US20220046280A1 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
US20210358175A1 (en) | Three-dimensional data multiplexing method, three-dimensional data demultiplexing method, three-dimensional data multiplexing device, and three-dimensional data demultiplexing device | |
US20240040149A1 (en) | Three-dimensional data storage method, three-dimensional data acquisition method, three-dimensional data storage device, and three-dimensional data acquisition device | |
US20210112111A1 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
JP2024102345A (ja) | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230209 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240424 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240625 |