JP2022551064A - 容積ビデオを符号化、送信、及び復号化するための方法及び装置 - Google Patents
容積ビデオを符号化、送信、及び復号化するための方法及び装置 Download PDFInfo
- Publication number
- JP2022551064A JP2022551064A JP2022519816A JP2022519816A JP2022551064A JP 2022551064 A JP2022551064 A JP 2022551064A JP 2022519816 A JP2022519816 A JP 2022519816A JP 2022519816 A JP2022519816 A JP 2022519816A JP 2022551064 A JP2022551064 A JP 2022551064A
- Authority
- JP
- Japan
- Prior art keywords
- view
- fidelity
- depth
- depth information
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 230000000670 limiting effect Effects 0.000 description 14
- 230000015654 memory Effects 0.000 description 13
- 238000009877 rendering Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 229920001690 polydopamine Polymers 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000014616 translation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000012886 Vertigo Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 231100000889 vertigo Toxicity 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
-当該マルチビューフレームのビューについて、当該ビューによって担持される深度情報の忠実度を表すパラメータを取得することと、
-当該パラメータを含むメタデータと関連して、データストリーム内の当該マルチビューフレームを符号化することと、を含む。
-当該マルチビューフレーム及び関連付けられたメタデータをデータストリームから復号化することと、
-メタデータから、当該マルチビューフレームのビューによって担持される深度情報の忠実度を表すパラメータが提供されるかどうかを示す情報を取得することと、そうである場合、ビューごとにパラメータを取得することと、
-ビューに関連付けられたパラメータの関数として、当該マルチビューフレームの各ビューの寄与を判定することによって、視認姿勢に従って、ビューポートフレームを生成することと、を含む。
-マルチビューフレームを表すデータと、
-当該データに関連付けられたメタデータであって、メタデータが、マルチビューフレームのビューごとに、当該ビューによって担持される深度情報の忠実度を表すパラメータを含む、メタデータと、を含む、データストリームに関する。
・任意選択的に深度アクティブセンシングデバイスによって補完された、カメラのリグによって撮影された実オブジェクトの捕捉から、
・モデリングツールにおける仮想カメラのリグによって撮影された仮想/合成オブジェクトの捕捉から、
・実オブジェクトと仮想オブジェクトの両方の混合物から、取得され得る。
-JPEG、仕様ISO/CEI10918-1UIT-T推奨T.81、https://www.itu.int/rec/T-REC-T.81/en;
-MPEG-4AVC又はh264とも呼ばれるAVCなどのエンコーダに準拠する。UIT-TH.264及びISO/CEI MPEG-4-Part 10(ISO/CEI14496-10)、http://www.itu.int/rec/T-REC-H.264/en,HEVC(その仕様は、ITUウェブサイト、T推奨、H系列、h265、http://www.itu.int/rec/T-REC-H.265-201612-I/enで見出される)、
-3D-HEVC(仕様がITUウェブサイト、T推奨、H系列、h265、http://www.itu.int/rec/T-REC-H.265-201612-I/en annex G and Iで見出されるHEVCの拡張子)、
-Googleによって開発されたVP9、
-Alliance for Open Mediaによって開発されたAV1(AO媒体ビデオ1)又は
-Versatile Video Coder又はMPEG-I又はMPEG-V の将来のバージョンのような将来の標準などのエンコーダに適合する。
-例えば、ビデオメモリ又はRAM(又はランダムアクセスメモリ)、フラッシュメモリ、ROM(又は読み取り専用メモリ)、ハードディスクなどのローカルメモリと、
-例えば、質量ストレージ、RAM、フラッシュメモリ、ROM、光学ディスク又は磁気サポートとのインターフェースなどのストレージインターフェースと、
-例えば、有線インターフェース(例えば、バスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース)又は無線インターフェース(IEEE802.11インターフェース又はBluetooth(登録商標)インターフェースなど)などの通信インターフェースと、
-ユーザがデータを入力することを可能にするグラフィカルユーザインターフェースなどのユーザインターフェースと、を含むセットに属する。
-例えば、DSP(又はデジタル信号プロセッサ)であるマイクロプロセッサ32(又はCPU)と、
-ROM(又は読み取り専用メモリ)33と、
-RAM(又はランダムアクセスメモリ)34と、
-ストレージインターフェース35と、
-アプリケーションから、送信するデータを受信するためのI/Oインターフェース36と、
-電源、例えば、バッテリと、を備える。
-モバイルデバイスと、
-通信デバイスと、
-ゲームデバイスと、
-タブレット(又はタブレットコンピュータ)と、
-ラップトップと、
-静止画カメラと、
-ビデオカメラと、
-符号化チップと、
-サーバ(例えば、ブロードキャストサーバ、ビデオオンデマンドサーバ又はウェブサーバ)と、を含むセットに属する。
Claims (26)
- マルチビューフレームを符号化するための方法であって、
-前記マルチビューフレームのビューについて、前記ビューによって担持される深度情報の忠実度を表すパラメータを取得することと、
-前記パラメータを含むメタデータと関連して、データストリーム内の前記マルチビューフレームを符号化することと、を含む、方法。 - ビューの深度情報の忠実度を表す前記パラメータが、前記ビューを捕捉したカメラの内部パラメータ及び外部パラメータに従って判定される、請求項1に記載の方法。
- 前記メタデータが、前記マルチビューフレームのビューごとにパラメータが提供されるかどうかを示す情報と、そうである場合、ビューごとに、前記ビューに関連付けられた前記パラメータと、を含む、請求項1又は2に記載の方法。
- ビューの深度情報の忠実度を表すパラメータが、前記深度忠実度が完全に信頼可能であるか、又は部分的に信頼可能であるかを示すブール値である、請求項1~3のいずれか一項に記載の方法。
- ビューの深度情報の忠実度を表すパラメータが、前記ビューの前記深度忠実度の信頼度を示す数値である、請求項1~3のいずれか一項に記載の方法。
- マルチビューフレームを符号化するためのデバイスであって、
-前記マルチビューフレームのビューについて、前記ビューによって担持される深度情報の忠実度を表すパラメータを取得することと、
-前記パラメータを含むメタデータと関連して、データストリーム内の前記マルチビューフレームを符号化することと、を行うように構成されたプロセッサを備える、デバイス。 - 前記プロセッサが、前記ビューを捕捉したカメラの内部パラメータ及び外部パラメータに従って、ビューの深度情報の忠実度を表す前記パラメータを判定するように構成されている、請求項6に記載のデバイス。
- 前記プロセッサが、前記マルチビューフレームのビューごとにパラメータが提供されるかどうかを示す情報と、そうである場合、ビューごとに、前記ビューに関連付けられた前記パラメータと、を含む、メタデータを符号化するように構成されている、請求項6又は7に記載のデバイス。
- ビューの深度情報の忠実度を表すパラメータが、前記深度忠実度が完全に信頼可能であるか、又は部分的に信頼可能であるかを示すブール値である、請求項6~8のいずれか一項に記載のデバイス。
- ビューの深度情報の忠実度を表すパラメータが、前記ビューの前記深度忠実度の信頼度を示す数値である、請求項6~8のいずれか一項に記載のデバイス。
- データストリームからマルチビューフレームを復号化する方法であって、
-前記マルチビューフレーム及び関連付けられたメタデータを前記データストリームから復号化することと、
-前記メタデータから、前記マルチビューフレームのビューによって担持される深度情報の忠実度を表すパラメータが提供されるかどうかを示す情報を取得することと、そうである場合、ビューごとにパラメータを取得することと、
-前記ビューに関連付けられた前記パラメータの関数として、前記マルチビューフレームの各ビューの寄与を判定することによって、視認姿勢に従って、ビューポートフレームを生成することと、を含む、方法。 - ビューの深度情報の忠実度を表すパラメータが、前記深度忠実度が完全に信頼可能であるか、又は部分的に信頼可能であるかを示すブール値である、請求項11に記載の方法。
- 部分的に信頼可能なビューの前記寄与が、無視される、請求項12に記載の方法。
- 複数のビューが完全に信頼可能であるという条件で、最低深度情報を有する前記完全に信頼可能なビューが使用される、請求項12又は13に記載の方法。
- ビューの深度情報の忠実度を表すパラメータが、前記ビューの前記深度忠実度の信頼度を示す数値である、請求項11に記載の方法。
- 各ビューの前記寄与が、前記ビューと関連付けられた前記数値に比例する、請求項15に記載の方法。
- データストリームからマルチビューフレームを復号化するためのデバイスであって、
-前記マルチビューフレーム及び関連付けられたメタデータを前記データストリームから復号化することと、
-前記メタデータから、前記マルチビューフレームのビューによって担持される深度情報の忠実度を表すパラメータが提供されるかどうかを示す情報を取得することと、そうである場合、ビューごとにパラメータを取得することと、
-前記ビューに関連付けられた前記パラメータの関数として、前記マルチビューフレームの各ビューの寄与を判定することによって、視認姿勢に従って、ビューポートフレームを生成することと、を行うように構成されたプロセッサを備える、デバイス。 - ビューの深度情報の忠実度を表すパラメータが、前記深度忠実度が完全に信頼可能であるか、又は部分的に信頼可能であるかを示すブール値である、請求項17に記載のデバイス。
- 部分的に信頼可能なビューの前記寄与が、無視される、請求項18に記載のデバイス。
- 複数のビューが完全に信頼可能であるという条件で、最低深度情報を有する前記完全に信頼可能なビューが使用される、請求項18又は19に記載のデバイス。
- ビューの深度情報の忠実度を表すパラメータが、前記ビューの前記深度忠実度の信頼度を示す数値である、請求項17に記載のデバイス。
- 各ビューの前記寄与が、前記ビューと関連付けられた前記数値に比例する、請求項21に記載のデバイス。
- データストリームであって、
-マルチビューフレームを表すデータと、
-前記データに関連付けられたメタデータであって、前記メタデータが、前記マルチビューフレームのビューごとに、前記ビューによって担持される深度情報の忠実度を表すパラメータを含む、メタデータと、を含む、データストリーム。 - 前記メタデータが、前記マルチビューフレームのビューごとにパラメータが提供されるかどうかを示す情報と、そうである場合、ビューごとに、前記ビューに関連付けられた前記パラメータと、を含む、請求項23に記載のデータストリーム。
- ビューの深度情報の忠実度を表すパラメータが、前記深度忠実度が完全に信頼可能であるか、又は部分的に信頼可能であるかを示すブール値である、請求項23又は24に記載のデータストリーム。
- ビューの深度情報の忠実度を表すパラメータが、前記ビューの前記深度忠実度の信頼度を示す数値である、請求項23又は24に記載のデータストリーム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19306269.2 | 2019-10-02 | ||
EP19306269 | 2019-10-02 | ||
PCT/EP2020/077588 WO2021064138A1 (en) | 2019-10-02 | 2020-10-01 | A method and apparatus for encoding, transmitting and decoding volumetric video |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022551064A true JP2022551064A (ja) | 2022-12-07 |
Family
ID=68296416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022519816A Pending JP2022551064A (ja) | 2019-10-02 | 2020-10-01 | 容積ビデオを符号化、送信、及び復号化するための方法及び装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20220345681A1 (ja) |
EP (1) | EP4038884A1 (ja) |
JP (1) | JP2022551064A (ja) |
KR (1) | KR20220069040A (ja) |
CN (1) | CN114731424A (ja) |
IL (1) | IL291491A (ja) |
WO (1) | WO2021064138A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9497435B2 (en) * | 2011-08-15 | 2016-11-15 | Telefonaktiebolaget Lm Ericsson (Publ) | Encoder, method in an encoder, decoder and method in a decoder for providing information concerning a spatial validity range |
KR20130074383A (ko) * | 2011-12-26 | 2013-07-04 | 삼성전자주식회사 | 다중-레이어 표현을 사용하는 영상 처리 방법 및 장치 |
WO2019173672A1 (en) * | 2018-03-08 | 2019-09-12 | Simile Inc. | Methods and systems for producing content in multiple reality environments |
-
2020
- 2020-10-01 US US17/765,549 patent/US20220345681A1/en active Pending
- 2020-10-01 KR KR1020227013047A patent/KR20220069040A/ko unknown
- 2020-10-01 JP JP2022519816A patent/JP2022551064A/ja active Pending
- 2020-10-01 WO PCT/EP2020/077588 patent/WO2021064138A1/en unknown
- 2020-10-01 EP EP20780242.2A patent/EP4038884A1/en active Pending
- 2020-10-01 CN CN202080073164.0A patent/CN114731424A/zh active Pending
-
2022
- 2022-03-19 IL IL291491A patent/IL291491A/en unknown
Also Published As
Publication number | Publication date |
---|---|
KR20220069040A (ko) | 2022-05-26 |
WO2021064138A1 (en) | 2021-04-08 |
CN114731424A (zh) | 2022-07-08 |
IL291491A (en) | 2022-05-01 |
EP4038884A1 (en) | 2022-08-10 |
US20220345681A1 (en) | 2022-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20200051784A (ko) | 3 자유도 및 볼류메트릭 호환 가능한 비디오 스트림을 인코딩 및 디코딩하기 위한 방법들 및 디바이스들 | |
US11979546B2 (en) | Method and apparatus for encoding and rendering a 3D scene with inpainting patches | |
US11968349B2 (en) | Method and apparatus for encoding and decoding of multiple-viewpoint 3DoF+ content | |
US20230042874A1 (en) | Volumetric video with auxiliary patches | |
KR102607709B1 (ko) | 3 자유도 및 볼류메트릭 호환 가능한 비디오 스트림을 인코딩 및 디코딩하기 위한 방법들 및 디바이스들 | |
US20220377302A1 (en) | A method and apparatus for coding and decoding volumetric video with view-driven specularity | |
US20220368879A1 (en) | A method and apparatus for encoding, transmitting and decoding volumetric video | |
WO2020185529A1 (en) | A method and apparatus for encoding and decoding volumetric video | |
JP2022551064A (ja) | 容積ビデオを符号化、送信、及び復号化するための方法及び装置 | |
US20230224501A1 (en) | Different atlas packings for volumetric video | |
US20230239451A1 (en) | A method and apparatus for encoding and decoding volumetric content in and from a data stream | |
US20230032599A1 (en) | Methods and apparatuses for encoding, decoding and rendering 6dof content from 3dof+ composed elements | |
JP2024514066A (ja) | 光効果をサポートする容積ビデオ | |
WO2023202897A1 (en) | A method and apparatus for encoding/decoding a 3d scene |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220530 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20220624 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220727 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230926 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20231110 |