TW201946449A - 影像處理裝置及方法 - Google Patents

影像處理裝置及方法 Download PDF

Info

Publication number
TW201946449A
TW201946449A TW108111474A TW108111474A TW201946449A TW 201946449 A TW201946449 A TW 201946449A TW 108111474 A TW108111474 A TW 108111474A TW 108111474 A TW108111474 A TW 108111474A TW 201946449 A TW201946449 A TW 201946449A
Authority
TW
Taiwan
Prior art keywords
information
unit
projection direction
data
decoding
Prior art date
Application number
TW108111474A
Other languages
English (en)
Inventor
隈智
中神央二
矢野幸司
加藤毅
Original Assignee
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼股份有限公司 filed Critical 日商索尼股份有限公司
Publication of TW201946449A publication Critical patent/TW201946449A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)

Abstract

本揭露係有關於，可較容易將3D資料之編碼資料予以解碼的影像處理裝置及方法。
生成含有表示3維結構之3D資料的位置資訊往2維平面之投影方向之相關資訊亦即投影方向資訊、和將該位置資訊投影至該2維平面而成的幾何影像之編碼資料的位元串流。本揭露係可適用於例如資訊處理裝置、影像處理裝置、電子機器、資訊處理方法、或程式等。

Description

影像處理裝置及方法
本揭露係有關於影像處理裝置及方法，特別是有關於可較容易將3D資料之編碼資料予以解碼的影像處理裝置及方法。
先前，作為例如像是點雲(Point cloud)這類表示3維結構之3D資料的編碼方法，係有例如Octree等這類使用到體素(Voxel)的編碼(例如參照非專利文獻1)。
近年來，作為其他編碼方法，例如，將點雲的位置與色彩資訊，分別按照每一小領域地投影至2維平面，以2維影像用之編碼方法來進行編碼的方式(以下亦稱為視訊基礎方式(Video-based approach))，係已被提出。
[先前技術文獻]
[非專利文獻]
[非專利文獻1]R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video",tcsvt_paper_submitted_february.pdf
[發明所欲解決之課題]
然而，在先前的方法中，解碼順序或解碼範圍等的限制較多，例如為了解碼所望之部分必須要將全體都進行解碼才行等等，會有需要繁雜的作業之疑慮。
本揭露係有鑑於此種狀況而研發，目的在於能夠較容易將3D資料之編碼資料予以解碼。

[用以解決課題之手段]
本技術之一側面之影像處理裝置，係為一種影像處理裝置，其係具備：位元串流生成部，係生成位元串流，其係含有：表示3維結構之3D資料的位置資訊往2維平面之投影方向之相關資訊亦即投影方向資訊、和將前記位置資訊投影至前記2維平面而成的幾何影像之編碼資料。
本技術之一側面之影像處理方法，係為一種影像處理方法，係生成位元串流，其係含有：表示3維結構之3D資料的位置資訊往2維平面之投影方向之相關資訊亦即投影方向資訊、和將前記位置資訊投影至前記2維平面而成的幾何影像之編碼資料。
本技術之另一側面的影像處理裝置，係為一種影像處理裝置，其係具備：解碼部，係基於表示3維結構之3D資料的位置資訊往2維平面之投影方向之相關資訊亦即投影方向資訊，而將含有將前記位置資訊投影至前記2維平面而成的幾何影像之編碼資料的位元串流，予以解碼。
本技術之另一側面的影像處理方法，係為一種影像處理方法，係基於表示3維結構之3D資料的位置資訊往2維平面之投影方向之相關資訊亦即投影方向資訊，而將含有將前記位置資訊投影至前記2維平面而成的幾何影像之編碼資料的位元串流，予以解碼。
本技術之再另一側面的影像處理裝置，係為一種影像處理裝置，其係具備：打包部，係將表示3維結構之3D資料的位置資訊投影至2維平面而成的幾何影像，配置在影像的前記位置資訊往前記2維平面之投影方向所相應的編碼單位中而予以打包。
本技術之再另一側面的影像處理方法，係為一種影像處理方法，係將表示3維結構之3D資料的位置資訊投影至2維平面而成的幾何影像，配置在影像的前記位置資訊往前記2維平面之投影方向所相應的編碼單位中而予以打包。
本技術之再另一側面的影像處理裝置，係為一種影像處理裝置，其係具備：解碼部，係從位元串流的，表示3維結構之3D資料的位置資訊往2維平面之投影方向所相應的編碼單位，將在前記投影方向上投影至前記2維平面而成的幾何影像，予以解碼。
本技術之再另一側面的影像處理方法，係為一種影像處理方法，係從位元串流的，表示3維結構之3D資料的位置資訊往2維平面之投影方向所相應的編碼單位，解碼出在前記投影方向上投影至前記2維平面而成的幾何影像。
於本技術之一側面的影像處理裝置及方法中，含有表示3維結構之3D資料的位置資訊往2維平面之投影方向之相關資訊亦即投影方向資訊、和將該位置資訊投影至該2維平面而成的幾何影像之編碼資料的位元串流，係被生成。
於本技術之另一側面的影像處理裝置及方法中，基於表示3維結構之3D資料的位置資訊往2維平面之投影方向之相關資訊亦即投影方向資訊，含有將該位置資訊投影至該2維平面而成的幾何影像之編碼資料的位元串流，係被解碼。
於本技術之再另一側面的影像處理裝置及方法中，將表示3維結構之3D資料的位置資訊投影至2維平面而成的幾何影像，係被配置在影像的該位置資訊往該2維平面之投影方向所相應的編碼單位中，而被打包。
於本技術之再另一側面的影像處理裝置及方法中，會從位元串流的，表示3維結構之3D資料的位置資訊往2維平面之投影方向所相應的編碼單位，解碼出在該投影方向上投影至該2維平面而成的幾何影像。

[發明效果]
若依據本揭露，則可處理影像。尤其是，可較容易將3D資料之編碼資料予以解碼。
以下，說明用以實施本揭露的形態(以下稱作實施形態)。此外，說明係用以下順序來進行。
1.視訊基礎方式
2.第1實施形態(每一投影方向之控制)
3.附記
＜1.視訊基礎方式＞
＜支持技術內容、技術用語的文獻等＞
本技術所揭露之範圍，係不只有實施形態中所記載的內容，還包含了於申請當時已為公知的以下之非專利文獻中所記載的內容。
非專利文獻1：(上述)
非專利文獻2：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "Advanced video coding for generic audiovisual services", H.264, 04/2017
非專利文獻3：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "High efficiency video coding", H.265, 12/2016
非專利文獻4：Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017
亦即，上述的非專利文獻中所記載之內容亦為判斷支持要件之際的根據。例如，非專利文獻3中所記載之Quad-Tree Block Structure、非專利文獻4中所記載之QTBT(Quad Tree Plus Binary Tree) Block Structure即使於實施形態中沒有直接記載的情況下，仍屬於本技術的揭露範圍內，並視為滿足申請專利範圍的支持要件。又，例如，關於剖析(Parsing)、語法(Syntax)、語意(Semantics)等之技術用語也是同樣地，即使於實施形態中沒有直接記載的情況下，仍屬於本技術的揭露範圍內，並視為滿足申請專利範圍的支持要件。
＜點雲＞
先前，藉由點群之位置資訊或屬性資訊等來表現3維結構的點雲，或以頂點、邊緣、面所構成，使用多角形表現來定義3維形狀的網格等之資料，係為存在。
例如點雲的情況下，是將如圖1的A所示的立體結構物，以如圖1的B所示的多數的點之集合(點群)，來加以表現。亦即，點雲之資料，係由該點群的各點之位置資訊或屬性資訊(例如色彩等)而被構成。因此資料結構會比較單純，同時，藉由使用足夠多的點，就可以足夠的精度來表現任意的立體結構。
＜視訊基礎方式之概要＞
將此種點雲的各位置與色彩資訊，每一小領域地投影至2維平面，以2維影像用之編碼方法來進行編碼的視訊基礎方式(Video-based approach)，已被提出。
在該視訊基礎方式中，例如如圖2所示，已被輸入之點雲(Point cloud)是被分割成複數個分段(亦稱領域)，每一領域地被投影至2維平面。此外，點雲的每一位置之資料(亦即各點之資料)，係如上述是由位置資訊(Geometry(亦稱Depth))和屬性資訊(Texture)所構成，分別被每一領域地投影至2維平面。
然後，已被投影至該2維平面上的各分段(亦稱斑塊)，係被配置在2維影像中，例如藉由AVC(Advanced Video Coding)或HEVC(High Efficiency Video Coding)等這類2維平面影像用之編碼方式，而被編碼。
然而，在先前的方法中，解碼順序或解碼範圍等的限制較多，例如為了解碼所望之部分必須要將全體都進行解碼才行等等，會有需要繁雜的作業之疑慮。
例如，在先前的情況下，全斑塊都未考慮解碼順序等就被配置在畫格影像中，由於在斑塊間編碼單位並非獨立，因此為了將一部分之斑塊予以解碼，必須要將全斑塊都予以解碼(部分解碼係為困難)。
又，在先前的情況下，作為投影至2D平面的基準方向，是使用往正交之方向(0度、90度、180度、270度)的投影，但該情況下，由於會變成將最大45度做投影，因此遮蔽的發生會增大，而有降低重現性之疑慮。
再者，例如，為了壓抑景深(Depth)之範圍較廣的(Video Codec壓縮效率低落的)影像的位元深度而斑塊分割會增大，而有導致平滑化之處理量增大之疑慮。
＜投影方向資訊的傳輸＞
於是，使其生成含有表示3維結構之3D資料的位置資訊往2維平面之投影方向之相關資訊亦即投影方向資訊、和將該位置資訊投影至該2維平面而成的幾何影像之編碼資料的位元串流。
例如於影像處理裝置中，使其具備有：位元串流生成部，係生成位元串流，其係含有：表示3維結構之3D資料的位置資訊往2維平面之投影方向之相關資訊亦即投影方向資訊、和將該位置資訊投影至該2維平面而成的幾何影像之編碼資料。
藉由如此設計，由於可任意地設定投影方向，因此可生成例如相應於View方向等的，較為適切的投影方向之斑塊，並予以編碼。藉此，於解碼側就可較容易將3D資料之編碼資料予以解碼。例如，可抑制遮蔽之發生，或抑制斑塊數之增大，因而可抑制解碼處理的負荷(例如處理量、處理時間、進行處理的資料量等)之增大。
又，使其基於表示3維結構之3D資料的位置資訊往2維平面之投影方向之相關資訊亦即投影方向資訊，而將含有將該位置資訊投影至該2維平面而成的幾何影像之編碼資料的位元串流，予以解碼。
例如於影像處理裝置中，使其具備有：解碼部，係基於表示3維結構之3D資料的位置資訊往2維平面之投影方向之相關資訊亦即投影方向資訊，而將含有將該位置資訊投影至該2維平面而成的幾何影像之編碼資料的位元串流，予以解碼。
藉由如此設計，就可較容易掌握斑塊的被任意設定之投影方向，因此例如可隨應於View方向等，而選擇較為適切的投影方向之斑塊並予以解碼等，即使於多樣的解碼方法中，仍可較容易將3D資料之編碼資料予以解碼。因此，可抑制解碼處理的負荷(例如處理量、處理時間、進行處理的資料量等)之增大。
＜斑塊的配置控制＞
又，使其將表示3維結構之3D資料的位置資訊投影至2維平面而成的幾何影像，配置在影像的該位置資訊往該2維平面之投影方向所相應的編碼單位中，而予以打包。
例如於影像處理裝置中，使其具備有：打包部，係將表示3維結構之3D資料的位置資訊投影至2維平面而成的幾何影像，配置在影像的該位置資訊往該2維平面之投影方向所相應的編碼單位中而予以打包。
藉由如此設計，在解碼之際，就可容易地控制斑塊的解碼順序，或可實現只將一部分之斑塊予以解碼的部分解碼等等。亦即，於解碼側就可較容易將3D資料之編碼資料予以解碼，可抑制解碼處理的負荷(例如處理量、處理時間、進行處理的資料量等)之增大。
又，使其從位元串流的，表示3維結構之3D資料的位置資訊往2維平面之投影方向所相應的編碼單位，解碼出在該投影方向上投影至該2維平面而成的幾何影像。
例如於影像處理裝置中，使其具備有：解碼部，係從位元串流的，表示3維結構之3D資料的位置資訊往2維平面之投影方向所相應的編碼單位，解碼出在該投影方向上投影至該2維平面而成的幾何影像。
藉由如此設計，就可容易地控制斑塊的解碼順序，或可實現只將一部分之斑塊予以解碼的部分解碼等等。亦即，就可較容易將3D資料之編碼資料予以解碼，可抑制解碼處理的負荷(例如處理量、處理時間、進行處理的資料量等)之增大。
＜有關於視訊基礎方式的本技術＞
說明有關於如以上所說明之視訊基礎方式的本技術。如圖3的表所示，於本技術中，是對斑塊進行投影方向之相關設定。
＜投影方向＞
所謂投影方向，係視訊基礎方式中的3D資料(例如點雲等)往2維平面之投影的角度，亦即表示從3D資料來看的2維平面之方向及位置(距離)。例如，亦可如圖4的A所示，使用球座標(r，θ，φ)來表示投影方向(方向及位置)。
該投影方向中亦可包含有，與先前相同的，彼此正交之方向(0度、90度、180度、270度)，亦可包含有這些正交座標方向以外之新的方向及位置。在先前的情況下，投影方向，係只有如圖4的B的表所示的正交座標方向，係被預先決定好的(無法設定)。藉由如上述般地對斑塊進行投影方向之相關設定，就可例如如圖4的C的表所示，還可設定正交座標方向以外之投影方向。
＜投影方向資訊＞
作為投影方向之相關設定，例如，將該投影方向之相關資訊亦即投影方向資訊予以生成、傳輸。投影方向資訊，係為表示識別元與投影方向之對應關係的資訊。亦即，投影方向資訊係為，對所設定之投影方向而指派識別元的資訊。圖4的C中係圖示該投影方向資訊之例子。在圖4的C所示的投影方向資訊中，係對各投影方向之識別元(投影方向索引)，將投影方向(方向球座標φ、方向球座標θ、距離r)建立對應。此外，亦可對複數個識別元建立對立彼此相同的投影方向。
藉由將如此的投影方向資訊予以生成、傳輸，各斑塊與投影方向之對應關連，就可使用該識別元而為之。因此，可抑制編碼量之增加。又，於解碼側也可基於該投影方向資訊，而容易地掌握各斑塊之投影方向。因此，可抑制解碼處理的負荷之增大，可較容易將3D資料之編碼資料予以解碼。
又，藉由將如此的投影方向資訊予以生成、傳輸，就可設定任意的投影方向，因此例如可將容易變成View方向之方向或位置設定作為投影方向，或反之可將難以變成View方向之方向或位置從投影方向予以排除等等，可以抑制遮蔽之發生的方式來設定投影方向，可抑制重現性的降低。又，由於亦可以抑制斑塊分割之增大的方式來設定投影方向，因此也可抑制平滑化處理量之增大。
＜附加資訊＞
此外，對該投影方向資訊，作為附加資訊，亦可附加關於解碼的屬性資訊。屬性資訊之內容係為任意。又，所附加的屬性資訊之數量係為任意。
例如，作為屬性資訊，亦可每一投影方向地設定解碼順序(解碼的優先順序)。如圖4的C所示的投影方向資訊的情況下，作為「屬性」，表示解碼順序(解碼的優先順序)的數字，係被指派給各投影方向之識別元(投影方向索引)。此外，亦可對複數個識別元指派相同的解碼順序。
藉由使用如此資訊來控制各斑塊的解碼順序，就可實現較多樣的解碼方法。例如，可讓較重要的投影方向較早進行解碼。又，例如，參考該解碼順序，從靠近於所被要求之View方向的投影方向的斑塊起優先解碼的這類解碼方法，係成為可能。藉此，就可使所被要求之View方向之影像較早復原(顯示)。又，例如，隨應於負荷狀況等而省略非重要的投影方向之斑塊的解碼的這類解碼方法，也成為可能。
又，作為屬性資訊，亦可含有表示3維結構體中之特性(意義)的意義資訊。例如，亦可為，設定用來將3維結構體中具有所定之意義的地點進行投影所需之投影方向，並將表示其意義的意義資訊作為屬性資訊，對投影方向建立對應而附加之。例如，亦可設定用來將人物的「臉」進行投影所需之專用的投影方向，並對該投影方向附加「Face」等這類意義資訊。
藉由如此設計，於解碼時，該意義資訊所致之投影方向之選擇也成為可能。例如，欲將「臉」予以解碼的情況下，不需指定投影方向而只需改為指定該意義資訊「Face」，就可容易地將必要之斑塊予以解碼，就可將「臉」的影像予以復原(顯示)。
在圖4的C的例子的情況下，對於投影方向索引為「10」及「11」之投影方向，係被附加有意義資訊「Face1」。此情況下，藉由將這些投影方向之斑塊予以解碼，就可將「Face1」所相關之斑塊予以解碼。此外，亦可對1個投影方向索引附加複數個屬性資訊。又，亦可對1個投影方向索引附加複數個意義資訊。
＜編碼單位資訊＞
作為投影方向之相關設定，例如，亦可按照該每一投影方向地將配置斑塊的編碼單位之相關資訊亦即編碼單位資訊予以生成、傳輸。編碼單位資訊係為表示，上述的投影方向之識別元、與配置該投影方向上所被投影之斑塊的編碼單位之對應關係的資訊。亦即，編碼單位資訊，係為表示各投影方向與所使用之編碼單位之對應關係的資訊。
所謂編碼單位，係為可獨立地編碼、解碼的資料單位。該編碼單位的具體的資料單位係無特別限定，但亦可為例如：切片、瓷磚、圖像等。
先前的情況的斑塊之配置例，示於圖5的A。於圖5的A中，在圖像31中係被配置有複數個斑塊32。於圖5的A中，係雖然是只有對1個斑塊有標示符號，但圖像31內的圖形係皆為斑塊32。各斑塊32內所被標示的數字，係表示投影方向(亦即投影方向索引)。在先前的情況下，如該圖5的A所示，各斑塊32，係不考慮解碼順序等，而被配置在圖像31中。因此，如圖5的B所示的表，對各投影方向索引，係皆被指派了彼此相同的畫格(畫格索引「0」)(亦即不可設定)。
藉由如上述的編碼單位資訊，例如如圖6的表所示，可將配置斑塊的編碼單位(畫格、切片、瓷磚等)，按照每一投影方向地予以設定。圖6的例子的情況下，對各投影方向索引，係有：用來識別畫格的畫格索引、用來識別切片的切片索引、及用來識別瓷磚的瓷磚索引，被建立對應。
例如，圖6的表的情況下，投影方向索引「0」之斑塊，係被配置在畫格索引「0」之切片索引「1」。又，投影方向索引「6」之斑塊，係被配置在畫格索引「0」之切片索引「0」。
此外，如圖6的表的投影索引「5」所示，亦可對1個投影方向指派複數個編碼單位，亦可如投影索引「1」與「2」所示，將複數個投影方向指派給彼此相同的編碼單位。
藉由按照該編碼單位資訊來配置各斑塊，就可將各斑塊，配置在投影方向所相應之編碼單位中。例如，如圖7所示，將圖5的A的各斑塊32，按照該每一投影索引地，分成切片51乃至切片57而予以配置。
藉此，例如，可省略多餘的投影方向之斑塊的解碼(亦即只將一部分之斑塊予以解碼)(可實現部分解碼)。又，也可將重要的斑塊優先進行解碼(控制斑塊的解碼順序)。亦即，就可較容易將3D資料之編碼資料予以解碼，可抑制解碼處理的負荷(例如處理量、處理時間、進行處理的資料量等)之增大。又，即使在實現多樣的解碼方法的情況下也是，因為可使其只將必要的一部分之資料予以解碼，因此可抑制解碼處理的負荷之增大。
此外，於圖6的例子中雖然是使用切片來進行斑塊的配置控制，但亦可取代切片改用瓷磚來做配置控制。又，亦可使用切片與瓷磚之雙方來做配置控制。當然此種斑塊的配置控制時的編碼單位，係亦可階層化。亦即，例如，亦可像是畫格與切片般地，進行複數階層之配置控制。例如，於圖6的例子中，亦可對畫格索引「0」以外之畫格，配置斑塊。
此外，對該編碼單位資訊，作為附加資訊，亦可附加關於解碼的屬性資訊。屬性資訊之內容係為任意。例如，作為屬性資訊，亦可含有表示3維結構體中之特性(意義)的意義資訊(例如「Face」等)。藉由如此設計，亦可根據該意義資訊，來選擇要進行解碼的編碼單位。
＜編碼處理＞
在3D資料的編碼處理中，係使用上述的投影方向之識別元，而將各斑塊與該投影方向做關連對應。亦即，對各斑塊指派投影方向之識別元。藉此，可將投影方向、屬性資訊、編碼單位等之各種資訊，對各斑塊建立對應。
此外，該編碼之際，亦可省略對2D影像化(解碼)而言為多餘的投影方向之斑塊的編碼。例如，若為人物的情況下，將腳底予以投影的這類投影方向之斑塊，係明顯地不被解碼的可能性很高。於是藉由省略此種投影方向之斑塊之編碼，就可抑制編碼量之增大，可抑制編碼效率的降低。
至於要將哪種投影方向視為多餘，係依存於3維結構體或狀況等。因也，該多餘的投影方向之設定方法係為任意。例如，亦可基於任意的資訊等而被設定。
又，在3D資料之編碼處理中，雖然斑塊是被配置在影像上而被打包，但在該打包時，是將各斑塊，配置在該斑塊之投影方向所對應之編碼單位中。例如，上述的編碼單位資訊有被設定的情況下，則是依照該編碼單位資訊，來進行各斑塊之配置。藉由如此設計，可每一投影方向地控制要進行配置的編碼單位，因此可較容易將3D資料之編碼資料予以解碼。
又，在3D資料之編碼處理中，例如，如上述般地對各斑塊的解碼順序賦予優先順序的情況下，在使用者沒有指定所欲顯示之View方向的情況下，亦可將所被設定的View方向之初期值也就是預設View方向用的資料(斑塊)之解碼順序予以優先化。藉由如此設計，就可使預設View方向之影像較早期地進行復原(顯示)。
又，在3D資料之編碼處理中，將已被打包之斑塊予以編碼之際，亦可隨應於該斑塊之顯示頻繁度而控制其品質設定。如上述，各斑塊係配置在按照每一投影方向而被控制的編碼單位中。由於各編碼單位係可獨立地進行編碼、解碼，因此亦可按照該每一編碼單位地控制品質。亦即，可隨應於斑塊的投影方向，來控制該斑塊的品質。例如，所被顯示的View方向會有偏頗的情況下，較常被顯示的View方向之影像生成時所被使用的斑塊的顯示頻繁度就會變高等等，斑塊的顯示頻繁度也會發生偏頗。當然，與其把顯示頻繁度低的斑塊不如把顯示頻繁度高的斑塊的畫質予以提升，相對於編碼量的主觀畫質反而會比較提升。亦即，藉由隨應於如此的偏頗來進行編碼的品質設定，就可抑制編碼效率的降低。
＜解碼處理＞
在3D資料之解碼處理中，係可基於上述的投影方向資訊或編碼單位資訊等，來控制解碼方法。例如，亦可依照接近於已被指定之View方向的投影方向的順序來進行解碼。藉由參照投影方向資訊，就可較容易掌握各斑塊之投影方向，因此可較容易實現如此的解碼控制。
又，例如，亦可隨應於View方向而進行部分解碼(部分解碼)。由於配置各斑塊的編碼單位是按照每一投影方向地而被控制，因此可基於投影方向而將一部分之斑塊予以解碼(實現部分解碼)。又，藉由參照編碼單位資訊，可較容易掌握所望之投影方向之斑塊所被配置的編碼單。甚至，藉由參照投影方向資訊，可較容易掌握各斑塊之投影方向。因此，可較容易實現如此的解碼控制。
例如與View方向相反之投影方向的斑塊，係亦可省略解碼。一般而言，與View方向相反方向之斑塊，係對View方向之影像之生成沒有貢獻。因此，藉由上述的相應於View方向的部分解碼(部分解碼)，可省略與View方向相反之投影方向的斑塊之解碼，而可省略多餘的資訊之解碼。亦即，可抑制解碼的負荷之增大。
例如，如圖8所示，假設對id0乃至id3之4個投影方向，如粗線箭頭所示般地設定有View方向。各投影方向之斑塊的解碼順序係亦可設成例如，各投影方向與View方向的內積之值是由小而大之順序。此情況下，斑塊係按照id0、id3、id1、id2之順序而被解碼。又，例如，各投影方向之斑塊的解碼順序，係亦可設成如下之順序。
1.從內積為負且絕對值較小者開始解碼。
2.將內積為0者予以解碼。
3.從內積為正且絕對值較小者開始解碼。
此情況下，斑塊係按照id3、id0、id1、id2之順序而被解碼。
又，亦可為，內積為負的情況下從值較小者開始解碼，內積非負的情況下則不解碼。該情況下，斑塊係按照id0、id3之順序而被解碼。
又，亦可只將包含有臉者，亦即對應於屬性資訊「Face」的斑塊，予以解碼。
此外，將以上所說明之斑塊予以生成的3D資料，係亦可為表示各點之位置的位置資訊(Geometry)，亦可為對該位置資訊所附加的色彩資訊等之屬性資訊(Texture)。
＜2.第1實施形態＞
＜編碼裝置＞
接著說明，實現如以上之各手法的構成。圖9係適用了本技術的影像處理裝置之一態樣的編碼裝置之構成之一例的區塊圖。圖9所示的編碼裝置100係為，將像是點雲的3D資料投影至2維平面而以2維影像用之編碼方法進行編碼的裝置(適用了視訊基礎方式的編碼裝置)。
此外，於圖9中係主要表示處理部或資料的流動等，圖9所示者並非全部。亦即，於編碼裝置100中，亦可存在有於圖9中未以區塊而被表示的處理部，亦可存在有於圖9中未以箭頭等而表示的處理或資料之流動。這在編碼裝置100內的處理部等的說明的其他圖中也是同樣如此。
如圖9所示，編碼裝置100係具有：斑塊分解部111、後設資料生成部112、打包部113、輔助斑塊資訊壓縮部114、視訊編碼部115、視訊編碼部116、OMap編碼部117、及多工器118。
斑塊分解部111，係進行3D資料之分解的相關處理。例如，斑塊分解部111，係將被輸入至編碼裝置100的，表示3維結構之3D資料(例如點雲(Point Cloud))或View方向之相關資訊(View Info)，加以取得。又，斑塊分解部111，係將已取得之該3D資料分解成複數分段，該每一分段地將3D資料投影至2維平面，生成斑塊。此時，斑塊分解部111，係從後設資料生成部112取得投影方向資訊，基於該資訊，對各斑塊指派識別元(投影方向索引)。
斑塊分解部111，係將已生成之各斑塊之相關資訊，供給至打包部113。又，斑塊分解部111，係將該分解的相關之資訊亦即輔助斑塊資訊，供給至輔助斑塊資訊壓縮部114。然後，斑塊分解部111，係將斑塊生成之際的投影方向等之相關資訊，供給至後設資料生成部112。
後設資料生成部112，係進行後設資料之生成的相關處理。例如，後設資料生成部112，係將從斑塊分解部111所被供給之投影方向等之相關資訊，加以取得。後設資料生成部112，係基於該資訊而生成投影方向資訊或編碼單位資訊。後設資料生成部112，係將已生成之投影方向資訊，供給至例如：斑塊分解部111、打包部113、視訊編碼部115、視訊編碼部116、OMap編碼部117、及多工器118。又，後設資料生成部112，係將已生成之編碼單位資訊，供給至例如：打包部113、視訊編碼部115、視訊編碼部116、OMap編碼部117、及多工器118。
打包部113，係進行資料之打包的相關處理。例如，打包部113，係將從斑塊分解部111所被供給之每一領域地被投影了3D資料的2維平面之資料(斑塊)，加以取得。又，打包部113，係將已取得之各斑塊，打包成為視訊畫格。例如，打包部113，係將表示點的位置的位置資訊(Geometry)的斑塊配置在2維影像中，將被附加至該位置資訊的色彩資訊等之屬性資訊(Texture)的斑塊配置在2維影像中，將這些2維影像，分別打包成為視訊畫格。
此時，打包部113，係基於從後設資料生成部112所被供給之投影方向資訊或編碼單位資訊，來進行打包。亦即，打包部113，係如上述，將配置各斑塊的編碼單位(畫格、切片、瓷磚等)，隨應於其投影方向而加以控制。亦即，打包部113，係將各斑塊，配置在對應於其投影方向的編碼單位中。
此外，打包部112係也進行，表示每一位置之資料之有無的佔用地圖(Occupancy Map)之生成或Dilation處理。打包部113，係將處理後的各種資料，供給至後段的處理部。例如，打包部113係將位置資訊(Geometry)之視訊畫格，供給至視訊編碼部115。又，例如，打包部113係將屬性資訊(Texture)之視訊畫格，供給至視訊編碼部116。再者，例如，打包部113係將佔用地圖，供給至OMap編碼部117。又，打包部113係將該打包的相關之控制資訊，供給至多工器118。
輔助斑塊資訊壓縮部114，係進行輔助斑塊資訊之壓縮的相關處理。例如，輔助斑塊資訊壓縮部114，係將從斑塊分解部111所被供給之資料，加以取得。輔助斑塊資訊壓縮部114，係將已取得之資料中所含之輔助斑塊資訊，予以編碼(壓縮)。輔助斑塊資訊壓縮部114，係將所得到之輔助斑塊資訊之編碼資料，供給至多工器118。
視訊編碼部115，係進行位置資訊(Geometry)之視訊畫格之編碼的相關處理。例如，視訊編碼部115，係將從打包部113所被供給之位置資訊(Geometry)之視訊畫格，加以取得。又，視訊編碼部115，係將該已取得之位置資訊(Geometry)之視訊畫格，例如以AVC或HEVC等之任意的2維影像用之編碼方法，進行編碼。視訊編碼部115，係將該編碼所得之編碼資料(位置資訊(Geometry)之視訊畫格之編碼資料)，供給至多工器118。
此外，該編碼之際，視訊編碼部115，係亦可基於從後設資料生成部112所被供給之投影方向資訊或編碼單位控制資訊，來進行編碼的品質控制。例如，視訊編碼部115，係亦可將視訊畫格，隨應於該視訊畫格中所含之斑塊之顯示頻繁度等，而控制品質(例如量化參數)。
視訊編碼部116，係進行屬性資訊(Texture)之視訊畫格之編碼的相關處理。例如，視訊編碼部116，係將從打包部113所被供給之屬性資訊(Texture)之視訊畫格，加以取得。又，視訊編碼部116，係將該已取得之屬性資訊(Texture)之視訊畫格，例如以AVC或HEVC等之任意的2維影像用之編碼方法，進行編碼。視訊編碼部116，係將該編碼所得之編碼資料(屬性資訊(Texture)之視訊畫格之編碼資料)，供給至多工器118。
此外，該視訊編碼部116，也是可以和視訊編碼部115同樣地，基於從後設資料生成部112所被供給之投影方向資訊或編碼單位控制資訊，來進行編碼的品質控制。
OMap編碼部117，係進行表示每一位置之資料之有無的佔用地圖之編碼的相關處理。例如，OMap編碼部117，係將從打包部113所被供給之佔用地圖之視訊畫格，加以取得。又，OMap編碼部117，係將該已取得之佔用地圖，例如以算術編碼等任意之編碼方法，進行編碼。OMap編碼部117，係將藉由該編碼所得到的佔用地圖之編碼資料，供給至多工器118。
此外，該OMap編碼部117，也是可以和視訊編碼部115同樣地，基於從後設資料生成部112所被供給之投影方向資訊或編碼單位控制資訊，來進行編碼的品質控制。
多工器118，係進行多工化的相關處理。例如，多工器118，係將從輔助斑塊資訊壓縮部114所被供給之輔助斑塊資訊之編碼資料，加以取得。又，多工器118，係取得從打包部113所被供給之打包的相關之控制資訊。又，多工器118，係將從視訊編碼部115所被供給之位置資訊(Geometry)之視訊畫格之編碼資料，加以取得。又，多工器118，係將從視訊編碼部116所被供給之屬性資訊(Texture)之視訊畫格之編碼資料，加以取得。又，多工器118，係將從OMap編碼部117所被供給之佔用地圖之編碼資料，加以取得。
然後，多工器118，係將從後設資料生成部112所被供給之投影方向資訊或編碼單位資訊，加以取得。
多工器118，係將已取得之這些資訊進行多工化，而生成位元串流(Bitstream)。多工器118，係將該已生成之位元串流，輸出至編碼裝置100的外部。
＜斑塊分解部＞
圖10係為圖9的斑塊分解部111的主要構成例的區塊圖。如圖10所示，此時的斑塊分解部111係具有：法線推定部151、分段初期設定部152、分段更新部153、投影方向設定部154、2維投影部155、及索引賦予部156。
法線推定部151，係進行3D資料之表面的法線之推定的相關處理。例如，法線推定部151，係將所被輸入的3D資料(Point Cloud)，加以取得。又，法線推定部151，係推定該已取得之3D資料所呈現的物件之表面的法線。例如，法線推定部151，係建構kd-tree，並探索附近，算出最適近似接平面等而推定法線。法線推定部151，係將該法線之推定結果連同其他資料，供給至分段初期設定部152。
分段初期設定部152，係進行分段之初期設定的相關處理。例如，分段初期設定部152，係將從法線推定部151所被供給之資料，加以取得。又，分段初期設定部152，係基於已被法線推定部151所推定出來的法線的6軸的各方向之成分，而將3D資料的其法線所對應的面，加以分類。分段初期設定部152，係將該分類結果，連同其他資料一起供給至分段更新部153。
分段更新部153，係進行分段之更新的相關處理。例如，分段更新部153，係將從分段初期設定部152所被供給之資料，加以取得。又，分段更新部153，係已被分段初期設定部152所設定之初期設定之分段中的太小的領域予以集結，使其變成足夠大的領域。分段更新部153，係將已更新之分段的相關之資訊，連同其他資訊，一起供給至投影方向設定部154。
投影方向設定部154，係進行投影方向之設定的相關處理。例如，投影方向設定部154，係將從分段更新部153所被供給之資料(含有已更新之分段的相關資訊)，加以取得。又，投影方向設定部154，係將View方向之相關資訊亦即View Info，加以取得。投影方向設定部154，係基於這些資訊，而決定各分段的投影方向。例如，投影方向設定部154，係基於各分段的法線或所被想定的View方向等，而以抑制遮蔽之發生的方式，來設定投影方向。又，例如，投影方向設定部154，係基於各分段的法線或所被想定的View方向等，而以抑制所生成之斑塊數之增大的方式，來設定投影方向。
投影方向設定部154，係將該已設定之投影方向等之相關資訊，供給至後設資料生成部112。又，投影方向設定部154，係將該投影方向等之相關資訊，連同已更新之分段之相關資訊等之其他資訊，一起供給至2維投影部155。
2維投影部155，係進行3D資料之2維投影的相關處理。例如，2維投影部155，係將從投影方向設定部154所被供給之資料，加以取得。又，2維投影部155，係將各分段投影至該投影方向之2維平面，生成斑塊。例如，2維投影部155，係生成位置資訊(Geometry)或屬性資訊(Texture)之斑塊。2維投影部155，係將已生成之位置資訊(Geometry)之斑塊或屬性資訊(Texture)之斑塊，連同其他資料，一起供給至索引賦予部156。
索引賦予部156，係進行投影方向索引之賦予的相關處理。例如，索引賦予部156，係將從2維投影部155所被供給之資料，加以取得。又，索引賦予部156，係將從後設資料生成部112所被供給之投影方向資訊，加以取得。又，索引賦予部156，係基於已取得之投影方向資訊，而對各斑塊，賦予對應於其投影方向的投影方向索引。索引賦予部156，係將處理後的資料(已賦予投影方向索引的位置資訊(Geometry)之斑塊或屬性資訊(Texture)之斑塊等)，供給至打包部113。
＜後設資料生成部＞
圖11係圖9的後設資料生成部112的主要構成例的區塊圖。如圖11所示，後設資料生成部112係具有投影方向資訊生成部171及編碼單位資訊生成部172。
投影方向資訊生成部171，係進行投影方向資訊之生成的相關處理。例如，投影方向資訊生成部171，係將從斑塊分解部111所被供給之投影方向等之相關資訊，加以取得。又，投影方向資訊生成部171，係基於該資訊而設定投影方向，附加投影方向索引，而生成投影方向資訊。又，投影方向資訊生成部171，係因應需要而將屬性資訊，附加至各投影方向索引。
投影方向資訊生成部171，係將已生成之投影方向資訊，供給至編碼單位資訊生成部172。又，投影方向資訊生成部171，係也將該投影方向資訊，供給至斑塊分解部111、打包部113、視訊編碼部115、視訊編碼部116、OMap編碼部117、及多工器118。
編碼單位資訊生成部172，係進行編碼單位資訊之生成的相關處理。例如，編碼單位資訊生成部172，係將從投影方向資訊生成部171所被供給之投影方向資訊，加以取得。又，編碼單位資訊生成部172，係設定將各投影方向之斑塊予以配置的編碼單位，將表示該編碼單位的資訊與投影方向索引建立對應，而生成編碼單位資訊。
編碼單位資訊生成部172，係將已生成之編碼單位資訊，供給至打包部113、視訊編碼部115、視訊編碼部116、OMap編碼部117、及多工器118。
＜解碼裝置＞
圖12係適用了本技術的影像處理裝置之一態樣的解碼裝置之構成之一例的區塊圖。圖12所示的解碼裝置200係為，將像是點雲之類的3D資料被投影至2維平面而被編碼成的編碼資料，以2維影像用之解碼方法進行解碼，並投影至3維空間的裝置(適用了視訊基礎方式的解碼裝置)。
此外，於圖12中係主要表示處理部或資料的流動等，圖12所示者並非全部。亦即，於解碼裝置200中，亦可存在有於圖12中未以區塊而被表示的處理部，亦可存在有於圖12中未以箭頭等而表示的處理或資料之流動。這在解碼裝置200內的處理部等的說明的其他圖中也是同樣如此。
如圖12所示，解碼裝置200係具有：解多工器211、後設資料處理部212、輔助斑塊資訊解碼部213、視訊解碼部214、視訊解碼部215、OMap解碼部216、解包部217、及3D重新建構部218。
解多工器211，係進行資料之逆多工化的相關處理。例如，解多工器211，係將被輸入至解碼裝置200的位元串流，加以取得。該位元串流係例如，是由編碼裝置100所供給。解多工器211，係將該位元串流進行逆多工化，將輔助斑塊資訊之編碼資料予以抽出，將其供給至輔助斑塊資訊解碼部213。又，解多工器211，係藉由逆多工化，而從位元串流，抽出位置資訊(Geometry)之視訊畫格之編碼資料，將其供給至視訊解碼部214。再者，解多工器211，係藉由逆多工化，而從位元串流，抽出屬性資訊(Texture)之視訊畫格之編碼資料，將其供給至視訊解碼部215。又，解多工器211，係藉由逆多工化，而從位元串流，抽出佔用地圖之編碼資料，將其供給至OMap解碼部216。
然後，解多工器211，係藉由逆多工化，而從位元串流，抽出投影方向資訊或編碼單位資訊等之後設資料，將其供給至後設資料處理部212。
後設資料處理部212，係基於後設資料而進行解碼控制的相關處理。例如，後設資料處理部212，係將從解多工器211所被供給之後設資料(投影方向資訊或編碼單位資訊等)，加以取得。又，後設資料處理部212，係將使用者等所做的View方向之指定(View)，加以取得。後設資料處理部212，係基於該後設資料或View方向等，來控制視訊解碼部214、視訊解碼部215、及OMap解碼部216所致之解碼。例如，控制斑塊的解碼順序或進行解碼的斑塊之範圍(部分解碼)。
輔助斑塊資訊解碼部213，係進行輔助斑塊資訊之編碼資料之解碼的相關處理。例如，輔助斑塊資訊解碼部213，係將從解多工器211所被供給之輔助斑塊資訊之編碼資料，加以取得。又，輔助斑塊資訊解碼部213，係將該已取得之資料中所含之輔助斑塊資訊之編碼資料，予以解碼。輔助斑塊資訊解碼部213，係將該解碼所得之輔助斑塊資訊，供給至3D重新建構部218。
視訊解碼部214，係進行位置資訊(Geometry)之視訊畫格之編碼資料之解碼的相關處理。例如，視訊解碼部214，係將從解多工器211所被供給之位置資訊(Geometry)之視訊畫格之編碼資料，加以取得。又，視訊解碼部214，係接受後設資料處理部212之控制。
又，視訊解碼部214，係依照後設資料處理部212之控制，將從解多工器211所取得之編碼資料予以解碼，獲得位置資訊(Geometry)之視訊畫格。例如，視訊解碼部214，係將後設資料處理部212所指定的，位置資訊(Geometry)往2維平面之投影方向所相應之編碼單位之編碼資料，予以解碼。例如，視訊解碼部214，係將後設資料處理部212所指定的解碼範圍的編碼單位之編碼資料，予以解碼。又，例如，視訊解碼部214，係以後設資料處理部212所指定的解碼順序，而將各編碼單位之編碼資料，予以解碼。視訊解碼部214，係將已解碼之編碼單位之位置資訊(Geometry)之資料，供給至解包部217。
視訊解碼部215，係進行屬性資訊(Texture)之視訊畫格之編碼資料之解碼的相關處理。例如，視訊解碼部215，係將從解多工器211所被供給之屬性資訊(Texture)之視訊畫格之編碼資料，加以取得。又，視訊解碼部215，係接受後設資料處理部212之控制。
又，視訊解碼部215，係依照後設資料處理部212之控制，將從解多工器211所取得之編碼資料予以解碼，獲得屬性資訊(Texture)之視訊畫格。例如，視訊解碼部215，係將後設資料處理部212所指定的解碼範圍的編碼單位之編碼資料，予以解碼。又，例如，視訊解碼部215，係以後設資料處理部212所指定的解碼順序，而將各編碼單位之編碼資料，予以解碼。視訊解碼部215，係將已解碼之編碼單位之屬性資訊(Texture)之資料，供給至解包部217。
OMap解碼部216，係進行佔用地圖之編碼資料之解碼的相關處理。例如，OMap解碼部216，係將從解多工器211所被供給之佔用地圖編碼資料，加以取得。又，OMap解碼部216，係接受後設資料處理部212之控制。
又，OMap解碼部216，係依照後設資料處理部212之控制，將從解多工器211所取得之編碼資料予以解碼，獲得佔用地圖。例如，OMap解碼部216，係將後設資料處理部212所指定的解碼範圍的編碼單位之編碼資料，予以解碼。又，例如，OMap解碼部216，係以後設資料處理部212所指定的解碼順序，而將各編碼單位之編碼資料，予以解碼。OMap解碼部216，係將已解碼之編碼單位之佔用地圖之資料，供給至解包部217。
解包部217，係進行解包的相關處理。例如，解包部217，係從視訊解碼部214取得位置資訊(Geometry)之視訊畫格(編碼單位之資料)，從視訊解碼部215取得屬性資訊(Texture)之視訊畫格(編碼單位之資料)，從OMap解碼部216取得佔用地圖(編碼單位之資料)。又，解包部217，係將位置資訊之視訊畫格或屬性資訊之視訊畫格，予以解包。解包部217，係將解包所得的位置資訊(Geometry)之資料(斑塊等)或屬性資訊(Texture)之資料(斑塊等)，以及佔用地圖之資料等之各種資料，供給至3D重新建構部218。
3D重新建構部218，係進行3D資料之重新建構的相關處理。例如，3D重新建構部218，係基於從輔助斑塊資訊解碼部213所被供給之輔助斑塊資訊、或從解包部217所被供給之位置資訊(Geometry)之資料、屬性資訊(Texture)之資料、及佔用地圖之資料等，來重新建構3D資料(Point Cloud)。3D重新建構部218，係將如此處理所得之3D資料，輸出至解碼裝置200之外部。
該3D資料係例如，被供給至顯示部而使其影像被顯示、或被記錄至記錄媒體、或透過通訊而被供給至其他裝置。
＜後設資料處理部＞
圖13係圖12的後設資料處理部212的主要構成例的區塊圖。如圖13所示，後設資料處理部212係具有：內積算出部251、解碼範圍設定部252、解碼順序設定部253、及解碼控制部254。
內積算出部251，係進行內積之算出的相關處理。例如，內積算出部251，係將從解多工器211所被供給之投影方向資訊，加以取得。又，內積算出部251，係將使用者等所輸入的View方向之指定，加以取得。又，內積算出部251，係算出表示投影方向之向量與表示View方向的向量的內積。內積算出部251，係將內積的算出結果，供給至解碼範圍設定部252。
解碼範圍設定部252，係進行解碼範圍之設定的相關處理。例如，解碼範圍設定部252，係將從內積算出部251所被供給之內積的結果，加以取得。又，解碼範圍設定部252，係將從解多工器211所被供給之編碼單位資訊，加以取得。又，解碼範圍設定部252，係基於內積的結果與編碼單位資訊，來設定解碼範圍(進行解碼的編碼單位)。亦即，解碼範圍設定部252，係控制是否進行部分解碼，若要進行部分解碼，則還會控制進行解碼的範圍。解碼範圍設定部252，係將內積的結果、編碼單位資訊、及已設定之解碼範圍之相關資訊，供給至解碼順序設定部253。
解碼順序設定部253，係進行解碼順序之設定的相關處理。例如，解碼順序設定部253，係將從解碼範圍設定部252所被供給之資訊，加以取得。又，解碼順序設定部253，係將從解多工器211所被供給之投影方向資訊，加以取得。又，解碼順序設定部253，係基於內積的結果、投影方向資訊、編碼單位資訊、解碼範圍之相關資訊等，而對應於解碼順序之設定、解碼範圍之設定、及View方向的方式，設定要進行解碼的編碼單位之解碼順序。解碼順序設定部253，係將內積的結果、編碼單位資訊、解碼範圍之相關資訊、及已設定之解碼順序之相關資訊，供給至解碼控制部254。
解碼控制部254，係進行解碼之控制的相關處理。例如，解碼控制部254，係將從解碼順序設定部253所被供給之資訊，加以取得。又，解碼控制部254，係基於該資訊，而控制視訊解碼部214、視訊解碼部215、及OMap解碼部216所致之解碼。例如，解碼控制部254，係指定這些處理部中所被進行的解碼之對象的編碼單位。又，例如，解碼控制部254，係控制這些處理部中所被進行的解碼之解碼範圍之指定或解碼順序等。
藉由具備如此構成，由於可任意地設定投影方向，因此可抑制遮蔽之發生，或抑制斑塊數之增大等等。又，可隨應於例如View方向等，而選擇較適切的投影方向之斑塊而進行解碼等，即使於多樣的解碼方法中，仍可較容易將3D資料之編碼資料予以解碼。因此，可抑制解碼處理的負荷之增大。
又，藉由具備如此構成，就可容易地控制斑塊的解碼順序，或可實現只將一部分之斑塊予以解碼的部分解碼等等。亦即，變成可較容易將3D資料之編碼資料予以解碼，可抑制解碼處理的負荷之增大。
＜編碼處理的流程＞
接著，編碼裝置100所執行的影像編碼處理的流程之例子，參照圖14的流程圖來說明。
一旦編碼處理被開始，則編碼裝置100的斑塊分解部111，係於步驟S101中，將3D資料投影至2維平面，分解成斑塊。
於步驟S102中，後設資料生成部112，係生成投影方向資訊及編碼單位資訊，來作為後設資料。
於步驟S103中，斑塊分解部111(索引賦予部156)，係依照步驟S102中所被生成之投影方向資訊，而將投影方向索引賦予(建立對應)至各斑塊。
於步驟S104中，輔助斑塊資訊壓縮部114，係將步驟S101之處理所得到之輔助斑塊資訊，予以壓縮。
於步驟S105中，打包部113，係依照步驟S102中所被生成之投影方向資訊及編碼單位資訊等，而進行打包。亦即，打包部113，係將各斑塊，配置在畫格影像的，對應於其投影方向的編碼單位(切片等)中，而打包成為視訊畫格。又，打包部113，係生成對應於該視訊畫格的佔用地圖。
於步驟S106中，視訊編碼部115，係將步驟S105之處理所得到之位置資訊之視訊畫格亦即幾何視訊畫格，以2維影像用之編碼方法進行編碼。
於步驟S107中，視訊編碼部116，係將步驟S105之處理所得到之屬性資訊之視訊畫格亦即彩色視訊畫格，以2維影像用之編碼方法進行編碼。
於步驟S108中，OMap編碼部117，係將步驟S105之處理所得到之佔用地圖，以所定之編碼方法進行編碼。
此外，視訊編碼部115乃至OMap編碼部117，係於各自所進行的編碼(步驟S106乃至步驟S108之編碼)中，亦可基於投影方向資訊或編碼單位資訊等來控制品質。
於步驟S109中，多工器118，係將如以上所被生成之各種資訊(例如步驟S106乃至步驟S108中所被生成之編碼資料、或步驟S102中所被生成之後設資料(投影方向資訊或編碼單位資訊))予以多工化，生成含有這些資訊的位元串流。
於步驟S110中，多工器118，係將步驟S109之處理所生成之位元串流，輸出至編碼裝置100的外部。
一旦步驟S110的處理結束，則編碼處理就結束。
＜斑塊分解處理的流程＞
其次，參照圖15的流程圖，說明圖14的步驟S101中所執行的斑塊分解處理的流程之例子。
一旦斑塊分解處理被開始，則法線推定部151，係於步驟S131中，推定3D資料之各面的法線。
於步驟S132中，分段初期設定部152，係進行分段之初期設定。
於步驟S133中，分段更新部153，係將步驟S132中所被設定之初期狀態之分段，因應需要而加以更新。
於步驟S134中，投影方向設定部154，係基於例如View Info等，來設定各分段的投影方向。
於步驟S135中，投影方向設定部154，係將步驟S134中所設定之投影方向之相關資訊，供給至後設資料生成部112。
於步驟S136中，2維投影部155，係將3D資料之各分段，投影至步驟S134中所設定之投影方向的2維平面。
一旦步驟S136的處理結束，則斑塊分解處理就結束，處理係回到圖14。
＜後設資料生成處理的流程＞
接著，將圖14之步驟S102中所執行的後設資料生成處理的流程之例子，參照圖16的流程圖而加以說明。
一旦後設資料生成處理開始，則投影方向資訊生成部171，係於步驟S151中，基於從斑塊分解部111(投影方向設定部154)所被供給之投影方向之相關資訊，而生成投影方向資訊。
於步驟S152中，編碼單位資訊生成部172，係基於步驟S151中所被生成之投影方向資訊，而設定將各斑塊予以投影的編碼單位，並生成編碼單位資訊。
藉由以上的處理，投影方向資訊或編碼單位資訊等之後設資料一旦被生成，則後設資料生成處理就結束，處理係回到圖14。
藉由如以上般地執行各處理，由於可任意地設定投影方向，因此可生成例如相應於View方向等的，較為適切的投影方向之斑塊，並予以編碼。藉此，於解碼側就可較容易將3D資料之編碼資料予以解碼。例如，可抑制遮蔽之發生，或抑制斑塊數之增大，因而可抑制解碼處理的負荷之增大。
又，藉由如以上般地執行各處理，在解碼之際，就可容易地控制斑塊的解碼順序，或可實現只將一部分之斑塊予以解碼的部分解碼等等。亦即，於解碼側變成可較容易將3D資料之編碼資料予以解碼，可抑制解碼處理的負荷之增大。
＜解碼處理的流程＞
接著，被解碼裝置200所執行的解碼處理之流程之例子，參照圖17的流程圖來加以說明。
一旦解碼處理被開始，則解碼裝置200的解多工器211係於步驟S201中，將位元串流進行逆多工化。
於步驟S202中，輔助斑塊資訊解碼部213，係將步驟S201中從位元串流所被抽出的輔助斑塊資訊，予以解碼。
於步驟S203中，後設資料處理部212，係隨應於步驟S201中從位元串流所抽出的後設資料(投影方向資訊或編碼單位資訊)而控制解碼。
於步驟S204中，視訊解碼部214，係依照步驟S203的解碼控制，將步驟S201中從位元串流所抽出的幾何視訊畫格(位置資訊之視訊畫格)之編碼資料，予以解碼。
於步驟S205中，視訊解碼部215，係依照步驟S203的解碼控制，將步驟S201中從位元串流所抽出的彩色視訊畫格(屬性資訊之視訊畫格)之編碼資料，予以解碼。
於步驟S206中，OMap解碼部216，係依照步驟S203的解碼控制，將步驟S201中從位元串流所抽出的佔用地圖之編碼資料，予以解碼。
於步驟S207中，解包部217，係將幾何視訊畫格或彩色視訊畫格予以解包，並抽出斑塊。
於步驟S208中，3D重新建構部218，係基於步驟S202中所得到之輔助斑塊資訊、和步驟S207中所得到之斑塊等，而將例如點雲等之3D資料予以重新建構。
一旦步驟S208之處理結束則解碼處理就結束。
＜後設資料處理的流程＞
接著，將圖17之步驟S203中所執行的後設資料處理的流程之例子，參照圖18的流程圖而加以說明。
一旦後設資料處理被開始，則後設資料處理部212的內積算出部251，係於步驟S221中，基於投影方向資訊，而算出表示已被指定之View方向的View向量、與表示投影方向的投影向量的內積。
於步驟S222中，解碼範圍設定部252，係基於步驟S221中所被算出之內積的結果與編碼單位資訊，而特定出滿足條件的投影方向(對應於該投影方向的編碼單位)，亦即要進行解碼的投影方向(要進行解碼的編碼單位)。
於步驟S223中，解碼順序設定部253，係基於投影方向資訊，而特定出步驟S222中所被特定出來的滿足條件的編碼單位之解碼順序。
於步驟S224中，解碼控制部254，係控制視訊解碼部214、視訊解碼部215、及OMap解碼部216，將步驟S222中所被特定出來的「滿足條件的編碼單位」，按照步驟S223中所特定的「解碼順序」而予以解碼。依照該解碼控制，步驟S204乃至步驟S206(圖17)之各處理會被執行。
於步驟S224中，一旦如上述般地進行解碼控制而被設定，則後設資料處理係結束，處理係回到圖17。
藉由如以上般地執行各處理，就可較容易掌握斑塊的被任意設定之投影方向，因此例如可隨應於View方向等，而選擇較為適切的投影方向之斑塊並予以解碼等，即使於多樣的解碼方法中，仍可較容易將3D資料之編碼資料予以解碼。因此，可抑制解碼處理的負荷之增大。
又，藉由如以上般地執行各處理，就可容易地控制斑塊的解碼順序，或可實現只將一部分之斑塊予以解碼的部分解碼等等。亦即，變成可較容易將3D資料之編碼資料予以解碼，可抑制解碼處理的負荷之增大。
＜3.附記＞
＜控制資訊＞
以上的各實施形態中所說明的關於本技術的控制資訊，亦可從編碼側傳輸至解碼側。例如，亦可將用來控制是否許可(或禁止)適用上述本技術的控制資訊(例如enabled_flag)，予以傳輸。又，例如，亦可將用來指定許可(或禁止)適用上述本技術之範圍(例如區塊大小之上限或是下限、或其雙方、切片、圖像、序列、分量、視點、圖層等)的控制資訊，予以傳輸。
＜電腦＞
上述之一連串之處理，係可藉由硬體來執行，亦可藉由軟體來執行。在以軟體來執行一連串之處理時，構成該軟體的程式，係可安裝至電腦。此處，電腦係包含：被組裝在專用硬體中的電腦、或藉由安裝各種程式而可執行各種機能的例如通用之個人電腦等。
圖19係以程式來執行上述一連串處理的電腦的硬體之構成例的區塊圖。
於圖19所示的電腦900中，CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM (Random Access Memory)903，係透過匯流排904而被彼此連接。
匯流排904，係還連接著輸出入介面910。輸出入介面910上係連接有：輸入部911、輸出部912、記憶部913、通訊部914、及驅動機915。
輸入部911，係例如由鍵盤、滑鼠、麥克風、觸控面板、輸入端子等所成。輸出部912係由例如顯示器、揚聲器、輸出端子等所成。記憶部913，係由例如硬碟、RAM碟、非揮發性記憶體等所成。通訊部914係由例如網路介面所成。驅動機915係驅動：磁碟、光碟、光磁碟、或半導體記憶體等之可移除式媒體921。
在如以上構成的電腦中，藉由CPU901而例如將記憶部913中所記憶之程式，透過輸出入介面910及匯流排904，而載入至RAM903裡並加以執行，就可進行上述一連串處理。RAM903中，還適宜地記憶著CPU901在執行各種處理時所必需的資料等。
電腦(CPU901)所執行的程式，係可記錄在例如封裝媒體等之可移除式媒體921中而適用。此情況下，程式係藉由將可移除式媒體921裝著至驅動機915，就可透過輸出入介面910，安裝至記憶部913。
又，該程式係可透過區域網路、網際網路、數位衛星播送這類有線或無線的傳輸媒體而提供。此情況，程式，係可以通訊部914而接收之，並安裝至記憶部913。
除此以外，該程式係可事前安裝在ROM902或記憶部913中。
＜本技術的適用對象＞
以上雖然針對在點雲資料的編碼、解碼中適用本技術的情況加以說明，但本技術係不限於這些例子，亦可對任意規格的3D資料的編碼、解碼做適用。亦即，只要不與上述的本技術產生矛盾，編碼、解碼方式等之各種處理、以及3D資料或後設資料等之各種資料的規格，係為任意。又，只要不與本技術產生矛盾，亦可省略上述的一部分之處理或規格。
又，以上作為本技術之適用例雖然說明了編碼裝置100及解碼裝置200，但本技術係可適用於任意之構成。
例如，本技術係可適用於衛星播送、有線TV等之有線播送、網際網路上的配訊、及藉由蜂巢基地台通訊而對終端之配訊等時候的送訊機或收訊機(例如電視受像機或行動電話機)、或是在光碟、磁碟及快閃記憶體等之媒體中記錄影像、或從這些記憶媒體中再生出影像的裝置(例如硬碟錄影機或攝影機)等，各式各樣的電子機器。
又例如，本技術係亦可作為系統LSI(Large Scale Integration)等的處理器(例如視訊處理器)、使用複數處理器等的模組(例如視訊模組)、使用複數模組等的單元(例如視訊單元)、對單元再附加其他機能而成的套組(例如視訊套組)等，作為裝置的部分構成而實施。
又例如，本技術係亦可對由複數裝置所構成的網路系統做適用。例如，亦可將本技術，透過網路而分擔給複數台裝置，以共同進行處理的雲端運算的方式，來加以實施。例如，亦可在對電腦、AV(Audio Visual)機器、攜帶型資訊處理終端、IoT(Internet of Things)裝置等之任意之終端，提供影像(動態影像)的相關之服務的雲端服務中，實施本技術。
此外，於本說明書中，所謂的系統，係意味著複數構成要素(裝置、模組(零件)等)的集合，所有構成要素是否位於同一框體內則在所不問。因此，被收納在個別的框體中，透過網路而連接的複數台裝置、及在1個框體中收納有複數模組的1台裝置，均為系統。
＜可適用本技術的領域、用途＞
適用了本技術的系統、裝置、處理部等係可利用於例如：交通、醫療、防盜、農業、畜產業、礦業、美容、工場、家電、氣象、自然監視等任意之領域。又，其用途也為任意。
＜其他＞
此外，於本說明書中所謂「旗標」，係為用來識別複數狀態所需之資訊，不只包含在用來識別真(1)或偽(0)之2種狀態之際所使用的資訊，亦包含可以識別3種以上之狀態的資訊。因此，該「旗標」所能採取的值，係可為例如1/0之2值，亦可為3值以上。亦即，構成該「旗標」的bit數係為任意，可為1bit亦可為複數bit。又，識別資訊(亦包含旗標)，係不只將該識別資訊含入至位元串流的形式，也想定了將識別資訊相對於某個作為基準之資訊的差分資訊含入至位元串流的形式，因此於本說明書中，「旗標」或「識別資訊」，係不只包含該資訊，也還包含了相對於作為基準之資訊的差分資訊。
又，編碼資料(位元串流)的相關之各種資訊(後設資料等)，係只要與編碼資料建立關連，則無論是以哪種形態而被傳輸或記錄皆可。此處，「建立關連」此一用語係意味著例如：使得在一方之資料進行處理之際可能利用到他方之資料的情況(可建立連結)。亦即，被彼此建立關連的資料，係亦可整體視為1個資料，也可分別視為個別之資料。例如，與編碼資料(影像)建立關連的資訊，係亦可在有別於該編碼資料(影像)的其他傳輸路上被傳輸。又，例如，與編碼資料(影像)建立關連的資訊，係亦可在有別於該編碼資料(影像)的其他記錄媒體(或是同一記錄媒體的其他記錄區域)中被記錄。此外，該「建立關連」，係亦可不是資料全體，而是資料的一部分。例如，影像與對應於該影像的資訊，係亦可使用複數畫格、1畫格、或畫格內之一部分等之任意之單位，而被彼此建立關連。
此外，於本說明書中，「合成」、「多工化」、「附加」、「一體化」、「含入」、「儲存」、「放入」、「插進」、「***」等之用語，係意味著例如將編碼資料與後設資料總結成1個資料，把複數個物綁成1個的意思，是意味著上述的「建立關連」的1種方法。
又，本技術的實施形態係不限定於上述實施形態，在不脫離本技術主旨的範圍內可做各種變更。
例如，亦可將以1個裝置(或處理部)做說明的構成加以分割，成為複數裝置(或處理部)而構成之。反之，亦可將以上說明中以複數裝置(或處理部)做說明的構成總結成1個裝置(或處理部)而構成之。又，對各裝置(或各處理部)之構成，當然亦可附加上述以外之構成。再者，若系統全體的構成或動作是實質相同，則亦可使某個裝置(或處理部)之構成的一部分被包含在其他裝置(或其他處理部)之構成中。
又，例如，上述的程式，係亦可於任意的裝置中被執行。此情況下，只要讓該裝置，具有必要的機能(機能區塊等)，能夠獲得必要的資訊即可。
又，例如，1個流程圖的各步驟，亦可由1個裝置來執行，也可由複數裝置來分擔而執行。甚至，1個步驟中包含有複數個處理的情況下，該複數個處理亦可由1個裝置來執行，也可由複數裝置來分擔而執行。換言之，亦可將1個步驟中所含之複數個處理，以複數個步驟之處理的方式而執行之。反之，亦可將以複數個步驟的方式做說明的處理，整合成1個步驟而執行之。
又，例如，電腦所執行的程式，描述程式的步驟之處理，係可為依照本說明書所說明之順序而在時間序列上被執行，也可平行地，或可在進行呼叫時等必要之時序上，而被個別地執行。亦即，只要不產生矛盾，各步驟之處理係亦可以和上述之順序不同的順序而被執行。甚至，描述該程式的步驟之處理，亦可與其他程式之處理平行地執行，也可和其他程式之處理組合而執行。
又，例如，本技術所相關之複數個技術，係只要不產生矛盾的況下，都可分別獨立以單體而加以實施。當然，亦可將任意的複數個本技術加以併用而實施。例如，可以將任一實施形態中所說明的本技術的部分或全部，與其他實施形態中所說明的本技術的部分或全部，加以組合而實施。又，亦可將上述的任意之本技術的部分或全部，與未上述的其他技術加以併用而實施。
此外，本技術係亦可採取如以下之構成。
(1)
一種影像處理裝置，係具備：
位元串流生成部，係生成位元串流，其係含有：表示3維結構之3D資料的位置資訊往2維平面之投影方向之相關資訊亦即投影方向資訊、和將前記位置資訊投影至前記2維平面而成的幾何影像之編碼資料。
(2)
如(1)所記載之影像處理裝置，其中，
前記投影方向資訊係含有：識別元、與將前記位置資訊投影至前記2維平面之際的方向及位置的對應關係之相關資訊。
(3)
如(2)所記載之影像處理裝置，其中，
前記投影方向資訊係還含有：關於解碼的屬性資訊。
(4)
如(3)所記載之影像處理裝置，其中，
前記屬性資訊係含有：解碼順序之相關資訊。
(5)
如(3)所記載之影像處理裝置，其中，
前記屬性資訊係含有：表示前記3維結構中之特性的意義資訊。
(6)
如(1)所記載之影像處理裝置，其中，
還具備：投影方向資訊生成部，係生成前記投影方向資訊；
前記位元串流生成部係生成含有已被前記投影方向資訊生成部所生成之前記投影方向資訊、和前記編碼資料的位元串流。
(7)
如(1)所記載之影像處理裝置，其中，
還具備：
打包部，係隨應於前記投影方向資訊，而將前記幾何影像配置在影像中而予以打包；和
編碼部，係將藉由前記打包部而被打包了前記幾何影像的前記影像予以編碼，並生成前記編碼資料；
前記位元串流生成部係生成含有前記投影方向資訊、和已被前記編碼部所生成之前記編碼資料的位元串流。
(8)
一種影像處理方法，係
生成位元串流，其係含有：表示3維結構之3D資料的位置資訊往2維平面之投影方向之相關資訊亦即投影方向資訊、和將前記位置資訊投影至前記2維平面而成的幾何影像之編碼資料。
(9)
一種影像處理裝置，係具備：
解碼部，係基於表示3維結構之3D資料的位置資訊往2維平面之投影方向之相關資訊亦即投影方向資訊，而將含有將前記位置資訊投影至前記2維平面而成的幾何影像之編碼資料的位元串流，予以解碼。
(10)
一種影像處理方法，係
基於表示3維結構之3D資料的位置資訊往2維平面之投影方向之相關資訊亦即投影方向資訊，而將含有將前記位置資訊投影至前記2維平面而成的幾何影像之編碼資料的位元串流，予以解碼。
(11)
一種影像處理裝置，係具備：
打包部，係將表示3維結構之3D資料的位置資訊投影至2維平面而成的幾何影像，配置在影像的前記位置資訊往前記2維平面之投影方向所相應的編碼單位中而予以打包。
(12)
如(11)所記載之影像處理裝置，其中，
前記打包部，係基於表示前記投影方向之識別元、與表示將前記幾何影像予以配置之編碼單位的資訊之對應關係的編碼單位資訊，而將前記幾何影像予以打包。
(13)
如(12)所記載之影像處理裝置，其中，
前記編碼單位資訊係還含有：關於解碼的屬性資訊。
(14)
如(13)所記載之影像處理裝置，其中，
前記屬性資訊係含有：表示前記3維結構中之特性的意義資訊。
(15)
如(12)所記載之影像處理裝置，其中，
還具備：編碼單位資訊生成部，係生成前記編碼單位資訊；
前記打包部，係基於已被前記編碼單位資訊生成部所生成之前記編碼單位資訊，而將前記幾何影像予以打包。
(16)
如(12)所記載之影像處理裝置，其中，
還具備：
編碼部，係將藉由前記打包部而被打包了前記幾何影像的前記影像予以編碼，並生成編碼資料；
位元串流生成部，係生成含有前記編碼單位資訊、和已被前記編碼部所生成之前記編碼資料的位元串流。
(17)
如(11)所記載之影像處理裝置，其中，
前記編碼單位係為切片、瓷磚、或圖像。
(18)
一種影像處理方法，係
將表示3維結構之3D資料的位置資訊投影至2維平面而成的幾何影像，配置在影像的前記位置資訊往前記2維平面之投影方向所相應的編碼單位中而予以打包。
(19)
一種影像處理裝置，係具備：
解碼部，係從位元串流的，表示3維結構之3D資料的位置資訊往2維平面之投影方向所相應的編碼單位，解碼出在前記投影方向上投影至前記2維平面而成的幾何影像。
(20)
一種影像處理方法，係
從位元串流的，表示3維結構之3D資料的位置資訊往2維平面之投影方向所相應的編碼單位，解碼出在前記投影方向上投影至前記2維平面而成的幾何影像。
100‧‧‧編碼裝置
111‧‧‧斑塊分解部
112‧‧‧後設資料生成部
113‧‧‧打包部
114‧‧‧輔助斑塊資訊壓縮部
115‧‧‧視訊編碼部
116‧‧‧視訊編碼部
117‧‧‧OMap編碼部
118‧‧‧多工器
151‧‧‧法線推定部
152‧‧‧分段初期設定部
153‧‧‧分段更新部
154‧‧‧投影方向設定部
155‧‧‧2維投影部
156‧‧‧索引賦予部
171‧‧‧投影方向資訊生成部
172‧‧‧編碼單位資訊生成部
200‧‧‧解碼裝置
211‧‧‧解多工器
212‧‧‧後設資料處理部
213‧‧‧輔助斑塊資訊解碼部
214‧‧‧視訊解碼部
215‧‧‧視訊解碼部
216‧‧‧OMap解碼部
217‧‧‧解包部
218‧‧‧3D重新建構部
251‧‧‧內積算出部
252‧‧‧解碼範圍設定部
253‧‧‧解碼順序設定部
254‧‧‧解碼控制部
900‧‧‧電腦
901‧‧‧CPU
902‧‧‧ROM
903‧‧‧RAM
910‧‧‧輸出入介面
911‧‧‧輸入部
912‧‧‧輸出部
913‧‧‧記憶部
914‧‧‧通訊部
915‧‧‧驅動機
921‧‧‧可移除式媒體
[圖1]點雲之例子的說明圖。
[圖2]視訊基礎方式之概要之例子的說明圖。
[圖3]關於本技術之主要特徵的整理圖。
[圖4]投影方向資訊的說明圖。
[圖5]打包的樣子之例子的說明圖。
[圖6]編碼單位資訊的說明圖。
[圖7]打包的樣子之例子的說明圖。
[圖8]View方向與解碼順序的說明圖。
[圖9]編碼裝置的主要構成例的區塊圖。
[圖10]斑塊分解部的主要構成例的說明圖。
[圖11]後設資料生成部的主要構成例的說明圖。
[圖12]解碼裝置的主要構成例的區塊圖。
[圖13]後設資料處理部的主要構成例的區塊圖。
[圖14]編碼處理的流程之例子的說明用流程圖。
[圖15]斑塊分解處理的流程之例子的說明用流程圖。
[圖16]後設資料生成處理的流程之例子的說明用流程圖。
[圖17]解碼處理的流程之例子的說明用流程圖。
[圖18]後設資料處理的流程之例子的說明用流程圖。
[圖19]電腦的主要構成例的區塊圖。

Claims (20)

  1. 一種影像處理裝置，係具備： 位元串流生成部，係生成位元串流，其係含有：表示3維結構之3D資料的位置資訊往2維平面之投影方向之相關資訊亦即投影方向資訊、和將前記位置資訊投影至前記2維平面而成的幾何影像之編碼資料。
  2. 如請求項1所記載之影像處理裝置，其中， 前記投影方向資訊係含有：識別元、與將前記位置資訊投影至前記2維平面之際的方向及位置的對應關係之相關資訊。
  3. 如請求項2所記載之影像處理裝置，其中， 前記投影方向資訊係還含有：關於解碼的屬性資訊。
  4. 如請求項3所記載之影像處理裝置，其中， 前記屬性資訊係含有：解碼順序之相關資訊。
  5. 如請求項3所記載之影像處理裝置，其中， 前記屬性資訊係含有：表示前記3維結構中之特性的意義資訊。
  6. 如請求項1所記載之影像處理裝置，其中， 還具備：投影方向資訊生成部，係生成前記投影方向資訊； 前記位元串流生成部係生成含有已被前記投影方向資訊生成部所生成之前記投影方向資訊、和前記編碼資料的位元串流。
  7. 如請求項1所記載之影像處理裝置，其中， 還具備： 打包部，係隨應於前記投影方向資訊，而將前記幾何影像配置在影像中而予以打包；和 編碼部，係將藉由前記打包部而被打包了前記幾何影像的前記影像予以編碼，並生成前記編碼資料； 前記位元串流生成部係生成含有前記投影方向資訊、和已被前記編碼部所生成之前記編碼資料的位元串流。
  8. 一種影像處理方法，係 生成位元串流，其係含有：表示3維結構之3D資料的位置資訊往2維平面之投影方向之相關資訊亦即投影方向資訊、和將前記位置資訊投影至前記2維平面而成的幾何影像之編碼資料。
  9. 一種影像處理裝置，係具備： 解碼部，係基於表示3維結構之3D資料的位置資訊往2維平面之投影方向之相關資訊亦即投影方向資訊，而將含有將前記位置資訊投影至前記2維平面而成的幾何影像之編碼資料的位元串流，予以解碼。
  10. 一種影像處理方法，係 基於表示3維結構之3D資料的位置資訊往2維平面之投影方向之相關資訊亦即投影方向資訊，而將含有將前記位置資訊投影至前記2維平面而成的幾何影像之編碼資料的位元串流，予以解碼。
  11. 一種影像處理裝置，係具備： 打包部，係將表示3維結構之3D資料的位置資訊投影至2維平面而成的幾何影像，配置在影像的前記位置資訊往前記2維平面之投影方向所相應的編碼單位中而予以打包。
  12. 如請求項11所記載之影像處理裝置，其中， 前記打包部，係基於表示前記投影方向之識別元、與表示將前記幾何影像予以配置之編碼單位的資訊之對應關係的編碼單位資訊，而將前記幾何影像予以打包。
  13. 如請求項12所記載之影像處理裝置，其中， 前記編碼單位資訊係還含有：關於解碼的屬性資訊。
  14. 如請求項13所記載之影像處理裝置，其中， 前記屬性資訊係含有：表示前記3維結構中之特性的意義資訊。
  15. 如請求項12所記載之影像處理裝置，其中， 還具備：編碼單位資訊生成部，係生成前記編碼單位資訊； 前記打包部，係基於已被前記編碼單位資訊生成部所生成之前記編碼單位資訊，而將前記幾何影像予以打包。
  16. 如請求項12所記載之影像處理裝置，其中， 還具備： 編碼部，係將藉由前記打包部而被打包了前記幾何影像的前記影像予以編碼，並生成編碼資料； 位元串流生成部，係生成含有前記編碼單位資訊、和已被前記編碼部所生成之前記編碼資料的位元串流。
  17. 如請求項11所記載之影像處理裝置，其中， 前記編碼單位係為切片、瓷磚、或圖像。
  18. 一種影像處理方法，係 將表示3維結構之3D資料的位置資訊投影至2維平面而成的幾何影像，配置在影像的前記位置資訊往前記2維平面之投影方向所相應的編碼單位中而予以打包。
  19. 一種影像處理裝置，係具備： 解碼部，係從位元串流的，表示3維結構之3D資料的位置資訊往2維平面之投影方向所相應的編碼單位，解碼出在前記投影方向上投影至前記2維平面而成的幾何影像。
  20. 一種影像處理方法，係 從位元串流的，表示3維結構之3D資料的位置資訊往2維平面之投影方向所相應的編碼單位，解碼出在前記投影方向上投影至前記2維平面而成的幾何影像。
TW108111474A 2018-04-11 2019-04-01 影像處理裝置及方法 TW201946449A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018076225 2018-04-11
JP2018-076225 2018-04-11

Publications (1)

Publication Number Publication Date
TW201946449A true TW201946449A (zh) 2019-12-01

Family

ID=68163656

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108111474A TW201946449A (zh) 2018-04-11 2019-04-01 影像處理裝置及方法

Country Status (7)

Country Link
US (1) US11310518B2 (zh)
EP (1) EP3780613A4 (zh)
JP (1) JPWO2019198521A1 (zh)
KR (1) KR20200140256A (zh)
CN (1) CN111937388A (zh)
TW (1) TW201946449A (zh)
WO (1) WO2019198521A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019142667A1 (ja) * 2018-01-17 2019-07-25 ソニー株式会社 画像処理装置および方法
CN110662087B (zh) * 2018-06-30 2021-05-11 华为技术有限公司 点云编解码方法和编解码器
JP7100523B2 (ja) * 2018-07-27 2022-07-13 京セラ株式会社 表示装置、表示システムおよび移動体
WO2020036384A1 (en) * 2018-08-12 2020-02-20 Lg Electronics Inc. An apparatus for transmitting a video, a method for transmitting a video, an apparatus for receiving a video, and a method for receiving a video
US11956478B2 (en) * 2019-01-09 2024-04-09 Tencent America LLC Method and apparatus for point cloud chunking for improved patch packing and coding efficiency
WO2020230710A1 (ja) * 2019-05-10 2020-11-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11575935B2 (en) * 2019-06-14 2023-02-07 Electronics And Telecommunications Research Institute Video encoding method and video decoding method
CN114762334B (zh) * 2020-01-07 2024-06-18 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
WO2021210513A1 (ja) * 2020-04-13 2021-10-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2021261516A1 (ja) * 2020-06-23 2021-12-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN210727927U (zh) * 2016-07-27 2020-06-12 阿莱恩技术有限公司 口内扫描***
US11514613B2 (en) * 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
EP3642800A4 (en) * 2017-07-10 2020-05-20 Samsung Electronics Co., Ltd. POINT CLOUD AND NETWORK COMPRESSION WITH IMAGE / VIDEO CODECS
WO2019034807A1 (en) * 2017-08-15 2019-02-21 Nokia Technologies Oy SEQUENTIAL CODING AND DECODING OF VOLUMETRIC VIDEO
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
TWI815842B (zh) * 2018-01-16 2023-09-21 日商索尼股份有限公司 影像處理裝置及方法
CN110049323B (zh) * 2018-01-17 2021-09-07 华为技术有限公司 编码方法、解码方法和装置
US10887574B2 (en) * 2018-07-31 2021-01-05 Intel Corporation Selective packing of patches for immersive video
US12010350B2 (en) * 2019-03-22 2024-06-11 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2020197086A1 (ko) * 2019-03-25 2020-10-01 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Also Published As

Publication number Publication date
EP3780613A1 (en) 2021-02-17
EP3780613A4 (en) 2021-05-19
JPWO2019198521A1 (ja) 2021-05-13
US11310518B2 (en) 2022-04-19
KR20200140256A (ko) 2020-12-15
US20210250600A1 (en) 2021-08-12
WO2019198521A1 (ja) 2019-10-17
CN111937388A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
TW201946449A (zh) 影像處理裝置及方法
JP7384159B2 (ja) 画像処理装置および方法
TWI815842B (zh) 影像處理裝置及方法
WO2019198523A1 (ja) 画像処理装置および方法
US11699248B2 (en) Image processing apparatus and method
JP7331852B2 (ja) 画像処理装置および方法
US11399189B2 (en) Image processing apparatus and method
US20210358176A1 (en) Image processing apparatus and method
JP7396302B2 (ja) 画像処理装置および方法
US11995873B2 (en) Image processing apparatus and method