TWI775760B - 使用幾何投影360度視訊編碼 - Google Patents

使用幾何投影360度視訊編碼 Download PDF

Info

Publication number
TWI775760B
TWI775760B TW106122881A TW106122881A TWI775760B TW I775760 B TWI775760 B TW I775760B TW 106122881 A TW106122881 A TW 106122881A TW 106122881 A TW106122881 A TW 106122881A TW I775760 B TWI775760 B TW I775760B
Authority
TW
Taiwan
Prior art keywords
sample
image
frame
content
boundary
Prior art date
Application number
TW106122881A
Other languages
English (en)
Other versions
TW201812708A (zh
Inventor
何玉文
言 葉
菲力普 漢赫
修小玉
Original Assignee
美商Vid衡器股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商Vid衡器股份有限公司 filed Critical 美商Vid衡器股份有限公司
Publication of TW201812708A publication Critical patent/TW201812708A/zh
Application granted granted Critical
Publication of TWI775760B publication Critical patent/TWI775760B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30Polynomial surface description
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/563Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

處理視訊資料可以包括用多個攝影機來擷取視訊資料,並且將該視訊資料拼接在一起來獲得360度視訊。訊框封裝圖像可以基於所擷取及拼接的視訊資料來提供。在訊框封裝圖像中可以識別出目前樣本位置。可以確定相鄰樣本位置是否在訊框封裝圖像的內容邊界之外。當相鄰樣本位置在內容邊界以外時,可以基於投影幾何及360度視訊內容的至少一個環形特性來導出填充樣本位置。該360度視訊內容可以基於填充樣本位置而被處理。

Description

使用幾何投影360度視訊編碼
相關申請案的交叉引用
本申請案要求享有以下申請案的權益:2016年7月8日提出的美國臨時申請案62/360,112、2016年10月4日提出的美國臨時申請案62/404,017、2017年2月24日提出的美國臨時申請案62/463,242以及2017年5月3日提出的美國臨時申請62/500,605,其中所述申請案的內容在這裡引入以作為參考,並且本申請案要求享有這些優先權申請案的申請日期的權益。
虛擬實境(VR)正被應用在眾多應用領域中,包括但不限於醫療保健、教育、社交網路、工業設計/培訓、遊戲、電影、購物及/或娛樂等等。例如,VR可以藉由創建圍繞觀看者的虛擬環境以及為觀看者產生“身歷其境”的真實感覺來增強觀看者的體驗。VR系統可以經由姿態、手勢、眼睛注視、語音等等來支援互動。該系統可以向使用者提供觸覺回饋,以使使用者可以用自然的方式來與VR環境中的物件互動。
處理視訊資料可以包括用多個攝影機來擷取視訊資料、以及將視訊資料拼接在一起來獲得360度視訊。這裡使用的360度視訊可以包括球形視訊、全向視訊、虛擬實境(VR)視訊、全景視訊、沉浸式視訊(例如可以包括6個自由度的光場視訊)及/或點雲視訊等等。在360度視訊的編碼及/或解碼過程中可以應用幾何填充。
360度視訊內容是可以被編碼的。訊框圖像可以基於使用一個或多個攝影機所擷取的視訊資料以及拼接所擷取的視訊資料而被提供。在訊框封裝(frame-packed)圖像中可以識別目前樣本位置。該訊框封裝圖像可以包括與第一投影幾何相關聯的一個或多個面。該目前樣本位置可以與第一投影幾何相關聯。舉例來說,第一投影幾何可以包括等距矩形投影、等面積投影、立方體貼圖投影、八面體投影或是柱面投影等等中的至少一個。這裡描述的用於編碼360度視訊內容的投影幾何是作為範例方式使用的,並且本領域中具有通常知識者將會瞭解,其他投影格式也是可以交換使用的。
可確定相鄰樣本位置(location)是否位於訊框封裝圖像的內容邊界以外。該內容邊界可以包括訊框封裝圖像邊界及/或面邊界等等。如果相鄰樣本位置位於訊框封裝圖像的內容邊界之外,那麼可以基於第一投影幾何以及360度視訊內容的一個或多個環形特性來導出填充樣本位置。相鄰樣本位置的3D方位(position)可被計算。該相鄰樣本位置可以用與包含目前樣本位置的面相關聯的方式來計算。包含填充樣本位置的第二面可以基於相鄰樣本位置的3D方位來確定。該第二面可以不同於包含目前樣本位置的第一面。幾何投影可以結合相鄰樣本位置的3D方位來應用,以便導出第二面中的2D平面方位。第二面中的相鄰樣本位置的2D平面方位可以用相鄰樣本位置的3D方位的幾何投影為基礎並作為填充樣本位置來導出。
如果相鄰樣本位置位於訊框封裝圖像的內容邊界以內,那麼可以跳過導出填充樣本位置。該360度視訊內容可以用相鄰樣本位置(例如位於內容邊界以內)而被處理。
中間投影可以用於導出填充樣本位置。舉例來說,第一投影幾何中的座標可被轉換為與第二投影幾何相關聯的中間座標。第一投影幾何可以在單立方體投影(unicube projection)中,並且第二投影幾何可以在立方體貼圖投影中。可以在中間座標中計算相鄰樣本位置的3D方位,並且可以在中間座標中識別第二面中的相鄰樣本位置的2D平面方位。與第二投影幾何相關聯的相鄰樣本位置的所識別的2D平面方位可以被轉換回與第一投影幾何相關聯的座標。
該360度視訊內容可以基於所導出的填充樣本位置來處理。舉例來說,填充樣本值可以是在填充樣本位置被導出。在填充樣本位置的填充樣本值可以使用內插過濾器來導出。例如,可以使用雙線性、雙三次、蘭克澤斯(Lanczos)、樣條內插過濾器、及/或基於離散餘弦轉換的內插過濾器等等。舉例來說,可以執行訊框間預測、訊框內預測、​​去塊、迴路濾波、樣本適應性偏移及/或適應性迴路濾波等等以導出填充樣本值。在目前樣本位置位於內容邊界之上時,可以應用基於填充樣本位置的去塊過濾器。
根據360度視訊內容的環形特徵,在目前樣本位置位於訊框封裝圖像的最右內容邊界附近、以及所確定的相鄰樣本位置位於訊框封裝圖像之外且超出右內容邊界時,填充樣本位置可以位於與訊框封裝圖像的最右內容邊界環形連接的訊框封裝圖像的最左內容邊界附近。在目前樣本位置位於訊框封裝圖像的左邊內容邊界附近、以及所確定的相鄰樣本位置位於訊框封裝圖像之外且超出該左內容邊界時,填充樣本位置可以位於與訊框封裝圖像的最左內容邊界環形連接的訊框封裝圖像的最右內容邊界附近。在目前樣本位置位於訊框封裝圖像的最頂層內容邊界的第一區域附近、以及所確定的相鄰樣本位置位於訊框封裝圖像之外且超出最頂部內容邊界的第一區域時,填充樣本位置可以位於最頂部內容邊界的第二區域附近,該第二區域則位於最頂部內容邊界的第一區域的環形對端。在目前樣本位置位於訊框封裝圖像的最底部內容邊界的第一區域附近、以及所確定的相鄰樣本位置位於訊框封裝圖像之外並且超出最底部內容邊界的第一區域時,填充樣本位置可以位於最底部內容邊界的第二區域的附近,該第二區域位於最底部內容邊界的第一區域的環形對端。
為了編碼360度視訊內容,可以基於所導出或映射的參考塊來預測目前塊。可確定與目前塊相關聯的初始參考塊是否位於訊框封裝圖像的內容邊界之外。如果初始參考塊在內容邊界之外,那麼可以基於第一投影幾何以及360度視訊內容的一個或多個環形特性來導出所映射的參考塊。與初始參考塊相關聯的位置的3D方位可被識別。與初始參考塊相關聯的位置可以用與包含目前塊的面相關聯的方式來計算。包含所映射的參考塊的第二面可以基於與初始參考塊相關聯的位置的3D方位來識別。第一面可以不同於第二面。幾何投影可以基於與初始參考塊相關聯的位置的3D方位而被應用。基於幾何投影,可以為所映射的參考塊導出第二面中的初始參考塊的2D平面方位。
如果初始參考塊在內容邊界以內,那麼可以跳過導出所映射的參考塊。目前塊可以是基於初始參考塊(例如位於內容邊界內)而被預測。
可以使用中間投影導出所映射的參考塊。舉例來說,第一投影幾何中的座標可被轉換為與第二投影幾何相關聯的中間座標。第一投影幾何可以採用單立方體投影,並且第二投影幾何可以採用立方體貼圖投影。與初始參考塊位置相關聯的位置的3D方位可以在中間座標中被計算。在中間座標中可以識別出用於導出所映射的參考塊的第二面中的初始參考塊的2D平面方位。與第二投影幾何相關聯的初始參考塊的所識別的2D平面方位可被轉換回與第一投影幾何相關聯的座標。
在目前塊位於訊框封裝圖像的最右內容邊界附近、並且所確定的初始參考塊位於訊框封裝圖像之外且超出右內容邊界時,所映射的參考塊可以位於與訊框封裝圖像的最右內容邊界環形連接的訊框封裝圖像的最左內容邊界附近。在目前塊位於訊框封裝圖像的最左邊內容邊界附近、並且所確定的初始參考塊位於訊框封裝圖像之外且超出該左內容邊界時,所映射的參考塊可以位於與訊框封裝圖像的最左內容邊界環形連接的訊框封裝圖像的最右內容邊界附近。在目前塊位於訊框封裝圖像的最頂層內容邊界的第一區域附近、並且所確定的初始參考塊位於訊框封裝圖像之外且超出最頂部內容邊界的第一區域時,所映射的參考塊可以位於最頂部內容邊界的第二區域附近,該第二區域位於最頂部內容邊界的第一區域的環形對端。在目前塊位於訊框封裝圖像的最底部內容邊界的第一區域附近、並且所確定的初始參考塊位於訊框封裝圖像之外並且超出了最底部內容邊界的第一區域時,所映射的參考塊可以位於最底部內容邊界的第二區域的附近,該第二區域位於最底部內容邊界的第一區域的環形對端。
與所映射的參考塊相關聯的樣本值可以使用內插過濾器來導出。舉例來說,可以使用雙線性、雙三次、蘭克澤斯(Lanczos)、樣條內插過濾器、及/或基於離散餘弦轉換的內插過濾器等等。
可以導出與所映射的參考塊相關聯的一個或多個屬性以預測目前塊。例如,該一個或多個屬性可以包括所映射的塊位置的訊框內模式、訊框間模式、合併模式及/或運動資訊等等。目前塊可以是基於一個或多個屬性而被預測的。可以導出所映射的參考塊中的樣本值以處理360度視訊內容。舉例來說,可以使用訊框間預測、訊框內預測、去塊、迴路濾波、樣本適應性偏移及/或適應性迴路濾波等等以在所映射的參考塊中導出多個樣本值,以用於執行視訊處理。
所映射的參考塊可以藉由展開與第一投影幾何相關聯的3D幾何來導出。在初始參考塊不在與內容邊界相對的斜對方位(diagonal positioin)時,可以藉由複製與內容邊界垂直或斜對地被定位的最接近的可用塊來預測目前塊。
藉由基於面尺寸確定面的有效填充區域,可以對目前塊進行預測。可確定初始參考塊是否在有效填充區域中。在初始參考塊位於有效填充區域之外時,可以基於位於有效填充區域中的最接近的可用塊來預測目前塊。如果初始參考塊位於有效填充區域內部,那麼可以基於所映射的參考塊來預測目前塊。
初始參考塊可以部分位於有效填充區域外部。舉例來說,初始參考塊可以包括位於有效填充區域內的第一子塊以及位於有效填充區域之外的第二子塊。位於有效填充區域之外的第二子塊的樣本可以使用其位於有效填充區域中的各自的相鄰樣本值來填充。目前塊可以基於第一子塊中的樣本以及第二子塊中的填充樣本來預測。
有效填充區域的範圍至少可以基於與第一投影幾何相關聯的面的方位及/或尺寸來確定。初始參考塊可被確定是否至少部分位於有效填充區域的外部。在初始參考塊至少部分位於有效填充區域之外時,可以從預測目前塊中排除掉該初始參考塊。
現在將參考不同附圖來對說明性實施例的詳細說明進行描述。雖然此描述提供了可能的實施方式的詳細範例,然而應該指出的是,這些細節應該是範例性的,並且不會對本申請案的範圍構成限制。
VR系統可以使用一個或多個360度視訊。360度視訊可以從水平方向上的360度角以及垂直方向上的180度角觀看。VR系統及360度視訊可用於超越了超高畫質(UHD)服務的媒體消費。免費觀看電視(FTV)可以對解決方案的性能進行測試。例如,FTV可以測試基於360度視訊(例如,或者是全方位視訊)的系統及/或基於多視圖的系統的性能。
VR系統可以包括處理鏈。該處理鏈可以包括擷取、處理、顯示及/或應用。對於擷取,VR系​​統可以使用一個或多個攝影機來擷取源自不同發散視圖(例如6到12個視圖)的場景。這些視圖可以拼接在一起、並且可以形成360度視訊(例如以4K或8K的高解析度)。VR系統的用戶端及/或使用者側可以包括計算平臺、頭戴式顯示器(HMD)及/或頭部追蹤感測器。計算平臺可以接收、解碼(例如360度視訊)及/或產生用於顯示的視埠。對於該視埠,所再現的圖像可以是兩個(例如,每一個圖像對應一隻眼睛)。這兩個圖像可被顯示在HMD中,以進行立體觀察。在HMD中顯示的圖形可以用鏡頭來放大。舉例來說,在HMD中顯示的圖像可以用鏡頭來放大,以便更好的觀看。頭部追蹤感測器可以追蹤(例如持續追蹤)觀看者的頭部朝向。該朝向資訊可被饋送到VR系統,以便顯示關於該朝向的視埠圖像。VR系統可以提供專門的觸摸裝置。例如,專門的觸摸裝置可以允許觀看者與虛擬世界中的物件進行互動。VR系統可以由具有圖形處理單元(GPU)支援的工作站來驅動。VR系統可以使用行動裝置(例如智慧型電話)作為計算平臺,作為HMD顯示器及/或頭部追蹤感測器。例如,空間HMD解析度可以是2160×1200。並且例如,復新率可以是90 Hz。例如,視場(FOV)可以是大約110度。例如,頭部追蹤感測器的取樣速率可以是1000 Hz,以擷取快速移動。VR系統可以包括鏡頭及紙板、並且可以由智慧手機驅動。VR系統可用於遊戲。可以提供一個或多個360度視訊流服務。
VR系統能夠提供互動性及/或觸覺回饋。較大的HMD可能不方便個人穿戴。用於立體視圖(例如由某些HMD提供的)的解析度為2160×1200可能是不充足的、並且可能導致一些使用者頭暈及不適。解析度提升可以是期望的。VR體驗可以藉由將VR系統的視覺效果與現實世界的力回饋結合來增強。VR雲霄飛車應用是將VR系統的視覺效果與現實世界的力回饋結合的範例。
例如,360度視訊可以用基於HTTP動態適應性流(DASH)的視訊流技術來壓縮及/或遞送。360度視訊內容可以用球面幾何結構來表示。舉例來說,同步的多個視圖可以由多個攝影機來擷取,並且可以拼接在球面上。該同步的多個視圖可以作為整體結構而被拼接在球體上。該球面資訊可以經由幾何轉換過程而被投影到2D平面表面上。例如,該球面資訊可以經由幾何轉換處理以使用等距矩形投影(ERP)而被投影到2D平面表面上。第1(a)圖顯示了採用經度(ϕ)及緯度(θ)的範例的球面取樣。第1(b)圖顯示使用ERP而被投影到2D平面上的範例球面。在範圍[-π,π]的經度ϕ可被稱為偏航(yaw),在範圍[-π/2,π/2]中的緯度θ在航空學中可被稱為俯仰(pitch)。π可以是圓的圓周與其直徑的比率。(x, y, z)可以代表3D空間中的點的座標。(ue, ve)可以代表ERP之後的2D平面中的點的座標。例如,如等式(1)及/或(2)所述,ERP可以用數學方式來表示。 ue=(ϕ/(2*π)+0.5)*W (1) ve=(0.5-θ/π)*H0 (2) W及H可以是2D平面圖像的寬度及高度。如第1(a)圖所示,使用等式(1)及/或(2),為球面上的經度L4與緯度A1之間的交叉點的點P可被映射到第1(b)圖中的2D平面中的唯一的點q。第1(b)圖所示的2D平面中的點q可被投影回到第1(a)圖所示的球面上的點P,例如經由逆向投影。第1(b)圖中的視場(FOV)顯示了這樣一個範例,其中球面中的FOV被映射到2D平面,並且X軸上的查看角度大約是110度。
一個或多個360度視訊可被映射到2D視訊。舉例來說,360度視訊可使ERP被映射到2D視訊。該360度視訊可以用編解碼器(例如H.264或高效率視訊編碼(HEVC))編碼、並且可以被遞送到用戶端。在用戶端,該視訊可被解碼(例如以等距矩形格式)、並且可以基於使用者視埠而被再現(例如藉由將屬於等距矩形圖像中的FOV的部分投影及顯示在HMD上)。等距矩形2D圖像的特徵可以不同於2D圖像(例如直線視訊圖像)。第1(c)圖顯示了範例的等距矩形圖像。該圖像的頂部可以對應於北極,底部可以對應於南極。如第1(c)圖所示,該頂部及/或底部是可以拉伸的。舉例來說,與對應於赤道的圖像的中間部分相比,該頂部及/或底部可被拉伸。頂部及/或底部的拉伸可以表明2D空間域中的等距矩形取樣有可能是不均勻的。2D等距矩形圖像中的運動場有可能會很複雜。舉例來說,在時間方向上,2D等距矩形圖像中的運動場有可能會很複雜。
使用了平移模型來描述運動場的某些視訊編解碼器(例如MPEG-2、H.264及/或HEVC)可能無法表示等距矩形投影的2D平面圖像中的形狀變化的運動。對於ERP,觀看者及/或內容供應者對於靠近極點的區域的興趣較低。例如,與靠近赤道的區域相比,觀看者及/或內容供應者對於靠近極點的區域的興趣相對較低,並且觀看者不會長時間關注頂部及底部。在ERP之後,頂部及底部可被拉伸(例如由於翹曲效應),以成為2D平面中的很大一部分。用於拉伸部分的視訊壓縮可能會耗費大量位元。某些處理技術可以應用於等距矩形圖像編碼。舉例來說,例如平滑化之類的預處理可被應用於極點區域,以減少用於編碼這些區域的位元成本。
可以用一個或多個不同的幾何投影來表示360度視訊,包括但不限於立方體貼圖、等面積、柱體、金字塔形、及/或八面體等等。立方體貼圖可以使用六個面。立方體貼圖中的面可能是平面正方形。第2(a)圖顯示了範例的立方體貼圖投影(CMP)。該立方體貼圖可以包括六個面。舉例來說,該立方體貼圖可以包括六個方形面。假設所顯示的切球面的半徑是1,那麼該立方體貼圖面(例如方形面)的橫向長度可以是2。圖。第2(b)圖顯示了用於將六個面置於可用於編碼及遞送的矩形區域中的範例封裝。第2(c)圖顯示了使用CMP產生的範例圖像。沒有圖像的灰色部分201及203可以代表用於填充矩形圖像的一個或多個填充區域。對於CMP中的面來說,該圖像看上去與2D圖像相同。面的邊界有可能是不連續的。舉例來說,穿過兩個相鄰面的直線可以在這兩個面的邊界上彎曲。面邊界上的運動有可能是不連續的。
第3(a)圖示出了等面積投影(EAP)的範例幾何結構。等面積投影的球面上的垂直取樣不會基於俯仰的均勻間隔。被取樣的緯度(例如每一個被取樣的緯度)在Y軸上的投影可以是均勻分佈的,以使球面上的樣本可以佔用相同的面積。對於靠近極點區域的區域,垂直方向上的取樣有可能會變得稀疏。如第3(a)圖所示,在赤道周圍可以使用更多的樣本。與靠近極點的區域相比,使用者有可能會更頻繁地查看靠近赤道的區域。第3(b)圖顯示了EAP中的範例2D平面。第3(c)圖顯示了具有EAP的範例圖像。如第3(c)圖所示,在赤道附近的區域(例如301)可以按比例放大,而圍繞極點的區域則會被擠壓(例如303)。
第4(a)圖顯示了八面體投影的範例幾何結構。八面體可以包括八個等邊三角形面。如果切球面半徑是1,那麼每一個三角形的邊長可以是
Figure 02_image002
。第4(b)圖顯示了用於將八個三角形排列成矩形區域的範例封裝。第4(c)圖顯示了具有八面體投影的範例圖像。在兩個相鄰三角形(例如401)的共用邊界的角落可以觀察到翹曲失真。
不同幾何投影的編碼效率可被比較。舉例來說,基於緯度的峰值信號雜訊比(L-PSNR)可以用於該比較。一個或多個(例如兩個)因素可被考慮:球面上的均勻取樣及/或觀看者的觀看行為。可以定義均勻分佈在球面上的樣本的特定數量。樣本的加權可以基於其緯度來定義。藉由考慮均勻分佈的樣本,可以用加權均方誤差(MSE)來測量失真。加權可以藉由追蹤觀看者的視角來導出。舉例來說,該加權可以藉由使用訓練序列追蹤觀看者的視角來導出。
如果更頻繁地觀察樣本,那麼可以給予該樣本更大的加權。舉例來說,與靠近極點的樣本相比,由於感興趣的內容有可能位於赤道周圍,因此可以給予赤道周圍的樣本較大的加權。藉由在球面上使用均勻分佈的樣本,可以對不同投影的性能進行比較。這些球面樣本可以是預先定義的,並且在應用不同投影時不會被投影到整數(integer)取樣位置。如果應用了基於內插過濾器的重取樣,那麼有可能會引入附加的內插誤差。如果應用了最接近的相鄰取樣,那麼將不會保證均勻的取樣。
等距矩形格式可以用一個或多個360度攝影機以及拼接來支援。在使用立方體貼圖幾何來編碼360度視訊期間,等距矩形格式可被轉換為立方體貼圖格式。在等距矩形與立方體貼圖之間存在某種關係。在第2(a)圖中,面可以用從球面中心到該面中心的三條軸線中的每一條軸線來指代。如第2(a)圖所示,P可以代表正值,N可以代表負值。PX可以代表從球面中心沿著正x軸的方向,並且NX可以代表PX的反方向。類似的符號也可用於PY、NY、PZ及/或NZ。六個面(例如PX、NX、PY、NY、PZ及/或NZ)可以分別對應於前、後、頂、底、左及/或右面。該面可以用0到5來編索引。舉例來說,該面可以依照如下方式來編索引:PX(0)、NX(1)、PY(2)、NY(3)、PZ(4)及/或NZ(5)。Ps(X_s, Y_s, Z_s)可以是半徑為1的球面上的點。點Ps可以如下用偏航ϕ及俯仰θ來表示: X_s = cos(θ)cos(ϕ) (3) Y_s = sin(θ) (4) Z_s = -cos(θ)sin(ϕ) (5)
當線條是從球面中心延伸到Ps時,點Pf可以是立方體上的點。Pf可以是面NZ上的點。Pf,(X_f, Y_f, Z_f)的座標可以用如下方式來計算: X_f = X_s/|Z_s| (6) Y_f = Y_s/|Z_s| (7) Z_f = -1 (8) 其中|x|可以是變數x的絕對值。面NZ的2D平面中的Pf(uc, vc)的座標可以用如下方式來計算: uc = W*(1-X_f)/2 (9) vc = H*(1-Y_F)/2 (10)
使用一個或多個等式(3)到(10),可以導出特定面上的立方體貼圖中的座標(uc, vc)與球面上的座標(ϕ, θ)之間的關係。等距矩形點(ue, ve)與球面上的點(ϕ, θ)之間的關係可以從等式(1)及/或(2)中獲知。在等距矩形幾何與立方體貼圖幾何之間是存在某種關係的。
從立方體貼圖到等距矩形的幾何映射可以用如下方式來表示。在給出了立方體貼圖的一個面上的點(uc, vc)的情況下,等距矩形平面上的輸出(ue, ve)可以依照以下的一項或多項來計算。具有(uc, vc)的面上的3D點P_f的座標可以依照等式(9)及/或(10)中的關係來計算。具有P_f的球面上3D點P_s的座標可以依照等式(6)、(7)及/或(8)中的關係來計算。具有P_s的球面上的(ϕ, θ)可以依照等式(3)、(4)及/或(5)中的關係來計算。來自(ϕ, θ)的等距矩形圖像上的點(ue, ve)的座標可以依照等式(1)及/或(2)中的關係來計算。
為了使用立方體貼圖以在2D圖像中表示360度視訊,可以將立方體貼圖的六個面封裝到矩形區域中。這種處理可被稱為訊框封裝。訊框封裝圖像可以作為2D圖像而被處理(例如編碼)。不同的訊框封裝配置都是可以使用的(例如3×2及/或4×3)。在3 x 2配置中,六個立方體貼圖面可被封裝到兩列中,其中每一列都具有三個面。在4×3配置中,4個面(例如PX、NZ、NX及PZ)可被封裝到一列中(例如中心列),而另外兩個面(例如PY及NY)則可以被單獨封裝到兩個不同的列中(例如頂列及底列)。第2(c)圖顯示了與第1(c)圖中的等距矩形圖像對應的4×3訊框封裝範例。
等距矩形格式的360度視訊可被轉換為立方體貼圖格式。舉例來說,等距矩形格式的360度視訊可以使用等距矩形格式的360度視訊作為輸入而被轉換為立方體貼圖格式。對於立方體貼圖格式中的樣本位置(uc, vc),等距矩形格式的對應座標(ue, ve)可被計算。如果所計算的等距矩形的座標(ue, ve)不在整數樣本位置,那麼可以使用內插過濾器。舉例來說,可以使用內插過濾器以使用來自相鄰整數位置的樣本來獲得在這個部分位置的樣本值。
立方體貼圖格式可以是360度視訊的表示格式。球面上的樣本可以藉由立方體貼圖格式而被不均勻樣本。舉例來說,球面上的樣本可能藉由立方體貼圖格式而被不均勻樣本,其中靠近面邊界的取樣速率較高,及/或靠近面中心的取樣速率較低。由於直線投影的限制,立方體貼圖格式有可能會不均勻地對球面上的樣本執行取樣。在立方體貼圖格式中有可能會存在某些球面取樣特性。舉例來說,在立方體貼圖格式中有可能存在面邊界具有較高取樣速率及/或面中心具有較低取樣速率的球面樣本特性。立方體貼圖投影可以放大面邊界周圍的區域、及/或可以收縮面中心周圍的區域。
運動模型可以包括平移運動模型及/或仿射運動模型等等。立方體貼圖投影可能會減小投影面中的所得的運動區域的粒度。
單一立方體貼圖投影格式同樣可以被提供。該立方體貼圖的取樣網格可以變成球面上的均勻取樣網格。在產生實際立方體面之前,可以使用映射來修改2D平面上的樣本的座標。
第24(a)圖至第24(d)圖示出了立方體貼圖與單一立方體之間的平面及球面取樣圖案的範例。例如,第24(a)圖示出了用於立方體貼圖的立方體面的範例均勻取樣。如第24(a)圖所示,立方體貼圖面的取樣網格可以包括兩組平行線:即水平方向上的一條線及垂直方向上的另一條線。一組平行分割線可以用均勻間隔分隔開來。在將立方體貼圖面投影球面體上時,取樣網格有可能會失真。舉例來說,如第24(b)圖所示,平面上的直線可能會變成曲線。第24(b)圖示出了用於立方體貼圖的範例非均勻球面取樣。球面上的取樣網格可能會變得不均勻。舉例來說,如第24(b)圖所示,由於直線投影有可能不是保留距離的投影,因此,球面上的取樣網格有可能會不均勻。為了維持與立方體貼圖相似的取樣結構,單一立方體格式中的面可以基於一個或多個(例如兩個)平行線集合而被取樣。集合中的平行線可以是非均勻分佈的,使得球面上的對應取樣網格有可能是均勻的。第24(c)圖示出了用於單一立方體的立方體面的範例非均勻取樣。例如,如第24(c)圖所示,一個集合中的平行線可以是非均勻分佈的。第24(d)圖示出了用於單一立方體的範例的均勻球面取樣。如第24(d)圖所示,球面上的對應取樣網格可以是均勻的。
如第24(c)圖的範例中所示,立方體面上的非均勻分割可以與相鄰樣本之間的不同距離相關聯。可以使用映射將非均勻的平面取樣網格轉換為均勻的平面取樣網格。第25圖顯示了立方體面與單一立方體面之間的範例映射。例如,第25(a)圖示出了從立方體面的不均勻分割網格到單一立方體面的均勻分割網格的範例映射。第25(b)圖示出了從單一立方體面的均勻分割網格到立方體面的非均勻分割網格的範例映射。如果水平及垂直轉換是可分離的,那麼從(x, y)到(x', y')的映射可以包括一個或多個(例如兩個)分離的轉換,例如x'= f(x)及y' = f(y),其中在x及y上可以應用轉換。舉例來說,該轉換可以獨立地應用在x及y上。逆轉換也是可以計算的,其中該逆轉換可以將(x', y')映射到(x, y),例如x = g(x')及y = g(y')。 x及y的兩個轉換可以是相同的。如果x及y的兩個轉換函數相同,那麼可以執行y的轉換函數的導出。舉例來說,如果𝛽 𝜖 [−1,1]是立方體上的圖案區域的y座標,那麼第26圖顯示了用於計算立方體面的座標與單一立方體面的座標之間的映射函數的範例。第26(a)圖示出了在立方體面上使用一個非均勻分割的單一立方體的範例映射函數。第26(b)圖示出了在球面上使用對應的均勻分割的單一立方體的範例映射函數。第26(c)圖示出了立方體面β的座標與單一立方體面β' 的座標之間的映射函數。映射函數
Figure 02_image005
的目標是在球面上具有相等的直線結構分割下將β 轉換為β' (例如,如第24(b)圖所示),以及
Figure 02_image009
可以與對應於β 的球面區域的面積成比例。舉例來說,如第26(b)圖所示,
Figure 02_image009
的值可以等於圖案球面區域與四分之一的球面的面積間的比值。例如,映射函數
Figure 02_image009
可以根據如下方式來計算:
Figure 02_image013
其中𝛽' 𝜖 [−1,1]。第26(c)圖示出了ββ' 之間的對應映射關係。
與立方體貼圖相似的投影格式可以藉由調整立方體貼圖的座標來提供一個或多個球面取樣特徵。舉例來說,立方體貼圖的座標可以使用一個或多個映射函數來調整。經過調整的立方體貼圖投影(ACP)可以提供球面取樣均勻性。立方體域中的座標可以基於以下的一個或多個映射函數來調整:
Figure 02_image021
其中
Figure 02_image024
可以返回該輸入的符號。
等角度立方體貼圖(EAC)投影可以藉由在立方體域與EAC域之間轉換座標來執行。舉例來說,立方體域及EAC域之間的座標可以基於立方體取樣網格上的球面樣本的角度正切值來轉換。用於EAC投影的映射函數可以根據如下方式來計算:
Figure 02_image025
第31圖示出了用於立方體貼圖、單一立方體、ACP及EAC的映射函數
Figure 02_image029
的範例比較。
第5圖示出了用於360度視訊處理的範例工作流程。360度視訊擷取可以用一個或多個攝影機來擷取。舉例來說,可以使用一個或多個攝影機來擷取覆蓋了球面空間的360度視訊。這些視訊可以拼接在一起。例如,這些視訊可以用等距矩形幾何結構而被拼接在一起。該等距矩形幾何結構可被轉換為其他幾何結構(例如立方體貼圖幾何),以用於編碼(例如使用視訊編解碼器來編碼)。經過編碼的視訊可以被遞送至用戶端(例如經由動態流傳輸及/或廣播)。例如,在接收器上可以對該視訊進行解碼。解壓縮的訊框可被解封裝,以便進行顯示,例如顯示幾何。舉例來說,顯示幾何可以在等距矩形幾何中。該幾何可以用於渲染。例如,該幾何可以依照使用者視角以及經由視埠投影而被用於渲染。
色度分量可以被子取樣為比亮度分量小的解析度。色度子取樣處理可以減少用於編碼的視訊資料量、並且可以節省頻寬及/或計算能力、以及可以在不影響(例如顯著影響)視訊品質下執行上述處理。使用4:2:0色度格式,所有的兩個色度分量都可以被子取樣為亮度解析度的1/4。舉例來說,色度分量可以在亮度解析度的水平方向上進行1/2的子取樣、以及在亮度解析度的垂直方向上進行1/2的子取樣。在色度子取樣之後,色度取樣網格可能不同於亮度取樣網格。在第5圖中,在整個處理流程中,在一個或多個階段處理的360度視訊可以採用已經對色度分量執行了子取樣的色度分量格式。
第6圖顯示了範例的基於塊的混合視訊編碼系統600的方塊圖。輸入視訊訊號602可以被逐塊處理。可以使用擴展塊尺寸(例如將其稱為編碼單元或CU)來壓縮(例如在HEVC中)高解析度(例如1080p及/或更高)的視訊訊號。CU可以具有多達64X64個像素(例如在HEVC中)。CU可以分成可被應用單獨預測的預測單元或PU。對於輸入視訊塊(例如巨集塊(MB)或CU),空間預測660或時間預測662都是可以執行的。空間預測(例如,或者是訊框內預測)可以使用來自同一視訊圖像及/或切片的已編碼的相鄰塊的像素來預測目前視訊塊。空間預測可以減少視訊訊號中固有的空間冗餘度。時間預測(例如,其可被稱為訊框間預測或運動補償預測)可以使用來自已編碼的視訊圖像的像素來預測目前視訊塊。時間預測可以減小視訊訊號中固有的時間冗餘度。用於指定視訊塊的時間預測信號可以由表明目前塊與其參考塊之間的運動量及/或方向的運動向量而被傳訊。如果支援(例如在H.264/AVC或HEVC中)多個參考圖像,那麼可以向解碼器傳訊視訊塊的參考圖像索引。該參考索引可以用於識別時間預測信號來自參考圖像儲存器664中的哪一個參考圖像。
在空間及/或時間預測之後,編碼器中的模式決定680可以選擇預測模式,例如基於速率失真最佳化來選擇。在616,從目前視訊塊中可以減去預測塊。可以用轉換模組604及量化模組606去相關預測殘差,以實現目標位元速率。在610,經過量化的殘差係數可被逆量化,並且可以在612被逆轉換,以形成重建的殘差。在626,該重建殘差可被添加回預測塊中,以形成重建視訊塊。在666,在將重建視訊塊置於參考圖像儲存器664之前,在該重建視訊塊上可以應用迴路過濾器,例如去塊過濾器及/或適應性迴路過濾器。參考圖像儲存器664中的參考圖像可以用於編碼未來的視訊塊。可以形成輸出視訊位元流620。編碼模式(例如訊框間或訊框內)、預測模式資訊、運動資訊及/或量化殘差係數可被發送至熵編碼單元608,以經過壓縮及封裝而形成位元流620。
第7圖顯示了範例的基於塊的視訊解碼器的通用方塊圖。在熵解碼單元208上可以接收、解封裝視訊位元流202及/或熵解碼該視訊位元流202。編碼模式及/或預測資訊可被發送至空間預測單元260(例如,若經訊框內編碼)及/或時間預測單元262(例如,若經訊框間編碼)。在空間預測單元260及/或時間預測單元262上可以形成預測塊。殘差轉換係數可被發送至逆量化單元210及逆轉換單元212,以重建殘差塊。在226,可以將預測塊與殘差塊相加。重建塊可以經過迴路過濾266並且可被儲存在參考圖像儲存器264中。該參考圖像儲存器264中的重建視訊可以用於驅動顯示裝置及/或預測未來的視訊塊。
可以使用H.264及/或HEVC之類的視訊編解碼器來編碼2D平面直線視訊。視訊編碼可以使用空間及/或時間相關性來消除資訊冗餘度。在視訊編碼期間可以應用一種或多種預測技術,例如訊框內預測及/或訊框間預測。訊框內預測可以用與其相鄰的重建樣本來預測樣本值。第8圖顯示了可用於對目前轉換單元(TU)進行訊框內預測的範例參考樣本。該參考樣本可以包括位於目前TU上方及/或左側的重建樣本。
可供選擇的訊框內預測模式可以有很多種。第9圖示出了HEVC中的訊框內預測方向的範例指示。例如,如第9圖所示,HEVC可以指定35種訊框內預測模式,包括平面(0)、DC(1)及/或角度預測(2~34)。適當的訊框內預測模式可被選擇。舉例來說,在編碼器端可以選擇適當的訊框內預測模式。多個候選訊框內預測模式所產生的預測可被比較。在預測樣本及原始樣本之間產生最小失真的候選訊框內預測模式可被選擇。所選擇的訊框內預測模式可被編碼到位元流中。
角度預測可用於預測定向紋理。第10圖顯示了具有一個運動向量(MV)的範例訊框間預測。參考圖像中的塊B0'及B1'可以是目前圖像中的塊B0及B1各自的參考塊。參考塊B0'可能部分在參考圖像的邊界以外。可以使用填充來填充在圖像邊界以外的位置樣本。第11圖顯示了用於圖像邊界以外的參考樣本的範例填充。例如,塊B0'的填充範例可以具有四個部分P0、P1、P2及P3。部分P0、P1及P2可以在圖像邊界之外、並且可以例如經由填充而被填充。舉例來說,部分P0可以用參考圖像的左上方的樣本來填充。部分P1可以使用了參考圖像中的最頂列的垂直填充處理來填充。可以使用了圖像的最左列的水平填充處理來填充部分P2。
運動向量預測及/或合併模式可被用於訊框間編碼。在運動向量預測中,來自相鄰PU及/或時間並置的PU的運動向量可被用作目前MV的預測器。所選擇的MV預測器的索引可被編碼及/或被傳訊給解碼器。解碼器可以建構具有多個條目的MV預測器列表。具有所傳訊的索引的條目可以用於預測目前PU的MV。
對於合併模式,用於空間及/或時間上相鄰PU的MV​​資訊可被重新使用,並且可以跳過關於目前PU的運動向量編碼。第12圖示出了可用於合併候選導出的範例的空間相鄰塊。例如,可以將左下(A0)、左側(A1)、右上(B0)、頂部(B1)及/或左上(B2)用於合併候選導出。時間並置塊可被用作合併候選。所選擇的合併候選的索引可以被編碼。在解碼器端可以構建合併候選列表。舉例來說,在解碼器端建構的合併候選列表可以類似於在編碼器端建構MV預測器列表。具有所傳訊的合併候選索引的條目可被用作目前PU的MV​​。
360度視訊編碼及2D平面視訊編碼在各個方面都有可能存在差異。例如,360度視訊可以是訊框封裝的、並且可以包含圍繞觀看者的環境的360度資訊。如此一來,360度視訊可以具有2D視訊不具有的一個或多個固有的環形特徵。適用於編碼2D視訊的某些編解碼器(例如MPEG-2、H.264及/或HEVC)沒有充分考慮360度視訊的環形特徵。舉例來說,如果360度視訊中的像素在圖像邊界之外,那麼可以應用重複填充。
可以使用訊框封裝將360度視訊的一個或多個面排列成矩形圖像,以用於編碼。沿著面邊界的樣本值有可能是不連續的。這種不連續性有可能降低空間預測的效率。如第8圖所示,使用相鄰的重建樣本可以導出用於對目前TU執行訊框內預測的參考樣本。該相鄰的重建樣本可以位於與目前TU所屬的面不同的面。舉例來說,如果目前TU接近或在立方體貼圖中的面的邊界上,那麼對應的訊框封裝2D圖像中的最接近的相鄰樣本可以在相鄰的面,並且這些樣本在訊框封裝圖像中可能是不連續的。
第13圖顯示了立方體貼圖的面圖像中的不連續樣本及填充的範例。圓形可以代表球面的赤道。該正方形的四個側面/側邊可以代表赤道被投影到的立方體貼圖的四個側面上的四條線。P可以代表立方體貼圖的面,Q可以代表面P的相鄰面。Px(x 𝜖 [0,3])可以代表面P上的取樣點。Qx(x 𝜖 [0,3])可以代表相鄰面Q上的取樣點。舉例來說,如果相鄰樣本P4、P5及P6是在面邊界之外的樣本,並且如果P4、P5及P6將被填充在面P上(例如具有均勻取樣間隔),那麼填充樣本K0、K1及K2可以分別代表P4、P5及P6從球面中心到面Q上的投影。P4、P5及P6的點位置可被稱為與初始參考塊相關聯的相鄰樣本位置或初始樣本位置。如第13圖所示,K0及Q0不會相互重疊。K1與Q1以及K2與Q2不會重疊。擴展樣本相對於面邊界越遠,則發散度就越大。填充樣本K0、K1及K2可以分別用於填充P4、P5及P6上的樣本。K0、K1及K2可被稱為參考樣本、導出的樣本位置、填充樣本位置或是與位於各自的參考樣本位置的被映射的參考塊相關聯的多個樣本值。如第13圖所示,K0及Q0不會相互重疊,並且K1與Q1以及K2與Q2同樣也會如此。填充樣本K0、K1及/或K2可用於填充P4、P5及/或P6上的樣本。
訊框間運動補償預測可以具有不連續樣本。舉例來說,如果在編碼期間應用立方體貼圖4×3訊框封裝處理(舉例來說,如第2(b)圖所示),那麼在目前塊的面以外的參考塊的像素可能是不連續的。第16圖示出了用於立方體貼圖4×3訊框封裝圖像的範例的運動補償預測。如第16圖所示,面V可以是用於訊框封裝的虛擬面。如果目前塊B0屬於目前圖像的面0,並且由運動向量所指的時間參考塊B0'部分位於參考圖像的面0的外部,那麼在面4上的子塊1402(例如塊B0'的子塊)可以具有不同的紋理方向。目前塊B0可被分為兩個預測單元。
在訊框封裝圖像中,沿著面邊界的運動可能是不連續的。舉例來說,第12圖中的目前PU可以在面邊界。相鄰塊A0、A1、B0、B1及/或B2可以位於一個或多個不同的面。與目前塊的運動方向相比,相鄰塊(例如A0、A1、B0、B1及/或B2)的運動可以具有一個或多個不同方向。
360度視訊編碼可以考慮所編碼的視訊的幾何結構及/或特性。對於訊框內及/或訊框間預測,如果參考樣本位於訊框封裝圖像之外,那麼可以藉由考慮圖像的一個或多個環形特徵來應用幾何填充。幾何填充可以增加關於圖像之外的參考樣本的預測效率。舉例來說,幾何填充可以提升用於訊框間運動補償預測的圖像之外的參考樣本的預測效率。例如,如這裡所述,第11圖所示的子塊P0、P1及/或P2中的點p的值可以經由幾何映射及/或內插來導出。
對於訊框內預測及/或訊框間預測來說,如果訊框封裝圖像中的參考樣本在圖像以內,但是在目前塊所屬的面以外,那麼可以使用幾何填充來導出參考樣本值。舉例來說,幾何填充可用於處理不連續性。例如,藉由使用幾何映射可以將在目前塊的面之外的參考樣本位置從其目前面映射到其他面,其中該參考樣本位置可被稱為相鄰樣本位置及/或與初始參考塊相關聯的一個或多個初始樣本位置。舉例來說,第13圖中的參考樣本位置P4可被映射到K0,並且位置K0處的樣本值可以從相鄰面上的樣本值(例如Q0及/或Q1等等)而導出。例如,可用於訊框間預測的第16圖中的子塊1402可以經由幾何填充導出。舉例來說,面4上的樣本值不會被用於(例如直接用於)第16圖中的訊框間預測。
在運動向量預測及/或訊框間合併模式中,用於時間運動向量預測的空間相鄰塊或時間並置塊可能在目前塊的面之外。舉例來說,用於時間運動向量預測的時間並置塊可以由HEVC來定義。相鄰塊位置可以經由幾何映射處理而導出。例如,樣本位置可以被映射。一個或多個樣本值可以基於所映射的位置而導出。
可以使用混合投影技術來編碼360度視訊。舉例來說,混合投影技術可以基於視訊及/或投影技術的特性。例如,訊框內圖像可以用投影而被編碼,而訊框間圖像則可以用其他投影而被編碼。例如,訊框內圖像可以用ERP或等面積投影而被編碼。訊框間圖像可以用立方體貼圖投影而被編碼。
幾何填充可被應用在360度視訊編碼中。第17(a)圖及第17(b)圖示出了用於等距矩形圖像的範例幾何填充。如第17(a)圖及第17(b)圖所示,右邊界及左邊界可以是球面連續的。舉例來說, 第17(a)圖所示的箭頭可以表明球面上的連續性。例如,具有相同元件符號(例如第17(a)圖中的02及02',32及32',42及42',04及04',34及34'以及44及44')的箭頭可以指示右邊界及左邊界中的球面的連續性。頂部邊界可以代表球面的北極,底部邊界可以代表球面的南極。如這裡所述,頂部邊界及底部邊界不會是球面連接的,並且有可能是球面上的最遠的距離。頂部邊界20及20'、22及22'、26及26'及/或28及28'可以表明北極的球面連續性。底部邊界06及06'、08及08'、10及10'及/或12及12'可以表明南極的球面連續性。
在使用在這裡描述以及在第17(a)圖及第17(b)圖中顯示的球面特性的情況下,如果相鄰樣本位置超出圖像的右邊界(例如02、32、42、D、E及/或F),那麼可以藉由倒回到圖像的左邊界(例如,分別為02'、32'、42'、D'、E'及/或F')以使用填充樣本位置來執行填充。填充可以藉由以圖像的一個或多個環形特性為基礎的倒回來執行。如果相鄰樣本位置在圖像的右邊界以內,那麼可以從圖像邊界內的最右線條進行重複以用於填充。如果相鄰樣本位置超出圖像的底部邊界(例如06、08、10、12、K、L、M及/或N),那麼可以沿著經度線進行填充,並且該填充將會前進到相對的半球(例如分別為06'、08'、10'、12'、K'、L'、M'及/或N')。第17(b)圖中的箭頭以及對應的字母標籤可以表明所要被填充的樣本與可用於填充一個或多個相鄰樣本位置的填充樣本之間的對應關係。舉例來說,將在箭頭A上進行填滿的填充可以沿著箭頭A'進行。將在箭頭B上進行填滿的填充可以沿著箭頭B'進行,依此類推。
可以基於圖像中的目前位置來提供初始參考樣本點(u, v)。舉例來說,點(u, v)可以在等距矩形圖像之外。初始參考樣本位置(u, v)可用於導出填充樣本位置(up, vp)。點(up, vp)可被稱為填充樣本、或是與被映射的參考塊相關聯的一個或多個樣本值。為等距矩形圖像導出的參考樣本位置(up, vp)可以用如下方式來計算。 若u<0或u≥W且0≤v<H,則up=u%W,vp=v (17) 若v<0,則vp=-v-1,up=(u+W/2)%W (18) 如果v≥H,則vp=2*H-1-v,up=(u+W/2)%W (19) 其中W及H可以是等距矩形圖像的寬度及高度。舉例來說,填充樣本位置(up, vp)可以基於點(u, v)的位置而被計算。例如,如果點(u, v)超出右邊界或左邊界,那麼可以基於等式(17)來計算填充樣本(up, vp)。超出右或左邊界的點(u, v)的填充樣本(up, vp)可以分別對應於位於等距矩形圖像的左或右邊界附近的點。其他填充樣本可以基於與等式(18)及/或(19)相對應的點(u, v)的方位來計算。
如第13圖所示,可以提供用於CMP的填充。填充可以應用於點(u, v)。點p(u, v)可以位於幾何結構的視訊內容中。點p(u, v)可以是目前樣本的相鄰樣本。樣本值可以用以下的一項或多項導出。
點p(u, v)可以基於在目前樣本位置的目前樣本來識別。舉例來說,在目前樣本位置的目前樣本可以在目前面位置。目前樣本可以與填充樣本相關聯。點p(u, v)可以位於目前面邊界之外。點p(u, v)可以位於不同的面。該點的3D方位Pf(X, Y, Z)可以根據點p(u, v)所屬的面來計算。舉例來說,如果點p的面是NZ,那麼可以使用等式(6)、(7)及/或(8)來計算點p的3D方位(X, Y, Z)。用於填充的樣本所屬的新的面可以基於3D方位(X, Y, Z)來確定。在使用(X, Y, Z)的情況下,可以使用下列方式將該樣本用於填充: 若(|X|>=|Y|且|X|>=|Z|且X>0),則新面可以是PX; 若(|X|>=|Y|且|X|>=|Z|且X<0),則新面可以是NX; 若(|Y|>=|X|且|Y|>=|Z|且Y>0),則新面可以是PY; 若(|Y|>=|X|且|Y|>=|Z|且Y<0),則新面可以是NY; 若(|Z|>=|X|且|Z|>=|Y|且Z>0),則新面可以是PZ; 若(|Z|>=|X|且|Z|>=|Y|且Z<0),則新面可以是NZ。
可以使用Ps(X', Y', Z')來計算點p的2D位置(u', v')。舉例來說,可以基於新面的位置來計算點p的2D位置(u', v')。如果新面位於NZ,那麼可以使用等式(9)及/或(10)來計算帶有(X', Y')的填充樣本位置(u', v')。可以使用內插過濾器及/或基於(u', v')所屬的新面上的整數方位樣本來確定在(u', v')的樣本值。
用於幾何結構中的點(u, v)的填充可以包括以下的一項或多項。在與填充樣本相關聯的目前樣本位置處的目前樣本可被確定。所要填充的面上的3D方位Pf(X, Y, Z)可以基於點(u, v)而被確定。點(u, v)可以代表位於圖像邊界或面之外的點。填充樣本位置可以基於所要填充的樣本的位置而被確定。舉例來說,2D平面方位(u', v')可以藉由將填充樣本的3D方位的幾何投影應用於幾何結構而被識別。在填充樣本位置(2D平面方位(u', v'))的填充樣本值可以被導出。在2D平面方位(u', v')的樣本值可以使用內插過濾器及/或基於整數方位處的樣本而被確定。所映射的樣本方位及/或填充樣本值可以被導出。
可以使用一個或多個內插過濾器。舉例來說,在確定在新面上的(u', v')處的樣本值時,可以使用一個或多個內插過濾器。例如,可以使用雙線性、雙三次、蘭克澤斯(Lanczos)、樣條內插過濾器及/或基於離散餘弦轉換的內插過濾器(DCT-IF)。可以使用最近鄰內插。如第13圖所示,如果使用了最近鄰內插,那麼可以使用Q0的值來填充P4及/或P5。例如,由於Q0是K0及K1的最近鄰,因此可以使用Q0的值來填充P4及/或P5。Q1的值可用於填充P6。例如,由於Q1是K2的最近鄰,因此可以使用Q1的值來填充P6。在第13圖中,這種近似有可能會很粗略。舉例來說,由於取樣有可能會很稀疏,因此,第13圖中的近似有可能會很粗略。考慮到立方體貼圖幾何可能會過取樣立方體邊界附近的球面,該處理可以提供關於更密集取樣的近似。
最近鄰內插可以導出被映射的樣本位置。例如,被映射的樣本位置可以包括以下的一個或多個。可以基於點(u, v)以在所要填充的面上計算3D方位Pf(X, Y, Z)。位置Ps(X', Y', Z')可以藉由將Pf(X, Y, Z)投影在幾何結構上而被計算。在新面上可以計算2D平面方位(u',v')。例如,最近鄰內插可以導出被映射的樣本位置,其可以包括非線性函數。填充也是可以被使用的。舉例來說,可以使用基於面的填充。利用基於面的填充,可以使用一個或多個相鄰面來填滿周圍的被填充區域,這可以與展開立方體相對應。例如,可以使用(例如直接使用)四個相鄰面來填滿用於基於面填充處理的周圍填充區域。第14圖示出了用於立方體貼圖的填充處理的範例。第14(a)圖示出了用於立方體貼圖的填充處理的範例3D表示。第14(b)圖示出了具有圍繞用於立方體貼圖的填充處理的前面的展開面的範例平面表示。如第14圖所示,虛線包圍的填充區域可以用來自相鄰面的樣本填滿。舉例來說,如第14圖所示的虛線包圍的填充區域可以直接用來自相鄰面的樣本填滿。如第13圖所示,如果使用基於面的填充,那麼可以分別使用Q0、Q1及/或Q2的值來填充P4、P5及/或P6。Q2可能屬於與包含P個樣本的面所限定的半球面相對的半球面、及/或對於填充包含P個樣本的面來說沒有意義。基於面的填充對於填充某一個側面的一半以上的面尺寸以上的填充而言是沒有意義的。如果被填充區域的尺寸是小的(例如寬度是幾個樣本),那麼投影角度可以接近於將立方體邊界連接到其中心的45度角,及/或基於面的填充可以提供足夠的近似度。如第14(b)圖所示,被填充區域的四個角是可以外推的。第14(b)圖所示的被填充區域的四個角可能具有無法從相鄰面直接得到的樣本。可以在一個或多個角落上使用重複填充。舉例來說,可以在四個角落上使用重複填充處理。以下的一種或多種外推處理可被使用:鏡像反射可用樣本、複製最接近的可用樣本(例如像第15(a)圖所示垂直於面邊界)、及/或如第15(b)圖所示複製與面邊界斜對(diagonally relative to)的樣本。例如,樣本值可以用如下方式導出: 若|x| >= |y|,則v(x, y) = v(sign(x)(|x| + |y|), 0); 若|x| < |y|,則v(x, y) = v(0, sign(y)(|x| + |y|)。
對於方位與兩個現有樣本等距的外推樣本,可以將這兩個現有樣本的平均值用於該外推樣本。舉例來說,如第15(a)圖及第15(b)圖所示,外推樣本在對角線上與兩個現有樣本等距(例如,如虛線所示),並且可以使用以與可用樣本的距離為基礎的加權總和。樣本值是可以被導出的。舉例來說,依照第15(a)圖顯示的範例原理,樣本值可以依照以下方式導出: 若|x| >= |y|,則v(x, y) = a*v(x, 0) + b*v(0, x), a = (2*|x| – |y|)/(2*|x|), b = |y|/(2*|x|); 若|x| < |y|,則v(x, y) = a*v(y, 0) + b*v(0, y), a = |x|/(2*|y|), b = (2*|y| – |x|)/(2*|y|)。 及/或依照第15(b)圖所示的範例原理,樣本值可以採用如下方式來導出: v(x, y) = a*v(sign(x)(|x| + |y|),0) + b*v(0, sign(y)(|x| + |y|),a = |x|/(|x|+|y|),b = |y|/(|x| + |y|)。
處理(例如類似的過程)可以用於包括一個或多個面的一個或多個投影幾何。舉例來說,由一個或多個面組成的投影幾何可以包括但不限於八面體及/或二十面體。
幾何填充可被應用在以下的一種或多種情況中。舉例來說,在訊框內預測中可以執行幾何填充。例如,當相鄰樣本在圖像邊界之外時,可以執行幾何填充。例如,當相鄰樣本與被預測的目前樣本不在相同面內時,可以執行幾何填充。在訊框間預測中可以執行幾何填充。舉例來說,當參考樣本在參考圖像邊界之外時,可以執行幾何填充。例如,當參考樣本與被預測的目前樣本不在相同面內時,可以執行幾何填充。被映射的樣本位置導出可以包括以下的一個或多個。所要填充的面上的3D方位Pf(X, Y, Z)可以基於點(u, v)來計算。方位Ps(X', Y', Z')可以藉由將Pf(X, Y, Z)投影到幾何結構上來計算。新面上的2D平面方位(u', v')可以被計算。被映射的樣本方位導出可以用於導出在圖像邊界之外的空間相鄰塊。被映射的樣本方位導出可用於導出與正被預測的塊不在相同面內的空間相鄰塊。映射塊方位的屬性可被用作塊(例如目前塊)的預測器。舉例來說,映射塊方位的屬性可以包括以下的一項或多項:訊框內模式、訊框間模式、合併模式及/或運動資訊(可以包括一個或多個運動向量及/或一個或多個參考圖像索引)等等。用作塊的預測器的映射塊方位可以包括以下的一項或多項:使用例如計算p(u, v)的3D方位Pf(X, Y, Z)的技術來導出;計算Ps(X', Y', Z');及/或計算2D位置(u', v')。例如,對於訊框間合併模式的運動向量預測及/或運動向量導出來說,以這裡描述的方式導出的映射塊方位的運動向量可被用作運動向量預測器及/或合併候選的運動向量。相鄰塊的方位可被導出,及/或來自被映射的塊的屬性可被推測。例如,相鄰塊的方位可以在考慮了哪一個相鄰塊(例如,左、上等等)最接近目前塊下作為最接近於目前塊的相鄰塊的位置p(u, v)來計算。舉例來說,如果(uc, vc)是目前塊的左上角的位置,那麼可以使用(uc -1, vc )來計算左側相鄰塊的位置,並且可以使用(uc , vc -1)等等來計算頂部相鄰塊的位置。相鄰塊的方位可以作為相鄰塊的中心來計算。舉例來說,如果(uc, vc)是目前塊的左上角的位置,那麼可以將左側相鄰塊的位置作為包含方位(uc -1, vc )的塊的中心位置來計算,以及可以將頂部相鄰塊的位置作為包含了(uc, vc -1)等等的塊的中心方位來計算。例如,相鄰塊的方位可以藉由展開3D幾何來確定。展開3D幾何可以確定相鄰面上的映射塊方位。
如第14(b)圖所示,在使用重複填充時,用於所要填充的四個角落區域的一個或多個樣本的映射方位可以是該面內的最接近角落樣本方位。如果相鄰塊的方位在對角線上(例如用第15(a)圖及/或第15(b)圖中的虛線來表示),那麼可以認為該塊是不可用的,這是因為其方位可能被映射到不屬於面的立方體面邊界上。如果相鄰塊的方位不在對角線上,那麼如第15(a)圖及/或第15(b)圖所示,該相鄰塊方位可被投影到與面邊界相對的最接近的可用方位。舉例來說,如第15(a)圖所示,相鄰塊方位可被投影到與面邊界垂直地相對的最接近可用方位。例如,如第15(b)圖所示,相鄰塊方位可被投影到與面邊界斜對的最接近的可用方位。在視訊編碼期間,幾何填充技術可被應用於一個或多個過濾處理。例如,這些過濾處理可以包括迴路過濾、樣本適應性偏移(SAO)及/或適應性迴路過濾(ALF),在該過濾中可以使用相鄰樣本。在相鄰樣本在圖像邊界之外或者與被過濾的樣本不在相同面上時,可以使用幾何填充來導出相鄰樣本值。 等式(3)、(4)及/或(5)使用了正弦及/或餘弦函數。例如等式(3)、(4)及/或(5)中的正弦及/或餘弦函數之類的非線性函數的硬體實施方式可以使用查找表(LUT)及/或線性內插。由於這些函數都是三角函數,因此可以將LUT定義在範圍[0, 90]中。近似精確度可以基於應用需求及/或記憶體大小限制來確定。第18圖示出了使用LUT的正弦函數的範例導出。sin(x)可以是變數x的正弦函數。一個或多個黑色實心圓1602可以為在範圍[0, 90]中均勻樣本的函數sin(x)定義LUT。x可以是輸入變數,並且在LUT中沒有定義該x的值。P及Q可以是輸入x的第一及第二最近鄰(例如,或是取樣點)。一個或多個不同的內插可以用於導出sin(x)的值。舉例來說,如果使用最近鄰內插,那麼sin(x)可以近似為sin(x)= sin(P)。如果使用線性內插,那麼sin(x)可以近似為: sin(x) = sin(P) + (sin(Q) – sin(P)) * (Q – x)/(Q – P)
LUT可以是在具有不均勻取樣的範圍中定義的。舉個例子,對於sin(x)來說,在接近0度的範圍中可以使用更多取樣點,並且在接近90度的範圍可以使用較少的取樣點(例如,這是因為0度附近的梯度要大於90度附近的梯度)。
訊框封裝圖像的面可以用幾何填充來填充、及/或可以被儲存在解碼圖像緩衝器中。例如,如第19(a)圖所示,一個或多個(例如全部)面可以用幾何填充處理來填充、及/或可以被儲存在解碼圖像緩衝器中,以用於將來的圖像編碼的運動估計。在編碼器端及/或解碼器端,該面可以用幾何填充來填充、及/或可被儲存在解碼圖像緩衝器中。在重建了參考圖像之後,這些面可以用幾何填充來填充、及/或可以儲存在解碼圖像緩衝器中。一個或多個面可以用幾何填充來填充,及/或可以被儲存在解碼圖像緩衝器中,以用於將來的圖像編碼的運動估計。該運動估計處理可根據訊框封裝資訊來確定目前塊可以位於的面及/或方位。
塊(例如整個塊)可以在未經編碼下被跳過。舉例來說,如果塊(例如整個塊)在第19圖中被標記為“V”的空面內,可以跳過該塊而不進行編碼。如果該塊(例如整個塊)不在第19圖中被標記為“V”的空面內,那麼運動估計處理可以基於起始位置及/或預先定義的搜尋範圍來確定該塊的搜尋視埠。舉例來說,如第19(a)圖及第19(b)圖所示,塊“B”可以位於面“0”中。該起始方位可以是從其空間及/或時間相鄰塊導出的運動向量預測器。搜尋視埠可被限制為在被填充面緩衝器內。舉例來說,該搜尋視埠可被限制為完全在被填充面緩衝器內。可以使用運動搜尋。舉例來說,運動搜尋可以包括全面搜尋及/或快速搜尋等等。例如,在確定了搜尋視埠時,可以使用運動搜尋。
被填充區域的尺寸可能會影響性能。舉例來說,由於搜尋視埠有可能被限制在填充面緩衝器內,因此,填充區域的尺寸有可能會影響性能。可以執行幾何填充以獲取用於參考圖像的填充面。在解碼器端及/或編碼器端可以執行幾何填充。填充面緩衝器可用於運動補償。幾何填充可以產生預測塊。舉例來說,幾何填充可以即時產生預測塊。經由幾何填充產生預測塊可以執行逐塊填充。舉例來說,經由幾何填充產生預測塊可以執行按需的填充。
為了解碼訊框間塊,解碼器可以確定預測塊(或預測塊的一部分)在面以外還是面以內。舉例來說,解碼器可以確定預測塊是否在目前面以外。該解碼器可以確定預測塊的一些部分是否在目前面以外。解碼器可以基於解碼塊的方位及/或其運動向量來確定預測塊(例如,或是預測塊的一部分)是否在目前面以外。解碼器可能不執行任何填充。舉例來說,如果預測塊在面以內,那麼解碼器可以跳過填充。解碼器可以使用幾何填充技術來產生(例如僅產生)特定的塊(例如,或是預測塊的一些部分)。解碼器不會填充面邊界(例如整個面邊界)。舉例來說,如果預測塊(及/或預測塊的一些部分)在該面以外,那麼解碼器可以使用幾何填充技術來產生該特定塊(例如,及/或該預測塊的一些部分)。
可以使用儲存了對應樣本方位資訊的查找表。查找表可以儲存每一個面的每一個填充方位的對應樣本方位資訊。可以定義填充區域尺寸的一個或多個限制。舉例來說,可以為填充區域尺寸定義最大尺寸及/或限制以減小對於供幾何填充使用的LUT尺寸的需求。關於填充區域尺寸的一個或多個限制(例如最大尺寸)可以依照圖像尺寸來定義,其中該限制可以在設定檔/等級定義中,以便減小實施資源需求。例如,具有較大圖像尺寸的視訊可以使用較大的填充區域尺寸。該填充區域尺寸可以在序列級被傳訊,例如序列參數集合(SPS)及/或圖像參數集合(PPS)等等。
解碼器可以被初始化。舉例來說,由於LUT可以是逐漸積累的,因此,藉由在序列級傳訊填充區域尺寸,可以對解碼器進行初始化(例如更快被初始化)。LUT可以基於所傳訊的資訊而逐漸積累。
在將幾何填充技術用於運動補償預測時、以及在時間參考樣本在目前塊所屬的面以外時,目前塊的運動向量及/或目前塊的相鄰塊的運動向量有能是不同的。舉例來說,在目前塊及其相鄰塊屬於不同的投影面時,目前塊及/或目前塊的相鄰塊的運動向量有可能會有很大的差異。由於訊框封裝圖像的兩個相鄰面在3D空間中有可能是不相鄰(例如緊鄰)的,因此,目前塊的運動向量及/或目前塊的相鄰塊的運動向量可能相當不同。由於在將3D空間中的兩個相鄰(例如緊鄰)面置於2D訊框封裝圖像時,可能會存在翹曲效應,而這有可能會導致面邊界上的樣本值及/或運動向量不連續,因此,目前塊的運動向量及/或目前塊的相鄰塊的運動向量可能相當不同。基於相鄰塊是否屬於不同的面,可以確定是否可以使用用於運動向量預測器的相鄰塊的運動向量來預測目前塊。編碼器及/或解碼器可以檢查是否可以在3D空間中連接一個或多個(例如兩個)相鄰面邊界。一個面邊界可以是相鄰塊所屬的面的邊界。另一個面邊界可以是目前塊所屬的面的邊界。如果在3D空間中連接該一個或多個(例如兩個)面邊界,那麼可以使用相鄰塊的運動向量作為目前塊的運動向量預測器。如果在3D空間中沒有連接該一個或多個(例如兩個)面邊界,那麼不會將相鄰塊的運動向量用於目前塊的運動向量預測。該一個或多個(例如兩個)運動向量預測限制可以適用於訊框間合併模式。舉例來說,如果相鄰塊屬於不同面,那麼不會將該相鄰塊用作訊框間合併模式的合併候選。
用於單一立方體、ACP及EAC投影的幾何填充都是可以執行的。
如這裡所述,等式(11)及/或(12)可以提供單一立方體域中的座標(x', y')與立方體域中的座標(x, y)之間的關係。立方體域中的座標與球體上對應的3D點Ps之間的幾何關係可以是已知的。使用立方體貼圖作為中間階段下,立方體貼圖幾何填充可被擴展,以導出用於單一立方體投影格式的填充區域中的參考樣本。舉例來所,為了導出單一立方體面的填充區域中的座標上的參考樣本,可以執行以下的一項或多項。與訊框封裝圖像的輸入投影相關聯的座標可被映射到中間座標。例如,與單一立方體投影相關聯的座標可例如基於等式(12)而被映射到立方體面中定義的中間座標。中間立方體座標可被投影到相鄰面的一個或多個其他立方體座標。舉例來說,中間立方體座標可以基於立方體貼圖格式的幾何投影函數而被投影到相鄰面的一個或多個其他立方體座標。立方體座標可例如基於等式(11)而被映射回單一立方體域中定義的參考座標。例如,在單一立方體面中的參考座標上的樣本可以使用內插過濾來導出。
在面的填充區域中可以提供座標(u, v)。用於單一立方體格式的幾何填充可被執行。一個或多個座標可從單一立方體格式/幾何被轉換為立方體格式/幾何。舉例來說,在單一立方體面中可以定義輸入座標(u, v)。在立方體面中定義的中間座標(uc, vc)可以依照等式(12)來計算。參考座標(uc', vc')可以藉由用下列中的一項或多項將(uc, vc)投影到相鄰的立方體面上而導出。從立方體到3D空間的2D到3D映射可被執行。依照(uc, vc)所屬的面,可以計算(X, Y, Z)的對應3D方位。舉例來說,如果面是NZ,那麼可以使用等式(6)、(7)及/或(8)來計算(X, Y, Z)的3D方位。例如,參考樣本所屬的新的面可以基於3D座標(X, Y, Z)來確定。 若(|X|>=|Y|且|X|>=|Z|且X>0),則新面可以是PX; 若(|X|>=|Y|且|X|>=|Z|且X<0),則新面可以是NX; 若(|Y|>=|X|且|Y|>=|Z|且Y>0),則新面可以是PY; 若(|Y|>=|X|且|Y|>=|Z|且Y<0),則新面可以是NY; 若(|Z|>=|X|且|Z|>|Y|且|Z>0),則新面可以是PZ; 若(|Z|>=|X|且|Z|>=|Y|且Z<0),則新面可以是NZ。 可以執行從3D空間到立方體的3D到2D映射。在新的面中可以使用(X, Y, Z)來計算被投影的2D座標(uc', vc')。舉例來說,如果新面是NZ,那麼可以使用等式(9)及/或(10)並結合(X, Y, Z)來導出(uc', vc')。一個或多個座標可從立方體格式/幾何被轉換為單一立方體格式/幾何。舉例來說,在給出了在立方體面中定義的參考座標(uc', vc')的情況下,可以計算出在單一立方體面中定義的對應的參考座標(u', v')。在用於填充的單一立方體面中的參考座標(u', v')的樣本可以藉由對在圍繞單一立方體面的(u', v')的整數方位上的樣本應用內插過濾而導出。
如等式(12)所示,轉換函數
Figure 02_image032
可以將座標從單一立方體面映射到立方體面。等式12中的轉換函數
Figure 02_image032
可以包括在分母上包含了平方根的分數。執行以下等式可以防止分母為零:
Figure 02_image036
(20)
Figure 02_image040
可以定義單一立方體面內部的樣本的座標範圍。如果
Figure 02_image040
可以限定單一立方體面內部的樣本的座標範圍,那麼等式(20)可以規定,在將任意的3D點投影到單一立方體面上時,該面上的投影可以在一區域內部,該區域可以用該面中心為中心及/或該區域可以在水平及/或垂直方向上是該面尺寸的1.5倍。在將幾何填充應用於單一立方體格式時,用於單一立方體面的填充區域的最大尺寸可能存在限制。舉例來說,單一立方體面的填充區域的最大尺寸不會超過面尺寸的1.5倍。第27圖示出了用於單一立方體投影格式的面中的填充樣本的有效區域的範例。
當運動補償預測涉及圖像邊界及/或面邊界之外的樣本時,可以在考慮了編碼投影格式所代表的3D幾何結構的情況下,應用這裡描述的幾何填充來填充對應的參考樣本。例如,預測塊(或預測塊的一部分)可以在單一立方體面的填充樣本的有效區域之外。
基於單一立方體投影,可以在360度視訊編碼上實施幾何填充。
第28圖示出了用於單一立方體格式的填充樣本的有效區域的範例MV剪切。如第28圖所示,可以在編碼器及/或解碼器的運動補償預測之前執行該MV剪切操作。例如,時間預測可以使用來自在單一立方體面的填充樣本的有效區域中的參考樣本。如果MV指向有可能在或局部在單一立方體面的有效填充區域以外的參考塊,那麼可以將MV剪切成最接近的值,使得預測塊的參考樣本可以在用於填充的有效區域內。如第28圖所示,參考塊A局部在有效填充區域之外。與參考塊A相關聯的MV可被剪切,以產生指向參考塊A'的MV'。該參考塊A'可以是在有效填充區域內的相鄰塊。
可以提供位元流一致性以確保經過編碼的MV具有適當的值。舉例來說,可以提供位元流一致性以確保經過編碼的MV具有適當的值,其中預測塊的一個或多個(例如全部)參考樣本來自單一立方體面的有效填充區域。在給出了編碼塊的位置及/或尺寸下,有效MV的範圍可被確定。舉例來說,有效MV的範圍可以對應於未使用有效填充區域之外的參考樣本的運動補償預測信號。一致的位元流中的MV值可以在預定範圍內。
執行混合填充可以填充用於單一立方體的運動補償預測的參考樣本。該混合填充可以聯合應用幾何填充及重複填充。如果參考樣本的方位在單一立方體面中的被填充樣本的有效區域內,那麼可以應用幾何填充以基於360度視訊所代表的3D幾何結構來導出對應的樣本值。如果參考樣本的方位不在單一立方體面中的填充樣本的有效區域內(例如,參考樣本的方位在單一立方體面的有效填充區域之外),那麼可以藉由將樣本位置水平地及/或垂直地剪切到有效填充區域內的最接近方位來應用重複填充,以對樣本進行填充。第29圖示出了用於單一立方體投影格式的範例混合填充。如第29圖所示,參考塊B可以在(例如局部在)單一立方體面的有效填充區域以外。子塊B3中的樣本可以在有效填充區域以內,並且樣本值可以是基於幾何填充而被導出。對於子塊B0、B1及B2,對應的樣本可以藉由複製(例如重複複製)來自有效填充區域邊界的樣本值來填充。例如,B0可以用B3的左上樣本來填滿。B1可以用B3的頂行來填滿。B2可以用B3的左行來填滿。第30圖示出了使用混合填充的填充圖像的範例。在混合填充中可以使用重複填充作為範例。在混合填充中可以應用一種或多種其它填充方法(例如第14圖中的基於面的填充、及/或第15圖中的基於垂直內插的及/或基於對角線內插的填充等等)來填充有可能在用於單一立方體投影格式的被填充樣本的有效區域以外的樣本。
在序列級,在單一立方體面尺寸是已知時,可以預先計算以下的一項或多項及/或將其儲存為LUT。舉例來說,填充樣本方位LUT可以表明立方體面中定義的計算的中間座標(uc, vc)、導出的參考座標(uc', vc')及/或在單一立方體面中定義的所計算的參考座標(u', v')之間的相互關係。LUT可以儲存所導出的一個或多個樣本方位,該樣本方位可以用於填充在被填充樣本方位處的樣本值。可以為圖像計算(例如動態計算)在單一立方體面中的參考座標(u', v')處的所導出的被映射樣本。從3D空間到六個單一立方體面上的投影可以是對稱的。可以為面儲存參考LUT,該參考LUT可以被其他五個面中的一個或多個重複使用。舉例來說,可以為面儲存單一參考LUT,該LUT可以被其他的五個面中的一個或多個面重複使用。第32圖顯示了將關於六個面的LUT用於單一立方體的幾何填充的範例圖示。如第32圖所示,可以應用3x2訊框封裝佈置。在第32圖中,空白塊3201可以代表面區域。圖案化的塊3203可以代表填充區域。如第32圖所示,樣本A及樣本B可以分別位於面#0及面#5的填充區域中的相同方位的兩個樣本。樣本A可被投影到面#4中的2D座標(u, v)。基於對稱的3D投影結構,如第32圖所示,樣本B可被投射到面#5的相鄰面(例如面#0)中的相同座標(例如,(u, v))。例如,對在不同面的填充區域中的相同樣本方位,投影面中的對應座標可以是相同的。可以為面儲存包含了用於被填充樣本方位的被投影座標的LUT,該LUT可被重覆使用,以計算其他面中的被填充樣本的被投影座標。當在一個或多個(例如全部)面中重覆使用LUT時,被映射的樣本的座標可被映射在投影面中。舉例來說,當在訊框封裝處理期間基於一個或多個旋轉而在一個或多個(例如全部)面重複使用LUT(例如相同LUT)時,可以將被映射的樣本的座標映射到投影面中。
雖然在這裡可以在將幾何填充應用於360度視訊編碼時使用單一立方體投影來描述有限填充區域,然而對於其他類似於立方體的投影格式(例如ACP及/或EAC),可應用的有限填充區域同樣是存在的,並且這樣做可以藉由在產生實際的立方體貼圖之前修改2D平面上的座標來實現不同的球面取樣網格。在將幾何填充與一種或多種其他投影格式結合使用時,這裡描述的一種或多種幾何填充技術(例如MV剪切、位元流一致性及/或混合填充)都可以是適用的。不同投影格式使用的映射函數可以是不同的。有效填充區域的尺寸可以依照投影格式來調整。舉例來說,在使用ACP作為編碼投影格式時,為了確保等式(14)中的平方根內部不小於零,可以使用-1.28≤β' ≤1.28。舉例來說,ACP面的填充區域的最大尺寸可以是面尺寸的1.28倍。在使用EAC作為編碼投影格式時,填充區域的最大尺寸可以從等式(16)中得到,即-2<β' <2。
可以提供用於具有一致性視埠的參考圖像的幾何填充。編碼圖像尺寸可以是水平及/或垂直方向上的最小CU尺寸的倍數。舉例來說,由於圖像可被分成編碼單元以用於編碼,因此,編碼圖像尺寸可以是水平及/或垂直方向上的最小CU尺寸的倍數。一致性視埠可被使用,及/或在序列參數集合中可以傳訊視埠尺寸,以使填充圖像尺寸是最小CU尺寸的倍數。舉例來說,如果源圖像尺寸不是最小CU尺寸的倍數,那麼可以在序列參數集合中傳訊視埠尺寸,使得填充圖像尺寸是最小CU尺寸的倍數。參數W及H可以表明源圖像的寬度及高度。參數mCU_width及mCU_height可以表明最小CU的寬度及高度。參數dW及dH可以表明一致視埠在水平及垂直方向上的填充尺寸。Ceil(x)可以是不小於變數x的最小整數值的頂函數。 dW = Ceil(W/mCU_width) * mCU_width – W dH = Ceil(H/mCU_height) * mCU_height – H
第20(a) 圖、第20(b) 圖及20(c)圖顯示的是在源圖像尺寸在水平及/或垂直方向上不是最小CU尺寸的倍數時的填充的三個範例。第20(a)圖示出了在源圖像尺寸不是最小CU尺寸的倍數時在水平方向上的範例填充。第20(b)圖示出了在源圖像尺寸不是最小CU尺寸的倍數時在垂直方向上的範例填充。第20(c)圖示出了在源圖像尺寸不是最小CU尺寸的倍數時在水平方向及垂直方向上的範例填充。在對參考圖像的面執行幾何填充時,該填充可以始於面邊界,並且可以向外移動,這其中並未包括能使填充面連續的一致性視埠。舉例來說,由於一致視埠中的填充可以由編碼器來表明,因此在為參考圖像的面執行幾何填充時,該填充可以始於面邊界、並且可以向外移動。例如,參考圖像的面有可能不包含使填充面連續的一致性視埠。例如,參考圖像的面有可能會包含使填充面連續的一致性視埠。在執行幾何填充處理時,該一致性視埠可以保持不變,及/或在執行幾何填充時,填充可以始於該一致視埠。
可以執行帶有幾何填充的去塊。應用去塊過濾器可以移除塊效應(blocking artifact)。舉例來說,可以應用去塊過濾器以移除一個或多個(例如兩個)相鄰預測單元之間的邊界及/或一個或多個(例如兩個)轉換單元之間的邊界上的編碼過程所引入的塊效應。對於邊界,相鄰塊中的一個或多個樣本可用於過濾目前塊中的這些樣本。例如,在第21圖中,塊“p”可以是目前塊“q”的相鄰塊。一個或多個參考樣本(p0 、p1 、p2 及/或p3 )可以用於過濾一個或多個參考樣本(q0 、q1 、q2 及/或q3 )。如果該邊界是面邊界,那麼塊“p”及/或塊“q”可以在一個或多個(例如兩個)不同的面中。如果該邊界是面邊界,那麼在參考樣本{p0 、p1 、p2 、p3 }與參考樣本{q0 、q1 、q2 、q3 }之間有可能存在不連續性。舉例來說,如果該邊界是面邊界,那麼在樣本{p0 、p1 、p2 、p3 }與參考樣本{q0 、q1 、q2 、q3 }之間有可能會因為幾何翹曲而存在不連續性。在面邊界上應用去塊過濾器不會消除塊效應。在面邊界上應用去塊過濾器可能會降低主觀視覺品質。面邊界可被視為圖像邊界。舉例來說,面邊界可被視為圖像邊界,使得不會再該面邊界上執行去塊過濾。所導出的相鄰樣本值可以依照用於作為去塊過濾器的輸入使用的相鄰樣本的幾何填充技術來使用的,而不是直接在別的面中使用這些相鄰樣本。舉例來說,在過濾樣本q0 、q1 、q2 及/或q3 時,所導出的參考樣本p0 、p1 、p2 及/或p3 可以根據需要藉由使用幾何填充技術而導出。面邊界可以依照訊框封裝資訊來確定。
帶有幾何填充的樣本適應性偏移(SAO)可以被提供。SAO可用於移除高頻編碼假影。例如,SAO可用於去除HEVC中的高頻編碼假影。SAO可以包括頻帶偏移及/或邊緣偏移。SAO參數可以被傳訊以用於編碼樹單元(CTU)。例如,CTU可以具有64x64的塊尺寸。對於邊緣偏移,SAO處理可以確定像素是否在沿著指定方向的邊緣邊界上。第22圖示出了可以藉由邊緣偏移SAO來處理像素的範例。S(x)可以是方位x處的樣本值。P可以是目前樣本位置,n0 可以是其左側/頂部相鄰方位,並且n1 可以是其右側/底部相鄰方位。在第22圖所示的四個範例中,目前樣本可以位於邊緣邊界。邊緣邊界可以由邊緣偏移SAO來處理。該邊緣偏移SAO處理可以參考其相鄰樣本值。如果目前樣本位於面邊界,那麼目前樣本的相鄰樣本有可能位於不同面。一個範例可以使用所導出的樣本。舉例來說,所導出的樣本可以取代一個或多個相鄰樣本。如果目前樣本在面邊界,那麼一個或多個相鄰樣本可被取代。面邊界可以被視為圖像邊界,並且這些面邊界樣本上的SAO過濾是可以跳過的。
可以基於CTU的位置確定是否傳訊SAO參數。舉個例子,對於360度視訊編碼,如果CTU(例如整個CTU)在空面(在第19(a)圖中用“V”標記)內,那麼由於可以將樣本用於訊框封裝並且不會將其再現給使用者,因此不會傳訊SAO參數。
不同的投影幾何可以具有不同的特徵。例如,ERP及/或等面積投影可以具有一個面,並且,即使在拉伸圖像時,對於面邊界問題的關注度也相對較低。在訊框封裝圖像中,立方體貼圖可以具有六個面以及眾多的面邊界。如此一來,一圖像可以用不同的投影幾何來編碼。投影幾何索引(例如,如表1所列舉的那樣)可以被傳訊以用於切片(例如每一個切片)。表1提供了範例的投影幾何索引。 表1:投影幾何索引
Figure 106122881-A0304-0001
投影格式可以在切片級被傳訊。投影格式傳訊可以在圖像級執行。舉例來說,投影格式傳訊可以在圖像級經由投影幾何的索引來執行。在序列級,在整個序列中使用的投影格式總數及/或該格式本身可以被傳訊。表2提供了序列級的範例投影格式傳訊。 表2.序列級的投影格式傳訊
Figure 106122881-A0304-0002
參數num_projection_format可以指定序列中使用的投影格式的總數。參數project_geometry_idx[i]可以指定由第i個索引(例如在圖像/切片級所傳訊)所表明的映射索引(例如,如表1所示)。舉例來說,如果在序列中使用了等距矩形及等面積投影,並且如果在位元流中分別使用了索引“0”及“1”來表示等面積及等距矩形,那麼可以採用如下方式來客製project_geometry_idx並且可以依照表2來傳訊該project_geometry_idx。 project_geometry_idx[0]=2 project_geometry_idx[1]=0
用於圖像的投影格式可以使用速率失真最佳化來確定。編碼器可以用一個或多個可用投影格式來編碼目前圖像。舉例來說,編碼器可以用一個或多個可用投影格式來編碼目前圖像。編碼器可以測量投影格式的速率-失真成本。具有最小速率-失真成本的投影格式可被選擇。該失真可以在原始格式域中被測量。舉例來說,O可以代表原始投影格式,X可以代表所要測量的投影格式,I可以代表原始圖像,並且I'可以代表重建圖像。原始圖像I可從原始投影格式O被轉換為編碼投影格式X。圖像可以被編碼及重建。投影(I, F)可以代表用於將圖像I轉換為格式F的投影函數。I與從I’轉換的圖像之間的失真可以用如下方式來確定。||t||可以是變數t的平方誤差(SSE)的總和。 失真=||I–Projection(I’, O)||
解碼圖像緩衝器(DPB)管理可以採用如下方式來執行。可以使用即時轉換模式。重建圖像可被儲存在DPB中。如果參考圖像及目前圖像具有不同的投影格式,那麼可以將參考圖像轉換為目前圖像的格式。第23(a)圖及第23(b)圖示出了如何執行DPB管理的範例。陰影塊及空白塊可以分別表明兩種投影格式。虛線塊可以表明虛擬圖像,並且實體塊可以表明實際圖像。參考圖像R0可以採用一種投影格式。參考圖像R1及R2可以採用其他投影格式(例如與R0的投影格式不同的投影格式)。目前圖像P與圖像R1及R2可以具有相同的投影格式。帶有虛線邊框的塊圖像(例如來自第23(a)圖所示的參考圖像列表的R1及R2)可以代表虛擬圖像。帶有實心框的塊(例如來自第23(a)圖所示的參考圖像列表的R0)可以代表儲存在緩衝器中的實際圖像。如第23(a)圖所示,參考圖像R0可以在解碼前被轉換為圖像P的投影格式。經過轉換的版本可以置於參考圖像列表中。參考圖像R1及R2可被置於參考圖像緩衝器中。例如,參考圖像R1及R2可被直接置於參考圖像緩衝器中,因為其與圖像P具有相同的投影格式。
參考圖像可被轉換為不同的投影格式,而該參考圖像被儲存在DPB中。如第23(b)圖所示,可以基於目前圖像P的投影格式從DPB中選擇參考圖像。參考圖像可以用於構建參考圖像列表。
一個或多個(例如全部)訊框內切片以及一個或多個(例如全部)訊框間切片可以使用相同的投影幾何編碼。一個或多個(例如全部)訊框內切片可以使用一種投影幾何編碼,而一個或多個(例如全部)訊框間切片可以使用其他的投影幾何(例如與訊框內切片使用的投影幾何編碼不同)。重建的訊框內圖像可被轉換為訊框間切片使用的投影幾何。舉例來說,在解碼圖像緩衝器中的重建的訊框內圖像可被轉換為訊框間切片使用的投影幾何,使得可以直接應用運動補償。例如,訊框內切片可以使用ERP以用於編碼,而訊框間切片則可以使用立方體貼圖投影來執行編碼。這兩種投影的解析度有可能是不同的。例如,訊框內切片可以具有比訊框間切片大的解析度。如果解析度不同,那麼可以將重建的訊框內圖像(例如儲存在解碼圖像緩衝器中的圖像)轉換為訊框間切片使用的幾何投影。重建的訊框內圖像可被重新取樣為與訊框間切片相同的解析度。
第33A圖是可在其內實施及/或使用一個或多個所揭露的實施例的範例通信系統100的圖示。該通信系統100可以是為多個無線使用者提供語音、資料、視訊、訊息傳遞、廣播等內容的多重存取系統。該通信系統100經由共用包括無線頻寬的系統資源來允許多個無線使用者存取此類內容。例如,通信系統100可以使用一種或多種通道存取方法,例如分碼多重存取(CDMA)、分時多重存取(TDMA)、分頻多重存取(FDMA)、正交FDMA(OFDMA)、單載波FDMA(SC-FDMA)等等。
如第33A圖所示,通信系統100可以包括無線傳輸/接收單元(WTRU)102a、102b、102c及/或102d(其通常可被統稱為WTRU 102)、無線電存取網路(RAN)103/104/105、核心網路106/107/109、公共交換電話網路(PSTN)108、網際網路110以及其他網路112,但是應該瞭解,所揭露的實施例設想了任何數量的WTRU、基地台、網路及/或網路元件。每一個WTRU 102a、102b、102c及/或102d可以是被配置為在無線環境中操作及/或通信的任何類型的裝置。例如,WTRU 102a、102b、102c及/或102d可以被配置為傳輸及/或接收無線信號、並且可以包括使用者設備(UE)、行動站、固定或行動用戶單元、呼叫器、行動電話、個人數位助理(PDA)、智慧型電話、膝上型電腦、小筆電、個人電腦、無線感測器以及消費類電子裝置等等。
通信系統100還可以包括基地台114a及基地台114b。每一個基地台114a、114b可以是被配置為與WTRU 102a、102b、102c及/或102d中的至少一個WTRU無線介接以促使存取一個或多個通信網路的任何類型的裝置,該網路則可以是核心網路106/107/109、網際網路110及/或網路112。例如,基地台114a、114b可以是基地收發站(BTS)、節點B、e節點B、本地節點B、本地e節點B、網站控制器、存取點(AP)、無線路由器等等。雖然每一個基地台114a、114b都被描述為是單一元件,但是應該瞭解,基地台114a、114b可以包括任何數量的互連基地台及/或網路元件。
基地台114a可以是RAN 103/104/105的一部分,並且該RAN還可以包括其他基地台及/或網路元件(未顯示),例如基地台控制器(BSC)、無線電網路控制器(RNC)、中繼節點等等。基地台114a及/或基地台114b可以被配置為在稱為胞元(未顯示)的特定地理區域內部傳輸及/或接收無線信號。胞元可被進一步分割成胞元扇區。例如,與基地台114a關聯的胞元可分為三個扇區。由此,在一個實施例中,基地台114a可以包括三個收發器,也就是說,每一個收發器對應於胞元的一個扇區。在另一個實施例中,基地台114a可以使用多輸入多輸出(MIMO)技術,因此可以為胞元的每個扇區使用多個收發器。
基地台114a及/或114b可以經由空中介面115/116/117以與一個或多個WTRU 102a、102b、102c及/或102d進行通信,該空中介面可以是任何適當的無線通訊鏈路(例如射頻(RF)、微波、紅外線(IR)、紫外線(UV)、可見光等等)。該空中介面115/116/117可以用任何適當的無線電存取技術(RAT)來建立。
更具體地說,如上所述,通信系統100可以是多重存取系統、並且可以使用一種或多種通道存取方案,例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。舉例來說,RAN103/104/105中的基地台114a與WTRU 102a、102b及/或102c可以實施例如通用行動電信系統(UMTS)陸地無線電存取(UTRA)之類的無線電技術,並且該技術可以使用寬頻CDMA(WCDMA)來建立空中介面115/116/117。WCDMA可以包括例如高速封包存取(HSPA)及/或演進型HSPA(HSPA+)之類的通信協定。HSPA則可以包括高速下鏈封包存取(HSDPA)及/或高速上鏈封包存取(HSUPA)。
在另一個實施方式中,基地台114a與WTRU 102a、102b及/或102c可以實施演進型UMTS陸地無線電存取(E-UTRA)之類的無線電技術,該技術可以使用長期演進(LTE)及/或先進LTE(LTE-A)來建立空中介面115/116/117。
在另一個實施方式中,基地台114a與WTRU 102a、102b及/或102c可以實施IEEE 802.16(全球互通微波存取(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、臨時標準2000(IS-2000)、臨時標準95(IS-95)、臨時標準856(IS-856)、全球行動通信系統(GSM)、用於GSM增強資料速率演進(EDGE)、GSM EDGE(GERAN)等無線電存取技術。
例如,第33A圖中的基地台114b可以是無線路由器、本地節點B、本地e節點B或存取點,並且可以使用任何適當的RAT來促成例如營業場所、住宅、交通工具、校園等等的局部區域中的無線連接。在一個實施例中,基地台114b與WTRU 102c、102d可以實施例如IEEE 802.11之類的無線電技術來建立無線區域網路(WLAN)。在另一個實施例中,基地台114b與WTRU 102c、102d可以實施例如IEEE 802.15之類的無線電技術來建立無線個人區域網路(WPAN)。在再一個實施例中,基地台114b及WTRU 102c、102d可以使用基於蜂巢的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A等等)來建立微微胞元或毫微微胞元。如第33A圖所示,基地台114b可以直接連接到網際網路110。由此,基地台114b未必需要經由核心網路106/107/109來存取網際網路110。
RAN 103/104/105可以與核心網路106/107/109通信,該核心網路可以是被配置為向一個或多個WTRU 102a、102b、102c及/或102d提供語音、資料、應用及/或網際網路協定語音(VoIP)服務的任何類型的網路。例如,核心網路106/107/109可以提供呼叫控制、記帳服務、基於移動位置的服務、預付費呼叫、網際網路連接性、視訊分配等等、及/或執行使用者驗證之類的高階安全功能。雖然在第33A圖中沒有顯示,但是應該瞭解,RAN103/104/105及/或核心網路106/107/109可以直接或間接地及其他那些與RAN103/104/105使用相同RAT或不同RAT的RAN進行通信。例如,除了與使用E-UTRA無線電技術的RAN103/104/105連接之外,核心網路106/107/109還可以與使用GSM無線電技術的其他RAN(未顯示)通信。
核心網路106/107/109還可以充當供WTRU 102a、102b、102c及/或102d存取PSTN 108、網際網路110及/或其他網路112的閘道。PSTN 108可以包括提供簡易老式電話服務(POTS)的電路交換電話網路。網際網路110可以包括使用公共通信協定的全球互連電腦網路裝置系統,該協定可以是TCP/IP網際網路協定族中的傳輸控制協定(TCP)、使用者資料報協定(UDP)及網際網路協定(IP)。網路112可以包括由其他服務供應者擁有及/或操作的有線或無線通訊網路。例如,網路112可以包括與一個或多個RAN相連的另一個核心網路,該一個或多個RAN可以與RAN 103/104/105使用相同RAT或不同RAT。
通信系統100中一些或所有WTRU 102a、102b、102c及/或102d可以包括多模能力,換言之,WTRU 102a、102b、102c及/或102d可以包括在不同無線鏈路上與不同無線網路通信的多個收發器。例如,第33A圖所示的WTRU 102c可以被配置為與使用基於蜂巢的無線電技術的基地台114a通信、以及與可以使用IEEE 802無線電技術的基地台114b通信。
第33B圖是範例WTRU 102的系統圖。如第33B圖所示,WTRU 102可以包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、小鍵盤126、顯示器/觸控板128、非可移記憶體130、可移記憶體132、電源134、全球定位系統(GPS)晶片組136以及其他週邊設備138。應該瞭解的是,WTRU 102還可以包括前述元件的任何子組合。這裡的實施例還設想基地台114a及114b及/或基地台114a及114b所代表的節點可以包括在第33B圖中描繪以及在這裡描述的一些或所有元件,特別地,基地台114a及114b所代表的節點可以是收發器站(BTS)、節點B、網站控制器、存取點(AP)、本地節點B、演進型本地節點B(e節點B)、本地演進型節點B(HeNB)、本地演進型節點B閘道以及代理節點,但其並不限於此。
處理器118可以是通用處理器、專用處理器、常規處理器、數位訊號處理器(DSP)、多個微處理器、與DSP核心關聯的一或多個微處理器、控制器、微控制器、專用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)電路、其他任何類型的積體電路(IC)、狀態機等等。處理器118可以執行信號編碼、資料處理、功率控制、輸入/輸出處理及/或其他任何能使WTRU 102在無線環境中操作的功能。處理器118可以耦合至收發器120,收發器120可以耦合至傳輸/接收元件122。雖然第33B圖將處理器118及收發器120描述為是獨立元件,但是應該瞭解,處理器118及收發器120可以集成在一個電子元件或晶片中。
傳輸/接收元件122可以被配置為經由空中介面115/116/117以傳輸信號至基地台(例如基地台114a)或從基地台(例如基地台114a)接收信號。舉個例子,在一個實施例中,傳輸/接收元件122可以是被配置為傳輸及/或接收RF信號的天線。在另一個實施例中,例如,傳輸/接收元件122可以是被配置為傳輸及/或接收IR、UV或可見光信號的放射器/偵測器。在再一個實施例中,傳輸/接收元件122可以被配置為傳輸及接收RF及光信號。應該瞭解的是,傳輸/接收元件122可以被配置為傳輸及/或接收無線信號的任何組合。
此外,雖然在第33B圖中將傳輸/接收元件122描述為是單一元件,但是WTRU 102可以包括任何數量的傳輸/接收元件122。更具體地說,WTRU 102可以使用MIMO技術。因此,在一個實施例中,WTRU 102可以包括兩個或多個經由空中介面115/116/117來傳輸及接收無線電信號的傳輸/接收元件122(例如多個天線)。
收發器120可以被配置為對傳輸/接收元件122將要傳輸的信號進行調變、以及對傳輸/接收元件122接收的信號進行解調。如上所述,WTRU 102可以具有多模能力。因此,收發器120可以包括使WTRU 102能經由例如UTRA及IEEE 802.11之類的多種RAT來進行通信的多個收發器。
WTRU 102的處理器118可以耦合至揚聲器/麥克風124、小鍵盤126及/或顯示器/觸控板128(例如液晶顯示器(LCD)顯示單元或有機發光二極體(OLED)顯示單元)、並且可以接收來自這些元件的使用者輸入資料。處理器118還可以向揚聲器/麥克風124、小鍵盤126及/或顯示器/觸控板128輸出使用者資料。此外,處理器118可以從任何適當的記憶體(例如非可移記憶體130及/或可移記憶體132)中存取資訊、以及將資料儲存至這些記憶體。該非可移記憶體106可以包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟或是其他任何類型的記憶儲存裝置。可移記憶體132可以包括用戶身份模組(SIM)卡、記憶條、安全數位(SD)記憶卡等等。在其他實施例中,處理器118可以從那些並非實際位於WTRU 102的記憶體存取資訊、以及將資料儲存至這些記憶體,其中舉例來說,該記憶體可以位於伺服器或家用電腦(未顯示)。
處理器118可以接收來自電源134的電力、並且可以被配置分發及/或控制用於WTRU 102中的其他元件的電力。電源134可以是為WTRU 102供電的任何適當的裝置。舉例來說,電源134可以包括一個或多個乾電池組(如鎳鎘(Ni-Cd)、鎳鋅(Ni-Zn)、鎳氫(NiMH)、鋰離子(Li-ion)等等)、太陽能電池、燃料電池等等。
處理器118還可以與GPS晶片組136耦合,該晶片組可以被配置為提供與WTRU 102的目前位置相關的位置資訊(例如經度及緯度)。作為來自GPS晶片組136的資訊的補充或替代,WTRU 102可以經由空中介面115/116/117接收來自基地台(例如基地台114a、114b)的位置資訊、及/或根據從兩個或多個附近基地台接收的信號時序來確定其位置。應該瞭解的是,WTRU 102可以用任何適當的定位方法來獲取位置資訊。
處理器118還可以耦合到其他週邊設備138,這其中可以包括提供附加特徵、功能及/或有線或無線連接的一個或多個軟體及/或硬體模組。例如,週邊設備138可以包括加速度計、電子指南針、衛星收發器、數位相機(用於照片或視訊)、通用序列匯流排(USB)埠、振動裝置、電視收發器、免持耳機、藍牙®模組、調頻(FM)無線電單元、數位音樂播放器、媒體播放器、視訊遊戲機模組、網際網路瀏覽器等等。
第33C圖是根據一個實施例的RAN 103及核心網路106的系統圖。如上所述,RAN 103可以使用E-UTRA無線電技術以經由空中介面115而與WTRU 102a、102b及/或102c進行通信。並且RAN 103還可以與核心網路106通信。如第33C圖所示,RAN 103可以包括節點B 140a、140b及/或140c,其中每一個節點B都可以包括經由空中介面115以與WTRU 102a、102b及/或102c通信的一個或多個收發器。節點B 140a、140b及/或140c中的每一個都可以關聯於RAN 103內的特定胞元(未顯示)。RAN 103還可以包括RNC 142a、142b。應該瞭解的是,在保持與實施例相一致的同時,RAN 103可以包括任何數量的節點B及RNC。
如第33C圖所示,節點B 140a及/或140b可以與RNC 142a進行通信。此外,節點B 140c可以與RNC 142b進行通信。節點B 140a、140b及/或140c可以經由Iub介面以與各自的RNC 142a、142b進行通信。RNC 142a、142b可以經由Iur介面彼此通信。每一個RNC 142a、142b可以被配置為控制與其相連的各自的節點B 140a、140b及/或140c。另外,每一個RNC 142a、142b都可被配置為執行或支援其他功能,例如外環功率控制、負載控制、許可控制、封包排程、切換控制、巨集分集、安全功能、資料加密等等。
第33C圖所示的核心網路106可以包括媒體閘道(MGW)144、行動交換中心(MSC)146、服務GPRS節點交換中心(SGSN)148、及/或閘道GPRS支援節點(GGSN)150。雖然前述每個元件都被描述為是核心網路106的一部分,但是應該瞭解,核心網路操作者之外的其他實體也可以擁有及/或操作這其中的任一元件。
RAN 103中的RNC 142a可以經由IuCS介面被連接到核心網路106中的MSC 146。MSC 146可以連接到MGW 144。MSC 146及MGW 144可以為WTRU 102a、102b及/或102c提供針對PSTN 108之類的電路切換式網路的存取,以便促成WTRU 102a、102b及/或102c與傳統陸線通信裝置間的通信。
RAN 103中的RNC 142a還可以經由IuPS介面被連接到核心網路106中的SGSN 148。該SGSN 148則可以連接到GGSN 150。SGSN 148及GGSN 150可以為WTRU 102a、102b及/或102c提供針對網際網路110之類的封包交換網路的存取,以便促成WTRU 102a、102b及/或102c與IP賦能裝置之間的通信。
如上所述,核心網路106還可以連接到網路112,該網路可以包括其他服務供應者擁有及/或操作的其他有線或無線網路。
第33D圖是根據一個實施例的RAN 104以及核心網路107的系統圖。如上所述,RAN 104可以使用E-UTRA無線電技術以經由空中介面116而與WTRU 102a、102b及/或102c進行通信。RAN 104還可以與核心網路107通信。
RAN 104可以包括e節點B 160a、160b及/或160c,但是應該瞭解,在保持與實施例相一致的同時,RAN 104可以包括任何數量的e節點B。每一個e節點B 160a、160b及/或160c可以包括一個或多個收發器,以經由空中介面116而與WTRU 102a、102b及/或102c通信。在一個實施例中,e節點B 160a、160b及/或160c可以實施MIMO技術。因此,舉例來說,e節點B 160a可以使用多個天線向WTRU 102a傳輸無線信號、以及接收來自WTRU 102a的無線信號。
每一個e節點B 160a、160b及/或160c可以關聯於特定胞元(未顯示)、並且可以被配置為處理無線電資源管理決策、切換決策、上鏈及/或下鏈中的使用者排程等等。如第33D圖所示,e節點B 160a、160b及/或160c彼此可以在X2介面上進行通信。
第33D圖所示的核心網路107可以包括行動性管理閘道(MME)162、服務閘道164以及封包資料網路(PDN)閘道166。雖然上述每一個元件都被描述為是核心網路107的一部分,但是應該瞭解,核心網路操作者之外的其他實體同樣可以擁有及/或操作這其中的任一元件。
MME 162可以經由S1介面以與RAN 104中的每一個e節點B 160a、160b及/或160c相連、並且可以充當控制節點。例如,MME 162可以負責驗證WTRU 102a、102b及/或102c的使用者、啟動/停用承載、在WTRU 102a、102b及/或102c的初始連結期間選擇特定服務閘道等等。該MME 162還可以提供控制平面功能,以便在RAN 104與使用了GSM或WCDMA之類的其他無線電技術的其他RAN(未顯示)之間執行切換。
服務閘道164可以經由S1介面被連接到RAN 104中的每一個e節點B 160a、160b及/或160c。該服務閘道164通常可以路由及轉發去往/來自WTRU 102a、102b及/或102c的使用者資料封包。服務閘道164還可以執行其他功能,例如在e節點B間的切換期間錨定使用者平面、在下鏈資料可供WTRU 102a、102b及/或102c使用時觸發傳呼、管理及儲存WTRU 102a、102b及/或102c的上下文等等。
服務閘道164還可以連接到PDN閘道166,該PDN閘道可以為WTRU 102a、102b及/或102c提供針對例如網際網路110之類的封包交換網路的存取,以便促成WTRU 102a、102b及/或102c與IP賦能裝置之間的通信。
核心網路107可以促成與其他網路的通信。例如,核心網路107可以為WTRU 102a、102b及/或102c提供針對PSTN 108之類的電路切換式網路的存取,以便促成WTRU 102a、102b及/或102c與傳統陸線通信裝置之間的通信。例如,核心網路107可以包括IP閘道(例如IP多媒體子系統(IMS)伺服器)或與之通信,其中該IP閘道充當了核心網路107與PSTN 108之間的介面。此外,核心網路107還可以為WTRU 102a、102b及/或102c提供針對網路112的存取,其中該網路112可以包括其他服務供應者擁有及/或操作的其他有線或無線網路。
第33E圖是根據一個實施例的RAN 105及核心網路109的系統圖。RAN 105可以是使用IEEE 802.16無線電技術而在空中介面117上與WTRU 102a、102b及/或102c通信的存取服務網路(ASN)。如以下進一步論述的那樣,WTRU 102a、102b及/或102c,RAN 105以及核心網路109的不同功能實體之間的通信鏈路可被定義為參考點。
如第33E圖所示,RAN 105可以包括基地台180a、180b及/或180c以及ASN閘道182,但是應該瞭解,RAN 105可以包括任何數量的基地台及ASN閘道。每一個基地台180a、180b及/或180c都可以關聯於RAN 105中的特定胞元(未顯示),並且每個基地台都可以包括一個或多個收發器,以經由空中介面117而與WTRU 102a、102b及/或102c進行通信。在一個實施例中,基地台180a、180b及/或180c可以實施MIMO技術。由此,舉例來說,基地台180a可以使用多個天線以向WTRU 102a傳輸無線信號、以及接收來自WTRU 102a的無線信號。基地台180a、180b及/或180c還可以提供行動性管理功能,例如切換觸發、隧道建立、無線電資源管理、訊務量分類、服務品質(QoS)策略實施等等。ASN閘道182可以充當訊務聚合點、並且可以負責實施傳呼、用戶設定檔快取、針對核心網路109的路由等等。
WTRU 102a、102b及/或102c與RAN 105之間的空中介面117可被定義為是實施IEEE 802.16規範的R1參考點。另外,每一個WTRU 102a、102b及/或102c都可以與核心網路109建立邏輯介面(未顯示)。WTRU 102a、102b及/或102c與核心網路109之間的邏輯介面可被定義為R2參考點,該R2參考點可以用於驗證、許可、IP主機配置管理及/或行動性管理。
每一個基地台180a、180b及/或180c之間的通信鏈路可被定義為R8參考點,該R8參考點包含了用於促成WTRU切換以及基地台之間的資料傳送的協定。基地台180a、180b及/或180c與ASN閘道182之間的通信鏈路可被定義為R6參考點。該R6參考點可以包括用於促成基於與每一個WTRU 102a、102b及/或102c相關聯的行動性事件的行動性管理的協定。
如第33E圖所示,RAN 105可以連接到核心網路109。RAN 105與核心網路109之間的通信鏈路可以被定義為R3參考點,例如,該R3參考點包含了用於促成資料傳送及行動性管理能力的協定。核心網路109可以包括行動IP本地代理(MIP-HA)184、驗證授權記帳(AAA)伺服器186以及閘道188。雖然前述每個元件都被描述為是核心網路109的一部分,但是應該瞭解,核心網路操作者以外的實體也可以擁有及/或操作這其中的任一元件。
MIP-HA可以負責實施IP位址管理、並且可以允許WTRU 102a、102b及/或102c在不同的ASN及/或不同的核心網路之間漫遊。MIP-HA 184可以為WTRU 102a、102b及/或102c提供針對網際網路110之類的封包交換網路的存取,以便促成WTRU 102a、102b及/或102c與IP賦能裝置之間的通信。AAA伺服器186可以負責實施使用者驗證以及支援使用者服務。閘道188可以促成與其他網路的互通。例如,閘道188可以為WTRU 102a、102b及/或102c提供對於PSTN 108之類的電路切換式網路的存取,以便促成WTRU 102a、102b及/或102c與傳統陸線通信裝置之間的通信。另外,閘道188還可以為WTRU 102a、102b及/或102c提供針對網路112的存取,其中該網路可以包括其他服務供應者擁有及/或操作的其他有線或無線網路。
雖然在第33E圖中沒有顯示,但是應該瞭解,RAN 105可以連接到其他ASN,並且核心網路109可以連接到其他核心網路。RAN 105與其他ASN之間的通信鏈路可被定義為R4參考點,該R4參考點可以包括用於協調WTRU 102a、102b及/或102c在RAN 105與其他ASN之間的移動的協定。核心網路109與其他核心網路之間的通信鏈路可以被定義為R5參考點,該R5參考點可以包括用於促成本地核心網路與被訪核心網路之間互通的協定。
雖然在上文中描述了採用特定組合的特徵及要素,但是本領域中具有通常知識者將會認識到,每一個特徵或要素既可以單獨使用,也可以與其他特徵及要素進行任何組合。此外,這裡描述的方法可以在引入電腦可讀媒體中以供電腦或處理器運行的電腦程式、軟體或韌體中實施。關於電腦可讀媒體的範例包括電信號(經由有線或無線連接傳送)以及電腦可讀儲存媒體。關於電腦可讀儲存媒體的範例包括但不限於唯讀記憶體(ROM)、隨機存取記憶體(RAM)、暫存器、快取記憶體、半導體儲存裝置、磁性媒體(例如內部硬碟及可移磁片)、磁光媒體、以及光學媒體(例如CD-ROM光碟及數位多功能光碟(DVD))。與軟體關聯的處理器可以用於實施用於WTRU、UE、終端、基地台、RNC或任何電腦主機的射頻收發器。
06、06'、08、08'、10、10'、12、12'‧‧‧底部邊界20、20'、22、22'、26、26'、28、28'‧‧‧頂部邊界100‧‧‧通信系統102、102a、102b、102c、102d‧‧‧無線傳輸/接收單元(WTRU)103/104/105‧‧‧無線電存取網路(RAN)106/107/109‧‧‧核心網路108‧‧‧公共交換電話網路(PSTN)110‧‧‧網際網路112‧‧‧其他網路114a、114b、180a、180b、180c‧‧‧基地台115/116/117‧‧‧空中介面118‧‧‧處理器120‧‧‧收發器122‧‧‧傳輸/接收元件124‧‧‧揚聲器/麥克風126‧‧‧小鍵盤128‧‧‧顯示器/觸控板130‧‧‧非可移記憶體132‧‧‧可移記憶體134‧‧‧電源136‧‧‧全球定位系統(GPS)晶片組138‧‧‧週邊設備140a、140b、140c‧‧‧節點B142a、142b‧‧‧無線電網路控制器(RNC)144‧‧‧媒體閘道(MGW)146‧‧‧行動交換中心(MSC)148‧‧‧服務GPRS節點交換中心(SGSN)150‧‧‧閘道GPRS支援節點(GGSN)160a、160b、160c‧‧‧e節點B162‧‧‧行動性管理閘道(MME)164‧‧‧服務閘道166‧‧‧封包資料網路(PDN)閘道182‧‧‧存取服務網路(ASN)閘道184‧‧‧行動IP本地代理(MIP-HA)186‧‧‧驗證授權記帳(AAA)伺服器188‧‧‧閘道201、203‧‧‧灰色部分202‧‧‧視訊位元流208‧‧‧熵解碼單元210‧‧‧逆量化單元212‧‧‧逆轉換單元260‧‧‧空間預測單元262‧‧‧時間預測單元264、664‧‧‧參考圖像儲存器266‧‧‧迴路濾波器600‧‧‧混合視訊編碼系統602‧‧‧輸入視訊訊號604‧‧‧轉換模組606‧‧‧量化模組608‧‧‧熵編碼單元660‧‧‧空間預測662‧‧‧時間預測3201‧‧‧空白塊3203‧‧‧圖案化的塊1602‧‧‧黑色實心圓A、A'‧‧‧參考塊MV、MV'‧‧‧運動向量FOV‧‧‧視場
關於這裡揭露的實施例的更詳細的理解可以從結合附圖舉例給出的後續描述中得到。 第1(a)圖示出了在等距矩形投影(ERP)中的經度方向及緯度方向上的範例球面取樣。 第1(b)圖示出了ERP中的範例2D平面。 第1(c)圖示出了使用ERP產生的範例圖像。 第2(a)圖示出了立方體貼圖投影(CMP)中的範例3D幾何結構。 第2(b)圖示出了具有4×3訊框封裝以及六個面的範例2D平面。 第2(c)圖示出了使用立方體貼圖投影產生的範例圖像。 第3(a)圖示出了等面積預測(EAP)中的範例球面取樣。 第3(b)圖示出了EAP中的範例2D平面。 第3(c)圖示出了使用EAP產生的範例圖像。 第4(a)圖示出了八面體投影中的範例3D幾何結構。 第4(b)圖示出了八面體投影中的範例2D平面訊框封裝。 第4(c)圖示出了使用八面體投影產生的範例圖像。 第5圖示出了範例360度視訊處理。 第6圖示出了範例基於塊的編碼器的方塊圖。 第7圖示出了範例基於塊的解碼器的方塊圖。 第8圖示出了在HEVC訊框內預測中使用參考樣本的範例。 第9圖示出了HEVC中的訊框內預測方向的範例指示。 第10圖示出具有一個運動向量的範例訊框間預測 第11圖示出了用於HEVC/H.264中的圖像邊界之外的參考樣本的填充。 第12圖示出了如何在HEVC合併處理中使用空間鄰居以導出空間合併候選。 第13圖示出了用於使用立方體貼圖所投影的面圖像的不連續性及幾何填充。 第14(a)圖示出了用於立方體貼圖的填充的範例3D表示。 第14(b)圖示出了在用於立方體貼圖的填充的前面周圍具有未折疊的面的範例平面表示。 第15(a)圖示出了使用最近鄰居技術的角落區域中的缺失樣本內插範例。 第15(b)圖示出了使用斜對面邊界技術的角落區域中的缺失樣本內插範例。 第16圖示出了立方體貼圖4×3訊框封裝圖像的範例運動補償預測。 第17(a)圖是用於表明球面上的連續性的用於以等距矩形投影所投影的圖像的範例填充的例圖。 第17(b)圖是用於以等距矩形投影所投影的圖像的範例填充的另一個例圖。 第18圖示出了如何使用查找表來導出正弦函數。 第19(a)圖示出用於運動估計的填充面緩衝器。 第19(b)圖示出了填充面緩衝器中的運動估計。 第20(a)圖示出了當源圖像尺寸不是最小編碼單位(CU)尺寸的倍數時的水平方向上的填充。 第20(b)圖示出了當源圖像尺寸不是最小CU尺寸的倍數時的垂直方向上的填充。 第20(c)圖示出了當源圖像尺寸不是最小CU尺寸的倍數時的水平方向及垂直方向上的填充。 第21圖示出在對目前塊執行去塊時使用的相鄰塊。 第22圖示出了可以藉由邊緣偏移樣本適應性偏移(SAO)所過濾的像素。 第23(a)圖顯示了正被執行的範例解碼圖像緩衝器(DPB)管理的例圖。 第23(b)圖顯示了正被執行的範例DPB管理的另一個例圖。 第24(a)圖顯示了用於立方體貼圖的立方體面的均勻取樣的例圖。 第24(b)圖顯示了用於立方體貼圖的非均勻球面取樣的例圖。 第24(c)圖顯示了用於單一立方體的立方體面的非均勻取樣的例圖。 第24(d)圖顯示了用於單一立方體的均勻球面取樣的例圖。 第25(a)圖示出了從立方體面的非均勻分割網格到單一立方體面的均勻分割網格的範例映射。 第25(b)圖示出了從單一立方體面的均勻分割網格到立方體面的非均勻分割網格的範例映射。 第26(a)圖示出了立方體面上的範例非均勻分區。 第26(b)圖示出了球面上的範例的均勻分區。 第26(c)圖示出了立方體面β的座標與單一立方體面β'的座標之間的範例映射。 第27圖顯示用於一個單一立方體面的填充樣本的有效區域的例圖。 第28圖顯示針對單一立方體格式的填充樣本的有效區域的剪切MV的例圖。 第29圖顯示用於單一立方體投影的混合填充的例圖。 第30圖示出用於單一立方體投影的混合填充的範例圖像。 第31圖示出關於立方體貼圖、單一立方體、ACP及EAC的映射函數的範例比較。 第32圖顯示了將用於六個面的查找用於單一立方體的幾何填充的例圖。 第33A圖是可以實施所揭露的一個或多個實施例的範例通信系統的圖示。 第33B圖是可以在第33A圖所示的通信系統內使用的範例無線傳輸/接收單元(WTRU)的系統圖。 第33C圖是可以在第33A圖所示的通信系統內使用的範例無線電存取網路及範例核心網路的系統圖。 第33D圖是可以在第33A圖所示的通信系統內使用的另一個範例無線電存取網路及另一個範例核心網路的系統圖。 第33E圖是可以在第33A圖所示的通信系統內使用的另一個範例無線電存取網路及另一個範例核心網路的系統圖。
A、A'‧‧‧參考塊
MV、MV'‧‧‧運動向量

Claims (20)

  1. 一種解碼一360度視訊內容的方法,該方法包括:識別與一第一投影幾何相關聯的一訊框封裝圖像中的一目前樣本位置,該目前樣本位置和該360度視訊內容的一目前樣本相關聯,其中該目前樣本是有待使用一參考樣本而被預測;確定和用以預測該目前樣本的該參考樣本相關聯的一參考樣本位置位於該訊框封裝圖像的一內容邊界之外;基於與用以預測該目前樣本之該參考樣本相關聯的該參考樣本位置位於該訊框封裝圖像的該內容邊界之外的一確定,依據該360度視訊內容的至少一圓形特徵以及該第一投影幾何來導出用來預測該目前樣本的一填充樣本位置,該填充樣本位置是關聯於一填充樣本;以及基於該填充樣本來預測和該360度視訊內容相關聯的該目前樣本。
  2. 如申請專利範圍第1項所述的方法,其中確定該參考樣本位置位於該訊框封裝圖像的該內容邊界之外包含:在該目前樣本是被訊框內預測的一情況,基於關聯於該目前樣本的一訊框內預測模式來識別該參考樣本位置。
  3. 如申請專利範圍第1項所述的方法,其中確定該參考樣本位置位於該訊框封裝圖像的該內容邊界之外包含:在該目前樣本是被訊框間預測的一情況,透過應用關聯於該目前樣本的一運動向量到該目前樣本來識別該參考樣本位置。
  4. 如申請專利範圍第1項所述的方法,其中該內容邊界包括一訊框封 裝圖像邊界或一面邊界的至少其中之一。
  5. 如申請專利範圍第1項所述的方法,其中該第一投影幾何包括一等距矩形投影、一等面積投影、一立方體貼圖投影、一八面體投影、或一柱形投影中的至少一個。
  6. 如申請專利範圍第1項所述的方法,其中該訊框封裝圖像包括與該第一投影幾何相關聯的多個面,其中該內容邊界定義了面之間的一邊界,且導出該填充樣本位置包括:識別包含該目前樣本位置的一第一面;計算與該第一面相關聯的該參考樣本位置的一3D方位;基於該參考樣本位置的該3D方位來識別包含該填充樣本位置的一第二面;以及應用帶有該參考樣本位置的該3D方位的一幾何投影,以導出該第二面中的該參考樣本位置的一2D平面方位,作為該填充樣本位置。
  7. 如申請專利範圍第6項所述的方法,其中導出該填充樣本位置還包括:將該第一投影幾何中的一座標轉換為與一第二投影幾何相關聯的一中間座標,其中該參考樣本位置的該3D方位是在該中間座標中被計算,且該第二面中的該參考樣本位置的該2D平面方位是在該中間座標中被識別;以及將與該第二投影幾何相關聯的該參考樣本位置的該所導出的2D平面方位轉換回與該第一投影幾何相關聯的該座標。
  8. 如申請專利範圍第1項所述的方法,其中:在該目前樣本位置位於該訊框封裝圖像的一最右內容邊界附 近、以及該所確定的參考樣本位置位於該訊框封裝圖像之外並超出該右內容邊界時,該填充樣本位置位於與該訊框封裝圖像的該最右內容邊界環形連接的該訊框封裝圖像的一最左內容邊界附近;在該目前樣本位置位於該訊框封裝圖像的該最左內容邊界附近、以及該所確定的參考樣本位置位於該訊框封裝圖像外且超出該左內容邊界時,該填充樣本位置位於與該訊框封裝圖像的該最左內容邊界環形連接的該訊框封裝圖像的該最右內容邊界附近;在該目前樣本位置位於該訊框封裝圖像的一最頂部內容邊界的一第一區域附近、以及該所確定的參考樣本位置位於該訊框封裝圖像之外並且超出該最頂部內容邊界的該第一區域時,該填充樣本位置位於該最頂部內容邊界的一第二區域附近,其中該第二區域位於該最頂部內容邊界的該第一區域的一環形對端;以及在該目前樣本位置位於該訊框封裝圖像的一最底部內容邊界的一第一區域附近、以及該所確定的參考樣本位置位於該訊框封裝圖像之外並且超出該最底部內容邊界的該第一區域時,該填充樣本位置位於該最底部內容邊界的一第二區域附近,其中該第二區域位於該最底部內容邊界的該第一區域的一環形對端。
  9. 一種解碼一360度視訊內容的裝置,該裝置包括:一處理器,配置以:識別與一第一投影幾何相關聯的一訊框封裝圖像中的一目前樣本位置,該目前樣本位置和該360度視訊內容的一目前樣本相關聯,其中該目前樣本是有待使用一參考樣本而被預測;確定和用以預測該目前樣本之該參考樣本相關聯的一參考樣本 位置位於該訊框封裝圖像的一內容邊界之外;基於用以預測該目前樣本之該參考樣本所相關聯的該參考樣本位置位於該訊框封裝圖像的該內容邊界之外的該確定,依據該360度視訊內容的至少一圓形特徵以及該第一投影幾何來導出用來預測該目前樣本的一填充樣本位置,該填充樣本位置是關聯於一填充樣本;以及基於該填充樣本來預測和該360度視訊內容相關聯的該目前樣本。
  10. 如申請專利範圍第9項所述的裝置,其中該處理器配置以確定該參考樣本位置位於該訊框封裝圖像的該內容邊界之外包括:在該目前樣本是被訊框內預測的一情況,基於關聯於該目前樣本的一訊框內預測模式來識別該參考樣本位置。
  11. 如申請專利範圍第9項所述的裝置,其中該處理器配置以確定該參考樣本位置位於該訊框封裝圖像的該內容邊界之外包含:在該目前樣本是被訊框間預測的一情況,透過應用關聯於該目前樣本的一運動向量到該目前樣本來識別該參考樣本位置。
  12. 如申請專利範圍第9項所述的裝置,其中該內容邊界包括一訊框封裝圖像邊界或一面邊界的至少其中之一,且其中該第一投影幾何包括一等距矩形投影、一等面積投影、一立方體貼圖投影、一八面體投影、或一柱形投影中的至少一個。
  13. 如申請專利範圍第9項所述的裝置,其中該訊框封裝圖像包括與該第一投影幾何相關聯的多個面,且其中該內容邊界定義了面之間的一邊界,且被配置為導出該填充樣本位置的該處理器,包括: 識別包含該目前樣本位置的一第一面;計算與該第一面相關聯的該參考樣本位置的一3D方位;基於該參考樣本位置的該3D方位來識別包含該填充樣本位置的一第二面;以及應用帶有該參考樣本位置的該3D方位的一幾何投影,以導出該第二面中的該參考樣本位置的一2D平面方位,作為該填充樣本位置。
  14. 如申請專利範圍第13項所述的裝置,其中該處理器還配置以導出該填充樣本位置包括:將該第一投影幾何中的一座標轉換為與一第二投影幾何相關聯的一中間座標,其中該參考樣本位置的該3D方位是在該中間座標中被計算,且一第二面中的該參考樣本位置的該2D平面方位是在該中間座標中被識別;以及將與該第二投影幾何相關聯的該參考樣本位置的該所導出的2D平面方位轉換回與該第一投影幾何相關聯的該座標。
  15. 如申請專利範圍第9項所述的裝置,其中:在該目前樣本位置位於該訊框封裝圖像的一最右內容邊界附近、以及該所確定的參考樣本位置位於該訊框封裝圖像之外並超出該右內容邊界時,該填充樣本位置位於與該訊框封裝圖像的該最右內容邊界環形連接的該訊框封裝圖像的一最左內容邊界附近;在該目前樣本位置位於該訊框封裝圖像的該最左內容邊界附近、以及該所確定的參考樣本位置位於該訊框封裝圖像外且超出該左內容邊界時,該填充樣本位置位於與該訊框封裝圖像的該最左內容邊界環形連接的該訊框封裝圖像的該最右內容邊界附近; 在該目前樣本位置位於該訊框封裝圖像的一最頂部內容邊界的一第一區域附近、以及該所確定的參考樣本位置位於該訊框封裝圖像之外並且超出該最頂部內容邊界的該第一區域時,該填充樣本位置位於該最頂部內容邊界的一第二區域附近,其中該第二區域位於該最頂部內容邊界的該第一區域的一環形對端;以及在該目前樣本位置位於該訊框封裝圖像的一最底部內容邊界的一第一區域附近、以及該所確定的參考樣本位置位於該訊框封裝圖像之外並且超出該最底部內容邊界的該第一區域時,該填充樣本位置位於該最底部內容邊界的一第二區域附近,其中該第二區域位於該最底部內容邊界的該第一區域的一環形對端。
  16. 一種編碼一360度視訊內容的方法,該方法包括:獲得一視訊訊號,其包括一訊框封裝圖像;識別與一投影幾何相關聯的該訊框封裝圖像中的該360度視訊內容的一目前樣本;基於該360度視訊內容的至少一圓形特徵以及該投影幾何而識別用來預測該目前樣本的一填充樣本;導出關聯於該填充樣本之一參考樣本位置,該參考樣本位置是位於該訊框封裝圖像的一內容邊界之外;以及在一位元流中包含該參考樣本位置的一參考樣本位置指示,以預測關聯於該360度視訊內容之該目前樣本。
  17. 如申請專利範圍第16項所述的方法,其中,該內容邊界包括一訊框封裝圖像邊界或一面邊界的至少其中之一,且其中該投影幾何包括一等距矩形投影、一等面積投影、一立方體貼圖投影、一八面體投影、 或一柱形投影中的至少其中之一。
  18. 如申請專利範圍第16項所述的方法,包括:在該目前樣本是被訊框間預測的一情況,透過應用關聯於該目前樣本的一運動向量到該目前樣本來識別該參考樣本位置。
  19. 一種編碼一360度視訊內容的裝置,該裝置包括:一處理器,配置以:獲得一視訊訊號,其包括一訊框封裝圖像;識別與一投影幾何相關聯的該訊框封裝圖像中的該360度視訊內容的一目前樣本;基於該360度視訊內容的至少一圓形特徵以及該投影幾何而識別用來預測該目前樣本的一填充樣本;導出關聯於該填充樣本之一參考樣本位置,該參考樣本位置是位於該訊框封裝圖像的一內容邊界之外;以及在一位元流中包含該參考樣本位置的一參考樣本位置指示,以預測關聯於該360度視訊內容之該目前樣本。
  20. 如申請專利範圍第19項所述的裝置,其中該訊框封裝圖像包括關聯於該投影幾何的多個面,且其中該內容邊界定義面之間的一邊界。
TW106122881A 2016-07-08 2017-07-07 使用幾何投影360度視訊編碼 TWI775760B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201662360112P 2016-07-08 2016-07-08
US62/360,112 2016-07-08
US201662404017P 2016-10-04 2016-10-04
US62/404,017 2016-10-04
US201762463242P 2017-02-24 2017-02-24
US62/463,242 2017-02-24
US201762500605P 2017-05-03 2017-05-03
US62/500,605 2017-05-03

Publications (2)

Publication Number Publication Date
TW201812708A TW201812708A (zh) 2018-04-01
TWI775760B true TWI775760B (zh) 2022-09-01

Family

ID=59581992

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106122881A TWI775760B (zh) 2016-07-08 2017-07-07 使用幾何投影360度視訊編碼

Country Status (7)

Country Link
US (3) US10887621B2 (zh)
EP (1) EP3482563A1 (zh)
JP (3) JP6983862B2 (zh)
KR (3) KR20190035678A (zh)
CN (2) CN109417632B (zh)
TW (1) TWI775760B (zh)
WO (1) WO2018009746A1 (zh)

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20165256A (fi) 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
CN109076215A (zh) * 2016-08-23 2018-12-21 深圳市大疆创新科技有限公司 用于提高对弯曲视图视频进行编码/解码的效率的***和方法
CN107801039B (zh) * 2016-08-30 2020-04-14 华为技术有限公司 运动补偿预测方法和装置
JP2019530311A (ja) 2016-09-02 2019-10-17 ヴィド スケール インコーポレイテッド 360度ビデオ情報をシグナリングするための方法およびシステム
WO2018049221A1 (en) 2016-09-09 2018-03-15 Vid Scale, Inc. Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming
KR20180029315A (ko) * 2016-09-12 2018-03-21 삼성전자주식회사 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치
CA3037398C (en) 2016-09-30 2022-08-16 Huawei Technologies Co., Ltd. Apparatuses, methods, and computer-readable medium for encoding and decoding a video signal
WO2018066991A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
US20190238888A1 (en) * 2017-07-17 2019-08-01 Ki Baek Kim Image data encoding/decoding method and apparatus
KR102531386B1 (ko) 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
CN114531590A (zh) * 2016-10-04 2022-05-24 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
CN114245122A (zh) * 2016-10-04 2022-03-25 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
US12022199B2 (en) 2016-10-06 2024-06-25 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
KR20180042098A (ko) * 2016-10-17 2018-04-25 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
GB2555788A (en) * 2016-11-08 2018-05-16 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
WO2018117706A1 (ko) * 2016-12-22 2018-06-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) * 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11004173B2 (en) * 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
WO2018199792A1 (en) * 2017-04-26 2018-11-01 Huawei Technologies Co., Ltd Apparatuses and methods for encoding and decoding a panoramic video signal
US11093752B2 (en) * 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
GB2563944B (en) * 2017-06-30 2021-11-03 Canon Kk 360-Degree video encoding with block-based extension of the boundary of projected parts
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
JP7224280B2 (ja) * 2017-07-17 2023-02-17 ビー1、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッド 画像データ符号化/復号化方法及び装置
EP3435676A1 (en) * 2017-07-25 2019-01-30 Thomson Licensing Method and apparatus for encoding and decoding an omnidirectional video
WO2019034131A1 (en) 2017-08-18 2019-02-21 Mediatek Inc. METHOD AND APPARATUS FOR REDUCING ARTIFACTS IN A PROJECTION-BASED FRAME
US10827159B2 (en) * 2017-08-23 2020-11-03 Mediatek Inc. Method and apparatus of signalling syntax for immersive video coding
CN117061771A (zh) 2017-09-20 2023-11-14 Vid拓展公司 用于编码的方法和装置和用于解码的方法和装置
US10818087B2 (en) 2017-10-02 2020-10-27 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
CN118042156A (zh) * 2017-12-28 2024-05-14 韩国电子通信研究院 图像编码和解码的方法和装置以及存储比特流的记录介质
CN111602401B (zh) * 2018-01-16 2024-01-09 Vid拓展公司 用于360度视频译码的自适应帧封装
WO2019141907A1 (en) * 2018-01-22 2019-07-25 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
US10764605B2 (en) * 2018-02-14 2020-09-01 Qualcomm Incorporated Intra prediction for 360-degree video
US11212438B2 (en) * 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
US10721465B2 (en) * 2018-02-14 2020-07-21 Qualcomm Incorporated Motion compensation for cubemap packed frames
US10659815B2 (en) 2018-03-08 2020-05-19 At&T Intellectual Property I, L.P. Method of dynamic adaptive streaming for 360-degree videos
US20190289316A1 (en) * 2018-03-19 2019-09-19 Mediatek Inc. Method and Apparatus of Motion Vector Derivation for VR360 Video Coding
KR20190110043A (ko) * 2018-03-19 2019-09-27 주식회사 케이티 비디오 신호 처리 방법 및 장치
US11317114B2 (en) * 2018-03-19 2022-04-26 Sony Corporation Image processing apparatus and image processing method to increase encoding efficiency of two-dimensional image
WO2019179489A1 (en) * 2018-03-22 2019-09-26 Mediatek Inc. Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US10986371B2 (en) 2018-03-22 2021-04-20 Mediatek Inc. Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
KR20190113651A (ko) * 2018-03-27 2019-10-08 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN112204981A (zh) 2018-03-29 2021-01-08 弗劳恩霍夫应用研究促进协会 用于选择用于填补的帧内预测模式的装置
CN110349226B (zh) * 2018-04-01 2021-06-01 浙江大学 一种全景图像处理方法及装置
WO2019199637A1 (en) * 2018-04-11 2019-10-17 Alcacruz Inc. Digital media system
US11917127B2 (en) 2018-05-25 2024-02-27 Interdigital Madison Patent Holdings, Sas Monitoring of video streaming events
KR102435519B1 (ko) * 2018-06-20 2022-08-24 삼성전자주식회사 360도 영상을 처리하는 방법 및 장치
BR112020026618A2 (pt) * 2018-06-26 2021-03-30 Huawei Technologies Co., Ltd. Projetos de sintaxe de alto nível para codificação de nuvem de pontos
WO2020001790A1 (en) 2018-06-29 2020-01-02 Huawei Technologies Co., Ltd. Apparatuses and methods for encoding and decoding a video signal
US11212506B2 (en) * 2018-07-31 2021-12-28 Intel Corporation Reduced rendering of six-degree of freedom video
US10887574B2 (en) 2018-07-31 2021-01-05 Intel Corporation Selective packing of patches for immersive video
US20200045288A1 (en) * 2018-07-31 2020-02-06 Intel Corporation Six degree of freedom video transcoding mechanism
US10893299B2 (en) 2018-07-31 2021-01-12 Intel Corporation Surface normal vector processing mechanism
US11178373B2 (en) 2018-07-31 2021-11-16 Intel Corporation Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments
US10595000B1 (en) * 2018-08-02 2020-03-17 Facebook Technologies, Llc Systems and methods for using depth information to extrapolate two-dimentional images
US11765349B2 (en) 2018-08-31 2023-09-19 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
US11094088B2 (en) * 2018-08-31 2021-08-17 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries in video coding
WO2020043191A1 (en) * 2018-08-31 2020-03-05 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
TWI822863B (zh) * 2018-09-27 2023-11-21 美商Vid衡器股份有限公司 360度視訊寫碼樣本導出
US11057631B2 (en) 2018-10-10 2021-07-06 Intel Corporation Point cloud coding standard conformance definition in computing environments
US11736713B2 (en) 2018-11-14 2023-08-22 Tencent America LLC Constraint on affine model motion vector
CN113170104A (zh) * 2018-11-15 2021-07-23 韩国电子通信研究院 使用基于区域的帧间/帧内预测的编码/解码方法和设备
WO2020103933A1 (en) 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Configuration method for default motion candidate
US11756153B2 (en) * 2018-12-31 2023-09-12 Intel Corporation Hemisphere cube map projection format in imaging environments
US11089335B2 (en) 2019-01-14 2021-08-10 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
WO2020156549A1 (en) * 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Buffer access methods for intra block copy in video coding
CN117395439A (zh) 2019-03-01 2024-01-12 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的基于方向的预测
KR20210125506A (ko) 2019-03-04 2021-10-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 버퍼 관리
WO2020189876A1 (ko) * 2019-03-15 2020-09-24 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11334969B2 (en) * 2019-03-19 2022-05-17 Sony Group Corporation Point cloud geometry padding
US10979730B2 (en) * 2019-03-20 2021-04-13 Tencent America LLC Techniques and apparatus for interframe point cloud attribute coding
EP3871421A4 (en) * 2019-03-22 2022-01-26 Tencent America Llc INTER-FRAME POINT CLOUD ATTRIBUTE CODING METHOD AND APPARATUS
US10904558B2 (en) * 2019-04-26 2021-01-26 Tencent America LLC Method and apparatus for motion compensation for 360 video coding
EP3739880A1 (en) * 2019-05-14 2020-11-18 Axis AB Method, device and computer program product for encoding a distorted image frame
US11979544B2 (en) 2019-05-24 2024-05-07 Lg Electronics Inc. 360 video transmission method, 360 video reception method, 360 video transmission apparatus, and 360 video reception apparatus
EP3970366A4 (en) 2019-06-14 2023-03-29 Beijing Bytedance Network Technology Co., Ltd. HANDLING VIDEO UNIT LIMITS AND VIRTUAL LIMITS
WO2020249124A1 (en) 2019-06-14 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
US11190768B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
US11659206B2 (en) 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
US11190801B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
BR112022000358A2 (pt) 2019-07-10 2022-05-10 Beijing Bytedance Network Tech Co Ltd Método e aparelho para processar dados de vídeo e meios de armazenamento e gravação não transitórios legíveis por computador
WO2021004542A1 (en) * 2019-07-11 2021-01-14 Beijing Bytedance Network Technology Co., Ltd. Sample padding in adaptive loop filtering
CN114424529A (zh) 2019-09-18 2022-04-29 北京字节跳动网络技术有限公司 视频编解码中自适应环路滤波器的两部分信令
CN114430902B (zh) 2019-09-22 2023-11-10 北京字节跳动网络技术有限公司 自适应环路滤波中的填充过程
WO2021057946A1 (en) 2019-09-27 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering between different video units
WO2021068922A1 (en) 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Deblocking of blocks coded in geometry partition mode
KR20220071203A (ko) 2019-10-10 2022-05-31 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링에서 이용 불가능한 샘플 위치들에서의 패딩 프로세스
CN115244924A (zh) 2019-10-29 2022-10-25 抖音视界有限公司 跨分量自适应环路滤波器的信令通知
KR102619404B1 (ko) 2019-12-11 2023-12-28 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로스 컴포넌트 적응적 루프 필터링을 위한 샘플 패딩
MX2022007224A (es) * 2019-12-12 2022-09-21 Lg Electronics Inc Dispositivo de codificacion de imagenes y metodo para controlar el filtrado en bucle.
KR20220123018A (ko) * 2019-12-30 2022-09-05 알리바바 그룹 홀딩 리미티드 가상 경계의 시그널링 및 랩 어라운드 움직임 보상을 위한 방법
US11356698B2 (en) * 2019-12-30 2022-06-07 Tencent America LLC Method for parameter set reference constraints in coded video stream
US11477490B2 (en) * 2020-01-03 2022-10-18 Mediatek Inc. Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus
US20230054523A1 (en) * 2020-02-17 2023-02-23 Intel Corporation Enhancing 360-degree video using convolutional neural network (cnn)-based filter
WO2021182937A1 (ko) * 2020-03-11 2021-09-16 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
KR102406845B1 (ko) 2020-04-13 2022-06-10 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11438628B2 (en) * 2020-06-03 2022-09-06 Tencent America LLC Hash-based accessing of geometry occupancy information for point cloud coding
CN113810734B (zh) * 2020-06-15 2024-04-05 浙江宇视科技有限公司 视频融合方法、装置、设备、***及计算机可读存储介质
KR20230029670A (ko) 2020-06-30 2023-03-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링을 위한 경계 위치
US20230291895A1 (en) * 2020-07-23 2023-09-14 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2022050650A1 (ko) * 2020-09-03 2022-03-10 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2022092891A1 (ko) * 2020-10-30 2022-05-05 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US20240179347A1 (en) * 2021-03-19 2024-05-30 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230306645A1 (en) * 2022-03-25 2023-09-28 Tencent America LLC Convolutional Approach to Fast and Compact Packing of 3D Mesh Into 2D Maps
WO2024007789A1 (en) * 2022-07-06 2024-01-11 Mediatek Inc. Prediction generation with out-of-boundary check in video coding
WO2024080841A1 (ko) * 2022-10-13 2024-04-18 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1162830A2 (en) * 2000-06-07 2001-12-12 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
CN101853552A (zh) * 2010-04-20 2010-10-06 长春理工大学 全方位无盲区运动目标检测方法
CN103443582A (zh) * 2011-03-11 2013-12-11 索尼公司 图像处理设备、图像处理方法和程序
US20160112704A1 (en) * 2014-10-20 2016-04-21 Google Inc. Continuous prediction domain

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6331869B1 (en) 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US7623682B2 (en) 2004-08-13 2009-11-24 Samsung Electronics Co., Ltd. Method and device for motion estimation and compensation for panorama image
KR100688383B1 (ko) * 2004-08-13 2007-03-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
US7627194B2 (en) 2004-08-13 2009-12-01 Samsung Electronics Co., Ltd. Method and device for making virtual image region for motion estimation and compensation of panorama image
WO2013005962A2 (ko) * 2011-07-01 2013-01-10 삼성전자 주식회사 단일화된 참조가능성 확인 과정을 통해 인트라 예측을 수반하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US8995772B2 (en) * 2012-11-09 2015-03-31 Microsoft Technology Licensing, Llc Real-time face detection using pixel pairs
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
KR101583646B1 (ko) 2014-05-12 2016-01-19 (주)헥스하이브 전 방위 평면 이미지를 생성하는 방법 및 장치
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
KR102432085B1 (ko) 2015-09-23 2022-08-11 노키아 테크놀로지스 오와이 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품
FI20165256A (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
US11778231B2 (en) 2016-05-26 2023-10-03 Vid Scale, Inc. Geometric conversion for 360-degree video coding
US10523913B2 (en) * 2017-06-30 2019-12-31 Apple Inc. Packed image format for multi-directional video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1162830A2 (en) * 2000-06-07 2001-12-12 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
CN101853552A (zh) * 2010-04-20 2010-10-06 长春理工大学 全方位无盲区运动目标检测方法
CN103443582A (zh) * 2011-03-11 2013-12-11 索尼公司 图像处理设备、图像处理方法和程序
US20160112704A1 (en) * 2014-10-20 2016-04-21 Google Inc. Continuous prediction domain

Also Published As

Publication number Publication date
KR20220047402A (ko) 2022-04-15
US20220368947A1 (en) 2022-11-17
US10887621B2 (en) 2021-01-05
JP7295178B2 (ja) 2023-06-20
US20210136413A1 (en) 2021-05-06
WO2018009746A1 (en) 2018-01-11
JP6983862B2 (ja) 2021-12-17
KR20230051319A (ko) 2023-04-17
JP2023105219A (ja) 2023-07-28
CN109417632A (zh) 2019-03-01
KR20190035678A (ko) 2019-04-03
JP2019525563A (ja) 2019-09-05
KR102521272B1 (ko) 2023-04-12
US20190215532A1 (en) 2019-07-11
TW201812708A (zh) 2018-04-01
CN117135357A (zh) 2023-11-28
EP3482563A1 (en) 2019-05-15
JP2022000954A (ja) 2022-01-04
US11388438B2 (en) 2022-07-12
CN109417632B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
TWI775760B (zh) 使用幾何投影360度視訊編碼
TWI774677B (zh) 360度視訊編碼幾何轉換
JP7357747B2 (ja) 面連続性を使用する360度ビデオコーディング
CN111183646B (zh) 用于编码的方法和装置、用于解码的方法和装置以及存储介质
US11432010B2 (en) Face discontinuity filtering for 360-degree video coding
CN110999296B (zh) 解码360度视频的方法、设备及计算机可读介质
TWI797234B (zh) 360度視訊編碼適應性訊框填裝
CN110651476B (zh) 基于几何图形填充的用于360度视频的预测编码
WO2018170416A1 (en) Floating point to integer conversion for 360-degree video projection format conversion and spherical metrics calculation

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent