TWI578758B - 視訊資料解碼的裝置及方法 - Google Patents

視訊資料解碼的裝置及方法 Download PDF

Info

Publication number
TWI578758B
TWI578758B TW102103636A TW102103636A TWI578758B TW I578758 B TWI578758 B TW I578758B TW 102103636 A TW102103636 A TW 102103636A TW 102103636 A TW102103636 A TW 102103636A TW I578758 B TWI578758 B TW I578758B
Authority
TW
Taiwan
Prior art keywords
layer
image
inter
video
prediction
Prior art date
Application number
TW102103636A
Other languages
English (en)
Other versions
TW201338555A (zh
Inventor
何永
葉言
喬治 麥克萊倫
董傑
Original Assignee
Ｖｉｄ衡器股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｖｉｄ衡器股份有限公司 filed Critical Ｖｉｄ衡器股份有限公司
Publication of TW201338555A publication Critical patent/TW201338555A/zh
Application granted granted Critical
Publication of TWI578758B publication Critical patent/TWI578758B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

視訊資料解碼的裝置及方法 相關申請案的交叉引用
本申請案要求2012年1月31日申請的、名稱為“用於HEVC可縮放編碼的傳訊參考圖像的方法和裝置”的美國臨時專利申請案No.61/593256的權益，以及2012年4月27日提交的、名稱為“用於視訊編碼的參考圖像集預測傳訊的方法和裝置”的美國臨時專利申請案No.61/639776的權益，所述兩個申請案的內容分別全部作為引用結合於此。
在過去二十年，各種數位視訊壓縮技術已經被開發並且標準化以使得能夠進行有效的數位視訊通信、分發和消費。大部分商業廣泛使用的標準由諸如H.261、MPEG-1、MPEG-2、H.263、MPEG-4(部分2)和H.264(MPEG-4部分10)之類的ISO/IEC和ITU-T開發。由於新高級視訊壓縮技術的出現和成熟，新視訊編碼標準，高效視訊編碼(HEVC，如在JCTVC-F803中闡述。WD4：高效視訊編碼的草案4，2011年7月)由ITU-T視訊編碼專家組(VCEG)和MPEG聯合開發。HEVC被期望在2013年早期處於最終標準階段。
高效視訊編碼(HEVC)為被開發成H.264繼任者的視訊壓縮標準。HEVC實際上具有比H.264高的壓縮能力。
提供本發明內容以簡化的形式引進概念選擇，所述概念選擇還將在以下實施方式中描述。本發明內容不是為了確認要求保護主題的關鍵特徵或者必要特徵，也不是為了用來限制要求保護主題的範圍。
實施方式涵蓋(contemplate)提供針對HEVC可縮放編碼的層間預測的方法和系統、針對HEVC可縮放編碼的時序(temporal)參考圖像傳訊設計、針對HEVC可縮放編碼的層間參考圖像傳訊設計及/或層間參考圖像列表建構過程。
實施方式涵蓋用信號發送參考圖像集(RPS)中的層間參考圖像可以被配置以支援用於可縮放HEVC的層間運動補償預測(或者估計)。在一些實施方式中，編碼器及/或解碼器可以從可縮放HEVC編碼中的較低層RPS中預測(例如，獲得或者估計)較高層RPS以節省語法(syntax)負荷位元。
實施方式涵蓋一個或者多個編碼視訊資料技術可以包括產生視訊編碼的位元流，該視訊編碼的位元流可以包括針對層間參考圖像的參考圖像集(RPS)擴展，其中該擴展可以包括或者指明層間差量(delta)圖像順序計數(POC)。該技術還包括用信號發送RPS擴展，該RPS擴展可以包括較低層解碼器緩衝中的圖像。替代地或者附加地，技術可以包括用信號發送在較低層解碼圖像緩衝(DPB)及/或聚合DPB中可用的、且可以被添加到較高層的RPS集的較低層參考圖像。該位元流可以包括表明較高層RPS是否可以由較低層RPS指定並且該較低層RPS是否為時序的、層間預測(ILP)或者兩者的信號。
實施方式涵蓋解碼視訊流的一種或多種技術。技術可以包括解析包含層間參考圖像集(RPS)擴展信號的位元流。技術還可以包括根據一個或多個擴展信號以將較低層參考圖像的差量POC添加到較高層RPS集中。技術還包括解碼視訊資料以及接收包括針對層間參考圖像的參考圖像 集(RPS)擴展的位元流。該技術還包括根據RPS擴展來保留解碼後的圖像緩衝中的參考圖像、及/或使用至少部分保留的參考圖像來對編碼後的視訊進行解碼。該技術還包括接收編碼後的視訊位元流中的傳訊，該編碼後的視訊位元流可以包括較低層參考圖像的指標，該較低層參考圖像在較低層解碼圖像緩衝(DPB)或者聚合DPB中保持可用。該技術還可以包括將較低層參考圖像添加到較高層的RPS集。在一些實施方式中，諸如旗標的信號可以被用來指明該較高層RPS可以被較低層RPS指定。一種或者多種實施方式可以用信號發送較低層RPS可以為時序的或者可以為層間預測或者兩者。
實施方式涵蓋藉由產生視訊編碼後的位元流對視訊資料進行編碼，該視訊編碼後的位元流可以包括對層間參考圖像的參考圖像集(RPS)擴展，並且該擴展可以包括層間差量圖像順序計數(POC)。該實施方式還包括用信號發送較低層參考圖像在較低層解碼圖像緩衝(DPB)及/或聚合DPB中可用的、且可以被添加到較高層的RPS集。該位元流可以包括指明該較高層RPS是否可以由較低層RPS指定並且該較低層RPS是否為時序的、層間預測(ILP)或者兩者的信號。
實施方式涵蓋用於視訊資料編碼的裝置，該裝置可以被配置成至少部分產生位元流。該位元流可以包括一個或者多個參考圖像集(RPS)擴展，該參考圖像集(RPS)擴展可以指明一個或者多個針對一個或者多個解碼圖像緩衝(DPB)的層間參考圖像。該一個或者多個DPB可以分別與一個或者多個視訊編碼層關聯。
實施方式涵蓋用於視訊資料編碼的裝置，該裝置可以被配置成至少部分產生位元流。該位元流可以包括一個或者多個參考圖像集(RPS)擴展，該參考圖像集(RPS)擴展可以指明一個或者多個層間差量圖像順序計數(POC)。該一個或者多個POC可以分別與一個或者多個視訊編碼層關聯。
實施方式涵蓋用於視訊資料處理的裝置，該裝置可以被配置 成至少部分產生第一視訊編碼層。該第一視訊編碼層可以包括第一參考圖像集(RPS)。該第一RPS可以在第一解碼圖像緩衝(DPB)中包括一個或者多個時序參考圖像。該裝置還被配置以至少部分基於第一RPS的時序參考圖像產生第二視訊編碼層。該第二視訊編碼層包括第二RPS。該第二RPS包括第二DPB中的一個或者多個層間參考圖像以及一個或者多個時序參考圖像。該裝置還被配置成至少部分基於第一RPS和第二RPS的至少一者產生第三視訊編碼層。
100‧‧‧通信系統
102a、102b、102c、102d‧‧‧無線傳輸/接收單元(WTRU)
103/104/105‧‧‧無線電存取網路(RAN)
106/107/109‧‧‧核心網路
108‧‧‧公共交換電話網路(PSTN)
110‧‧‧網際網路
112‧‧‧其他網路
114a、114b、180a、180b、180c‧‧‧基地台
115/116/117‧‧‧空中介面
118‧‧‧處理器
120‧‧‧收發器
122‧‧‧傳輸/接收元件
124‧‧‧揚聲器/麥克風
126‧‧‧鍵盤
128‧‧‧顯示器/觸控板
130‧‧‧不可移式記憶體
132‧‧‧可移式記憶體
134‧‧‧電源
136‧‧‧全球定位系統(GPS)晶片組
138‧‧‧其他週邊裝置
140a、140b、140c‧‧‧節點B
142a、142b‧‧‧無線電網路控制器(RNC)
144、146、148‧‧‧閘道GPRS支援節點(GGSN)
144‧‧‧媒體閘道(MGW)
146‧‧‧行動交換中心(MSC)
148‧‧‧服務GPRS支援節點(SGSN)
150‧‧‧閘道GPRS支援節點(GGSN)
160a、160b、160c‧‧‧e節點B
162‧‧‧移動性管理實體(MME)
164‧‧‧服務閘道
166‧‧‧封包資料網路(PDN)閘道
182‧‧‧存取服務網路(ASN)閘道
184‧‧‧行動IP本地代理(MIP-HA)
186‧‧‧認證、授權、計費(AAA)伺服器
188‧‧‧閘道
200‧‧‧視訊編碼器
202‧‧‧輸入視訊信號
204‧‧‧變換單元
206‧‧‧量化單元
208、308‧‧‧熵編碼單元
210、310‧‧‧逆量化單元
212、312‧‧‧逆轉換單元
216、226‧‧‧加法器
220‧‧‧位元流
260、360‧‧‧空間預測單元
262、362‧‧‧時序預測單元
264‧‧‧時序參考儲存器
266‧‧‧適應環濾波器
280‧‧‧編碼器控制器
302‧‧‧視訊位元流
320‧‧‧重建的視訊
364‧‧‧參考圖像儲存器
366‧‧‧環內濾波單元
1000‧‧‧視訊編碼和解碼系統
2112‧‧‧源裝置
2114‧‧‧目的裝置
2116‧‧‧通信頻道
2118‧‧‧視訊源
2120‧‧‧視訊編碼器
2122‧‧‧調變器(例如，數據機)
2124‧‧‧傳輸器
2126‧‧‧接收器
2128‧‧‧解調器(例如，數據機)
2130‧‧‧視訊解碼器
2132‧‧‧顯示裝置
DeltaPOC‧‧‧差量層間差量圖像順序計數
HEVC‧‧‧高效視訊編碼
ILP‧‧‧層間預測
Iub、IuCS、IuPS、S1、X2‧‧‧介面
POC‧‧‧層間差量圖像順序計數
RPS‧‧‧參考圖像集
Q0‧‧‧量化器
R1、R3、R6、R8‧‧‧參考點
Y0‧‧‧基層重建
從以下描述中可以更詳細地理解本發明，這些描述是以實例方式給出的，並且可以結合附圖加以理解，其中：第1A圖是在其中可以實現一個或更多個揭露的實施例的示例通信系統的系統圖；第1B圖是可在第1A圖所示的通信系統中使用的示例無線傳輸/接收單元(WTRU)的系統圖；第1C圖是可在第1A圖所示的通信系統中使用的示例無線電存取網路和示例核心網路的系統圖；第1D圖是可在第1A圖所示的通信系統中使用的另一示例無線電存取網路和示例核心網路的系統圖；第1E圖是可在第1A圖所示的通信系統中使用的另一示例無線電存取網路和示例核心網路的系統圖；第2圖示出了描述多層視訊編碼器示例的方塊圖，該多層視訊編碼器可以實現與實施方式一致的示例參考圖像集傳訊和預測技術；第3圖示出了具有針對與實施方式一致的可縮放視訊編碼(SVC)空間可縮放編碼的附加層間預測的示例可縮放結構；第4圖示出了與實施方式一致的示例層間預測結構； 第5圖示出了與實施方式一致的示例二元(dyadic)和巢式(nested)時序可縮放編碼結構；第6圖示出了與實施方式一致的具有層間預測的HEVC空間可縮放編碼結構示例；第7圖示出了與實施方式一致的具有層間預測的示例HEVC空間/時序組合的可縮放編碼結構；第8圖為與實施方式一致的層-2層間圖像(ILP)參考圖像列表(POC)架構的表格圖示；第9圖為與實施方式一致的層-2合併(consolidated)參考圖像列表(POC)架構示例的表格圖示；第10圖為描述示例視訊編碼和解碼系統的方塊圖，該視訊編碼和解碼系統可以利用實施方式涵蓋的運動預測技術；第11圖和第12圖為與實施方式一致的視訊編碼器和解碼器部分的示例方塊圖；第13圖示出了與實施方式一致的示例增強層時序參考圖像子集建構過程；第14圖描述了與實施方式一致的短期參考圖像集預測的各種源示例；第15圖和第16圖描述了與實施方式一致的時序參考圖像子集和層間參考圖像子集的解碼過程示例；第17圖示出了與實施方式一致的用於參考圖像集擴展的示例解碼過程；第18圖示出了與實施方式一致的時序參考和層間參考的示例時序共置配對；第19圖為與實施方式一致的具有不同訊框速率的雙層二元和巢式時序可縮放編碼結構的示例。
現在可以參照所附圖式來描述實施方式。雖然該描述提供了可能實施的具體示例，但應當注意的是具體示例是示例性的，並且不以任何方式限制本申請的範圍。以下所使用的冠詞“一”或者“一個”，不是進一步的量化或者特徵化，可以理解為諸如“一個或者多個”或者“至少一個”。
第1A圖是在其中可以實施一個或更多個實施方式的示例通信系統的系統圖。通信系統100可以是向多個用戶提供內容，例如語音、資料、視訊、消息發送、廣播等的多重存取系統。通信系統100可以使多個無線用戶經由系統資源分享(包括無線頻寬)來存取這些內容。例如，通信系統可以使用一種或多種頻道存取方法，例如分碼多重存取(CDMA)、分時多重存取(TDMA)、分頻多重存取(FDMA)、正交FDMA(OFDMA)、單載波FMDA(SC-FDMA)等。
如第1A圖所示，通信系統100可以包括無線傳輸/接收單元(WTRU)102a、102b、102c、及/或102d(其通常或整體上被稱為WTRU)、無線電存取網路(RAN)103/104/105、核心網路106/107/109、公共交換電話網路(PSTN)108、網際網路110和其他網路112。不過應該理解的是，揭露的實施方式考慮到了任何數量的WTRU、基地台、網路及/或網路元件。WTRU 102a、102b、102c、102d的每一個可以是配置為在無線環境中進行操作及/或通信的任何類型的裝置。作為示例，可以將WTRU 102a、102b、102c、102d配置為發送及/或接收無線信號、並可以包括用戶設備(UE)、基地台、固定或者行動用戶單元、傳呼器、蜂巢式電話、個人數位助理(PDA)、智慧型電話、筆記本電腦、隨身型易網機、個人電腦、無線感測器、消費電子產品等等。
通信系統100還可以包括基地台114a和基地台114b。基地台114a、114b的每一個都可以是配置為與WTRU 102a、102b、102c、102d中 的至少一個無線對接以便於存取一個或者更多個通信網路，例如核心網路106/107/109、網際網路110及/或網路112的任何裝置類型。作為示例，基地台114a、114b可以是基地收發站(BTS)、節點B)、演進的節點B(e節點B)、家庭節點B、家庭eNB、站點控制器、存取點(AP)、無線路由器等等。雖然基地台114a、114b的每一個被描述為單獨的元件，但是應該理解的是，基地台114a、114b可以包括任何數量的互連基地台及/或網路元件。
基地台114a可以是RAN 103/104/105的一部分，RAN 104還可以包括其他基地台及/或網路元件(未顯示)，例如基地台控制器(BSC)、無線電網路控制器(RNC)、中繼節點等。可以將基地台114a及/或基地台114b配置為在特定地理區域之內發送及/或接收無線信號，該區域可以被稱為胞元(未顯示)。胞元還可以被劃分為胞元扇區。例如，與基地台114a關聯的胞元可以劃分為三個扇區。因此，在一種實施方式中，基地台114a可以包括三個收發器，即每一個用於胞元的一個扇區。在另一種實施方式中，基地台114a可以使用多輸入多輸出(MIMO)技術，因此可以將多個收發器用於胞元的每一個扇區。
基地台114a、114b可以經由空中介面115/116/117來與WTRU 102a、102b、102c、102d中的一個或者更多個進行通信，該空中介面115/116/117可以是任何合適的無線通信鏈路(例如，射頻(RF)、微波、紅外(IR)、紫外線(UV)、可見光等)。可以使用任何合適的無線電存取技術(RAT)來建立空中介面115/116/117。
更具體地，如上所述，通信系統100可以是多重存取系統、並可以使用一種或者多種頻道存取方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，RAN 103/104/105中的基地台114a和WTRU 102a、102b、102c可以使用例如通用行動電信系統(UMTS)陸地無線電存取(UTRA)的無線電技術，其可以使用寬頻CDMA(WCDMA)來建立空中介面115、116、117。WCDMA可以包括例如高速封包存取(HSPA)及/ 或演進的HSPA(HSPA+)的通信協定。HSPA可以包括高速下鏈封包存取(HSDPA)及/或高速上鏈封包存取(HSUPA)。
在另一種實施方式中，基地台114a和WTRU 102a、102b、102c可以使用例如演進的UMTS陸地無線電存取(E-UTRA)的無線電技術，其可以使用長期演進(LTE)及/或高級LTE(LTE-A)來建立空中介面115/116/117。
在其他實施方式中，基地台114a和WTRU 102a、102b、102c可以使用例如IEEE802.16(即，全球互通微波存取(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫行標準2000(IS-2000)、暫行標準95(IS-95)、暫行標準856(IS-856)、全球行動通信系統(GSM)、GSM演進的增強型資料速率(EDGE)、GSM EDGE(GERAN)等等的無線電技術。
第1A圖中的基地台114b可以是例如無線路由器、家庭節點B、家庭e節點B或者存取點、並且可以使用任何適當的RAT以方便例如商業場所、住宅、車輛、校園等等的局部區域中的無線連接。在一種實施方式中，基地台114b和WTRU 102c、102d可以實施例如IEEE 802.11的無線電技術來建立無線區域網路(WLAN)。在另一種實施方式中，基地台114b和WTRU 102c、102d可以使用例如IEEE 802.15的無線電技術來建立無線個人區域網路(WPAN)。在另一種實施方式中，基地台114b和WTRU 102c、102d可以使用基於蜂巢的RAT(例如，WCDMA、CDMA2000、GSM、LTE、LTE-A等)來建立微微胞元或毫微微胞元。如第1A圖所示，基地台114b可以具有到網際網路110的直接連接。因此，基地台114b可以不需要經由核心網路106、107、109來存取網際網路110。
RAN 103/104/105可以與核心網路106/107/109通信，該核心網路106/107/109可以是被配置為向WTRU 102a、102b、102c、102d中的一個或更多個提供語音、資料、應用及/或基於網際協定的語音(VoIP)服務等 的任何類型的網路。例如，核心網路106/107/109可以提供呼叫控制、計費服務、基於移動位置的服務、預付費呼叫、網際網路連接、視訊分配等及/或執行高階安全功能，例如用戶認證。雖然第1A圖中未示出，應該理解的是，RAN 103/104/105及/或核心網路106/107/109可以與使用和RAN 103/104/105相同的RAT或不同RAT的其他RAN進行直接或間接的通信。例如，除了連接到正在使用E-UTRA無線電技術的RAN 103/104/105之外，核心網路106/107/109還可以與使用GSM無線電技術的另一個RAN(未示出)通信。
核心網路106/107/109還可以充當WTRU 102a、102b、102c、102d存取PSTN 108、網際網路110及/或其他網路112的閘道。PSTN 108可以包括提供普通老式電話服務(POTS)的電路交換電話網路。網際網路110可以包括使用公共通信協定的互連電腦網路和裝置的全球系統，該協定例如有TCP/IP網際協定組中的傳輸控制協定(TCP)、用戶資料報協定(UDP)和網際協定(IP)。網路112可以包括被其他服務提供者擁有及/或操作的有線或無線的通信網路。例如，網路112可以包括連接到一個或更多個RAN的另一個核心網路，該RAN可以使用和RAN 103/104/105相同的RAT或不同的RAT。
通信系統100中的WTRU 102a、102b、102c、102d的一個或多個或全部可以包括多模式能力，即WTRU 102a、102b、102c、102d可以包括用於在不同無線鏈路上與不同無線網路進行通信的多個收發器。例如，第1A圖中示出的WTRU 102c可被配置為與基地台114a通信、以及與基地台114b通信，該基地台114a可以使用基於蜂巢的無線電技術，該基地台114b可以使用IEEE 802無線電技術。
第1B圖是WTRU 102示例的系統圖。如第1B圖所示，WTRU 102可以包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、鍵盤126、顯示器/觸控板128、不可移式記憶體130、可移式記憶體132、電 源134、全球定位系統(GPS)晶片組136和其他週邊裝置138。應該理解的是，WTRU 102可以在保持與實施方式一致時，包括前述元件的任何子組合。而且，實施方式考慮了基地台114a和114b及/或基地台114a和114b可以表示的節點(諸如但不限於收發站(BTS)、節點B、站點控制器、存取點(AP)、家庭節點B、演進型家庭節點B(e節點B)、家庭演進型節點B(HeNB)、家庭演進型節點B閘道和代理節點等)可以包括第1B圖所描繪和這裏描述的一個或多個或所有元件。
處理器118可以是通用處理器、專用處理器、常規處理器、數位信號處理器(DSP)、多個微處理器、與DSP核相關聯的一個或更多個微處理器、控制器、微控制器、專用積體電路(ASIC)、場可編程閘陣列(FPGA)電路、任何其他類型的積體電路(IC)、狀態機等等。處理器118可執行信號編碼、資料處理、功率控制、輸入/輸出處理及/或使WTRU 102運行於無線環境中的任何其他功能。處理器118可以耦合到收發器120，該收發器120可耦合到傳輸/接收元件122。雖然第1B圖描述了處理器118和收發器120是單獨的元件，但是應該理解的是，處理器118和收發器120可以一起集成在電子封裝或晶片中。
傳輸/接收元件122可以被配置為經由空中介面115/116/117以將信號發送到基地台(例如，基地台114a)、或從基地台(例如，基地台114a)接收信號。例如，在一種實施方式中，傳輸/接收元件122可以是被配置為發送及/或接收RF信號的天線。在另一種實施方式中，傳輸/接收元件122可以是被配置為發送及/或接收例如IR、UV或可見光信號的發射器/偵測器。在另一種實施方式中，傳輸/接收元件122可以被配置為發送和接收RF和光信號兩者。應當理解，傳輸/接收元件122可以被配置為發送及/或接收無線信號的任何組合。
另外，雖然傳輸/接收元件122在第1B圖中描述為單一元件，但是WTRU 102可以包括任何數量的傳輸/接收元件122。更具體的，WTRU 102可以使用例如MIMO技術。因此，在一種實施方式中，WTRU 102可以包括用於經由空中介面115/116/117來發送和接收無線信號的兩個或更多個傳輸/接收元件122(例如，多個天線)。
收發器120可以被配置為調變要由傳輸/接收元件122發送的信號及/或解調由傳輸/接收元件122接收的信號。如上面提到的，WTRU 102可以具有多模式能力。因此收發器120可以包括使WTRU 102經由例如UTRA和IEEE 802.11之類的多個RAT進行通信的多個收發器。
WTRU 102的處理器118可以耦合到下述裝置、並且可以從下述裝置中接收用戶輸入資料：揚聲器/麥克風124、鍵盤126及/或顯示器/觸控板128(例如，液晶顯示器(LCD)顯示單元或有機發光二極體(OLED)顯示單元)。處理器118還可以輸出用戶資料到揚聲器/麥克風124、鍵盤126及/或顯示/觸控板128。另外，處理器118可以從任何類型的適當的記憶體存取資訊、並且可以儲存資料到任何類型的適當的記憶體中，例如不可移式記憶體130及/或可移式記憶體132。不可移式記憶體130可以包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟或任何其他類型的記憶體裝置。可移式記憶體132可以包括用戶身份模組(SIM)卡、記憶條、安全數位(SD)記憶卡等等。在其他實施方式中，處理器118可以從在實體上沒有位於WTRU 102上，例如位於伺服器或家用電腦(未示出)上的記憶體存取資訊、並且可以將資料儲存在該記憶體中。
處理器118可以從電源134接收電能、並且可以被配置為分配及/或控制到WTRU 102中的其他元件的電能。電源134可以是為WTRU 102供電的任何適當的裝置。例如，電源134可以包括一個或更多個乾電池(例如，鎳鎘(NiCd)、鎳鋅(NiZn)、鎳氫(NiMH)、鋰離子(Li-ion)等等)、太陽能電池、燃料電池等等。
處理器118還可以耦合到GPS晶片組136，該GPS晶片組136可以被配置為提供關於WTRU 102目前位置的位置資訊(例如，經度和緯度)。 另外，除來自GPS晶片組136的資訊或作為其替代，WTRU 102可以經由空中介面115/116/117以從基地台(例如，基地台114a、114b)接收位置資訊及/或基於從兩個或更多個鄰近基地台接收的信號的時序來確定其位置。應當理解，WTRU 102在保持實施方式的一致性時，可以用任何適當的位置確定方法來獲得位置資訊。
處理器118可以耦合到其他週邊裝置138，該週邊裝置138可以包括一個或更多個提供附加特性、功能及/或有線或無線連接的軟體及/或硬體模組。例如，週邊裝置138可以包括加速計、電子羅盤、衛星收發器、數位相機(用於照片或視訊)、通用串列匯流排(USB)埠、振動裝置、電視收發器、免持耳機、藍芽(Bluetooth®)模組、調頻(FM)無線電單元、數位音樂播放器、媒體播放器、視訊遊戲機模組、網際網路瀏覽器等等。
第1C圖是根據實施方式的RAN 103和核心網路106的系統圖。如上面提到的，RAN 103可使用UTRA無線電技術以經由空中介面115來與WTRU 102a、102b和102c通信。RAN 103還可以與核心網路106通信。如第1C圖所示，RAN 103可以包括節點B 140a、140b、140c，節點B 140a、140b、140c的每一個包括一個或更多個用於經由空中介面115來與WTRU 102a、102b、102c進行通信的收發器。節點B 140a、140b、140c的每一個可以與RAN 103內的特定胞元(未顯示)關聯。RAN 103還可以包括RNC 142a、142b。應當理解的是，RAN 103在保持實施方式的一致性時，可以包括任何數量的節點B和RNC。
如第1C圖所示，節點B 140a、140b、140c可以與RNC 142a通信。此外，節點B 140c可以與RNC 142b通信。節點B 140a、140b、140c可以經由Iub介面以分別與RNC 142a、142b通信。RNC 142a、142b可以經由Iur介面相互通信。RNC 142a、142b的每一個可以被配置以控制其連接的各自的節點B 140a、140b、140c。另外，RNC 142a、142b的每一個可以被配置以執行或支援其他功能，例如外環功率控制、負載控制、允許控制、封包 排程、切換控制、巨集分集、安全功能、資料加密等等。
第1C圖中所示的核心網路106可以包括媒體閘道(MGW)144、行動交換中心(MSC)146、服務GPRS支援節點(SGSN)148、及/或閘道GPRS支援節點(GGSN)。儘管前述元件的每一個被描述為核心網路106的部分，應當理解的是，這些元件中的任何一個可以被不是核心網路操作者的實體擁有或操作。
RAN 103中的RNC 142a可以經由IuCS介面而連接至核心網路106中的MSC 146。MSC 146可以連接至MGW 144。MSC 146和MGW 144可以向WTRU 102a、102b、102c提供到電路交換網路(例如PSTN 108)的存取，以便於WTRU 102a、102b、102c和傳統陸地線路通信裝置之間的通信。
RAN 103中RNC 142a還可以經由IuPS介面而連接至核心網路106中的SGSN 148。SGSN 148可以連接至GGSN 150。SGSN 148和GGSN 150可以向WTRU 102a、102b、102c提供到封包交換網路(例如網際網路110)的存取，以便於WTRU 102a、102b、102c和IP賦能裝置之間的通信。
如上所述，核心網路106還可以連接至網路112，網路112可以包括由其他服務提供者擁有或操作的其他有線或無線網路。
第1D圖是根據實施方式的RAN 104和核心網路107的系統圖。如上面提到的，RAN 104可使用E-UTRA無線電技術以經由空中介面116來與WTRU 102a、102b、102c通信。RAN 104還可以與核心網路107通信。
RAN 104可包括e節點B 160a、160b、160c，但可以理解的是，RAN 104可以包括任何數量的e節點B而保持與各種實施方式的一致性。eNB 160a、160b、160c的每一個可包括用於經由空中介面116來與WTRU 102a、102b、102c進行通信的一個或更多個收發器。在一種實施方式中，e節點B 160a、160b、160c可以使用MIMO技術。因此，e節點B 160a例如可以使用多個天線來向WTRU 102a發送無線信號及/或從其接收無線信號。
e節點B 160a、160b、160c的每一個可以與特定胞元關聯(未顯示)、並可以被配置為處理無線資源管理決策、切換決策、在上鏈及/或下鏈中的用戶排程等等。如第1D圖所示，e節點B 160a、160b、160c可以經由X2介面相互通信。
第1D圖中所示的核心網路107可以包括移動性管理實體(MME)162、服務閘道164及/或封包資料網路(PDN)閘道166。雖然前述單元的每一個被描述為核心網路107的一部分，應當理解的是，這些單元中的任一個可以由除了核心網路操作者之外的實體擁有及/或操作。
MME 162可以經由S1介面而連接到RAN 104中的e節點B 160a、160b、160c的每一個、並可以作為控制節點。例如，MME 162可以負責WTRU 102a、102b、102c的用戶認證、承載啟動/停用、在WTRU 102a、102b、102c的初始連結期間選擇特定服務閘道等等。MME 162還可以提供控制平面功能，用於在RAN 104和使用例如GSM或者WCDMA的其他無線電技術的其他RAN(未顯示)之間切換。
服務閘道164可以經由S1介面而連接到RAN 104中的eNB 160a、160b、160c的每一個。服務閘道164通常可以向/從WTRU 102a、102b、102c路由和轉發用戶資料封包。服務閘道164還可以執行其他功能，例如在eNB間切換期間錨定用戶平面、當下鏈數據對於WTRU 102a、102b、102c可用時觸發傳呼、管理和儲存WTRU 102a、102b、102c的上下文(context)等等。
服務閘道164還可以連接到PDN閘道166，PDN閘道166可以向WTRU 102a、102b、102c提供到封包交換網路(例如網際網路110)的存取，以便於WTRU 102a、102b、102c與IP賦能裝置之間的通信。
核心網路107可以便於與其他網路的通信。例如，核心網路107可以向WTRU 102a、102b、102c提供到電路交換網路(例如PSTN 108)的存取，以便於WTRU 102a、102b、102c與傳統陸地線路通信裝置之間的通 信。例如，核心網路107可以包括IP閘道(例如IP多媒體子系統(IMS)伺服器)，或者與之通信，該IP閘道作為核心網路107與PSTN 108之間的介面。另外，核心網路107可以向WTRU 102a、102b、102c提供到網路112的存取，該網路112可以包括被其他服務提供者擁有及/或操作的其他有線或無線網路。
第1E圖是根據實施方式的RAN 105和核心網路109的系統圖。RAN 105可以是使用IEEE 802.16無線電技術以經由空中介面117來與WTRU 102a、102b、102c進行通信的存取服務網路(ASN)。如下面進一步討論的，WTRU 102a、102b、102c，RAN 105和核心網路109的不同功能實體之間的鏈路可以被定義為參考點。
如第1E圖所示，RAN 105可以包括基地台180a、180b、180c和ASN閘道182，但應當理解的是，RAN 105可以包括任何數量的基地台和ASN閘道而與實施方式保持一致。基地台180a、180b、180c的每一個可以與RAN 105中的特定胞元(未示出)關聯並可以包括經由空中介面117以與WTRU 102a、102b、102c進行通信的一個或更多個收發器。在一個示例中，基地台180a、180b、180c可以使用MIMO技術。因此，基地台180a可以例如使用多個天線來向WTRU 102a發送無線信號、或從其接收無線信號。基地台180a、180b、180c可以提供移動性管理功能，例如呼叫切換(handoff)觸發、隧道建立、無線電資源管理、訊務分類、服務品質策略執行等等。ASN閘道182可以充當訊務聚合點、並且負責傳呼、緩衝用戶資料(profile)、路由到核心網路109等等。
WTRU 102a、102b、102c和RAN 105之間的空中介面117可以被定義為使用802.16規範的R1參考點。另外，WTRU 102a、102b、102c的每一個可以與核心網路109建立邏輯介面(未顯示)。WTRU 102a、102b、102c和核心網路109之間的邏輯介面可以定義為R2參考點，其可以用於認證、授權、IP主機(host)配置管理及/或移動性管理。
基地台180a、180b、180c的每一個之間的通信鏈路可以定義為包括便於WTRU切換和基地台間轉移資料的協定的R8參考點。基地台180a、180b、180c和ASN閘道182之間的通信鏈路可以定義為R6參考點。R6參考點可以包括用於促進基於與WTRU 102a、102b、102c的每一個關聯的移動性事件的移動性管理的協定。
如第1E圖所示，RAN 105可以連接至核心網路109。RAN 105和核心網路109之間的通信鏈路可以定義為R3參考點，R3參考點包括例如便於資料轉移和移動性管理能力的協定的。核心網路109可以包括行動IP本地代理(MIP-HA)184、認證、授權、計費(AAA)伺服器186和閘道188。儘管前述的每個元件被描述為核心網路109的部分，應當理解的是，這些元件中的任何一個可以由不是核心網路操作者的實體擁有或操作。
MIP-HA可以負責IP位址管理、並可以使WTRU 102a、102b、102c在不同ASN及/或不同核心網路之間漫遊。MIP-HA 184可以向WTRU 102a、102b、102c提供封包交換網路(例如網際網路110)的存取，以促進WTRU 102a、102b、102c和IP賦能裝置之間的通信。AAA伺服器186可以負責用戶認證和支援用戶服務。閘道188可促進與其他網路互通。例如，閘道可以向WTRU 102a、102b、102c提供對電路交換網路(例如PSTN 108)的存取，以促進WTRU 102a、102b、102c和傳統陸地線路通信裝置之間的通信。此外，閘道188可以向WTRU 102a、102b、102c提供網路112，其可以包括由其他服務提供者擁有或操作的其他有線或無線網路。
儘管未在第1E圖中顯示，應當理解的是，RAN 105可以連接至其他ASN，並且核心網路109可以連接至其他核心網路。RAN 105和其他ASN之間的通信鏈路可以定義為R4參考點，其可以包括協調RAN 105和其他ASN之間的WTRU 102a、102b、102c的移動性的協定。核心網路109和其他核心網路之間的通信鏈路可以定義為R5參考點，其可以包括促進本地核心網路和被訪問核心網路之間的互通的協定。
實施方式認識到與經由衛星、電纜及/或陸地傳輸頻道相比，越來越多的其他視訊應用，諸如視訊聊天、行動視訊和流視訊可以應用在與用戶端側以及網路側異質的環境中。諸如智慧手機、平板和電視的三種螢幕可以在用戶端側占主導，其中該視訊可以經由網際網路、行動網路及/或兩者的組合進行傳送。為了改進用戶體驗及/或服務的視訊品質，可以使用可縮放的視訊編碼。可縮放的視訊編碼可以以高解析度(例如，可能“最高”解析度)對信號進行編碼及/或可能根據一些應用所要求的特定速率和解析度等因素來啟動從流子集中解碼，該特定速率和解析度可以由用戶端裝置來支援。實施方式認識到國際視訊標準MPEG-2視訊、H.263、可見MPEG4和H.264具有支援可縮放性模式的工具及/或配置檔。
第2圖描述了基於通用模組的混合可縮放視訊編碼系統的示例方塊圖。由層-0(基層)表示的空間/時序信號解析度可以首先藉由對輸入視訊信號下取樣來產生。在後續的編碼階段，量化器(Q0)的合適設定可以引起基本資訊(例如，視訊信號)的特定品質等級。基層重建Y0可以為一種或者多種或者所有更高層解析度等級的近似值並且可以在後續層的編碼及/或解碼中利用。上取樣單元可以對基層重建信號進行上取樣從而匹配在一個或者多個或者任何一個更高層處的解析度。下取樣和上取樣可以在一個或者多個或者所有層(例如，0,1,2，……N)中執行，儘管下取樣及/或上取樣速率根據在不同層處視訊信號的相對維度等因素不同。例如，對於具有層-n(0<=n<=N)解碼能力的終端裝置，從層-0至層-n的位元流的子集(或者在一些實施方式中，可能僅這種子集)可以被傳送至該終端裝置。更高層(例如，n+1,……N)的子流可能被丟棄，可能無需傳輸等原因，從而節省頻寬。或許當由層n1和n2兩個層表示的視訊信號具有相同或者相似的空間解析度，諸如對應的下取樣和上取樣操作可以被忽視(by-passed)。
實施方式認識到可縮放視訊編碼(SVC)是H.264的擴展，該H.264的擴展可以啟動部分位元流的傳輸和解碼，從而以較低時序或者空間 解析度或者減少的保真度來提供視訊服務，同時保持相對於部分位元流速率高的重建品質。第3圖示出了改進可縮放編碼效率的示例性雙層SVC層間預測機制。在一些實施方式中，相同的機制還可以被應用到多層SVC編碼結構。在第3圖中，基層和增強層可以表示具有不同解析度的兩個相鄰空間可縮放層。在一個或者多個或者每個單層內，運動補償的預測和訊框內預測可以被當作標準H.264編碼器(圖中以虛線表示)。層間預測可以利用盡可能多的基層資訊，諸如但不限於空間紋理、運動向量預測器、參考圖像索引和剩餘信號以提高增強層的速率失真效率。在一些實施方式中，SVC可以不要求來自較低層的參考圖像完全重建。
實施方式涵蓋包括用信號發送針對時序預測(或者估計)及/或層間預測(或者估計)的參考圖像，以支援HEVC的多層可縮放增強擴展(HEVC的可縮放增強擴展被稱作可縮放HEVC視訊編碼(SHVC)，該SHVC在此處出於解釋而不是限制目的被稱作可縮放HEVC)的系統和方法。一些實施方式可以與單層HEVC參考圖像緩衝及/或列表建構過程相容，並且還可以支援針對多層可縮放編碼的層間預測。在一些實施方式中，該傳訊可以與單層HEVC參考圖像緩衝及/或列表建構相容及/或支援層間時序參考圖像集預測(例如，節省頻寬)及/或支援在諸如增強層及/或較低參考層之間的層間圖像預測。
實施方式涵蓋層間預測方法論可以在HEVC可縮放編碼擴展中方法使用以提高效率。第4圖示出了針對HEVC可縮放編碼所涵蓋的示例性層間預測結構。增強層的預測(或者估計)可以根據重建(例如，當兩層之間的空間解析度不同時在上取樣之後)的基層信號，或者根據目前增強層範圍內的時序參考圖像，藉由對具有時序預測信號的基層重建信號求平均的方式，及/或根據多於一種預測源的組合的運動補償預測來形成。在一些實施方式中，可能與SVC相比(諸如參考第3圖描述)，該方法要求較低層圖像的至少一些重建或者完全重建。在一些實施方式中，相同的機制還 可以被用於多層(例如，多於2層)HEVC可縮放編碼結構。
實施方式認識到針對參考圖像緩衝和列表建構的HEVC傳訊支援單層內的時序運動補償預測。實施方式還認識到藉由從H.264/SVC採用的記憶體管理控制操作(MMCO)指令和切片(slice)標頭中移除訊框_數目(frame_num)的方式簡化參考圖像緩衝管理。實施方式還認識到在參數集語法和切片標頭中添加的參考圖像集(RPS)的傳訊，其中一個或者多個或者每個集可以包括由目前圖像使用的多個參考圖像或者被保存用於諸如未來圖像的預測(或者估計)。
表1示出了示例性參考圖像集語法。一個或者多個或者每個參考圖像可以經由差量POC(圖像順序計數)來識別，該差量POC可以為目前圖像和參考圖像之間的距離。例如，對於第一圖像，POC可以為0，對於第二圖像，POC可以為1，並且對於第三圖像，POC可以為2，其中第一圖像和第三圖像之間的距離可以為2。此外舉個例子，假定目前圖像的POC為10並且編碼器想包括具有POC={9，7}的兩個參考圖像。該編碼器可以發送信號數目_負_圖像(num_negative_pics)=2和數目_正_圖像(num_positive_pics)=0。由於POC 10減POC 9為1，差量_poc_s0_減1[0]值為0。並且由於POC 9減POC 7為2，差量_poc_s0_減1[1]變成1。
第5圖為二元和嵌入式時序可縮放編碼結構的示例。在一些實施方式中，出於簡化目的，差量POC可以被用於在表2中定義的參考圖像集配置(例如，從RPS 0至RPS 10)。一個或多個或者每個圖像可以具有參考圖像列表0(RefPicList0)和參考圖像列表1(RefPicList1)中的至少一個參考圖像。
表3示出了示例性參考圖像集索引，該示例性參考圖像集索引可以被一個或者多個或者每個編碼圖像以及在解碼後的圖像緩衝(DPB)中可用的對應參考圖像使用。在一些實施方式中，一個或者多個或者每個參考圖像列表(RefPicList0/1)可以根據參數集中的活動參考圖像數目來設定(num_ref_idx_l0_default_active_minus1,num_ref_idx_l1_default_active_minus1)及/或切片標頭等因素，從DPB中選擇一個或者多個參考圖像。
實施方式涵蓋用於HEVC可縮放編碼的一個或者多個層內預測技術。實施方式認識到針對HEVC可縮放增強的一個或者多個可縮放場景，諸如空間可縮放性、SNR或者品質可縮放性及/或時序可縮放性。第6圖和第7圖示出了針對空間可縮放性和組合的(combined)時間/空間可縮放性的兩個示例性層內預測編碼結構。第6圖具有3個空間可縮放層、以及一個或者多個或者每個層具有不同的空間解析度。基層(層0)可以具有最低的空間解析度並且層2具有最高的空間解析度。從較低層中重建的圖像可以被上取樣成將增強層的空間解析度匹配為針對諸如層間預測的參考圖像。
表4示出了在DPB中緩衝的無層間預測的時序參考圖像的示例。在一些實施方式中，RPS配置可以等同於或者類似於如第2圖表中所描述的配置。在此示例中，一個或者多個或者每個層可以具有相同的訊框速率(例如，時序解析度)並且可以使用大小為8的相同GOP(圖像組)結構。在一些實施方式中，在DPB中緩衝的參考圖像對於一個或者多個或者每層可以是相同或者類似的。
表5為針對第6圖中所示的可縮放編碼結構的示例性層間預測參考圖像和層間預測參考圖像列表(IlpRefPicList0/1)。在一些實施方式中，或許由於增強層能夠使用來自較低參考層中的重建及/或比例增大的(up-scaled)參考圖像，參考圖像會比表4中的參考圖像更複雜。在該場景中，層-2可以從來自層-0和層-1的一者或者兩者中的比例增大的重建參考圖像中預測。在一些實施方式中，特定的較低層可以被指定為針對層間預測的參考層。例如，層-2的圖像可以從層-1(或者在一些實施方式中，或許被限制為僅從層-1中預測)中預測(或者估計)等原因從而降低複雜度。
第7圖為組合的空間和時序可縮放結構的示例。該示例具有3層，基層(層-0)可以在低訊框速率具有低空間解析度(例如，720p30)，層-1可以具有高空間解析度以及與基層相同的訊框速率(例如，1080P30)，層-2可以具有與層-1相同的高空間解析度，但訊框速率更高(例如，1080p60)。層-0的重建圖像可以被上取樣為針對層-1及/或層-2層間預測(或者估計)的參考圖像。由於層-1和層-2的空間解析度可以為相同的、等等原因，層-1的重建圖像可以被用作針對層-2的層間預測(或者估計)的參考圖像。一個或者多個或者每個增強層(層-1及/或層-2)圖像可以在相同層內在時序上執行運動補償的預測、及/或根據在較低參考層的參考圖像在時序上執行運動補償的預測(只要參考圖像在DPB中可用)、或者使用兩種類型參考信號的加權平均(例如，相同層和層間)。
層-2可以使用與在表2中定義的相同參考圖像集配置，而層-0和層-1可以使用表6中定義的不同參考圖像集。表6中示出了不具有層間預測 的一個或者多個或者每個單層的示例性參考圖像列表。
在一些實施方式中，可能為了與HEVC相容，可以不改變基層DPB中的參考圖像。增強層DPB可以包括來自針對表7中所示的層間預測的較低參考層中的附加層間參考圖像。
表7給出了在具有層間預測和相對IlpRefPicList0/1的一個或者多個或者每個層的DPB中可用的層間參考圖像(ILR)的示例。在此場景中，從一個或者多個或者每個參考層的至少一個參考圖像可以被選擇用於IlpRefPicList0/1。在一些實施方式中，編碼器可以根據運動估計的速率失真 成本來確定一個或者多個或者每個列表的圖像數並且確定哪些參考圖像包括在列表中。
實施方式涵蓋針對HEVC可縮放編碼的時序參考圖像傳訊。當一個或者多個或者每個層使用相同的預測結構(諸如低延遲預測或者二元編碼結構)以及相同的GOP大小和訊框速率時，一個或者多個實施方式涵蓋基層和增強層的時序參考圖像集可以為相同的。對於多層可縮放編碼，增強層的時序參考圖像集可以從基層及/或者具有在參數集中指定的相同時序參考集的任何較低參考層的時序參考圖像集中預測。
表8、表9、表10和表11為實施方式認定的序列參數集(SPS)語法、圖像參數集(PPS)語法和切片標頭語法的示例。與時序參考圖像集及/或時序參考圖像列表有關的語法被標記為雙星號。
實施方式涵蓋一種或者多種針對參考圖像集預測(或者估計)的語法及/或來自較低參考層中的增強層的參考圖像列表(例如在此之前未定義用於該預測(或者估計)的一種或者多種語法))。以下表格描述了一種或者多種涵蓋的語法。
在一種或者多種實施方式中，層_索引(layer_index)語法可以指定目前序列位於哪一層。在一些實施方式中，範圍可以為0至相關標準允許的最大層。
表13為針對由一種或者多種實施方式涵蓋的HEVC可縮放編碼的時序短期參考圖像集(RPS)語法。在一些實施方式中，可以在原始HEVC RPS結構和層間時序參考圖像集預測之間切換。在一些實施方式中，當“st_rps_預測_旗標(st_rps_prediction_flag)”等於0，該層可以在其活動PPS標頭及/或切片標頭中定義其本身RPS。在一些實施方式中，當“st_rps_prediction_flag”等於1時，短期時序RPS可以與較低參考層的至少一個短期RPS相同。在一些實施方式中，較低參考層數可以由“abs_diff_層_idx_減1(abs_diff_layer_idx_minus1)”擷取並且短期RPS索引可以由“短_期_參考_圖像_集_idx(short_term_ref_pic_set_idx)”給出。
在一些實施方式中，可能當st_rps_prediction_flag等於1時，目前層的短期RPS可以從來自較低參考層中的短期RPS中預測。在一些實施方式中，可能當st_rps_prediction_flag等於0時，目前層短期參考圖像集的層間預測可能被禁用。
一種或多種實施方式涵蓋abs_diff_層_idx_減1(abs_diff_layer_idx_minus 1)加1可以指定目前層索引和較低參考層索引之間的絕對差。在一些實施方式中，abs_diff_layer_idx_minus 1例如不會超過總層數減2。
一種或多種實施方式涵蓋short_term_ref_pic_set_idx可以指定在可被用於創建目前圖像的層間參考圖像集的活動參數集中指定的短期參考圖像集的列表的索引。
表14是一種或多種實施方式涵蓋的可縮放編碼的短期時序RPS值的示例。基層(layer-0)可以使用在0中定義的短期RPS。層1及/或層2的短期時序RPS中的一者或兩者可以從基層時序RPS中預測(或估計)。層2短期時序RPS也可以從層1的RPS中預測，其由於例如層1RPS可以進一步從層0中預測，在一些實施方式中可以引入RPS的遞迴解析。
實施方式涵蓋用於HEVC可縮放編碼的層間參考圖像傳訊。在 一些實施方式中，可能為了從不同較低參考層中標識參考圖像等原因，對應的層間預測(ILP)傳訊可以被添加到位元流語法。傳訊可以使得增強層DPB包括來自一個或多個較低參考層的一者或多者或所有有用的(或者在一些實施方式中可能是所需的)被重建的參考圖像，從而增強圖像能夠從任何上取樣(例如可能如果有用或者在一些實施方式中如果需要)層間參考圖像中預測以用於進一步例如改善編碼效率。
實施方式涵蓋用於HEVC可縮放編碼的序列參數集語法。在一種或多種實施方式中，用於層間圖像預測的SPS語法可以與表12中所示的相同，其可以包括附加層索引以指定目前序列可以位於哪個層。在一些實施方式中，層索引可以被用於從不同參考層中識別參考圖像。
實施方式涵蓋用於HEVC可縮放編碼的一個或多個圖像參數集語法。表15描述了啟用針對HEVC可縮放編碼的層間圖像預測的示例的所涵蓋PPS語法。
在一種或多種實施方式中，數目_st_ilp_參考_圖像_集(num_st_ilp_ref_pic_sets)可以指定在PPS中指定的短期層間參考圖像集的數目。在一些實施方式中，num_st_ilp_ref_pic_sets的值可以例如包括在0至64的範圍內。
在一種或多種實施方式中，等於0的長_期_ilp_參考_圖像_存在_旗標(long_term_ilp_ref_pics_present_flag)可以指定(或指明)沒有長期參考圖像可以被用於涉及圖像參數的任何編碼圖像的層間預測。在一些實施方式中，旗標等於1可以指定(或指明)例如可以被用於涉及圖像參數的任何編碼圖像的層間預測的長期參考圖像。
在一種或多種實施方式中，數目_ilp_參考_idx_l0_預設_活動_減1(num_ilp_ref_idx_l0_default_active_minus1)加1可以指定(或指明)在層間參考圖像列表0(IlpRefPicList0)中允許多少個參考圖像，可能是預設的。在一些實施方式中，值例如可以包括在0至31範圍內。
在一種或多種實施方式中，num_ilp_ref_idx_l0_default_active_minus1加1可以指定(或指明)在層間參考圖像列表1(IlpRefPicList1)中允許多少個參考圖像，可能是預設的。值例如可以包括在0至31範圍內。
實施方式涵蓋用於短期ILP參考圖像集的一個或多個場景(包括場景1)。表16描述了在參數集及/或在切片標頭中出現的層間參考圖像集。
一種或多種實施方式涵蓋abs_diff_layer_idx_minus1(abs_diff_層_idx_減1)加1可以指定(或指明)目前層索引和較低參考層索引之間的絕對差。在一些實施方式中，abs_diff_layer_idx_minus1的值例如不會超過總層數減2。
一種或多種實施方式涵蓋fps_比率_減1(fps_ratio_minus1)加1可以指定(或指明)目前層和參考層之間的訊框速率比。例如，增強層訊框速率可以是每秒30訊框，基層訊框速率可以是每秒15訊框，則fps_ratio_minus1為1。
一種或多種實施方式涵蓋數目_負_圖像(num_negative_pics)可以指定(或指明)以下的差量_poc_s0[i](delta_poc_s0[i])和使用_由_目前_圖像_s0_旗標[i](used_by_curr_pic_s0_flag[i])語法元素的數目。在一些實施方式中num_negative_pics的值可以例如包括在0至序列參數集(SPS)語法中指定的最大_數目_參考_訊框(max_num_ref_frames)範圍內。
一種或多種實施方式涵蓋數目_正_圖像(num_positive_pics)可以指定(或指明)以下的delta_poc_s1[i]和used_by_curr_pic_s1_flag1[i]語法元素的數目。在一些實施方式中num_positive_pics的值可以例如包括在0至最大_數目_參考_訊框-數目_負_圖像(max_num_ref_frames-num_negative_pics)範圍內。
一種或多種實施方式涵蓋delta_poc_s0[i]可以指定(或指明)兩個圖像順序計數值之間的絕對差。在一些實施方式中，delta_poc_s0[i]的值可以例如包括在0至215-1範圍內。
一種或多種實施方式涵蓋等於1的used_by_curr_pic_s0_flag[i]可以指定(或指明)來自參考層的第i個層間參考圖像可以被用於目前圖像的層間預測。一種或多種實施方式涵蓋等於0的used_by_curr_pic_s0_flag[i]例如可以指定第i個層間參考圖像不被目前圖像的層間預測使用。
一種或多種實施方式涵蓋delta_poc_s1[i]可以指定兩個圖像順序計數值之間的絕對差。在一些實施方式中，delta_poc_s1_minus1[i]例如可以包括在0至215-1範圍內。
一種或多種實施方式涵蓋等於1的used_by_curr_pic_s1_flag[i]可以指定(或指明)來自參考層的第i個層間參考圖像不被目前圖像用於層間預測。一種或多種實施方式涵蓋等於0的used_by_curr_pic_s1_flag1[i]例如可以指定(指明)第i個層間參考圖像不被目前圖像的層間預測使用。
實施方式涵蓋短期ILP參考圖像集傳訊可以是使得增強層將來自一個或多個較低參考層的任何被重建的參考圖像儲存到其DPB中的靈活方法。在一些實施方式中，對應的參考圖像集可以從較低參考層的DPB中移除。這種傳訊還可以支援混合編碼結構，其中基層可以在H.264中編碼，以及增強層可以在HEVC中編碼。在一些實施方式中，如果一個或多個或者每個增強層具有其本身的一個或多個短期ILP參考圖像集，則以這種傳訊是有用的。在一些實施方式中，相同的參考圖像可以例如在多層DPB中複製。
在一種或多種實施方式中，參考圖像集可以是使用差量POC來指明參考圖像的位置。對於層間預測，不同的層可能具有不同的訊框速率。較低層的ILP參考圖像POC可以按照Ilp參考圖像POC(IlpRefPicPOC)=(目前圖像POC(CurrPicPOC)+差量POC(deltaPOC))/(fps_比率_減1(fps_ratio_minus1)+1)來計算。表17示出了層2的層間預測示例，該層2的ILP參考圖像可能來自層1。層2的訊框速率可以為60fps，層1的訊框速率可以為30。示例顯示了如何從目前圖像POC及/或ILP參考圖像集中獲得ILP參考圖像POC值。
涵蓋一種或者多種針對短期ILP參考圖像集的場景的實施方式更包括示例場景2。一些實施方式涵蓋一些(或者大部分)預測間參考圖像的差量POC可以與除了該參考層的共置參考圖像之外的較低參考層的時序預測參考圖像相同。表18中描述了針對短期ILP參考圖像集的示例場景2。
表18：短期ILP參考圖像集語法(示例場景2)
一個或者多個實施方式涵蓋abs_diff_layer_idx_minus1及/或fps_ratio_minus1具有與表16中相同的定義。
一個或者多個實施方式涵蓋等於0的共置_參考_圖像_存在_旗標(colocated_ref_pic_present_flag)可以指定(或者指明)來自參考層中的共置參考圖像可以不包括在短期ILP參考圖像集中。一個或者多個實施方式涵蓋等於1的colocated_ref_pic_present_flag可以指定(或者指明)來自參考層中的共置參考圖像可以被包括在諸如短期ILP參考圖像集中。
一些實施方式涵蓋等於0的共置_參考_圖像_使用_由_目前_圖像_s0_旗標(colocated_ref_pic_used_by_curr_pic_s0_flag)可以指定(或者指明)共置的參考圖像例如不被目前圖像用於的層間預測。
一些實施方式涵蓋等於0的colocated_ref_pic_used_by_curr_pic_s0_flag可以指定(或者指明)共置的參考圖像例如不被目前圖像用於層間預測。
一些實施方式涵蓋等於0的st_rps_使用_由_目前_間_層_旗標(st_rps_used_by_curr_inter_layer_flag)可以指定(或者指明)無參考圖像集在活動參數集中被指定可以被用作短期層間參考圖像集。
一些實施方式涵蓋short_term_ref_pic_set_idx可以指定(或者 指明)一個或多個短期時序參考圖像集的索引，該短期時序參考圖像集可以在對應參考層的活動參數集中指定，該對應參考層可以例如被用於產生目前圖像的層間參考圖像集。
表19為在第7圖中使用針對可縮放結構示例的示例場景2傳訊語法結構的層-2的短期ILP參考圖像集的示例。這一短期ILP參考圖像集傳訊可以被設計用於ILP參考圖像集可以與較低參考層的時序參考圖像集相同的場景中，由此額外的位元可以被保存及/或未被複製的ILP參考圖像可以儲存在增強層中(或者在一些實施方式中，未被複製的ILP參考圖像可能需要儲存在增強層中)。
一種或者多種實施方式涵蓋至少一種處理不同層的不同訊框速率的方法可以與以下描述的與短期ILP參考圖像集(例如，示例場景1)有關的方法相同。
涵蓋一種或者多種用於短期ILP參考圖像集的實施方式還包括示例場景3。實施方式涵蓋為合併示例場景1和示例場景2，額外旗標 ilp_rps_prediction_flag可以被設定成在如表20中所示的示例場景1和示例場景2之間切換。在一些實施方式中，類似的旗標可以被移動至SPS或者PPS標頭，由此可以例如針對整個序列或者圖像做出決定。
實施方式涵蓋一個或者多個針對HEVC可縮放編碼的切片標頭語法。表21描述涵蓋的切片標頭語法，該片頭語法可以支援針對HEVC的可縮放增強擴展的短期及/或長期層間預測。
一些實施方式涵蓋等於1的短_期_ilp_參考_圖像_集_pps_旗標(short_term_ilp_ref_pic_set_pps_flag)可以指定(或者指明)可以使用活動參數集中的語法元素來創建目前圖像的短期層間參考圖像集。在一些實施方式中，等於0的short_term_ilp_ref_pic_set_pps_flag可以指定(或者指明)可以使用諸如切片標頭中的short_term_ilp_ref_pic_set( )語法結構中的語法元素來創建目前圖像的短期訊框間參考圖像集。
一些實施方式涵蓋短_期_ilp_參考_圖像_集_idx(short_term_ilp_ref_pic_set_idx)可以指定(或者指明)在活動參數集中指定的短期層間參考圖像集列表的索引，該活動參數集可以被用於產生目前圖像的層間參考圖像集。在一些實施方式中，語法元素short_term_ilp_ref_pic_set_idx可以由ceil(log2(num_st_ilp_ref_pic_sets))位元來表示。short_term_ref_pic_set_idx值可以包括在範圍0至num_st_inter_layer_ref_pic_sets-1之間，其中num_st_ilp_ref_pic_sets可以為來自諸如活動參數集的語法元素。
一些實施方式涵蓋數目_長_期_ilp_圖像(num_long_term_ilp_pics)可以指定(或者指明)包括在目前圖像的長期參考圖像集中的長期參考圖像數。在一些實施方式中，num_long_term_ilp_pics值可以在範圍0至諸如最大_數目_參考_訊框(max_num_ref_frames)-數目負圖像[StRpsIdx](NumNegativePics[StRpsIdx])-數目負圖像[StRpsIdx](NumPositivePics[StRpsIdx])-數目負間層圖像[StRpsIlpIdx](NumNegativeInterLayerPics[StRpsIlpIdx])-數目正間層圖像[StIlpRpsIdx](NumPositivePics[StIlpRpsIdx])內。在一些實施方式中，當不存在時，num_long_term_ilp_pics值可以被推導等於0。
在一種或者多種實施方式中，變數StRpsIdx可以被如下導出：if (short_term_ref_pic_set_pps_flag) StRpsIdx = short_term_ref_pic_set_idx else StRpsIdx = num_short_term_ref_pic_sets。
在一種或者多種實施方式中，變數StRpsIlpIdx可以被如下導出：if(short_term_ilp_ref_pic_set_pps_flag) StIlpRpsIdx = short_term_ilp_ref_pic_set_idx else StIlpRpsIdx = num_st_ilp_ref_pic_sets。
在這種場景中，max_num_ref_frames可以被時序參考圖像及/或ILP參考圖像共用。一些實施方式可以分別定義針對時序參考圖像及/或ILP參考圖像的SPS標頭中獨立的參考圖像數。
在一種或者多種實施方式中，delta_poc_lsb_ilp_lt[i]可以被用來確定第i個長期層間參考圖像的圖像順序計數值最小有效位元值，該第i個長期層間參考圖像例如可以被包括在目前圖像的長期層間參考圖像集中。
在一些實施方式中，等於0的used_by_curr_pic_ilp_lt_flag[i]可以指定(或者指明)第i個長期參考圖像不被目前圖像用於層間預測，其中該第i個長期參考圖像可以被包括在目前圖像的長期層間參考圖像集中。在一些實施方式中，等於1的旗標可以指定(或者指明)第i個長期參考圖像可以被目前圖像用於層間預測，其中該第i個長期參考圖像可以被包括在目前圖像的長期層間參考圖像集中。
一個或者多個實施方式涵蓋等於1的數目_ilp_參考_idx_活動_重寫_旗標(num_ilp_ref_idx_active_override_flag)可以指定(或者指明)語法元素數目_ilp_參考_idx_l0_活動_減1(num_ilp_ref_idx_l0_active_minus1)可以針對P及/或B切片存在，以及該語 法元素num_ilp_ref_idx_l1_active_minus1可以針對B片存在。一些實施方式涵蓋等於0的num_ilp_ref_idx_active_override_flag可以指定(或者指明)語法元素num_ilp_ref_idx_l0_active_minus1及/或num_ilp_ref_idx_l1_active_minus1可能不存在。
一種或者多種實施方式涵蓋一種或者多種層間預測(ILP)參考圖像列表建構技術。實施方式認識到HEVC可以指定用於時序參考圖像集及/或參考圖像列表建構的解碼過程。實施方式涵蓋至少兩個參考圖像列表RefPicList0和RefPicList1可以在針對P和B圖像的解碼過程期間被更新及/或被建構。一個或者多個實施方式涵蓋至少兩個針對層間預測(ILP)，ILPRefPicList0和ILPRfePicList1的參考圖像列表，可能用於HEVC可縮放編碼。在一些實施方式中，層間參考圖像列表可以包括短期及/或長期層間參考圖像或者兩者。
實施方式涵蓋一個或者多個針對ILP參考圖像集的解碼技術。在一些實施方式中，在切片標頭的解碼之後及/或在任何編碼單元的解碼之前，該解碼技術可以在每個圖像被調用(invoked)一次。在一些實施方式中，該過程可以與針對在HEVC中指定的時序參考圖像集的解碼過程並列。在一些實施方式中，該過程可以引起例如將一個或者多個參考圖像標記為“未用作參考”。
在一個或者多個實施方式中，ILP參考圖像集可以包括至少六個子集，例如即IlpRpsStCurr0、IlpRpsStCurr1、IlpRpsStFoll0、IlpRpsStFoll1、IlpRpsLtCurr和IlpRpsLtFoll，但不限於此。
在一些實施方式中，IlpRpsStCurr0可以包括一個或者多個或者所有ILP參考圖像，該ILP參考圖像可以是以從較低參考層的輸出次序及/或解碼次序在目前圖像之前、並且可以在目前圖像的層間預測中使用。
在一些實施方式中，IlpRpsStCurr1可以包括一個或者多個或者所有ILP參考圖像，該ILP參考圖像可以是以解碼次序在目前圖像之前、以 從較低參考層的輸出次序在目前圖像之後、及/或在目前圖像的層間預測中使用。
在一些實施方式中，IlpRpsStFoll0可以包括一個或者多個或者所有ILP參考圖像，該ILP參考圖像可以是以從較低參考層的輸出次序及/或解碼次序在目前圖像之前、可以用在以解碼次序跟隨目前圖像的一個或者多個圖像的層間預測中、及/或可以不被用在目前圖像的層間預測中。
在一些實施方式中，IlpRpsStFoll1可以包括一個或者多個或者所有參考圖像，該參考圖像可以是以解碼次序在目前圖像之前、以從較低參考層的輸出次序中在目前圖像之後、可以用在以解碼次序跟隨目前圖像的一個或者多個圖像的層間預測中使用、及/或可以不被應用在目前圖像的層間預測中。
在一些實施方式中，IlpRpsLtCurr可以包括一個或者多個或者所有長期ILP參考圖像，該長期ILP參考圖像可以被應用在目前圖像的層間預測中。
在一些實施方式中，IlpRpsLtFoll可以包括一個或者多個或者所有長期ILP參考圖像，該長期ILP參考圖像可以不被應用在目前圖像的層間預測中。
一個或者多個實施方式涵蓋IlpRpsStCurr0、IlpRpsStCurr1、IlpRpsStFoll0、IlpRpsStFoll1、IlpRpsLtCurr、及/或IlpRpsLtFoll的條目數可以分別為NumIlpRpsStCurr0、NumIlpRpsStCurr1、NumIlpRpsStFoll0、NumIlpRpsStFoll1、NumIlpRpsLtCurr及/或NumIlpRpsLtFoll。
在一些實施方式中，IlpRpsStCurr0、IlpRpsStCurr1、IlpRpsStFoll0和IlpRpsStFoll1可以統稱為層間參考圖像集的短期子集，該層間參考圖像集可以在一個或者多個或者每個參考層中可用。在一些實施方式中，IlpRpsLtCurr及/或IlpRpsLtFoll可以統稱為來自一個或者多個或者每個參考層中的層間參考圖像集的長期子集。
一種或者多種實施方式涵蓋以下可以應用於導出六個子集及/或條目數。
for(layer = layer_index - 1; layer >= 0; layer --) { for(i = 0, j = 0, k = 0; i < NumNegativePics[layer][StIlpRpsIdx] ; i++) { if(UsedByCurrPicIlpS0[layer][StIlpRpsIdx][i]) IlpRpsStCurr0[layer][j++] = (CurrPicPOC + DeltaPocS0[layer][StIlpRpsIdx][i])/ (fps_ratio_minus1 + 1) else IlpRpsStFoll0[layer][k++] = (CurrPicPOC + DeltaPocS0[layer][StIlpRpsIdx][i])/ (fps_ratio_minus1 + 1) } NumIlpRpsStCurr0 [layer]= j NumIlpRpsStFoll0[layer] = k } for(layer = layer_index - 1; layer >= 0; layer --) { for(i = 0, j = 0, k = 0; i < NumPositivePics[layer][StIlpRpsIdx]; i++) { if(UsedByCurrPicIlpS1[layer][StIlpRpsIdx][i]) IlpRefPicSetStCurr1[layer][j++] = (CurrPicPOC + DeltaPocS1[layer][StIlpRpsIdx][i]) / (fps_ratio_minus1 + 1) else IlpRefPicSetStFoll1[layer][k++] = (CurrPicPOC + DeltaPocS1[layer][StIlpRpsIdx][i]) / (fps_ratio_minus1 + 1) } NumIlpRpsStCurr1[layer] = j NumIlpRpsStFoll1[layer] = k } for(layer = layer_index - 1; layer >= 0; layer --) { for(i = 0, j = 0, k = 0; i < num_long_term_pics; i++) { if(used_by_curr_pic_ilp_lt_flag[layer][i]) IlpRpsLtCurr[layer][j++] = ((CurrPicPOC - DeltaPocLt[layer][i])/ (fps_ratio_minus1 + 1)+ MaxPicOrderCntLsb[layer]) % MaxPicOrderCntLsb[layer] else IlpRpsLtFoll[layer][k++] = ((CurrPicPOC - DeltaPocLt[layer][i])/ (fps_ratio_minus1 + 1)+ MaxPicOrderCntLsb[layer]) % MaxPicOrderCntLsb[layer] } NumRpsLtCurr[layer] = j NumRpsLtFoll[layer] = k }
在一些實施方式中，MaxPicOrderCntLsb可以在HEVC序列參數集語義中指定。
一個或者多個實施方式涵蓋deltaPOC為零的共置的ILP參考圖像可以被統計為正圖像，可能是預設的。在一些實施方式中，該共置的ILP參考圖像還可以被統計為負圖像。
一些實施方式涵蓋包括在0至num_st_inter_layer_ref_pic_sets-1範圍內的StIlpRpsIdx值可以指明來自活動參數集中的短期層間參考圖像集可以被使用。StIlpRpsIdx可以是以在參數集(例如，表15)中用信號發送的次序對於短期層間參考圖像集列表的短期層間參考圖像集的索引。一些實施方式涵蓋等於num_st_inter_layer_ref_pic_sets的StIlpRpsIdx可以指明在切片標頭(例如，表21)中用信號發送(例如，隱式或者顯式)的短期層間 參考圖像可以被使用。
一種或多種實施方式涵蓋，可能在導出層間圖像集之後，不被包括在層間參考圖像集中且被標記為“用作參考”的一個或者多個或者所有層間參考圖像例如可以被標記為“未用作參考”。
實施方式涵蓋用於對ILP參考圖像列表建構進行解碼的一種或者多種技術。在一種或者多種實施方式中，針對層間預測參考圖像列表建構的解碼過程可以在針對一個或者多個或者每個P或者B切片的解碼過程開始時調用。當對P及/B切片解碼時，存在至少一個來自IlpRpsStCurr0、IlpRpsStCurr1、及/或IlpRpsLtCurr中的較低參考層的ILP參考圖像。
在一些實施方式中，以下技術可以被用來建構初始的IlpRefPicList0：cIdx = 0 while(cIdx <= num_ilp_ref_idx_l0_active_minus1) { for(layer = layer_index -1; layer >= 0; layer --) { for(i=0; i < NumIlpRpsStCurr0[layer] && cIdx <= num_ilp_ref_idx_l0_active_minus1; cIdx++, i++) IlpRefPicList0[layer][cIdx] = IlpRpsStCurr0[layer][i] } for(layer = layer_index -1; layer >= 0; layer --) { for(i=0; i < NumIlpRpsStCurr1[layer] && cIdx <= num_ilp_ref_idx_l0_active_minus1; cIdx++, i++) IlpRefPicList0[layer][cIdx] = IlpRpsStCurr1[layer][i] } for(layer = layer_index -1; layer >= 0; layer --) { for(i=0; i < NumRpsLtCurr[layer] && cIdx <= num_ref_idx_l0_active_minus1; cIdx++, i++) IlpRefPicList0[cIdx] = IlpRpsLtCurr[i] } }
在一些實施方式中，以下程式可以被實施以建構初始的IlpRefPicList1：cIdx = 0 while(cIdx <= num_ilp_ref_idx_l1_active_minus1) { for(layer = layer_index -1; layer >= 0; layer --) { for(i=0; i < NumIlpRpsCurr1[layer] && cIdx <= num_ilp_ref_idx_l1_active_minus1; cIdx++, i++) IlpRefPicList1[layer][cIdx] = IlpRpsCurr1[layer][i] } for(layer = layer_index -1; layer >= 0; layer --) { for(i=0; i < NumIlpRpsCurr0[layer] && cIdx <= num_ilp_ref_idx_l1_active_minus1; cIdx++, i++) IlpRefPicList1[layer][cIdx]=IlpRpsCurr0[layer][i] } }
在一些實施方式中，預設的列表次序可以首先由層索引安排，之後由圖像索引安排。該列表例如還可以被安排為首先由圖像索引排序，之後由層索引排序。
實施方式涵蓋層間參考列表的修改可以針對一個或者多個或者每個獨立參考層以HEVC中指定的相同參考圖像列表修改過程來實施。
以下表22和表23(在第8圖中描述)為針對第7圖中所示的可縮放編碼結構的層-2 ILP參考圖像集和列表建構的示例。來自層-1的ILP參考圖像可以以一個星號(*)表示而來自層-0的ILP參考圖像可以用雙星號(**)表示。
在該示例中，來自層-1的圖像POC-0可以被設定為長期ILP參考圖像。IlpRefPicList0和IlpRefPicList1的活動條目數可以被設定為最大 值。一個或者多個或者每個ILP參考圖像可以被設定為由目前圖像使用。
ILP參考圖像列表0可以包括來自層-1的負ILP參考圖像、接著來自層-0的負ILP參考圖像、之後來自層-1的正ILP參考圖像(如果可用時，包括共置的圖像)以及來自層-0的正ILP參考圖像、且接著長期ILP參考圖像(如果可用時)。
ILP參考圖像列表1可以包括來自層-1的正ILP參考圖像(如果可用時，包括共置的圖像)、接著來自層-0的正ILP參考圖像、之後來自層-1的負ILP參考圖像以及來自層-0的負ILP參考圖像。
實施方式涵蓋針對HEVC可縮放編碼的組合後的時序及/或層間預測傳訊。如以下所描述，針對HEVC可縮放編碼的時序參考圖像傳訊可以指定支援時序參考圖像集(RPS)的層間預測的傳訊。如以下所描述，針對HEVC可縮放編碼的層間參考圖像傳訊可以指定支援層間圖像預測的傳訊。實施方式涵蓋參考圖像集及/或參考圖像列表的至少兩個獨立的組可以被設計用於不同的目的。一些實施方式涵蓋stRPS及/或RefPicList0/1可以被 設計用於層間時序RPS預測。一些實施方式涵蓋stIlpRps及/或IlpRefPicList0/1可以被設計用於層間圖像預測。
一個或者多個實施方式涵蓋由於一個或者多個或者每個編碼單元可以增加更多的語法傳訊以指明其涉及哪個列表(RefPicList0/1或者IlpRefPicList0/1)，獨立的參考圖像列表可以在切片級中導致更為複雜的傳訊，這可能為了將時序及/或層間圖像預測合併成現有的參考圖像列表框架。
實施方式涵蓋針對HEVC可縮放編碼的合併後的序列參數集(SPS)語法。在一些實施方式中，SPS語法結構可以與表12中描述的語法結構相同。實施方式涵蓋針對HEVC可縮放編碼的合併後的圖像參數集(PPS)語法。在一些實施方式，PPS語法結構可以與表9中描述的語法結構相同。
實施方式涵蓋針對HEVC可縮放編碼的合併後的短期參考圖像集(stRPS)語法。在一些實施方式中，短期參考圖像集語法可以與表24中描述的示例相同。在一些實施方式中，表24的示例可以覆蓋針對時序圖像預測及/或層間圖像預測或者兩者的短期參考圖像集。
一些實施方式涵蓋等於1的rps_prediction_flag可以指定(或者指明)可以從較低參考層的stRPS中預測目前stRPS。一些實施方式涵蓋等於0的rps_prediction_flag可以指定(或者指明)可以不從較低參考層的stRPS中預測目前stRPS。
一些實施方式涵蓋abs_diff_layer_idx可以指定(或者指明)目前層索引和參考層索引之間的絕對差。一些實施方式涵蓋如果目前層和參考層為相同層時，abs_diss_layer_idx可以等於0。
一些實施方式涵蓋fps_ratio_minus1加1可以指定(或者指明)目前層和參考層之間的訊框速率比。一些實施方式涵蓋如果目前層和參考層為相同層時，fps_ratio_minus1可以等於0。
一些實施方式涵蓋等於1的collocated_ref_pic_present_flag可以 指定(或者指明)來自較低參考層的共置參考圖像可以被包括在stRPS中。一些實施方式涵蓋等於0的collocated_ref_pic_present_flag可以指定(或者指明)來自較低參考層的共置參考圖像可以不被包括在stRPS中。
一些實施方式涵蓋等於0的colocated_ref_pic_used_by_curr_pic_s0_flag諸如可以指定(或者指明)共置的參考圖像不被目前圖像用作層間預測。一些實施方式涵蓋等於0的colocated_ref_pic_used_by_curr_pic_s1_flag諸如可以指定(或者指明)共置的參考圖像不被目前圖像用作層間預測。
一些實施方式涵蓋等於0的st_rps_ilp_flag可以指定(或者指明)無短期參考圖像集可以被用於目前層的短期層間參考圖像集，其中該短期參考圖像集可以在對應參考層的活動參數集中指定。一些實施方式涵蓋等於1的st_rps_ilp_flag可以指定(或者指明)短期參考圖像集可以被用於目前層的短期層間參考圖像集，其中該短期參考圖像集可以在對應參考層的活動參數集中指定。
一些實施方式涵蓋short_term_ref_pic_set_idx可以指定短期參考圖像集的索引，該短期參考圖像集可以在對應參考層的活動參數集中指定，該對應參考層可以被用於產生目前圖像的短期參考圖像集。
在一些實施方式中，語法num_negative_pics、num_positive_pics、delta_pc_s0、used_by_curr_pic_s0_flag及/或used_by_curr_pic_s1_flag可以與諸如在HEVC中指定的相同。
實施方式涵蓋針對HEVC可縮放編碼的合併後的切片標頭語法。表25中示出了示例性合併後的切片標頭。除了其他參數之外，實施方式涵蓋至少兩個信號“abs_diff_layer_idx”和“fps_ratio_minus1”可以被添加到長期參考圖像中。該兩個信號的語義可以與以下描述的一致。
實施方式涵蓋一個或者多個合併後的參考列表建構技術。以下描述了兩個附加ILP參考圖像列表(IlpRefPicList0和IlpRefPicList1)的建構過程。由於合併後的短期和長期參考圖像集可以被應用到相同層內及/或在不同的層之間或者兩者的圖像預測中，參考圖像列表還可以被合併以包括來自針對時序預測的目前層的參考圖像及/或來自針對層間預測的較低參考層的參考圖像。
一個或者多個實施方式涵蓋定義為如下的變數：If (！rps_prediction_flag) { NumNegativePics[currLayer][idx] = num_negative_pics; NumPositivePics[currLayer][idx] = num_positive_pics; UsedByCurrPicS0[currLayer][idx][i] = used_by_curr_pic_s0_flag[i]; UsedByCurrPicS1[currLayer][idx][i] = used_by_curr_pic_s1_flag[i]; } else {refLayer = currLayer - abs_diff_ref_layer_idx; rpsIdx = short_term_ ref_pic_set_idx; NumNegativePics[currLayer][idx] = NumNegativePics[refLayer][rps_idx]; NumPositivePics[currLayer][idx] = NumpositivePics[refLayer][rps_idx]; UsedByCurrPicS0[currLayer][idx][i] = used_by_curr_pic_s0_flag[refLayer][rps_idx][i]; UsedByCurrPicS1[currLayer][idx][i] = used_by_curr_pic_s1_flag[refLayer][rps_idx] [i]; If (collocated_ref_pic_present_flag) { NumPositivePics[currLayer][idx] ++; UsedByCurrPicS0[currLayer][idx][i] = colocated_ref_pic_used_by_curr_pic_s0_flag[idx][i]; UsedByCurrPicS1[currLayer][idx][i] = colocated_ref_pic_used_by_curr_pic_s1_flag[idx][i]; }
一個或者多個實施方式涵蓋參考圖像集可以包括至少六個子集，即RpsStCurr0、RpsStCurr1、RpsStFoll0、RpsStFoll1、RpsLtCurr及/或RpsLtFoll。
在一些實施方式中，RpsStCurr0可以包括一個或者多個或者所有參考圖像，該參考圖像可以是以從目前或較低參考層的的輸出次序及/或解碼次序在目前圖像之前、並且可以在目前圖像的時序或者層間預測中使用。
在一些實施方式中，RpsStCurr1可以包括一個或者多個或者所有參考圖像，該參考圖像可以是以解碼次序在目前圖像之前、以從目前層及/或較低參考層的輸出次序在目前圖像之後、並且可以在目前圖像的時序或者層間預測中使用。
在一些實施方式中，RpsStFoll0可以包括一個或者多個或者所有參考圖像，該參考圖像可以是以從目前或較低參考層的輸出次序及/或解碼次序在目前圖像之前、可以是以解碼次序跟隨目前圖像的一個或者多個圖像的時序或者層間預測中使用、並且可以不在目前圖像的時序或者層間預測中使用。
在一些實施方式中，RpsStFoll1可以包括一個或者多個或者所有參考圖像，該參考圖像可以是以解碼次序在目前圖像之前、以從目前或較低參考層的輸出次序在目前圖像之後、可以以解碼次序跟隨目前圖像的一個或者多個圖像的時序或者層間預測中使用、並且可以不在目前圖像的時序或者層間預測中使用。
在一些實施方式中，RpsLtCurr可以包括一個或者多個或者所有長期ILP參考圖像，該ILP參考圖像可以在目前圖像的時序或者層間預測中使用。
在一些實施方式中，RpsLtFoll可以包括一個或者多個或者所有長期ILP參考圖像，該ILP參考圖像不在目前圖像的時序或者層間預測中使用。
在一些實施方式中，RpsStCurr0、RpsStCurr1、RpsStFoll0、RpsStFoll1、RpsLtCurr及/或RpsLtFoll的條目數可以分別為NumRpsStCurr0、NumRpsStCurr1、NumRpsStFoll0、NumRpsStFoll1、NumRpsLtCurr及/或NumRpsLtFoll。
一個或者多個實施方式涵蓋以下可以應用於導出至少六個子集及/或條目數：for(layer = currLayer; layer >= 0; layer --) { for(i = 0, j = 0, k = 0; i < NumNegativePics[currLayer][stRpsIdx]; i++) { if(UsedByCurrPicS0[currLayer][stRpsIdx][i]) RpsStCurr0[currLayer][j++] = (CurrPicPOC + DeltaPocS0[currLayer][stRpsIdx][i])/ (fps_ratio_minus1 + 1) else RpsStFoll0[currLayer][k++] = (CurrPicPOC + DeltaPocS0[currLayer][stRpsIdx][i])/ (fps_ratio_minus1 + 1) } NumRpsStCurr0 [currLayer]= j NumRpsStFoll0[currLayer] = k } for(layer = currLayer; layer >= 0; layer --) { for(i = 0, j = 0, k = 0; i < NumPositivePics[currLayer][stRpsIdx]; i++) { if(UsedByCurrPicS1[currLayer][stRpsIdx][i]) RefPicSetStCurr1[currLayer][j++] = (CurrPicPOC + DeltaPocS1[currLayer][stRpsIdx][i]) / (fps_ratio_minus1 + 1) else efPicSetStFoll1[currLayer][k++] = (CurrPicPOC + DeltaPocS1[currLayer][stRpsIdx][i]) / (fps_ratio_minus1 + 1) } NumRpsStCurr1[currLayer] = j NumRpsStFoll1[currLayer] = k } for(layer = currLayer; layer >= 0; layer --) { for(i = 0, j = 0, k = 0; i < num_long_term_pics; i++) { if(used_by_curr_pic_ lt_flag[layer][i ) RpsLtCurr[currLayer][j++] = ((CurrPicPOC - DeltaPocLt[currLayer][i] + MaxPicOrderCntLsb[currLayer]) / (fps_ratio_minus1 + 1)) % (MaxPicOrderCntLsb[currLayer] / (fps_ratio_minus1 + 1)) else RpsLtFoll[currLayer][k++] = ((CurrPicPOC - DeltaPocLt[currLayer][i] + MaxPicOrderCntLsb[currLayer]) / (fps_ratio_minus1 + 1)) % MaxPicOrderCntLsb[currLayer] } NumRpsLtCurr[layer] = j NumRpsLtFoll[layer] = k }
在一些實施方式中，MaxPicOrderCntLsb可以在HEVC序列參數集語義中指定。
一個或者多個實施方式涵蓋以下示例性技術可以被實施以建構RefPicList0：cIdx = 0 while(cIdx <= num_ref_idx_l0_active_minus1) { for(layer = currLayer; layer >= 0; layer --) { for(i=0; i < NumRpsStCurr0[currlayer] && cIdx <= num_ref_idx_l0_active_minus1; cIdx++, i++) RefPicList0[currLayer][cIdx] = RpsStCurr0[Layer][i] } for(layer = currLayer; layer >= 0; layer --) { for(i=0; i < NumRpsStCurr1[layer] && cIdx <= num_ref_idx_l0_active_minus1; cIdx++, i++) RefPicList0[currLayer][cIdx] =RpsStCurr1[layer][i] } for(layer = currLayer; layer >= 0; layer --) { for(i=0; i < NumRpsLtCurr[layer] && cIdx <= num_ref_idx_l0_active_minus1; cIdx++, i++) RefPicList0[currLayer][cIdx] = RpsLtCurr[layer][i] } }
一個或者多個實施方式涵蓋以下技術可以被實施以建構初始的RefPicList1： cIdx = 0 while(cIdx <= num_ref_idx_l1_active_minus1) { for(layer = currLayer; layer >= 0; layer --) { for(i=0; i < NumRpsCurr1[layer] && cIdx <= num_ref_idx_l1_active_minus1; cIdx++, i++) RefPicList1[currLayer][cIdx] = RpsCurr1[layer][i] } for(layer = currLayer; layer >= 0; layer --) { for(i=0; i < NumRpsCurr0[layer] && cIdx <= num_ilp_ref_idx_l1_active_minus1; cIdx++, i++) RefPicList1[currLayer][cIdx] = RpsCurr0[layer][i] } }
表26和表27(第9圖中描述)為第7圖中所示的針對可縮放編碼結構的層-2合併後的參考圖像集和列表建構的示例。來自層-2的時序參考圖像以一個星號(*)表示，來自層-1的參考圖像以兩個星號(**)表示並且來自層-0的參考圖像被表示為(***)。
在這一示例中，來自層-1的POC-0可以被設定為長期ILP參考圖像。RefPicList0及/或RefPicList1的活動條目數可以被設定為最大值，由此參考圖像集中的一個或者多個或者所有參考圖像可以被包括在列表中。此外，一個或者多個或者所有參考圖像可以被設定為由目前圖像使用。
參考圖像列表0可以包括來自目前層、層-1及/或層-0的負參考圖像、之後跟隨了來自目前層、層-1和層-0的正ILP參考圖像(如果可用時，包括共置的圖像)、以及例如之後(在一些實施方式中，可能最後)如果可用時的長期ILP參考圖像。
參考圖像列表1可以包括來自目前層-2、層-1及/或層-0(如果可用時，包括層-1和層-0的共置圖像)的正參考圖像，之後跟著來自目前層-2、層-1及/或層-0的負參考圖像。
一個或者多個實施方式涵蓋預設的參考圖像建構還以參考圖像子集中的參考圖像的索引進行排序。例如，一個或者多個或者每個層的RPS的第一負圖像可以被首先包括在list0中，之後跟隨了諸如一個或者多個或者每個層的RPS等的第二負圖像。舉層-2 POC 6作為例子，來自表27的預設列表可以類似於RefPicList0={4*,2*,0*,2**,1**,2***,1***,0***,8*,3**,4**,3***,4***}。替代地或者附加地，其還可以被建構為如下：RefPicList0={4*,2**,2***,2*,1**,1***,0*,0***,8*,3**,3***,4**,4***}。在一些實施方式中，相同的建構次序還可以被應用到諸如RefPicList1中。
實施方式認識到視訊編碼系統可以被用來壓縮數位視訊信號以低該信號的儲存需求及/或傳輸頻寬。實施方式認識到各種類型的視訊編碼系統，諸如基於區塊、基於波形以及基於物件的系統及/或基於區塊的混合視訊編碼系統。基於區塊的視訊編碼系統的示例包括國際視訊編碼標準，諸如MPEG1/2/4部分2、H.264/MPEG-4部分10 AVC和VC-1標準。實施方式涵蓋數位視訊能力可以被併入到很大範圍的裝置，包括數位電 視、數位直接廣播系統、無線廣播系統、個人數位助理(PDA)、膝上型電腦或者桌上型電腦、數位相機、數位記錄裝置、視訊遊戲裝置、視訊遊戲控制台、蜂巢式及/或衛星無線電電話等等。實施方式認識到許多數位視訊裝置可以實施視訊壓縮技術，諸如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4部分10、高級視訊編碼(AVC)和該標準擴展定義的標準中描述的技術，從而更有效地傳輸和接收數位視訊資訊。實施方式認識到無線通信技術可以增加無線頻寬並提高針對行動裝置用戶的服務品質並且實施方式還認識到諸如經由行動網路的高清晰度(HD)視訊內容的視訊內容快速增長需求給行動視訊內容提供者、經銷商和載波服務提供者帶來挑戰。
實施方式認識到，可能與數位視訊服務相比較(例如，經由衛星、電纜和陸地傳輸頻道發送TV信號)，越來越多的其他視訊應用，諸如視訊聊天、行動視訊和流視訊可以應用在異質環境中。該異質性可以存在用戶端側以及網路中。在用戶端側，三螢場景(例如，智慧型電話、平板及/或TV)為示例。在網路側，視訊可以經由網際網路、WiFi網路、行動(3G和4G)網路及/或其任何組合進行傳送。為了改進用戶體驗及/或視訊服務品質等益處，實施方式涵蓋可縮放的視訊編碼。在一些實施方式，可縮放的視訊編碼可以將信號編碼到整體高解析度的多個流中，同時使得能夠從根據對特定應用有用(或者在一些實施方式所要求的)並且受用戶端裝置支援的特定速率和解析度的流子集中解碼。
一些實施方式涵蓋術語“解析度”可以由多個視訊參數來定義，包括但不限制於空間解析度(例如，圖像大小)、時序解析度(例如，訊框速率)及/或視訊品質(例如，主觀品質，諸如MOS，及/或客觀品質，諸如PSNR或者SSIM或者VQM)。實施方式還涵蓋諸如色度格式(例如諸如YUV420或YUV422或YUV444)、位元-深度(例如，諸如8位元或者10位元視訊)及/或寬高比(例如，16：9或者4：3)。實施方式認識到國際視訊標準 MPEG-2視訊、H.263、MPEG4可見和H.264具有支援可縮放模式的工具及/或配置檔。可縮放編碼可以至少包括時序可縮放性(例如，可縮放位元流可以包含以一個或者多個訊框速率的視訊信號)、空間可縮放性(例如，可縮放位元流可以包含以一個或者多個空間解析度的信號)及/或品質可縮放性(例如，可縮放位元流可以包含以一個或者多個品質等級的信號)。附加地，可以包括視覺可縮放性(例如，可縮放位元流可以包含2D及/或3D視訊信號)。不失一般性，儘管空間可縮放性可以被用來描述一個或者多個可縮放HEVC實施方式，以下描述的涵蓋實施方式可以被擴展到其他類型的可縮放性(例如，諸如品質可縮放性或者如以下描述的其他可縮放性)。
第10圖為描述利用以下描述的視訊編碼/解碼技術的示例視訊編碼和解碼系統1000的方塊圖。如第10圖中所示，系統1000包括源裝置2112，該源裝置2112可以經由通信頻道2116來傳送解碼後的視訊至目的裝置2114。源裝置2112及/或目的裝置2114可以包括任一大範圍裝置。在一些情況下，源裝置2112及/或目的裝置2114可以包括無線接收/傳輸單元(WRTU)，諸如經由通信頻道2116來傳輸視訊資訊的無線手持或者任何無線裝置，在該情況下通信頻道2116可以為無線。以下描述的系統和方法不限於無線應用或者設定。例如，這些技術可以應用到空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路視訊傳輸、在儲存媒體(諸如DVD或者SD卡)上編碼後的數位視訊及/或其他場景。相應地，通信頻道2116可以包括適於編碼後的視訊資料傳輸的無線或者有線媒體的任何組合。
在第10圖的示例中，源裝置2112可以包括視訊源2118、視訊編碼器2120、調變器(例如，數據機)2122及/或傳輸器2124。目的裝置2114可以包括接收器2126、解調器(例如，數據機)2128、視訊解碼器2130及/或顯示裝置2132。在一種或者多種實施方式中，源裝置2112的視訊編碼器2120可以被配置以應用以下描述的運動預測技術。在其他示例中，源裝置和目的裝置可以包括其他元件或者排列。例如，源裝置2112可以從諸如外 部相機之類的外部視訊源2118中接收視訊資料。類似地，目的裝置2114可以連接外部的顯示裝置，而不包括集成的顯示裝置。在一些實施方式中，由視訊編碼器產生的資料流可以被傳達至其他裝置而無需將該資料調變到載波信號，諸如經由直接的數位傳輸，其中該其他裝置可以或者可以不調整用於傳輸的資料。
以下描述的技術可以由任一數位視訊編碼及/或解碼裝置執行。由此，以下描述的系統和方法可以使用為非限制性的無線傳輸、有線傳輸及/或從儲存媒體連接所編碼的視訊資料。此外，儘管本發明技術可以由視訊編碼裝置執行，該技術還可以由視訊編碼器/解碼器執行，其中該視訊編碼器/解碼器可以被稱作“CODEC”。此外，本發明技術還可以由視訊處理器及/或預處理器執行。源裝置2112及/或目的裝置2114為該編碼裝置的示例，其中源裝置2112可以產生用於傳輸至目的裝置2114的編碼後的視訊資料。在一些示例中，裝置2112、2114可以以大體上對稱的方式進行操作，由此裝置2112、2114的每一個可以包括視訊編碼和解碼元件。在一些實施方式中，系統1000可以在裝置2112、2114之間支援單頻道或者雙頻道視訊傳輸以用於諸如視訊流、視訊重播、視訊廣播及/或視訊電話。在一些實施方式中，源裝置可以為用於產生針對一個或者多個目的裝置的編碼後的視訊資料的視訊流伺服器，其中該目的裝置可以經由有線及/或無線通信系統來與源裝置進行通信。
源裝置2112的視訊源2118可以包括視訊捕獲裝置，諸如視訊攝影機、包含之前捕獲視訊的視訊存檔及/或從視訊內容提供者的視訊供給。在一些實施方式中，視訊源2118可以產生基於電腦圖像的資料以作為源視訊或者現場直播視訊、存檔視訊及/或電腦產生的視訊的組合。在一些情況中，如果視訊源2118為視訊攝影機，源裝置2112及/或目的裝置2114可以形成所謂的相機手機及/或視訊電話。在進一步轉碼(transcoding)實施方式中，源2118可以為編碼後的位元流，該編碼後的位元流符合諸如H.264 之類的另一視訊標準。編碼器2120可以包括初始的解碼階段以獲得未編碼的視訊資料，該未編碼的視訊資料接著根據以下描述的技術而被編碼。如以下提到的，本發明描述的技術可以通常適用於視訊編碼，並且可以應用到無線及/或有線應用。在一些實施方式中，捕獲後、預捕獲的、解碼後的及/或電腦產生的視訊可以由視訊編碼器2120進行編碼。編碼後的視訊資訊接著可以根據通信標準以由調整解調器2122進行調變、並且可以經由傳輸機2124傳送至目的裝置2114。數據機2122可以包括各種混頻器、濾波器、放大器或者設計用於信號調變的其他元件。傳輸機2124可以包括被設計用於傳送資料的電路，包括放大器、濾波器和一個或者多個天線。
目的裝置2114的接收器2126可以經由頻道2116來接收資訊，並且數據機2128可以對該資訊進行解調。視訊解碼過程可以實施以下描述的一種或者多種技術。經由頻道2116傳送的資訊可以包括由視訊編碼器2120定義的語法資訊，該視訊編碼器2120還可以被視訊解碼器2130使用，該語法資訊可以包括描述視訊區塊及/或諸如GOP之類的其他編碼後的單元的特徵及/或處理的語法元素。顯示裝置2132可以顯示解碼後的視訊資料至用戶並且包含各種顯示裝置的任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、等離子顯示器、有機發光二極體(OLED)顯示器及/或另一類型的顯示裝置。
在第10圖的示例中，通信頻道2116可以包括任一無線或者有線通信媒體，諸如射頻(RF)頻譜或者一種或者多種實體傳輸線及/或無線和有線媒體的任何組合。通信頻道2116可以成為基於封包網路的一部分，諸如區域網路、廣域網路或者諸如網際網路的全域網路。通信頻道2116可以表示任何合適的通信媒體及/或不同通信媒體的集合以用於從源裝置2112中傳送視訊資料至目的裝置2114，包括有線或者無線媒體的任何合適的組合。通信頻道2116可以包括路由器、交換機、基地台及/或對方便從源裝置2112至目的裝置2114通信有用的任何其他裝置。
視訊編碼器2120和視訊解碼器2130可以根據諸如目前正在由JCT-VC開發的下一代視訊編碼標準HEVC之類的視訊壓縮標準進行操作。本發明的技術不限於任何特定的編碼標準。儘管未在第10圖中示出，在一些方面，視訊編碼器2120及/或視訊解碼器2130可以分別與語音編碼器和解碼器一起集成、並且包括合適的MUX-DEMUX單元或者其他硬體和軟體，從而處理對普通資料流或者獨立資料流中的語音和視訊二者的編碼。在一些實施方式中，MUX-DEMUX單元可以符合ITU H.223多工器協定或者諸如用戶資料報協定(UDP)之類的其他協定。
視訊編碼器2120及/或視訊解碼器2130分別可以被實施為各種合適的編碼器電路的一者，諸如一種或者多種微處理器、數位信號處理器(DSP)、專用積體電路(ASIC)、現場可編程邏輯陣列(FPGA)、離散邏輯、軟體、硬體、韌體或者其任一組合。一個或者多個或者每個視訊編碼器2120及/或視訊解碼器2130可以被包括在一個或者多個編碼器或者解碼器中，該編碼器或者解碼器的一者可以在各自的相機、電腦、行動裝置、用戶裝置、廣播裝置、機頂盒、伺服器、媒體感知網路元素等中被集成為組合的編碼器/解碼器(CODEC)的一部分。
在一些實施方式中，視訊序列可以包括一系列的視訊訊框。圖像組(GOP)可以包括一系列的一個或者多個視訊訊框。GOP可以包括GOP頭、GOP的一個或者多個訊框標頭或者在描述包括在GOP中的多個訊框之處的語法資料。一個或者多個或者每個訊框可以包括描述針對各自訊框的編碼模式的訊框語法資料。視訊編碼器2120可以在獨立視訊訊框內的視訊區塊上進行操作，可能為了對視訊資料進行編碼。該視訊區塊可以具有固定或者變化的大小、並且根據指定的編碼標準在大小上不同。一個或者多個或者每個視訊訊框具有多個切片。一個或者多個或者每個切片可以包括多個視訊區塊。
第11圖為描述視訊編碼器200示例的方塊圖，該視訊編碼器200 可以被用來實施以下描述的可縮放視訊編碼系統和方法的各種獨立層。視訊編碼器200可以執行在視訊訊框內的區塊的訊框內編碼和訊框間編碼，包括視訊區塊或者視訊區塊部分或者子部分。訊框內編碼可以使用空間預測來降低及/或移除給定視訊訊框內的視訊中的空間冗餘。訊框間編碼可以使用時序預測來降低及/或移除視訊序列相臨訊框內的視訊中的時序冗餘。訊框內模式(例如，I-模式)可以涉及數個基於空間壓縮模式及/或諸如單向預測(例如，P-模式)或者雙向預測(例如，B-模式)之類的訊框間模式的任何一者及/或可以涉及數個基於時序的壓縮模式的任一者。
在一些實施方式中，輸入視訊信號202可以逐區塊地進行處理。該視訊區塊單元可以為16 *16像素(例如，巨集區塊(MB))。實施方式認識到ITU-T/SG16/Q.6/VCEG和ISO/IEC/MPEG的JCT-VC(視訊編碼方面的聯合協作組)正在開發稱作高效視訊編碼(HEVC)的下一代視訊編碼標準。在HEVC中，擴展的區塊大小(稱作“編碼單元”或者CU)可以被用來更有效地壓縮高解析度(1080p及以上)視訊信號。在HEVC中，CU可以高達64x64像素並且低至4x4像素。CU可以進一步分割為獨立的預測方法可以應用的預測單元或者PU。一個或者多個或者每個輸入視訊區塊(MB、CU、PU等)可以使用空間預測單元260及/或時序預測單元262來處理。
在一些實施方式中，空間預測(例如，訊框內預測)可以使用來自在相同的視訊圖像/切片中已經編碼的相鄰區塊中的像素來預測目前視訊區塊。空間預測可以降低在視訊信號中內在的空間冗餘。時序預測(例如，訊框間預測或者運動補償的預測)可以使用來自已經編碼的視訊圖像的像素來預測目前的視訊區塊。時序預測可預測以降低在視訊信號中內在的時序冗餘。針對給定視訊區塊的時序預測可以由一個或者多個運動向量以信號發送，其中該一個或者多個運動向量可以指明目前區塊和一個或者多個其參考區塊之間的運動方向及/或量。
在一些實施方式中，可能如果多個參考圖像被支援(例如， 對於諸如H.264/AVC或者HEVC的最近視訊編碼標準的情況)，那麼對於一個或者多個或者每個視訊區塊，其參考圖像索引還可以被發送。該參考索引可以被用來識別時序預測信號來源於時序參考儲存器264中的哪一個參考圖像。在空間及/或時序及/或層間預測之後，編碼器中的模式決定及/或編碼器控制器280可以諸如至少部分基於速率失真優化技術來選擇預測模式。預測區塊可以從位於加法器216處的目前視訊區塊中減去、及/或預測剩餘部分(residual)可以由變換單元204進行轉換及/或由量化單元206進行量化。量化後的剩餘係數(residual coefficient)可以在逆量化單元210處被逆量化並且在逆轉換單元212處逆轉換以形成重建的剩餘部分。該重建的區塊可以在加法器226處加回至預測模組以形成重建的視訊模組。進一步的在環(in-loop)濾波，諸如解塊濾波器及/或自適應環濾波器266可以在重建的視訊區塊上應用，可能在其放置在參考圖像記憶體264並且被用來編碼未來的視訊區塊之前。為了形成輸出視訊位元流220等目的外，編碼模式(例如，訊框間或者訊框內)、預測模式資訊、運動資訊及/或量化的剩餘係數可以被發送到熵編碼單元208並且進一步被壓縮及/或封包從而形成位元流220。
第12圖為基於區塊的視訊解碼器的方塊圖，該解碼器可以在一個或者多個實施方式中被用來對可縮放視訊編碼後的流的各種層中的一個或者多個或者每個層進行解碼。用於對應層的視訊位元流302可以被解開及/或在熵解碼單元308處被熵解碼。編碼模式及/或預測資訊可以被發送至空間預測單元360(例如，如果內部編碼的)及/或時序預測單元362(例如，如果層間編碼的)以形成預測區塊。剩餘變換係數(residual transform coefficient)可以被發送至逆量化單元310及/或逆變換單元312，在此剩餘變換係數可以用來重建剩餘區塊。預測區塊及/或剩餘區塊(residual block)可以在326處一起相加。重建的區塊可以在其儲存在參考圖像儲存器364之前亦通過環內濾波單元366。重建的視訊320可以被發送出來以驅動顯示裝置及/或被用來預測未來的視訊區塊。
在一些實施方式中，此處描述的系統和方法可以被應用到各種形狀和大小的視訊區塊。在至少一種實施方式中，例如，區塊可以被設定為16x16像素的區塊(例如，巨集區塊)或者在最大編碼單元(LCU)至最小編碼單元(SCU)之間任何位置的給定大小的編碼單元及/或非方形大小的區塊。此外，編碼器可以採用能夠啟用更準確的權重和偏移計算的任何區塊形狀和大小。在一些實施方式中，可以在圖像內執行不同區域的頂層分析，在圖像中的不同區域間採用不同的區塊形狀/大小及/或將此處描述的技術應用到變化的區塊大小。
在一種或者多種實施方式中，參考圖像集(RPS)可以為包括一個或者多個或者所有參考圖像與圖像關聯的參考圖像集，該參考圖像可以是以解碼次序位於關聯圖像之前、可以用作關聯圖像及/或以解碼次序跟隨關聯圖像的任何圖像的訊框間預測。實施方式認識到參考圖像的概念可以被HEVC採用來支援單層內的時序運動補償預測。RPS可以在圖像的一個或者多個或者每個編碼後的切片的切片標頭中發送、並且可以被用來描述編碼圖像緩衝(DPB)中的哪個/些參考圖像可以被用來預測目前圖像及/或未來圖像。
表28描述了由實施方式涵蓋的示例性短期參考圖像集語法。 一個或者多個或者每個參考圖像可以經由差量POC(圖像順序計數)進行識別，該差量POC可以為目前圖像和參考圖像(如上述描述的)之間的距離。進一步舉POC例子，假定目前圖像的POC為10並且編碼器使用兩個具有POC={9,7}的參考圖像來對目前圖像進行編碼。編碼器可以用信號發送num_negative_pics=2和num_positive_pics=0。由於POC 10減去POC 9等於1，delta_poc_s0_minus1[0]值為0，並且由於POC 9減去POC 7等於2，delta_poc_s0_minus1[1]值為1。諸如當inter_ref_pic_set_prediction_flag等於1時，參考圖像集還可以從活動參數集中的另一參考圖像集中預測。
在一些實施方式中，參考圖像列表可以被用作P及/或B切片的單一預測的參考圖像列表。對於P切片的解碼過程，存在一個參考圖像列表。對於B切片的解碼過程，存在一個或者多個參考圖像列表(例如，在兩個列表-列表0和列表1處)及/或參考圖像列表組合。
表29示出了被第5圖中的一個或者多個或者每個編碼的圖像使用的示例性參考圖像集索引以及在解碼圖像緩衝(DPB)中儲存的參考圖像集。給定如RPS所指明的可用參考圖像，參考圖像列表可以藉由選擇DPB中的一個或者多個可用參考圖像的方式來建構。HEVC可以支援使用一個或 者多個(例如兩個)參考圖像列表，例如，RefPicList0和RefPicList1。在一些實施方式中，可能根據一個或者多個或者每個列表中的活動參考圖像數(num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1)，一個或者多個或者每個切片可以在RefPicList0和RefPicList1中具有可變的參考圖像數。
第13圖描述了指明如何標記針對目前圖像的運動補償預測的參考圖像的示例。目前圖像POC數為6並且其RPS可以為(-6,-4,-2,2)，指明DPB中的可用參考圖像可以為圖像0,2,4和8。在一些實施方式中，參考圖像列表的大小可以取決於被允許用來運動補償預測的參考圖像數。在一些實施方式中，所允許的參考圖像數可以是每列表1個(例如，第13圖中的列表)。例如，參考圖像列表0可以包含圖像4及/或參考圖像列表1可以包含圖像8。運動補償預測之後，可以從圖像4及/或圖像8中預測目前圖像(POC 6)的一個或者多個或者每個預測單元。
實施方式涵蓋一種或者多種擴展參考圖像集(RPS)傳訊以支 援HEVC的多層可縮放擴展的技術。在一些實施方式中，該技術對單層HEVC RPS使用及/或傳訊(以及關聯的參考圖像緩衝及/或列表建構程序)有用，同時擴展RPS傳訊以支援針對可縮放編碼的附加增強層。在一些實施方式中，針對增強層的層間RPS預測可以被用來節省參數集合級及/或切片級處的RPS傳訊負荷。在一些實施方式中，RPS語法和結構可以對HEVC中指定的單一層HEVC參考圖像集有用。在一些實施方式中，針對時序預測的一個或者多個增強層的RPS可以從較低層的RPS中預測，可能為了節省位元負荷等原因。在一些實施方式中，用於層間預測(ILP)的增強層的RPS可以從較低層的RPS中預測，可以為了節省位元負荷等原因。在一些實施方式中，解碼過程可以被定義成支援針對可縮放HEVC的參考圖像集及/或列表建構。
在一些實施方式中，使用來自一個或者多個較低層的重建後的圖像從而以通用可縮放編碼方案對增強層的編碼圖像進行預測是有用的。實施方式認識到用信號發送參考圖像列表中的層間參考圖像的技術，該參考圖像列表可以在基於H.264視訊編碼標準的可縮放編碼方案(和可能僅在該方案中)中使用。實施方式認識到諸如HEVC的其他視訊編碼標準可以使用基於參考圖像集的傳訊語法和針對運動預測的解碼過程，其中該層間參考圖像不再被用信號發送並且無需參考圖像集直接被解碼。實施方式認識到可以被開發的可縮放HEVC可以基於針對相容性考慮的HEVC標準。由一個或者多個實施方式涵蓋的參考圖像集傳訊和預測技術能夠支援可縮放編碼架構中的有效層間預測及/或滿足此處描述的特徵。
一種或者多種實施方式涵蓋針對HEVC可縮放編碼的一種或者多種短期參考圖像集擴展設計。此外，一種或者多種實施方式涵蓋短期參考圖像集擴展的一種或者多種編碼過程。此外，一種或者多種實施方式涵蓋一種或者多種參考圖像集列表建構。並且一種或者多種實施方式涵蓋一種或者多種長期參考圖像集預測設計。
一種或者多種實施方式涵蓋針對HEVC可縮放編碼的一種或者多種短期參考圖像集擴展。在一些實施方式中，例如，當該基層和增強層兩者正在使用相同的時序預測結構，諸如具有相同GOP大小及/或訊框速率的低延遲預測及/或二元編碼結構時，基層和增強層的時間性參考圖像集可以是相同的。在多層可縮放編碼中，增強層的時序參考圖像集可以從基層或者具有相同時序預測結構的另一參考層(例如，用於目前層的層間預測的較低層可以被稱作參考層)的時序參考圖像集中預測(例如，估計)/獲得。
表30為用於可縮放HEVC的示例性網路抽象層(NAL)單元結構。層_id(layer_id)可以在NAL單元標頭中指定，layer_id可以指明目前資料單元屬於哪一層。
表31描述了在由實施方式認定的HEVC中指定的示例性序列參數集(SPS)語法。
表32為示例切片標頭語法。可能當短_期_參考_圖像_集_sps_旗標(short_term_ref_pic_set_sps_flag)等於0時，可以在切片標頭中創建目前圖像的短期RPS。該切片標頭還可以指定被包括在目前圖像的長期RPS中的長期參考圖像的數目及/或語法。表32中還描述了可以在目前HEVC中指定的短期及/或長期RPS的語法。
表33為可以被用來引進針對增強層的短期參考圖像集擴展的SPS語法的示例。對於基層(layer_id=0)，一種實施方式的SPS可以等同於HEVC中指定的SPS。表中描述了一種或者多種實施方式涵蓋的語法。
在一些實施方式中，數目_短_期_參考_圖像_集_擴展(num_short_term_ref_pic_set_ext)可以指定出在序列參數集中指定的短期參考圖像集擴展的數目。
在一種或者多種可縮放性使用的實施方式中，增強層的短期參考圖像集擴展可以包括具有針對時序預測的參考圖像的時序參考圖像子集及/或具有來自針對層間預測(ILP)的參考層的參考圖像的層間參考圖像子集。表34描述了支援時序RPS子集(例如，表35)及/或層間RPS子集(例如，表36)的示例性涵蓋的短期參考圖像集擴展。以下表中描述了新提出的語法。
在一些實施方式中，等於1的st_時序_rps_預測_旗標(st_temporal_rps_prediction_flag)可以啟動從來自參考層的時序參考圖像子集中的時序RPS子集的預測。在一些實施方式中，時序_ref_層_id(temporal_ref_layer_id)可以指定用於短期時序參考圖像子集預測的參考層。在一些實施方式中，時序_參考_rps_idx(temporal_ref_rps_idx)可以指定被用於短期時序參考圖像子集預測的時序參考圖像層中的參考圖像集索引。在一些實施方式中，rps_縮放_因數_減1(rps_scale_factor_minus1)可 以指定縮放因數以對RPS的差量POC進行縮放。在一些實施方式中，等於1的ilp_啟動_旗標(ilp_enable_flag)可以啟動增強層ILP。在一些實施方式中，ilp_參考_層_id(ilp_ref_layer_id)可以指定被用於ILP的參考層。在一些實施方式中，等於1的colocated_ref_pic_present_flag可以指定來自被用作ILP的參考層的共置參考圖像。在一些實施方式中，等於1的ilp_rps_prediction_flag可以指明層間參考圖像子集可以從參考層的時序參考圖像子集中預測。在一些實施方式中，ilp_ref_rps_idx可以指定被用於層間RPS子集預測的參考層的參考圖像集的索引。在一些實施方式中，等於1的used_by_curr_ilp_pic_flag可以指定對應層間參考圖像是否被用於針對ILP的目前增強層。
在一種或者多種實施方式中，短期RPS擴展可以提供靈活性以從參考層的時序參考圖像子集(short_term_ref_pic_set( ))(例如，在一些實施方式中，如果參考層為基層，時序參考圖像子集可以與在HEVC中指定的短期RPS(short_term_ref_pic_set( ))相同)中預測獨立的時序參考圖像子集。該短期RPS擴展還支援時序參考圖像的顯式傳訊，可能但不限於當不從任何參考層中預測參考圖像子集的情況。
一種或者多種實施方式涵蓋可縮放的編碼方案可以將在參考層DPB中所儲存的重建後的圖像利用為針對層間預測的參考圖像，這是為了提高增強層的編碼效率等等原因。藉由參考在給定參考層中的給定時序RPS及/或對藉由發送每個圖像一個位元的方式使用的那些參考圖像進行標記的方式可以確定在參考層的DBP中的哪個圖像可以在ILP中被用來預測目前的增強層圖像。在一些實施方式中，在參考層DPB中儲存的每個圖像一個位元(和在一些實施方式中僅每個圖像一個位元)可以被用來用信號發送ILP參考圖像，與顯式傳訊等結果相比，這樣會引起降低的位元負荷。在一些實施方式中，藉由發送諸如差量POC值的方式還可以顯式地用信號發送ILP參考圖像。
在一些實施方式中，此處描述的圖像集預測技術可以被利用於該增強層的一個或者多個或者每個獨立的參考圖像集擴展。在一些實施方式中，諸如在空間及/或SNR可縮放使用的情況中，該增強層的一部分及/或整個短期時序參考圖像子集可以與給定參考層的短期參考圖像集相同(在一些實施方式中，可能如果圖像組(GOP)的訊框速率及/或大小為相同時)。部分及/或整個時序參考圖像子集可以從參考層中預測。儘管未在表33和34中示出，附加的旗標可以在參數集中添加，該參數集可以指明目前層的時序參考圖像子集可以與來自參考層中的時序參考圖像子集相同。在一些實施方式中，可能當該旗標被設定，可以從參考圖像集擴展(short_term_ref_pic_set_ext( ))中忽略單獨的時間性參考圖像子集(st_temporal_rps( ))的傳訊。
在一些實施方式中，基層的參考圖像集可以包含(或者在一些實施方式中僅包含)用於基層內(例如，在針對ILP可用的基層之下不存在層)的時序預測的參考圖像。在一些實施方式中，增強層的參考圖像集擴展可以包含針對時序預測及/或層間預測的參考圖像。在一些實施方式中，可能當使用多於一個增強層時，參考圖像集擴展可以在兩個或者多個增強層之間相同。在該場景中，儘管未在表33和34中示出，附加的旗標可以被引入到參數集中，該參數集可以指示出目前層的參考圖像集(例如，包括時序子集及/或層間子集)可以大體上或者完全等同於給定參考層。在一些實施方式中，可能當該旗標被設定時，可以從參數集中忽略參數“數目_短_期_參考_圖像_集_擴展(num_short_term_ref_pic_set_ext)”及/或“短_期_參考_圖像_集_擴展( )(short_term_ref_pic_set_ext( ))”。
在一些實施方式中，被用於時序預測的參考圖像(例如，如在時序參考圖像子集中用信號發送)及/或來自被用於ILP的較低參考層的參考圖像(例如，如在層間參考圖像子集中用信號發送)可以在時域中共置。例如，該參考圖像可以具有與目前圖像相同的POC距離(差量POC)。此外， 舉例而言，如在第18圖中所示，為了預測目前圖像，可以使用其三個時序參考圖像和四個層間參考圖像，其中在一些實施方式中，三對時序及/或層間參考可以被時序地共置。儘管具有來自一個或者兩個層的多個參考圖像可以改進編碼性能，在一些實施方式中，其還可以引起系統複雜性增加。對於具有有限的DPB緩衝大小及/或編解碼器馬力的應用(諸如行動視訊聊天或者視訊通話)，將在DPB緩衝中儲存的參考圖像數可以被限制。在該場景中，實施方式涵蓋進一步降低參考圖像數的傳訊技術可以藉由使用時序共置的參考圖像配對中的一種(或者在一些實施方式中可能只有一個)被應用在可縮放的編碼系統中。儘管未在表33和34中示出，可以引進附加的旗標來降低複雜性。在一些實施方式中，可能當該旗標被設定時，時序參考圖像可以被來自參考層(例如，如果層間參考圖像可用時)的時序共置的層間參考圖像替代。在一些實施方式中，這樣可以降低目前層DPB緩衝中的參考圖像數。
一種或者多種實施方式涵蓋針對參考圖像集擴展的解碼過程。第15圖和16中描述了時序參考圖像子集和層間參考圖像子集的示例性解碼過程。
一種或者多種實施方式涵蓋一種或者多種針對參考圖像集擴展的解碼技術，其中在一些實施方式中，可能在切片標頭的解碼之後，以及在一些實施方式中，可能在任何編碼單元的解碼之前及/或在針對該切片的參考圖像列表建構的解碼過程之前，該解碼技術在每個圖像被調用一次。
一些實施方式涵蓋圖像順序計數值的至少三個時序列表可以被建構成導出時序參考圖像子集；分別具有NumPocStTCurrBefore、NumPocStTCurrAfter和NumPocStTFoll元素數目的PocStTCurrBefore、PocStTCurrAfter、PocStTFoll。
在一些實施方式中，圖像順序計數(POC)值的至少三個層間列表可以被建構以導出層間參考圖像子集：分別具有 NumPocStILCurrCol、NumPocStILCurrBefore、NumPocStILCurrAfter元素數目的PocStILCurrCol、PocStILCurrBefore、PocStILCurrAfter。
在一些實施方式中，可能如果目前圖像為IDR圖像，PocStTCurrBefore、PocStTCurrAfter、PocStTFoll、PocStIlpCurrCol、PocStIlpCurrBefore及/或PocStIlpCurrAfter可以被設定為空，並且NumPocStTCurrBefore、NumPocStTCurrAfter、NumPocStTFoll、NumPocStIlpCurrCol、NumPocStIlpCurrBefore及/或NumPocStIlpCurrAfter可以被設定為0。否則，在一些實施方式中，以下可以應用於導出圖像順序計數值的五個列表以及條目數：for(i = 0, j = 0, k = 0; i < NumNegativePics[StRpsIdx] ; i++) if(UsedByCurrPicS0[StRpsIdx][i]) PocStTCurrBefore[j++] = PicOrderCntVal + DeltaPocS0[StRpsIdx][i]*(rps_scale_factor_minus1+1) else PocStTFoll[k++] = PicOrderCntVal + DeltaPocS0[StRpsIdx][i] *(rps_scale_factor_minus1+1) NumPocStTCurrBefore = j for(i = 0, j = 0; i < NumPositivePics[StRpsIdx]; i++) if(UsedByCurrPicS1[StRpsIdx][i]) PocStTCurrAfter[j++] = PicOrderCntVal + DeltaPocS1[StRpsIdx][i] *(rps_scale_factor_minus1+1) else PocStTFoll[k++] = PicOrderCntVal + DeltaPocS1[StRpsIdx][i] *(rps_scale_factor_minus1+1) NumPocStTCurrAfter = j NumPocStTFoll = k for(i = 0, j = 0, k = 0; i < NumNegativePics[StRpsIdx] ; i++) if(UsedByCurrPicIlpS0[StRpsIdx][i]) PocStIlpCurrBefore[j++] = PicOrderCntVal + IlpDeltaPocS0[StRpsIdx][i] *(rps_scale_factor_minus1+1) NumPocStIlpCurrBefore = j for(i = 0, j = 0; i < NumPositivePics[StRpsIdx]; i++) if(UsedByCurrPicIlpS1[StRpsIdx][i]) PocStIlpCurrAfter[j++] = PicOrderCntVal + IlpDeltaPocS1[StRpsIdx][i] *(rps_scale_factor_minus1+1) NumPocStIlpCurrAfter = j if(colocated_ref_pic_present_flag) { PocStIlpCurrCol[0] = PicOrderCntVal NumPocStIlpCurrCol = 1 }
在一些實施方式中，參考圖像集可以包括至少五個參考圖像列表：RefPicSetStTCurrBefore、RefPicSetStTCurrAfter、RefPicSetStTFoll、RefPicSetStIlpCurrCol、RefPicSetStIlpCurrBefore及/或RefPicSetStIlpCurrAfter。變數NumPocTotalCurr可以被設定等於NumPocStTCurrBefore+NumPocStTCurrAfter+NumPocStIlpCurrCol+NumPocStIlpCurrBefore+NumPocStIlpCurrAfter。當解碼P或者B切片時，如果NumPocTotalCurr不等於0時，對位元流有用。在一些實施方式中，針對參考圖像集及/或圖像標記的推導過程可以根據以下執行：
在一些實施方式中，以下適用於時序參考圖像子集：for(i = 0; i < NumPocStTCurrBefore; i++) if(there is a short-term reference picture picX in the DPB with PicOrderCntVal equal to PocStTCurrBefore[i]) RefPicSetStTCurrBefore[i] = picX else RefPicSetStTCurrBefore[i] = "no reference picture" for(i = 0; i < NumPocStTCurrAfter; i++) if(there is a short-term reference picture picX in the DPB with PicOrderCntVal equal to PocStTCurrAfter[i]) RefPicSetStTCurrAfter[i] = picX else RefPicSetStTCurrAfter[i] = "no reference picture" for(i = 0; i < NumPocStTFoll; i++) if(there is a short-term reference picture picX in the DPB with PicOrderCntVal equal to PocStTFoll[i]) RefPicSetStTFoll[i] = picX else RefPicSetStTFoll[i] = "no reference picture"
在一些實施方式中，以下適用於層間參考圖像子集：for(i = 0; i < NumPocStIlpCurrBefore; i++) if(there is a short-term reference picture picX in the DPB with PicOrderCntVal equal to PocStIlpCurrBefore[i]) RefPicSetStIlpCurrBefore[i] = picX else RefPicSetStIlpCurrBefore[i] = "no reference picture" for(i = 0; i < NumPocStIlpCurrAfter; i++) if(there is a short-term reference picture picX in the DPB with PicOrderCntVal equal to PocStIlpCurrAfter[i]) RefPicSetStIlpCurrAfter[i] = picX else RefPicSetStIlpCurrAfter[i] = "no reference picture" for(i = 0; i < NumPocStIlpCurrCol; i++) if(there is a short-term reference picture picX in the DPB with PicOrderCntVal equal to PocStIlpCurrCol[i]) RefPicSetStIlpCurrCol[i] = picX else RefPicSetStIlpCurrCol[i] = "no reference picture"
一種或者多種實施方式涵蓋一種或者多種針對參考圖像列表建構的解碼技術。在一些實施方式中，這些技術可以在針對一個或者多個或者每個P或者B切片的解碼過程開始時調用。變數NumRpsCurrTempList0被設定等於Max(num_ref_idx_l0_active_minus1+1,NumPocTotalCurr)並且列表RefPicListTemp0被建構如下：cIdx = 0 while(cIdx < NumRpsCurrTempList0) { RefPicListTemp0[cIdx++]=RefPicSetStIlpCurrCol for(i = 0; i < NumPocStTCurrBefore && cIdx < NumRpsCurrTempList0; cIdx++, i++) RefPicListTemp0[cIdx] = RefPicSetStTCurrBefore[i] for(i = 0; i < NumPocStTCurrAfter && cIdx < NumRpsCurrTempList0; cIdx++, i++) RefPicListTemp0[cIdx] = RefPicSetStTCurrAfter[i] for(i = 0; i < NumPocStIlpCurrBefore && cIdx < NumRpsCurrTempList0; cIdx++, i++) RefPicListTemp0[cIdx] = RefPicSetStIlpCurrBefore[i] for(i = 0; i < NumPocStIlpCurrAfter && cIdx < NumRpsCurrTempList0; cIdx++, i++) RefPicListTemp0[cIdx] = RefPicSetStIlpCurrAfter[i] }
在一些實施方式中，列表RefPicList0可以被預設建構如下：for(cIdx = 0; cIdX num_ref_idx_l0_active_minus1; cIdx++) RefPicList0[cIdx] = RefPicListTemp0[cIdx]
在一些實施方式中，可能當該切片為B片時，變數NumRpsCurrTempList1可以被設定為等於Max(num_ref_idx_l1_active_minus1+1,NumPocTotalCurr)並且列表RefPicListTemp1可以被建構如下：cIdx = 0 while(cIdx < NumRpsCurrTempList1) { RefPicListTemp1[cIdx++]=RefPicSetStIlpCurrCol for(i = 0; i < NumPocStTCurrAfter && cIdx < NumRpsCurrTempList1; cIdx++, i++) RefPicListTemp1[cIdx] = RefPicSetStTCurrAfter[i] for(i = 0; i < NumPocStTCurrBefore && cIdx < NumRpsCurrTempList1; cIdx++, i++) RefPicListTemp1[cIdx] = RefPicSetStTCurrBefore[i] for(i = 0; i < NumPocStIlpCurrAfter && cIdx < NumRpsCurrTempList0; cIdx++, i++) RefPicListTemp0[cIdx] = RefPicSetStIlpCurrAfter[i] for(i = 0; i < NumPocStIlpCurrBefore && cIdx < NumRpsCurrTempList0; cIdx++, i++) RefPicListTemp0[cIdx] = RefPicSetStIlpCurrBefore[i] }
在一些實施方式中，可能當該片為B切片時，列表RefPicList1可以被預設建構如下：for(cIdx = 0; cIdX num_ref_idx_l1_active_minus1; cIdx++) RefPicList1[cIdx] = RefPicListTemp1[cIdx]
第13圖描述了示例性增強層時序參考圖像子集建構過程。該時序參考圖像子集可以從給定參考層的給定時序參考圖像子集中預測及/或從相同層內的現有參考圖像子集中預測及/或顯式地被用信號發送。第14圖描述了預測短期參考圖像多個集及/或一個集擴展的許多示例性實施方式。
第16圖描述了示例性增強層層間預測(ILP)參考圖像子集建構過程。該ILP參考圖像子集可以從來自給定參考層中的給定時序參考圖像集中預測或者顯式地被用信號發送。第17圖中描述了針對參考圖像集擴展的示例性解碼過程。該解碼器可以使用解析NAL單元標頭，從而可能根據layer_id來確定該單元是否用於基層或者增強層。在一些實施方式中，可能如果layer_id為0，NAL單元的有效載荷資料可以來自於基層，並且該解碼過程可以與HEVC編碼標準相容及/或對應的參考圖像集可以按照HEVC標準所指定的那樣導出。
在一些實施方式中，如果layer_id大於0時，NAL單元的有效載荷資料可以來自於增強層，及/或SPS標頭可以按照此處描述的攜帶短期參考圖像集擴展。
在一些實施方式中，時序參考圖像子集可以存在於參考圖像集擴展中。該時序參考圖像子集可以從從較低層預測的時序參考圖像中及/或藉由顯式傳訊進行建構。
在一些實施方式中，如果層間預測被啟用(例如，ilp_enable_flag等於真)，層間參考圖像子集可以被建構以標記DPB中的可用層間參考圖像。共置的參考圖像可以藉由collocated_ref_pic_present_flag用信號發送及/或層間參考圖像的剩餘部分可以被顯式地用信號發送或者來自諸如較低層的層間參考圖像子集的預測中。
第19圖具有不同訊框速率的雙層二元和巢式時序可縮放編碼結構的示例。基層具有較低的訊框速率並且其GOP大小可以為四，增強層具有高的訊框速率並且其GOP大小可以為八。
表37為針對第19圖中示出的可縮放編碼結構的預測示例。表38描述了與HEVC指定的顯式RPS傳訊方式相比，一個或者多個或者每個RPS的示例性位元減少量。在一些實施方式中，可以實現多達70%位元節省。在一些實施方式中，可能與RPS間預測(JCTVC-G198)相比，可以實現附加的(例如顯著的)位元節省。
在一些實施方式中，當整個時序參考圖像子集等同於基層或者參考層的RPS時，位元節省更為重要。在該場景中，一個1位元旗標及/或1位元layer_id(0)可以被用來諸如從基層中複製增強層的整個時序參考圖像子集。
一種或者多種實施方式涵蓋一種或者多種針對參考圖像列表建構的解碼技術。參考圖像列表可以包括由針對目前編碼圖像的運動補償預測的參考圖像集擴展所指明的參考圖像的一部分或者全部。可以在HEVC中指定針對單層視訊的參考圖像列表的建構。實施方式涵蓋針對可縮放HEVC編碼，額外的層間參考圖像可以被標記到參考圖像列表中。
在一些實施方式中，參考圖像列表中的時序參考圖像可以用HEVC中指定的相同方式來建構。層間參考圖像可以在按照此處描述的那樣在參考圖像列表中標記。如果來自較低參考層的共置參考圖像(例如，在與來自比目前層更低的層中的目前圖像的相同時間情況下)可用時，共置的參考圖像可以被放置在參考圖像列表中的時序參考圖像之前。如果額外的層間參考圖像(例如，非共置的參考圖像)被用於層間運動預測，這些參考圖像可以被放置在參考圖像列表中的這些時序參考圖像之後。
在一些實施方式中，HEVC還可以支援如表32中所示的切片標頭中的參考圖像集的規範。在一些實施方式中，可能當短_期_參考_圖像_集_sps_旗標(short_term_ref_pic_set_sps_flag)等於零時，類似的RPS預測方法論還可以應用在切片級中。
表39描述了可以支援針對可縮放HEVC的短期RPS擴展的示例性切片標頭語法改變。在一些實施方式中，由num_short_term_ref_pic_set_ext索引的RPS可以從參考層的切片標頭中指定的RPS中預測(在可能適用的時候)。
一種或者多種實施方式涵蓋針對HEVC可縮放編碼的長期參考圖像集預測。長期參考圖像集可以被包括在切片標頭中。可能因為該切片會比參數集更頻繁地出現及/或多個切片可以被用於相同的訊框等原因，切片標頭中的節省位元負荷為有用的。表32中描述了HEVC長期參考圖像集語法方面。給定空間可縮放性及/或品質可縮放性場景等因素，對於基層及/或增強層，短期及/或長期RPS可以是類似的。在一些實施方式中，附加的旗標可以被添加到切片標頭中，該附加旗標可以指明長期RPS能否從來自諸如參考層中的長期RPS中預測。
表40描述了針對由一種或者多種實施方式涵蓋的可縮放HEVC的示例性長期RPS預測語法。
在一些實施方式中，等於1的lt_rps_prediction_flag可以指定相同的長期RPS可以從來自參考層中的該片的切片標頭中擷取。在一些實施方式中，ref_layer_id可以指定包含相同長期RPS的參考層。在一些實施方式中，lt_rps_idx可以指定參考層的長期參考圖像集的索引。在一些實施方式中，rps_scale_factor_minus1可以指定對來自參考層的長期參考圖像集的差量POC進行放大的縮放因數。
鑒於上述描述和所附圖式，一個或者多個實施方式涵蓋至少 一種用於視訊編碼的裝置，該裝置至少部分被配置以產生位元流。該位元流可以包括一個或多個參考圖像集(RPS)擴展，該一個或多個RPS擴展指明針對一個或多個解碼圖像緩衝(DPB)的一個或多個層間參考圖像。該一個或多個DPB分別與一個或多個視訊編碼層相關聯。
在一些實施方式中，該裝置還被配置使得該該位元流被產生以進一步包括該一個或多個視訊編碼層中的視訊編碼層充當針對該一個或多個碼層中的至少一個較高視訊編碼層的至少一個層間預測的參考層的至少一個指示。
在一些實施方式中，該裝置還被配置使得該位元流被產生以進一步包括與該一個或多個視訊編碼層中的第一視訊編碼層的DPB相關聯的一個或多個層間參考圖像中的至少一者還與該一個或多個視訊編碼層中的第二視訊編碼層相關聯的指示。
在一些實施方式中，該一個或多個視訊編碼層中的第二視訊編碼層高於該一個或多個視訊編碼層中的第一視訊編碼層。
在一些實施方式中，該裝置還被配置使得該位元流被產生以進一步包括指明針對一個或多個DPB的一個或多個時序參考圖像的一個或多個RPS擴展。該位元流還包括一個或多個時序參考圖像和一個或多個層間參考圖像被包括在至少一個參考圖像列表中的指示。
在一些實施方式中，該一個或多個層間參考圖像包括一個或多個共置參考圖像和一個或多個非共置參考圖像。該裝置還被配置使得該位元流被產生以進一步包括該一個或多個時序參考圖像中的至少一者的位置之前和位置之後中的至少一者的位置處放置一個或多個共置參考圖像在該參考圖像列表中的指示。
在一些實施方式中，該裝置還被配置使得該位元流被產生以使得放置指示還指明在該一個或多個時序參考圖像中的至少一者的位置之前或位置之後中的至少一者的位置處放置一個或多個非共置參考圖像中的 至少一者。
在一些實施方式中，該一個或多個層間參考圖像包括一個或多個共置層間參考圖像和一個或多個非共置層間參考圖像。該裝置還被配置使得該一個或多個RPS擴展可以指示針對一個或多個DPB的一個或多個共置層間參考圖像。
在一些實施方式中，該裝置還被配置使得該位元流被產生以進一步包括指明針對一個或多個DPB的一個或多個時序參考圖像的一個或多個RPS擴展。該位元流還包括一個或多個非共置層間參考圖像中的至少一者能從一個或多個時序參考圖像中預測的指示。
在一些實施方式中，該裝置還被配置使得該位元流被產生以包括指明針對參數集內的一個或多個解碼圖像緩衝(DPB)的一個或多個層間參考圖像的一個或多個參考圖像集(RPS)擴展。
在一些實施方式中，該裝置還被配置使得該位元流被產生以進一步包括與第一視訊編碼層的第一DPB相關聯的一個或多個層間參考圖像可以被包括在第二視訊編碼層的第二DPB中的至少一個指示。
在一些實施方式中，該第二視訊編碼層高於該第一視訊編碼層。
一種或者多種實施方式涵蓋至少一種用於視訊資料編碼的裝置，該裝置至少部分被配置以產生位元流。該位元流包括一個或多個參考圖像集(RPS)擴展，該一個或多個RPS擴展指明一個或多個層間差量圖像順序計數(POC)。該一個或多個POC分別與一個或多個視訊編碼層相關聯。
在一些實施方式中，該裝置還被配置以產生該位元流以進一步包括指明針對該一個或多個視訊編碼層的一個或多個時序參考圖像的一個或多個PRS擴展。
在一些實施方式中，該裝置還被配置使得該位元流被產生以進一步包括與第一視訊編碼層相關聯的一個或多個時序參考圖像可以被用 於第二視訊編碼層的指示。
在一些實施方式中，該指示為一位元旗標。該第一視訊編碼層為基層和參考層中的至少一者。該第二視訊編碼層為增強層。該增強層高於該第一視訊編碼層。
一種或者多種實施方式涵蓋至少一種用於視訊資料處理的裝置，該裝置至少部分被配置以產生第一視訊編碼層。該第一視訊編碼層包括第一參考圖像集(RPS)。該第一RPS包括第一解碼圖像緩衝(DPB)中的一個或者多個時序參考圖像。該裝置還被配置以至少部分根據該第一RPS的時序參考圖像來產生第二視訊編碼層。該第二視訊編碼層包括第二RPS。該第二RPS包括一個或者多個時序參考圖像以及在第二DPB中的一個或者多個層間參考圖像。該裝置還被配置以至少部分根據該第一RPS和第二RPS中的至少一者來產生第三視訊編碼層。
在一些實施方式中，根據高效視訊編碼(HEVC)協定產生該至少第一視訊編碼層。
在一些實施方式中，該裝置還被配置來在該第二視訊編碼層和該第三視訊編碼層中的至少一者內執行時序上的運動補償預測。
在一些實施方式中，第三視訊編碼層包括第三DPB。該第三DPB包括了被包括在該第一DPB和第二DPB中的至少一者中的一個或多個層間參考圖像中的至少一者。
在一些實施方式中，該裝置還被配置使得產生該第三視訊編碼層可以包括根據該第一RPS和該第二RPS的至少一者來對第三RPS的一個或者多個時序參考圖像的預測。
在一些實施方式中，該裝置還被配置以接收對該第一RPS和該第二RPS的至少一者進行縮放的指示。產生該第三視訊編碼層包括根據縮放的第一RPS和縮放的第二RPS的至少一者對第三RPS的一個或者多個時序參考圖像的預測。
在一些實施方式中，該裝置還被配置使得第二視訊編碼層的RPS擴展包括該第二DPB的一個或多個時序參考圖像的集合以及該第二DPB的一個或多個流間參考圖像的集合。該第三視訊編碼層的RPS擴展可以從該第二視訊編碼層的RPS擴展中預測。
雖然本發明的特徵和元素以特定的結合在以上進行了描述，但本領域中具有通常知識者可以理解的是，每個特徵或元素可以在沒有其他特徵和元素的情況下單獨使用，或在與本發明的任何其他特徵和元素結合的各種情況下使用。此外，本發明提供的實施方式可以在由電腦或處理器執行的電腦程式、軟體或韌體中實施，其中所述電腦程式、軟體或韌體被包含在電腦可讀儲存媒體中。電腦可讀媒體的示例包括電子信號(經由有線或者無線連接而傳送)和電腦可讀儲存媒體。關於電腦可讀儲存媒體的示例包括但不限於唯讀記憶體(ROM)、隨機存取記憶體(RAM)、暫存器、快取記憶體、半導體儲存裝置、磁性媒體(例如，內部硬碟或可移式磁片)、磁光媒體以及CD-ROM光碟和數位多功能光碟(DVD)之類的光學媒體。與軟體有關的處理器可以被用於實施在WTRU、UE、終端、基地台、RNC或者任何主電腦中使用的無線電頻率收發器。

Claims (10)

  1. 一種用於視訊資料解碼的裝置，該裝置包括：一處理器，該處理器至少被配置為：接收一位元流；接收一指示符，該指示符基於該位元流以提供在一目前圖像的一解碼中比要用於一層間預測的參考圖像的一數目小一的一第一值；將該第一值加一以形成一第二值；以及使用由該第二值表明的該參考圖像的數目以經由該層間預測來解碼該目前圖像。
  2. 如申請專利範圍第1項所述的裝置，其中該目前圖像是一增強層圖像。
  3. 如申請專利範圍第1項所述的裝置，其中該位元流包括一基層。
  4. 如申請專利範圍第1項所述的裝置，其中該參考圖像是一層間參考圖像。
  5. 如申請專利範圍第7項所述的裝置，其中該層間參考圖像是來自比該目前圖像的一層低的一或多層。
  6. 一種用於視訊資料解編的方法，該方法包括：接收一位元流；接收一指示符，該指示符基於該位元流以提供在一目前圖像的一解碼中比要用於一層間預測的參考圖像的一數目小一的一第一值；將該第一值加一以形成一第二值；以及使用由該第二值表明的該參考圖像的數目以經由該層間預測來解碼該目前圖像。
  7. 如申請專利範圍第6項所述的方法，其中該目前圖像是一增強層圖像。
  8. 如申請專利範圍第6項所述的方法，其中該位元流包括一基層。
  9. 如申請專利範圍第6項所述的方法，其中該參考圖像是一層間參考圖像。
  10. 如申請專利範圍第9項所述的方法，其中該層間參考圖像是來自比該目前圖像的一層低的一或多層。
TW102103636A 2012-01-31 2013-01-31 視訊資料解碼的裝置及方法 TWI578758B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261593256P 2012-01-31 2012-01-31
US201261639776P 2012-04-27 2012-04-27

Publications (2)

Publication Number Publication Date
TW201338555A TW201338555A (zh) 2013-09-16
TWI578758B true TWI578758B (zh) 2017-04-11

Family

ID=47714579

Family Applications (2)

Application Number Title Priority Date Filing Date
TW105133118A TWI616087B (zh) 2012-01-31 2013-01-31 可縮放高效率視訊編碼（ｈｅｖｃ）參考圖集（ｒｐｓ）傳訊
TW102103636A TWI578758B (zh) 2012-01-31 2013-01-31 視訊資料解碼的裝置及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW105133118A TWI616087B (zh) 2012-01-31 2013-01-31 可縮放高效率視訊編碼（ｈｅｖｃ）參考圖集（ｒｐｓ）傳訊

Country Status (9)

Country Link
US (2) US11445172B2 (zh)
EP (1) EP2810438A1 (zh)
JP (3) JP6110410B2 (zh)
KR (2) KR101951084B1 (zh)
CN (2) CN104396240B (zh)
AU (1) AU2013215198A1 (zh)
MX (1) MX351585B (zh)
TW (2) TWI616087B (zh)
WO (1) WO2013116415A1 (zh)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6078883B2 (ja) * 2011-02-08 2017-02-15 サン パテント トラスト 多数の参照ピクチャを用いる動画像符号化方法、動画像復号方法、動画像符号化装置、および動画像復号方法
US10003817B2 (en) 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
WO2013157814A1 (ko) * 2012-04-16 2013-10-24 삼성전자 주식회사 영상의 레퍼런스 픽쳐 세트를 결정하기 위한 방법 및 장치
ES2907510T3 (es) * 2012-05-14 2022-04-25 V Nova Int Ltd Descomposición de datos residuales durante la codificación, decodificación y reconstrucción de señales en una jerarquía escalonada
EP2852158A4 (en) * 2012-05-15 2015-11-18 Sony Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
SG11201408571RA (en) 2012-06-29 2015-01-29 Sony Corp Decoding device, and decoding method
WO2014003676A1 (en) * 2012-06-29 2014-01-03 Telefonaktiebolaget L M Ericsson (Publ) Apparatus and methods thereof for video processing
BR112015000480B1 (pt) 2012-07-09 2023-02-07 Vid Scale, Inc Arquitetura de codec para codificação de vídeo de camada múltipla, método e sistema
US9398284B2 (en) * 2012-08-16 2016-07-19 Qualcomm Incorporated Constructing reference picture lists for multi-view or 3DV video coding
US9491461B2 (en) * 2012-09-27 2016-11-08 Qualcomm Incorporated Scalable extensions to HEVC and temporal motion vector prediction
CN104813663B (zh) 2012-09-28 2018-05-22 索尼公司 编码设备、编码方法、解码设备和解码方法
US9313500B2 (en) * 2012-09-30 2016-04-12 Microsoft Technology Licensing, Llc Conditional signalling of reference picture list modification information
WO2014072571A1 (en) * 2012-10-01 2014-05-15 Nokia Corporation Method and apparatus for scalable video coding
US9602841B2 (en) * 2012-10-30 2017-03-21 Texas Instruments Incorporated System and method for decoding scalable video coding
US10097825B2 (en) 2012-11-21 2018-10-09 Qualcomm Incorporated Restricting inter-layer prediction based on a maximum number of motion-compensated layers in high efficiency video coding (HEVC) extensions
TWI669950B (zh) * 2012-12-21 2019-08-21 日商新力股份有限公司 影像處理裝置及方法
KR20140087971A (ko) 2012-12-26 2014-07-09 한국전자통신연구원 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치
US20140185671A1 (en) * 2012-12-27 2014-07-03 Electronics And Telecommunications Research Institute Video encoding and decoding method and apparatus using the same
US9942545B2 (en) 2013-01-03 2018-04-10 Texas Instruments Incorporated Methods and apparatus for indicating picture buffer size for coded scalable video
WO2014106692A1 (en) * 2013-01-07 2014-07-10 Nokia Corporation Method and apparatus for video coding and decoding
KR20140091494A (ko) * 2013-01-10 2014-07-21 삼성전자주식회사 멀티 레이어 비디오의 복호화 방법 및 장치, 멀티 레이어 비디오의 부호화 방법 및 장치
US10129550B2 (en) 2013-02-01 2018-11-13 Qualcomm Incorporated Inter-layer syntax prediction control
US10194146B2 (en) 2013-03-26 2019-01-29 Qualcomm Incorporated Device and method for scalable coding of video information
US9380305B2 (en) * 2013-04-05 2016-06-28 Qualcomm Incorporated Generalized residual prediction in high-level syntax only SHVC and signaling and management thereof
WO2014163452A1 (ko) * 2013-04-05 2014-10-09 삼성전자 주식회사 멀티 레이어 비디오의 복호화 방법 및 장치, 멀티 레이어 비디오의 부호화 방법 및 장치
CN105103563B (zh) * 2013-04-08 2019-05-21 寰发股份有限公司 关于缩放列表数据信令的方法和装置
US11438609B2 (en) * 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
JP6120667B2 (ja) * 2013-05-02 2017-04-26 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体
US9432667B2 (en) * 2013-06-11 2016-08-30 Qualcomm Incorporated Processing bitstream constraints relating to inter-layer prediction types in multi-layer video coding
CN105393542B (zh) 2013-06-18 2019-04-09 Vid拓展公司 Hevc扩展的层间参数集
US9648326B2 (en) * 2013-07-02 2017-05-09 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
US10419776B2 (en) 2013-07-09 2019-09-17 Sony Corporation High level syntax improvement on inter-layer prediction for SHVC/MV-HEVC
WO2015004606A1 (en) * 2013-07-09 2015-01-15 Nokia Corporation Method and apparatus for video coding involving syntax for signalling motion information
BR112015004956A2 (pt) * 2013-07-12 2018-04-17 Sony Corp aparelhos de codificação e de decodificação de imagem, e, métodos de codificação e de decodificação de imagem.
US20150016503A1 (en) * 2013-07-15 2015-01-15 Qualcomm Incorporated Tiles and wavefront processing in multi-layer context
US9628792B2 (en) * 2013-07-15 2017-04-18 Qualcomm Incorporated Cross-layer parallel processing and offset delay parameters for video coding
KR20150026927A (ko) 2013-09-03 2015-03-11 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
CN105519115A (zh) * 2013-09-10 2016-04-20 株式会社Kt 用于对可扩展视频信号进行编码/解码的方法及装置
EP3591980A1 (en) 2013-10-11 2020-01-08 SONY Corporation Reception device and reception method of video streams with changing frame rates
US9681145B2 (en) 2013-10-14 2017-06-13 Qualcomm Incorporated Systems and methods for inter-layer RPS derivation based on sub-layer reference prediction dependency
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
US9854270B2 (en) * 2013-12-19 2017-12-26 Qualcomm Incorporated Device and method for scalable coding of video information
KR20150075040A (ko) * 2013-12-24 2015-07-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
CN104754347B (zh) 2013-12-26 2019-05-17 中兴通讯股份有限公司 视频图像序号的编码、解码方法及装置、电子设备
KR102294092B1 (ko) 2014-01-02 2021-08-27 한국전자통신연구원 영상의 복호화 방법 및 이를 이용하는 장치
EP3090549A1 (en) * 2014-01-02 2016-11-09 VID SCALE, Inc. Methods and systems for scalable video coding with mixed interlace and progressive content
KR20160104678A (ko) * 2014-01-02 2016-09-05 브이아이디 스케일, 인크. Ｈｅｖｃ 확장 규격을 위한 서브 비트스트림 추출 프로세스
US9906804B2 (en) * 2014-01-16 2018-02-27 Qualcomm Incorporated Reference layer sample position derivation for scalable video coding
CN106105213B (zh) 2014-03-24 2019-09-10 株式会社Kt 多层视频信号编码/解码方法和装置
CN110913217B (zh) 2014-06-19 2022-01-25 Vid拓展公司 用于基于三维色彩映射模型参数优化的***和方法
US9866851B2 (en) 2014-06-20 2018-01-09 Qualcomm Incorporated Full picture order count reset for multi-layer codecs
US10091532B2 (en) * 2014-06-26 2018-10-02 Qualcomm Incorporated Bitstream conformance constraints in scalable video coding
DE102014219686A1 (de) * 2014-09-29 2016-03-31 Bayerische Motoren Werke Aktiengesellschaft Anpassung einer Videokomprimierung bei einem mobilen Server
KR101605773B1 (ko) * 2014-09-25 2016-04-01 현대자동차주식회사 단말 장치, 그를 가지는 차량 및 단말 장치의 제어 방법
JP2016092837A (ja) * 2014-10-30 2016-05-23 株式会社東芝 映像圧縮装置、映像再生装置および映像配信システム
KR102551609B1 (ko) 2014-11-27 2023-07-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN111031323B (zh) * 2014-11-27 2023-11-28 株式会社Kt 视频信号处理方法
WO2016188447A1 (en) * 2015-05-28 2016-12-01 Hfi Innovation Inc. Method and apparatus for using a current picture as a reference picture
US10178403B2 (en) * 2015-06-23 2019-01-08 Qualcomm Incorporated Reference picture list construction in intra block copy mode
KR20180063063A (ko) * 2015-09-30 2018-06-11 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP6848873B2 (ja) 2015-10-13 2021-03-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10645414B2 (en) 2015-11-11 2020-05-05 Samsung Electronics Co., Ltd. Method for encoding/decoding image, and device therefor
US10482917B2 (en) * 2016-02-16 2019-11-19 Arris Enterprises Llc Efficient just-in-time transcoding by parameter extraction
US10616583B2 (en) 2016-06-30 2020-04-07 Sony Interactive Entertainment Inc. Encoding/decoding digital frames by down-sampling/up-sampling with enhancement information
KR101670767B1 (ko) * 2016-08-02 2016-10-31 (주)와이즈콘 영상 안정화 서비스를 위한 이중화 전송 스트리밍 방법, 이를 수행하기 위한 기록 매체, 장치 및 시스템
WO2018076547A1 (zh) 2016-10-31 2018-05-03 华为技术有限公司 网络切片的管理方法、管理单元及***
WO2018094667A1 (zh) 2016-11-24 2018-05-31 华为技术有限公司 一种管理方法、管理单元及***
US10326815B2 (en) * 2016-12-20 2019-06-18 LogMeln, Inc. Techniques for scalably sharing video through a streaming server
US9961624B1 (en) 2017-02-09 2018-05-01 T-Mobile Usa, Inc. Network slice selection in wireless telecommunication networks
CN110546956B (zh) * 2017-06-30 2021-12-28 华为技术有限公司 一种帧间预测的方法及装置
US10666943B2 (en) * 2017-09-15 2020-05-26 Futurewei Technologies, Inc. Block partition structure in video compression
US10536708B2 (en) * 2017-09-21 2020-01-14 Intel Corporation Efficient frame loss recovery and reconstruction in dyadic hierarchy based coding
CN110166405B (zh) * 2018-02-12 2022-03-11 华为技术有限公司 通信方法、相关装置及***
CN111989920A (zh) * 2018-02-20 2020-11-24 弗劳恩霍夫应用研究促进协会 支持变化的分辨率和/或有效地处理区域级打包的图片/视频编码
KR20230169440A (ko) 2018-08-17 2023-12-15 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩에서의 참조 화상 관리
KR102022375B1 (ko) * 2018-08-22 2019-09-18 (주)넥서스일렉트로닉스 Uhd tv용 업스케일 칩셋 모듈
WO2020108572A1 (en) * 2018-11-28 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Independent construction method for block vector list in intra block copy mode
WO2020125798A1 (en) 2018-12-22 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Intra block copy mode with dual tree partition
US11197025B2 (en) * 2019-06-21 2021-12-07 Qualcomm Incorporated Signaling of matrix intra prediction parameters in video coding
US20230224483A1 (en) * 2020-06-09 2023-07-13 Lg Electronics Inc. Image encoding/decoding method and apparatus for signaling picture output information, and computer-readable recording medium in which bitstream is stored
US11770549B2 (en) * 2020-06-10 2023-09-26 Sony Group Corporation Video data encoding and decoding circuity applying constraint data

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200421878A (en) * 2002-11-06 2004-10-16 Nokia Corp Picture buffering for prediction references and display
TW200829035A (en) * 2006-10-16 2008-07-01 Nokia Corp System and method for implementing efficient decoded buffer management in multi-view video coding
TW200843513A (en) * 2006-12-21 2008-11-01 Thomson Licensing Methods and apparatus for improved signaling using high level syntax for multi-view video coding and decoding
TW200850008A (en) * 2007-04-13 2008-12-16 Nokia Corp System and method for using redundant pictures for inter-layer prediction in scalable video coding
TW200901773A (en) * 2007-04-13 2009-01-01 Nokia Corp A video coder
US7505590B1 (en) * 2003-11-14 2009-03-17 Hewlett-Packard Development Company, L.P. Method and system for providing transcodability to frame coded streaming media

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI120125B (fi) 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
US7671894B2 (en) 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
BRPI0613659B1 (pt) * 2005-07-21 2019-06-04 Thomson Licensing Método e aparelho para o prognóstico ponderado para uma codificação de vídeo redimensionável
US7617436B2 (en) * 2005-08-02 2009-11-10 Nokia Corporation Method, device, and system for forward channel error recovery in video sequence transmission over packet-based network
EP1806930A1 (en) 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
AU2007311178A1 (en) 2006-10-16 2008-04-24 Vidyo, Inc. Systems and methods for signaling and performing temporal level switching in scalable video coding
US7991236B2 (en) 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
CN101529913A (zh) 2006-10-24 2009-09-09 汤姆逊许可证公司 用于多视角视频编码的图像标识
CN101516028B (zh) 2008-02-18 2011-05-11 昊迪移通(北京)技术有限公司 一种针对移动网视频通话应用的高效视频编码技术
JP5614900B2 (ja) * 2009-05-01 2014-10-29 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ３ｄ映像符号化フォーマット
JP2011077722A (ja) * 2009-09-29 2011-04-14 Victor Co Of Japan Ltd 画像復号装置、画像復号方法およびそのプログラム
US9113172B2 (en) * 2011-01-14 2015-08-18 Vidyo, Inc. Techniques for describing temporal coding structure

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200421878A (en) * 2002-11-06 2004-10-16 Nokia Corp Picture buffering for prediction references and display
US7505590B1 (en) * 2003-11-14 2009-03-17 Hewlett-Packard Development Company, L.P. Method and system for providing transcodability to frame coded streaming media
TW200829035A (en) * 2006-10-16 2008-07-01 Nokia Corp System and method for implementing efficient decoded buffer management in multi-view video coding
TW200843513A (en) * 2006-12-21 2008-11-01 Thomson Licensing Methods and apparatus for improved signaling using high level syntax for multi-view video coding and decoding
TW200850008A (en) * 2007-04-13 2008-12-16 Nokia Corp System and method for using redundant pictures for inter-layer prediction in scalable video coding
TW200901773A (en) * 2007-04-13 2009-01-01 Nokia Corp A video coder

Also Published As

Publication number Publication date
JP6110410B2 (ja) 2017-04-05
US11445172B2 (en) 2022-09-13
JP6480555B2 (ja) 2019-03-13
CN104396240B (zh) 2018-02-02
CN104396240A (zh) 2015-03-04
JP2015525008A (ja) 2015-08-27
MX351585B (es) 2017-10-20
KR20140123980A (ko) 2014-10-23
MX2014009211A (es) 2015-04-17
AU2013215198A1 (en) 2014-08-28
JP2018078606A (ja) 2018-05-17
JP2017112621A (ja) 2017-06-22
TWI616087B (zh) 2018-02-21
TW201728168A (zh) 2017-08-01
EP2810438A1 (en) 2014-12-10
US20130208792A1 (en) 2013-08-15
TW201338555A (zh) 2013-09-16
KR101652928B1 (ko) 2016-09-01
KR20160104736A (ko) 2016-09-05
CN108322744A (zh) 2018-07-24
JP6262888B2 (ja) 2018-01-17
WO2013116415A1 (en) 2013-08-08
US20220400254A1 (en) 2022-12-15
CN108322744B (zh) 2022-08-30
KR101951084B1 (ko) 2019-02-21

Similar Documents

Publication Publication Date Title
TWI578758B (zh) 視訊資料解碼的裝置及方法
US10841615B2 (en) Systems and methods for model parameter optimization in three dimensional based color mapping
JP6592145B2 (ja) 多重レイヤビデオコーディングに対するインターレイヤ基準画像エンハンスメント
US9973751B2 (en) Slice base skip mode signaling for multiple layer video coding
KR101840915B1 (ko) 스케일러블 비디오 코딩을 위한 모션 정보 시그널링
US20140010291A1 (en) Layer Dependency and Priority Signaling Design for Scalable Video Coding
US10616597B2 (en) Reference picture set mapping for standard scalable video coding
TW201507443A (zh) 基於單迴路解碼之多層視訊編碼