TW201921938A - 具有在用於視訊寫碼之隨機存取組態中之未來參考訊框之可調適圖像群組結構 - Google Patents

具有在用於視訊寫碼之隨機存取組態中之未來參考訊框之可調適圖像群組結構 Download PDF

Info

Publication number
TW201921938A
TW201921938A TW107133933A TW107133933A TW201921938A TW 201921938 A TW201921938 A TW 201921938A TW 107133933 A TW107133933 A TW 107133933A TW 107133933 A TW107133933 A TW 107133933A TW 201921938 A TW201921938 A TW 201921938A
Authority
TW
Taiwan
Prior art keywords
image
future
encoding
video
picture
Prior art date
Application number
TW107133933A
Other languages
English (en)
Inventor
李聖元
錢威俊
阿達許 克里許納 瑞瑪蘇布雷蒙尼安
穆漢麥德 傑德 柯本
陳建樂
陳義文
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201921938A publication Critical patent/TW201921938A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種用於對視訊資料進行編碼之器件包括：一記憶體，其經組態以儲存視訊資料；以及一視訊編碼器，其實施於電路中且經組態以：編碼該視訊資料中具有一第一顯示次序位置之一未來圖像，該未來圖像包括於該視訊資料之一框內週期(IP)中，該IP包含複數個圖像群組(GOP)；以及在編碼該未來圖像之後，使用該未來圖像作為一參考圖像來編碼該複數個GOP中之一順序第一GOP之一圖像，該順序第一GOP之每一圖像之顯示次序位置早於該第一顯示次序位置。以此方式編碼該未來圖像可在編碼及解碼複雜度增加最小的情況下改良編碼效能。

Description

具有在用於視訊寫碼之隨機存取組態中之未來參考訊框之可調適圖像群組結構
本發明係關於視訊寫碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主控台、蜂巢式或衛星無線電話(所謂的「智慧型電話」)、視訊電傳話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如由ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)、高效率視訊寫碼(HEVC)標準、ITU-T H.265/高效率視訊寫碼(HEVC)定義之標準及此等標準之擴展(諸如可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展)中所描述之彼等技術。視訊器件可藉由實施此類視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，視訊圖塊(例如，視訊圖像或視訊圖像的一部分)可分割成視訊區塊，視訊區塊亦可被稱作寫碼樹單元(CTU)、寫碼單元(CU)及/或寫碼節點。使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之框內寫碼(I)圖塊中的視訊區塊。圖像之框間寫碼(P或B)圖塊中之視訊區塊可使用關於同一圖像中之相鄰區塊中的參考樣本的空間預測或關於其他參考圖像中之參考樣本的時間預測。圖像可被稱作訊框，且參考圖像可被稱作參考訊框。
空間或時間預測產生用於待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差的殘餘資料來編碼。經框內寫碼區塊係根據框內寫碼模式及殘餘資料編碼。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生可接著進行量化之殘餘變換係數。可掃描最初配置成二維陣列之經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
大體而言，本發明描述與隨機存取組態中之圖像群組(GOP)結構及參考圖像建構有關的技術，該隨機存取組態決定進階視訊編碼解碼器上下文中之寫碼(編碼及/或解碼)次序、參考圖像清單及圖像緩衝器需求，該等編碼解碼器諸如即將到來的視訊編碼解碼器之聯合勘探模型(Joint Exploration Model；JEM)。更特定言之，本發明所提出之技術可藉由採用更高效的寫碼次序及參考圖像清單來改良層間預測之效能。
在一個實例中，一種編碼視訊資料之方法包括：編碼視訊資料中具有第一顯示次序位置之未來圖像，該未來圖像包括於視訊資料之框內週期(IP)中，該IP包含複數個圖像群組(GOP)；以及在編碼該未來圖像之後，使用該未來圖像作為參考圖像來編碼複數個GOP中之順序第一GOP之圖像，該順序第一GOP之每一圖像之顯示次序位置早於該第一顯示次序位置。
在另一實例中，一種用於對視訊資料進行編碼之器件包括：記憶體，其經組態以儲存視訊資料；以及視訊編碼器，其實施於電路中且經組態以：編碼該視訊資料中具有第一顯示次序位置之未來圖像，該未來圖像包括於該視訊資料之框內週期(IP)中，該IP包含複數個圖像群組(GOP)；以及在編碼該未來圖像之後，使用該未來圖像作為參考圖像來編碼該複數個GOP中之順序第一GOP之圖像，該順序第一GOP之每一圖像之顯示次序位置早於該第一顯示次序位置。
在另一實例中，一種用於編碼視訊資料之器件包括：用於編碼視訊資料中具有第一顯示次序位置之未來圖像的構件，該未來圖像包括於視訊資料之框內週期(IP)中，該IP包含複數個圖像群組(GOP)；以及用於在編碼該未來圖像之後，使用該未來圖像作為參考圖像來編碼複數個GOP中之順序第一GOP之圖像的構件，該順序第一GOP之每一圖像之顯示次序位置早於該第一顯示次序位置。
在另一實例中，一種儲存有指令之電腦可讀儲存媒體，該等指令在經執行時，使得用於編碼視訊資料之器件的處理器執行以下操作：編碼視訊資料中具有第一顯示次序位置之未來圖像，該未來圖像包括於該視訊資料之框內週期(IP)中，該IP包含複數個圖像群組(GOP)；以及在編碼該未來圖像之後，使用該未來圖像作為參考圖像來編碼該複數個GOP中之順序第一GOP之圖像，該順序第一GOP之每一圖像之顯示次序位置早於該第一顯示次序位置。
在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優點將自實施方式及圖式以及申請專利範圍而顯而易見。
本申請案主張2017年9月26日申請的美國臨時申請案第62/563,526 號之權益，該申請案之全部內容特此以引用之方式併入。
視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264 (亦稱作ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。MVC之聯合草案描述於「Advanced video coding for generic audiovisual services」, ITU-T H.264, 2010年3月中，其可獲自www.itu.int/rec/T-REC-H.264-201003-S/en。另外，新近開發的視訊寫碼標準，亦即高效率視訊寫碼(HEVC)係由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)之視訊寫碼聯合合作小組(JCT-VC)開發的。HEVC之最新草案可自phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip獲得。
本發明認識到，使用未來訊框作為參考訊框可在對現有視訊編碼解碼器的改動最小的情況下增加寫碼效率。舉例來說，藉由在包括多個圖像群組(GOP)之框內週期(IP)開始時寫碼一或多個未來訊框，可將該等未來訊框用作IP之隨後經寫碼圖像的參考訊框。以此方式對IP之圖像進行寫碼可增加寫碼效率(例如，減小位元串流之大小)，而不會增加視訊寫碼過程之複雜度。
圖1A及圖1B分別為示出封閉式及開放式圖像群組(GOP)之框間預測截止的概念圖。藉由使用框內隨機存取點(IRAP)圖像，包括瞬時解碼再新(IDR)圖像、清潔隨機存取(CRA)圖像及斷鏈存取(BLA)圖像，來實現HEVC中之隨機存取。IDR圖像遵循封閉式圖像群組(GOP)結構，而CRA圖像遵循開放式GOP結構。亦即，一般而言，封閉式GOP之圖像不包括按解碼次序在該GOP之前的圖像之框間預測參考，而開放式GOP可包括按解碼次序在該GOP之前的圖像之框間預測參考。BLA圖像通常由在CRA圖像位置處拼接位元串流而產生。
圖1A及圖1B示出封閉式GOP及開放式GOP結構中之不同IRAP圖像。圖1A及圖1B指示所展示的每一圖像之輸出次序及解碼次序。特定言之，陳述了圖像之POC值的顯示及解碼次序。亦即，自左至右參考圖像之POC值展示圖像之解碼次序，其意謂解碼次序列中之第二POC值左邊的解碼次序列中之第一POC值指示具有該第一POC值之圖像將在具有該第二POC值之圖像之前經解碼。舉例而言，具有圖像次序計數(POC)值(其可被視為經指派以用於識別位元串流中之每一圖像的唯一值) 52之圖像按輸出次序在具有POC值51之圖像後面。此意謂具有POC 51之圖像將比具有POC值52之圖像更早輸出。同樣地，具有POC值52之圖像按解碼次序在具有POC值50之圖像前面，其意謂具有POC值52之圖像將比具有POC值50之圖像更早解碼。
一般而言，視訊寫碼器在寫碼(編碼或解碼)當前圖像時可將比該當前圖像更早解碼的圖像用於框間預測參考。對於隨機存取，為了能夠自IRAP圖像開始解碼過程，存在框間預測截止，以使得截止點之後的圖像不可根據按解碼次序在框間預測截止之前的任何預先經解碼圖像而經框間預測。圖1A示出框間預測截止點4，而圖1B示出框間預測截止點8。圖1A亦示出前置圖像2，而圖1B示出前置圖像6。
圖1A說明封閉式GOP結構之實例，其包括實例框間預測截止點4。框間預測截止點4右側(亦即框間預測截止點4之後)的圖像不可根據框間預測截止點4左側的圖像經框間預測。如圖1A中所示，存在一組按解碼次序在具有POC值60之IRAP圖像後面但比該具有POC值60之IRAP圖像更早輸出的圖像(前置圖像2)。由此，圖1A中具有POC值57、58及59之圖像被稱為前置圖像。在例如根據圖1A之封閉式GOP結構中，與IRAP圖像相關聯的前置圖像不可根據按解碼及輸出次序均在具有POC值60之IRAP前面的參考圖像(亦即，框間預測截止點4左邊的圖像，其在圖1A中為具有POC值56或更小值的圖像)經預測。然而，前置圖像2可用作按解碼及輸出次序均在具有POC值60之IRAP圖像後面的圖像(亦即，具有POC值61或更大值的圖像，其亦被稱為具有POC值60之IRAP圖像之後置圖像)之框間預測參考。
圖1B說明開放式GOP結構之實例，其包括位於具有POC值60之IRAP圖像處的框間預測截止點8。在具有POC值60之IRAP圖像左側以及按解碼次序在具有POC值60之IRAP圖像後面的圖像(亦即，前置圖像6)仍可參考具有POC 60之IRAP圖像而經框間預測。具有POC值60之IRAP圖像右側的圖像亦可參考具有POC值60之IRAP圖像而經框間預測，但不使用具有POC值60之IRAP圖像(及框間預測截止點8)左側的圖像作為框間預測參考。由此，前置圖像2、6描繪封閉式GOP與開放式GOP之間的差異。在開放式GOP實例中，前置圖像可以指按解碼次序比其相關聯IRAP圖像更早的圖像(亦即，用作框間預測參考)，但封閉式GOP實例中不允許此情形。此差異使得前置圖像在開放式GOP實例中比在封閉式GOP實例中更高效地經寫碼。在開放式GOP及封閉式GOP實例中，前置圖像均不可用作後置圖像(亦即，按解碼及輸出次序均在IRAP後面的圖像)之框間預測參考。
在用於下一代視訊編碼解碼器之JEM 4.0常用測試條件(Common Test Condition；CTC)中，藉由針對框內週期(IP) (有時亦稱作框內訊框週期)處之圖像採用CRA而預設啟用開放式GOP結構。一般而言，框內週期為包括多個圖像群組(GOP)之圖像集合，其中GOP中之每一者可具有共同大小，且框內週期具有GOP大小之倍數。舉例而言，GOP可具有16個圖像之大小，且IP可為四個GOP之集合，使得該IP具有64個圖像。關於不同圖像類型(諸如IDR及CRA)之特徵的其他細節論述於G. J. Sullivan, J.-R. Ohm, W.-J. Han, T. Wiegand, 「Overview of the high efficiency video coding (HEVC) standard」, IEEE Trans. Circuits Syst. Video Technol., 第22卷, 第1648-1667頁, 2012年12月及ITU-T H.265 (04/2013)中。
參考圖像集合(RPS)為可用於框間預測以按解碼次序解碼後續圖像的預先經解碼圖像之集合。在RPS中，POC值用於識別每一圖像。一旦圖像經解碼，該圖像即儲存於經解碼圖像緩衝器(DPB) (例如電腦可讀儲存媒體之經解碼圖像緩衝器，諸如記憶體)中。DPB中之圖像可用作用於解碼未來圖像之參考圖像，及/或可經顯示而不用作參考圖像。若DPB中之圖像未經指定在RPS中，則該圖像經標記為不用於參考且可在顯示之後自DPB刪除。應注意，RPS及參考圖像清單之HEVC規格不同。HEVC規定，參考圖像清單含有待用作當前圖像之框間預測參考的特定數目個圖像，而RPS描述應保存用於當前及未來圖像之所有圖像。關於RPS及參考圖像清單之建構的其他細節論述於ITU-T H.265 (04/2013)中。
根據HEVC，在使用兩種可能寫碼模式中之一者的序列參數集(SPS)中指定RPS傳信：顯式寫碼模式或差分寫碼模式，該序列參數集支援多達NRPS,max = 64個RPS。若RPS在整個序列內不改變，則圖塊標頭中指定的索引iRPS = 0,…,(NRPS -1)足以指示哪個RPS將應用於當前圖塊。然而，若存在未包括於經由SPS傳信之RPS中的額外RPS，則使用顯式或差分寫碼模式用索引iRPS =NRPS 在圖塊標頭中傳信該額外RPS。圖像中之每一圖塊標頭應指代同一RPS，此係由於每個圖像僅建構一次RPS。JEM 4.0軟體使用與HEVC相同的傳信方法，如上文所論述。
為了最大化隨機存取組態中之寫碼效率，可使用經最佳化的量化參數(QP)值、RD最佳化中之λ、GOP大小及框間預測參考結構。然而，本發明認識到，在實踐中，在不增加編碼器複雜度或記憶體需求的情況下難以採用彼等參數之最佳集合以獲得寫碼效率之顯著改良。
舉例而言，如K. Andersson, P. Wennersten, R. Sjöberg, J. Samuelsson, J. Ström, P. Hermansson, M. Pettersson, 「Non-normative JEM encoder improvements」, JVET-B0039, 2016年2月(下文簡稱「Andersson」)中所提出，QP值及λ之改變產生位元消耗與重建構品質之間的良好折衷，其在QP值與λ充分匹配時帶來BD速率增益。又，GOP大小之增加(例如在Andersson中自GOP 8增加至GOP 16)由於在編碼器及解碼器兩者中需要一個額外圖像緩衝器而增加寫碼效能。上文所提及之改變適用於JEM 4.0中之常用測試條件(CTC)。
可藉由增加GOP大小(例如GOP 32或GOP 64)來達成進一步增益。然而，GOP大小之進一步增加可由於三個原因而受限。首先，相比於GOP 16，GOP 32或GOP 64可能分別需要編碼器及解碼器兩者上之緩衝器大小增加1或2倍。此情形尤其在寫碼更高解析度序列(例如4K或8K序列)時可引起障礙。其次，較大GOP大小限制了可應用框內週期之數目，此係由於框內週期應為GOP大小之倍數，如G. J. Sullivan, J.-R. Ohm, W.-J. Han, T. Wiegand, 「Overview of the high efficiency video coding (HEVC) standard」, IEEE Trans. Circuits Syst. Video Technol., 第22卷, 第1648-1667頁, 2012年12月中所規定。舉例而言，若GOP大小為64，則不可應用32或48之框內週期。第三，具有較大GOP大小之固定GOP結構難以適應目標視訊序列之各種特性。舉例而言，若GOP 64應用於具有較快運動之視訊序列，則由於當前圖像與參考圖像之間的較大POC距離，其框間預測之準確度相比於較小GOP大小(例如GOP 16)之框間預測準確度可明顯降低。
本發明描述可用於在對現有視訊編碼解碼器(例如HEVC或進階視訊編解碼器，諸如JEM)的改動最小的情況下改良寫碼效率之技術。所提出的技術類似於例如GOP 8或GOP 16之習知GOP結構，但不限制可應用框內週期之數目，同時在圖像緩衝器大小增加最小的情況下提供較大寫碼增益。另外，就本發明之技術而言，可在任何給定GOP大小的情況下達成可調適參考結構。為了在現有編碼解碼器(諸如HEVC或JEM)上實施所提出的技術，例如可在無任何解碼器改變的情況下使用習知RPS傳信。在其他實例中，可使用新穎的傳信方法來實施所提出的技術，從而達成更佳寫碼效率，但可能包括編碼器及解碼器兩者上之改變。本發明之技術可產生在解碼器處所接收的位元串流中之經寫碼圖像之特定次序，亦即經寫碼位元串流中之POC值之次序。
圖2為說明可使用本發明之可調適圖像群組(GOP)結構之技術的實例視訊編碼及解碼系統10之方塊圖。如圖2中所示，系統10包括源器件12，其提供稍後時間將由目的地器件14解碼的經編碼視訊資料。特定言之，源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包括廣泛範圍器件中之任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手持機(諸如所謂的「智慧型」電話)、所謂的「智慧型」手寫板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主控台、視訊串流器件或其類似者。在一些情況下，源器件12及目的地器件14可能經裝備以用於無線通信。
目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包括能夠將經編碼視訊資料自源器件12移動至目的地器件14的任何類型之媒體或器件。在一個實例中，電腦可讀媒體16可包括使得源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14的通信媒體。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將其傳輸至目的地器件14。通信媒體可包括任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件12至目的地器件14的通信之任何其他設備。
在一些實例中，可自輸出介面22將經編碼資料輸出至儲存器件。類似地，可藉由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本端存取之資料儲存媒體中之任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適之數位儲存媒體。在再一實例中，儲存器件可對應於檔案伺服器或可儲存由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流或下載自儲存器件存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將該經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)來存取經編碼視訊資料。該標準資料連接可包括無線頻道(例如Wi-Fi連接)、有線連接(例如DSL、電纜數據機等)或適用於存取儲存於檔案伺服器上之經編碼視訊資料的兩者之組合。經編碼視訊資料自儲存器件之傳輸可為串流傳輸、下載傳輸或其組合。
本發明之技術不限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖2之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。根據本發明，源器件12之視訊編碼器20可經組態以應用用於具有在隨機存取組態中之未來參考訊框之可調適GOP結構的技術。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件12可自外部視訊源18 (諸如，外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件介接，而非包括整合式顯示器件。
圖2所示之系統10僅係一個實例。用於具有在隨機存取組態中之未來參考訊框之可調適GOP結構的技術可由任何數位視訊編碼及/或解碼器件執行。該等技術亦可由視訊編碼器/解碼器(通常稱為「編碼解碼器」)執行。此外，本發明之技術亦可由視訊預處理器執行。源器件12及目的地器件14僅為源器件12產生經寫碼視訊資料以供傳輸至目的地器件14的此等寫碼器件之實例。在一些實例中，器件12、14可以實質上對稱之方式操作，使得器件12、14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、14之間的單向或雙向視訊傳輸，例如用於視訊串流、視訊播放、視訊廣播或視訊電話。
源器件12之視訊源18可包括視訊俘獲器件，諸如視訊攝影機、含有先前俘獲之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊的視訊饋送介面。作為另一替代，視訊源18可產生基於電腦圖形之資料作為源視訊，或實況視訊、經存檔視訊及電腦產生之視訊的組合。在一些狀況下，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明所描述之技術一般可適用於視訊寫碼，且可適用於無線及/或有線應用。在每一情況下，俘獲、預先俘獲或電腦產生之視訊可由視訊編碼器20編碼。經編碼視訊資訊可接著由輸出介面22輸出至電腦可讀媒體16上。
電腦可讀媒體16可包括暫時性媒體，諸如無線廣播或有線網路傳輸，或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、快閃驅動器、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未圖示)可例如經由網路傳輸自源器件12接收經編碼視訊資料且將該經編碼視訊資料提供至目的地器件14。類似地，諸如光碟衝壓設施之媒體生產設施的運算裝置可自源器件12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體16可理解為包括各種形式之一或多個電腦可讀媒體。
目的地器件14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊，其亦由視訊解碼器30使用，其包括描述區塊及其他經寫碼單元之特性及/或處理的語法元素。顯示器件32向使用者顯示經解碼視訊資料，且可包括多種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器，或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據視訊寫碼標準操作，諸如，亦被稱作ITU-T H.265的高效率視訊寫碼(HEVC)標準。替代地，視訊編碼器20及視訊解碼器30可根據其他專屬或行業標準(諸如ITU-T H.264標準，替代地被稱作MPEG-4第10部分，進階視訊寫碼(AVC))或此等標準之擴展而操作。此外，視訊編碼器20及視訊解碼器30可根據JEM或多功能視訊寫碼(VVC)操作。然而，本發明之技術不限於任何特定寫碼標準。視訊寫碼標準之其他實例包括MPEG-2及ITU-T H.263。儘管圖2中未示出，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30各自可實施為多種合適之編碼器電路中之任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時，器件可將用於軟體之指令儲存於適合的非暫時性電腦可讀媒體中，且使用一或多個處理器在硬體中執行該等指令，以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編碼解碼器)之部分。
在一些實例中，諸如ITU-T H.265中，視訊圖像可劃分成一連串寫碼樹單元(CTU) (或最大寫碼單元(LCU))，該等寫碼樹單元可包括明度及色度樣本兩者。替代地，CTU可包括單色資料(亦即，僅明度樣本)。位元串流內之語法資料可定義CTU之大小，CTU就像素之數目而言為最大寫碼單元。圖塊包括按寫碼次序之數個連續CTU。視訊圖像可分割成一或多個圖塊。每一CTU可根據四分樹而***成寫碼單元(CU)。大體而言，四分樹資料結構每CU包括一個節點，其中根節點對應於CTU。若將CU拆分成四個子CU，則對應於該CU之節點包括四個葉節點，該四個葉節點中之每一者對應於該等子CU中之一者。
四分樹資料結構中之每一節點可提供對應CU之語法資料。舉例而言，該四分樹中之節點可包括***旗標，從而指示是否將對應於該節點之CU***成子CU。針對CU之語法元素可經遞回地定義，且可取決於該CU是否***成子CU。若CU未經進一步***，則其被稱作葉CU。在本發明中，儘管不存在原始葉CU之顯式***，但葉CU之四個子CU亦將被稱作葉CU。舉例而言，若16×16大小之CU未進一步***，則儘管該16×16 CU從未***，但四個8×8子CU亦將被稱作葉CU。
除CU不具有大小區別外，CU具有與H.264標準之巨集區塊類似的用途。舉例而言，CTU可***成四個子節點(亦被稱作子CU)，且每一子節點轉而可為父節點且***成另外四個子節點。被稱作四分樹之葉節點之最終的未***子節點包括寫碼節點，該寫碼節點亦被稱作葉CU。與經寫碼位元串流相關聯之語法資料可定義可***CTU之最大次數(其被稱作最大CU深度)，且亦可定義寫碼節點之最小大小。因此，位元串流亦可定義最小寫碼單元(SCU)。本發明使用術語「區塊」指代HEVC上下文中之CU、預測單元(PU)或變換單元(TU)中之任一者，或其他標準上下文中之類似資料結構(例如，H.264/AVC中之巨集區塊及其子區塊)。
CU包括寫碼節點及與該寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小，且大體上為正方形形狀。CU之大小範圍可為8×8個像素達至最大大小為例如64×64像素或大於64×64像素的CTU之大小。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述例如將CU分割成一或多個PU。分割模式可在CU經跳過或直接模式編碼、框內預測模式編碼或是框間預測模式編碼之間不同。PU可被分割成非正方形形狀。與CU相關聯之語法資料亦可描述例如根據四分樹將CU分割成一或多個TU。TU可為正方形或非正方形(例如，矩形)形狀。
HEVC標準允許根據TU進行變換，該等變換對於不同CU可為不同的。TU通常基於針對經分割CTU界定之給定CU內的PU (或CU之分區)的大小而設定大小，儘管可能並非總是此狀況。TU通常與PU (或CU之分區，例如在框內預測的情況下)大小相同或小於PU。在一些實例中，可使用被稱為「殘餘四分樹」(RQT)之四分樹結構而將對應於CU之殘餘樣本再分為較小單元。可將RQT之葉節點稱作變換單元(TU)。與TU相關聯之像素差值可經變換以產生可經量化之變換係數。
葉CU在使用框間預測經預測時可包括一或多個預測單元(PU)。大體而言，PU表示對應於該對應CU之全部或一部分的空間區域，且可包括用於針對PU擷取及/或產生參考樣本的資料。此外，PU包括與預測有關之資料。當CU經框間模式編碼時，CU之一或多個PU可包括定義諸如一或多個運動向量之運動資訊的資料，或PU可經跳過模式寫碼。定義PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之豎直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向的參考圖像，及/或運動向量之參考圖像清單(例如，清單0或清單1)。
葉CU亦可經框內模式預測。一般而言，框內預測涉及使用框內模式來預測葉CU (或其分區)。視訊寫碼器可選擇葉CU之一組相鄰之先前寫碼像素以用以預測葉CU (或其分區)。
葉CU亦可包括一或多個變換單元(TU)。如上文所論述，可使用RQT (亦稱作TU四分樹結構)來指定變換單元。舉例而言，***旗標可指示葉CU是否經***成四個變換單元。接著，可將每一TU進一步***為其他子TU。當TU未進一步***時，可將其稱作葉TU。大體而言，對於框內寫碼而言，屬於葉CU之所有葉TU共用相同之框內預測模式。亦即，一般應用相同框內預測模式來計算葉CU之所有TU之預測值。對於框內寫碼，視訊編碼器可使用框內預測模式將每一葉TU之殘餘值計算為CU之對應於該TU的部分與原始區塊之間的差。TU不必受限於PU的大小。因此，TU可大於或小於PU。對於框內寫碼，CU之分區或CU自身可與CU之對應葉TU並置。在一些實例中，葉TU之最大大小可對應於對應葉CU之大小。
此外，葉CU之TU亦可與各別四分樹資料結構(被稱作殘餘四分樹(RQT))相關聯。亦即，葉CU可包括指示該葉CU如何被分割成TU之四分樹。TU四分樹之根節點大體對應於葉CU，而CU四分樹之根節點大體對應於CTU (或LCU)。將RQT之未被***的TU稱作葉TU。一般而言，除非另有指示，否則本發明分別使用術語CU及TU來指葉CU及葉TU。
視訊序列通常包括以隨機存取點(RAP)圖像開始的一系列視訊訊框或圖像。視訊序列可包括序列參數集(SPS)中之語法資料，該序列參數集包括視訊序列之特性。圖像之每一圖塊可包括描述該各別圖塊之編碼模式的圖塊語法資料。視訊編碼器20通常對個別視訊圖塊內之視訊區塊進行操作，以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定寫碼標準而大小不同。
作為一實例，可針對各種大小之PU執行預測。假定特定CU之大小為2N×2N，則可對2N×2N或N×N之PU大小執行框內預測，且可對2N×2N、2N×N、N×2N或N×N之對稱PU大小執行框間預測。亦可針對2N×nU、2N×nD、nL×2N及nR×2N的PU大小執行框間預測之不對稱分割。在不對稱分割中，CU之一個方向未分割，而另一方向分割成25%及75%。CU之對應於25%分割之部分由「n」其後接著「上(Up)」、「下(Down)」、「左(Left)」或「右(Right)」之指示來指示。因此，例如，「2N×nU」係指水平地以頂部之2N×0.5N PU及底部之2N×1.5N PU分割之2N×2N CU。
在本發明中，「N×N」及「N乘N」可互換使用，以指視訊區塊就豎直及水平尺寸而言之像素尺寸，例如16×16像素或16乘16像素。一般而言，16×16區塊在豎直方向上將具有16個像素(y = 16)且在水平方向上將具有16個像素(x = 16)。同樣地，N×N區塊通常在豎直方向上具有N個像素且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來排列區塊中之像素。此外，區塊未必需要在水平方向上與在豎直方向上具有相同數目個像素。舉例而言，區塊可包括N×M個像素，其中M未必等於N。
在使用CU之PU的框內預測性或框間預測性寫碼之後，視訊編碼器20可計算CU之TU的殘餘資料。PU可包括描述在空間域(亦稱作像素域)中產生預測性像素資料之方法或模式的語法資料，且TU可包括在對殘餘視訊資料應用變換(例如離散餘弦變換(DCT)、整數變換、小波變換或在概念上類似的變換)之後變換域中的係數。該殘餘資料可對應於未經編碼圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括表示CU之殘餘資料的經量化變換係數之TU。亦即，視訊編碼器20可計算殘餘資料(以殘餘區塊之形式)、變換殘餘區塊以產生變換係數之區塊，且接著量化變換係數以形成經量化變換係數。視訊編碼器20可形成包括經量化變換係數之TU，以及其他語法資訊(例如，TU之***資訊)。
如上文所提及，在任何變換以產生變換係數後，視訊編碼器20可執行變換係數之量化。量化通常指變換係數經量化以可能減少用以表示係數的資料的量從而提供進一步壓縮之過程。量化過程可減小與係數中之一些或所有相關聯的位元深度。舉例而言，可在量化期間將n 位元值降值捨位至m 位元值，其中n 大於m 。
在量化之後，視訊編碼器可掃描變換係數，從而自包括經量化變換係數之二維矩陣產生一維向量。掃描可經設計以將較高能量(且因此較低頻率)係數置於陣列前部，且將較低能量(且因此較高頻率)係數置於陣列後部。在一些實例中，視訊編碼器20可利用預定義掃描次序來掃描經量化之變換係數以產生可經熵編碼的串行化向量。在其他實例中，視訊編碼器20可執行自適應掃描。在掃描經量化變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文自適應可變長度寫碼(CAVLC)、上下文自適應二進位算術寫碼(CABAC)、基於語法之上下文自適應二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法來對一維向量進行熵編碼。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯的語法元素，以供由視訊解碼器30用於解碼視訊資料。
為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指派給待傳輸之符號。該上下文可能涉及(例如)符號之鄰近值是否為非零。為執行CAVLC，視訊編碼器20可選擇用於待傳輸之符號的可變長度碼。可將VLC中之碼字建構成使得相對較短碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，相對於(例如)針對待傳輸之每一符號使用相等長度碼字，使用VLC可達成位元節省。機率判定可基於經指派至符號之上下文而進行。
大體而言，視訊解碼器30執行儘管與由視訊編碼器20執行之過程互逆但與其實質上類似的過程，以解碼經編碼資料。舉例而言，視訊解碼器30反量化且反變換所接收TU之係數以再生殘餘區塊。視訊解碼器30使用所傳信之預測模式(框內預測或框間預測)以形成經預測區塊。接著視訊解碼器30 (在逐像素基礎上)使經預測區塊與殘餘區塊組合以再生原始區塊。可執行額外處理，諸如執行解區塊過程以減少沿區塊邊界之視覺假影。此外，視訊解碼器30可以儘管與視訊編碼器20之CABAC編碼過程互逆但與其實質上類似之方式使用CABAC解碼語法元素。
視訊編碼器20可進一步(例如)在圖像標頭、區塊標頭、圖塊標頭或其他語法資料(諸如序列參數集(SPS)、圖像參數集(PPS)或視訊參數集(VPS))中將語法資料(諸如基於區塊之語法資料、基於圖像之語法資料及基於序列之語法資料)發送至視訊解碼器30。
就隨機存取組態中之任何給定框內週期(IP)及GOP大小而言，習知GOP結構針對序列內之每一GOP保持使用相同寫碼次序及參考圖像。然而，根據本發明之技術，視訊編碼器20及/或視訊解碼器30可對比其他圖像更早的兩個相鄰IRAP圖像之間的框內週期(IP)圖像中之特定數目個未來(提前經寫碼)圖像(例如在IP=64的情況下對64個圖像)進行寫碼。未來(提前經寫碼)圖像在顯示次序上可超出給定GOP邊界，但在顯示次序上應在下一IRAP圖像之前。且除了未來(提前經寫碼)圖像以外，視訊編碼器20及/或視訊解碼器30按照每一GOP之固定次序寫碼其餘圖像。兩個相鄰IRAP圖像之間的圖像之經修改寫碼次序在整個序列中重複；NF 個未來(提前經寫碼)圖像相對於相鄰IRAP圖像之相對POC值在整個輸入序列中不會改變。
視訊編碼器20及/或視訊解碼器30將提前經寫碼圖像儲存於包括圖像緩衝器之記憶體中，且可使用此等提前經寫碼圖像作為按寫碼次序之後續圖像的複數個參考圖像中之一者。儲存提前經寫碼圖像所需的緩衝器大小增加取決於提前經寫碼圖像之數目及其POC值。視訊編碼器20及視訊解碼器30兩者中之經修改寫碼次序可匹配，以避免任何錯配。將未來(提前經寫碼)圖像之數目表示為NF ，其中NF可為0、1、…或IP。對於其餘圖像，可使用任何GOP大小，只要IP之值為GOP大小之倍數。
在一個實例中，視訊編碼器20及/或視訊解碼器30對每一IP圖像(例如IP=64時64個圖像)中之單一未來圖像(例如，I訊框)進行寫碼，之後再對第一GOP中按寫碼次序在前一I訊框之後的第一圖像進行寫碼。下文圖5A及圖5B示出每組IP圖像中之單一未來I訊框在第一GOP中按寫碼次序在前一I訊框之後的第一圖像之前經寫碼的實例。
在一個實例中，視訊編碼器20及/或視訊解碼器30對表示未來(提前經寫碼)圖像之可用性的數據進行寫碼。此資料可藉由採用HEVC標準中所指定(如JEM中亦採用)的顯式或差分寫碼而使用習知RPS傳信。首先，視訊編碼器20及/或視訊解碼器30可對指示包括未來(提前經寫碼)圖像之給定GOP大小及其參考結構的SPS之資料進行寫碼。其次，在需要參考未來(提前經寫碼)圖像更新δ POC值之圖像中，視訊編碼器20及/或視訊解碼器30可使用顯式或差分寫碼在圖塊標頭中對表示更新後的RPS的資料進行寫碼。由此，此方法不需要HEVC或JEM解碼器之任何改變。
在一個實例中，視訊編碼器20及視訊解碼器30可在SPS中僅使用習知RPS傳信來對指示未來圖像之可用性的資料進行寫碼，而不在圖塊標頭中使用RPS傳信。替代地，視訊編碼器20及視訊解碼器30可對相對於HEVC/JEM添加至SPS之兩個條目之資料進行寫碼：指示是否啟用所提出方案之旗標，及在該旗標啟用時之框內週期。由於未來(提前經寫碼)圖像始終為下一I訊框，因此視訊解碼器30可基於圖像之POC值及框內週期值來偵測當前圖像是否為未來圖像。接著，視訊解碼器30可視需要基於例如HEVC中所指定的RPS建構之固定規則來修改RPS。由此，此方法相對於HEVC可包括視訊編碼器20及視訊解碼器30兩者之標準改變。
在一個實例中，視訊編碼器20及視訊解碼器30可對潛在未來經寫碼圖像之清單之一組δPOC值進行寫碼，使得該等δPOC值關於第一參考圖像經寫碼。視訊編碼器20及視訊解碼器30可在SPS或其他參數集(例如，視訊參數集(VPS)、圖像參數集(PPS)或調適參數集(APS))中對傳信資料進行寫碼。代替第一參考圖像，可使用按解碼次序之前一IRAP圖像、RPS中之IRAP圖像或RPS中具有最小POC值之IRAP圖像中之任一者。可替代地，視訊編碼器20及視訊解碼器30可對潛在未來經寫碼圖像之清單之多組δPOC值進行寫碼，作為待選擇之模板。
在一個實例中，視訊編碼器20及視訊解碼器30可對指示每一給定框內週期之未來經寫碼圖像之子集的資料進行寫碼。該資料可指示如上文所論述之未來經寫碼圖像之集合中未來經寫碼圖像的數目NF ；此數值將指示潛在經寫碼圖像之清單中之第一NF 個圖像。該資料可明確地指示在框內週期中經寫碼的潛在未來經寫碼圖像之集合。視訊編碼器20及/或視訊解碼器30接著可將一索引寫碼至集合清單中，該索引指示SPS中之未來經寫碼圖像之δPOC值/清單之子集中之一者的選擇。
在一個實例中，視訊編碼器20及視訊解碼器30可對傳信未來經寫碼圖像之子集之位置的資料進行寫碼。此指示可包括在SPS中且應用於所有框內週期。另外或可替代地，視訊編碼器20及/或視訊解碼器30可在圖塊層級對指示未來經寫碼圖像之子集的資料進行寫碼。
在一個實例中，視訊編碼器20及視訊解碼器30可經組態以基於HEVC之現有RPS導出程序及位元串流中所指示的未來經寫碼圖像之子集來導出當前圖像之RPS。特定言之，視訊編碼器20及視訊解碼器30可經組態以基於適用於當前框內週期之未來經寫碼圖像之子集且在框內週期中之未來經寫碼圖像經解碼時將一或多個未來經寫碼圖像添加至RPS中，及/或追蹤何時在現有RPS導出程序中移除未來經寫碼圖像。
另外或替代地，視訊編碼器20及視訊解碼器30可經組態以寫碼(分別編碼或解碼)每一框內週期(IP)圖像(例如IP=64時64個圖像)中之單一未來訊框(不一定為I訊框)，隨後遵循任何給定GOP大小之固定次序寫碼其餘圖像。未來(提前經寫碼)圖像相對於相鄰IRAP圖像之相對位置在整個序列中可為固定的。舉例而言，對於IP=64，未來訊框可為定位於兩個連續I訊框中間的圖像，亦即POC 32 + IP * i，其中i = 0、1、2、…。由此，寫碼次序將為POC 0 à POC 32 à POC 16 à POC 8 à … à POC 24 à … à POC 48 à POC 40 à … à POC 64 à POC 56 - … à POC 63。經寫碼訊框(例如POC 32)儲存於包括視訊編碼器20或視訊解碼器30之緩衝器的記憶體中，使得該經寫碼訊框可用作後續圖像之複數個潛在參考圖像中之一者。
在一些實例中，視訊解碼器30不需要改變，其藉由使用如上文所論述之習知RPS傳信來支援此寫碼方案。亦即，視訊編碼器20可使用如HEVC及JEM中所指定之顯式或差分寫碼將未來(提前經寫碼)圖像之可用性傳信至使用習知RPS傳信之視訊解碼器30。
在一個實例中，可如下達成寫碼效率之進一步改良：藉由將視訊編碼器20及視訊解碼器30組態成根據上文關於SPS中之習知RPS傳信所描述但不使用圖塊標頭中之RPS傳信的技術來寫碼額外資訊(例如，相對於給定框內週期之δPOC)。在上文所描述之實例中，δPOC值為32。由於未來(提前經寫碼)圖像相對於IRAP圖像之相對位置不會改變，因此δPOC之一個單一值將足以使得視訊解碼器30能夠偵測哪個POC應被視為未來訊框，且視訊解碼器30可基於RPS建構之固定規則而產生經修改RPS。
在一個實例中，視訊編碼器20及視訊解碼器30可寫碼每一IP圖像(例如其中IP=64時「IP圖像」為64個圖像)中之多個訊框，隨後遵循任何給定GOP大小之固定次序寫碼其餘圖像。取決於應用之需求，未來(提前經寫碼)圖像可包括或可不包括未來I訊框。舉例而言，在IP=64及GOP 16的情況下，可採用深度優先搜尋(DFS)類寫碼次序。在四個未來(提前經寫碼)圖像的情況下，寫碼次序可為POC 0 à POC 64 à POC 16 à POC 32 à POC 48 à POC 8 à … à POC 24 à … à POC 40 … à POC 56 à … à POC 63。本文中，未來(提前經寫碼)圖像相對於兩個相鄰IRAP圖像之位置的相對位置在整個序列中為固定的。在以上實例中，四個未來訊框具有POC值POC1 = 16 + IP * i、POC2 = 32 + IP * i、POC3 = 48 + IP * i、POC4 = 64 + IP * i，其中i = 0、1、2、…。應注意，所需的緩衝器大小隨著未來訊框之數目增加而增加。
在一些實例中，視訊解碼器30不需要改變，其藉由使用如上文所論述之習知RPS傳信來支援此寫碼方案。亦即，視訊編碼器20可使用如HEVC及JEM中所指定之顯式或差分寫碼將未來(提前經寫碼)圖像之可用性傳信至使用習知RPS傳信之視訊解碼器30。可替代地，此傳信資料可包括δPOC之多個元素，如上文所論述。
另外或可替代地，就任何給定GOP大小及框內週期(IP) (例如GOP16及IP=64)而言，在隨機存取組態中，視訊編碼器20及/或視訊解碼器30可採用單一或多個未來(提前經寫碼)圖像之可調適選擇。亦即，未來(提前經寫碼)圖像之POC值在每一IP圖像中不一定為固定的；在一些實例中，相對於相鄰IRAP圖像之相對POC值可改變。視訊編碼器20及視訊解碼器30在寫碼每一IP圖像中之第一圖像之前可判定未來圖像之數目(NF )及其POC值。
(視訊編碼器20及/或使用者或管理員)可藉由針對輸入視訊序列之訓練程序來判定未來(提前經寫碼)圖像之數目及選擇。另外或可替代地，(視訊編碼器20及/或使用者或管理員)可使用輸入視訊序列之特性來判定未來(提前經寫碼)圖像之數目及選擇。可以習知方式(例如，根據HEVC)寫碼第一GOP或特定數目個GOP中之圖像。在週期期間，視訊編碼器20可收集統計資料，以藉由考慮運動向量之平均大小、框內預測比率、跳過比率及/或類似特性而量測輸入視訊序列之動力學。輸入視訊寫碼得越困難，彼等圖像中預期需要更多具有更小POC距離之未來(提前經寫碼)圖像。
對於將未來(提前經寫碼)圖像之可用性傳信至視訊解碼器30而言，可使用比上文所描述之技術更多的位元，此係由於相對於相鄰IRAP圖像之相對POC值可改變。在一些實例中，視訊解碼器30不需要改變，其藉由使用如上文所論述之習知RPS傳信來支援此寫碼方案。亦即，視訊編碼器20可使用如HEVC及JEM中所指定之顯式或差分寫碼將未來(提前經寫碼)圖像之可用性傳信至使用習知RPS傳信之視訊解碼器30。替代地，可傳信兩個旗標：在SPS中傳信一個旗標，且在圖塊標頭中傳信另一旗標。SPS之條目可為指示是否啟用所提出方案之旗標。一旦該旗標啟用，則視訊編碼器20及視訊解碼器30在圖塊標頭中寫碼另一旗標，以指示當前圖像是否為未來(提前經寫碼)圖像。若該旗標不啟用，則視訊解碼器30遵循RPS中已經由SPS傳信的參考結構。若圖塊標頭中之旗標啟用，則視訊解碼器30可基於RPS建構之固定規則相應地建構經修改RPS。
視訊編碼器20及視訊解碼器30各自可經實施為可適用的多種合適編碼器或解碼器電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路、軟體、硬體、韌體或其任何組合。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可經整合為組合式編碼器/解碼器(編碼解碼器)之部分。包括視訊編碼器20及/或視訊解碼器30之器件可包括積體電路、微處理器及/或無線通信器件(諸如蜂巢式電話)。
圖3為說明實例視訊編碼器20之方塊圖，該視訊編碼器可實施用於執行本發明之使用可調適圖像群組(GOP)結構之技術的技術。視訊編碼器20可執行視訊圖塊內之視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之相鄰訊框或圖像內之視訊的時間冗餘。框內模式(I模式)可指若干基於空間之寫碼模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之寫碼模式中之任一者。
如圖3中所示，視訊編碼器20接收待編碼視訊訊框內的當前視訊區塊。在圖3之實例中，視訊編碼器20包括模式選擇單元40、參考圖像記憶體64 (其亦可被稱為經解碼圖像緩衝器(DPB))、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測單元46及分割單元48。為了達成視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換單元60及求和器62。亦可包括解區塊濾波器(圖3中未圖示)以便對區塊邊界進行濾波，以自經重建構視訊中移除區塊效應假影。若需要，解區塊濾波器將通常對求和器62之輸出進行濾波。除瞭解區塊濾波器外，亦可使用額外濾波器(迴路中或迴路後)。為簡潔起見未示出此等濾波器，但若需要，此等濾波器可對求和器50之輸出進行濾波(作為迴路中濾波器)。
在編碼過程期間，視訊編碼器20接收待寫碼之視訊訊框或圖塊。可將該訊框或圖塊劃分成多個視訊區塊。運動估計單元42及運動補償單元44執行所接收視訊區塊相對於一或多個參考訊框中之一或多個區塊的框間預測性編碼以提供時間預測。框內預測單元46可替代地執行所接收視訊區塊相對於與待寫碼區塊在同一訊框或圖塊中之一或多個鄰近區塊的框內預測性編碼以提供空間預測。視訊編碼器20可執行多個寫碼遍次，(例如)以選擇用於每一視訊資料區塊之適當寫碼模式。
此外，分割單元48可基於對先前寫碼遍次中之先前分割方案的評估而將視訊資料之區塊分割成子區塊。舉例而言，分割單元48可初始地將訊框或圖塊分割成CTU，且基於速率-失真分析(例如，速率-失真最佳化)來將該等CTU中之每一者分割成子CU。模式選擇單元40可進一步產生指示將CTU分割為子CU之四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可(例如)基於誤差結果而選擇預測模式(框內或框間)中之一者，且將所得經預測區塊提供至求和器50以產生殘餘區塊資料，及提供至求和器62以重建構經編碼區塊以用作參考訊框。模式選擇單元40亦將語法元素(諸如運動向量、框內模式指示符、分區資訊及其他此類語法資訊)提供至熵編碼單元56。
運動估計單元42及運動補償單元44可高度整合，但出於概念目的而單獨示出。由運動估計單元42執行之運動估計為產生運動向量之處理，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示當前視訊訊框或圖像內之視訊區塊相對於參考訊框(或其他經寫碼單元)內之預測性區塊的PU相對於該當前訊框(或其他經寫碼單元)內正經寫碼的當前區塊之位移。預測性區塊為就像素差而言被發現緊密地匹配待寫碼區塊之區塊，該像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差異度量判定。在一些實例中，視訊編碼器20可計算儲存於參考圖像記憶體64中的參考圖像之次整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊的位置而計算經框間寫碼圖塊中之視訊區塊的PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等清單中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計單元42判定之運動向量提取或產生預測性區塊。再次，在一些實例中，運動估計單元42與運動補償單元44可在功能上整合。在接收當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。求和器50藉由自正經寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值，如下文所論述。一般而言，運動估計單元42執行關於明度分量的運動估計，且運動補償單元44將基於該等明度分量計算之運動向量用於色度分量與明度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊圖塊相關聯之語法元素以供視訊解碼器30在解碼視訊圖塊之視訊區塊時使用。
如上文所描述，作為由運動估計單元42及運動補償單元44執行之框間預測的替代方案，框內預測單元46可對當前區塊進行框內預測。特定言之，框內預測單元46可判定待用以編碼當前區塊之框內預測模式。在一些實例中，框內預測單元46可(例如)在單獨編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測單元46 (或在一些實例中為模式選擇單元40)可自所測試模式中選擇適當框內預測模式來使用。
舉例而言，框內預測單元46可使用對各種所測試框內預測模式之速率-失真分析來計算速率-失真值，且可在所測試模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與原始未經編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元率(亦即，位元之數目)。框內預測單元46可自各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。
在選擇用於區塊之框內預測模式後，框內預測單元46可將指示用於區塊之所選框內預測的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示所選框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流中包括以下各者：組態資料，其可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦稱作碼字映射表)；各種區塊之編碼上下文的定義；及待用於該等上下文中之每一者的最可能之框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。
視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將變換(諸如離散餘弦變換(DCT)或概念上類似之變換)應用於殘餘區塊，從而產生包括變換係數值之視訊區塊。可使用小波變換、整數變換、子頻帶變換、離散正弦變換(DST)或其他類型之變換代替DCT。在任何情況下，變換處理單元52將變換應用於殘餘區塊，從而產生變換係數區塊。變換可將殘餘資訊自像素域轉換至變換域，諸如頻域。變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減少位元率。量化過程可減小與係數中之一些或所有相關聯的位元深度。可藉由調整量化參數來修改量化程度。
在量化之後，熵編碼單元56熵寫碼經量化之變換係數。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的狀況下，上下文可基於鄰近區塊。在由熵編碼單元56進行熵寫碼之後，可將經編碼位元串流傳輸至另一器件(例如視訊解碼器30)，或加以存檔以供稍後傳輸或擷取。
反量化單元58及反變換單元60分別應用反量化及反變換以重建構像素域中之殘餘區塊。特定言之，求和器62將經重建殘餘區塊添加至由運動補償單元44或框內預測單元46產生之運動補償預測區塊，以產生用於儲存於參考圖像記憶體64中之經重建構之視訊區塊。該經重建構之視訊區塊可由運動估計單元42及運動補償單元44使用，作為參考區塊以對後續視訊訊框中之區塊進行框間寫碼。
圖4為說明實例視訊解碼器30之方塊圖，該視訊解碼器可執行本發明之使用可調適圖像群組(GOP)結構之技術。在圖4之實例中，視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測單元74、反量化單元76、反變換單元78、參考圖像記憶體82及求和器80。在一些實例中，視訊解碼器30可執行大體上互逆於關於視訊編碼器20 (圖3)所描述之編碼遍次的解碼遍次。運動補償單元72可基於自熵解碼單元70接收之運動向量產生預測資料，而框內預測單元74可基於自熵解碼單元70接收之框內預測模式指示符產生預測資料。
在解碼過程期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊圖塊之視訊區塊及相關聯之語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元70對位元串流進行熵解碼以產生經量化係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可在視訊圖塊層級及/或視訊區塊層級接收語法元素。
當視訊圖塊經寫碼為經框內寫碼(I)圖塊時，框內預測單元74可基於經傳信框內預測模式及來自當前訊框或圖像之先前經解碼區塊的資料而產生當前視訊圖塊之視訊區塊的預測資料。當視訊訊框經寫碼為經框間寫碼(亦即B或P)圖塊時，運動補償單元72基於自熵解碼單元70接收之運動向量及其他語法元素產生當前視訊圖塊之視訊區塊的預測性區塊。預測性區塊可自參考圖像清單中之一者內的參考圖像中之一者產生。視訊解碼器30可基於儲存於參考圖像記憶體82中之參考圖像使用預設建構技術建構參考圖像清單--清單0及清單1。運動補償單元72藉由解析運動向量及其他語法元素判定用於當前視訊圖塊之視訊區塊的預測資訊，且使用預測資訊產生用於正解碼之當前視訊區塊的預測性區塊。舉例而言，運動補償單元72可使用所接收的語法元素以判定用於寫碼視訊圖塊之視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測圖塊類型(例如，B圖塊或P圖塊)、圖塊之一或多個參考圖像清單之建構資訊、圖塊之每一框間編碼視訊區塊之運動向量、圖塊之每一框間寫碼視訊區塊之框間預測狀態，及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。
運動補償單元72亦可執行基於內插濾波器之內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器，以計算參考區塊之子整數像素的內插值。在此情況下，運動補償單元72可自所接收之語法元素判定由視訊編碼器20所使用之內插濾波器並使用該等內插濾波器以產生預測性區塊。
反量化單元76反量化(亦即，解量化)位元串流中所提供且由熵解碼單元70解碼的經量化變換係數。反量化過程可包括使用由視訊解碼器30針對視訊圖塊中之每一視訊區塊計算之量化參數QPY 以判定應進行應用的量化程度及(同樣地)反量化程度。
反變換單元78將反變換(例如，反DCT、反整數變換或在概念上類似的反變換過程)應用於變換係數，以便在像素域中產生殘餘區塊。
在運動補償單元72基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊後，視訊解碼器30藉由對來自反變換單元78之殘餘區塊與由運動補償單元72產生之對應預測性區塊求和而形成經解碼視訊區塊。求和器80表示執行此求和運算之該或該等組件。若需要，亦可應用解區塊濾波器來對經解碼區塊濾波以便移除區塊效應假影。亦可使用其他迴路濾波器(在寫碼迴路內或在寫碼迴路之後)使像素轉變平滑，或以其他方式改良視訊品質。接著將給定訊框或圖像中之經解碼視訊區塊儲存於參考圖像記憶體82中，該參考圖像記憶體儲存用於後續運動補償之參考圖像。參考圖像記憶體82亦儲存經解碼視訊以供稍後在顯示器件(諸如圖2之顯示器件32)上呈現。
圖5A為示出框內週期(IP)=64內之圖像群組(GOP)之實例集合的概念圖。圖5A之圖像100至116包括各別POC值0、16、32、48、64、8、24、40及56。圖5A中之箭頭指示參考圖像與目標圖像之間的預測方向。特定言之，實線箭頭表示自過去(更早顯示之圖像，亦即顯示次序位置比目標圖像之顯示次序位置更早的參考圖像)預測，且點線箭頭表示自未來(稍後顯示之圖像，亦即顯示次序位置比目標圖像之顯示次序位置更晚的參考圖像)預測。應注意，為了易於說明，參考結構僅描繪某些所選擇訊框。
如圖5A中所示出，對於框內週期64及GOP 16而言，習知GOP16結構在非所提出方案的情況下按圖像100、圖像102、圖像110、…圖像104、圖像112、…圖像106、圖像114、…圖像108、圖像116之次序寫碼，隨後寫碼後續圖像。亦即，就POC值而言圖像寫碼次序為POC 0 à POC 16 à POC 8 à … à POC 32 à POC 24 à … à POC 48 à POC 40 à … à POC 64 à POC 56 à … à POC 63。由此，具有POC 64之圖像108可僅用作最後15個圖像之潛在參考圖像，亦即具有POC 56之圖像116至具有POC 63之圖像(未圖示)。換言之，按寫碼次序在具有POC 56之圖像116前面的任一圖像(例如，具有POC 16之圖像102、具有POC 32之圖像104、具有POC 48之圖像106以及其類似者)不可使用POC 64作為參考圖像。
圖5B為說明在IP=64的情況下根據本發明之技術的實例寫碼方案的概念圖。圖5B之圖像120至136包括各別POC值0、16、32、48、64、8、24、40及56。同樣，圖5B中之箭頭指示參考圖像與目標圖像之間的預測方向。特定言之，實線箭頭表示自過去(更早顯示之圖像，亦即顯示次序位置比目標圖像之顯示次序位置更早的參考圖像)預測，且點線箭頭表示自未來(稍後顯示之圖像，亦即顯示次序位置比目標圖像之顯示次序位置更晚的參考圖像)預測。應注意，出於更佳觀測之目的，參考結構僅描繪某些所選擇訊框。
在圖5B中所描繪之本發明之實例所提出方案中，圖像寫碼次序為圖像120、圖像128、…圖像122、圖像130、…圖像124、圖像132、…圖像126、圖像134、…圖像136，且隨後為後續圖像。亦即，具有POC 64之圖像128緊跟在具有POC 0之圖像120後面經寫碼，且由此就POC值而言寫碼次序改變為POC 0 à POC 64 à POC 16 à POC 8 à … à POC 32 à POC 24 à … à POC 48 à POC 40 à … à POC 56 à … à POC 63。此情形使得更多圖像能夠使用POC 64作為潛在參考圖像中之一者。與圖5A中所示之實例對比，包括具有POC 16之圖像122、具有POC 32之圖像124、具有POC 48之圖像126以及其類似者的額外15個圖像可採用POC 64作為參考圖像，其可使總體寫碼效能增加。
下文論述可在基於HM16.6之JEM4.0編碼解碼器中應用本發明所提出方案之方式的實例，該編碼解碼器為評估下一代視訊編碼解碼器之參考軟體。由於所提出方案可應用於隨機存取組態，因此省略諸如框內組態或低延遲組態之其他組態。又，該實例採用先前章節中所呈現的可能方法中之一種：採用下一I訊框作為可用參考圖像中之一者。下文關於圖6A、圖6B、圖7A及圖7B之討論描述具有GOP大小16及如下寫碼次序之隨機存取組態中之參考圖像結構：其中框內週期(IP)等於64，其中每第64個圖像為I訊框。下文關於圖8及圖9之討論描述JEM 4.0軟體上之模擬結果。應注意，本發明之技術不限於僅用於JEM4.0。此等技術可容易地應用於其他現有視訊編碼解碼器，只要該等編碼解碼器支援隨機存取組態，例如H.264或HEVC。
圖6A及圖6B為示出根據本發明技術之實例參考圖像結構的概念圖。圖6B表示圖6A之延續，其中圖6B在圖6A之右側跟隨圖6A。出於可讀性，已將圖像拆分成圖6A及圖6B。圖6A及圖6B之實例描繪具有GOP大小16之參考圖像結構。圖6A右側及圖6B左側標記為「A」至「G」之箭頭表示圖6A與圖6B之間的對應箭頭，且指示潛在圖像間預測。舉例而言，標記為「A」之箭頭指示POC 64可用於預測POC 16，標記為「B」之箭頭指示POC 64可用於預測POC 32，等等。
對於框內週期64而言，圖6A及圖6B中之POC 0及POC 64為I訊框，且其他圖像為B訊框。應注意，突出顯示的圖像用POC 64作為參考圖像中之一者。在習知GOP16結構中，10個圖像(POC 52與POC 63之間的突出顯示POC，包括端值)可使用POC 64作為其參考圖像中之一者，但本發明所提出之方案使得另外15個圖像(總共25個圖像)能夠採用POC 64作為其參考圖像中之一者。在I訊框(圖6A及圖6B中之POC 64)由於較低QP及高效框內預測演算法而具有高重建構品質的情況下，圖6A及圖6B中之POC 64與突出顯示圖像之間的框間預測準確度增加而不消耗更多位元。此外，突出顯示圖像之較高重建構品質在整個給定參考結構中朝其他相鄰圖像傳播，亦即，當POC 4在框間預測中指向POC 8時，POC 8之較高品質可增加POC 4之品質，其產生總體Bjontegaard-Delta (BD)速率增益。
圖7A及圖7B為示出根據本發明技術之實例的六十五個圖像之實例寫碼之概念圖。圖7B表示圖7A之延續，其中圖7B在圖7A之右側跟隨圖7A。出於可讀性，已將圖像拆分成圖7A及圖7B。圖7A及圖7B示出在本發明所提出之方案之實例中編碼最初65個圖像(包括POC 0至POC 64之圖像)時之具體操作。更特定言之，圖7A及圖7B描繪五種類別之資訊：(1)寫碼次序；(2)時間層id (TID)；(3)儲存於圖像緩衝器(DPB)中之圖像；(4)來自過去之參考圖像(L0參考圖像)；及(5)來自未來之參考圖像(L1參考圖像)。
相比於具有GOP 16之習知隨機存取組態中之寫碼次序，除POC 64外，所提出方案具有相同次序。在習知組態中，GOP 64在POC 47之後經寫碼；該次序將為POC 0 à … à POC 47 à POC 64 à POC 56 à POC 52 à … à POC 63。由此，POC 64將僅可用作POC 49至POC 63之最後15個圖像之參考圖像。然而，根據此實例中所提出之方案，POC 64緊跟在POC 0後面經寫碼。因此，在圖7A及圖7B中，POC 64可用作多達全部63個圖像(POC 1至POC 63)之參考圖像中之一者。由於POC 64為因最小QP值及/或框內預測技術而展現最高重建構品質之I訊框，因此如圖7A及圖7B中所突出顯示採用POC 64作為參考圖像中之一者可增加重建構品質，而不消耗更多位元。應注意，視訊編碼器20及視訊解碼器30兩者將遵循相同寫碼次序。
圖7A及圖7B示出緩衝器中應保持以寫碼後續圖像之經寫碼圖像。舉例而言，當編碼POC 8時，緩衝器應含有POC 0、POC 16及POC 64，此係由於該三個圖像用作POC 8之參考圖像中之一者且將用於後續圖像。應注意，支援所提出參考圖像結構所需的緩衝器之最大大小為6，該緩衝器大小大於例如HEVC之具有GOP大小16之習知隨機存取組態中的緩衝器大小。在此實例中，使用HEVC規格中之習知參考圖像集(RPS)傳信，且因此將不需要對符合HEVC或JEM之視訊解碼器作出任何改變。
下表1說明就BD速率而言本發明之技術相比於具有常用測試條件(CTC)之JEM 4.0之效能改良。在編碼及解碼複雜度增加最小的情況下，所提出方案相比於JEM 4.0達成5.27%之BD速率增益。由於在此實例中圖像緩衝器大小增加一，因此編碼器及解碼器之記憶體使用量分別增加約5%及6%。表1展示每一序列之結果的全部細節。應注意，省略了諸如框內組態及低延遲組態之其他組態之結果，因為該等結果不受所提出方案影響。
表 1 -- 模擬結果
圖8及圖9為說明由對本發明技術之「DaylightRoad」測試序列之每一圖像的亮度(Y)峰值信雜比(PSNR)及位元速率之分析產生的資料的曲線圖。在此等曲線圖中，使用QP 37。圖8示出習知GOP 16結構與所提出方案之間的每一圖像(由POC值識別)之Y分量之PSNR趨勢之分析，其中在大部分圖像中，所提出方案之PSNR值更高。
圖9展示所提出方案之位元消耗與習知GOP 16結構之位元消耗的比率；負值指示所提出方案比習知GOP 16消耗更少位元。就所提出方案而言，使用POC 64作為參考圖像中之一者的主要圖像(例如POC 32及POC48)相比於GOP 16明顯消耗更少位元但保留較高品質，此情形產生更佳寫碼效率。
下表2展示總體位元節省及PSNR增加(對於QP37而言，-2.16%位元節省及0.12dB PSNR增加)。此產生6.55% BD速率增益，如下表3中所示。
表 2 -- IP=64 之 DAYLIGHTROAD 序列針對不同 QP 值之明度 PSNR 及位元速率的改變
表 3 -- JEM 4.0 上 每一序列之所提出方案之模擬結果
圖10為示出IP=64之GOP 64之實例的概念圖。特定言之，圖10之GOP包括圖像120至136，其分別具有POC值0、16、32、48、64、8、24、40及56。箭頭指示參考圖像與目標圖像之間的預測方向：實線箭頭表示自過去圖像(更早顯示之圖像，亦即顯示次序位置比目標圖像之顯示次序位置更早的參考圖像)之預測，且點線箭頭表示自未來圖像(稍後顯示之圖像，亦即顯示次序位置比目標圖像之顯示次序位置更晚的參考圖像)之預測。應注意，出於更佳觀測之目的，參考結構僅描繪所選擇訊框。下文在一定程度上參考圖10論述本發明技術優於JEM 4.0之某些優勢。
由於JEM 4.0之習知GOP 64亦早於其他圖像寫碼POC 64，如圖10中所說明，因此其可能看起來類似於本發明所提出之技術。然而，本發明所提出之方案相比於JEM 4.0之GOP 64組態具有三個潛在優勢。
首先，本發明所提出之方案展現更佳寫碼效率。相比於具有習知GOP 64組態之JEM 4.0，下表4指示本發明所提出之方案展現較高寫碼效率，而視訊編碼器及視訊解碼器(例如視訊編碼器20及視訊解碼器30)兩者之複雜度降低。出於公平比較，在此比較中GOP 64與本發明所提出之方案之間的QP值及λ相同。
其次，由於HEVC規格中框內週期(IP)應為GOP大小之倍數的約束，GOP 64組態不可應用於IP=32、48或96之序列。此係表4中僅呈現序列之子集的一個原因。然而，由於所提出方案遵循習知GOP 16結構，因此除了首先編碼未來訊框且使用該未來訊框作為複數個參考訊框中之一者以寫碼框內週期內(例如前一IRAP與未來IRAP之間)的圖像外，所提出方案不受該約束限制。
最後，儲存JEM 4.0之GOP 64之經寫碼圖像所需的記憶體之量比本發明所提出方案所需的記憶體之量大5%至6%。更特定言之，根據JEM 4.0，GOP 64需要在良好實施之編碼器及解碼器中儲存多達7個經寫碼圖像，但在本發明所提出之方案中，僅需要儲存至多6個經寫碼圖像。
表 4 -- JEM 4.0 上 所提出方案與習知 GOP64 結構之間的效能比較 ； 負數指示所提出方案相比於 GOP 64 展現 BD 速率增益
藉由修改JEM 7.0及HM 16.16兩者之參考軟體來測試本發明所提出之方案。模擬結果展示出如上文所描述且如下表5及表6中所說明之類似寫碼增益。JEM 7.0可獲自vceg.hhi.fraunhofer.de/ svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-7.0/，且HM 16.16可獲自hevc.hhi.fraunhofer. de/svn/svn_ HEVCSoftware/tags/HM-16.16。
表 5 -- 所提出方案在 JEM 7.0 上 之模擬結果
表 6 -- 所提出方案在 HM 16.16 上之模擬結果
圖11為示出根據本發明之技術編碼視訊資料的實例方法之流程圖。關於圖2及圖3之視訊編碼器20之實例闡述圖11之方法，但應理解，在其他實例中，其他器件可經組態以執行此方法或類似方法。
首先，視訊編碼器20可判定框內週期中將提前編碼的未來圖像之數目(150)。舉例而言，視訊編碼器20可選擇零個、一個或多於一個未來圖像來提前編碼。為了判定此數目，視訊編碼器20可對輸入視訊序列執行訓練程序及/或判定輸入視訊序列之特性。該等特性可例如為平均運動向量大小、框內預測比率及/或跳過比率。在一些實例中，視訊編碼器20可判定未來圖像之數目及相對位置對於整個輸入視訊序列之每一框內週期而言係相同的，使得多個框內週期之提前經編碼未來圖像之數目及相對位置相同。
隨後，視訊編碼器20可編碼框內週期之順序第一圖像(152)。亦即，視訊編碼器20可編碼例如框內週期之順序第一圖像群組(GOP)之順序第一圖像，其中該框內週期包括複數個GOP，包括該第一GOP。視訊編碼器20接著可編碼框內週期之所判定數目個未來圖像(154)。舉例而言，假定視訊編碼器20判定編碼一個未來圖像，視訊編碼器20可(就圖5B而言)首先編碼圖像120，隨後編碼圖像128。在此實例中，未來圖像被視為顯示次序位置在框內週期之順序第一GOP之每一圖像之後的圖像。
視訊編碼器20接著可更新參考圖像集以將未來圖像添加至參考圖像集中(156)。舉例而言，視訊編碼器20可將所判定未來圖像中之每一者添加至框內週期之一或多個隨後經編碼圖像之參考圖像集中。隨後，視訊編碼器20可使用包括未來圖像之各別更新後參考圖像集來編碼框內週期之後續圖像(158)。舉例而言，視訊編碼器20可使用自參考圖像集中之可用參考圖像當中進行選擇之參考圖像清單建構程序，使得一或多個所建構參考圖像清單包括一或多個未來圖像。以此方式，編碼框內週期之後續圖像可包括使用未來圖像作為框間預測參考圖像來預測後續圖像中之一者(例如，順序第一GOP之圖像或後續GOP之圖像)的至少一部分。
視訊編碼器20可進一步編碼表示GOP大小、IP大小、啟用未來圖像寫碼及更新參考圖像集之方式的後設資料(160)舉例而言，視訊編碼器20可在諸如視訊參數集(VPS)、序列參數集(SPS)或圖像參數集(PPS)之參數集及/或圖塊標頭中編碼任何或所有此後設資料。後設資料可例如使用未來圖像之POC值與參考POC值(諸如框內週期之順序第一圖像之POC值)之間的差值來指示未來圖像之位置。指示啟用未來圖像寫碼之資料可為參數集(諸如VPS或SPS)之旗標。
最後，視訊編碼器20可輸出經編碼資料(162)，該經編碼資料包括經編碼之順序第一圖像、經編碼之未來圖像、經編碼之後續圖像及經編碼之後設資料。
以此方式，圖11之方法表示一種方法之實例，該方法包括：編碼視訊資料中具有第一顯示次序位置之未來圖像，該未來圖像包括於視訊資料之框內週期(IP)中，該IP包括複數個圖像群組(GOP)；以及在編碼該未來圖像之後，使用該未來圖像作為參考圖像來編碼複數個GOP中之順序第一GOP之圖像，該順序第一GOP之每一圖像之顯示次序位置早於該第一顯示次序位置。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列被執行、可被添加、合併或完全省去(例如，並非所有所描述動作或事件為實踐該等技術所必要)。此外，在某些實例中，可例如經由多線緒處理、中斷處理或多個處理器同時而非順序執行動作或事件。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若實施於軟體中，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，該通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例說明而非限制，此等電腦可讀儲存媒體可包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構形式之所要程式碼且可藉由電腦存取的任何其他媒體。又，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術，自網站、伺服器或其他遠端源來傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。
指令可由一或多個處理器執行，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效的整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。此外，在一些態樣中，本文所述之功能可提供在用於編碼及解碼的專用硬體及/或軟體模組中，或併入在編碼解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於各種器件或裝置中，包括無線手持機、積體電路(IC)或IC集合(例如晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求由不同硬體單元來實現。確切地說，如上文所描述，可將各種單元組合於可在編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合而結合與適合之合適軟體及/或韌體一起組合或由互操作硬體單元之集合來提供該等單元，該等硬件單元包括如上文所描述之一或多個處理器。
各種實例已予以描述。此等及其他實例在以下申請專利範圍之範疇內。
2‧‧‧前置圖像
4‧‧‧框間預測截止點
6‧‧‧前置圖像
8‧‧‧框間預測截止點
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換單元
62‧‧‧求和器
64‧‧‧參考圖像記憶體
70‧‧‧熵解碼單元
72‧‧‧運動補償單元
74‧‧‧框內預測單元
76‧‧‧反量化單元
78‧‧‧反變換單元
80‧‧‧求和器
82‧‧‧參考圖像記憶體
100‧‧‧圖像
102‧‧‧圖像
104‧‧‧圖像
106‧‧‧圖像
108‧‧‧圖像
110‧‧‧圖像
112‧‧‧圖像
114‧‧‧圖像
116‧‧‧圖像
120‧‧‧圖像
122‧‧‧圖像
124‧‧‧圖像
126‧‧‧圖像
128‧‧‧圖像
130‧‧‧圖像
132‧‧‧圖像
134‧‧‧圖像
136‧‧‧圖像
150‧‧‧步驟
152‧‧‧步驟
154‧‧‧步驟
156‧‧‧步驟
158‧‧‧步驟
160‧‧‧步驟
162‧‧‧步驟
圖1A及圖1B分別為示出封閉式及開放式圖像群組(GOP)之框間預測截止的概念圖。
圖2為示出可使用本發明之可調適圖像群組(GOP)結構之技術的實例視訊編碼及解碼系統之方塊圖。
圖3為示出可執行本發明之使用可調適圖像群組(GOP)結構之技術的視訊編碼器之實例的方塊圖。
圖4為示出可執行本發明之使用可調適圖像群組(GOP)結構之技術的視訊解碼器之實例的方塊圖。
圖5A以及圖5B為示出其中每組框內週期(IP)圖像中之單一未來框內預測訊框(I訊框)在第一GOP中按寫碼次序在前一I訊框之後的第一圖像之前經寫碼的實例之概念圖。
圖6A及圖6B為示出根據本發明技術之實例參考圖像結構的概念圖。
圖7A及圖7B為示出根據本發明技術之實例的六十五個圖像之實例寫碼之概念圖。
圖8及圖9為說明由對本發明技術之「DaylightRoad」測試序列之每一圖像的亮度(Y)峰值信雜比(PSNR)及位元速率之分析產生的資料的曲線圖。
圖10為示出IP=64之GOP64之實例的概念圖。
圖11為示出根據本發明之技術編碼視訊資料的實例方法之流程圖。

Claims (45)

  1. 一種編碼視訊資料之方法，該方法包含： 編碼視訊資料中具有一第一顯示次序位置之一未來圖像，該未來圖像包括於該視訊資料之一框內週期(IP)中，該IP包含複數個圖像群組(GOP)；以及 在編碼該未來圖像之後，使用該未來圖像作為一參考圖像來編碼該複數個GOP中之一順序第一GOP之一圖像，該順序第一GOP之每一圖像之顯示次序位置早於該第一顯示次序位置。
  2. 如請求項1之方法，其中該未來圖像包含一經框內預測圖像(I圖像)。
  3. 如請求項1之方法，其中該第一顯示次序位置包含該IP之一順序最後顯示次序位置。
  4. 如請求項1之方法，其中該順序第一GOP之該圖像包含該順序第一GOP之一第二圖像，該方法進一步包含在編碼該未來圖像之前編碼該順序第一GOP之一第一圖像。
  5. 如請求項1之方法，其進一步包含： 編碼表示一圖像序列中之該複數個GOP之一GOP大小的資料，該IP包含該圖像序列； 編碼指示該未來圖像將在該圖像序列中之其他圖像之前經解碼的資料，該第一顯示次序位置位於該圖像序列之一末端處； 更新該圖像序列之一第二圖像之一參考圖像集，以包括該未來圖像； 編碼指示該第二圖像之更新後參考圖像集的資料；以及 使用該更新後參考圖像集來編碼該第二圖像，其包含自該未來圖像預測該第二圖像的至少一部分。
  6. 如請求項5之方法，其中編碼表示該GOP大小之該資料包含編碼包括表示該GOP大小之該資料的一序列參數集(SPS)。
  7. 如請求項5之方法，其進一步包含更新該第二圖像之一δ圖像次序計數(POC)值以指代該未來圖像。
  8. 如請求項5之方法，其中編碼指示該更新後參考圖像集之該資料包含編碼該第二圖像之一圖塊之一圖塊標頭，該圖塊標頭包括指示該更新後參考圖像集之該資料。
  9. 如請求項1之方法，其進一步包含： 編碼一序列參數集(SPS)之一第一旗標，該第一旗標指示啟用該未來圖像在該IP之其他圖像前之編碼；以及 回應於啟用該未來圖像在該IP之其他圖像前之編碼而編碼指定該IP之一大小的該SPS之資料。
  10. 如請求項9之方法，其進一步包含基於該未來圖像為按寫碼次序之下一經框內預測圖像(I圖像)、該未來圖像之一圖像次序計數(POC)值或該IP中之至少一者來判定該未來圖像。
  11. 如請求項9之方法，其進一步包含基於如ITU-T H.265高效率視訊寫碼(HEVC)中所指定之參考圖像集建構之一固定規則來更新一參考圖像集。
  12. 如請求項1之方法，其進一步包含編碼包括該未來圖像之一潛在未來圖像清單之一或多個δ圖像次序計數(δPOC)值。
  13. 如請求項12之方法，其中編碼該一或多個δPOC值包含在一參數集中編碼該一或多個δPOC值。
  14. 如請求項13之方法，其中該參數集包含一序列參數集(SPS)、一圖像參數集(PPS)或一視訊參數集(VPS)中之一者。
  15. 如請求項12之方法，其中編碼該一或多個δPOC值包含相對於一第一參考圖像之第一POC值編碼該一或多個δPOC值。
  16. 如請求項12之方法，其中編碼該一或多個δPOC值包含相對於一先前框內隨機存取點(IRAP)圖像、一參考圖像集中之一IRAP圖像或該參考圖像集中具有一最小POC值之一IRAP圖像中之一者編碼該一或多個δPOC值。
  17. 如請求項12之方法，其中編碼該一或多個δPOC值包含根據一經指示模板編碼該一或多個δPOC值。
  18. 如請求項1之方法，其進一步包含編碼指示該IP之一未來圖像子集的資料，該未來圖像子集包含該未來圖像。
  19. 如請求項18之方法，其進一步包含編碼指示該子集之一大小的資料。
  20. 如請求項18之方法，其中編碼指示該未來圖像子集之該資料包含編碼該子集之該等未來圖像的一或多個δ圖像次序計數(δPOC)值。
  21. 如請求項18之方法，其中編碼指示該未來圖像子集之該資料包含顯式地指定該子集之該等未來圖像。
  22. 如請求項18之方法，其進一步包含編碼識別未來圖像之δ圖像次序計數(δPOC)值或清單之複數個子集中之一者的一索引值。
  23. 如請求項22之方法，其中編碼該索引值包含在一序列參數集(SPS)中編碼該索引值。
  24. 如請求項1之方法，其進一步包含編碼表示包括該未來圖像之一未來圖像子集中之未來圖像位置的資料。
  25. 如請求項24之方法，其中編碼表示該等位置之該資料包含在一序列參數集(SPS)中寫碼表示該等位置之該資料。
  26. 如請求項24之方法，其中表示該等位置之該資料應用於該視訊資料之所有框內週期。
  27. 如請求項24之方法，其進一步包含編碼指示該未來圖像子集之一圖塊標頭或一圖塊之資料。
  28. 如請求項1之方法，其進一步包含使用在位元串流中傳信的一未來圖像子集來導出該IP之一當前圖像之一參考圖像集，該未來圖像子集包括該未來圖像。
  29. 如請求項28之方法，其進一步包含將該等未來圖像中之一或多者添加至該參考圖像集中。
  30. 如請求項1之方法，其中編碼該未來圖像包含編碼包括該未來圖像之複數個未來圖像，該等未來圖像中之每一者之各別顯示次序位置在該順序第一GOP之每一圖像之顯示次序位置後面。
  31. 如請求項1之方法，其進一步包含編碼該視訊資料之每一IP的各別未來圖像，該等未來圖像在該等各別IP中分別具有對應於該第一顯示次序位置之相對顯示次序位置。
  32. 一種用於編碼視訊資料之器件，該器件包含： 一記憶體，其經組態以儲存視訊資料；及 一視訊編碼器，其實施於電路中且經組態以： 編碼該視訊資料中具有一第一顯示次序位置之一未來圖像，該未來圖像包括於該視訊資料之一框內週期(IP)中，該IP包含複數個圖像群組(GOP)；以及 在編碼該未來圖像之後，使用該未來圖像作為一參考圖像來編碼該複數個GOP中之一順序第一GOP之一圖像，該順序第一GOP之每一圖像之顯示次序位置早於該第一顯示次序位置。
  33. 如請求項32之器件，其中該未來圖像包含一經框內預測圖像(I圖像)。
  34. 如請求項32之器件，其中該第一顯示次序位置包含該IP之一順序最後顯示次序位置。
  35. 如請求項32之器件，其中該視訊編碼器進一步經組態以： 編碼表示一圖像序列中之該複數個GOP之一GOP大小的資料，該IP包含該圖像序列； 編碼指示該未來圖像將在該圖像序列中之其他圖像之前經解碼的資料，該第一顯示次序位置位於該圖像序列之一末端處； 更新該圖像序列之一第二圖像之一參考圖像集，以包括該未來圖像； 編碼指示該第二圖像之更新後參考圖像集的資料；以及 使用該更新後參考圖像集來編碼該第二圖像，其中該視訊編碼器經組態以自該未來圖像預測該第二圖像的至少一部分。
  36. 如請求項32之器件，其中該視訊編碼器進一步經組態以： 編碼一序列參數集(SPS)之一第一旗標，該第一旗標指示啟用該未來圖像在該IP之其他圖像前之編碼；以及 回應於啟用該未來圖像在該IP之其他圖像前之編碼而編碼指定該IP之一大小的該SPS之資料。
  37. 如請求項32之器件，其中該視訊編碼器進一步經組態以編碼包括該未來圖像之一潛在未來圖像清單的一或多個δ圖像次序計數(δPOC)值。
  38. 如請求項32之器件，其中該視訊編碼器進一步經組態以編碼指示該IP之一未來圖像子集的資料，該未來圖像子集包含該未來圖像。
  39. 如請求項32之器件，其中該視訊編碼器進一步經組態以編碼表示包括該未來圖像之一未來圖像子集中之未來圖像位置的資料。
  40. 如請求項32之器件，其中該視訊編碼器進一步經組態以使用在位元串流中傳信的一未來圖像子集來導出該IP之一當前圖像之一參考圖像集，該未來圖像子集包括該未來圖像。
  41. 如請求項32之器件，其中該視訊編碼器經組態以編碼包括該未來圖像之複數個未來圖像，該等未來圖像中之每一者之各別顯示次序位置在該順序第一GOP之每一圖像之顯示次序位置後面。
  42. 如請求項32之器件，其中該視訊編碼器進一步經組態以編碼該視訊資料之每一IP的各別未來圖像，該等未來圖像在該等各別IP中分別具有對應於該第一顯示次序位置之相對顯示次序位置。
  43. 如請求項32之器件，其進一步包含一攝影機，該攝影機經組態以俘獲該視訊資料。
  44. 如請求項32之器件，其中該器件包含一攝影機、一電腦、一行動器件、一廣播接收器器件或一機上盒中之一或多者。
  45. 一種儲存有指令之電腦可讀儲存媒體，該等指令在經執行時，使得用於對視訊資料進行編碼之一器件的一處理器執行以下操作： 編碼視訊資料中具有一第一顯示次序位置之一未來圖像，該未來圖像包括於該視訊資料之一框內週期(IP)中，該IP包含複數個圖像群組(GOP)；以及 在編碼該未來圖像之後，使用該未來圖像作為一參考圖像來編碼該複數個GOP中之一順序第一GOP之一圖像，該順序第一GOP之每一圖像之顯示次序位置早於該第一顯示次序位置。
TW107133933A 2017-09-26 2018-09-26 具有在用於視訊寫碼之隨機存取組態中之未來參考訊框之可調適圖像群組結構 TW201921938A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762563526P 2017-09-26 2017-09-26
US62/563,526 2017-09-26
US16/141,714 US11736687B2 (en) 2017-09-26 2018-09-25 Adaptive GOP structure with future reference frame in random access configuration for video coding
US16/141,714 2018-09-25

Publications (1)

Publication Number Publication Date
TW201921938A true TW201921938A (zh) 2019-06-01

Family

ID=65809116

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107133933A TW201921938A (zh) 2017-09-26 2018-09-26 具有在用於視訊寫碼之隨機存取組態中之未來參考訊框之可調適圖像群組結構

Country Status (6)

Country Link
US (2) US11736687B2 (zh)
EP (1) EP3688990B1 (zh)
CN (1) CN111149361B (zh)
SG (1) SG11202001518UA (zh)
TW (1) TW201921938A (zh)
WO (1) WO2019067555A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112021026826A2 (pt) * 2019-07-03 2022-02-22 Huawei Tech Co Ltd Tipos de imagens de referência em listas de imagens de referência
JP7397172B2 (ja) * 2019-08-20 2023-12-12 北京字節跳動網絡技術有限公司 位置に基づく係数のスケーリング
US11973985B2 (en) * 2021-11-23 2024-04-30 Mediatek Inc. Video encoder with motion compensated temporal filtering

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2329615C2 (ru) * 2003-12-01 2008-07-20 Самсунг Электроникс Ко., Лтд. Способ масштабируемого кодирования и декодирования видеосигнала и устройство для его осуществления
FR2864865A1 (fr) * 2004-01-07 2005-07-08 Thomson Licensing Sa Procede de codage d'une sequence d'images
US8774272B1 (en) 2005-07-15 2014-07-08 Geo Semiconductor Inc. Video quality by controlling inter frame encoding according to frame position in GOP
US8938012B2 (en) * 2007-04-13 2015-01-20 Nokia Corporation Video coder
CN101146229B (zh) * 2007-10-29 2010-06-02 北京大学 一种svc视频fgs优先级调度方法
EP2351372B1 (en) * 2008-10-28 2020-08-05 Cisco Technology, Inc. Stream synchronization for live video encoding
US9332255B2 (en) * 2012-06-28 2016-05-03 Qualcomm Incorporated Signaling long-term reference pictures for video coding
TW201415893A (zh) * 2012-06-29 2014-04-16 Vid Scale Inc 以預測資訊為基礎之訊框優先
US9628820B2 (en) 2013-11-19 2017-04-18 Qualcomm Incorporated POC value design for multi-layer video coding
WO2015093811A1 (ko) * 2013-12-16 2015-06-25 엘지전자 주식회사 트릭 플레이 서비스 제공을 위한 신호 송수신 장치 및 신호 송수신 방법
US10148983B2 (en) 2015-09-25 2018-12-04 Qualcomm Incorporated Methods and systems of improved video stream switching and random access
CN105872545B (zh) * 2016-04-19 2019-03-29 电子科技大学 一种随机接入视频编码中层次化时域率失真优化方法

Also Published As

Publication number Publication date
CN111149361A (zh) 2020-05-12
SG11202001518UA (en) 2020-04-29
EP3688990B1 (en) 2024-04-10
CN111149361B (zh) 2024-05-31
EP3688990A1 (en) 2020-08-05
WO2019067555A1 (en) 2019-04-04
US20190098301A1 (en) 2019-03-28
EP3688990C0 (en) 2024-04-10
US11736687B2 (en) 2023-08-22
US20230319269A1 (en) 2023-10-05

Similar Documents

Publication Publication Date Title
JP7071603B1 (ja) ビデオコーディングのためにブロックの複数のクラスのためのフィルタをマージすること
TWI827609B (zh) 基於區塊之自適應迴路濾波器(alf)之設計及發信令
CN109691102B (zh) 跨分量滤波器
TWI705694B (zh) 片級內部區塊複製及其他視訊寫碼改善
TWI766844B (zh) 針對視訊寫碼使用與位置相關之預測組合之改良視訊幀內預測
JP6783788B2 (ja) ビデオコーディングにおけるサブブロックの動き情報の導出
CN109076228B (zh) 滤波信息的发信号
US20180098064A1 (en) Variable number of intra modes for video coding
KR102334126B1 (ko) 인트라 블록 복사를 위한 레지듀얼 예측
JP7504925B2 (ja) ビデオコーディングのための組み合わされたインターおよびイントラ予測モード
JP6293756B2 (ja) スケーラブルビデオ符号化における変換基準の調整
TWI527440B (zh) 在視訊寫碼中針對高效率視訊寫碼（ｈｅｖｃ）延伸之多層之低複雜度支援
JP2023162350A (ja) ビデオコーディングにおける改善されたイントラ予測
TW201818720A (zh) 使用解耦樹結構之視訊內寫碼
TWI558179B (zh) 對視訊寫碼發信長期參考圖像
JP2017513342A (ja) ゼロアウトされた係数を使用した低複雑な順変換のためのシステムおよび方法
US20230319269A1 (en) Adaptive gop structure with future reference frame in random access configuration for video coding
JP6224851B2 (ja) 低複雑度符号化および背景検出のためのシステムおよび方法
TW202203650A (zh) 解碼圖片緩衝器（ｄｐｂ）操作和存取單元定界符（ａｕｄ）
WO2020042758A1 (zh) 一种帧间预测的方法及装置
TWI843809B (zh) 用於視訊寫碼中具有運動向量差之合併模式之信令傳輸
WO2020038232A1 (zh) 一种图像块的运动信息的预测方法及装置