TWI538485B - 在視訊寫碼中具有時間可擴縮性支援之逐漸解碼更新 - Google Patents

在視訊寫碼中具有時間可擴縮性支援之逐漸解碼更新 Download PDF

Info

Publication number
TWI538485B
TWI538485B TW103100565A TW103100565A TWI538485B TW I538485 B TWI538485 B TW I538485B TW 103100565 A TW103100565 A TW 103100565A TW 103100565 A TW103100565 A TW 103100565A TW I538485 B TWI538485 B TW I538485B
Authority
TW
Taiwan
Prior art keywords
image
poc value
video
point image
images
Prior art date
Application number
TW103100565A
Other languages
English (en)
Other versions
TW201444348A (zh
Inventor
王益魁
阿達許 克里許納 瑞瑪蘇布雷蒙尼安
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201444348A publication Critical patent/TW201444348A/zh
Application granted granted Critical
Publication of TWI538485B publication Critical patent/TWI538485B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

在視訊寫碼中具有時間可擴縮性支援之逐漸解碼更新
本申請案主張2013年1月7日申請之美國臨時申請案第61/749,880號之權利，該臨時申請案之全部內容係以引用方式併入本文中。
本發明係關於視訊寫碼，且更特定而言，係關於用於根據逐漸解碼更新(GDR)來寫碼視訊之技術。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(personal digital assistant,PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主控台、蜂巢式或衛星無線電電話、所謂「智慧型電話(smart phone)」、視訊電傳會議器件、視訊串流器件，及其類似者。數位視訊器件實施視訊壓縮技術，諸如，以下各者中描述之視訊壓縮技術：由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分之進階視訊寫碼(Advanced Video Coding,AVC)定義之標準；目前在開發中之高效率視訊寫碼(High Efficiency Video Coding,HEVC)標準；及此等標準之延伸。視訊器件可藉由實施此等視訊壓縮技術而較有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測，以 減少或移除為視訊序列所固有之冗餘。對於以區塊為基礎之視訊寫碼，可將視訊切片(亦即，視訊圖框或視訊圖框之部分)分割成視訊區塊，其亦可被稱作樹狀結構區塊(treeblock)、寫碼單元(coding unit,CU)及/或寫碼節點(coding node)。一圖像之經框內寫碼(I)切片中之視訊區塊係使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測予以編碼。一圖像之經框間寫碼(P或B)切片中之視訊區塊可使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測，或關於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間預測或時間預測引起用於待寫碼區塊之預測性區塊。殘差資料表示原始待寫碼區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本區塊之運動向量以及指示經寫碼區塊與預測性區塊之間的差之殘差資料來編碼經框間寫碼區塊。根據框內寫碼模式及殘差資料來編碼經框內寫碼區塊。出於進一步壓縮起見，可將殘差資料自像素域變換至變換域，從而引起殘差變換係數，其接著可被量化。可掃描最初以二維陣列而配置之經量化變換係數以便產生一維變換係數向量，且可應用熵寫碼以達成更多壓縮。
大體上，本發明描述用於寫碼時間可擴縮視訊位元串流而同時支援逐漸解碼更新(GDR)操作之技術。
在一項實例中，一種解碼視訊資料之方法包括：自一經編碼視訊位元串流接收複數個圖像；自該經編碼視訊位元串流於與該複數個圖像之一第一圖像相關聯之一訊息中接收指示一逐漸解碼器更新(GDR)集合之一復原點圖像之一圖像次序計數(POC)值之資訊；當按解碼次序在該第一圖像之後的一圖像所具有之該POC值等於該復原點圖像之一POC值時將所具有之該POC值等於該復原點圖像之該POC值 之該圖像識別為一復原點圖像；及當在該第一圖像之後的該等圖像中沒有任何圖像所具有之該POC值等於該復原點圖像之該POC值時將該等圖像中所具有之一POC值大於該復原點圖像之該POC值之一個圖像識別為該復原點圖像。
在另一實例中，一種用於解碼視訊資料之器件包括：一記憶體，其經組態以儲存經編碼視訊資料；及一視訊解碼器。在此實例中，該視訊解碼器經組態以：接收該經編碼視訊資料之複數個圖像；在與該複數個圖像中之一第一圖像相關聯之一訊息中接收指示一逐漸解碼器更新(GDR)集合之一復原點圖像之一POC值之資訊；當按解碼次序在該第一圖像之後的一圖像所具有之該POC值等於該復原點圖像之一POC值時將所具有之該POC值等於該復原點圖像之該POC值之該圖像識別為一復原點圖像；及當在該第一圖像之後的該等圖像中沒有任何圖像所具有之該POC值等於該復原點圖像之該POC值時將該等圖像中所具有之一POC值大於該復原點圖像之該POC值之一個圖像識別為該復原點圖像。
在另一實例中，一種電腦可讀儲存媒體具有儲存於其上之指令，該等指令在執行時使一計算器件之一處理器：自一經編碼視訊位元串流接收複數個圖像；自該經編碼視訊位元串流於與該複數個圖像之一第一圖像相關聯之一訊息中接收指示一逐漸解碼器更新(GDR)集合之一復原點圖像之一POC值之資訊；當按解碼次序在該第一圖像之後的一圖像所具有之該POC值等於該復原點圖像之一POC值時將所具有之該POC值等於該復原點圖像之該POC值之該圖像識別為一復原點圖像；及當在該第一圖像之後的該等圖像中沒有任何圖像所具有之該POC值等於該復原點圖像之該POC值時將該等圖像中所具有之一POC值大於該復原點圖像之該POC值之一個圖像識別為該復原點圖像。
在另一實例中，一種用於解碼視訊資料之器件包括：用於自一經編碼視訊位元串流接收複數個圖像的構件；用於自該經編碼視訊位元串流於與該複數個圖像之一第一圖像相關聯之一訊息中接收資訊的構件，該資訊指示一逐漸解碼器更新(GDR)集合之一復原點圖像之一POC值；用於當按解碼次序在該第一圖像之後的一圖像所具有之該POC值等於該復原點圖像之一POC值時將所具有之該POC值等於該復原點圖像之該POC值之該圖像識別為一復原點圖像的構件；及用於當在該第一圖像之後的該等圖像中沒有任何圖像所具有之該POC值等於該復原點圖像之該POC值時將該等圖像中所具有之一POC值大於該復原點圖像之該POC值之一個圖像識別為該復原點圖像的構件。
在另一實例中，一種解碼視訊資料之方法包括：在與一圖像相關聯之一訊息中接收指示該圖像之一經更新區域之資訊；判定該圖像是否包含一逐漸解碼器更新(GDR)集合中之一最後圖像；判定該圖像是否包含一復原點圖像；回應於判定出該圖像包含該GDR集合中之該最後圖像及該復原點圖像而判定出該訊息指示出該整個圖像屬於該圖像之該經更新區域；及基於該訊息指示出該整個圖像屬於該圖像之該經更新區域之該判定而解碼該圖像。
在另一實例中，一種用於解碼視訊資料之器件包括：一記憶體，其儲存經編碼視訊資料；及一視訊寫碼器。在此實例中，該視訊寫碼器經組態以：在與該經編碼視訊資料之一圖像相關聯之一訊息中接收指示該圖像之一經更新區域之資訊；判定該圖像是否包含一逐漸解碼器更新(GDR)集合中之一最後圖像；判定該圖像是否包含一復原點圖像；回應於判定出該圖像包含該GDR集合中之該最後圖像及該復原點圖像而判定出該訊息指示出該整個圖像屬於該圖像之該經更新區域；及基於該訊息指示出該整個圖像屬於該圖像之該經更新區域之該判定而解碼該圖像。
在另一實例中，一種電腦可讀儲存媒體具有儲存於其上之指令，該等指令在執行時使一計算器件之一處理器：在與一圖像相關聯之一訊息中接收指示該圖像之一經更新區域之資訊；判定該圖像是否包含一逐漸解碼器更新(GDR)集合中之一最後圖像；判定該圖像是否包含一復原點圖像；回應於判定出該圖像包含該GDR集合中之該最後圖像及該復原點圖像而判定出該訊息指示出該整個圖像屬於該圖像之該經更新區域；及基於該訊息指示出該整個圖像屬於該圖像之該經更新區域之該判定而解碼該圖像。
在另一實例中，一種用於解碼視訊資料之器件包括：用於在與一圖像相關聯之一訊息中接收指示該圖像之一經更新區域之資訊的構件；用於判定該圖像是否包含一逐漸解碼器更新(GDR)集合中之一最後圖像的構件；用於判定該圖像是否包含一復原點圖像的構件；用於回應於判定出該圖像包含該GDR集合中之該最後圖像及該復原點圖像而判定出該訊息指示出該整個圖像屬於該圖像之該經更新區域的構件；及用於基於該訊息指示出該整個圖像屬於該圖像之該經更新區域之該判定而解碼該圖像的構件。
一或多項實例之細節被陳述於隨附圖式及以下描述中。其他特徵、目標及優勢將自該描述及該等圖式以及自申請專利範圍顯而易見。
10‧‧‧視訊編碼及解碼系統
12‧‧‧來源器件
14‧‧‧目的地器件
16‧‧‧鏈路
18‧‧‧視訊來源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
31‧‧‧儲存器件
32‧‧‧顯示器件
40‧‧‧預測處理單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換單元
62‧‧‧求和器
64‧‧‧參考圖框記憶體
68‧‧‧網路元件
70‧‧‧熵解碼單元
71‧‧‧預測單元
72‧‧‧運動補償單元
74‧‧‧框內預測單元
76‧‧‧反量化單元
78‧‧‧反變換單元
80‧‧‧求和器
82‧‧‧參考圖像記憶體
90‧‧‧逐漸解碼更新(GDR)集合
90A‧‧‧第一逐漸解碼更新(GDR)圖像
90B‧‧‧逐漸解碼更新(GDR)集合圖像
90C‧‧‧逐漸解碼更新(GDR)集合圖像
90N‧‧‧復原點圖像
92‧‧‧經寫碼視訊序列
94‧‧‧逐漸解碼更新(GDR)集合
94A‧‧‧第一逐漸解碼更新(GDR)圖像
94B‧‧‧逐漸解碼更新(GDR)集合圖像
94M‧‧‧最後逐漸解碼更新(GDR)集合圖像
94N‧‧‧補充增強資訊(SEI)識別復原點圖像
96‧‧‧復原點圖像
圖1為說明可實施本發明所描述之一或多種技術之實例視訊編碼及解碼系統的方塊圖。
圖2為說明可實施本發明所描述之一或多種技術之實例視訊編碼器的方塊圖。
圖3為說明可實施本發明所描述之一或多種技術之實例視訊解碼器的方塊圖。
圖4為根據本發明之一或多個態樣的說明包括復原點圖像之實例逐漸解碼更新(GDR)集合的概念圖。
圖5為根據本發明之一或多個態樣的說明已歸因於時間擴縮而被移除復原點圖像之實例逐漸解碼更新(GDR)集合的概念圖。
圖6為根據本發明之一或多個態樣的說明可由視訊解碼器及/或其組件執行以解碼經編碼視訊資料之實例程序的流程圖。
圖7為根據本發明之一或多個態樣的說明可由視訊解碼器及/或其組件執行以解碼經編碼視訊資料之實例程序的流程圖。
大體上，本發明之技術係有關於使用逐漸解碼更新(GDR)來寫碼視訊資料，同時支援經寫碼視訊資料之時間可擴縮性。根據本發明之各種實例，視訊寫碼器件可使用由AVC標準及HEVC標準兩者所支援之補充增強資訊(supplemental enhancement information,SEI)機制提供之訊息，以支援GDR操作，同時亦支援時間可擴縮性。以此方式，本發明之技術可使視訊寫碼器件能夠充分利用現有硬體、軟體及通信基礎結構，同時增強以GDR為基礎之寫碼以支援時間可擴縮性。
被稱作「HEVC工作草案10」或「WD10」的HEVC標準之最近草案被描述於Bross等人之名為「High efficiency video coding(HEVC)text specification draft 10(for FDIS & Last Call)」之文件JCTVC-L1003v34(2013年1月14日至23日，瑞士日內瓦，ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合協作小組(JCT-VC)，第12次會議)中，自2013年6月6日起，該文件係可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip下載而得。WD10之全部內部係特此以引用方式併入。AVC(ITU-T)H.264標準被描述於ITU-T研究團體的且日期為2005年3月的ITU-T Recommendation H.264之「Advanced Video Coding for generic audiovisual services」中，其在本文中可被稱作H.264標準或H.264規格，或H.264/AVC標準或規格。聯合視訊小組(JVT)繼續致力於對H.264/MPEG-4 AVC之延伸。
HEVC之另一最近工作草案(WD)(且在下文中被稱作HEVC WD9)可得自http：//phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCT-VC-K1003-v8.zip。HEVC WD9之全部內容(2012年10月10日至19日，中國上海，第11次會議，BROSS等人之名為「High efficiency video coding(HEVC)text specification draft 9」之文件JCTVC-K1003_v7，第290頁)係以引用方式併入本文中。
HEVC WD9描述用以支援使用GDR之視訊資料寫碼之寫碼操作。GDR可使器件能夠寫碼圖像集合，諸如，按解碼次序而配置之圖像序列或系列。此圖像序列在本文中被稱作「GDR圖像集合」或「GDR集合」。在周遊整個GDR集合後(例如，在到達GDR集合之末端後)，視訊寫碼器件即可隨機地存取按解碼次序在該集合之後的一或多個經編碼圖像。在各種實例中，視訊寫碼器件可正確地或準確地解碼GDR集合之最後圖像之全部。在此等實例中，GDR集合之第一圖像可表示「GDR圖像」，且GDR集合中之最後圖像可表示「復原點圖像」。復原點圖像又可表示整個圖像包括於「經更新」或「前景」區域中的圖像。因此，該圖像遍及GDR集合中之圖像系列被逐漸地更新，直至在復原點圖像處完全地更新該圖像為止。視訊寫碼器件可使用特定SEI訊息(諸如，「復原點」SEI訊息及/或「區域更新資訊」SEI訊息)來判定GDR集合之界限，以及關於GDR集合之其他資訊。
另外，HEVC標準及AVC標準兩者支援視訊位元串流之時間可擴縮性。時間可擴縮性可使視訊寫碼器件能夠判定出可自經編碼視訊資料之完整位元串流提取經編碼視訊資料子集。根據時間可擴縮性而自完整位元串流提取之此經編碼視訊資料子集(例如，經編碼圖像)可被 稱作「時間子集(temporal subset)」。又，如由AVC標準及HEVC標準支援之時間可擴縮性可使視訊寫碼器件能夠判定來自完整位元串流之多個時間子集，使得各種時間子集包括變化數目個經編碼圖像。較低或「較粗略(coarser)」時間子集可包括來自完整位元串流之較少數目個經編碼圖像，且可表示較低圖像速率或圖框速率。相反地，較高或「較精細(finer)」時間子集可包括來自完整位元串流之較大數目個經編碼圖像，且可表示較高圖像速率或圖框速率。
經組態以將以GDR為基礎之寫碼之現有實施應用於時間可擴縮位元串流的視訊寫碼器件可遭遇或呈現關於GDR集合之一或多個潛在不準確度。舉例而言，根據GDR之現有實施，包括於復原點SEI訊息中之語法元素可指示按解碼次序在GDR圖像之後的連續經編碼圖像之數目，該等連續經編碼圖像形成GDR集合。因此，在由編碼器傳信時間子集的例子中，如由復原點SEI訊息之語法元素指示的GDR集合中之連續經編碼圖像之數目可不準確。舉例而言，因為時間子集相比於完整位元串流或其他較高時間層表示較小數目個經編碼圖像，所以原始GDR集合之一或多個經編碼圖像可不在實際上由解碼器接收之時間子集中。時間子集可(例如)由接收完整時間集合之中間網路元件提取。中間網路元件接著將經提取時間子集提供至包括解碼器之用戶端器件。作為另一實例，伺服器可提取時間子集或儲存多個時間子集以供遞送至包括解碼器之用戶端器件。
指示GDR集合中之圖像之數目的語法元素可不經動態地再新以反映經提取時間子集之對應GDR集合中的經編碼圖像之減少數目。因此，形成用於較高時間層之GDR集合的連續經編碼圖像之數目與自其提取之較低時間層之對應GDR集合中的連續經編碼圖像之數目之間可存在失配。舉例而言，由復原點SEI訊息指示之復原點圖像可能已在構成較低時間層之時間子集之提取期間被捨棄。在此實例中，所指示 之復原點圖像可關於構成由解碼器接收之經傳信之經編碼視訊位元串流的較低時間層「不存在」。結果，歸因於在時間子位元串流提取之狀況下的GDR集合中之一或多個圖像之不存在，GDR操作可不在解碼器側上適當地起作用。
為了減輕或潛在地消除關於時間可擴縮位元串流的以GDR為基礎之寫碼之此等不準確度，本發明之技術可使視訊寫碼器件能夠識別復原點圖像，而不管復原點SEI訊息中指示之復原點圖像是否存在於實際上由解碼器接收之經編碼視訊位元串流中。舉例而言，視訊解碼器件可判定經編碼視訊位元串流是否包括具有復原點圖像之POC值之經編碼圖像，其中POC值係在包括於該位元串流中之復原點SEI訊息中被指示。若視訊寫碼器件偵測位元串流中具有復原點SEI訊息中指示之POC值之經編碼圖像，則視訊寫碼器件可將經偵測圖像識別為復原點圖像。另外，在此實例中，視訊寫碼器件可判定出經識別復原點圖像亦形成GDR集合之最後圖像。
另一方面，若實施本文所描述之技術之視訊寫碼器件未偵測經接收位元串流中具有復原點SEI訊息中指示之POC值(亦即，復原點圖像之POC值)之圖像，則視訊寫碼器件可將由解碼器接收的所具有之POC值大於復原點SEI訊息中指示之POC值之圖像識別為復原點圖像。舉例而言，視訊寫碼器件可將復原點圖像識別為位元串流的按解碼次序之第一圖像，其所具有之POC值大於復原點SEI訊息中指示之POC值。另外，在此情境中，視訊寫碼器件可將位元串流中接收且緊接地在經識別復原點圖像之前的圖像識別為GDR集合中之最後圖像。舉例而言，位元串流的緊接地在經識別復原點圖像之前的圖像可為所具有之POC值小於且最接近於經識別復原點圖像之POC值的圖像。
換言之，在此情境中，視訊寫碼器件可將兩個不同圖像識別為GDR集合中之最後圖像及復原點圖像。舉例而言，在此情境中，GDR 集合中之最後圖像及復原點圖像可為包括於經編碼視訊位元串流中的按解碼次序之兩個連續圖像。以此方式，本發明之一或多種技術可使視訊寫碼器件能夠根據GDR來解碼經接收圖像集合，同時亦支援時間可擴縮視訊位元串流。舉例而言，藉由將復原點圖像識別為按解碼次序在經最初識別圖像之後的圖像，視訊寫碼器件可選擇被完全地更新之圖像，此係因為該選定圖像位於經最初產生位元串流之經完全更新圖像之後。
圖1為說明可利用本發明所描述之技術之實例視訊編碼及解碼系統10的方塊圖。如圖1所展示，系統10包括來源器件12，來源器件12產生待在稍後時間由目的地器件14解碼之經編碼視訊資料。來源器件12及目的地器件14可包含廣泛範圍之器件中任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂「智慧型」電話之電話手機、所謂「智慧型」鍵台、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主控台，視訊串流器件，或其類似者。在一些狀況下，來源器件12及目的地器件14可經裝備用於無線通信。
目的地器件14可經由鏈路16而接收待解碼之經編碼視訊資料。 鏈路16可包含能夠將經編碼視訊資料自來源器件12移動至目的地器件14的任何類型之媒體或器件。在一項實例中，鏈路16可包含用以使來源器件12能夠將經編碼視訊資料直接地即時傳輸至目的地器件14之通信媒體。經編碼視訊資料係可根據通信標準(諸如，無線通信協定)予以調變，且傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(radio frequency,RF)頻譜或一或多個實體傳輸線。通信媒體可形成以封包為基礎之網路(諸如，區域網路、廣域網路，或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台，或可有用於促進自來源器件12至目的地器件14之通 信之任何其他設備。
替代地，可將經編碼資料自輸出介面22輸出至儲存器件31。相似地，可由輸入介面自儲存器件31存取經編碼資料。儲存器件31可包括多種分散式或本機存取式資料儲存媒體中任一者，諸如，硬碟、藍光(Blu-ray)光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體。在一另外實例中，儲存器件31可對應於可保持由來源器件12產生之經編碼視訊之檔案伺服器或另一中間儲存器件。目的地器件14可經由串流或下載而自儲存器件31存取經儲存視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(network attached storage,NAS)器件或本機磁碟。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等等)或兩者之組合。經編碼視訊資料自儲存器件31之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術未必限於無線應用或設定。該等技術可應用於視訊寫碼以支援多種多媒體應用中任一者，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、供儲存於資料儲存媒體上之數位視訊之編碼、儲存於資料儲存媒體上之數位視訊之解碼，或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸來支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，來源器件12包括視訊來源18、視訊編碼器20及輸出介面22。在一些狀況下，輸出介面22可包括調變器/解調變器(數 據機)及/或傳輸器。在來源器件12中，視訊來源18可包括諸如以下各者之來源：視訊俘獲器件，例如，視訊攝影機；含有經先前俘獲視訊之視訊封存檔；用以自視訊內容提供者接收視訊之視訊饋送介面；及/或用於產生電腦圖形資料作為來源視訊之電腦圖形系統；或此等來源之組合。作為一項實例，若視訊來源18為視訊攝影機，則來源器件12及目的地器件14可形成所謂攝影機電話或視訊電話。然而，本發明所描述之技術可大體上適用於視訊寫碼，且可應用於無線及/或有線應用。
可由視訊編碼器20編碼經俘獲、經預俘獲或經電腦產生視訊。可經由來源器件12之輸出介面22將經編碼視訊資料直接地傳輸至目的地器件14。亦(或替代地)可將經編碼視訊資料儲存至儲存器件31上以供目的地器件14或其他器件稍後存取，以用於解碼及/或播放。
目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些狀況下，輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由鏈路16而接收經編碼視訊資料。經由鏈路16而傳達或在儲存器件31上提供之經編碼視訊資料可包括由視訊編碼器20產生以供視訊解碼器(諸如，視訊解碼器30)用來解碼該視訊資料之多種語法元素。此等語法元素可與在通信媒體上傳輸、儲存於儲存媒體上或儲存至檔案伺服器之經編碼視訊資料一起被包括。
顯示器件32可與目的地器件14整合，或在目的地器件14外部。在一些實例中，目的地器件14可包括整合式顯示器件，且亦經組態以與外部顯示器件介接。在其他實例中，目的地器件14可為顯示器件。一般而言，顯示器件32向使用者顯示經解碼視訊資料，且可包含多種顯示器件中任一者，諸如，液晶顯示器(liquid crystal display,LCD)、電漿顯示器(plasma display)、有機發光二極體(organic light emitting diode,OLED)顯示器，或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據視訊壓縮標準(諸如，目前在開發中之高效率視訊寫碼(HEVC)標準)而操作，且可符合HEVC測試模型(HEVC Test Model,HM)。替代地，視訊編碼器20及視訊解碼器30可根據其他專屬或工業標準(諸如，ITU-T H.264標準，替代地被稱作MPEG-4第10部分之進階視訊寫碼(AVC))或此等標準之延伸而操作。然而，本發明之技術不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括MPEG-2及ITU-T H.263。
儘管圖1中未圖示，但在一些態樣中，視訊編碼器20及視訊解碼器30各自可與一音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體，以處置共同資料串流或分離資料串流中之音訊及視訊兩者之編碼。在適用時，在一些實例中，MUX-DEMUX單元可符合ITU H.223多工器協定，或諸如使用者資料報協定(user datagram protocol,UDP)之其他協定。
視訊編碼器20及視訊解碼器30各自可被實施為多種合適編碼器電路系統中任一者，諸如，一或多個微處理器、數位信號處理器(digital signal processor,DSP)、特殊應用積體電路(application specific integrated circuit,ASIC)、場可程式化閘陣列(field programmable gate array,FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當部分地以軟體來實施該等技術時，一器件可將用於該軟體之指令儲存於合適非時間性電腦可讀媒體中，且使用一或多個處理器而以硬體來執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中每一者可包括於一或多個編碼器或解碼器中，該一或多個編碼器或解碼器中任一者可被整合為各別器件中之組合式編碼器/解碼器(CODEC)之部分。
JCT-VC正致力於HEVC標準之開發。HEVC標準化努力係基於視訊寫碼器件之演進模型，其被稱作HEVC測試模型(HM)。HM推測視 訊寫碼器件相對於根據(例如)ITU-T H.264/AVC之現有器件的若干額外能力。舉例而言，H.264提供九個框內預測編碼模式，而HM可提供多達三十三個框內預測編碼模式。
一般而言，HM之工作模型描述出視訊圖框或圖像可被劃分成包括明度樣本及色度樣本兩者之樹狀結構區塊或最大寫碼單元(largest coding unit,LCU)序列。樹狀結構區塊具有與H.264標準之巨集區塊相似的目的。切片包括按寫碼次序之數個連續樹狀結構區塊。視訊圖框或圖像可被分割成一或多個切片。每一樹狀結構區塊可根據四元樹狀結構而被***成若干寫碼單元(CU)。舉例而言，作為四元樹狀結構之根節點，樹狀結構區塊可被***成四個子節點，且每一子節點又可為一父節點且被***成另外四個子節點。作為四元樹狀結構之葉節點，最終未***之子節點包含寫碼節點，亦即，經寫碼視訊區塊。與經寫碼位元串流相關聯之語法資料可定義樹狀結構區塊可被***之最大次數，且亦可定義寫碼節點之最小大小。
CU可包括一明度寫碼區塊及兩個色度寫碼區塊。CU可具有關聯預測單元(prediction unit,PU)及變換單元(transform unit,TU)。該等PU中每一者可包括一個明度預測區塊及兩個色度預測區塊，且該等TU中每一者可包括一個明度變換區塊及兩個色度變換區塊。該等寫碼區塊中每一者可被分割成包含被應用相同預測之樣本區塊之一或多個預測區塊。該等寫碼區塊中每一者亦可被分割成包含被應用相同變換之樣本區塊之一或多個變換區塊。
CU之大小通常對應於寫碼節點之大小，且通常為正方形形狀。CU之大小的範圍可為8×8像素直至具有64×64像素或更大之最大值的樹狀結構區塊之大小。每一CU可定義一或多個PU及一或多個TU。包括於CU中之語法資料可描述(例如)寫碼區塊成為一或多個預測區塊之分割。分割模式可視CU被跳過或直接模式編碼、被框內預測模式編 碼抑或被框間預測模式編碼而不同。預測區塊可被分割為正方形或非正方形形狀。包括於CU中之語法資料亦可描述(例如)根據四元樹狀結構進行的寫碼區塊成為一或多個變換區塊之分割。變換區塊可被分割為正方形或非正方形形狀。
HEVC標準允許根據TU之變換，該等變換對於不同CU可不同。 TU通常係基於針對經分割LCU所定義之給定CU內之PU的大小而被設定大小，但可能並非總是此狀況。TU通常具有與PU相同的大小，或小於PU。在一些實例中，可使用被稱為「殘差四元樹狀結構」(residual quad tree,RQT)之四元樹狀結構將對應於CU之殘差樣本再分成較小單元。RQT之葉節點可表示TU。可變換與TU相關聯之像素差值以產生變換係數，其可被量化。
一般而言，PU包括與預測程序相關之資料。舉例而言，當PU被框內模式編碼時，PU可包括描述用於PU之框內預測模式之資料。作為另一實例，當PU被框間模式編碼時，PU可包括定義用於PU之運動向量之資料。定義用於PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、用於運動向量之解析度(例如，四分之一像素精確度或八分之一像素精確度)、運動向量所指向之參考圖像，及/或用於運動向量之參考圖像清單(例如，清單0、清單1或清單C)。
一般而言，TU用於變換程序及量化程序。具有一或多個PU之給定CU亦可包括一或多個TU。在預測之後，視訊編碼器20可根據PU而自由寫碼節點識別之視訊區塊計算殘差值。接著再新寫碼節點以參考殘差值而非原始視訊區塊。殘差值包含可被變換成變換係數、被量化且使用該等變換及TU中指定之其他變換資訊被掃描以產生用於熵寫碼之序列化變換係數的像素差值。可再次再新寫碼節點以參考此等序列化變換係數。本發明通常使用術語「視訊區塊」以係指CU之寫碼 節點。在一些特定狀況下，本發明亦可使用術語「視訊區塊」以係指樹狀結構區塊，亦即，LCU或CU，其包括寫碼節點以及PU及TU。
視訊序列通常包括視訊圖框或圖像系列。圖像群組(group of picture,GOP)通常包含該等視訊圖像中之一或多者之系列。GOP可在該GOP之標頭中、在該等圖像中之一或多者之標頭中或在別處包括描述包括於該GOP中之圖像之數目的語法資料。圖像之每一切片可包括描述用於各別切片之編碼模式之切片語法資料。視訊編碼器20通常對個別視訊切片內之視訊區塊進行操作，以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化大小，且其大小可根據指定寫碼標準而不同。
作為一實例，HM支援以各種PU大小之預測。假定到特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小之框內預測，及以2N×2N、2N×N、N×2N或N×N之對稱PU大小之框間預測。HM亦支援用於以2N×nU、2N×nD、nL×2N及nR×2N之PU大小之框間預測的不對稱分割。在不對稱分割中，CU之一個方向未被分割，而另一方向被分割成25%及75%。CU的對應於25%分割區之部分係藉由「n」接著為「上」、「下」、「左」或「右」之指示而指示。因此，舉例而言，「2N×nU」係指被水平地分割之2N×2N CU，其中2N×0.5N PU係在頂部且2N×1.5N PU係在底部。
在本發明中，「N×N」及「N乘N」可互換式地用以係指視訊區塊在垂直維度及水平維度方面之像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊將在垂直方向上具有16個像素(y=16)且在水平方向中具有16個像素(x=16)。同樣地，N×N區塊通常在垂直方向上具有N個像素且在水平方向上具有N個像素，其中N表示非負整數值。區塊中之像素係可按列及行而配置。此外，區塊未必需要在水平方向中與在垂直方向中具有相同數目個像素。舉例而言，區塊可包含 N×M個像素，其中M未必等於N。
在使用CU之PU進行框內預測性或框間預測性寫碼之後，視訊編碼器20可計算被應用由CU之TU指定之變換的殘差資料。殘差資料可對應於未經編碼圖像之像素與對應於CU之預測值之間的像素差。視訊編碼器20可形成用於CU之殘差資料，且接著變換該殘差資料以產生變換係數。
在進行任何變換以產生變換係數之後，視訊編碼器20可執行變換係數之量化。量化通常係指如下程序：量化變換係數以可能地減少用以表示該等係數之資料之量，從而提供進一步壓縮。量化程序可減少與該等係數中之一些或全部相關聯之位元深度。舉例而言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在一些實例中，視訊編碼器20可利用預定義掃描次序以掃描經量化變換係數，以產生可被熵編碼之序列化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描經量化變換係數以形成一維向量之後，視訊編碼器20可熵編碼該一維向量，例如，根據上下文自適應性可變長度寫碼(context adaptive variable length coding,CAVLC)、上下文自適應性二進位算術寫碼(context adaptive binary arithmetic coding,CABAC)、以語法為基礎之上下文自適應性二進位算術寫碼(syntax-based context-adaptive binary arithmetic coding,SBAC)、機率區間分割熵(Probability Interval Partitioning Entropy,PIPE)寫碼，或另一熵編碼方法。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯之語法元素以供視訊解碼器30用來解碼該視訊資料。
為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指派至待傳輸符號。該上下文可關於(例如)該符號之相鄰值是否為非零。為了執行CAVLC，視訊編碼器20可針對待傳輸符號來選擇可變長度碼。可將VLC中之碼字建構成使得相對較短碼對應於較可能符 號，而較長碼對應於較不可能符號。以此方式，使用VLC相比於(例如)針對每一待傳輸符號來使用等長度碼字可達成位元節省。機率判定可基於指派至符號之上下文。
視訊編碼器20及視訊解碼器30中之一者或兩者可實施本發明之技術以根據逐漸解碼更新(GDR)來寫碼視訊資料，同時支援時間可擴縮位元串流。視訊編碼器20可經組態以或可以其他方式操作以編碼圖像系列或序列以形成GDR集合。舉例而言，視訊編碼器20及/或視訊解碼器30可判定出GDR集合之每一圖像係經由該圖像之各別部分之框內寫碼而被逐漸地更新。隨著遍及形成GDR集合之圖像系列連續地框內更新不同部分，可完全地更新GDR集合之最後圖像(及一或多個後續圖像)。又，作為經編碼視訊位元串流之部分，視訊編碼器20可將GDR集合傳信至視訊解碼器30。
視訊編碼器20及視訊解碼器30中之一者或兩者可將GDR集合識別為自第一GDR圖像開始且包括按解碼次序在第一GDR圖像之後的一或多個圖像之圖像序列。另外，為了識別GDR集合，視訊編碼器20及/或視訊解碼器30可將GDR圖像識別為與復原點SEI訊息相關聯之圖像。舉例而言，視訊編碼器20可產生復原點SEI訊息以包括「recovery_poc_cnt」語法元素。視訊編碼器20可產生recovery_poc_cnt語法元素以具有指示第一GDR圖像之POC值及與同一GDR集合相關聯之復原點圖像之POC值之間的差或差量之值。復原點圖像通常將為由視訊編碼器20預備之原始GDR集合中之最後圖像。
視訊編碼器20亦可根據GDR來產生及傳信包括關於GDR集合中之圖像之經更新區域及未經更新區域之資訊的區域更新資訊SEI訊息。舉例而言，視訊編碼器20可傳信關於GDR集合之每一經編碼圖像的區域更新資訊SEI訊息。又，視訊解碼器30可解碼每一區域更新資訊SEI訊息以判定對應圖像之經更新區域。舉例而言，視訊編碼器20 可在對應於GDR集合之每一圖像的AU中傳信各別區域更新資訊SEI訊息。在各種實例中，視訊解碼器30可解碼對應於GDR集合中之最後圖像的區域更新資訊SEI訊息以判定出整個圖像對應於經更新區域。換言之，在此等實例中，視訊解碼器30可基於解碼在與由視訊編碼器20使用之圖像相同之AU中傳信的區域更新資訊SEI訊息而判定出GDR集合中之最後圖像被「完全地更新」。下文在表1中說明如HEVC工作草案(例如，「WD9」)中支援的SEI訊息之概觀。
下文在語法表1中說明如HEVC WD9中支援的用於復原點SEI訊息之語法及語義。
下文在語法表2中說明如HEVC WD9中支援的用於區域更新SEI訊息之語法及語義。
視訊解碼器30可基於偵測經接收之經編碼視訊位元串流中的復原點SEI訊息而偵測GDR集合之開始。另外，視訊解碼器30可將與復原點SEI訊息相關聯之經編碼圖像識別為第一GDR圖像。舉例而言，復原點SEI訊息可由於包括於與特定圖像相同之存取單元(AU)中而與該圖像相關聯。又，視訊解碼器30可將recovery_poc_cnt語法元素之值應用於GDR圖像之POC值，以判定復原點圖像之POC值。在藉由應用經導出POC值而偵測復原點圖像後，視訊解碼器30即可判定出復原點圖像為經完全更新圖像，且判定出復原點圖像以及按解碼次序在復原點圖像之後的一或多個圖像可被正確地或大致正確地解碼(例如，框內解碼)。
另外，視訊解碼器30可解碼在位元串流中傳信之一或多個區域 更新資訊SEI訊息，以獲得關於GDR集合中之圖像之經更新區域及未經更新區域的資訊。舉例而言，視訊解碼器30可解碼關於GDR集合中之每一圖像的分離區域更新資訊SEI訊息。作為一實例，視訊解碼器30可解碼包括於包括GDR集合之對應圖像之每一AU中的各別區域更新資訊SEI訊息。又，視訊解碼器30可基於根據解碼對應於特定圖像之區域更新資訊SEI訊息所獲得的資料而判定特定圖像之經更新區域(及/或相反地，未經更新區域)。在解碼指示出關聯圖像之全部對應於經更新區域的區域更新資訊SEI訊息後，視訊解碼器30即可判定出關聯圖像被完全地更新。舉例而言，視訊解碼器30可判定出經完全更新圖像形成GDR集合中之最後圖像。基於判定出一圖像為GDR集合中之最後圖像，且藉此判定出該圖像被完全地更新，視訊解碼器30可判定出GDR集合中之最後圖像以及按解碼次序在GDR集合中之最後圖像之後的一或多個圖像可被正確地或大致正確地解碼(例如，框內解碼)。通常，視訊解碼器30判定出由復原點SEI訊息識別之復原點圖像係與同一GDR集合中之最後圖像相同，如由指示經完全更新狀態之對應區域更新資訊SEI訊息所識別。
另外，根據HEVC WD9，視訊編碼器20及視訊解碼器30中之一者或兩者可支援經編碼視訊位元串流之時間可擴縮性。舉例而言，視訊編碼器20及視訊解碼器30可支援由不同經編碼視訊位元串流提供之變化圖像速率(或「圖框速率」)。舉例而言，視訊編碼器20可傳信表示較高時間層之完整經編碼視訊位元串流。為了支援低於完整經編碼視訊位元串流之時間圖像速率，視訊解碼器30或位於視訊編碼器20與視訊解碼器30之間的中間器件(諸如，中間網路元件或伺服器)可提取完整經編碼視訊位元串流之時間子集。在一特定實例中，中間器件可提取包括於完整經編碼視訊位元串流中之經編碼圖像子集，且將經提取子集轉送至視訊解碼器30。換言之，實際上在視訊解碼器30處接收之 經編碼圖像子集可包括最初由視訊編碼器20產生之完整經編碼視訊位元串流，或在時間擴縮之狀況下，相比於最初由視訊編碼器20產生之完整經編碼視訊位元串流包括至少一較少經編碼圖像。由視訊解碼器30接收以支援較低圖像速率之經編碼圖像子集在本文中被稱作「時間子集」或「子位元串流」。
視訊解碼器30可根據經由經編碼視訊位元串流之時間可擴縮性而提供之不同圖像速率來接收不同時間子集。在一項實例中，視訊解碼器30可藉由接收及解碼最初由視訊編碼器20傳信之完整經編碼視訊位元串流之第一時間子集而支援低圖像速率。根據此實例，視訊解碼器30可藉由接收及解碼第二時間子集而支援中間圖像速率，該第二時間子集相比於第一時間子集包括至少一較多經編碼圖像，但相比於完整經編碼視訊位元串流包括至少一較少經編碼圖像。在此實例中，視訊解碼器30可藉由接收及解碼最初由視訊編碼器20傳信之完整經編碼視訊位元串流之全部(例如，經編碼圖像之完整集合)而支援最高可能圖像速率。
然而，在視訊解碼器30根據HEVC WD9來接收GDR集合作為時間子集之部分的一些例子中，復原點圖像可能已在時間子集之提取期間被捨棄，且未傳輸至解碼器，使得來自經最初編碼位元串流之實際復原點圖像可不存在於由視訊解碼器30接收之經編碼視訊位元串流中。結果，在此等實例中，視訊解碼器30可不能夠藉由應用包括於復原點SEI訊息中之recovery_poc_cnt語法元素之值而定位復原點圖像。換言之，視訊解碼器30可不能夠識別GDR集合之末端處的根據GDR被完全地更新之圖像。結果，在解碼器30處之GDR操作可不適當地起作用。
為了減輕或消除上文關於經時間擴縮GDR集合所描述之潛在不準確度，視訊解碼器30可實施本發明之一或多種技術。在本文所描述 之技術之一些實施中，視訊解碼器30可判定復原點圖像(如由復原點SEI訊息中之recovery_poc_cnt語法元素所識別)是否包括於經接收之經編碼視訊位元串流中。若視訊解碼器30基於自recovery_poc_cnt語法元素之值計算POC值而判定出復原點圖像包括於經編碼視訊位元串流中，則視訊解碼器30可將此圖像識別為復原點圖像。此後，解碼器30可使用復原點圖像及後續圖像作為經完全更新圖像。舉例而言，視訊解碼器30可藉由執行隨機存取來解碼復原點圖像及按解碼次序之一或多個後續圖像。另外，在此例子中，視訊解碼器30亦可將復原點圖像識別為GDR集合中之最後圖像。GDR集合中之最後圖像(如由視訊解碼器30所識別)可在本文中被稱作由「lastPicInSet」表示之變數。在lastPicInSet為復原點SEI訊息中識別之復原點圖像的實例中，視訊解碼器30可判定出lastPicInSet係根據GDR被完全地更新。
另一方面，若視訊解碼器30不能夠定位具有自recovery_poc_cnt語法元素之值導出之POC值的圖像，則視訊解碼器30可實施本發明之一或多種技術以識別替代復原點圖像。在一些實例中，視訊解碼器30可將復原點圖像識別為按解碼次序之第一圖像，其具有大於自recovery_poc_cnt語法元素導出之POC值的POC值。舉例而言，視訊解碼器可藉由將recovery_poc_cnt語法元素之值加至第一GDR圖像之POC值而導出經識別復原點圖像之POC值。另外，在此等實例中，視訊解碼器30可判定出lastPicInSet為緊接地在經識別復原點圖像之前的圖像。舉例而言，lastPicInSet可為按解碼次序之最後圖像，其具有小於自recovery_poc_cnt語法元素導出之POC值的POC值，而復原點可為按解碼次序之第一圖像，其具有大於自recovery_poc_cnt語法元素導出之POC值的POC值。因此，在由復原點SEI訊息識別之復原點圖像已在時間擴縮期間被捨棄的實例中，視訊解碼器30可實施本發明之技術以將按解碼次序連續之兩個分離圖像分別識別為lastPicInSet及復原 點圖像。
又，在此實例中，視訊解碼器30可執行關於按解碼次序在GDR集合之後的一或多個圖像之隨機存取解碼。因此，在一種狀況下，若具有復原點圖像之POC值的圖像存在於由解碼器30接收之位元串流中，則該解碼器選擇彼圖像作為復原點圖像及有關GDR集合之最後圖像兩者。在另一狀況下，若具有復原點圖像之POC值的圖像不存在於由解碼器30接收之位元串流中，則該解碼器選擇一個圖像作為復原點圖像且選擇不同圖像作為有關GDR集合之最後圖像，如上文所論述。在此第二狀況下，選定復原點圖像為經接收位元串流中按解碼次序之第一圖像，其具有大於自recovery_poc_cnt語法元素導出之POC值的POC值，且GDR集合中之選定最後圖像為經接收位元串流中按解碼次序之最後圖像，其具有小於自recovery_poc_cnt語法元素導出之POC值的POC值，亦即，緊接地在選定復原點圖像之前的圖像。另外，在此第二狀況下，視訊解碼器30可選擇由對應區域更新資訊SEI訊息指示未被完全地更新之圖像(例如，包括經更新區域及未經更新區域兩者之圖像)作為GDR集合中之最後圖像。
在一些實例中，視訊解碼器30可關於與GDR集合之lastPicInSet相關聯的一或多個區域更新SEI訊息而實施本發明之技術。舉例而言，若視訊解碼器30判定出lastPicInSet亦為復原點圖像，則視訊解碼器30可判定出對應於該圖像之區域更新SEI訊息指示出整個圖像屬於該圖像之經更新區域。如上文所描述，在各種實例中，若視訊解碼器30偵測GDR集合中具有用於復原點圖像之POC值的圖像，則視訊解碼器30可判定出lastPicInSet亦為復原點圖像，如由復原點SEI訊息所指示。
在一項此類實例中，視訊解碼器30可判定出區域更新SEI訊息包括經設定至值1且與包括該圖像的AU之第一切片區段相關聯的refreshed_region_flag語法元素。根據此實例，基於用於AU之第一切 片區段的refreshed_region_flag語法元素經設定至1，視訊解碼器30可判定出用於AU之剩餘切片區段的refreshed_region_flag語法元素亦經設定至值1。以此方式，視訊解碼器30可判定出當lastPicInSet亦為復原點圖像時，lastPicInSet為經完全更新圖像。
本文所描述之技術的潛在優勢為：視訊解碼器30可支援用於經時間擴縮位元串流之GDR，同時無需變更現有硬體基礎結構。另外，在一些實例中，本文所描述之技術不要求視訊編碼器20實施關於產生復原點圖像SEI訊息抑或區域更新SEI訊息之任何變更。取而代之，視訊解碼器30可實施用以處理包括於復原點SEI訊息及/或區域更新SEI訊息中之資訊以支援關於時間可擴縮位元串流之GDR的技術。換言之，在一些實例中，本發明之技術可引入對復原點SEI訊息及/或區域更新SEI訊息之語義的變更，而不引入對此等SEI訊息中任一者之語法的任何變更。
以此方式，目的地器件14可為用於解碼視訊資料之器件之實例，該器件包含經組態以儲存經編碼視訊資料之記憶體，及視訊解碼器，即，視訊解碼器30。另外，根據上文所描述之技術，視訊解碼器30可為經組態以進行以下動作之視訊解碼器之實例：接收複數個圖像；在與複數個圖像中之第一圖像相關聯之訊息中接收指示逐漸解碼器更新(GDR)集合之復原點圖像之POC值之資訊；當按解碼次序在第一圖像之後的圖像所具有之POC值等於復原點圖像之POC值時將所具有之POC值等於復原點圖像之POC值之圖像識別為復原點圖像；及當在第一圖像之後的圖像中沒有任何圖像所具有之POC值等於復原點圖像之POC值時將該等圖像中所具有之POC值大於復原點圖像之POC值之一個圖像識別為復原點圖像。
另外，在一些實例中，視訊解碼器30可經進一步組態以：回應於將所具有之POC值等於復原點圖像之POC值之圖像識別為復原點圖 像而將所具有之POC值等於復原點圖像之POC值之圖像識別為GDR集合之最後圖像；及回應於將所具有之POC值大於復原點圖像之POC值之圖像識別為復原點圖像而將該等圖像中所具有之POC值小於復原點圖像之POC值之一個圖像識別為GDR集合之最後圖像。在一些實例中，所具有之POC值小於復原點圖像之POC值之圖像之POC值大於第一圖像之POC值。在一些實例中，訊息包含補充增強資訊(SEI)訊息。在一項此類實例中，SEI訊息包含復原點SEI訊息。
在一些實例中，指示復原點圖像之POC值之資訊包含指示第一圖像之POC值與復原點圖像之POC值之間的差之資訊。在一些實例中，指示復原點圖像之POC值之資訊包含復原點圖像之POC值。根據一些實例，視訊寫碼器經進一步組態以根據GDR來解碼GDR集合之一或多個圖像。根據一項此類實例，視訊寫碼器經進一步組態以執行關於經識別復原點圖像及按解碼次序在經識別復原點圖像之後的一或多個圖像之隨機存取解碼。
另外，根據上文所描述之技術，目的地器件可為用於解碼視訊資料之器件之實例，該器件包括儲存經編碼視訊資料之記憶體，及視訊寫碼器。在此等實例中，視訊解碼器30可為經組態以進行以下動作之視訊寫碼器之實例：在與經編碼視訊資料之圖像相關聯之訊息中接收指示圖像之經更新區域之資訊；判定圖像是否包含逐漸解碼器更新(GDR)集合中之最後圖像；判定圖像是否包含復原點圖像；及回應於判定出圖像包含GDR集合中之最後圖像及復原點圖像而判定出訊息指示出整個圖像屬於該圖像之經更新區域。在一些實例中，訊息包含補充增強資訊(SEI)訊息。在一項此類實例中，SEI訊息包含區域更新SEI訊息。
在一些實例中，為了判定出訊息指示出整個圖像屬於該圖像之經更新區域，視訊寫碼器可經組態以判定出與區域更新SEI訊息相關 聯之refreshed_region_flag語法元素具有值1。在一項此類實例中，refreshed_region_flag語法元素係與包括該圖像的存取單元(AU)之第一切片區段相關聯，且為了判定出整個圖像屬於經更新區域，視訊寫碼器經組態以判定出不同於AU之第一切片區段的AU之每一切片區段係與對應refreshed_region_flag語法元素相關聯。
圖2為根據本發明之一或多個態樣的說明可實施用於編碼視訊資料之技術之視訊編碼器20之實例的方塊圖。視訊編碼器20可執行視訊切片內之視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之鄰近圖框或圖像內之視訊中的時間冗餘。框內模式(I模式)可指若干以空間為基礎之寫碼模式中任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指若干以時間為基礎之寫碼模式中任一者。
如圖2所展示，視訊編碼器20接收待編碼視訊圖框內之當前視訊區塊。在圖2之實例中，視訊編碼器20包括預測處理單元40、參考圖框記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。預測處理單元40又包括運動補償單元44、運動估計單元42及框內預測單元46，以及分割單元48。出於視訊區塊重新建構起見，視訊編碼器20亦包括反量化單元58、反變換單元60及求和器62。亦可包括解區塊濾波器(圖2中未圖示)以濾波區塊邊界以自經重新建構視訊移除方塊效應假影(blockiness artifact)。視需要，解區塊濾波器通常將濾波求和器62之輸出。除瞭解區塊濾波器以外，亦可使用額外濾波器(迴路內或迴路後)。出於簡潔起見而未展示此等濾波器，但視需要，此等濾波器可濾波求和器62之輸出(作為迴路內濾波器)。
在編碼程序期間，視訊編碼器20接收待寫碼視訊圖框或切片。該圖框或切片可由預測處理單元40劃分成多個視訊區塊。運動估計單 元42及運動補償單元44執行經接收視訊區塊相對於一或多個參考圖框中之一或多個區塊的框間預測性寫碼以提供時間預測。框內預測單元46可替代地執行經接收視訊區塊相對於與待寫碼區塊相同之圖框或切片中之一或多個相鄰區塊的框內預測性寫碼以提供空間預測。視訊編碼器20可執行多個寫碼遍次，例如，以選擇用於每一視訊資料區塊之適當寫碼模式。
此外，分割單元48可基於先前寫碼遍次中之先前分割方案之評估而將視訊資料區塊分割成子區塊。舉例而言，分割單元48可最初將一圖框或切片分割成若干LCU，且基於速率-失真分析(例如，速率-失真最佳化)而將該等LCU中每一者分割成若干子CU。預測處理單元40可進一步產生指示LCU成為子CU之分割的四元樹狀結構資料結構。四元樹狀結構之葉節點CU可包括一或多個PU及一或多個TU。
預測處理單元40可(例如)基於錯誤結果而選擇該等寫碼模式中之一者(框內或框間)，且將所得經框內寫碼區塊或經框間寫碼區塊提供至求和器50以產生殘差區塊資料並將所得經框內寫碼區塊或經框間寫碼區塊提供至求和器62以重新建構經編碼區塊以用作參考圖框。預測處理單元40亦將諸如運動向量、框內模式指示符、分割資訊及其他此類語法資訊之語法元素提供至熵編碼單元56。預測處理單元40可使用速率-失真分析來選擇一或多個框間模式。
運動估計單元42及運動補償單元44可高度地整合，但出於概念目的而被分離地說明。由運動估計單元42執行之運動估計為產生運動向量之程序，該等運動向量估計用於視訊區塊之運動。舉例而言，運動向量可指示當前視訊圖框或圖像內之視訊區塊之PU相對於參考圖框(或其他經寫碼單元)內之預測性區塊的位移，該預測性區塊係相對於在該當前圖框(或其他經寫碼單元)內正被寫碼之當前區塊。預測性區塊為被發現在像素差方面接近地匹配於待寫碼區塊之區塊，該像素 差可由絕對差總和(sum of absolute difference,SAD)、平方差總和(sum of square difference,SSD)或其他差度量判定。在一些實例中，視訊編碼器20可計算用於儲存於參考圖框記憶體64中之參考圖像之次整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分率像素位置的值。因此，運動估計單元42可執行關於完整像素位置及分率像素位置之運動搜尋，且以分率像素精確度來輸出運動向量。
運動估計單元42藉由比較經框間寫碼切片中之視訊區塊之PU之位置與參考圖像之預測性區塊之位置而計算用於該PU之運動向量。 參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等參考圖像清單中每一者識別儲存於參考圖框記憶體64中之一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計單元42判定之運動向量而提取或產生預測性區塊。再次，在一些實例中，運動估計單元42及運動補償單元44可功能上整合。在接收用於當前視訊區塊之PU之運動向量後，運動補償單元44即可在該等參考圖像清單中之一者中定位運動向量所指向之預測性區塊。求和器50藉由自正被寫碼之當前視訊區塊之像素值減去預測性區塊之像素值來形成殘差視訊區塊，從而形成像素差值，如下文所論述。一般而言，運動估計單元42執行關於明度寫碼區塊之運動估計，且運動補償單元44針對色度寫碼區塊及明度寫碼區塊兩者來使用基於明度寫碼區塊所計算之運動向量。預測處理單元40亦可產生與視訊區塊及視訊切片相關聯之語法元素以供視訊解碼器30用來解碼視訊切片之視訊區塊。
作為由運動估計單元42及運動補償單元44執行之框間預測(如上文所描述)之替代例，框內預測單元46可框內預測當前區塊。詳言 之，框內預測單元46可判定待用以編碼當前區塊之框內預測模式。在一些實例中，框內預測單元46可使用各種框內預測模式(例如，在分離編碼遍次期間)來編碼當前區塊，且框內預測單元46(或在一些實例中為預測處理單元40)可自經測試模式選擇待使用之適當框內預測模式。
舉例而言，框內預測單元46可使用針對各種經測試框內預測模式之速率-失真分析而計算速率-失真值，且在該等經測試模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析通常判定經編碼區塊與經編碼以產生該經編碼區塊之原始未經編碼區塊之間的失真(或誤差)之量，以及用以產生該經編碼區塊之位元速率(亦即，位元之數目)。框內預測單元46可自用於各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現用於區塊之最佳速率-失真值。
在選擇用於區塊之框內預測模式之後，框內預測單元46可將指示用於區塊之選定框內預測模式之資訊提供至熵編碼單元56。熵編碼單元56可編碼指示選定框內預測模式之資訊。視訊編碼器20可在經傳輸位元串流組態資料中包括用於各種區塊之編碼上下文之定義，及將用於該等上下文中每一者之最可能框內預測模式、框內預測模式索引表及經修改框內預測模式索引表之指示，該位元串流組態資料可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦被稱作碼字映射表)。
視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘差視訊區塊。求和器50表示執行此減去運算之組件。變換處理單元52將諸如離散餘弦變換(discrete cosine transform,DCT)或概念上相似變換之變換應用於殘差區塊，從而產生包含殘差變換係數值之視訊區塊。變換處理單元52可執行概念上相似 於DCT之其他變換。亦可使用小波變換、整數變換、子頻帶變換，或其他類型之變換。在任何狀況下，變換處理單元52將變換應用於殘差區塊，從而產生殘差變換係數區塊。變換可將殘差資訊自像素值域轉換至變換域，諸如，頻域。變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減少位元速率。量化程序可減少與該等係數中之一些或全部相關聯之位元深度。可藉由調整量化參數而修改量化程度。在一些實例中，量化單元54接著可執行包括經量化變換係數之矩陣之掃描。替代地，熵編碼單元56可執行該掃描。
在量化之後，熵編碼單元56熵寫碼經量化變換係數。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、以語法為基礎之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼，或另一熵寫碼技術。在以上下文為基礎之熵寫碼之狀況下，上下文可基於相鄰區塊。在由熵編碼單元56進行之熵寫碼之後，可將經編碼位元串流傳輸至另一器件(例如，視訊解碼器30)或進行封存以供稍後傳輸或擷取。
反量化單元58及反變換單元60分別應用反量化及反變換以在像素域中重新建構殘差區塊，例如，以供稍後用作參考區塊。運動補償單元44可藉由將殘差區塊加至參考圖框記憶體64之圖框中之一者之預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重新建構殘差區塊以計算供在運動估計中使用之次整數像素值。求和器62將經重新建構殘差區塊加至由運動補償單元44產生之運動補償式預測區塊，以產生經重新建構視訊區塊以供儲存於參考圖框記憶體64中。經重新建構視訊區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間寫碼後續視訊圖框中之區塊。
視訊編碼器20之各種組件可經組態以實施本發明之技術中之一或多者以遵照GDR而編碼視訊資料，同時支援視訊位元串流之時間可擴縮性。舉例而言，視訊編碼器20可實施該等技術中之一或多者以產生及傳信一或多個補充增強資訊(SEI)訊息，使得SEI訊息使接收器件(例如，視訊解碼器或其組件)能夠識別GDR集合中之圖像。舉例而言，接收器件可使用包括於由視訊編碼器20產生之SEI訊息中之資料以識別GDR集合中按解碼次序為第一圖像之GDR圖像、GDR集合的按解碼次序之最後圖像，及復原點圖像。在一些實例中，接收器件中之解碼器可判定出GDR集合之最後圖像(「lastPicInSet」)係與復原點圖像相同，而在其他實例中，接收器件中之解碼器可判定出lastPicInSet及復原點圖像為分離圖像。在一項實例中，根據本發明之一或多個態樣，預測處理單元40可經組態以產生復原點SEI訊息及/或區域更新資訊SEI訊息。
視訊編碼器20可根據HEVC WD 9、HEVC WD10、AVC或其他視訊寫碼標準而被組態有各種特徵，以在經編碼視訊位元串流中包括後設資料。在各種實例中，視訊編碼器20可包括解碼器不需要用以解碼經傳信之經編碼視訊位元串流的後設資料。作為一些實例，視訊編碼器20可傳信使視訊解碼器能夠判定圖像輸出時序、判定與一或多個圖像相關聯之顯示資訊、偵測遺失資訊且隱藏及/或修復經偵測遺失的後設資料。
另外，視訊編碼器20可在經編碼視訊位元串流中傳信之特定存取單元(AU)中產生任何數目個SEI網路抽象層(network abstraction layer,NAL)單元。又，視訊編碼器20可在特定SEI NAL單元中包括任何數目個SEI訊息。作為一實例，根據HEVC WD9，以上表1列出視訊編碼器20可產生之各種SEI訊息，及所列出SEI訊息之對應用途/目的。
視訊編碼器20可經組態以或可以其他方式操作以在經編碼視訊位元串流中產生及傳信GDR集合。以GDR為基礎之編碼可使接收器件能夠自非框內圖像執行隨機存取。另外，根據按照GDR而編碼之視訊資料，在按解碼次序之一或多個圖像之後，整個圖像區域可在位元串流之一位置處(例如，在復原點處)被正確地解碼，且此後以顯示/輸出次序被正確地解碼。GDR可提供隨機可存取性及增強型錯誤恢復兩者。
如關於圖1所描述，舉例而言，根據HEVC WD9，GDR集合可包括按解碼次序之經編碼圖像序列。在一些實例中，GDR集合中之經編碼圖像序列亦可根據輸出次序而配置。視訊編碼器20可傳信復原點SEI訊息以指示GDR集合之開始界限。如上文在語法表1中所說明，作為根據HEVC WD9之實例，視訊編碼器20可在復原點SEI訊息中包括諸如recovery_poc_cnt、exact_match_flag及broken_link_flag之語法元素。根據HEVC WD9，視訊編碼器20可設定recovery_poc_cnt語法元素之值以表示GDR圖像之POC計數與復原點圖像之POC計數之間的差。另外，視訊編碼器20可在與GDR圖像相同之存取單元(AU)中傳信復原點SEI訊息。以此方式，視訊編碼器20可使接收器件能夠識別GDR集合之開始界限(例如，第一GDR圖像，其包括於與復原點SEI訊息相同之AU中)，及GDR集合之結束界限(例如，藉由將recovery_poc_cnt語法元素之值加至GDR圖像之POC值以識別復原點圖像)。以此方式，視訊編碼器20可使接收器件能夠利用由GDR提供之一或多個潛在優勢，諸如，隨機可存取性及增強型錯誤恢復。
另外，視訊編碼器20可傳信關於GDR集合之每一圖像的區域更新資訊SEI訊息。舉例而言，視訊編碼器20可在包括GDR集合之圖像的每一AU中包括一區域更新資訊SEI訊息。視訊編碼器20可產生每一區域更新資訊SEI訊息以包括指示對應圖像之經更新區域及/或未經更 新區域的資料。藉由以此方式來傳信區域更新資訊SEI訊息，視訊編碼器20可使接收器件能夠判定根據GDR而更新之圖像之比例。舉例而言，視訊編碼器20可在與區域更新資訊SEI訊息所對應之圖像相同之AU中傳信區域更新資訊SEI訊息。藉由以此方式來傳信區域更新資訊SEI訊息，視訊編碼器20可使接收器件能夠判定特定區域更新資訊SEI訊息對應於GDR之哪一圖像(在此實例中，包括於與區域更新資訊SEI訊息相同之AU中的圖像)。另外，接收器件可使用包括於由視訊編碼器20傳信之區域更新資訊SEI訊息中的資料以識別對應圖像之經更新區域及/或未經更新區域。
如所描述，視訊編碼器20及/或其組件可經組態以支援經編碼視訊位元串流之時間可擴縮性，諸如，根據HEVC WD9。舉例而言，視訊編碼器20可產生完整經編碼視訊位元串流，接收器件(諸如，解碼器件或中間器件)可自該完整經編碼視訊位元串流提取子位元串流。 舉例而言，中間器件(諸如，串流伺服器或媒體感知網路元件(media-aware network element,「MANE」))可自包括於完整經編碼視訊位元串流中之經編碼圖像之完整集合提取經編碼圖像之時間子集，且將經提取子位元串流遞送至具有視訊解碼器之用戶端器件。在一些實例中，時間子集可表示包括於完整經編碼視訊位元串流中之經編碼圖像之完整集合之真實子集。根據此等實例，完整經編碼視訊位元串流可包括時間子集之每一經編碼圖像，及未包括於時間子集中之至少一額外經編碼圖像。
為了支援根據時間可擴縮性之各種圖像速率，中間器件可經組態以自包括於完整經編碼視訊位元串流中之經編碼圖像之完整集合提取不同圖像計數之時間子集。由中間器件提取之每一不同時間子集(例如，為了支援變化圖像速率)可表示一可獨立解碼時間子集或子位元串流。換言之，接收自完整經編碼視訊位元串流提取之經時間擴縮 子位元串流的視訊解碼器可在沒有任何額外資料(諸如，包括於完整經編碼視訊位元串流中但不包括於子位元串流之資訊)的情況下解碼經編碼圖像之時間子集。
根據HEVC WD9，由視訊編碼器20產生之完整經編碼視訊位元串流可包括若干時間子層。另外，由視訊編碼器20產生之每一NAL單元可屬於如由對應「TemporalId」值指示之特定子層。舉例而言，視訊編碼器20可將NAL單元之TemporalId之值設定為等於對應「temporal_id_plus1」語法元素之值減1。另外，視訊編碼器20可判定出單一圖像之所有VCL NAL單元屬於單一子層(亦即，同一子層)。換言之，視訊編碼器20可編碼圖像，使得經編碼圖像自身屬於對應於與經編碼圖像相關聯之NAL單元之特定子層。
舉例而言，根據HEVC WD9，視訊編碼器20可產生經編碼視訊位元串流，使得該位元串流之較低子層的解碼程序不取決於該位元串流之較高子層中的資料。另外，中間器件可藉由自完整位元串流移除與高於特定值之TemporalId值相關聯的所有NAL單元而自完整位元串流產生子位元串流，完整位元串流符合HEVC WD9。又，以此方式而產生之子位元串流自身可表示符合HEVC WD9之位元串流。視訊編碼器20及/或其一或多個組件可確保對於完整經編碼視訊位元串流及對於其任何給定子層而滿足針對關於HEVC WD9之位元串流一致性的所有條件(例如，緩衝器限定)。
如所描述，在時間擴縮完整經編碼視訊位元串流時，中間器件可自完整經編碼視訊位元串流提取經編碼圖像之時間子集。舉例而言，時間子集可為完整經編碼視訊位元串流中傳信之經編碼圖像之真實子集，且因此，中間器件可自完整經編碼位元串流移除一或多個經編碼圖像以產生子位元串流。在實例中，中間器件可捨棄由復原點SEI訊息之recovery_poc_cnt語法元素識別的復原點圖像。然而，在此 等實例中，中間器件可未經組態成再新復原點SEI訊息中傳信之資料，以反映經最初指示復原點訊息之變更(亦即，移除)。換言之，中間器件可潛在地傳信包括復原點SEI訊息但不包括對應復原點圖像之時間子集。又，藉由傳達包括復原點SEI訊息但不包括經識別復原點圖像之時間子集，中間器件可向視訊解碼器識別不存在於經接收時間子集中之復原點圖像。
為了減輕或消除由包括GDR集合之經編碼位元串流之時間擴縮造成的潛在問題，本發明之技術可使視訊解碼器件能夠處理包括於經傳信SEI訊息中之資料以遵照GDR，同時支援時間可擴縮性。舉例而言，該等技術可引入對與復原點SEI訊息及/或區域更新資訊SEI訊息相關聯之一或多個語義之變更。下文更詳細地描述根據本發明之技術的對與復原點SEI訊息及/或區域更新資訊SEI訊息相關聯之語義之變更。
圖3為根據本發明之一或多個態樣的說明可實施用於解碼視訊資料之技術之視訊解碼器30之實例的方塊圖。在圖3之實例中，視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測單元74、反量化單元76、反變換單元78、求和器80及參考圖像記憶體82。在圖2之實例中，視訊解碼器30包括預測單元71，預測單元71又包括運動補償單元72及框內預測單元74。在一些實例中，視訊解碼器30可執行與關於視訊編碼器20(圖2)所描述之編碼遍次大體上互逆的解碼遍次。運動補償單元72可基於自熵解碼單元70接收之運動向量而產生預測資料，而框內預測單元74可基於自熵解碼單元70接收之框內預測模式指示符而產生預測資料。
在圖3所說明之實施中，視訊解碼器30耦接至網路元件68。在各種實例中，網路元件68可包括或為多種器件之部分，諸如，媒體感知網路元件(或「MANE」)、串流伺服器或網路頭端器件。舉例而言， 網路元件68可經組態以接收由視訊編碼器20傳信之經編碼視訊位元串流，且時間擴縮該經編碼視訊位元串流。在此實例中，網路元件68可將經時間擴縮位元串流轉送至視訊解碼器30。
作為一項實例，網路元件68可自包括於經接收之經編碼視訊位元串流中的經編碼圖像之完整集合提取經編碼圖像之時間子集。由網路元件68接收之經編碼視訊位元串流可在本文中被稱作「完整經編碼視訊位元串流」。另外，由網路元件68提取之時間子集可表示包括於完整經編碼視訊位元串流中之經編碼圖像之完整集合之真實子集。換言之，由網路元件68接收之完整經編碼視訊位元串流可包括時間子集之每一經編碼圖像，及未包括於時間子集中之至少一額外經編碼圖像。
為了支援根據時間可擴縮性之各種圖像速率，網路元件68可經組態以自包括於完整經編碼視訊位元串流中之經編碼圖像之完整集合提取不同圖像計數之時間子集。由網路元件68提取之每一不同時間子集(例如，為了支援變化圖像速率)可表示一可獨立解碼時間子集或子位元串流。換言之，諸如接收由網路元件68提取之經時間擴縮子位元串流之視訊解碼器30的器件可在沒有任何額外資料(諸如，包括於完整經編碼視訊位元串流中但不包括於子位元串流之資訊)的情況下解碼經編碼圖像之時間子集。
網路元件68可判定出，根據HEVC WD9，由視訊編碼器20傳信之完整經編碼視訊位元串流包括若干時間子層。另外，網路元件68可判定出由視訊編碼器20傳信之每一NAL單元屬於如由對應「TemporalId」值指示之特定子層。舉例而言，網路元件68可判定出NAL單元之TemporalId之值等於對應「temporal_id_plus1」語法元素 之值減1。另外，在此實例中，網路元件68可判定出單一圖像之所有VCL NAL單元屬於單一子層(亦即，同一子層)。換言之，網路元件68可判定出特定經編碼圖像自身屬於對應於與經編碼圖像相關聯之NAL單元之特定子層。
舉例而言，根據HEVC WD9，視訊編碼器20可產生經編碼視訊位元串流，使得該位元串流(例如，如由網路元件68所提取)之較低子層的解碼程序不取決於該位元串流之較高子層中的資料。網路元件68可藉由自完整位元串流移除與高於特定值之TemporalId值相關聯的所有NAL單元而自完整位元串流產生子位元串流，完整位元串流符合HEVC WD9。又，以此方式由網路元件68提取之子位元串流自身可表示符合HEVC WD9之位元串流。視訊編碼器20及/或其一或多個組件可確保對於每一子位元串流而滿足針對關於HEVC WD9之位元串流一致性的所有條件(例如，緩衝器限定)。
如所描述，在時間擴縮完整經編碼視訊位元串流時，網路元件68可自完整經編碼視訊位元串流提取經編碼圖像之時間子集。舉例而言，時間子集可為完整經編碼視訊位元串流中傳信之經編碼圖像之真實子集，且因此，網路元件68可自完整經編碼位元串流移除一或多個經編碼圖像以產生子位元串流。在實例中，網路元件68可移除包括於GDR集合中之一或多個經編碼圖像。在一項此類實例中，網路元件68可捨棄由復原點SEI訊息識別之復原點圖像。
然而，在一項此類實例中，網路元件68可不捨棄形成GDR集合之第一圖像的GDR圖像。在此實例中，網路元件68可向視訊解碼器30提供復原點SEI訊息，此係因為復原點SEI訊息可包括於與GDR圖像相同之AU中。然而，在此實例中，網路元件68可不將復原點SEI訊息中識別之復原點圖像提供至視訊解碼器30，此係因為經最初識別復原點圖像在時間擴縮期間被捨棄。又，視訊解碼器30可接收GDR集合之指 示，但可不能夠在經接收子位元串流中定位GDR集合之復原點圖像。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊切片之視訊區塊及關聯語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元70熵解碼該位元串流以產生經量化係數、運動向量或框內預測模式指示符，及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可接收在視訊切片層級及/或視訊區塊層級處之語法元素。
當視訊切片被寫碼為經框內寫碼(I)切片時，框內預測單元74可基於經傳信框內預測模式及來自當前圖框或圖像之經先前解碼區塊之資料而產生用於當前視訊切片之視訊區塊的預測資料。當視訊圖框被寫碼為經框間寫碼(亦即，B、P或GPB)切片時，運動補償單元72基於自熵解碼單元70接收之運動向量及其他語法元素而產生用於當前視訊切片之視訊區塊的預測性區塊。該等預測性區塊係可自該等參考圖像清單中之一者內的參考圖像中之一者產生。視訊解碼器30可基於儲存於參考圖像記憶體82中之參考圖像而使用預設建構技術來建構參考圖框清單：清單0及清單1。
運動補償單元72藉由剖析運動向量及其他語法元素而判定用於當前視訊切片之視訊區塊的預測資訊，且使用該預測資訊以產生用於正被解碼之當前視訊區塊的預測性區塊。舉例而言，運動補償單元72使用一些經接收語法元素以判定用以寫碼視訊切片之視訊區塊的預測模式(例如，框內預測或框間預測)、框間預測切片類型(例如，B切片、P切片或GPB切片)、用於切片之參考圖像清單中之一或多者的建構資訊、用於切片之每一經框間編碼視訊區塊的運動向量、用於切片之每一經框間寫碼視訊區塊的框間預測狀態，及用以解碼當前視訊切片中之視訊區塊的其他資訊。
運動補償單元72亦可基於內插濾波器而執行內插。運動補償單 元72可使用如由視訊編碼器20在視訊區塊之編碼期間使用之內插濾波器，以計算用於參考區塊之次整數像素的經內插值。在此狀況下，運動補償單元72可自經接收語法元素判定由視訊編碼器20使用之內插濾波器，且使用該等內插濾波器以產生預測性區塊。
反量化單元76反量化(亦即，解量化)在位元串流中提供且由熵解碼單元70解碼之經量化變換係數。反量化程序可包括使用由視訊解碼器30針對視訊切片中之每一視訊區塊所計算之量化參數QPY以判定量化程度，且同樣地判定應被應用之反量化程度。
反變換單元78將反變換(例如，反DCT、反整數變換或概念上相似反變換程序)應用於變換係數，以便在像素域中產生殘差區塊。
在運動補償單元72基於運動向量及其他語法元素而產生用於當前視訊區塊之預測性區塊之後，視訊解碼器30藉由求和來自反變換單元78之殘差區塊與由運動補償單元72產生之對應預測性區塊而形成經解碼視訊區塊。求和器80表示執行此求和運算之組件。視需要，亦可應用解區塊濾波器以濾波經解碼區塊，以便移除方塊效應假影。亦可使用其他迴路濾波器(在寫碼迴路中抑或在寫碼迴路之後)以使像素轉變平滑，或以其他方式改良視訊品質。接著將給定圖框或圖像中之經解碼視訊區塊儲存於參考圖像記憶體82中，參考圖像記憶體82儲存用於後續運動補償之參考圖像。參考圖像記憶體82(亦被稱作經解碼圖像緩衝器(decoded picture buffer,DPB))亦儲存用於稍後呈現於顯示器件(諸如，圖1之顯示器件32)上之經解碼視訊。
視訊解碼器30及其各種組件可實施本發明之技術以根據GDR來解碼經寫碼視訊序列，同時支援時間可擴縮視訊位元串流。作為一項實例，熵解碼單元70可實施本文關於視訊解碼器30所描述之一或多個功能性。如所描述，視訊解碼器30可接收由視訊編碼器傳信之經編碼視訊位元串流。在各種實例中，視訊解碼器30可接收完整經編碼視訊 位元串流或子位元串流，網路元件68可根據時間可擴縮性而提取完整經編碼視訊位元串流或子位元串流。更具體而言，經時間擴縮子位元串流可包括自包括於完整經編碼視訊位元串流中之經編碼圖像集合提取的經編碼圖像子集。由網路元件68根據時間可擴縮性而提取之圖像子集可在本文中被稱作「時間子集」。在一些實例中，由網路元件68提取之時間子集可表示完整經編碼視訊位元串流中之經編碼圖像之真實子集。換言之，根據此等實例，完整經編碼視訊位元串流可包括時間子集之每一經編碼圖像，及未包括於時間子集中之至少一額外經編碼圖像。
另外，根據HEVC WD 9、AVC或其他視訊寫碼標準，視訊解碼器30可經組態以或可以其他方式操作以解碼包括於經接收之經編碼視訊位元串流中的後設資料。在各種實例中，根據HEVC WD9，視訊解碼器30可解碼無需用於解碼經編碼位元串流中傳信之經編碼圖像的後設資料。在各種實例中，視訊解碼器30可解碼後設資料以判定圖像輸出時序及與一或多個圖像相關聯之顯示資訊中的一或多者。在此等及其他實例中，視訊解碼器30可解碼後設資料以偵測遺失資訊，且隱藏及/或修復一或多個經偵測遺失。
在一些實例中，例如，根據HEVC WD9，視訊解碼器30可解碼經接收之經編碼視訊位元串流中傳信之特定存取單元(AU)中的一或多個補充增強資訊(SEI)網路抽象層(NAL)單元。另外，視訊解碼器30可解碼包括於經接收之經編碼視訊位元串流中傳信之單一SEI NAL單元中的一或多個SEI訊息。根據HEVC WD9，以上表1列出視訊解碼器30可接收及解碼(例如，使用熵解碼單元70)之各種SEI訊息之實例，及所列出SEI訊息之對應用途/目的。
另外，視訊解碼器30可經組態以或可以其他方式操作以解碼經接收之經編碼視訊位元串流中傳信的GDR集合。更具體而言，視訊解 碼器30可根據GDR來解碼經接收GDR集合。如關於圖1所描述，根據HEVC WD9，GDR集合可包括按解碼次序之經編碼圖像序列。在一些實例中，GDR集合中之經編碼圖像序列亦可根據輸出次序而配置。在各種實例中，GDR集合之最後圖像可表示復原點圖像，其中整個圖像屬於經更新區域。
視訊解碼器30可(諸如)藉由實施由熵解碼單元70提供之一或多個功能性來解碼復原點SEI訊息。基於經解碼復原點SEI訊息，視訊解碼器30可偵測GDR集合之開始界限，諸如，第一GDR圖像。在各種實例中，第一GDR圖像可為包括於與復原點SEI訊息相同之AU中的經編碼圖像。如上文在語法表1中所說明，根據HEVC WD9，視訊解碼器30可解碼經傳信復原點SEI訊息中之recovery_poc_cnt、exact_match_flag及broken_link_flag語法元素。
根據HEVC WD9，視訊解碼器30可判定出GDR集合繼續，直至視訊解碼器30偵測由復原點SEI訊息識別之復原點圖像為止。舉例而言，視訊解碼器30可將經解碼recovery_poc_cnt語法元素之值加至GDR圖像之POC值，以判定經識別復原點圖像之POC值。另外，視訊解碼器30可判定出以此方式而識別之復原點圖像形成GDR集合之按解碼次序之最後圖像。GDR集合之最後圖像在本文中係由「lastPicInSet」表示。
如所描述，視訊解碼器30及/或其組件可經組態以(諸如)根據HEVC WD9來支援經編碼視訊位元串流之時間可擴縮性。舉例而言，視訊解碼器30可接收網路元件68自完整經編碼視訊位元串流提取且傳達至視訊解碼器30之子位元串流。在此實例中，網路元件68可自包括於完整經編碼視訊位元串流中之經編碼圖像之完整集合提取經編碼圖像之時間子集，且將該時間子集作為子位元串流之部分而提供至視訊解碼器30。舉例而言，時間子集可表示包括於完整經編碼視訊位元串 流中之經編碼圖像之完整集合之真實子集。在時間子集表示經編碼圖像之完整集合之真實子集的情境中，完整經編碼視訊位元串流可包括用於時間子集之每一經編碼圖像的資料，及用於未包括於時間子集中之至少一額外經編碼圖像的資料。
為了支援根據時間可擴縮性之各種時間圖像速率，視訊解碼器30可經組態以接收及解碼具有變化圖像速率之子位元串流，諸如，網路元件68可自完整經編碼視訊位元串流提取之各種子位元串流。更具體而言，包括具有變化圖像計數之時間子集的不同子位元串流可表示不同圖像速率。為了支援時間可擴縮性，視訊解碼器30可不管圖像速率而將任何子位元串流解碼為可獨立解碼位元串流。換言之，視訊解碼器30可在沒有任何額外資料(諸如，包括於完整經編碼視訊位元串流中但不包括於特定子位元串流之資訊)的情況下解碼經編碼圖像之特定時間子集。
在視訊解碼器30接收由視訊編碼器件傳信之完整經編碼視訊位元串流的實例中，完整經編碼視訊位元串流可包括一或多個時間子層。另外，由視訊解碼器30接收及/或解碼之每一NAL單元可屬於如由對應「TemporalId」值指示之特定子層。更具體而言，視訊解碼器30可將NAL單元之TemporalId之值判定為等於經傳信對應「temporal_id_plus1」語法元素之值減1。另外，視訊解碼器30可判定出單一圖像之所有經傳信VCL NAL單元屬於單一子層(亦即，同一子層)。換言之，視訊解碼器30可基於經編碼圖像自身屬於對應於與經編碼圖像相關聯之NAL單元之特定子層的判定而解碼經編碼圖像。
舉例而言，根據HEVC WD9，視訊解碼器30可解碼經傳信之經編碼視訊位元串流，使得該位元串流之較低子層的解碼程序不取決於該位元串流之較高子層中的資料。網路元件68可藉由自完整位元串流移除與高於特定值之TemporalId值相關聯的所有NAL單元而自完整位元 串流產生子位元串流。視訊編碼器件可確保關於完整位元串流且因此對於網路元件68可自完整位元串流提取之每一子位元串流而滿足針對關於HEVC WD9之位元串流一致性的所有條件(例如，緩衝器限定)。 又，在一些實例中，視訊解碼器30可在不對解碼程序進行任何變更的情況下及在不必對硬體及/或軟體基礎結構進行任何變更的情況下解碼任何經傳信子位元串流。換言之，視訊解碼器30可以對應於解碼完整經編碼視訊位元串流之方式來解碼經傳信子位元串流，同時支援根據HEVC WD9之時間可擴縮性。
如所描述，在時間擴縮完整經編碼視訊位元串流時，網路元件68可自完整經編碼視訊位元串流提取經編碼圖像之時間子集。舉例而言，時間子集可為完整經編碼視訊位元串流中傳信之經編碼圖像之真實子集，且因此，網路元件68可自完整經編碼位元串流移除一或多個經編碼圖像以產生子位元串流。在一些實例中，網路元件68可移除由復原點SEI訊息識別之復原點圖像。在此等實例中，視訊解碼器30可接收識別GDR集合之界限的復原點SEI訊息，但可不接收形成GDR集合之lastPicInSet的復原點圖像。藉由解碼及應用recovery_poc_cnt語法元素之值，視訊解碼器30可判定經識別復原點圖像之POC計數，但可不能夠在經接收時間子集中定位經識別復原點圖像。
為了減輕或消除由捨棄經識別復原點圖像之GDR集合之時間擴縮造成的潛在問題，視訊解碼器30及/或其組件(諸如，熵解碼單元70)可實施本發明之一或多種技術。根據該等技術之一些實施，視訊解碼器30可解碼復原點SEI訊息以獲得指示經最初識別復原點圖像之圖像次序計數(POC)值的資訊。另外，視訊解碼器30可實施本發明之一或多種技術以判定經接收之經編碼位元串流是否包括具有自復原點SEI訊息獲得之POC值的經編碼圖像。
根據本文所描述之技術，視訊解碼器30可根據多步驟判定來定 義復原點圖像，而非僅僅將復原點圖像定義為具有復原點SEI訊息中識別之POC值的經編碼圖像。舉例而言，若視訊解碼器30識別出經接收位元串流中按解碼次序在當前圖像(例如，與當前SEI訊息相關聯之GDR圖像)之後且具有等於GDR圖像之PicOrderCntVal加recovery_poc_cnt語法元素之值之POC值(「PicOrderCntVal」)的圖像(「picA」)，則視訊解碼器30可將picA識別為復原點圖像。另一方面，若視訊解碼器30未識別滿足上文所描述之條件的picA，則視訊解碼器30可將按輸出次序緊接地在picA之後的圖像識別為復原點圖像。 視訊解碼器30亦可判定出復原點圖像按解碼次序不在第一GDR圖像之前(例如，若第一圖像具有小於GDR圖像之POC值的POC值，則視訊解碼器30可不將第一圖像識別為復原點圖像)。GDR圖像亦可在本文中被稱作「當前」圖像。
另外，根據本發明之一或多個態樣，視訊解碼器30可根據以下多步驟判定來定義gdrPicSet，而非將GDR集合(「gdrPicSet」)定義為自第一GDR圖像開始至復原點圖像之圖像集合。若視訊解碼器30在經接收位元串流中識別經接收位元串流(或經寫碼視訊序列)中按解碼次序在GDR圖像之後且具有等於GDR圖像之PicOrderCntVal加復原點SEI訊息中傳信之經解碼recovery_poc_cnt語法元素之值之PicOrderCntVal的圖像，則視訊解碼器30可將由變數lastPicInSet表示之圖像設定為復原點圖像。否則，若視訊解碼器30未偵測經寫碼視訊序列中滿足上文所列出之條件的圖像，則視訊解碼器30可將lastPicInSet設定至按輸出次序緊接地在復原點圖像之前的圖像。
另外，視訊解碼器30可判定出圖像lastPicInSet按解碼次序不在GDR圖像之前。在此等實例中，視訊解碼器30可將gdrPicSet設定為按輸出次序自第一GDR圖像開始且在圖像lastPicInSet處結束之圖像集合，兩個圖像皆包括在內。結果，在一些實例中，lastPicInSet中之經 更新區域可或可不涵蓋整個圖像。舉例而言，若視訊解碼器30未定位經最初識別復原點圖像，則視訊解碼器30可將lastPicInSet設定至在經最初識別復原點圖像之前的圖像，且因此判定GDR集合之結束界限。 又，lastPicInSet可不為完全經更新圖像，此係因為lastPicInSet按解碼次序在經最初識別復原點圖像之前。在此等實例中，視訊解碼器30可將緊接地在經識別lastPicInSet之後的圖像識別為關於GDR集合之復原點圖像。
如所描述，在一些實例中，本發明之技術可無需對復原點SEI訊息抑或區域更新資訊SEI訊息之現有語法的變更。在各種實例中，該等技術可在WD9中引入對復原點SEI訊息及/或區域更新資訊SEI訊息之現有語義的變更。下文描述與復原點SEI訊息相關聯之語義，且強調由本文所描述之技術引入至現有語義的變更。
在視訊解碼器30起始隨機存取之後，或在視訊編碼器20指示經寫碼視訊序列中之中斷連結之後，復原點SEI訊息輔助視訊解碼器30判定解碼程序將何時產生用於顯示之可接受圖像。當視訊解碼器30按與復原點SEI訊息相關聯之解碼次序以AU開始解碼程序時，按此SEI訊息中指定之輸出次序在復原點處或之後的所有經解碼圖像被指示為內容正確或大致正確。在與復原點SEI訊息相關聯之圖像處或之前的藉由隨機存取而產生之經解碼圖像無需內容正確，直至所指示之復原點或按輸出次序之下一圖像為止，且在與復原點SEI訊息相關聯之圖像處開始的解碼程序之操作可含有對在經解碼圖像緩衝器及/或參考圖像記憶體82中不可用之圖像的參考。
另外，藉由使用broken_link_flag語法元素，視訊編碼器20可使用復原點SEI訊息以向視訊解碼器30指示可潛在地引起視覺假影(當被顯示時)之位元串流中之一或多個圖像的位置，即使當解碼程序按解碼次序在前一隨機存取點(random access point,RAP)AU之位置處開始 時亦如此。視訊編碼器20可使用broken_link_flag語法元素以指示一點之位置，在該點之後，用於解碼一或多個圖像之解碼程序可造成對圖像之參考，儘管該等圖像可用於由視訊解碼器30用於解碼程序中，但該等圖像不為用於當視訊編碼器20最初編碼位元串流時用於參考之圖像(例如，歸因於在位元串流之產生期間由視訊編碼器20執行之接合操作)。
在視訊解碼器30執行隨機存取以自與復原點SEI訊息相關聯之AU開始解碼的實例中，視訊解碼器30可判定出關聯圖像為位元串流中之第一圖像，且用於導出復原點圖像之PicOrderCntVal的變數prevPicOrderCntLsb及prevPicOrderCntMsb皆經設定為等於0。在視訊解碼器30判定出假設參考解碼器(HRD)資訊存在於經接收位元串流中的實例中，視訊解碼器30可判定出緩衝週期SEI訊息係與同復原點SEI訊息相關聯之AU相關聯，以便在隨機存取之後建立HRD緩衝器模型之初始化。
由與復原點SEI訊息相關聯之圖像或由按解碼次序在此圖像之後的任何圖像參考的任何序列或圖像參數集合RBSP可在其啟動之前的解碼程序期間可用於視訊解碼器30，而不管視訊解碼器30是否在位元串流之開頭處或以與復原點SEI訊息相關聯之AU(按解碼次序)開始解碼程序。
recovery_poc_cnt語法元素可向視訊解碼器30指定按輸出次序之輸出圖像之復原點。若視訊解碼器30判定出在經寫碼視訊序列中存在按解碼次序在當前圖像(例如，與當前SEI訊息相關聯之圖像)之後且具有等於當前圖像之PicOrderCntVal加recovery_poc_cnt之值之PicOrderCntVal的圖像picA，則視訊解碼器30可將圖像picA稱作復原點圖像；否則，視訊解碼器30可將按輸出次序緊接地在picA之後的圖像稱作復原點圖像。視訊解碼器30可判定出復原點圖像按解碼次序不 在當前圖像之前。視訊解碼器30可指示出，在復原點圖像之輸出次序位置處開始，按輸出次序之所有經解碼圖像被指示為內容正確或大致正確。視訊解碼器30可判定出recovery_poc_cnt之值係在-MaxPicOrderCntLsb/2至MaxPicOrderCntLsb/2-1之範圍內。
exact_match_flag語法元素向視訊解碼器30指示藉由在與復原點SEI訊息相關聯之AU處開始解碼程序而導出的按輸出次序在指定復原點處或之後的一或多個經解碼圖像是否將為與將由視訊解碼器30在經接收位元串流中之前一RAP AU(若存在)之位置處開始解碼程序而產生之一或多個圖像的確切匹配。與exact_match_flag相關聯之值0向視訊解碼器30指示出匹配可不確切，且值1指示出匹配將確切。當exact_match_flag等於1時，位元串流一致性之要求為：在由視訊解碼器30藉由在與復原點SEI訊息相關聯之AU處開始解碼程序而導出的按輸出次序在指定復原點處及之後的經解碼圖像為與將藉由在位元串流中之前一RAP AU(若存在)之位置處開始解碼程序而產生之圖像的確切匹配。
當執行隨機存取時，視訊解碼器30可將對不可用圖像之所有參考推斷為對僅含有框內寫碼區塊且具有由等於(1<<(BitDepthY-1))之Y、皆等於(1<<(BitDepthC-1))(中階灰度)之Cb及Cr給出之樣本值之圖像的參考，而不管exact_match_flag之值。當exact_match_flag等於0時，由視訊編碼器20在編碼程序期間選擇復原點處之近似值之品質。
broken_link_flag語法元素向視訊解碼器30指示在復原點SEI訊息之位置處的NAL單元串流中之中斷連結之存在或不存在，且被指派另外語義如下：若broken_link_flag等於1，則在器件不應顯示按解碼次序在與復原點SEI訊息相關聯之存取單元處及之後的經解碼圖像直至按輸出次序之指定復原點為止的程度上，藉由視訊解碼器30在前一RAP AU之位置處開始解碼程序而產生的圖像可含有不良視覺假影。 否則(例如，視訊解碼器30偵測到broken_link_flag等於0)，不給出關於視覺假影之任何潛在存在的指示。
在當前圖像為中斷連結存取(broken link access,BLA)圖像的實例中，視訊解碼器30可偵測到broken_link_flag之值等於1。不管broken_link_flag之值，視訊解碼器30可判定出按輸出次序在指定復原點之後的圖像被指定為內容正確或大致正確。
下文描述與區域更新資訊SEI訊息相關聯之語義，且強調由本文所描述之技術在WD9中引入至現有語義的變更。
區域更新資訊SEI訊息向視訊解碼器30指示被應用當前SEI訊息之切片區段是否屬於當前圖像之經更新區域(如下文所描述)。不為RAP AU且含有復原點SEI訊息之AU在本文中被稱作逐漸解碼更新(GDR)AU，且其對應圖像被稱作GDR圖像。對應於所指示復原點圖像之AU在本文中被稱作復原點AU。
視訊解碼器30可判定出，若在經寫碼視訊序列中存在按解碼次序在GDR圖像之後且具有等於GDR圖像之PicOrderCntVal加復原點SEI訊息中之recovery_poc_cnt之值之PicOrderCntVal的圖像，則變數lastPicInSet為復原點圖像；否則，lastPicInSet為按輸出次序緊接地在復原點圖像之前的圖像。視訊解碼器30可判定出圖像lastPicInSet按解碼次序不在GDR圖像之前。
視訊解碼器30可判定出gdrPicSet為按輸出次序自GDR圖像開始至圖像lastPicInSet(GDR圖像及圖像lastPicInSet包括在內)之圖像集合。當視訊解碼器30開始自GDR AU開始之解碼程序時，gdrPicSet之每一圖像中的經更新區域被指示為內容為正確或大致正確之圖像區域，且當lastPicInSet為復原點圖像時，lastPicInSet中之經更新區域涵蓋整個圖像。
視訊解碼器30可判定出被應用區域更新資訊SEI訊息之切片區段 由在含有區域更新資訊SEI訊息之SEI NAL單元之後且按解碼次序在含有區域更新資訊SEI訊息之下一SEI NAL單元(如存在)之前的AU內之所有切片區段組成。此等切片區段在本文中被稱作與區域更新資訊SEI訊息相關聯之切片區段。
另外，視訊解碼器30可判定出gdrAuSet為對應於gdrPicSet之存取單元集合。gdrAuSet及對應gdrPicSet在本文中被稱作與GDR存取單元中含有之復原點SEI訊息相關聯。視訊解碼器30亦可判定出區域更新資訊SEI訊息不應存在於AU中，除非AU包括於與復原點SEI訊息相關聯之gdrAuSet中。另外，視訊解碼器30可判定出，當包括於gdrAuSet中之任何AU含有一或多個區域更新資訊SEI訊息時，gdrAuSet中之所有存取單元應含有一或多個區域更新資訊SEI訊息。
若refreshed_region_flag語法元素等於1，則視訊解碼器30可判定出refreshed_region_flag語法元素指示出與當前SEI訊息相關聯之切片區段屬於當前圖像中之經更新區域。若視訊解碼器30判定出refreshed_region_flag語法元素等於0，則視訊解碼器30可判定出refreshed_region_flag語法元素指示出與當前SEI訊息相關聯之切片區段可不屬於當前圖像中之經更新區域。
在視訊解碼器30偵測到一或多個區域更新資訊SEI訊息存在於AU中且AU之按解碼次序之第一切片區段不具有關聯區域更新資訊SEI訊息的例子中，視訊解碼器30可將用於在第一區域更新資訊SEI訊息之前的切片區段之refreshed_region_flag語法元素之值推斷為等於0。
當lastPicInSet為復原點圖像，且任何區域更新SEI訊息包括於復原點存取單元中時，視訊解碼器30可判定出AU之按解碼次序之第一切片區段具有關聯區域更新SEI訊息，且refreshed_region_flag之值在AU中之所有區域更新SEI訊息中應等於1。在視訊解碼器30判定出一或多個區域更新資訊SEI訊息存在於AU中的實例中，視訊解碼器30可 判定出圖像中之經更新區域被指定為AU之與具有等於1之refreshed_region_flag之區域更新資訊SEI訊息相關聯的所有切片區段中之CTU集合。視訊解碼器30可判定出其他切片區段屬於圖像之未經更新區域。
位元串流一致性之要求為：當相依切片區段屬於經更新區域時，按解碼次序之前一切片區段亦應屬於經更新區域。在實例中，視訊解碼器30可判定出gdrRefreshedSliceSegmentSet為屬於gdrPicSet中之經更新區域的所有切片區段之集合。當視訊解碼器30判定出gdrAuSet含有一或多個區域更新資訊SEI訊息時，位元串流一致性之要求為以下約束皆適用：
˙含有任何經更新區域的包括於對應gdrPicSet中按解碼次序之第一圖像中的經更新區域應僅含有以框內寫碼模式而寫碼之寫碼單元(CU)。
˙對於包括於gdrPicSet中之每一圖像，應約束gdrRefreshedSliceSegmentSet中之語法元素，使得在gdrRefreshedSliceSegmentSet外之樣本或運動向量值不在gdrRefreshedSliceSegmentSet內之任何樣本之解碼程序中用於框間預測。
˙對於按輸出次序在圖像lastPicInSet之後的任何圖像，應約束該圖像之切片區段中之語法元素，使得在gdrRefreshedSliceSegmentSet外之樣本或運動向量值不在該圖像的除了按輸出次序在圖像lastPicInSet之後的其他圖像之解碼程序的解碼程序中用於框間預測。
如關於圖3所描述，視訊解碼器30及/或其組件可執行一種解碼視訊資料之方法，該方法包括：自經編碼視訊位元串流接收複數個圖像；自經編碼視訊位元串流於與複數個圖像之第一圖像相關聯之訊息 中接收指示逐漸解碼器更新(GDR)集合之復原點圖像之圖像次序計數(POC)值之資訊；當按解碼次序在第一圖像之後的圖像所具有之POC值等於復原點圖像之POC值時將所具有之POC值等於復原點圖像之POC值之圖像識別為復原點圖像；及當在第一圖像之後的圖像中沒有任何圖像所具有之POC值等於復原點圖像之POC值時將該等圖像中所具有之POC值大於復原點圖像之POC值之一個圖像識別為復原點圖像。
根據上文關於視訊解碼器30所描述之方法之一些實例實施，該方法進一步包括：回應於將所具有之POC值等於復原點圖像之POC值之圖像識別為復原點圖像而將所具有之POC值等於復原點圖像之POC值之圖像識別為GDR集合之最後圖像；及回應於將所具有之POC值大於復原點圖像之POC值之圖像識別為復原點圖像而將該等圖像中所具有之POC值小於復原點圖像之POC值之一個圖像識別為GDR集合之最後圖像。在一些實例實施中，所具有之POC值小於復原點圖像之POC值的圖像之POC值大於第一圖像之POC值。根據一些實例實施，訊息包含補充增強資訊(SEI)訊息。在一項此類實例實施中，SEI訊息包含復原點SEI訊息。
在上文關於視訊解碼器30所描述之方法之一些實例實施中，指示復原點圖像之POC值之資訊包含指示第一圖像之POC值與復原點圖像之POC值之間的差之資訊。根據一些實例實施，指示復原點圖像之POC值之資訊包含復原點圖像之POC值。在一些實例實施中，上文關於視訊解碼器30所描述之方法進一步包括：根據GDR來解碼GDR集合之一或多個圖像。根據一項此類實例實施，該方法進一步包括：執行關於經識別復原點圖像及按解碼次序在經識別復原點圖像之後的一或多個圖像之隨機存取解碼。
另外，視訊解碼器30及/或其組件可執行一種解碼視訊資料之方 法，該方法包括：在與圖像相關聯之訊息中接收指示圖像之經更新區域之資訊；判定圖像是否包含逐漸解碼器更新(GDR)集合中之最後圖像；判定圖像是否包含復原點圖像；及回應於判定出圖像包含GDR集合中之最後圖像及復原點圖像而判定出訊息指示出整個圖像屬於該圖像之經更新區域。在上文關於視訊解碼器30所描述之方法之一些實例實施中，訊息包含補充增強資訊(SEI)訊息。在一項此類實例實施中，SEI訊息包含區域更新SEI訊息。
在上文關於視訊解碼器30所描述之方法之一些實例實施中，判定出訊息指示出整個圖像屬於該圖像之經更新區域包含判定出與區域更新SEI訊息相關聯之refreshed_region_flag語法元素具有值1。在一項此類實例實施中，refreshed_region_flag語法元素係與包括該圖像的存取單元(AU)之第一切片區段相關聯，且判定出整個圖像屬於經更新區域進一步包含判定出不同於AU之第一切片區段的AU之每一切片區段係與對應refreshed_region_flag語法元素相關聯。
在各種實例中，視訊解碼器30可包括於諸如以下各者的用於寫碼視訊資料之器件中：桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂「智慧型」電話之電話手機、所謂「智慧型」鍵台、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主控台，視訊串流器件，或其類似者。在實例中，用於寫碼視訊資料之此器件可包括積體電路、微處理器及包括視訊解碼器30之通信器件中的一或多者。
圖4為根據本發明之一或多個態樣的說明實例逐漸解碼更新(GDR)集合90之概念圖，GDR集合90包括第一GDR圖像90A、GDR集合圖像90B、90C等等，及復原點圖像90N。儘管本文關於GDR集合90所描述之技術可由多種器件執行，但僅出於論述目的簡易起見，本文關於圖1及圖3之視訊解碼器30來描述圖4。視訊解碼器30可偵測到包 括GDR圖像90A之存取單元(AU)亦包括復原點SEI訊息。基於偵測與GDR圖像90A相關聯之復原點SEI訊息，視訊解碼器30可判定出GDR圖像90A形成經接收之經編碼視訊位元串流中傳信之GDR集合之第一圖像。
另外，視訊解碼器30可應用包括於復原點SEI訊息中之recovery_poc_cnt語法元素之值以獲得復原點圖像90N之POC計數。舉例而言，視訊解碼器30可將recovery_poc_cnt語法元素之值加至GDR圖像90A之圖像次序計數(POC)值，以獲得復原點圖像90N之POC值。在GDR集合90之實例中，視訊解碼器30可定位具有由視訊解碼器30自recovery_poc_cnt語法元素導出之POC值之圖像，即，復原點圖像90N。舉例而言，即使GDR集合90包括於由網路元件68提取之時間子集中，GDR集合仍可包括由復原點SEI訊息識別之復原點圖像90N。換言之，在GDR集合90之實例中，歸因於時間擴縮而未捨棄復原點圖像90N。
基於使用recovery_poc_cnt語法元素之值來偵測復原點圖像90N，視訊解碼器30可實施本發明之技術以判定出復原點圖像90N之全部屬於經更新區域，且判定出復原點圖像90N為關於GDR集合90之lastPicInSet。
圖5為根據本發明之一或多個態樣的說明已歸因於時間擴縮而被移除復原點圖像94N之實例逐漸解碼更新(GDR)集合94的概念圖。GDR集合94包括第一GDR圖像94A、GDR集合圖像94B、一或多個額外GDR集合圖像，及最後GDR集合圖像94M。用以標記GDR集合圖像之字母不意欲指示GDR集合中之圖像之特定數目，而是意欲充當標記。儘管本文關於GDR集合90所描述之技術可由多種器件執行，但僅出於論述目的簡易起見，本文關於圖1及圖3之視訊解碼器30來描述圖5。在GDR集合94之實例中，網路元件68可能已在時間擴縮期間捨棄 復原點SEI訊息中識別之復原點圖像(例如，SEI識別復原點圖像94N)。以虛線框線來說明SEI識別復原點圖像94N以指示出SEI識別復原點圖像94N存在於較高時間層中，而不存在於由視訊解碼器30接收之較低時間層中。
在圖5之經寫碼視訊序列92之實例中，視訊解碼器30可使用recovery_poc_cnt以判定出復原點SEI訊息將SEI識別復原點圖像94N識別為GDR集合94之復原點圖像。然而，因為已在時間擴縮期間捨棄SEI識別復原點圖像94N，所以視訊解碼器30可不能夠在經接收時間子集中定位SEI識別復原點圖像94N。又，視訊解碼器30可實施本發明之一或多種技術以支援GDR集合94之以GDR為基礎之解碼，同時支援時間可擴縮位元串流。
舉例而言，視訊解碼器30可定位經寫碼視訊序列92之按解碼次序之第一圖像，其具有大於關於SEI識別復原點圖像94N所導出之POC值的POC值。另外，視訊解碼器30可實施本文所描述之一或多種技術以將經定位圖像識別為關於GDR集合94之復原點圖像。在圖5之實例中，視訊解碼器30可將復原點圖像96識別為經寫碼視訊序列92之第一圖像，其具有大於SEI識別復原點圖像94N之POC值的POC值。舉例而言，藉由將復原點圖像96識別為關於GDR集合94之復原點圖像，視訊解碼器30可判定出復原點圖像96之全部屬於用於解碼經寫碼視訊序列92中之隨機存取及錯誤恢復的經更新區域。
另外，視訊解碼器30可將經寫碼視訊序列92中緊接地在復原點圖像96之前的圖像識別為GDR集合94之lastPicInSet。舉例而言，回應於不能夠在經寫碼視訊序列92中定位SEI識別復原點圖像94N，視訊解碼器30可實施本發明之技術以將last_picture_in_GDR_set 94M識別為GDR集合94之lastPicInSet。在此實例中，視訊解碼器30可將在經寫碼視訊序列92內按解碼次序連續之兩個分離圖像識別為關於GDR集合 94之lastPicInSet(94M)及復原點圖像(96)。另外，在此實例中，由視訊解碼器30識別之復原點圖像可不包括於GDR集合94中。圖5說明一項實例，在該實例中，視訊解碼器30可實施本發明之技術以識別用於GDR集合94之lastPicInSet及復原點圖像，即使歸因於時間擴縮而捨棄SEI識別復原點圖像94N亦如此。以此方式，圖5說明一實例，在該實例中，視訊解碼器30可實施本發明之技術以根據如HEVC WD9所描述之GDR來解碼GDR集合94，同時支援經編碼視訊位元串流之時間可擴縮性。
圖6為根據本發明之一或多個態樣的說明可由視訊解碼器30及/或其組件執行以解碼經編碼視訊資料之實例程序100的流程圖。當視訊解碼器30在經接收之經編碼視訊位元串流中偵測復原點SEI訊息(102)時，程序100可開始。舉例而言，視訊解碼器30可在GDR存取單元中偵測復原點SEI訊息，GDR存取單元亦包括與經編碼GDR圖像(諸如，GDR集合之第一GDR圖像)相關聯之資料。基於在GDR存取單元中偵測復原點SEI訊息，視訊解碼器30可判定出包括於GDR存取單元中之GDR圖像形成GDR集合之第一圖像。
另外，視訊解碼器30可判定復原點SEI訊息中識別之復原點圖像是否包括於經接收之經編碼視訊位元串流中(104)。舉例而言，視訊解碼器30可將復原點SEI訊息之recovery_poc_cnt語法元素之值加至GDR圖像之POC值，以獲得SEI識別復原點圖像之POC值。在一項實例中，視訊解碼器可使用經導出POC值以周遊經接收之經寫碼視訊序列，以判定該序列之圖像是否具有經導出POC值。舉例而言，視訊解碼器30可按解碼次序來周遊經寫碼視訊序列。以此方式，若視訊解碼器30到達具有經導出POC值之圖像，則視訊解碼器30可判定出SEI識別復原點圖像包括於經接收之經寫碼視訊序列中。另一方面，在此實例中，若視訊解碼器30到達所具有之POC值大於經導出POC值之圖 像，但尚未定位具有經導出POC值之圖像，則視訊解碼器30可判定出SEI識別復原點圖像不包括於經接收之經編碼視訊位元串流中。
若視訊解碼器30判定出SEI識別復原點圖像包括於經接收位元串流中(104之「是」分支)，則視訊解碼器可將SEI識別復原點圖像識別為GDR集合中之最後圖像(lastPicInSet)及用於GDR集合之復原點圖像兩者(106)。在此情境中，視訊解碼器30可判定出lastPicInSet及復原點圖像為相同圖像，且判定出復原點圖像包括於GDR集合中。
另一方面，若視訊解碼器30判定出SEI識別復原點圖像不包括於經接收視訊位元串流中(104之「否」分支)，則視訊解碼器30可將在SEI識別復原點圖像之後的圖像識別為用於GDR集合之復原點圖像(108)。舉例而言，視訊解碼器30可將復原點圖像識別為經接收視訊位元串流之按解碼次序之第一圖像，其具有大於關於SEI識別復原點圖像所導出之POC值的POC值。
另外，在此情境中，視訊解碼器30可將按解碼次序緊接地在經識別復原點圖像之前的經接收之經寫碼視訊序列之圖像(亦即，所具有之POC值小於關於SEI識別復原點圖像所導出之POC值之最後圖像)識別為GDR集合之lastPicInSet(110)。在此實例中，視訊解碼器30可將按解碼次序連續之兩個分離圖像識別為關於GDR集合之lastPicInSet及復原點圖像。另外，在此實例中，視訊解碼器30可判定出lastPicInSet包括於GDR集合中，且判定出復原點圖像不包括於GDR集合中。舉例而言，視訊解碼器30可判定出復原點圖像為按解碼次序在經接收之經編碼視訊位元串流中之GDR集合之後的第一圖像。
以此方式，視訊解碼器30可為用於解碼視訊資料之器件之實例，該器件包括：用於自經編碼視訊位元串流接收複數個圖像的構件；用於自經編碼視訊位元串流於與複數個圖像之第一圖像相關聯之訊息中接收資訊的構件，該資訊指示逐漸解碼器更新(GDR)集合之復 原點圖像之POC值；用於當按解碼次序在第一圖像之後的圖像所具有之POC值等於復原點圖像之POC值時將所具有之POC值等於復原點圖像之POC值之圖像識別為復原點圖像的構件；及用於當在第一圖像之後的圖像中沒有任何圖像所具有之POC值等於復原點圖像之POC值時將該等圖像中所具有之POC值大於復原點圖像之POC值之一個圖像識別為復原點圖像的構件。
在一些實例中，該器件可進一步包括：用於回應於將所具有之POC值等於復原點圖像之POC值之圖像識別為復原點圖像而將所具有之POC值等於復原點圖像之POC值之圖像識別為GDR集合之最後圖像的構件；及用於回應於將所具有之POC值大於復原點圖像之POC值之圖像識別為復原點圖像而將該等圖像中所具有之POC值小於復原點圖像之POC值之一個圖像識別為GDR集合之最後圖像的構件。根據一些實例，所具有之POC值小於復原點圖像之POC值的圖像之POC值大於第一圖像之POC值。
在一些實例中，訊息包含復原點補充增強資訊(SEI)訊息。根據一些實例，所具有之POC值小於復原點圖像之POC值的圖像之POC值大於第一圖像之POC值。根據一些實例，指示復原點圖像之POC值之資訊包含指示第一圖像之POC值與復原點圖像之POC值之間的差之資訊。根據一些實例，指示復原點圖像之POC值之資訊包含復原點圖像之POC值。在一些實例中，該器件可進一步包括：用於執行關於經識別復原點圖像及按解碼次序在經識別復原點圖像之後的一或多個圖像之隨機存取解碼的構件。
另外，以此方式，圖1之目的地器件14可為計算器件之實例，該計算器件包括或耦接至電腦可讀儲存媒體，該電腦可讀儲存媒體具有儲存於其上之指令，該等指令在執行時使該計算器件之處理器：自經編碼視訊位元串流接收複數個圖像；自經編碼視訊位元串流於與複數 個圖像之第一圖像相關聯之訊息中接收指示逐漸解碼器更新(GDR)集合之復原點圖像之POC值之資訊；當按解碼次序在第一圖像之後的圖像所具有之POC值等於復原點圖像之POC值時將所具有之POC值等於復原點圖像之POC值之圖像識別為復原點圖像；及當在第一圖像之後的圖像中沒有任何圖像所具有之POC值等於復原點圖像之POC值時將該等圖像中所具有之POC值大於復原點圖像之POC值之一個圖像識別為復原點圖像。
在一些實例中，電腦可讀儲存媒體可具有儲存於其上之指令，該等指令在執行時進一步使計算器件之處理器：回應於將所具有之POC值等於復原點圖像之POC值之圖像識別為復原點圖像而將所具有之POC值等於復原點圖像之POC值之圖像識別為GDR集合之最後圖像；及回應於將所具有之POC值大於復原點圖像之POC值之圖像識別為復原點圖像而將該等圖像中所具有之POC值小於復原點圖像之POC值之一個圖像識別為GDR集合之最後圖像。在一些實例中，訊息包含復原點補充增強資訊(SEI)訊息。根據一些實例，所具有之POC值小於復原點圖像之POC值的圖像之POC值大於第一圖像之POC值。
在一些實例中，訊息包含補充增強資訊(SEI)訊息。在一項此類實例中，SEI訊息包含區域更新SEI訊息。根據一些實例，指示復原點圖像之POC值之資訊包含指示第一圖像之POC值與復原點圖像之POC值之間的差之資訊。根據一些實例，指示復原點圖像之POC值之資訊包含復原點圖像之POC值。在一些實例中，電腦可讀儲存媒體可具有儲存於其上之指令，該等指令在執行時進一步使計算器件之處理器：執行關於經識別復原點圖像及按解碼次序在經識別復原點圖像之後的一或多個圖像之隨機存取解碼。
圖7為根據本發明之一或多個態樣的說明可由視訊解碼器30及/或其組件執行以解碼經編碼視訊資料之實例程序120的流程圖。當視訊 解碼器30在經編碼視訊位元串流中接收一或多個經編碼圖像之集合(122)時，程序120可開始。在各種實例中，經編碼圖像之經接收集合可包括或為GDR集合之部分。
視訊解碼器30可偵測到經接收集合之當前圖像為GDR集合之lastPicInSet及復原點圖像兩者(124)。作為一項實例，視訊解碼器30可判定出當前圖像具有匹配於由經編碼視訊位元串流中之經最近接收復原點SEI訊息指示之POC值的POC值。在此實例中，基於當前圖像之POC值匹配於經最近接收復原點SEI訊息中指示之POC值，視訊解碼器30可判定出當前圖像為GDR集合之lastPicInSet以及復原點圖像兩者。
另外，視訊解碼器30可判定出經接收區域更新SEI訊息包括用於包括當前圖像的AU之第一切片區段的經設定至值1之refreshed_region_flag(126)。舉例而言，視訊解碼器30可解碼與當前圖像相關聯之區域更新SEI訊息以獲得對應於當前圖像之每一切片區段之refreshed_region_flag。在一些實例中，視訊解碼器30可解碼區域更新SEI訊息以獲得按循序切片次序(亦即，以解碼AU之第一切片開始，接著解碼AU之第二切片，等等)的AU之refreshed_region_flags。結果，在循序地獲得AU之refreshed_region_flags的實例中，視訊解碼器30可獲得用於第一切片區段之refreshed_region_flag，之後獲得用於AU之剩餘切片區段之refreshed_region_flags。
基於判定出當前圖像為lastPicInSet及復原點圖像(124)，且判定出用於AU之第一切片之refreshed_region_flag經設定至值1(126)，視訊解碼器30可判定出區域更新SEI訊息包括用於AU之所有剩餘切片的經設定至值1之refreshed_region_flags(128)。舉例而言，基於AU之第一切片經設定至值1，且基於判定出當前圖像為lastPicInSet及復原點圖像，視訊解碼器30可判定出當前圖像為經完全更新圖像。換言之， 在此實例中，視訊解碼器30可判定出當前圖像之全部屬於當前圖像之經更新區域。又，基於判定出當前圖像為經完全更新圖像，視訊解碼器30可將對應於AU之所有切片之refreshed_region_flags之值推斷為經設定至值1。
以此方式，在視訊解碼器30判定出當前圖像被完全地更新的例子中，視訊解碼器30可實施本發明之技術以判定出包括於區域更新SEI訊息中之所有refreshed_region_flags之值(用於包括當前圖像之AU)經設定至值1。舉例而言，視訊解碼器可解碼用於AU之第一切片之refreshed_region_flag以獲得值1。基於用於第一切片之refreshed_region_flag之值具有值1，及當前圖像為lastPicInSet及復原點圖像，視訊解碼器30可將AU之剩餘切片之refreshed_region_flags之值推斷為具有值1，藉此表示經完全更新圖像。藉由在經完全更新圖像之狀況下將剩餘refreshed_region_flags之值推斷為具有值1，視訊解碼器30可在解碼程序中節約計算資源，同時維持關於經完全更新圖像之解碼準確度。
以此方式，視訊解碼器30可為用於解碼視訊資料之器件之實例，該器件包括：用於在與圖像相關聯之訊息中接收指示圖像之經更新區域之資訊的構件；用於判定圖像是否包含逐漸解碼器更新(GDR)集合中之最後圖像的構件；用於判定圖像是否包含復原點圖像的構件；用於回應於判定出圖像包含GDR集合中之最後圖像及復原點圖像而判定出訊息指示出整個圖像屬於該圖像之經更新區域的構件；及用於基於訊息指示出整個圖像屬於該圖像之經更新區域之判定而解碼該圖像的構件。在一些實例中，訊息包含補充增強資訊(SEI)訊息。在一項此類實例中，SEI訊息包含區域更新SEI訊息。
在一些實例中，用於判定出訊息指示出整個圖像屬於該圖像之經更新區域的構件包括用於判定出與區域更新SEI訊息相關聯之 refreshed_region_flag語法元素具有值1的構件。在一項此類實例中，refreshed_region_flag語法元素係與包括該圖像的存取單元(AU)之第一切片區段相關聯，且用於判定出整個圖像屬於經更新區域的構件進一步包括用於判定出不同於AU之第一切片區段的AU之每一切片區段係與對應refreshed_region_flag語法元素相關聯的構件。
另外，以此方式，圖1之目的地器件14可為計算器件之實例，該計算器件包括或耦接至電腦可讀儲存媒體，該電腦可讀儲存媒體具有儲存於其上之指令，該等指令在執行時使該計算器件之處理器：在與圖像相關聯之訊息中接收指示圖像之經更新區域之資訊；判定圖像是否包含逐漸解碼器更新(GDR)集合中之最後圖像；判定圖像是否包含復原點圖像；回應於判定出圖像包含GDR集合中之最後圖像及復原點圖像而判定出訊息指示出整個圖像屬於該圖像之經更新區域；及基於訊息指示出整個圖像屬於該圖像之經更新區域之判定而解碼該圖像。在一些實例中，訊息包含補充增強資訊(SEI)訊息。在一項此類實例中，SEI訊息包含區域更新SEI訊息。
在一些實例中，使計算器件之處理器判定出訊息指示出整個圖像屬於該圖像之經更新區域的指令包括使計算器件之處理器判定出與區域更新SEI訊息相關聯之refreshed_region_flag語法元素具有值1的指令。在一項此類實例中，refreshed_region_flag語法元素係與包括該圖像的存取單元(AU)之第一切片區段相關聯，且使計算器件之處理器判定出整個圖像屬於經更新區域的指令進一步包括使計算器件之處理器判定出不同於AU之第一切片區段的AU之每一切片區段係與對應refreshed_region_flag語法元素相關聯的指令。
在一或多項實例中，所描述功能可以硬體、軟體、韌體或其任何組合予以實施。若以軟體予以實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸， 且由以硬體為基礎之處理單元執行。電腦可讀媒體可包括對應於諸如資料儲存媒體之有形媒體的電腦可讀儲存媒體、各種電腦可讀儲存器件，或包括促進電腦程式自一處傳送至另一處(例如，根據通信協定)之任何媒體的通信媒體。以此方式，電腦可讀媒體通常可對應於(1)為非時間性之有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
作為實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式之所要程式碼且可由電腦存取的任何其他媒體。又，任何連接可被適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術而自網站、伺服器或其他遠端來源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他時間性媒體，而是有關於非時間性有形儲存媒體。如本文所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如以下各者之一或多個處理器執行指令：一或多個數位信號處理器(DSP)、一般用途微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)，或其他等效整合式或離散邏輯電路系統。因此，如本文所使用，術語「處理器」可指上述結構或適合於實 施本文所描述之技術之任何其他結構中任一者。另外，在一些態樣中，本文所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，該等技術可完全地實施於一或多個電路或邏輯元件中。
本發明之技術可實施於各種各樣之器件或裝置中，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件之功能態樣，但該等組件、模組或單元未必要求藉由不同硬體單元而實現。實情為，如上文所描述，各種單元可組合於編碼解碼器硬體單元中，或係藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適軟體及/或韌體而提供。
各種實例已被描述。此等及其他實例係在以下申請專利範圍之範疇內。

Claims (20)

  1. 一種解碼視訊資料之方法，該方法包含：自一經編碼視訊位元串流接收複數個圖像；自該經編碼視訊位元串流於與該複數個圖像之一第一圖像相關聯之一訊息中接收指示一逐漸解碼器更新(GDR)集合之一復原點圖像之一圖像次序計數(POC)值之資訊；當按解碼次序在該第一圖像之後的一圖像所具有之該POC值等於該復原點圖像之一POC值時，將所具有之該POC值等於該復原點圖像之該POC值之該圖像識別為一復原點圖像；及當在該第一圖像之後的該等圖像中沒有任何圖像所具有之該POC值等於該復原點圖像之該POC值時，將該等圖像中所具有之一POC值大於該復原點圖像之該POC值之一個圖像識別為該復原點圖像。
  2. 如請求項1之方法，其進一步包含：回應於將所具有之該POC值等於該復原點圖像之該POC值之該圖像識別為該復原點圖像，而將所具有之該POC值等於該復原點圖像之該POC值之該圖像識別為該GDR集合之一最後圖像；及回應於將所具有之該POC值大於該復原點圖像之該POC值之該圖像識別為該復原點圖像，而將該等圖像中所具有之一POC值小於該復原點圖像之該POC值之一個圖像識別為該GDR集合之該最後圖像。
  3. 如請求項1之方法，其中所具有之該POC值小於該復原點圖像之該POC值的該圖像之該POC值大於該第一圖像之一POC值。
  4. 如請求項1之方法，其中該訊息包含一補充增強資訊(SEI)訊息。
  5. 如請求項4之方法，其中該SEI訊息包含一復原點SEI訊息。
  6. 如請求項1之方法，其中指示該復原點圖像之該POC值之該資訊包含指示該第一圖像之一POC值與該復原點圖像之該POC值之間的一差之資訊。
  7. 如請求項1之方法，其中指示該復原點圖像之該POC值之該資訊包含該復原點圖像之該POC值。
  8. 如請求項1之方法，其進一步包含：執行關於該經識別復原點圖像及按解碼次序在該經識別復原點圖像之後的一或多個圖像之隨機存取解碼。
  9. 一種用於解碼視訊資料之器件，該器件包含：一記憶體，其經組態以儲存經編碼視訊資料；及一視訊解碼器，其經組態以：接收該經編碼視訊資料之複數個圖像；在與該複數個圖像中之一第一圖像相關聯之一訊息中接收指示一逐漸解碼器更新(GDR)集合之一復原點圖像之一POC值之資訊；當按解碼次序在該第一圖像之後的一圖像所具有之該POC值等於該復原點圖像之一POC值時，將所具有之該POC值等於該復原點圖像之該POC值之該圖像識別為一復原點圖像；及當在該第一圖像之後的該等圖像中沒有任何圖像所具有之該POC值等於該復原點圖像之該POC值時，將該等圖像中所具有之一POC值大於該復原點圖像之該POC值之一個圖像識別為該復原點圖像。
  10. 如請求項9之器件，其中該視訊寫碼器經進一步組態以：回應於將所具有之該POC值等於該復原點圖像之該POC值之該圖像識別為該復原點圖像，而將所具有之該POC值等於該復原點圖像之該POC值之該圖像識別為該GDR集合之一最後圖像；及 回應於將所具有之該POC值大於該復原點圖像之該POC值之該圖像識別為該復原點圖像，而將該等圖像中所具有之一POC值小於該復原點圖像之該POC值之一個圖像識別為該GDR集合之該最後圖像。
  11. 如請求項9之器件，其中所具有之該POC值小於該復原點圖像之該POC值的該圖像之該POC值大於該第一圖像之一POC值。
  12. 如請求項9之器件，其中該訊息包含一補充增強資訊(SEI)訊息。
  13. 如請求項12之器件，其中該SEI訊息包含一復原點SEI訊息。
  14. 如請求項9之器件，其中指示該復原點圖像之該POC值之該資訊包含指示該第一圖像之一POC值與該復原點圖像之該POC值之間的一差之資訊。
  15. 如請求項9之器件，其中指示該復原點圖像之該POC值之該資訊包含該復原點圖像之該POC值。
  16. 如請求項15之器件，其中該視訊寫碼器經進一步組態以：執行關於該經識別復原點圖像及按解碼次序在該經識別復原點圖像之後的一或多個圖像之隨機存取解碼。
  17. 一種電腦可讀儲存媒體，其具有儲存於其上之指令，該等指令在執行時使一計算器件之一處理器：自一經編碼視訊位元串流接收複數個圖像；自該經編碼視訊位元串流於與該複數個圖像之一第一圖像相關聯之一訊息中接收指示一逐漸解碼器更新(GDR)集合之一復原點圖像之一POC值之資訊；當按解碼次序在該第一圖像之後的一圖像所具有之該POC值等於該復原點圖像之一POC值時，將所具有之該POC值等於該復原點圖像之該POC值之該圖像識別為一復原點圖像；及當在該第一圖像之後的該等圖像中沒有任何圖像所具有之該 POC值等於該復原點圖像之該POC值時，將該等圖像中所具有之一POC值大於該復原點圖像之該POC值之一個圖像識別為該復原點圖像。
  18. 如請求項17之電腦可讀儲存媒體，其中該訊息包含一復原點補充增強資訊(SEI)訊息。
  19. 一種用於解碼視訊資料之器件，該器件包含：用於自一經編碼視訊位元串流接收複數個圖像的構件；用於自該經編碼視訊位元串流於與該複數個圖像之一第一圖像相關聯之一訊息中接收資訊的構件，該資訊指示一逐漸解碼器更新(GDR)集合之一復原點圖像之一POC值；用於當按解碼次序在該第一圖像之後的一圖像所具有之該POC值等於該復原點圖像之一POC值時將所具有之該POC值等於該復原點圖像之該POC值之該圖像識別為一復原點圖像的構件；及用於當在該第一圖像之後的該等圖像中沒有任何圖像所具有之該POC值等於該復原點圖像之該POC值時將該等圖像中所具有之一POC值大於該復原點圖像之該POC值之一個圖像識別為該復原點圖像的構件。
  20. 如請求項19之器件，其中該訊息包含一復原點補充增強資訊(SEI)訊息。
TW103100565A 2013-01-07 2014-01-07 在視訊寫碼中具有時間可擴縮性支援之逐漸解碼更新 TWI538485B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361749880P 2013-01-07 2013-01-07
US14/147,973 US9571847B2 (en) 2013-01-07 2014-01-06 Gradual decoding refresh with temporal scalability support in video coding

Publications (2)

Publication Number Publication Date
TW201444348A TW201444348A (zh) 2014-11-16
TWI538485B true TWI538485B (zh) 2016-06-11

Family

ID=51060942

Family Applications (2)

Application Number Title Priority Date Filing Date
TW103100565A TWI538485B (zh) 2013-01-07 2014-01-07 在視訊寫碼中具有時間可擴縮性支援之逐漸解碼更新
TW103100564A TWI566585B (zh) 2013-01-07 2014-01-07 在視訊寫碼中具有時間可擴縮性支援之逐漸解碼更新

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW103100564A TWI566585B (zh) 2013-01-07 2014-01-07 在視訊寫碼中具有時間可擴縮性支援之逐漸解碼更新

Country Status (10)

Country Link
US (2) US9398293B2 (zh)
EP (2) EP2941878B1 (zh)
JP (2) JP6242913B2 (zh)
KR (2) KR101741348B1 (zh)
CN (2) CN104904216B (zh)
DK (2) DK2941879T3 (zh)
ES (2) ES2833149T3 (zh)
HU (2) HUE051865T2 (zh)
TW (2) TWI538485B (zh)
WO (2) WO2014107721A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9398293B2 (en) 2013-01-07 2016-07-19 Qualcomm Incorporated Gradual decoding refresh with temporal scalability support in video coding
CN106105220B (zh) * 2014-01-07 2019-07-05 诺基亚技术有限公司 用于视频编码和解码的方法和装置
US20170013274A1 (en) * 2015-07-09 2017-01-12 Microsoft Technology Licensing, Llc Intra-refresh for video streaming
WO2020032049A1 (ja) * 2018-08-06 2020-02-13 シャープ株式会社 動画像復号装置、および動画像符号化装置
US10630976B2 (en) * 2018-08-17 2020-04-21 Qualcomm Incorporated Display refresh blocks determination for video coding
GB201817784D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media
CN113170108A (zh) * 2018-11-27 2021-07-23 Op方案有限责任公司 使用显式和隐式信令对不可用参考帧进行自适应块更新
WO2020107268A1 (zh) * 2018-11-28 2020-06-04 深圳市大疆创新科技有限公司 Gdr码流编码方法、终端设备、机器可读存储介质
US10972755B2 (en) * 2018-12-03 2021-04-06 Mediatek Singapore Pte. Ltd. Method and system of NAL unit header structure for signaling new elements
EP3900345A4 (en) 2018-12-20 2022-03-02 Telefonaktiebolaget LM Ericsson (publ) NORMATIVE DISPLAY OF A RECOVERY POINT
JP7399977B2 (ja) * 2019-03-11 2023-12-18 ホアウェイ・テクノロジーズ・カンパニー・リミテッド エンコーダ、デコーダ、および対応する方法
KR20200110213A (ko) * 2019-03-12 2020-09-23 현대자동차주식회사 영상 부호화 및 복호화 방법 및 장치
ES2953120T3 (es) * 2019-04-23 2023-11-08 Guangdong Oppo Mobile Telecommunications Corp Ltd Método de decodificación de imágenes, decodificador y medio de almacenamiento
CN113796085A (zh) * 2019-05-06 2021-12-14 华为技术有限公司 用于逐步解码刷新的假想参考解码器
CN114128264A (zh) * 2019-05-22 2022-03-01 弗劳恩霍夫应用研究促进协会 用于独立编码区域的无漂移填充和哈希的编码器和解码器，编码方法和解码方法
US11457242B2 (en) * 2019-06-24 2022-09-27 Qualcomm Incorporated Gradual random access (GRA) signalling in video coding
JP7304419B2 (ja) * 2019-09-06 2023-07-06 株式会社ソニー・インタラクティブエンタテインメント 送信装置、送信方法及びプログラム
AU2020354883A1 (en) * 2019-09-24 2022-04-21 Huawei Technologies Co., Ltd. Signaling of picture header in video coding
WO2021133721A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Techniques for implementing a decoding order within a coded picture
US11758171B2 (en) 2019-12-27 2023-09-12 Alibaba Group Holding Limited Methods and systems for performing gradual decoding refresh processing on pictures
KR20220141794A (ko) * 2020-03-05 2022-10-20 엘지전자 주식회사 혼성 nal 유닛 타입에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20220155277A (ko) * 2020-03-16 2022-11-22 바이트댄스 아이엔씨 스케일러블 비디오 코딩의 랜덤 액세스 포인트 액세스 유닛
WO2021201559A1 (ko) * 2020-04-01 2021-10-07 엘지전자 주식회사 Gdr에 대한 리커버리 포인트 관련 정보의 시그널링 기반 영상 또는 비디오 코딩
WO2021206524A1 (ko) * 2020-04-11 2021-10-14 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
CN115699733A (zh) 2020-05-21 2023-02-03 字节跳动有限公司 在视频编解码中信令通知层间参考图片
KR20230106136A (ko) * 2022-01-05 2023-07-12 주식회사 케이티 비디오 신호 부호화/복호화 방법, 그리고 비트스트림을 저장한 기록 매체

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040260827A1 (en) 2003-06-19 2004-12-23 Nokia Corporation Stream switching based on gradual decoder refresh
JP4578326B2 (ja) * 2005-05-31 2010-11-10 京セラ株式会社 地上波デジタル放送受信機
US8428147B2 (en) * 2005-07-25 2013-04-23 Thomson Licensing Method and apparatus for detection and concealment of reference and non-reference video frames
CN101321284B (zh) 2007-06-10 2012-01-04 华为技术有限公司 一种编解码方法、设备及***
JP4935746B2 (ja) 2008-04-07 2012-05-23 富士通株式会社 動画像符号化装置、動画像復号化装置及びその符号化、復号化方法
EP2392138A4 (en) * 2009-01-28 2012-08-29 Nokia Corp METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING
US20100246683A1 (en) * 2009-03-27 2010-09-30 Jennifer Lois Harmon Webb Error Resilience in Video Decoding
TW201210325A (en) 2010-07-21 2012-03-01 Nokia Corp Method and apparatus for indicating switching points in a streaming session
US20130170561A1 (en) 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding
WO2013030458A1 (en) 2011-08-31 2013-03-07 Nokia Corporation Multiview video coding and decoding
RU2625534C2 (ru) * 2012-07-02 2017-07-14 Сан Пэтент Траст Способ декодирования изображений, способ кодирования изображений, устройство декодирования изображений, устройство кодирования изображений и устройство кодирования и декодирования изображений
US9398293B2 (en) 2013-01-07 2016-07-19 Qualcomm Incorporated Gradual decoding refresh with temporal scalability support in video coding

Also Published As

Publication number Publication date
KR101841333B1 (ko) 2018-03-22
ES2777214T3 (es) 2020-08-04
JP6242913B2 (ja) 2017-12-06
CN104904216B (zh) 2018-12-04
EP2941878A1 (en) 2015-11-11
JP6239650B2 (ja) 2017-11-29
US9571847B2 (en) 2017-02-14
KR101741348B1 (ko) 2017-05-29
TWI566585B (zh) 2017-01-11
KR20150105373A (ko) 2015-09-16
US20140192897A1 (en) 2014-07-10
HUE049430T2 (hu) 2020-09-28
HUE051865T2 (hu) 2021-05-28
KR20150105374A (ko) 2015-09-16
JP2016509404A (ja) 2016-03-24
CN104885460B (zh) 2019-05-03
EP2941879A1 (en) 2015-11-11
CN104904216A (zh) 2015-09-09
CN104885460A (zh) 2015-09-02
TW201444347A (zh) 2014-11-16
WO2014107721A1 (en) 2014-07-10
ES2833149T3 (es) 2021-06-14
DK2941879T3 (da) 2020-09-28
JP2016509403A (ja) 2016-03-24
EP2941879B1 (en) 2020-08-26
WO2014107723A1 (en) 2014-07-10
US20140192896A1 (en) 2014-07-10
EP2941878B1 (en) 2019-12-11
US9398293B2 (en) 2016-07-19
DK2941878T3 (da) 2020-02-17
TW201444348A (zh) 2014-11-16

Similar Documents

Publication Publication Date Title
TWI538485B (zh) 在視訊寫碼中具有時間可擴縮性支援之逐漸解碼更新
JP6337009B2 (ja) ビデオコーディングにおける時間スケーラビリティを伴うプログレッシブ精緻化
TWI569633B (zh) 補充增強資訊訊息寫碼
TWI581611B (zh) 擴展解碼單元定義
TWI530168B (zh) 在視訊寫碼中之低延遲緩衝模型
EP2941886B1 (en) Signaling of clock tick derivation information for video timing in video coding
KR102296654B1 (ko) 다계층 코딩에서 복구 포인트 보충 향상 정보 (sei) 메시지들 및 영역 리프레쉬 정보 sei 메시지들을 코딩하는 방법
TW201406160A (zh) 在視訊寫碼中長期參考圖像之隨機存取及發信
JP2017522793A (ja) マルチレイヤコーデックのためのピクチャ順序カウントリセット