TW200838313A

TW200838313A - Picture indentification for multi-view video coding

Info

Publication number: TW200838313A
Application number: TW096138344A
Authority: TW
Inventors: Purvin Bibhas Pandit; Peng Yin; Ye-Ping Su
Original assignee: Thomson Licensing
Priority date: 2006-10-24
Filing date: 2007-10-12
Publication date: 2008-09-16
Also published as: JP2013042521A; WO2008051381A4; TW201246936A; EP2418853A2; JP2010507975A; TW201244487A; WO2008051380A2; WO2008051381A2; EP2418854A2; BRPI0718421A2; AU2007309634A1; JP2010507974A; WO2008051380A3; KR20090085581A; US20100027615A1; EP2418854A3; TW200843512A; WO2008051381A3; US20100034258A1; EP2418853A3

Description

罾 200838313 九、發明說明：【發明所屬之技術領域】本發明原則上係廣泛關於視訊編碼與解碼。【先前技術】視訊解碼器可解碼一圖片，並且儲存該圖片於記憶體中直到確信不再需要該經解碼圖片。舉例而言，可能需要此 -經解碼圖片，以用於解碼—已依據該經解碼圖片予以編碼的後續圖片。在各種系統中，目片被編碼成與前一圖片 (稱為參考圖片)的差展，並且該經解碼參考圖片被儲存在該解碼器4，直到使用該參考㈣的所有後續圖片亦已被解碼。儲存該等參考圖片耗㈣解碼^處的有價值之記憶體。【發明内容】根據-項-般態樣’存取來自_第_視界之—圖片及相 =資訊。該相依性資訊描述對於來自該[視界之該圖 ^^ 求自忒弟一視界的該圖㈣+ 4經解碼圖片被儲存在記心-中。進一步，依據該相依性資在夕奴、訊’自記憶體移除該儲存之經解碼圖片。根據另—項一般態樣，依據描述或多彳ϋ # It於一經解碼圖片之一夕似硯界間相依性關係的相依性片。貝戒自記憶體移除該圖、圖及以下說明書中提出一項或一節。即你項以上實施方案的細即使Μ—特定方式進行描述 1一疋應明白，可用各種 125608.doc 200838313 方式來組態或具體化該辇奢 4實鉍方案。舉例而言，一頊脊# 方案可作為一種方法予以眚γ ^ ^ 唄實施實仃，或作為一種經組態 _ 一組操作的設備予以具體化，實仃又作马種儲存用以實4 — ，、且桑：之指令的設備予以具體化，或以一訊號予以具體化。從下文中參考附圖解說的詳細說明及中請專利範圍將可明白其他態樣及特徵。【實施方式】

本文描述之至少-項實施方案提供—種基於相依性資訊而自記憶體移除一既定經解碼圖片之視訊編碼器及/或視訊解碼器。該相依性資訊描述該既定經解石馬圖片的—或多個視界間相依性關係。因此，藉由存取描述(例如)相依二該既定經解碼圖片作為一參考圖片的所有後續圖片的資訊，一視訊解碼器（例如）將在解碼所有彼等後續圖片之後接著移除该既定經解碼圖片。進一步實施方案在解碼所有彼等後續圖片之後標記該既定經解碼圖片，而不需要立即移除該既定經解碼圖片。可用（例如）以MPEG-4 AVC標準為基礎之MVC的高階語法來編碼該相依性資訊（於下文定義）。在以國際標準化組織/國際電子電機委員會（IS〇/IEC)運動圖片專家組-4 (MPEG-4)第10部進階視訊編碼（AVC)標準 /國際電信聯盟電信部門（ITU-T) H.264建議（下文稱為 MPEG-4 AVC標準）為基礎之多視界視訊編碼（multi-view video coding ; MVC)之當前實施方案中，引用的軟體藉由 125608.doc 200838313 用單個編碼器編碼每一視界並且考量交叉視界（cross-view) 參考來達成多視界預測。此外，基kMPEG_4 Avc標準之 MVC(下文稱為”以mpeg_4 AVC標準為基礎之之當前實施方案亦解耦合介於不同視界之間的圖框/圖片號碼 (fr*ame—num)及圖片順序計數（p〇c)，因此允許具有相同 frame一num與p〇c的圖片存在於經解碼圖片緩衝器（DpB) 中。彼等圖片係使用其所相關聯的視界識別項（view—id)予以鑑別。為了笞理該經解碼圖片緩衝器，以Mpeg-4 AVC標準為基礎之MVC使用MPEG_4 AVC相容之記憶體管理控制操作 (MMCO)命令。彼等MMC〇命令僅處置具有與用於載運彼專MMCO命令之圖片相同的view之圖片。抆可能係太大的限制，並且此外可能不具效率，原因在 ;不允許MMCO命令用與本身不同的來標記圖片，所而的經解碼圖片緩衝器大小典型係大。因此，為了允許較小的經解碼圖片緩衝器大小（因此使用較少的記憶體），應用更具效率方式來管理圖片。根據MPEG-4 AVC標準，一經編碼或解碼且可供參考用途之圖片被儲存在該經解碼圖片緩衝器中。接著，該圖片被標記為（a) 一短期參考圖片或（b) —長期參考圖片。在稍隻短，月參考圖片可被指派一 LongTermPicNum (並且，，變更成長期參考圖片）。此標記處理程式係制MMCO命令予以疋成，如表格1所示。表格i呈現經解碼參考圖片標記 125608.doc 200838313 語法。可使用MMCO命令來達成具效率之經解碼圖片緩衝器管理。表格1 dec_ref_pic_marking() { C 描述項 if( nal一unit一type = = 5 11 nal一unit_type = =* 21) { —_ Γ nal unit type 21 is specified in Annex GV no_output_ofjDriorj>Ics_flag 2|5 u(1) long_term_reference_flag 2|5 u(1) } else { adaptive_ref_piC-marking_mode一flag 2|5 u(1) if( adaptive_refj>ic_marking_mode_flag ) do{ memoryMmanagement_contr〇L〇peration 2|5 ue(v) if( memory_management一control_operation = = 1 11 memory management control operation ==3) difference_of_pic_numsMminu8l 2|5 ue(v) if(memory一management_control一operation = = 2 ) long_termj3lc_num 2|5 ue(v) if( memoiyjnanagement一control_operation = = 3 11 memory management control operation ==6) long_term_frame_Jdx 2|5 ue(v) if( memory一 management一control一operation = = 4) maxJong_term_frameJdx_plus1 2|5 ue(v) } while( memory一management_control_operation != 0 ) } }

介於適應性參考圖片管理（adaptive reference picture management)與滑動視窗標記（sliding window marking)之間的選擇係使用存在於切片標頭（slice header)中的 adaptive_ref—pic—marking_mode—flag予以達成。表格2呈現 adaptive一ref—pic一marking一mode—flag之解譯。表格2 adaptive__ref_pic—marking 一mod e 一 flag 指定的參考圖片標記模式 --- --------------------- 0 ----—---- —------- 滑動視窗參考圖片標記模式··提供用於短期夂考圖片之先進先出機制之標記模式。 … ---^~—---_ •9- 125608.doc 200838313 適參考圖片標記模式··一種提供用以指定將多考圖片標記為”非供參考之用”及指派長期 __圖框索引之語法^^考圖片標記模式。表格3呈現每一記憶體管理控制操作之解譯。表格3呈現每一記憶體管理控制操作（memory一management一control operation)之值〇表格3 memory—management一 c ontrol_operation 記憶體管理控制操作 0 結束 - .............. memory—management-control 叩邙沾如語法元辛迴圈 ” 1 將一短期參考圖片標記為”非供參考之用，， 2 將一長期參考圖片標記為π非供參考之用’’ 3 將一短期參考圖片標記為”供長期參考之用”並且指派一長期圖框索引給該短期參考圖片 4 指定最大長期圖框索引，並且將具有大於該最大值的長期圖框索引之所有長期參考圖片桿記為” 非供參考之用” ^ 5 將所有參考圖片標記為"非供參考之用"並且設定 MaxLongTermFrameldx變數為”無任何長期圖°框索引” 6 將當如圖片標§己為供長期參考之用’’並且指派一長期圖框索引給該當前圖片 / 在一項用於視界視訊編碼的MPEG-4 AVC標準相容解決方案中，所有視訊序列被交錯成一單個序列。接著，此單個交錯序列被饋送至一 MPEG-4 AVC標準相容編碼器，並且產生一MPEG-4AVC標準相容位元流。，所以無由於這是一項MPEG-4 AVC標準相容實施方案 125608.doc -10- 200838313 任何用於識別任何圖片屬於哪一視界的方式。由於在其未列入考里彳月況下指派圖框號碼（frame—num)及圖片順序計數，所以MPEG-4 AVC標準相容MMCO命令可達成具效率之經解碼圖片緩衝器大小管理。在以MPEG-4 AVC標準為基礎之MVC中，已在序列參數集（Sequence Parameter Set)中加入額外語法（如表袼4所不），以用訊號發送交叉視界參考。表格4呈現序列參數集 (S P S)多視界視訊編碼延伸語法。此語法係用於以下列方式指示出待用於錫點圖片與非|苗點圖片的交叉視界參考。 125608.doc -11 - 200838313 表格4 seq_parameter_set mvc一extension() { C 描述項 num_views_miims_l ue(v) for(i = 0; i <= num_views一minus一 1; i++) view__id[i] ue(v) for(i = 0; i <= mim_views_minus_l; i++) { mim__anchor—refs_10[i] ue(v) for( j = 0; j < num一anchor一refs一 10[i]; j++ > anchor.refJOpltj] ue(v) num_anchor一refsjl [i] ue(v) for( j = 0; j < num_anchor一refs一 11 [i]; j++) anchor__refJl[i][j] ue(v) } for(i = 0; i <= num_views_minus_l; i++) { num_non_anchor_refsJO[i] ue(v) for( j = 0; j < mini一non一anchorjefs一 10p]; j++ ) non_anchor_ref_10[i][j] ue(v) niim_non 一anchor一refs[i] ue(v) for( j = 0; j < num_non一anchor一refs一 11 p]; j++ ) nonjinchor一refill [i][j] ue(v) } }

應實行下列程式，以將來自不同於當前視界之視界的參考圖片置於參考預測清單中： -如果當前圖片係一錨點圖片或一 V-IDR圖片，則對於自 0至num_anchor_refs_IX-l之每一 i值，具有等於 anchor—ref—IX[i]之 view—id 且具有等於 1 之 inter—view_flag 且具有相同於當前圖片之PicOrderCnt()的圖片應被附加至 RefPicListX 〇 -否則（當前圖片非係一錨點圖片或一 V-IDR圖片），則對於自0至num_non__anchor_refs_IX-1之每一 i值，具有等於 non_anchor_ref_IX[i]之 view」d 且具有等於 1 之 inter_view—flag且具有相同於當前圖片之PicOrderCnt()的圖片應被附加至RefficListX。 -12- 125608.doc 200838313 在此項實施方案中，記憶體管理控制操作命令僅相關聯於個別視界並且無法標記其他視界巾的圖>1。作為直接的、、、。果，父又視界參考圖片可保持在經解碼圖片緩衝器中的捋間長於所需，原因為其所屬視界在位元流中後部的圖片僅可將一既定交叉視界參考圖片標記為，，非供參考之用，，。在以MPEG-4 AVC標準為基礎之MVC中，未指定如何區別下列案例（亦如表格5所示）：圖片係僅用於視界間參考，· 圖片係僅用於暫時參考；圖片係用於視界間參考與暫時參考兩者，及圖片非供參考之用。表格5呈現對於暫時參考與視界間參考的參考圖片案例。表格5

聯合多視界視訊模型（Joint Multi_view vide〇 M()del; JMVM)指定對於在一定條件下將存在於非當前視界之視界中的一圖片標記為，，非供參考之用”的條件。彼等條件如下： _如果當剷圖片係一錨點圖片，則滿足下列條件的所有參考圖片應被標記為”非供參考之用，，：參考圖片具有相同於當前圖片之pic〇rderCnt()。 -如對於依解碼順序解碼來自wanchor_

_ref一IX (X 125608.doc -13- 200838313 係〇或1)所指示之不同視界的後續圖片，不需要參考圖片。對於編碼所屬視界中的後續圖片，不需要參考圖片。如果當前圖片不是一錨點圖片，則滿足下列條件的所有參考圖片應被標記為"非供參考之用，，：

-參考圖片具有相同於當前圖片之Pic〇rderCnt();及如對於依解碼順序解碼來自如non_anch〇r ref U (X係0或1)所指示之不同視界的後續圖片，不需要參考圖片。對於編碼所屬視界中的後續圖片，不需要參考圖片。 ° 滿足上述條件的標記圖片稱為"隱含標記"。更一般而 ^ ’隱含標記意指使用現有語法元素而未使用額外明確訊儿、、：（ xphcit signaling) 〇為了使用如上文所述之隱含標記進行有效率經解碼圖片緩衝器管理，區別表格5中所示 ” 4為重要事項。以MPEG_4 Avc標準為基礎之Μ%中未明確指定如何可達成此項區別。於如表格4所示之多視界視訊編碼延伸的序列參數集些視界係用作為某—視界之參考的資訊。可使用此二考表或其他資料結構’以指示哪些視界係料為視界間參考及哪些視界未予點圖片及北糾抓面U ^ ^ 非鎢點圖片可個別得知此資訊。 125608.doc -14- 200838313 在另一做法中，一新旗標指示出一圖片係用作為視界間預測參考。此係在用於可調整式視訊編碼/多視界視訊編碼延伸之網路抽象層（NAL)單元標頭中予以用訊號發送，並且語法元素nal_ref_idc僅指示出一圖片是否係用於預測間（亦稱為”暫時’’）參考。在表格6所示之網路抽象層單元語法表格中用訊號發送nal__ref_idc 〇表格6 nal一unit( NumBytesInNALunit) { C 描述項 forbidderi_zero一 bit All f(1) nal一 refjdc All u(2> nal_unit_type Ail u(5) NumBytesInRBSP = 0 for( i = 1; i < NumBytesInNALunit; i++ ) { if( i + 2 < NumBytesInNALunit && next_bits( 24 ) = = 0x000003) { rbsp_byte【NumByteslnRBSP++ 】 All b(8) rbsp_byte【MumByteslnRBSP++ 】 All b(8) i+=2 emulation_prevention_three_byte Γ equal to 0x03 *1 All f(8) } else rbsp_byte[ NumByteslnRBSP++ ] All b(8) } } 當前用下列語意來定義nal_ref_idc : nal_ref_idc不等於0指明NAL單元的内容包括一序列參數集或一圖片參數集，或一參考圖片之一切片或一參考圖片之一切片資料分割。對於包括一切片或一切片資料分割之一 NAL單元， nal_ref_idc等於0指示出該切片或切片資料分割係一非參考圖片之部分。序列參數集或序列參數集延伸或圖片參數集NAL單元， nal__ref_idc應不等於0。對於一特定圖片之一切片或切片資 -15- 125608.doc 200838313 料分割NAL單元，當nal_ref_idc等於0時，對於該圖片之所切片或切片資料分割NAL單元，nal_ref_idc應等於0。對於IDR NAL單元（即，具有nal_unit—type等於5之NAL 單元），nal—ref—idc應不等於0。對於具有nal_unit_type等於6、9、10、11或12之所有 NAL單元），nal—ref_idc應等於 0。下列表格7呈現語法修改。表格7呈現網路抽象層（NAL) 可調整視訊編碼（SVC)多視界視訊編碼延伸語法。 f - 表格7 nal_unitjieader一svcjnvc一extension() { C 描述項 svc_mvc_flag All u⑴ if (!svc一mvc一flag) { priorityjd All u(6) discardable.flag All u(1) temporal-level All u(3) dependencyJd All u(3) qualityjevel All U(2) layer_base㈣flag All u⑴ u$e_ba$e_prediction_flag All u(D fragmented 一flag All u(1) last_fragment_flag All u(1) fragment_order All u(2) reserved_zero_two_bits All u(2) } else { inter_view_reference_flag All u(1) temporaljevel All u(3) viewjevel All u(3) anchor_pic_flag All u(D viewjd All u(1〇) reserved_zeiO_flve_bits All u(5) } nalUnitHeaderBytes += 3 } 如下指明 inter_view_reference_flag之語意： inter_view_reference_flag等於0指示出當前圖片係用作 •16- 125608.doc 200838313 為視界間預測參考。inter__view—reference_flag等於1指示出當前圖片不是用作為視界間預測參考。因此，藉由查看 nal_ref-idc 與 inter_view_reference_flag 之一組合，可判定一既定參考圖片之類型。表格8呈現關於參考圖片類型之 nal_ref_idc 與 inter_view_reference_ flag 〇表格8 nal一ref_idc Inter_view_reference_flag 類型 0 0 非用作為參考 0 1 僅視界間參考不等於0 0 僅暫時參考不等於0 1 暫時參考與視界間參考顯而易見，此方法使用額外語法。本份說明書闡釋本發明原理。因此，應明白，熟悉此項技術者能夠策劃各種配置（雖然本文中未明確描述或呈現）、具體化本發明原理並且包含在本發明精神與範疇内。本文列舉的所有實例與條件式語言旨在教學用途，以輔助讀者瞭解本發明原理與發明人所發表的觀念以增進技術，並且理解為未限定於此等具體文列舉的實例與條件。另外，本文中列舉原理、態樣與本發明原理具體實施例以及其具體實例的所有陳述皆旨在涵蓋本發明結構與功能 125608.doc -17- 200838313 同等物。此外，意圖此等同等物包括當前已知的同等物以及未來開發的同等物，即，實行相同功能所開發的任何元件，而不顧及結構。因此，舉例而言，熟悉此項技術者應明白，本發明提呈的方塊圖表示具體化本發明原理之圖解電路的概念圖。同樣地，應明白，任何流程圖表、流程圖、狀態轉變圖、虛擬程式碼（pseudocode)及類似物表示各種處理程式，處理程式可在電腦可讀取媒體中實質表示且由電腦或處理器予以執行，而無論是否有明確呈現此等電腦或處理器。可透過使用專用硬體及能夠結合適當軟體來執行軟體的硬體來提供圖式所示之各種元件的功能。當藉由處理器提供功能時，可藉由單個專用處理器、藉由單個共用處理器或藉由複數個個別處理器（一些處理器係可共用）來提供彼等功能。另外，明確使用的用詞”處理器”或”控制器”不應理解為排外地指能夠執行軟體的硬體，並且可隱含地包括 (但不限於）數位訊號處理器（DSP)硬體、用於儲存軟體的唯讀記憶體（ROM)、隨機存取記憶體（RAM)及非揮發性儲存亦可包括其他習知及/或自訂硬體之任同樣地，圖中所示

功能，更具體瞭解内容的實施者可調整等定技術輯、在申請項中，表達為用於實行一指定功能之構件的任何 125608.doc -18- 200838313 元件旨在涵蓋實行該功能的任付式’舉例而言，白虹 a)只行該功能之電路元件的組合；匕括：因此，包括與用於執行軟體以實行二可也式之軟體，的韌體、微碼或類似物。事實上，：匕之適田電路組合發明原理屬於各種列舉之構件所提、=之本係以該料求襲需之在力^彼專構件、、且σ在一起。因此，意，可提供彼等功能性的任何構件皆屬本文所示之構：的同等物。在此份說明書中引用的本發明原理之"_項_ 實施例或"一項實施方，，))或"一具體實施例"(或實施方案")表示配合具體實施例說明的特定特徵、結構或特：被，含於本發明原理之至少—項具體實施例中。因此，整份說明書各處出現的”在一項具體實施例中"或"一具體實施例π辭令不一定全部意指同一具體實施例。應明白，使用用詞，，及/或，，（例如，關於，，八及/或『）旨在涵蓋選擇第-列出之選項⑷、選擇第二列出之選項⑻或選擇該兩個選項（Α及Β)。作為進一步實例，關於,，Α、Β&/ 或C )此辭々曰在涵蓋選擇第一列出之選項（Α)、選擇第二列出之選項（Β)、選擇第三列出之選項（c)、選擇第一列出之選項及第二列出之選項（八及3)、選擇第一列出之選項及選擇第三列出之選項（A及〇、選擇第二列出之選項及選擇第二列出之選項及c)、或選擇所有三個選項、B及 C)。熟悉此項技術與相關技術者易於明白，此可予以延伸以用於列出的許多項目。 125608.doc -19- 200838313 在本文中，"高階語法”意指以階層方式駐存在巨集區塊層上方之位元流中的語法。舉例而言，在本文中，高階扭法可意指（但不限於）在切片標頭層級、補充增強資訊 (Supplemental Enhancement Information ; SEI)層級、圖片參數集（PPS)層級、序列參數集（SPS)層級及網路抽象層 (NAL)單元標頭層級處的語法。另外，應明白，雖然本文中描述之本發明原理之一或多項具體實施例係關於MPEG_4 AVC標準，但是本發明原理非僅限定於此標準或任何標準。因此，關於其他視訊編碼實施方案及系統（包括其他視訊編碼標準、建議及其延伸，包括MPEG-4 AVC標準延伸），可利用本發明原理。清參考圖1，廣泛以參考數字100來標示示範性Mvc編碼器。編碼器100包括一組合器105，組合器1〇5之一輸出以訊號通訊方式連接於一變換器11〇之一輸入。變換器ιι〇之一輸出以訊號通訊方式連接於一量化器115之一輸入。量化器115之-冑出以訊號通訊方式連接於一烟編碼器之

接於一參考圖片儲存區155 -一務1入及一解區塊過濾器15〇 50之一輸出以訊號通訊方式連 (用於視界i)之一輸入。參考圖 125608.doc -20- 200838313 片儲存區155之一輸出以寸％ a 彻出以㈣通訊方式連接於器175之一第一輸入及一運運動估計器丨80之—第一輸入。動估計器180之一輸出以訊連器175之-第二輸入。W式連接於一運動補償參考圖片儲存區⑽（用於其他視界）之—輸出以訊號通訊方式連接於一像差(disparity)估計器17〇之一第一輸入及 Γ T像差補償器165之一第-輸入。像差估計器m之一輸出以訊號通訊方式連接於運動補償器165之—第二輸入。燜編碼器120之一輸出可供用作為編碼器⑽之-輸出。組合器1G5之-非反轉輸人可供用作為編碼器⑽之—輸入，並且係以訊號通訊方式連接於像差估計器170之—第二輸入及運動估計器18G之—第二輸人。—切換器185之一輸出以訊號通訊方式連接於組合器135之—第二非反轉輸並且連接於組合器135之一反轉輸入。切換器185包括：第輸人丨以Λ號通訊方式連接於運動補償器1乃之。。輸出’第—輸人’其以訊號通訊方式連接於像差補償 Γ 5之輸出第二輸入，其以訊號通訊方式連接於内預測器145之一輸出。月多考圖2，廣泛以參考數字2〇〇來標示示範性“γ。解碼 ^月/主w編碼器100與解碼器200可經組態以實行整份本揭π内谷所呈現之各種方法。此外，編碼器⑽可於重新㈣處理程式期間實行各種標記及/或移除功能。舉例而曰，編碼器1〇〇可維護一經解碼圖片緩衝器之一當前狀 125608.doc -21- 200838313 態，以鏡像對映解碼器之預測動作。結果，編碼器1〇〇可實行實質上解碼器200所執行的所有操作。解馬器200包括一熵解碼器2〇5，網解碼器2〇5之一輸出 2訊號通訊方式連接於-反向量化器㈣之—輸入。反向 • 里化器之輸出以訊唬通訊方式連接於一反向變換器215 之一輸入。反向變換器215之一輸出以訊號通訊方式連接 - 於一組合器220之一第一非反轉輸入 '组合器220之一輸出以訊號通訊方式連接於一解區塊過濾器225之一輸入及一内預測器23G之-輸人。解區塊過攄器⑵之-輸出以訊號通訊方式連接於一參考圖片儲存區24〇(用於視界丨）之一輸入。參考圖片儲存區240之一輸出以訊號通訊方式連接於一運動補償器235之一第一輸入。一參考圖片儲存區245 (用於其他視界）之一輸出以訊號通訊方式連接於一像差補償器250之一第一輸入。熵編碼器205之一輸入可供用作為解碼器2〇〇之一輸入， k 以用於接收一殘餘位元流（3^^1^1^81^&111)。另外，一模式模組260之一輸入亦可供用作為解碼器2〇〇之一輸入，以 . 用於接收控制語法，以控制切換器255所選擇的輸入。進 • 一步，運動補償器235之一第二輸入可供用作為解碼器200 之輸入，以用於接收運動向量。再者，像差補償器250 之一第二輸入可供用作為解碼器2〇〇之一輸入，以用於接收像差向量。一切換器255之一輸出以訊號通訊方式連接於組合器 125608.doc •22- 200838313 之一第二非反轉輸入。切換器255之一第一輸入以訊號通 Λ方式連接於像差補償器250之一輸出。切換器255之一第二輸入以訊號通訊方式連接於運動補償器235之一輸出。切換器255之一第二輸入以訊號通訊方式連接於内預測器 23 0之輸出。模式模組260之一輸出以訊號通訊方式連接於切換器255，以控制切換器255所選擇的輸入。解區塊過濾、恭225之一輸出可供用作為解碼器之一輸出。一或多項具體實施例提供用MMPEG_4 AVC標準之多視界視訊編碼延伸語法的隱含參考圖片標記處理程式，以用於有效率管理經解碼參考圖片。經解碼參考圖片之隱含標記係依據可在解碼器侧取得的資訊予以導出，而不需要明確訊號發送標記命令。可藉由高階語法來實現所提議之隱含標記處理程式。亦提供一或多項實施方案，其依據相依性資訊自記憶體移除經解碼圖片，而不需要明確訊號發送此類相依性資訊。此類移除可結合標記或不結合標記予以達成。在基於MPEG-4 AVC標準之多視界視訊編碼的當前實施方案中，引用的軟體藉由用單個編碼器編碼每一視界並且考量交叉視界參考來達成多視界預測。此外，多視界視訊編碼之當前實施方案亦解耦合介於不同視界之間的圖框號碼（frame一num)及圖片順序計數（p〇c)，因此允許具有相同 frame—num與POC的圖片存在於經解碼圖片緩衝器（DpB) 中彼荨圖片係使用其所相關聯的view一id予以鑑別。 125608.doc -23- 200838313 明參考圖3，廣泛以參考數字loo來標示具有8個視界（s〇至S7)並且係基於MPEG_4 AVC標準之視界間暫時預測結構。在圖3中，對於視界81與82，僅需要視界別中的圖片 TO T11，並且在解碼視界與μ之後不需要彼等圖片。但是，在以MPEG-4 AVC標準為基礎之多視界視訊編碼 (MVC)的當前實施方案中，彼等圖片仍然被標記為用於參考，並且因此需要大的經解碼圖片缓衝器。在該視界之下圖片群組（GOP)中的第一圖片中僅可標記彼等圖片（作為非用於參考）。因此，以MPEG-4 AVC標準為基礎iMVC的當前實施方案未有效率管理經解碼圖片緩衝器。為了管理經解碼圖片缓衝器，當前實施方案使用MpEG_4 AVC標準相容MMCO命令。彼等MMC0命令僅處置具有與用於載運彼# MMCO命令之圖片相同的view—id之圖片。在多視界視訊編碼中，有不同編碼視界集合之方式。一種方式稱為時間優先編碼（time-first coding)。此可描述為首先編碼來自在同一時刻取樣之所有視界的所有圖片。請重新參考圖3，此將意味著編碼在τ〇取樣之s〇_S7，其後接著在T8取樣之S0-S7，在T4取樣之S0-S7，以此類推。另種方式稱為視界優先編碼（view-first coding)。此可描述為首先編碼來自在不同時刻取樣之單個視界的一組圖片，其後接著編碼來自另一視界的一組圖片。請再次參考圖3 ’此將意味著編碼視界S0之T0-T8，其後接著視界S2之 Τ0·Τ8，視界S1之T0-T8，以此類推。 125608.doc -24 - 200838313 為了有效率管理經解碼參考圖片，至少一項實施方案提供用不同於當前視界的view 一 id來標記（非像參考圖片一樣而要私圮）經解碼參考圖片，而不需要明確訊號發送標記 π 7。對於一用於交叉視界參考但非用於暫時參考的圖片，解碼器可在解碼引用該圖片作為交叉視界參考的所有圖片之後，將該圖片標記為"非供參考之用，，。應月白’已知本文提供之本發明原理之講授的情況下，无、怂此項技術者易於將所提議之隱含經解碼參考標記構想延伸至其他標記命令，諸如，，標記為長期參考圖片，，，同時維持本發明原理之精神。序列參數集（SPS)定義描述介於不同視界之相依性結構的語法。此呈現在表袼4中。利用表格4，隱含標記處理程式可導出相依性映射/圖表，相依性映射/圖表可指示出視界的完整相依性。因此，在任何既定時間，可查閱此導出之映射/圖表，以判定來自一視界的哪些圖片可被標記為，, 非供參考之用’’。作為簡單實例，可從表格4中之資訊來產生圖3之視界間相依性資訊。對於圖3中採用的實施方案，視界數目將為已知。此外，對於一既定視界（view—id[i]) : (1)對於每一錨點時間，所有視界間參考皆相同；及（2)對於每一非錨點時間，所有視界間參考皆相同。於此，對於一既定視界，藉由mim—anchor一refSJ0[i](例如，具有值jl}加上 num—anchor—refs一Il[i](例如，具有值j2)之總和來指示出 125608.doc -25- 200838313 視界間描點參考數目。在依anch〇r_ref_i〇[i][j](例如，j = 1 至jl)及anchor—ref_Il[i][j](例如’〗=1至]2)編索引的兩個清單中列出對於既定視界"i"的個別描點參考。類似地，對於一既定視界，藉由num—n〇n—anch〇L refs一I0[i](例如，具有值加上 num—n〇n_aneh〇r_refs—

Il[i][i](例如，具有值j2)之總和來指示出視界間非描點參考數目。在依n〇n_anCh〇r—reU〇[i][j](例如，j = 1 至“）及 non—anchorjefjUinj](例如’ j = 1至j2)編索引的兩個清單中列出對於既定視界"i"的個別非描點參考。可用多種方式來用訊號發送—圖片是否需要暫時參考的狀態。舉例而言，在nal單元標頭中的nal—ref—丨仳語法中用訊號發送該狀態。另夕卜，可在temp〇ralJevel中指示出該狀態’前提係有此類資訊存在以用於暫時可調適性 (temporal scalability)。在此等情況中，具有最高 temporal—leve丨的圖片非用於暫時參考。進一步，可藉由= 其他高階語法來指示出該狀態’諸如明確表明圖片僅用於暫時參考的語法。下文係-項用於實行隱含經解碼參考標記之具體實施例。如果-圖片非用於暫時參考但是係用於交叉視界參考’則當滿足下列條件時解雜哭腺解馬态將該圖片標記為”非供參考之用’，：使用當前圖片作A7相田在# 乃作為又又視界參考圖片的所有圖片皆予以編碼。藉由實現隱含參考圖片標印Γ女4^ 月铋忑可有效率管理交叉視界參 125608.doc -26 - 200838313 考圖片，而不需要變更現有的標記處理程式，並且不需要變更MPEG-4 AVC標準中的語法。

判定是否按時間優先或視界優先來編碼多視界視訊編碼序列係由編碼器進行選擇。此資訊必須載運至解碼器，使得可導出正確的隱含標記。因此，提議包含一旗標作為一高階語法以用訊號發送編碼方案之類型。此旗標名為 mvc_coding—mode_flag。在一項具體實施例中，在序列參數集（SPS)中用訊號發送此旗標，如表格9所示。表格9呈現序列參數集（SPS)多視界視訊編碼（MVC)延伸語法。此旗標之語意可描述為如下： mvc_coding_mode_flag指示出MVC序列是否使用時間優先編碼方案或視界優先編碼方案。當 mvc_coding_mode_flag等於1時，則按時間優先來編碼 MVC序列。當mvc_coding—mode—flag等於0時，則按視界優先來編碼MVC序列。表格9 seq__parameter_set_mvc_extension( ) { C 描述項 num_views一minus__l ue(v) mvc_coding 一mode一flag u(1) Implicit—marking u(1) for(i = 0; i <= num_views 一minus一 1; i++) vi€W_id[i] ue(v) for(i = 0; i <= num_views_minus_l; i-H-) { num_anchor_refs_10[i] ue(v) for( j - 〇； j < num_anchor_refsJ0[i]; j-H·) anchor_refJ0[i][j] ue(v) num^anchor^refsjlfi] ue(v) for( j = 0; j < num_anchorjrefs一ll[i]; j++ ) anchor_ref.ll[i][j] ue(v) } for(i = 0; i <= mim__views一minus一 1; i*H·) { -27- 125608.doc 200838313

假定編碼多視界視訊編碼序列之方法係間優先。自圖3 可看出，在僅用作為交又視界（亦稱為”視界間”）參考且非用作為暫時參考的偶數視界（so, S2…）中有某些圖片（丁工 T3…）。彼等圖片將具有最高temp〇raUevei。可藉由位元流中的一特殊旗標來識別此等圖片，以指示出此等圖片= 係交叉視界圖Μ。可看出，—旦彼等圖片已用作為交又視界參考’隨即不再需要彼等圖片，並且可被標記為非用於暫時參考或交叉視界參考。舉例而言，—旦⑻，已束考（S0, Τ1)，隨即不需要（s〇, Τ1)。此外，在非用於暫時參考或交又視界參考的奇數視界 (S1，S3 ···)中有圖片（Τ1，Τ3 ·)。此等圖片將亦具有最高 temP〇raLleVel並且可係非參考圖片。使用隱含標記，可將此等圖片標記為非供參考之用（非用於暫時參考或交又視界參考）。在一項具體實施例中，提議引入一旗標作為一高階語法，其可啟用或停用此隱含標記處理程式。此旗標名為。 —icit_贿king。在—項具體實施例中在序列來數集 (SPS)中用訊號發送此旗標，如表格9所示。〃在使用的編碼方件的。舉例而言，案中，implicit—marking旗標亦可係有條當編碼方案係時間優先編碼時，可僅使 125608.doc -28- 200838313 用implicit_marking旗標。此呈現在表格10中。表格10呈現序列參數集（SPS)多視界視訊編碼（MVC)延伸語法。 implicit_marking指示出是否使用隱含標記處理程式來將圖片標記為f’非供參考之用π。當implicit_marking等於1 時，則啟用隱含標記。如果implicit_marking等於0時，則停用隱含標記。 ' 表格10 seq_parameter一set一mvc_extension( ) { C 描述項 num_vicws_minus__l ue(v) mvc_coding一modejlag u(1) if(mvc_coding_mode一flag) implicit_marking u(1) for(i = 0; i <= num一views 一minus一 1; i++) view_id【ij ue(v) for(i = 0; i <= num_views_minus」；i++) { nimi_anchor_refs_10[i] ue(v) for( j = 〇； j < num__anchor_refs_10[i]; j-H-) anchorj*efJ0[i][j] ue(v) num_anchor_refs_.ll [i] ue(v) for( j = 0; j < num一anchor_jefs_ll[i];j++ ) anchor_ref_ll[i][j] ue(v) } for(i = 0; i <- num_views_minus_l; i++) { num_non_anchor_refsJO[i] ue(v) for( j = 0; j < num_non_anchor_refsJO[i]; j++ ) non_anchor_ref_10[i][j] ue(v) mini-non一anchor—refs一 11 [i] ue(v) for( j = 0; j < mim_non_anchorj:efs一ll[i]; j++ ) non_anchor一refill p] [j] ue(v) } } 根據一或多項具體實施例，提議一種隱含地導出關於參考圖片類型的資訊。此做法不需要額外語法，並且使用聯合多視界視訊模型（JMVM)之當前實施方案。聯合多視界視訊模型（JMVM)之當前實施方案在序列參數集（SPS)中包含高階語法，以指示出用於一視界的視界 -29- 125608.doc 200838313 間參考。其藉由個別發送參考視界識別項來進—步區職點圖片與非錯點圖片之間的相依性。此呈現於表格4中，田其包括哪些視界係用作為某一視界之參考的資訊。可使用此貝戒來產生-參考表或其他資料結構，以指示哪些視界係用作為視界間參考及哪些視界未予以使用。另外，對於錯點圖片及非錯點圖片可個別得知此資訊。總之，藉由利用序列參數集(SPS)中的參考視界資訊，τ導出是否需要一圖片以用於視界間預測。在MPEG-4 AVC標準中，可使用存在於網路抽象層單元標頭中的nal_ref一idc’將一圖片識別為一參考圖片。在多視界視訊編碼背景中，僅使用«―來標示圖片是否係用於暫時參考（即用於本身視界的參考）。使用來自聯合多視界視訊模型（JMVM)之當前實施方案的序列參數集之資訊及存在於網路抽象層《元標頭中的 nal—ref—idc (表格7)，有可能區別表格5中所呈現之案例。因此’使用«idc之值連同來自序列參數集之參考視界資訊，可應對表格5之組合。舉例而言’請重新參考圖3’請考慮以下不同案例。假設視界S0具有view_id=0、S1具有――μ=ι及s2具‘ view—id=2 〇對於SO : 之值相對應於so : SPS語法將具有下列值，其中，，i，， num—anchor—refs—I0[i] num—anchor—refs—II [i] 125608.doc -30- 200838313 num—non—anchor*—refs一I0[i]、num一n〇n一anch〇r—refs—n[i]皆等於0。對於SI : 序列參數集語法將具有下列值，其中”i”之值相對應於 S 1，並且 j=0 : num一anchor—refs—I0[i] = l、num—anchor—refs—II [i] = l、 num_non_anchor—refs—I0[i] = 1 、 r' num_non—anchor—refs—11 [i] = 1。 anchor 一 ref_I0[i][j] = 0 、 anchor 一 ref一11 [i] [j]=2 、 non—anchor—ref—I0[i]IJ] = 0、non—anch〇r」ef—lll[i]〇]=2〇對於S2 : 序列參數集語法將具有下列值，其指示出此視界對於錨點圖片使用視界間參考。可將索引設定為”i”，”i”之值相對應於S2，並且j = 0 : num—anchor 一 refs—I0[i] = l、num 一 anchor 一 refs—11 [i] = 0、 num_non—anchor—refs—I0[i] = 0 、 num—non—anchor—refs—II [i] = 0。 * anchor一ref一I0[i][j] = 0。 , 對於S3至S7，以此類推。對於所有視界，在時間T1與T3之圖片將具有nal_ref_idc 等於0。另外，在時間T0/T2/T4之圖片將具有nal_ref_idc不等於0。使用上述資訊，可看出可導出下列如表格11所呈現之資 125608.doc -31 - 200838313 訊。請注意，可上述方法論來分類來自所有視界的所有圖片，但是對於四種類別之每一者提供僅一項實例。表格11

口此，不舄要領外訊號發送以識別需要區別以用於表袼 5中之條件的圖片。一項此導出之資訊的應用係如上文所述之隱含標記處理程式。當然，本發明原理非僅限定於涉及上文所述之隱含標記處理程式的應用，並且熟悉此項技術與相關技術者將

預期到對於本發明原理的此項應用與其他應用，同時維持本發明原理之精神。亦可使用上述方法論來判定何時自記憶體（例如，一經解碼圖片緩衝器）移除一圖片。請注意，不需要（但可）實行標記。作為一項實例，考量圖片S2，T1，其係僅視界間參採用使用時間優先編碼的實施方案，依下列順序來編馬既疋時間的視界（對於此項實施方案，同等於具有相同圖片順序計數）：S0、S2、S1、S4、S3、S6、85與87。項實施方案使用下列演算法來從經解碼圖片緩衝器移除 125608.doc -32 - 200838313 圖片S2，T1 : -在解碼T1中之-圖片（例如，S1，T1)之後，判定是否有來自T1之其他圖片儲存在經解碼圖片緩衝器中。此將顯露出圖片S2,丁1係儲存在經解碼圖片緩衝器中。如果有任何此類其他圖片，則判定彼等圖片是否係僅視界間參考。此將顯露出圖片S2，T1係僅視界間參考圖片。 -對於係僅視界間參考之每一此類圖片，考量在以之剩餘待解碼之所有視界，判定彼等視界之任一者是否參考該經儲存之圖#。舉例而言m何剩餘視界是否參考 S2 〇可對於錨點圖片及非錨點圖片個別實行對考量所有剩餘視界的最後步驟。即，可對於錨點圖片及非錨點圖片評估不同語法。舉例而言，S2，Tl係一非錨點圖片，所以對於所有後續視界”i”潛在地評估下列語法： num—non—anchor—refs—I0[i]、num—n〇n—anch〇r—refs—n[i]、 non—anchor-ref—切⑴⑴與 non—anch〇r—ref—n[i][j]。繼 si (當前經解碼視界）之後的視界係S4、S3、S6、85與87。對於彼等視界的語法將顯露出S3相依於S2。因此，不移除 S2。但是，在解碼S3之後，上述演算法將再次考量所儲存之S2圖片，並且將顯露出無任何剩餘視界（S6、“與s7)東考S2。因此，在解碼S3之後，自經解碼圖片緩衝器移除 S2。這將發生於解碼SO、S2、SI、S4與S3之後。 125608.doc -33- 200838313 請參考圖4，廣泛以參考數字4〇〇來標示用於多視界視訊編碼之編碼參考圖片管理資料之示範性方法。方法400包括一開始方塊4〇2，該方塊將控制傳遞至功能方塊404。 The function block 404讀取一編碼器組態槽， . 並且將控制傳遞至功能方塊406。功能方塊406在序列參數集（SPS)延伸中設定錨點圖片參考與非錨點圖片參考，並且將控制傳遞至功能方塊4〇8。功能方塊408設定 f mvc-coding-mode，以指示出時間優先編碼或視界優先編碼’並且將控制傳遞至決策方塊41〇。決策方塊41〇判定 mvc一coding一mode是否等於1。若是，則將控制傳遞至功能方塊412。否則，將控制傳遞至功能方塊414。功能方塊412設定implicit—marking為1或〇，並且將控制傳遞至功能方塊414。功能方塊414令視界數目等於一變數n，並且將一變數i 及一變數j兩者初始化為0，並且將控制傳遞至決策方塊 ' 4 16。決策方塊416判定變數i是否小於變數n。若是，則將控制傳遞至決策方塊418。否則，將控制傳遞至決策方塊 * 442 〇決策方塊4 1 8判定變數j是否小於視界i中的圖片數目。若是’則將控制傳遞至功能方塊420。否則，將控制傳遞至功能方塊440。可看出，圖4之實施方案係一種視界優先編碼實施方案。圖4可經調適以提供一種實行時間優先編碼的類似處理程式。 125608.doc -34 - 200838313 功能方塊420開始編碼視界i中具有一既定frame—num與 POC之一圖片的一當現巨集區塊，並且將控制傳遞至功能方塊422。功能方塊422選定一巨集區塊模式，並且將控制傳遞至功能方塊424。功能方塊424編碼該巨集區塊，並且將控制傳遞至決策方塊426。決策方塊426判定是否已編碼所有巨集區塊。若是，則將控制傳遞至功能方塊428。否則’控制返回至功能方塊420。 f、功能方塊428累加變數j，並且將控制傳遞至功能方塊 430。功能方塊430累加frame—num及圖片順序計數（p〇c)，並且將控制傳遞至決策方塊432。決策方塊432判定 implicit-marking是否等於！。若是，則將控制傳遞至功能方塊434。否則，控制返回至決策方塊418。功能方塊434依據在（在此實施方案中）一高層級處指示之相依性資訊，判定是否需要一（當前評估）參考視界以作為用於未來視界的一參考。若是，則控制返回至決策方塊 I， 418。否則，將控制傳遞至功能方塊436。功能方塊440累加變數i，重設frame—num、p〇c及變數 • j ’並且控制返回至決策方塊416。，功能方塊436將該參考視界圖片標記為”非供參考之用”，並且控制返回至決策方塊41 8。決策方塊442判定是否在頻帶内（in-band)用訊號發送序列參數集（sps)、圖片參數集（PPS)及視界參數集（VPS)。若疋’則將控制傳遞至功能方塊444。若否，則將控制傳遞 125608.doc -35- 200838313 至功能方塊446。功能方塊444在頻帶内發送sps、pps&vps，並且將控制傳遞至功能方塊448。功能方塊446在頻帶外（out-ofband)發送SPS、PPS及 VPS ’並且將控制傳遞至功能方塊448。功能方塊448將位元流寫入至一檔案，或透過網路串流傳輸位元流’並且將控制傳遞至結束方塊499。應明白， ( 如果在頻帶内用訊號發送SPS、PPS及VPS，則應連同視訊資料位元流發送此類訊號發送。請參考圖5，廣泛以參考數字5〇〇來標示用於多視界視訊編碼之解碼參考圖片管理資料之示範性方法。方法500包括一開始方塊5〇2，該方塊將控制傳遞至功能方塊504。功能方塊504自序列參數集（SPS)、圖片參數集 (pps)、視界參數集（νρ§)、切片標頭或網路抽象層（NAL) 單元標頭來剖析view—id，並且將控制傳遞至功能方塊 " 506。功能方塊506自SPS、PPS、VPS、NAL單元標頭、切片標頭或補充增強資訊（SEI)訊息來剖析 • mvc-codinS-，以指示時間優先編碼或視界優先編 ' 碼，並且將控制傳遞至功能方塊508。功能方塊508剖析其他sps參數，並且將控制傳遞至決策方塊51〇。決策方塊 510判定mvc一coding一m〇de是否等於1。若是，則將控制傳遞至功能方塊512。若否，則將控制傳遞至決策方塊514。功能方塊512剖析implicit—marking，並且將控制傳遞至 125608.doc -36- 200838313 決策方塊514判定當前圖片是否需要解碼。決策方塊514 若是，則將控制傳遞至功能至功能方塊546。方塊528。否則，將控制傳遞功能方塊528剖析切片標頭，並且將控制傳遞至功能方塊530。功能方塊530剖析巨集區塊模式、運動向量及 ref」dX，並且將控制傳遞至功能方塊532。功能方塊如解碼當前巨集區塊（MB)，並且將控制傳遞至決策方塊別。決策方塊534判定若是，則將是否所有巨集區塊皆完成則控制返回至功能方塊控制傳遞至功能方塊536。若否 530。功能方塊536在經解碼圖片緩衝器（DpB)中***當前圖片’並且將控制傳遞至決策方塊538。決策方塊别判定 imPncit_marking是否等於i。若是，則將控制傳遞至決策方塊540。否則，將控制傳遞至決策方塊M4。決策方塊54G依據在—高層級處指示之相依性資訊，判定是否需要當前參考視界以作為用於未來視界的一參考。若是’則將控制傳遞至決策方塊544。否則，將控制傳遞至功能方塊542。決策方塊544判定是否已解碼所有圖片。若是，則將控制傳遞至結束方塊599。否則，控制返回至功能方塊546。工功能方塊546取得下—圖片，並隸制返回至決策方塊 514。圖5提供—種解碼时施方案，其可配合視界優先編碼 125608.doc -37- 200838313 之^及時間優先Μ之㈣-起使用。 :參考圖6，廣泛以參考數字_來標示用於多視界視訊内谷之判定視界間相依性之示範性方法。在-項具體實施藉由、、爲碼器（舉例而言，諸如圖1之編碼器丨〇〇)來實踐方法600。方法600包括一開始方塊6〇2，該方塊將控制傳遞至功能方塊604”力能方塊6〇4讀取一編碼器組態才當，並且將控制傳遞至功能方塊606。功能方塊6〇6在序列參數集（sps)延伸中設定錨點圖片參考與非錨點圖片參考，並且將控制傳遞至功能方塊608。功能方塊6〇8依據該編碼器組態檔來設定其他sps參數，並且將控制傳遞至決策方塊61〇。決策方塊610判定當前（錨點及/或非錨點）圖片是否係一暫時參考。若是，則將控制傳遞至功能方塊612。若否，則將控制傳遞至功能方塊624。功能方塊612設定nal—refjdc等於1，並且將控制傳遞至決策方塊614。決策方塊614依據sps語法，判定當前視界疋否係作為任何其他視界的一參考。若是，則將控制傳遞至功能方塊616。若否，則將控制傳遞至功能方塊626。功能方塊616將當前圖片標記為視界間參考圖片，並且將控制傳遞至決策方塊61 8。決策方塊618判定nal_ref idc 是否等於0。若是，則將控制傳遞至決策方塊62〇。否則，將控制傳遞至決策方塊630。決朿方塊6 2 0判定當鈾圖片是否係一視界間參考圖片。 125608.doc -38- 200838313

若是’則將控制傳遞至功能方塊622。否貝4，將控制傳遞至功能方塊628。 U

功能方塊622將當前圖片設定為僅視界間參考圖片，並且將控制傳遞至結束方塊6 9 9。 W 並且將控制傳遞至功能方塊624設定nai—ref—idc等於〇，決策方塊614。

功能方塊626將當前圖片標記為非用於任何視界間參考圖片，並且將控制傳遞至決策方塊618。功能方塊628將當前圖片設定為非用於參考，並且將控制傳遞至結束方塊699。決策方塊630判定當前圖片是否係一視界間參考圖片。若是’則將控制傳遞至功能方塊632。否則，將控制傳遞至功能方塊634。功能方塊632將當前圖片設定為—暫時及視界間參考圖片’並且將控制傳遞至結束方塊699。功能方塊634將當前圖片設定為僅暫時參考，並且將控制傳遞至結束方塊699。，參考圖7 ’廣泛以參考數字7⑻來標示用於多視界視訊内容之料視界間相依性之示範性方法。在__項具體實施例中，藉由一解碼器（舉例而言，諸如圖2之解碼器來實踐方法700。方去700包括一開始方塊7〇2，該方塊將控制傳遞至功能方鬼704。功能方塊7〇4讀取序列參數集（sps)(讀取視界相 125608.doc -39- 200838313 依性結構）、圖片#數集（PPS)、、網路抽象層（nal)標頭及切片標頭，並且將控制傳遞至決策方塊鳩。決策方塊7〇6 依據SPS語法，判定當前視界是㈣作為任何其他視界的一參考。若是，則將控制傳遞至功能方塊708。否則，將控制傳遞至功能方塊716。功能方塊708將該當前圖片標記為視界間參考圖片，並且將控制傳遞至決策方塊710。決策方塊71〇判定 «idc是$等於0。若是’則將控制傳遞至決策方塊 712。否則，將控制傳遞至決策方塊72〇。決策方塊712判定當前圖片是否係一視界間參考圖片。若是’則將控制傳遞至功能方塊714。否則，將控制傳遞至功能方塊71 8。功能方塊714將當前圖片設定為僅視界間參考圖片，並且將控制傳遞至結束方塊799。功能方塊718將當前圖片設定為非用於參考，並且將控制傳遞至結束方塊799。功能方塊716將當前圖片標記為非用於視界間參考圖片，並且將控制傳遞至決策方塊71〇。視界間參考圖片。否則，將控制傳遞決策方塊720判定當前圖片是否係一若是，則將控制傳遞至功能方塊722。至功能方塊724。片功能方塊722將當前圖片設定為一暫時及視界間參考 ’並且將控制傳遞至結束方塊799。圖 125608.doc -40- 200838313 並且將控功旎方塊724將當前圖片設定為僅暫時參考制傳遞至結束方塊799。請參考圖8，廣泛以參考數字8〇〇爽俨一 ^ 1默于术铩不可應用本發明原理之示範性編碼器的高階圖。編碼器_包括一高階語法產生器81〇，高階語法產生写㈣之-輸出以訊號通訊方式連接於一視訊資料編之輸入。視訊貧料編碼器82〇之一輸出可供用作為編碼器_之一輸出，用於輪出一位元流，並且選擇性地，在頻帶内連同該位元流輸出_或多個高階語法元素。高階語法產生器810之一輸出亦可供用作為編碼器8〇〇之一輸出，用於在頻帶外輸出關於該位元流的-或多個高階語法元素。視訊資料編碼器之一輸入及高階語法產生器810之一輸入可供用作為編碼器_之輸人，用於接收輸人之視訊資料鬲^ 法產生器81 〇係用於產生一或多個高階語法疋素。如上文所述，在本文中，”高階語S，，意指以階層方式駐存在巨集區塊層上方之位元流中的語法。舉例而言，在本文中，高階語法可意指（但不限於）在切片標頭層級、補充 i日強資 (Supplemental Enhancement Information ; SEI)層級、圖片參數集（pps)層級、序列參數集（奶）層級及、，、罔路抽象層（NAL)單元標頭層、级處的語法。視訊資料編碼器820係用於編碼視訊資料。叫參考圖9 ’廣泛以參考數字9〇〇來標示可應用本發明原理之示範性解碼器的高階圖。 125608.doc -41- 200838313 解碼器900包括一古邮吃a > 910一山項取器910’高階語法讀取器一丨“Λ號通訊方式連接於_視訊資料解碼器㈣ Γ輸入。視訊資料解碼器920之-輸出可供用作為解碼斋90〇之輸出’用於輪出圖片。視訊資料解碼器似之一輸入可供用作為解碼器900之一輸入，用於接收一位元流。高階語法絲H㈣之—輸人可供關相碼器之一輸入’用於選擇性地在頻帶外接收關於該位元流的一或多個高階語法元素。視訊資料解碼器92G制於解碼視訊請，包括讀取高鸣匕語法。據此，如果在該位元流中接收到頻帶内語法，則視訊資料解碼器920可完全解碼資料，包括讀取高階語法。如果發送頻帶外高階語法，則可由高階語法讀取器 91 0 (或由視訊資料解碼器92〇直接）接收此類語法。請參考圖10，圖中繪示處理程式1〇〇〇。處理程式1〇〇〇包括存取資料（101〇)及依據所存取之資料來判定相依性 (1020)。在一項特定實施方案中，所存取之資料（1010)包括來自一第一視界之一圖片、來自一第二視界之一圖片及相依性資訊。該相依性資訊描述對於來自該第一視界之該圖片的一或多個視界間相依性關係。舉例而言，該相依性資訊可描述：來自該第一視界之該圖片係一參考圖片以用於來自該第二視界之該圖片。在該特定實施方案中，所判定之相依性（1020)包括：對於來自該第一視界之該圖片是否係一參考圖片以用於來自該第二視界之該圖片的判定。 125608.doc -42- 200838313 請參考圖11，圖中繪示處理程式11〇〇。處理程式11〇〇包括存取資料（1110)、解碼一圖片（112〇)、儲存該經解碼圖片（1130)及移除該儲存之圖片（114〇)。在一項特定實施方案中’所存取之資料（1110)包括來自一第一視界之一圖片及相依性資訊。該相依性資訊描述對於來自該第一視界之該圖片的一或多個視界間相依性關係。舉例而言，該相依性資訊可描述··來自該第一視界之該圖片不是一參考圖片以用於尚未經解碼之具有同時圖片順序計數之任何圖片。在忒特疋實施方案中，來自該第一視界之該圖片係在操作 1120中予以解碼並且係在操作113〇中予以儲存於記憶體在《亥特疋貝施方案中，依據該相依性資訊，自記憶體移㈣儲存之經解碼圖片⑴40)。舉例而言，該相依性資訊可“不·來自該第一視界之該圖片不是一參考圖片以用 ;:未、工解碼之具有同時圖片順序計數之任何圖片。在此

C ^ 不再〶要來自該第一視界之該圖片作為一參考圖片並且可自該記憶體予以移除。亦請注咅，古兑 ^ w在另—只施方案中，操作1110至1130係選用才呆作且不予以白紅 w 。17，一項實施方案係在於實行操作 =。替代做法為，可藉由一裝置來實行操作nl0至 ★主、、立且精由—分開的裝置來實行操作1140。月’主一用詞”編碼器及，，解碼器"意謂著一般姓槿祓非限定於任何特月者叙t構亚且 1J符疋功能或特徵。裹收-栽送經。，一解碼器可接碼位70流之經調變載波，並且解調變該經 125608,doc -43- 200838313 編碼位元流以及解碼該位元流。 &進步’在若干實施方案中已引用使用高階語法以用於、込某貝λ。但疋，應明白，其他實施方案使用較低階語、一或王然實在其他機制（舉例而言，諸如發送資訊作為經編碼資料之部分），以提供相同資訊（或該資訊之變體）。 Γ 若干κ施方案係描述為自記憶體”移除，，圖片。用詞’’移除”涵蓋具有如下崎_々/ _ 政應之任何各種動作：移除、取消刪除、解清單、解參考一圖片，或使該圖片不可用或不可存取。作為實例，可盐 ^ 、错由解除配置相關聯於該圖片的記憶體並且將記憶體交回认、、口作業糸統或將記憶體交回給記憶體集區，來”移除”圖片。各種實施方案描述_圖 μ、 L ^ 片了相依於另一圖片（一參考圖片）。此類相依性可係依擔兴…罔參考圖片，，之若干變體之-者。舉例而a，圖片可被形成為介於考圖片或經解碼參考圖片之間的—進：:，:參參考圖片的哪一變體係、 y '''' m ^ 滋紐、作為用於編碼該既定圖片的美礎，解碼器可使用任何實土碼器可僅能夠存取一不$敕念牛例而吕，解整解碼之參考圖片。用夫去圖片"思欲涵蓋許多存在之可能性。用。，考舉例而言’可用方法或處你太令>★、+、+给 f式、投備或軟體程式爽眚她本文插述之實施方案菔缸式來實中進行論述（舉例而令，# 早一形式實施方案背景冑論述為方法)，但是可用其他形 125608.doc •44- 200838313

式來實施所論述之特徵實施方案（舉例而言，設備或程式)。舉例而言，可用適當之硬體、軟體及執體：實：: 備。舉例而言，可用設備來實施方法，舉例而言，諸如處理器，其-般意指處理裝置’包括(例如)電腦、微處理器、積體電路或可程式化邏輯裝置。處理裝置亦包括通信裝置’舉例而言’諸如電腦、行動電話、攜帶型/個人數位助理（PDA)及促進使用者之間資訊通信之其他裝置。可用各種不同設備或應用來具體化本文描述之各種處理程式與特徵之實施方案，舉例而言’尤其係相關聯於資料編碼與解碼的設備或應用。設備之實例包括視訊編碼器、視訊解碼器、視訊編碼解碼器、視訊轉換器、膝上型電腦、個人電腦、行動電話、PDA或其他通信裝置。應明白，設備可能係行動式並且甚至安裝在汽車中。此外，可藉由處理器所執行的指令來實施方法，並且此等指令可被儲存在處理器可讀取媒體中，舉例而言，諸如積體電路、軟體載體或其他儲存裝置，舉例而言，諸如硬碟、光碟片、隨機存取記憶體（ram)或唯讀記憶體 (ROM)。该等指令可形成有形地體現於處理器可讀取媒體上的應用程式。應明白，處理器可包括具有（例如）用於執仃處理程式之指令的處理器可讀取媒體。此等應用程式可被上載至包含任何適合架構的機器且由該機器予以執行。車乂佳方式為，在具有諸如中央處理單元（cpu)、隨機存取 °己隱體（RAM)及輸入/輸出（I/O)介面等硬體的電腦平臺上 125608.doc •45- 200838313 實施該機器。電腦平臺亦可包括作業系統及微指令碼。本文描述之各種處理程式與功能可係可由cpu執行的微指令碼之部分或應用程式之部分或其任何組合。此外，各種其他周邊裝置可連接至電腦平臺，諸如額外之資料储存單: 及列印單元。熟習此項技術者應明白，實施方案亦可產生 '經袼式化之訊號’以載送可（例如）經儲存或傳輸之資訊。該資訊可包括（例如）用於實行-方法的指令，或由描述之實施方案之一者所產t的資料。& 一訊號可被格式化（例為電磁波（舉例而言，使用頻譜之一射頻部分）或格式化為基頻帶訊號。格式為可包括（例如）編碼一資料流、產生語法、及用該經編碼資料流及該語法來調變一載波。訊號載送之資訊可係（例如）類比或數位資訊。如所已知，可透過各種不同有線鏈路或無線鏈路來傳輸訊號。應進一步明白，因為在附圖中描繪的一些組成之系統組件及方法較佳係用軟體予以實施，所以介於該等系統組件或處理程式功能方塊之間的實際連接可取決於程式化本發明原理之方法而有所不同。已知本文之講授的情況下，熟悉此項技術者將能夠預期到本發明原理之彼等與類似實施方案或組態。已描述本發明的若干實施方案。但是，應明白可進行各種修改。舉例而言，可組合、補充、修改或移除不同實施方案的元件，以產生其他實施方案。此外，熟悉此項技術 125608.doc -46- 200838313 布〜”J用丹他結構及處理程式來替代所福一及處理程式，並且所得實施方案將以不之結構至少實質上㈣方式來實行至少# 不之實施方案至少實質上相同結果。具體而人奐成已餐考附圖爽鳟昍-, 具體實施例，但是應知道，本發明不 °不列曰戚奋a η 又限於运些明確的具體實鈀例，並且熟習相關技的 ^二π a、 j進订各種變更和修改’而不θ脫離本發明原理之精神少研评次靶弩。因此，彼尊爲

其它實施方案皆屬於此申請案之範4内。 m且在下列請求項的【圖式簡單說明】圖1繪示示範性編碼器的方塊圖。圖2繪示示範性解碼器的方塊圖。圖3繪示具有8個視界並且係基於MPEG-4 AVC標準之八範性視界間暫時預測結構之圖式。圖4繪示用於編碼參考圖片管理資料之示範性方法的塊圖。圖5繪示用於解碼參考圖片管理資料之示範性方法的圖式。 Η 、’、曰示用於判定視界間相依性之示範性方法的圖式。圖7繪不另一用於判定視界間相依性之示範性方法的圖式。 * ° 、曰示干乾性編碼器的南階圖。圖9繪示示範性解碼的1¾階圖。 ' 125608.doc -47- 200838313 圖1叫示判定相依性方法之實施方案的 β 圖11矣會不移除經儲存圖片方法之實施方案的流程【主要元件符號說明】 100 MVC編褐器 105 組合器 110 變換器 115 量化器 120 熵編碼器 125 反向量化器 130 反向變換器 135 組合器 145 内預測器 150 解區塊過濾器 155 參考圖片儲存區（用於視界 160 參考圖片儲存區（用於其他視界） 165 像差補償器 170 像差估計器 175 運動補償器 180 運動估計器 185 切換器 200 MVC解碼器 205 熵解碼器 21〇反向量化器 215 反向變換器 125608.doc -48- 200838313 220 225 230 235 240 245 250 255 260 800 810 820 900 910 920 組合器解區塊過濾器内預測器運動補償器參考圖片儲存區（用於視界i) 參考圖片儲存區（用於其他視界）像差補償器切換器模式模組編碼器高階語法產生器視訊資料編碼裔解碼器高階語法讀取器視訊資料解碼器 125608.doc •49·

Claims

200838313 十、申請專利範圍： 1· 一種設備（100、200、800、900)，其經組態用於：存取（1010)來自一第一視界之一圖片、來自一第二視界之一圖片及相依性資訊，該相依性資訊描述對於來自該第一視界之該圖片的一或多個視界間相依性關係；及依據該相依性資訊判定（1 〇20)來自該第一視界之該圖片是否係係一參考圖片以用於來自一第二視界之一圖片。 2·如請求項1之設備，其中該設備包括一編碼器，並且該存取包括編碼來自該第一視界之該圖片與來自該第二視界之該圖片，及格式化該相依性資訊。 3·如請求項1之設備，其中該設備包括一解碼器，並且該存取包括接收來自該第一視界之該圖片、來自該第二視界之該圖片及該相依性資訊。 4. 一種方法（1000)，其包括：存取（1010)來自一第一視界之一圖片、來自一第二視界之一圖片及相依性資訊，該相依性資訊描述對於來自該第一視界之該圖片的一或多個視界間相依性關係；及依據該相依性資訊判定（1020)來自該第一視界之該圖片是否係一參考圖片以用於來自該第二視界之該圖片。 5. 如請求項4之方法，其中該存取包括編碼來自該第一視界之該圖片與來自該第：視界之該圖#，及格式化該相依性資訊。 6. 如#求項4之方法，其中該判定係於由一編碼器所實行 125608.doc 200838313 之一重新建構處理程序期間由該編碼器予以實行。 7 ·如請求項4之方、、木甘山 » '’/、中該存取包括接收來自該第一視界之5亥圖片、爽白 — 〜弟二視界之該圖片及該相依性資訊0 8 · 如清求項4 $古、、i 〇+ , 法，，、中該相依性資訊包括一高階語法元素。 9 ·如凊求項8之方法，其中： $向階語法元素包括序列參數集資钭，並且判定來自該第視界之該圖片是否係一參考圖片包括評估該序列參數集資料。 10·如請求項4之方法，其中用於來自該第一視界之該圖片的該相依性資訊被包括在語法元素中，其指示出：⑴用於來自該第一視界之該圖片的錨點參考數目，⑺用於來自滅第一視界之該圖片的非錨點參考數目，（3)用於來自該第一視界之該圖片的錨點參考之視界號碼，及（4)用於來自該第一視界之該圖片的非錨點參考之視界號碼。 11·如請求項4之方法，進一步包括：判定來自該第一視界之該圖片是否係一參考圖片以用於來自該第一視界之另一圖片。 12.如請求項4之方法，其進一步包括：依據該相依性資訊判定來自該第一視界之該圖片是否係一參考圖片以用於來自在該解碼器處尚未被解碼之另一視界之任何圖片。 13·如請求項12之方法，其中： 125608.doc 200838313 判定來自該第一視界之該圖片不是一夂去门个疋參考圖片以用於來自尚未被解碼之另一視界之任何圖片，及該方法進-步包括：將來自該第一視界之該圖片標記為不需要用作為一視界間參考。 14.如請求項13之方法’進一步包括：依據該標記來移除來自該第一視界之該圖片。如明求項4之方法’進一步包括：依據該相依性資訊來標記來自該第一視界之該圖片。 16.如請求項15之方法，進—步包括：依據該標記來移除來自該第一視界之該圖片。 17·㈣求項4之方法’其中來自該[視界之該圖片係一銷點圖片與一非錨點圖片中之任一者。 18.如請求項8之方法’其中該高階語法元素係在—現有視訊編碼標準或一現有視訊編碼建議之一延伸的一現有高階語法元素。月长項8之方法，其中該高階語法元素係在國際標準化組織/國際電子電機委員會運動圖片專家组·4第1〇部進階視訊編碼標準/國際電信聯盟電信部門H.264建議之一延伸中的—現有高階語法元素。二长項4之方法，其中該相依性資訊係用於判定來自該第一視界之該圖片係一僅視界間參考、一僅暫時參考、用於視界間參考與暫時參考兩者或非用於該視界間參考或該暫時參考。 2 1 ·如清求項4夕古、也 ^ 、<万法，其中該相依性資訊在一序列參數集 125608.doc 200838313 及一 nal—ref—idc語法元素中包括視界間參考指示項，該等視界間參考指示項經組合以判定來自該第一視界之該圖片疋否係一僅視界間參考、一僅暫時參考、用於視界間參考與暫時參考兩者或非用於該視界間參考或該暫時參考。 22. —種設備（1〇〇、200、800、900)，其包括：存取構件，用於來自一第一視界之一圖片、來自一第二視界之一圖片及相依性資訊，該相依性資訊描述對於來自該第一視界之該圖片的一或多個視界間相依性關係；及判定構件，用於依據該相依性資訊判定來自該第一視界之該圖片是否係一參考圖片以用於來自一第二視界之一圖片。 23·如請求項22之設備，進一步包括：儲存構件，用於儲存下列至少一者：來自該第一視界之該圖片、來自該第二視界之該圖片或該高階語法元素。 24· —種包含一處理器可讀取媒體之設備，該處理器可讀取媒體上儲存用於實行至少下列操作之指令：存取（1010)來自一第一視界之一圖片、來自一第二視界之一圖片及相依性資訊，該相依性資訊描述對於來自該第一視界之該圖片的一或多個視界間相依性關係；及依據該相依性資訊判定（1120)來自該第一視界之該圖片是否係一參考圖片以用於來自一第二視界之一圖片。 125608.doc -4-