TW201246936A - Picture indentification for multi-view video coding - Google Patents

Description

201246936 六、發明說明： 【發明所屬之技術領域】 本發明原則上係廣泛關於視訊編碼與解碼。 【先前技術】 視訊解碼器可解碼一圖片，並且儲存該圖片於記憶體中 直到確信不再需要該經解碼圖片。舉例而言，可能需要此 -經解碼圖片，以用於解碼—已依據該經解碼圖片予以編 碼的後續圖片。在各種系統中，圖片被編碼成與前一圖片 (稱為參考圖請差展，並且該經解碼參考圖片被儲存在 該解碼器處，直到使用該參考圖片的所有後續圖片亦已被 解碼。儲存該等參考圖片耗用該解碼器處的有價值之記憶 【發明内容】 根據一項一般態樣，存取來自一第— 乐視界之一圖片及相 依性資訊。該相依性資訊描述對於來自哕 罘一視界之該圖 片的一或多個視界間相依性關係。來 u g孩第一視界的該圖 片被解碼以產生一經解碼圖片。該經 螂碼圖片破儲存在記 憶體中。進一步，依據該相依性資訊， ^ 4 自5己憶體移除該儲 存之經解碼圖片。 根據另-項-般態樣’依據描述對於—經解碼圓片之一 或多個視界間相依性關係的相依性資訊自記«移_圖 片0 附圖及以下說明書中提出一項或— ^ 喝以上貫施方案的细 卽。即使以一特定方式進行描述，但 、 疋應明白，可用各種 160603.doc -4- 201246936 方式來組態或具體化該等實施方案^例而言一 方案可作為一種方法予以實行，或作為-種經組態以實行 -組操作的設備予以體化，或料—難存心實行一 組操作之指令的設料以具體化，或以—訊號予以具體 化。從下文中參考附圖解說的詳細說明及中請專利範圍， 將可明白其他態樣及特徵β 【實施方式】 本文描述之至少 項實施方案提供一種基於相依性資訊 而自記憶體移除-既定經解碼圖片之視訊編碼器及/或視 訊解碼器。該相依性資訊描述該既定經解碼圖片的一或多 個視界間相依性關係。因此’藉由存取描述（例如）相依於 該既定經解碼圖片料-參考圖片的所有後、續圖片的資 訊，一視訊解碼器（例如）將在解碼所有彼等後續圖片之後 接著移除該既定經解碼圖片。進一步實施方案在解碼所有 彼等後續圖片之後標記該既定經解碼圖片，而不需要立即 移除該既定經解碼圖片。可用（例如）以MpEG_4 AVc標準 為基礎之Μ V C的高階語法來編碼該相依性資訊（於下文定 義）。 在以國際標準化組織/國際電子電機委員會（IS〇/IEC)運 動圖片專家組-4 (MPEG-4)第1〇部進階視訊編碼（AVC)標準 /國際電信聯盟電信部門（ITU_T) Η·264建議（下文稱為 MPEG-4 AVC標準）為基礎之多視界視訊編碼（muiti-view video c〇ding ;MVC)之當前實施方案中，引用的軟體藉由 160603.doc 201246936 用皁個編碼器編碼每一視界並且考量交又視界（Cr〇ss-view) 參考來達成多視界預測。此外，基於MPEG-4 AVC標準之 MVC(下文稱為"以MPEG-4 AVC標準為基礎之MVC")之當 前實施方案亦解耦合介於不同視界之間的圖框/圖片號碼 (frame_num)及圖片順序計數（P0C)，因此允許具有相同 frame一num與POC的圖片存在於經解碼圖片緩衝器（dpb) 中彼等圖片係使用其所相關聯的視界識別項（view_id)予 以鑑別》 為了官理該經解碼圖片緩衝器，以Mpeg-4 AVC標準為 基礎之MVC使用MPEG-4 AVC相容之記憶體管理控制操作 (MMCO)命令。彼等MMC〇命令僅處置具有與用於載運彼 等MMCO命令之圖片相同的vjew jd之圖片。 這可能係太大的限制，並且此外可能不具效率，原因在 於不允許MMCO命令用與本身不同的view—id來標記圖片， 所需的經解碼圖片緩衝器大小典型係大。因此，為了允許 較小的經解碼圖片緩衝器大小（因此使用較少的記憶體）， 應用更具效率方式來管理圖片。 根據MPEG-4 AVC標準，一經編碼或解碼且可供參考用 途之圖片被儲存在該經解碼圖片緩衝器中。接著，該圖片 被標記為（a)—短期參考圖片或（b) 一長期參考圖片。在稍 後短期參考圖片可被指派一 LongTermPicNum (並且'，變 更”成長期參考圖片）。在匕標記處理程式係使用MMCO命令 予以完成，如表格1所示。表格1呈現經解碼參考圖片標記 160603.doc 201246936 語法。可使用MMCO命令來達成具效率之經解碼圖片緩衝 器管理。 表格1 decjref_pic一marking(} { C 描述項 if( nal_unit_type = * 5 11 nal—unit_type * =，21) { Γ nal unit type 21 is specified in Annex GV no^output^of^prlorjlcejfflag 2|5 "ϋ(ϊ) longMterm_reference_fIag 2|5 } else { edeptive^ref^ptC-merklng-mode-fleg 2|5 if( adaptive_ref_pic_marklng_modeeflag) — do{ memory-management-control-operation 2|5 ue(v) if( memoryjmanagement.controljoperation = = 1 || memory management control operation - s 3) difference一of』IC-numsjfninus1 2|S ue(v) if(memory_management_control_operation = =2) long_term_plcenum 2|5 ~ue(vf if( memory—management一control—operation = = 3 11 memory management control operation ==6) long_term_frameJdx 2|5 ue^v) if( memory一management—control—operation = » 4) maxJong_term-frameJdx-j>lus1 2|5 ue(v)- } while( memory_management_control一operation t: 0) > } 介於適應性參考圖片管理（adaptive reference picture management)與滑動視窗標記（sliding window marking)之間 的選擇係使用存在於切片標頭（slice header)中的 adaptive_ref_pic_marking_mode_flag予以達成。表格21_現 adaptive_ref_pic_marking_mode_flag之解譯。 表格2 adaptive ref pic marking mod e_flag 指定的參考圖片標記模式 ~~'~— 0 滑動視窗參考圖片標記模式：提供用於短期參 考圖片之先進先出機制之標記模式。 1 適應性參考圖片標記模式：一種提供用以指 I 將參考圖片標記為"非供參考之用"及長期 圖框索引之語法元素的參考圖片標記椟式。 160603.doc 201246936 表格3呈現每一記憶體管理控制操作之解譯。表格3呈現 每一記憶體管理控制操作（memory_management—c〇ntr〇1_ operation)之值 〇 表格3 memory一management_c ontrol_operation 記憶體管理控制操作 ' 0 結束 ^egory—management_control_operati〇n 語法元素 1 將一短期參考圖片標記為"非供參者之用” 2 將一長期參考圖片標記為"非供參考之用” 3 f 了短f爹考圖5標記為"供長期參考之用"並且 才曰派一長期_框余引給該短期參考圖片 4 索引，並且將具有大於該最大 靠袁象輩®霄芦引之所有長期參考圖片標記為" 5 ^所有參考圖片標記為••非供參考之用"並且設定 ^a^LcmgTermFrameldx變數為"無任何長期圖框 索引" 6 謦當前圖片標記為"供長期參考之用·•並且指派一 長期圖框索引給該當前圖片 在一項用於視界視訊編碼的MPEG-4 AVC標準相容解決 方案中，所有視訊序列被交錯成一單個序列。接著，此單 個交錯序列被饋送至一MPEG-4 AVC標準相容編碼器，並 且產生一 MPEG-4 AVC標準相容位元流。 由於這是一項MPEG-4 AVC標準相容實施方案，所以無 任何用於識別任何圖片屬於哪一視界的方式。由於在其未 列入考量情況下指派圖框號碼（frame_num)及圖片順序計 數，所以MPEG-4 AVC標準相容MMC0命令可達成具效率 之經解碼圖片緩衝器大小管理。 160603.doc 201246936 在以MPEG-4 AVC標準為基礎之MVC中，已在序列參數 集（Sequence Parameter Set)中加入額外語法（如表格4所 示），以用訊號發送交叉視界參考。表格4呈現序列參數集 (SPS)多視界視訊編碼延伸語法。此語法係用於以下列方 式指示出待用於錨點圖片與非錨點圖片的交叉視界參考。 表格4 seq_parameter_set_mvc_extension() { C 描述項 num_views_minus__l ue(v) foi(i = 0; i <= num_views_minus_l; i++) view」d【ij ue(v) for(i = 0; i <= num_views__miims_l； i++) { num_ancbor_refsJO[i] ue(v) for( j = 0; j < num_anchor_refs_10[i]; j++) anchor一ref一10[i][j] ue(v) num_anchor一refsJ1 [i] ue(v) for( j - 0; j < num_anchor_refs_ll[i]; j++ ) anchor_ref_ll[i][j] ue(v) } for(i = 0; i <= num_views_minus_l; i++) { num_non_anchor_r€fs_10[i] ue(v) for( j = 0; j < num_non_anchor_refs_10[i]; j++) non_anchor_ref_10[i][j] ue(v) nuin_non_anchor_refs_ll[i] ue(v) for( j = 0; j < num_non一anchor—refsJ φ]; j++) non_anchor_ref_Jl[i][j] ue(v) } } 應實行下列程式，以將來自不同於當前視界之視界的參 考圖片置於參考預測清單中： -如果當前圖片係一錨點圖片或一 V-IDR圖片，則對於自 0至 num_anchor_refs_IX-l 之每一i值，具有等於anchor—ref_IX[i] 之view_id且具有等於1之inter_view_flag且具有相同於當 前圖片之PicOrderCnt()的圖片應被附加至RefPicListX。 -否則（當前圖片非係一錨點圖片或一 V-IDR圖片），則對 -9- 160603.doc 201246936 於自0至num一non—anchor_refs一ΙΧ-l之每一丨值，具有等於 non—anchor—ref_IX[i]之 viewJd且具有 # 於】之以g 且具有相同於當前圖片之Pic〇rderCnt()的圖片應被附加至 RefPicListX。 在此項實施方案中，記憶體管理控制操作命令僅相關聯 於個別視界並且無法標記其他視界中的圖片。作為直接的 結果，交又視界參考圖片可保持在經解碼圖片緩衝器中的 時間長於所需，原因為其所屬視界在位元流中後部的圖片 僅可將一既定交又視界參考圖片標記為"非供參考之用，,。 在以MPEG-4 AVC標準為基礎之Mvc中，未指定如何區 別下列案例（亦如表格5所示）：圖片係僅用於視界間參考； 圖片係僅用於暫時參考；圖片係用於視界間參考與暫時參 考兩者；及圖片非供參考之肖。表袼5呈現對於暫時參考 與視界間參考的參考圖片案例。 表格5 暫時參考 視界間參考 0 0 — 0 1 1 0 1 1 聯合多視界視訊模型（Joint Multi_view Vide〇 M〇del; JMVM)指定對於在-定條件下將存在於非當前視界之視界 中的一圖片標記為”非供參考之用"的條件。彼等條件如 下： 160603.doc •10- 201246936 如果當前圖片係-錨點圖片，則滿足下列條件的所 有參考圖片應被標記為"非供參考之用"： -參考圖片具有相同於當前圖片之pic〇rderCnt()。 _如對於依解碼順序解碼來自如anchor_ref_IX (χ 係〇或1)所指示之不同視界的後續圖片，不需要 參考圖片。 -對於編碼所屬視界中的後續圖片，以要參考圖 片。 如果當前圖片不n點圖片，則滿足下列條件的 所有參考圖片應被標記為"非供參考之用"： "參考圖片具有相同於當前圖片之PicOrderCnt();及 _如對於依解碼順序解碼來自如non_anchor_reUx (X係〇或1)所指示之不同視界的後續圖片，不需 要參考圖片。 _對於編碼所屬視界中的後續圖片，不需要參考圖 片。 滿足上述條件的標記圖片稱為"隱含標記"。更一般而 3，隱含標記意指使用現有語法元素而未使用額外明確訊 號發送（explicit signaling)。為了使用如上文所述之隱含標 記進行有效率經解碼圖片緩衝器管理，區別表格5中所示 之案例為重要事項。以MPEG_4 AVC標準為基礎2Mvc中 未明確指定如何可達成此項區別。 用於如表格4所示之多視界視訊編碼延伸的序列參數集 包括哪些視界係用作為某一視界之參考的資訊。可使用此 160603.doc 201246936 資訊來產生一參考表或其他資料結構，以指示哪些視界係 用作為視界間參考及哪些視界未予以使用。另外，對於錨 點圖片及非錨點圖片可個別得知此資訊。 在另一做法中，一新旗標指示出一圖片係用作為視界間 預測參考。此係在用於可調整式視訊編碼/多視界視訊編 碼延伸之網路抽象層（NAL)單元標頭中予以用訊號發送， 並且語法元素nal_ref_idc僅指示出一圖片是否係用於預測 間（亦稱為"暫時"）參考。在表格6所示之網路抽象層單元語 法表格中用訊號發送nal_ref_idc。 表格6 nal__unit( NumBytesInNALunit) { C 描述項 forblddene2ero_blt All f(1) nal^refjdc All u(2) nal_unit_type All u⑼ NumBytesInRBSP = 0 for( i = 1; i < NumBytesInNALunit; i++ ) { if( i + 2 < NumBytesInNALunit && next_bits( 24 ) = = 0x000003 ) { rbsp_byte[ NumByteslnRBSP++ ] All b(8) rbsp_byte[ NumByteslnRBSP++ ] All b(8) i+=2 emulation_prevention_three_byte Γ equal to 0x03 V Ail f(8) }else rbsp_byte【NumByteslnRBSP++ 】 All b(8) } ) 當前用下列語意來定義nal_ref_idc : nal_ref_idc不等於0指明NAL單元的内容包括一序列參數 集或一圖片參數集，或一參考圖片之一切片或一參考圖片 之一切片資料分割。 對於包括一切片或一切片資料分割之一 NAL單元， nal_ref_idc等於0指示出該切片或切片資料分割係一非參考 160603.doc -12- 201246936 圖片之部分。 序列參數集或序列參數集延伸或圖片參數集NAL單元， nal_ref_idc應不等於0。對於一特定圖片之一切片或切片資 料分割NAL單元，當nal_ref_idc等於0時，對於該圖片之所 切片或切片資料分割NAL單元，nal_ref_idc應等於0。 對於IDR NAL單元（即，具有nal_unit_type等於5之NAL 單元），nal_ref_idc應不等於0。 對於具有仙1_1111丨1;_17卩6等於6、9、10、11或12之所有 NAL單元），nal_ref_idc應等於 0。 下列表格7呈現語法修改。表格7呈現網路抽象層（NAL) 可調整視訊編碼（SVC)多視界視訊編碼延伸語法。 表格7 naljjnit_header_svc一mvc_extension() { C 描述項 svc一mvc—flag All u(1) if (!svc_mvc_flag) { prlorltyjd All u(6) d!$cardable_f1ag All u(1) temporal-level All u(3) dependency Jd All u(3) qualityjevel Alt u(2) layer_base_flag All u(1) useJ>asej3redlctton一flag All U⑴ fragmented—flag All u(1) last_fragment_flag All u(1) fragment一order All u(2) reserved_zero_two_bits All u⑵ } else { inter_viewHreference_flag All u(1) temporaljevel All u⑶ vlewjevel All u(3) anchor_pic一flag All u(1) viewjd All u(10) reserved_20ro_flve_bits AH u(5) > nalUnitHeaderBytes += 3 } • 13- 160603.doc 201246936 如下指明 inter_view_reference_flag之語意： interview—reference_flag等於〇指示出當前圖片係用作 為視界間預測參考。inter_view_reference_flag等於1指示 出當前圖片不是用作為視界間預測參考。 因此，藉由查看nal_ref_idc 與 inter_view_reference_flag 之一組合’可判定一既定參考圖片之類型。表格8呈現關 於參考圖片類型之 nal_ref_idc 與 inter_view_reference— flag。 表格8 nalrefidc Inter_view_reference flag 類型 0 0 非用作為參考 0 1 僅視界間參考 不等於0 0 僅暫時參考 不等於0 1 暫時參考與視界間參考 顯而易見’此方法使用額外語法。 本份說明書闡釋本發明原理。因此，應明白，熟悉此項 技術者能夠策劃各種配置（雖然本文中未明確描述或呈 現）、具體化本發明原理並且包含在本發明精神與範疇 内。 本文列舉的所有實例與條件式語言旨在教學用途，以輔 助讀者瞭解本發明原理與發明人所發表的觀念以增進技 術，並且理解為未限定於此等具體文列舉的實例與條件。 另外，本文十列舉原理、態樣與本發明原理具體實施例 以及其具體實例的所有陳述皆旨在涵蓋本發明結構與功能 同專物。此外，意圖此等同等物包括當前已知的同等物以 I60603.doc •14· 201246936 及未來開發的同等物，即，實行相同功能所開發的任何元 件，而不顧及結構。 因此，舉例而言，熟悉此項技術者應明白，本發明提呈 的方塊圖表示具體化本發明原理之圖解電路的概念圖。同 樣地，應明白，任何流程圖表、流程圖、狀態轉變圖、虛 擬程式碼（pseudocode)及類似物表示各種處理程式，處理 程式可在電腦可讀取媒體中實質表示且由電腦或處理器予 以執行’而無論是否有明確呈現此等電腦或處理器。 可透過使用專用硬體及能夠結合適當軟體來執行軟體的 硬體來提供圖式所示之各種元件的功能。當藉由處理器提 供功能時，可藉由單個專用處理器、藉由單個共用處理器 或藉由複數個個別處理器（一些處理器係可共用）來提供彼 等功能。另外，明確使用的用詞"處理器"或"控制器"不應 理解為排外地指能夠執行軟體的硬體，並且可隱含地包括 (但不限於）數位訊號處理器（Dsp)硬體、用於儲存軟體的唯 讀記憶體（ROM)、隨機存取記憶體（RAM)及非揮發性儲存 亦可包括其他習知及/或自訂硬體 — ，v…》圃甲所 何切換僅係概念。可透過程式邏輯操作、透過專用 輯、透過程式㈣與專用邏輯之互動或甚至手 功能，更具體瞭解内容的實施者可調整等定技術。 在申請項中，表達為用於杳^ 運马用於實仃-指定功能之構件的任 元件旨在《函蓋實行該功台…， ㈣的任 、一 力龅的任何方式，舉例而言，包括 a)貫行該功能之電路元件 匕括 的，、且〇，或b)任何形式之軟體 160603.doc 201246936 因此，包括與用於執行軟體以實行該功能之適當電路誕人 的韌體、微碼或類似物。事實上，如彼等請求項定義之： 發明原理屬於各種聽之構件所提供㈣錢，彼 係以該等請求項所需之方式予以組合在—起m主 意，可提供彼等功能性的任何構件皆厲本文所示之構㈣ 同等物。在此份說明t中引用的本發明原理之”一項 實施例，，（或，，一項實施方”））或"―具體實施例"（或"一實施方 案")表示配合具體實施例說明的特定特徵、結構或特性被 包含於本發明原理之至少一項具體實施例中。因此整份 說明書各處出現的”在一項具體實施例中，，或"—具體實施 例”辭令不一定全部意指同一具體實施例。 應明白，使用用詞，，及/或，，（例如，關於”八及/或B")旨在 涵蓋選擇第一列出之選項㈧、選擇第二列出之選項⑻或 選擇該兩個選項(A及B)。作為進_步實例，關於"A、B及/ 或C")，此辭令旨在涵蓋選擇第一列出之選項⑷、選擇第 二列出之選項(B)、選擇第三列出之選項(c)、選擇第一列 出之選項及第二列出之選項_)、選擇第一列出之選項 及選擇第三列出之選項(八及〇、選擇第二列出之選項及選 擇第三列出之選項(B及〇、或選擇所有三個選項(a、B及 C)。熟悉此項技術與相關技術者易於明白，此可予以延伸 以用於列出的許多項目。 在本文中，”高階語法"意指以階層方式駐存在巨集區塊 層上方之位元流中的語法，例而言，在本文中，高階語 法可意指(但不限於)在切片標頭層級、補充增強資訊 160603.doc -16 - 201246936 (Supplemental Enhancement Information ; SEI)層級、圖 參數集（PPS)層、級、序列參數集（SPS)層級及網路抽象層 (NAL)單元標頭層級處的語法。 另外，應明白，雖然本文中描述之本發明原理之—或多 項具體實施例係關於MPEG_4 AVC標準，但是本發明原理 非僅限定於此標準或任何標準。因此，關於其他視訊編碼 貫施方案及系統（包括其他視訊編碼標準、建議及其延 伸，包括MPEG-4 AVC標準延伸），可利用本發明原理。 請參考圖1，廣泛以參考數字100來標示示範性Mvc編碼 器。編碼器1 00包括一組合器105 ’組合器1 05之一輸出以 訊號通訊方式連接於一變換器丨⑺之一輸入。變換器11〇之 一輸出以訊號通訊方式連接於一量化器115之一輸入。量 化器115之一輸出以訊號通訊方式連接於一熵編碼器12〇之 一輸入及一反向量化器125之一輸入。反向量化器125之一 輸出以訊號通訊方式連接於一反向變換器130之一輸入。 反向變換器130之一輸出以訊號通訊方式連接於一組合器 135之一第一非反轉輸入》組合器135之一輸出以訊號通訊 方式連接於一内預測器145之一輸入及一解區塊過濾器150 之一輸入。解區塊過濾器150之一輸出以訊號通訊方式連 接於一參考圖片儲存區155 (用於視界i)之一輸入。參考圖 片儲存區155之一輸出以訊號通訊方式連接於一運動補償 器175之一第一輸入及一運動估計器180之一第一輸入。運 動估計器180之一輸出以訊號通訊方式連接於一運動補償 器175之一第二輸入。 160603.doc -17- 201246936 參考圖片儲存區160(用於其他視界）之一輸出以訊號通 訊方式連接於一像差（disparity)估計器170之一第一輸入及 一像差補償器165之一第一輸入。像差估計器17〇之一輸出 以訊號通訊方式連接於運動補償器165之一第二輸入。 熵編碼器120之一輸出可供用作為編碼器i〇〇之一輸出。 組合器1 05之一非反轉輸入可供用作為編碼器1 〇〇之一輸 入，並且係以訊號通訊方式連接於像差估計器丨7〇之—第 一輸入及運動估計器18〇之一第二輸入。一切換器185之一 輸出以訊號通訊方式連接於組合器135之一第二非反轉輸 入並且連接於組合器丨35之一反轉輸入。切換器185包括： 一第一輸入，其以訊號通訊方式連接於運動補償器175之 輸出，一第二輸入，其以訊號通訊方式連接於像差補償 器165之一輸出；一第三輸入，其以訊號通訊方式連接於 内預測器145之一輸出。 。明參考圖2，廣泛以參考數字2〇〇來標示示範性mvc解碼 器凊主意編碼器100與解碼器200可經組態以實行整份 本揭不内今所呈現之各種方法。此外，編碼器1 可於重 新建構處理程式期間實行各種標記及，或移除功能。舉例 而言，編碼器100可維護一經解碼圖片緩衝器之一當前狀 ^ =鏡像對映解瑪器之預測動作。結果，編碼器ι〇〇可 實行貫質上解碼器200所執行的所有操作。 解碼器200包括一嫡解瑪器2〇5，摘解碼器2〇5之一輸出 以訊號通訊方式連接於—反向量化器叫之—輸人。反向 量化器之-輸出以訊號通訊方式連接於—反向變換器215 160603.doc 201246936 之一輸入。反向變換器215之一輸出以訊號通訊方式連接 於一組合器220之一第一非反轉輸入。組合器22〇之一輸出 以訊號通訊方式連接於一解區塊過濾器225之一輸入及一 内預測器230之一輸入。解區塊過濾器225之一輸出以訊號 通訊方式連接於一參考圖片儲存區24〇(用於視界丨）之一輸 入。參考圖片儲存區240之一輸出以訊號通訊方式連接於 一運動補償器23 5之一第一輸入。一參考圖片儲存區245 (用於其他視界）之一輸出以訊號通訊方式連接於一像差補 償窃250之一第一輸入。 網編碼器205之一輸入可供用作為解碼器2〇〇之一輸入， 以用於接收一殘餘位元流（residue bitstream)。另外，一模 式模組260之一輸入亦可供用作為解碼器2〇〇之一輸入，以 用於接收控制語法，以控制切換器255所選擇的輸入。進 步，運動補償器235之一第二輸入可供用作為解碼器2〇〇 之一輸入，以用於接收運動向量。再者，像差補償器25〇 之第一輸入可供用作為解碼器2 00之一輸入，以用於接 收像差向量。 一切換器255之一輸出以訊號通訊方式連接於組合器22〇 之一第二非反轉輸入。切換器255之一第一輸入以訊號通 訊方式連接於像差補償器250之一輸出。切換器255之一第 二輸入以訊號通訊方式連接於運動補償器235之一輸出。 換器25 5 t第二輸入以訊號通訊方式連接於内預測器 23〇之一輸出。模式模組260之一輸出以訊號通訊方式連接 於切換器255，以控制切換器255所選擇的輸入。解區塊過 160603.doc •19· 201246936 濾器225之一輸出可供用作為解碼器之一輸出。 或夕項具體實施例提供用於MPEG_4 AVC標準之多視 界視訊編碼延伸語法的隱含參考圖片標記處理程式，以用 於有效率g理經解碼參考圖片。經解碼參考圖片之隱含標 »己係依據可在解碼器側取得的資訊予以導出而不需要明 確訊號發送標記命令。可藉由高階語法來實現所提議之隱 含標記處理程式。 亦提供一或多項實施方案，其依據相依性資訊自記憶體 移除經解碼圖片’而不需要明相號發送此類相依性資 訊。此類移除可結合標記或不結合標記予以達成。 在基於MPEG-4 AVC標準之多視界視訊編碼的當前實施 方案中，引用的軟體藉由用單個編碼器編碼每一視界並且 考量交又視界參考來達成多視界預測。此外，多視界視訊 編碼之當則實施方案亦解耦合介於不同視界之間的圖框號 碼（frame_num)及圖片順序計數（p〇c)，因此允許具有相同 frame一num與POC的圖片存在於經解碼圖片緩衝器（DpB) 中。彼等圖片係使用其所相關聯的view_id予以鑑別。 請參考圖3，廣泛以參考數字1〇〇來標示具有8個視界（s〇 至S7)並且係基於MPEG-4 AVC標準之視界間暫時預測結 構。在圖3中，對於視界S1與S2，僅需要視界s〇中的圖片 το-τιι，並且在解碼視界81與S2之後不需要彼等圖片。但 是，在以MPEG-4 AVC標準為基礎之多視界視訊編碼 (MVC)的當前實施方案中，彼等圖片仍然被標記為用於參 考，並且因此需要大的經解碼圖片緩衝器。在該視界之下 160603.doc -20· 201246936 一圖片群組（GOP)中的第一圖片中僅可標記彼等圖片（作為 非用於參考）。因此，以MPEG_4 Avc標準為基礎之Mvc的 黾刖實施方案未有效率管理經解碼圖片緩衝器。為了管理 經解碼圖片緩衝器，當前實施方案使用MPEG-4 AVC標準 相谷MMCO命令。彼等MMC0命令僅處置具有與用於載運 彼等MMC0命令之圖片相同的view_id之圖片。 在多視界視訊編碼中’有不同編碼視界集合之方式。一 種方式稱為時間優先編碼（time_first c〇ding)。此可描述為 首先編碼來自在同一時刻取樣之所有視界的所有圖片。請 重新參考圖3，此將意味著編碼在T0取樣之S0-S7，其後接 著在T8取樣之S0-S7，在T4取樣之S0-S7，以此類推。 另種方式稱為視界優先編碼（view-first coding)。此可 描述為首先編碼來自在不同時刻取樣之單個視界的一組圖 片，其後接著編碼來自另一視界的一組圖片。請再次參考 圖3此將意味者編碼視界S0之T0-T8，其後接著視界S2之 T0-T8 ’視界S1之T0-T8，以此類推。 為了有效率管理經解碼參考圖片，至少一項實施方案提 供用不同於當前視界的view_id來標記（非像參考圖片—樣 需要標s己）經解碼參考圖片，而不需要明確訊號發送標記 命令。對於一用於交叉視界參考但非用於暫時參考的圖 片，解碼器可在解碼引用該圖片作為交又視界參考的所有 圖片之後’將該圖片標記為"非供參考之用"。 應明白，已知本文提供之本發明原理之講授的情況下， 熟悉此項技術者易於將所提議之隱含經解碼參考標記構邦 160603.doc -21· 201246936 延伸至其他標記命令，諸如"標記為長期參考圖片"，同時 維持本發明原理之精神。 序列參數集（SPS)定義描述介於不同視界之相依性結構 的語法。此呈現在表格4中。利用表格4,隱含標記處理程 式可導出相依性映射/圖表，相依性映射/圖表可指示出視 界的完整相依性。因此，在任何既定時間，可查閱此導出 之映射/圖表，以判定來自一視界的哪些圖片可被標記為" 非供參考之用”。 作為簡單實例，可從表格4中之資訊來產生圖3之視界間 相依性資訊。對於圖3中採用的實施方案，視界數目將為 已知。此外，對於一既定視界（view_id[i]) : (1)對於每一 錯點時間’所有視界間參考皆相同；及⑺對於每—非銘點 時間，所有視界間參考皆相同。於此，對於一既定視界， 藉由nUm_anch〇r_refs一i〇[i](例如，具有值川加上 mim一anchorjefsjlfi](例如，具有值口）之總和來指示出 視界間描點參考數目。在依anch〇r一ref—I〇[i][j](例如，卜丄 至ji)及anch〇r_ref—ιι[ηϋ](例如，]=1至』2)編索引的兩個清 單中列出對於既定視界"i”的個別描點參考。 藉由 num non anchor num_non一anchor refs 類似地’對於一既定視界， refs_I〇[i](例如，具有值j”加上

Il[i][i](例如，具有值j2)之總和來指示出視界間非描點參 考數目。在依n〇n_anch〇r_ref_I0[i][j](例如，j = 1 至 口）及 non一anch〇r_ref_Il[i][j](例如’ j = 1至j2)編索引的兩個清單 中列出對於既定視界”1”的個別非描點參考。 160603.doc •22- 201246936 可用多種方式來用訊號發送一圖片是否需要暫時參考的 狀態。舉例而言，在nal單元標頭中的nal_ref_ide語法中 用Λ號發送該狀態。另外，可在temp〇rai_ievei中指示出該 狀態，前提係有此類資訊存在以用於暫時可調適性 (temporal scalability)。在此等情況中，具有最高 temporaljevel的圖片非用於暫時參考。進一步，可藉由某 其他南階語法來指示出該狀態’諸如明確表明圖片僅用於 暫時參考的語法。 下文係一項用於實行隱含經解碼參考標記之具體實施 例。如果一圖片非用於暫時參考但是係用於交又視界參 考，則當滿足下列條件時解碼器將該圖片標記為"非供參 考之用"：使用當前圖片作為交又視界參考圖片的所有圖 片皆予以編碼。 藉由貫現隱含參考圖片標記，可有效率管理交又視界參 考圖片，而不需要變更現有的標記處理程式，並且不需要 變更MPEG-4 AVC標準中的語法。 判定疋否按時間優先或視界優先來編碼多視界視訊編碼 序列係由編碼器進行選擇。此資訊必須載運至解碼器，使 得可導出正確的隱含標t己。㈣，㈣包含—旗標作為— 高階語法以用訊號發送編碼方案之類型。此旗標名為 mvc—C〇ding_m〇de—flag。在一項具體實施例中，在序列參 數集（sps)中用訊號發送此旗標，如表格9所示。表格 現序列參數集（sps)多視界視訊編碼（MVC)延伸語法。此 標之語意可描述為如下： 160603.doc •23· 201246936 mvc_coding_mode_flag指示出MVC序列是否使用時間優 先編碼方案或視界優先編碼方案。當mvc_coding_mode_flag 等於1時，則按時間優先來編碼MVC序列。當 mvc_coding_mode_flag等於0時，則按視界優先來編碼 MVC序列。 表格9 seq_parameter_set_mvc_extension() { C 描述項 num_views_minus_l ue(v) mvc_codlng_mode_nag u⑴ lmplicit_marklng u⑴ for(i = 0; i <= num_views_minus_l; i++) vi€w_idli] ue(v) for(i = 0; i <= numeviews_rainu8_l; i-H-) { num_anchor_refs_10[i] ue(v) for( j = 0； j < num_anchor_refsJO[i]; j++ ) anchor_refJO[i][j] ue(v) num_aDChor_refsJl[i] ue(v) f〇K j - 0； j < num_anchor_refs_l 1 [i]; j-H-) anchor_ref_ll[i][j] ue(v) } for(i = 0; i <- num_vicws_minus_l; i*H-) { num__non_anchor_refs_10[i] ue(v) for( j *= 0; j < num_non_anchor_refs__10[i]; j-H·) non_anchor_reMO[i][j] ue(v) num_non_anchor_refs_ll [i] ue(v) for( j = 0; j < num_non__anchor_refsJl[i]; j-H-) non 一anchor_ref_ll [i][j] ue(v) } } 假定編碼多視界視訊編碼序列之方法係間優先。自圖3 可看出，在僅用作為交叉視界（亦稱為"視界間"）參考且非 用作為暫時參考的偶數視界（SO, S2…）中有某些圖片（T1， T3 ...)。彼等圖片將具有最高temporal_level。可藉由位元 流中的一特殊旗標來識別此等圖片，以指示出此等圖片僅 係交叉視界圖片。可看出，一旦彼等圖片已用作為交叉視 界參考，隨即不再需要彼等圖片，並且可被標記為非用於 -24- 160603.doc 201246936 暫時參考或父叉視界參考。舉例而言，一旦（Si，τΐ)已參 考（S0，T1)’隨即不需要（S0，T1)。 此外，在非用於暫時參考或交叉視界參考的奇數視界 (S1，S3…）中有圖片（Tl，T3…）。此等圖片將亦具有最高 temporal_level並且可係非參考圖片。使用隱含標記，可將 此4圖片4示§己為非供參考之用（非用於暫時參考或交叉視 界參考）。 在一項具體實施例中，提議引入一旗標作為一高階語 法，其可啟用或停用此隱含標記處理程式。此旗標名為 imPlicit_marking ^在一項具體實施例中，在序列參數集 (SPS)中用訊號發送此旗標，如表格9所示。 在使用的編碼方案中’ implicit—marking旗標亦可係有條 件的。舉例而言，當編碼方案係時間優先編碼時，可僅使 用implicit—marking旗標。此呈現在表格1〇中。表格1〇呈現 序列參數集（SPS)多視界視訊編碼（MVC)延伸語法。 implicit—marking指示出是否使用隱含標記處理程式來將 圖片標記為"非供參考之用"》當marking等於1 時’則啟用隱含標記。如果implicit_marking等於〇時，則 停用隱含標記。 160603.doc •25· 201246936 表格ίο seq_parametereset_mvc_extension() { C 描述項 num_vlews_ininu8_l ue(v) mvc_coding_mode_flag u⑴ if(mvc_coding_mode—flag) impllclt—marking u⑴ for(i = 0; i <== num_views_minus_l; i++) view_id[ij ue(v) for(i = 0; i <= mun_views_minus一 1; i++) { num—anchor_refsJ0[i] ue(v) for( j = 0； j < nura_anchor-refs_10[i]; j++ ) anchor_refJ0[i][j] ue(v) num_anchor_refs_ll[i] ue(v) for( j = 0； j < num_anchor_refs_l 1 [i]; j-H·) anchor_ref_il[i][j] ue(v) > for(i = 0; i <= num_views_minus_l; i++) { num_non_anchor_refsJO[i] ue(v) for( j *= 0; j < num_non_anchor_refs_10[i]; j++ ) non_anchor_reMO[i]〇] ue(v) num_non_anchor_refs_ll[i] ue(v) for( j = 0; j < num_non_anchor_refs_ll [i]; j++) non_anchor_ref—丨 1 [i]lj] ue(v) } } 根據一或多項具體實施例，提議一種隱含地導出關於參 考圖片類型的資訊。此做法不需要額外語法，並且使用聯 合多視界視訊模型（JMVM)之當前實施方案。 聯合多視界視訊模型（JMVM)之當前實施方案在序列參 數集（SPS)中包含高階語法，以指示出用於一視界的視界 間參考。其藉由個別發送參考視界識別項來進一步區別錨 點圖片與非錨點圖片之間的相依性。此呈現於表格4中， 其包括哪些視界係用作為某一視界之參考的資訊。可使用 此資訊來產生一參考表或其他資料結構，以指示哪些視界 係用作為視界間參考及哪些視界未予以使用。另外，對於 錨點圖片及非錨點圖片可個別得知此資訊。總之，藉由利 -26- 160603.doc 201246936 用序列參數集（SPS)中的參考視界資訊，可導出是否需要 一圖片以用於視界間預測。 在MPEG-4 AVC標準中’可使用存在於網路抽象層單元 標頭中的nal一ref_idc，將一圖片識別為一參考圖片。 在多視界視訊編碼背景中，僅使用nal—ref—idc來標示圖 片是否係用於暫時參考（即，一用於本身視界的參考 使用來自聯合多視界視訊模型（JMVM)之當前實施方案 的序列參數集之資訊及存在於網路抽象層單元標頭中的 nal_ref一idc (表格7) ’有可能區別表格5中所呈現之案例。 因此，使用nal_ref一idc之值連同來自序列參數集之參考視 界資訊，可應對表格5之組合。 舉例而言’請重新參考圖3，請考慮以下不同案例。假 s史視界S0具有view_id=0、S1具有view id= 1及！S2具有 view_id=2。 對於S0 : SPS語法將具有下列值，其中”i”之值相對應於S0 : num_anchor_refs_10[i] 、 num_anchor_refs_Il [i] 、 num_non一anchor_refs一I0[i]、num_non_anchor_refs一Il[i]皆 等於0。 對於S1 : 序列參數集語法將具有下列值，其中"i”之值相對應於 S1，並且 j=0 : numanchor一refs_I0[i] = l 、num_anchor 一 refs_Il[i] = l 、 num_non_anchor_refs_10[i] = l 、 160603.doc ·27· 201246936 num_non_anchor_refs_Il[i] = l。 anchor_ref_10[i][j]=0 、 anchor_ref_11 [i][j]=2 、 non_anchor_ref_I0[i]IJ] = 0、non_anchor_ref_Ill[i]o]=2。 對於S2 : 序列參數集語法將具有下列值，其指示出此視界對於錨 點圖片使用視界間參考。可將索引設定為”i"，”i"之值相 對應於S2，並且j = 0 : num_anchor_refs_IO[i] = l 、 num_anchor_refs_11 [i]=0 、 num_non_anchor_refs_10[i] = 0 、 num_non_anchor_refs_ll[i] = 0。 anchor_ref_10[i][j] = 0。 對於S3至S7，以此類推。 對於所有視界，在時間T1與T3之圖片將具有nal_ref_idc 等於0。另外，在時間T0/T2/T4之圖片將具有nal_ref_idc不 等於0。 使用上述資訊，可看出可導出下列如表格11所呈現之資 訊。請注意，可上述方法論來分類來自所有視界的所有圖 片，但是對於四種類別之每一者提供僅一項實例。 表格11 暫時參考 (nal_ref_idc) 視界間參考 (來自SPS) 圖片類型 圖片 0 0 非用作為參考 S1，T1 0 1 僅視界間參考 S2,T1 不等於0 0 僅暫時參考 S1,T2 不等於0 1 暫時參考與視 界間參考 S2,T4 160603.doc -28- 201246936 因此’不需要額外訊號發送以識別需要區別以用於表格 5中之條件的圖片。 項此導出之資訊的應用係如上文所述之隱含標記處理 程式°當然，本發明原理非僅限定於涉及上文所述之隱含 標記處理程式的應用，並且熟悉此項技術與相關技術者將 預期到對於本發明原理的此項應用與其他應用，同時維持 本發明原理之精神。 亦可使用上述方法論來判定何時自記憶體（例如，一經 解碼圖片緩衝器）移除一圖片。請注意，不需要（但可）實行 標記。作為一項實例，考量圖片S2，T1，其係僅視界間參 考。採用使用時間優先編碼的實施方案，依下列順序來編 碼一既定時間的視界（對於此項實施方案，同等於具有相 同圖片順序計數）：S〇、S2、S1、S4、S3、％、s#s7。 項實施方案使用下列演算法來從經解碼圖片緩衝器移除 圖片S2,T1 : •在解碼T1中之—圖片（例如，Si，T1)之後，射是否有 來自T1之其他圖片儲存在纟1解碼圖片緩衝器中。此將顯露 出圖片S2，T1係儲存在經解碼圖片緩衝器中。 -如果有任何此類其他圖片，則衫彼等圖片是否係僅 視界間參考。此將顯露出WS2，n係僅視界間參考圖 片0 -對於係僅視界間參考之I , 可您母—此類圖片，考量在T1之剩 餘待解碼之所有視界，判定牯 彼4視界之任一者是否參考該 經儲存之圖片。舉例而古，士丨—， ° 判疋任何剩餘視界是否參考 160603.doc •29- 201246936 S2 〇 可對於錨點圖片及非錨點圖片個別實行對考量所有剩餘 視界的最後步驟。即，可對於錨點圖片及非錨點圖片評估 不同語法。舉例而言’ S2，T1係一非錨點圖片，所以對於 所有後續視界"i"潛在地評估下列語法： num—non-anch〇r一refs_I0[i]、num—ηοη一anchor一refs—Il[i]、 non_anchor_ref一I〇[i][j]與 non-anch〇r—ref—ii[i][j]。繼 si (當前經解碼視界）之後的視界係S4、S3、S6、S5與S7。對 於彼等視界的語法將顯露出S3相依於S2。因此，不移除 S2。但是，在解碼S3之後，上述演算法將再次考量所儲存 之S2圖片’並且將顯露出無任何剩餘視界（S6、85與S7)參 考S2。因此，在解碼S3之後，自經解碼圖片緩衝器移除 S2。這將發生於解碼s〇、S2、SI、S4與S3之後。 請參考圖4，廣泛以參考數字4〇〇來標示用於多視界視訊 編碼之編碼參考圖片管理資料之示範性方法。 方法400包括一開始方塊402，該方塊將控制傳遞至功能 方塊404。 The function block 404讀取一編碼器組態樓， 並且將控制傳遞至功能方塊406。功能方塊406在序列參數 集（SPS)延伸中設定錨點圖片參考與非錨點圖片參考並 且將控制傳遞至功能方塊408。功能方塊408設定 mvC_C〇ding_m〇de，以指示出時間優先編碼或視界優先編 碼，並且將控制傳遞至決策方塊410。決策方塊41〇判定 mvC_c〇ding_m〇de是否等於1。若是，則將控制傳遞至功能 方塊412。否則’將控制傳遞至功能方塊414。 160603.doc •30· 201246936 功能方塊412設定implicit_marking為1或〇，並且將控制 傳遞至功能方塊414。 功能方塊414令視界數目等於一變數ν，並且將一變數} 及一變數j兩者初始化為0，並且將控制傳遞至決策方塊 416。決策方塊416判定變數i是否小於變數N。若是，則將 控制傳遞至決策方塊41 8。否則’將控制傳遞至決策方塊 442 〇 決策方塊418判定變數j是否小於視界i中的圖片數目。若 疋’則將控制傳遞至功能方塊420。否則，將控制傳遞至 功旎方塊440。可看出，圖4之實施方案係一種視界優先編 碼實施方案。圖4可經調適以提供一種實行時間優先編碼 的類似處理程式。 功能方塊420開始編碼視界i中具有一既定frame_num與 POC之一圖片的一當現巨集區塊，並且將控制傳遞至功能 方塊422 »功能方塊422選定一巨集區塊模式，並且將控制 傳遞至功能方塊424。功能方塊424編碼該巨集區塊，並且 將控制傳遞至決策方塊426。決策方塊426判定是否已編碼 所有巨集區塊。若是，則將控制傳遞至功能方塊428 ^否 則’控制返回至功能方塊420。 功此方塊428累加變數j，並且將控制傳遞至功能方塊 430。功能方塊430累加伢&1116_1111111及圖片順序計數（p〇c)， 並且將控制傳遞至決策方塊432。決策方塊432判定 implicilmarking是否等於i。若是，則將控制傳遞至功能 方塊434 »否則’控制返回至決策方塊418。 160603.doc 31· 201246936 功能方塊434依據在（在此實施方案中）一高層級處指示 之相依性資訊，判定是否需要一（當前評估）參考視界以作 為用於未來視界的一參考。若是，則控制返回至決策方塊 41 8。否則，將控制傳遞至功能方塊436。 功旎方塊440累加變數i，重設frame—num、及變數 j，並且控制返回至決策方塊416。 功能方塊436將該參考視界圖片標記為"非供參考之用"， 並且控制返回至決策方塊418。 決策方塊442判定是否在頻帶内（in_band)用訊號發送序 列參數集（sps)、圖片參數集（PPS)及視界參數集（vps)。若 是’則將控制傳遞至功能方塊444。若否，則將控制傳遞 至功能方塊446。 功能方塊444在頻帶内發送SPS、卩？8及vps，並且將控 制傳遞至功能方塊448。 功能方塊446在頻帶外（out_〇f_band)發送Sps、ppS及 VPS ’並且將控制傳遞至功能方塊448。 功能方塊448將位元流寫入至一檔案，或透過網路串流 傳輸位元流，並且將控制傳遞至結束方塊499。應明白， 如果在頻帶内用訊號發送SPS、pps&vps，則應連同視訊 資料位元流發送此類訊號發送。 請參考圖5，廣泛以參考數字5〇〇來標示用於多視界視訊 編碼之解碼參考圓片管理資料之示範性方法。 方法500包括一開始方塊5〇2，該方塊將控制傳遞至功能 方塊504。功能方塊504自序列參數集（SPS)、圖片參數集 160603.doc •32· 201246936 (PPS)、視界參數集（VPS)、切片標頭或網路抽象層（NAL) 單元標頭來剖析Viewjd，並且將控制傳遞至功能方塊 506。功能方塊506自SPS、PPS、VPS、NAL單元標頭、切 片標頭或補充增強資訊（SEI)訊息來剖析 mvc—c〇ding_m〇de，以指示時間優先編碼或視界優先編 碼，並且將控制傳遞至功能方塊5〇8。功能方塊5〇8剖析其 他SPS參數，並且將控制傳遞至決策方塊51〇。決策方塊 510判定mvc一c〇ding_m〇de是否等於1〇若是，則將控制傳 遞至功能方塊512。若否，則將控制傳遞至決策方塊514。 功能方塊512剖析implicit_marking，並且將控制傳遞至 決策方塊5 14。決策方塊5 14判定當前圖片是否需要解碼。 若是，則將控制傳遞至功能方塊528。否則，將控制傳遞 至功能方塊546。 功能方塊528剖析切片標頭，並且將控制傳遞至功能方 塊530。功能方塊530剖析巨集區塊模式、運動向量及 ref^idx，並且將控制傳遞至功能方塊532 ^功能方塊解 碼备刖巨集區塊（MB) ’並且將控制傳遞至決策方塊534。 決策方塊534判定是否所有巨集區塊皆完成。若是，則將 控制傳遞至功能方塊536。若否，則控制返回至功能方塊 530。 功能方塊536在經解碼圖片緩衝器（DpB)中***當前圖 片，並且將控制傳遞至決策方塊538。決策方塊US判定 imPlicit_marking是否等於i。若是，則將控制傳遞至決策 方塊540。否則，將控制傳遞至決策方塊544。 160603.doc • 33 - 201246936 決策方塊540依據在—高 定是否需要當前參考視界以作;目依性資訊’判 若是’則將控制傳遞至方;未來視界的-參考。 至功能方塊542。 、纟544。否貝，!，將控制傳遞 決策方塊544判定是否已解碼所 制傳遞至結束方塊599 Μ則將控 .否則，控制返回至功能方塊540。 514 4 546取得下，並且控制返回至決策方塊 圖5提供一種解碼器竇 之資料及可配合視界優先編碼 之資科及時間優先編碼之資料―起使用。 -月參考圖6 ’廣泛以參考數字_來標示用於多視界視訊 内容之㈣視界間相依性之示範性方法。在—項具體實施 例中，藉由-編碼器（舉例而言，諸如…之編碼器1〇〇)來 實踐方法600。 方法600包括-開始方塊6〇2，該方塊將控制傳遞至功能 方塊604。功能方塊604讀# —編碼器組態冑，並且將控制 傳遞至功能方塊606。功能方塊6〇6在序列參數集（sps)延 伸中設定錨點圖片參考與非錨點圖片參考，並且將控制傳 遞至功能方塊608。功能方塊6〇8依據該編碼器組態檔來設 定其他sps參數，並且將控制傳遞至決策方塊61〇。決策方 塊610判定當前（錨點及/或非錨點）圖片是否係一暫時參 考。若是’則將控制傳遞至功能方塊612。若否，則將控 制傳遞至功能方塊624。 功能方塊612設定nal一ref_idc等於1，並且將控制傳遞至 160603.doc •34· 201246936 決策方塊614。決策方塊614依據SPS語法，判定當前視界 是否係作為任何其他視界的一參考。若是，則將控制傳遞 至功能方塊61 6。若否，則將控制傳遞至功能方塊626。 功能方塊61 6將當前圖片標記為視界間參考圖片，並且 將控制傳遞至決策方塊618。決策方塊618判定nai_ref_idc 是否等於0。若是，則將控制傳遞至決策方塊62〇。否則， 將控制傳遞至決策方塊630。 決策方塊620判定當前圖片是否係一視界間參考圖片。 若是’則將控制傳遞至功能方塊622。否則，將控制傳遞 至功能方塊628。 功此方塊622將當前圖片設定為僅視界間參考圖片，並 且將控制傳遞至結束方塊6 9 9。 功能方塊624設定nal_ref_idc等於〇，並且將控制傳遞至 決策方塊614。 功能方塊626將當前圖片標記為非用於任何視界間參考 圖片’並且將控制傳遞至決策方塊618。 功能方塊628將當前圖片設定為非用於參考，並且將控 制傳遞至結束方塊699。 決策方塊630判定當前圖片是否係一視界間參考圖片。 若是，則將控制傳遞至功能方塊632。否則，將控制傳遞 至功能方塊634。 功能方塊632將當前圖片設定為一暫時及視界間參考圖 片’並且將控制傳遞至結束方塊699。 功能方塊634將當前圖片設定為僅暫時參考，並且將控 160603.doc •35- 201246936 制傳遞至結束方塊699。 請參考圖7，廣泛以參考數字7〇〇來標示用於多視界視訊 内容之判定視界間相依性之示範性方法。在一項具體實施 例中，藉由一解碼器（舉例而言’諸如圖2之解碼器200)來 實踐方法700。 方法7〇〇包括一開始方塊702，該方塊將控制傳遞至功能 方塊704。功能方塊704讀取序列參數集（sps)(讀取視界相 依性結構）、圖片參數集（PPS)、網路抽象層（nal)標頭及 切片標頭，並且將控制傳遞至決策方塊7〇6<>決策方塊7〇6 依據SPS語法，判定當前視界是否係作為任何其他視界的 參考。右疋，則將控制傳遞至功能方塊7〇8。否則，將 控制傳遞至功能方塊71 6。 功能方塊708將該當前圖片標記為視界間參考圖片，並 且將控制傳遞至決策方塊71〇。決策方塊71〇判定 nal»。是否等於〇。若是，則將控制傳遞至決策方塊 712。否則，將控制傳遞至決策方塊72〇。 決策方塊7丨2判定當前"是㈣—視界間參考圖片。 若是，則將控制傳遞至功能方塊714。否則，將控制傳遞 至功能方塊7 1 8。 功能方塊714將當前圖片設定為僅視界間參考圖片，並 且將控制傳遞至結束方塊799。 功能方塊7⑽當前圖片設定為非用於參考，並且將控 制傳遞至結束方塊799。 功能方塊716將當前圖片標記為非用於視界間參考圖 160603.doc -36 · 201246936 片’並且將控制傳遞至決策方塊71〇。 決策方塊720判定當前圖片是否係一視界間參考圖片。 若是，則將控制傳遞至功能方塊722。否則，將控制傳遞 至功能方塊724。 功能方塊722將當前圖片設定為一暫時及視界間參考圖 片’並且將控制傳遞至結束方塊799。 功能方塊724將當前圖片設定為僅暫時參考，並且將控 制傳遞至結束方塊799。 請參考圖8，廣泛以參考數字8〇〇來標示可應用本發明原 理之示範性編碼器的高階圖。 編碼器800包括一高階語法產生器81〇，高階語法產生器 810之一輸出以訊號通訊方式連接於一視訊資料編碼器 之一輸入。視訊資料編碼器820之一輸出可供用作為編碼 器800之一輸出，用於輸出一位元流，並且選擇性地，在 頻帶内連同該位元流輸出一或多個高階語法元素。高階語 法產生器810之一輸出亦可供用作為編碼器800之一輸出， 用於在頻帶外輸出關於該位元流的一或多個高階語法元 素。視訊資料編碼器之一輸入及高階語法產生器81〇之一 輸入可供用作為編碼器8〇〇之輸入，用於接收輸入之視訊 資料。高階語法產生器81〇係用於產生一或多個高階語法 兀素。如上文所述，在本文中，”高階語法"意指以階層方 式駐存在巨集區塊層上方之位元流中的語法。舉例而言， 在本文中’高階語法可意指（但不限於）在切片標頭層級、 補充增強資訊（Supplemental Enhancement Information ; 160603.doc ·37· 201246936 sm)層級、圖片參數集（PPS)層級、序列參數集（sps)層級 及網路抽象層（NAL)單元標頭層級處的語法。視訊資料編 瑪器8 2 0係用於編碼視訊資料。 請參考圖9,廣泛以參考數字_來標示可應用本發明原 理之示範性解碼器的高階圖。 解碼器900包括一高階語法讀取器91〇，高階語法讀取器 则之一輸出以訊號通訊方式連接於—視訊資料解碼器92〇 之一輸人。視訊資料解碼器92G之—輸出可供用作為解碼 器900之-輸出’用於輸出圖片。視訊資料解碼器则之一 輸入可供用作為解碼器900之一輸入，用於接收一位元 流。高階語法讀取nm之-輸人可供用作為編碼器9〇〇之 一輸入，用於選擇性地在頻帶外接收關於該位元流的一或 多個高階語法元素。 視訊資料解碼器920係用於解碼視訊資料，包括讀取高 階s吾法。據此，如果在該位元流中接收到頻帶内語法則 視訊資料解碼器920可完全解碼資料，包括讀取高階語 法如果發送頻帶外兩階語法，則可由高階語法讀取器 91 〇 (或由視訊資料解碼器920直接）接收此類語法。 請參考圖10 ’圖中繪示處理程式1000。處理程式1〇〇〇包 括存取資料（1010)及依據所存取之資料來判定相依性 (1020)。在一項特定實施方案中，所存取之資料（1〇1〇)包 括來自一第一視界之一圖片、來自一第二視界之一圖片及 相依性資訊。該相依性資訊描述對於來自該第一視界之該 圖片的一或多個視界間相依性關係。舉例而言，該相依性 -3S- 160603.doc 201246936 資訊可描述：來自該第一視界之該圖片係一參考圖片以用 於來自該第二視界之該圖片。在該特定實施方案中所判 定之相依性（1020)包括：對於來自該第一視界之該圖片是 否係一參考圖片以用於來自該第二視界之該圖片的判定。 請參考圖11 ’圖中繪示處理程式1100。處理程式11〇〇包 括存取資料（1110)、解碼一圖片（112〇)、儲存該經解碼圖 片（1130)及移除該儲存之圖片（114〇)。在一項特定實施方 案中’所存取之資料（11 10)包括來自一第一視界之一圖片 及相依性資訊。該相依性資訊描述對於來自該第一視界之 該圖片的一或多個視界間相依性關係。舉例而言，該相依 性資訊可描述：來自該第一視界之該圖片不是一參考圖片 以用於尚未經解碼之具有同時圖片順序計數之任何圖片。 在該特疋實施方案中，來自該第一視界之該圖片係在操作 1120中予以解碼並且係在操作1130中予以儲存於記憶體 中。在該特定實施方案中，依據該相依性資訊，自記憶體 移除所儲存之經解碼圖片（114〇)。舉例而言，該相依性資 。代可指不：來自該第一視界之該圖片不是一參考圖片以用 於尚未經解碼之具有同時圖片順序計數之任何圖片。在此

It况中，不再需要來自該第一視界之該圖片作為一參考 圖片並且可自該記憶體予以移除。 亦π庄意，在另—實施方案中，操作i i丨0至i 130係選用 操作且不予以包括。即，一項實施方案係在於實行操作 11400替代做法為，可藉由一裝置來實行操作1110至 1130，並且藉由一分開的裝置來實行操作114〇。 160603.doc •39· 201246936 凊注意，用詞"編碼器"及"解瑪器"意謂著一般結構並且 ㈣定於任何特定功能或特徵。舉例而言，—解碼器可接 收-載送-經編碼位元流之經調變載波，並且解調變該經 編碼位元流以及解碼該位元流。 ， 進-步’在若干實施方案中已引用使用高階語法以用於 發送某資訊。但是，應明白，其他實施方案使用較低階語 法元’或全然實在其他機制(舉例而言，諸如發送資訊； 為經編碼資料之邮八、、，， 邛刀），以k供相同資訊（或該資訊之變 體）〇 此外’右干實施方案係描述為自記憶體”移除”圖片。用 移除"涵蓋具有如下效應之任何各種動作：移除、取 消、刪除、解清單、解參考-圖I或使該圖片不可用或 不可存取作為實例，可藉由解除配置相關聯於該圖片的 記憶體並且將記憶體交回給作業系統或將記憶體交回給記 憶體集區’來”移除"圖片。 各種實施方案描述一圖片可相依於另一圖片(一參考圖 片）。此類相依性可係依據”參#圖片，，之若干變體之_者。 舉例而言’圖片可被形成為介於該圖片與未經編碼原始參 考圖片或經解碼參考圖片之間的—差異。進—步，無論該 參考圖片的那冑體係用作為用於編碼該既定圖片的基 礎解碼裔可使用任何實際上可用之變體。舉例而言，解 碼器可僅能夠存取一不完整解碼之參考圖片。用詞"參考 圖片"意欲涵蓋許多存在之可能性。 舉例而5 ’可用方法或處理程式、設備或軟體程式來實 160603.doc 201246936 =文㈣之實施方案。即使僅在單—形式實施方案背景 中^論述（舉例而言，僅論述為方法），但是可用其他形 式來實施所論述之特徵實施方案(舉例而言，設備或程 式）。舉例而言，可用摘堂之额牌 軟體及勒體來實施設 備。舉例而吕，可用設備來實施方法，舉例而言，諸如處 理益’其-般意指處理裝置’包括(例如)電腦、微處理 器、積體電路或可程式化邏輯裝置。處理裝置亦包括通戶 裝置，舉例而言’諸如電腦、行動電話、攜帶型/個人數 位助理（PDA)及促進使用者之間資訊通信之其他裝置。可 用各種不同設備或應用來具體化本文描述之各種處理程式 ^特徵之實施方案’舉例而言，尤其係相關聯於資料編碼 〇解碼的設備或應用。設備之實例包括視訊編碼器、視訊 解碼Is、視訊編碼解碼器、視訊轉換器、膝上型電腦、個 人電腦、行動電話、PDA或其他通信裝置。應明白，設備 可能係行動式並且甚至安裝在汽車t。 此外，可藉由處理器所執行的指令來實施方法，並且此 等指令可被儲存在處理器可讀取媒體中，舉例而言，諸如 積體電路、軟體載體或其他儲存裝置，舉例而言，諸如硬 碟光碟片、隨機存取記憶體（RAM)或唯讀記憶體 (M) 亥等私令可形成有形地體現於處理器可讀取媒體 上的應用程式。應明白’處理器可包括具有(例如)用於執 仃處理程式之指令的處理器可讀取媒體。此等應用程式可 包含任何適合架構的機器且由該機器予以執行。 較佳方式為’在具有諸如中央處理單元（CPU)、隨機存取 160603.doc 201246936 記憶體（ram)及輸入/輸出（1/0)介面等硬體的電腦平臺上 實施該機器。電腦平臺亦可包括作業系統及微指令碼。本 文描述之各種處理程式與功能可係可由c p U執行的微指令 碼之部分或應用程式之部分或其任何組合。此外，各種其 他周邊裝置可連接至電腦平臺，諸如額外之資料儲存單元 及列印單元。 熟習此項技術者應明白，實施方案亦可產生一經格式化 之。K號以載送可（例如）經儲存或傳輸之資訊。該資訊可 包括（例如）用於實行一方法的指令，或由描述之實施方案 之一者所產生的資料《此一訊號可被格式化（例如）為電磁 波（舉例而言，使用頻譜之一射頻部分）或格式化為基頻帶 訊號。格式為可包括（例如）編碼一資料流、產生語法、及 用該經編碼資料流及該語法來調變一載波。訊號載送之資 π可係（例如）類比或數位資訊。如所已知可透過各種不 同有線鏈路或無線鏈路來傳輸訊號。 應進一步明白，因為在附圊中描繪的一些組成之系統組 件及方法較佳係用軟體予以實施，所以介於該等系統組件 或處理程式功能方塊之間的實際連接可取決於程式化本發 月原理之方法而有所不同。已知本文之講授的情況下，熟 悉此項技術者將能夠預期到本發明原理之彼等與類似實施 方案或組態。 已私述本發明的若干實施方案。但是，應明白可進行各 種修改。舉例而言，可組合、補充、修改或移除不同實施 方案的7L件，以產生其他實施方案。此外，熟悉此項技術 160603.doc •42- 201246936 者應明白，可用其他結構 芬虎押:^ ^ 匙理程式來替代所揭示之結構 及處理程式，並且所得實摊 案將以與所揭示之實施方案 至^貫質上相同方式來實行至 至少實曾卜少貫質上相同功能，以達成 主^貫質上相同結果。具體而士 呈…心 畀锻而5，已參考附圖來說明示例 具體實施例，但是應知道，本/ JL髀眘谂/, 發月不疋受限於這些明確的 具體實施例，並且孰翌相u 1 故，^ 術者可進行各種變更和修 原理之精神或範疇。因此，彼等及 其匕貫施方案皆屬於此申請 範•内。 …案之預期並且在下列請求項的 【圖式簡單說明】 圖1繪示示範性編碼器的方塊圖。 圖2繪示示範性解碼器的方塊圖。 /增示具有8個視界並且係基於MPEG、桃標準之示 範性視界間暫時預測結構之圖式。 圖情示用於編碼參考圖片管理資料之示範性方 塊圖。 乂 圖7繪示另一用於判定視界間相依性之示範性方法的 式圖5繪示用於解碼參考圖片管理資料之示範性方法的圖 圖晴不用於判定視界間相依性之示範性方法的圖式 xm 圆 式 圖8繪示示範性編碼器的高 的向階圖。 1¾圖。圖9繪·示示範性解碼写

1甘圃。 D 圖10繪不判定相依性方法之實施方㈣流程圖。 160603.doc -43- 201246936 圖11繪示移除經儲存圖片方法之實施方案的流程圖。 【主要元件符號說明】 100 MVC編碼器 105 組合器 110 變換器 115 量化器 120 烟編瑪器 125 反向量化器 130 反向變換器 135 組合器 145 内預測器 150 解區塊過濾器 155 參考圖片儲存區（用於視界i) 160 參考圖片儲存區（用於其他視界） 165 像差補償器 170 像差估計器 175 運動補償器 180 運動估計器 185 切換器 200 MVC解碼器 205 熵解碼器 210 反向量化器 215 反向變換器 220 組合器 160603.doc -44- 201246936 225 解區塊過濾器 230 内預測器 235 運動補償器 240 參考圖片儲存區（用於視界i) 245 參考圖片儲存區（用於其他視界） 250 像差補償器 255 切換器 260 模式模組 800 編碼 810 高階語法產生器 820 視訊資料編碼益 900 解碼器 910 高階語法讀取器 920 視訊資料解碼器 160603.doc -45-

Claims (1)

1. 201246936 七、申請專利範圍： 1 . 一種產品，其包含儲存於+ 上 * 阳廿K具上之指令的_處理器可讀取 媒體’該等4a令用以執行至少以下之步驟. 存取（1010)來自-第-視界之一圖片、來自一第二視 界之-圖片及相依性資訊，該相依性資訊描述對於來自 該第一視界之該圖片的一或多個視界間相依性關係；及 依據該相依性資訊判定（i020)來自該第一視界之該圖 片疋否係係一參考圖片以用於來自該第二視界之該圖 片， 其中該相依性資訊包含視界間參考指示及一語法元 素，以指示一圖片是否係用於暫時參考，以及該視界間 參考指示及該語法元素係用以判定來自該第一視界之該 圖片係僅一視界間參考、一暫時參考、或用於視界間與 暫時參考兩者。 2. 如請求項1之產品’其中指示該圖片是否係用於暫時參 考之該5吾法元素包含一 nal—ref_idc語法元素。 3. —種方法，其包括： 存取步驟’存取來自一第一視界之一圖片及來自一第 二視界之一圖片；及 產生步驟，產生描述對於來自該第一視界之該圖片的 一或多個視界間之相依性關係的相依性資訊， 其中該相依性資訊指示來自該第一視界之該圖片是否 係一參考圖片以用於來自該第二視界之該圖片，及 其中該相依性資訊包含視界間參考指示及一語法元 160603.doc 201246936 素’以指示-圖片是否係用於暫時參者 參考指示及該語法元素係用以判定J該;？該視界間 圖片係僅-視界間參考、^視界之該 暫時參考兩者。 f參考、或用於視界間與 4. 如請求項3之方法，其中該 執行。 、生步驟係藉由一編碼器來 5. 如請求項3之方法，其中： 一^目依性資訊之該等視界間參考指示包含—高階語法 兀素， 該高階語法元素包含序列參數集資料，及 產生該相依性資訊包含產生該序列參數集資料。 6. 如凊求項3之方法，其中來自該第一視界之該圖片的該 相依性資訊係包括於語法元素中，該等語法元素指示： (1)用於來自該第一視界之該圖片的錯點參考數目，（2) 用於來自該第一視界之該圖片的非錨點參考數目，（3)用 於來自該第一視界之該圖片的錨點參考之視界號碼，及 (4)用於來自該第一視界之該圖片的非錨點參考之視界號 瑪。 / 7. 如請求項3至6任一項之方法，其中指示該圖片是否係用 於暫時參考之該語法元素包含一 nal_ref_idc語法元素。 160603.doc