TWI435612B

TWI435612B - 經聚合媒體資料單元之反向相容特性化技術

Info

Publication number: TWI435612B
Application number: TW097106311A
Authority: TW
Inventors: Miska Hannuksela; Ye-Kui Wang
Original assignee: Nokia Corp
Priority date: 2007-02-23
Filing date: 2008-02-22
Publication date: 2014-04-21
Also published as: WO2008102323A2; EP2119187B1; TW200843520A; KR20090123908A; SG179403A1; MY160436A; US8619868B2; RU2009134515A; CA2676195A1; WO2008102323A3; EP2119187A2; CN101611612A; AR065465A1; RU2510908C2; CA2676195C; KR101087379B1; US20080205511A1

Description

經聚合媒體資料單元之反向相容特性化技術

發明領域

本發明一般係有關視訊傳輸和儲存。更明確地說，本發明係有關提供協助一個裝置來決定何者編碼式資料單元應被轉送或處理之資訊。

發明背景

此章節係意在提供申請專利範圍中所列舉的本發明之背景或背景環境。本說明書之說明內容，可能包括一些可被追求之觀念，但非必然為先前已被構思或追求者。所以，除非本說明書另有指示，此章節中所描述者，對此申請案中之說明內容和申請專利範圍，並非屬習知技術，以及係不因納入此章節內而被親為屬習知技術。

Advanced Video Coding(AVC)(新一代視頻編碼)，亦知名為H.264/AVC，係一種由ITU－T Video Coding Expert Group(VCEG)(視頻編碼專家組)和ISO/IEC Motion Picture Expert Group(MPEG)(動畫專家群組)之Joint Video Team (JVT)(聯合編碼專家組)所開發的視訊編碼標準。AVC係包括視訊編碼層(VCL)和網路提取層(NAL)之觀念。VCL係包含編碼解碼器機構之信號處理功能性，諸如變換、量化、移動補償式預測、和迴路濾波器。一個編碼式圖像，係包含有一個或多個片段。NAL可將該VCL所產生的每個片段，封裝成一個或多個NAL單元。一個NAL單元係包含有一個NAL單元標頭和一個NAL單元酬載。該NAL單元標頭，姑不論其他，係包含有一個用以指明此NAL單元是否包含有一個編碼式片段、一個編碼式片段資料分割、一個序列、或圖像參數組、等等之NAL單元類型。一個NAL單元串流，僅僅是許多NAL單元之串聯。一個依據H.264/AVC或其之擴充編碼式位元流，舉例而言SVC，或為一個NAL單元串流，或為一個對一個NAL單元串流中的每個NAL單元前綴一個起始碼之位元組串流。

可調性視訊編碼標準(SVC)，可提供一些可調性視訊位元流。一個可調性視訊位元流，係包含有一個非可調性基層和一個或多個強化層。一個強化層可能強化時間解析度(亦即，畫格率)、空間解析度、或該較低層或其之部分所表示的視訊內容之品質。在AVC之SVC擴充中，該等VCL和NAL觀念會被繼承。

多視圖視頻編碼(MVC)，係AVC的另一個擴充。一個MVC編碼器，可接收多部相機所拍攝之同一場景的輸入視訊序列(稱作不同之視圖)，以及可輸出一個內含所有被編碼之視圖的單一位元流。MVC亦繼承了該等VCL和NAL之觀念。

即時傳輸協定(RTP)，係被廣泛地用於類似聲頻和視訊等定時媒體之即時傳輸。在RTP傳輸中，媒體資料定時媒體，係被封裝成多重之RTP封包。一個AVC視訊之RTP傳輸有關的RTP酬載格式，係明訂在IETF請求註解(RFC)3984中，其可見於www.rfc－editor.org/rfc/rfc3984.txt處，以及其內容係藉由參照使合併進本說明書。就使用RTP之AVC視訊傳輸而言，每個RTP封包，係包含有一個或多個NAL單元。

IETF RFC 3984明訂出幾種封裝模式，其一為交錯模式。若使用中的是該交錯封包化模式，則來自一個以上之存取單元的NAL單元，可被封裝成一個RTP封包。RFC 3984亦明訂出用以指明一個RTP串流中所傳達之NAL單元的解碼順序之解碼序號(DON)的觀念。

在該SVC RTP酬載格式草案中，draft－wenger－avt－rtp－svc－03中之網際網路草案(可見於http：//www.tools.ietf.org/html/draft－wenger－avt－rtp－svc－03處)，係明訂有一個被稱作酬載內容可調性資料(PACSI)NAL單元之新NAL單元類型。該PACSI NAL單元，若存在便為一個集群封包中之第一NAL單元，以及其不會出現在其他類型之封包中。該PACSI NAL單元，係指明該酬載所有剩餘之NAL單元共有的可調性特性，因而可使一個媒體感知網路元件(MANE)，更容易決定是否要轉送/處理/捨棄該集群封包。彼等發送器可能會建立一些PACSI NAL單元。彼等接收器可能會忽略PACSI NAL單元，或者使用彼等作為一些可促成該有效率之集群封包處理的提示。當一個集群封包之第一集群單元，包含有一個PACSI NAL單元時，同一封包中係存在有至少一個額外之集群單元。該等RTP標頭欄位在設定上，係依據該集群封包中剩餘之NAL單元。當有一個PACSI NAL單元，包含在多時集群封包內時，該PACSI NAL單元有關之解碼序號在設定上，可指明該PACSI NAL單元係該集群封包內之NAL單元中的解碼順序中之第一NAL單元，或者該PACSI NAL單元，係具有與該集群封包內之NAL單元中的解碼順序中之第一NAL單元相同的解碼序號。

基於數種不同之目的，通常需要判定何者NAL單元應被傳輸及/或處理。舉例而言，在以多方視訊會議為例之多點即時通訊系統中，該(等)發送器可能並不知道所有接收器之能力，舉例而言，當接收器之數目很大時，或者當彼等接收器可不必通知該(等)發送器便可參加該多點會期時。若有可能，該等發送器不應受限於該最弱之接收器的能力，因為其會限制到可提供給其他接收器之經驗的品質。結果，若一個類似多媒體會議中之多點控制單元(MCU)等中間盒，可依據該等接收器能力有效率地調整該等轉送之串流，將會是有益的。

另一種應在其中作出此種判定之情形，係涉及當一個檔案在一個裝置中或以軟體重現時，後者係可僅分別地解碼該串流的一個子集，諸如H.264/AVC相容性基層或SVC或MVC位元流之視圖。所以，唯有該等NAL單元之子集需要被處理。上述要被該媒體播放器播放之視訊資料，可能是在一個檔案格式容器之格式中，或者是在一個RTP串流之格式中。在任一該兩情況中，所希望的是能輕易存取所有可協助決定何者NAL單元要被該媒體播放器處理之資訊。

上述被稱作MPEG文件N8663之SVC檔案格式草案標準，可支援多重之NAL單元成一個集群器NAL單元的集群。此係被期望亦要受到未來MVC檔案格式之支援。彼等集群器NAL單元，均可藉由在彼等之中納入NAL單元(在彼等之長度所指明的大小範圍內)使相集群，以及亦可藉由參照緊跟彼等之後(在彼等內之additional_bytes欄位所指明之區域內)的參考NAL單元使相集群。當該串流被一個AVC檔案讀取器掃描時，唯有上述被納入之NAL單元，會被視為在該集群器之“內部”。此舉例而言，可容許一個AVC檔案讀取器，跳過整組不需要之SVC或MVC NAL單元。彼等SVC NAL單元，係論及被該AVC規格所保留之NAL單元類型值有關的SVC專屬性NAL單元。彼等MVC NAL單元，係論及被該AVC規格所保留之NAL單元類型值有關的MVC專屬性NAL單元。同理，若AVC NAL單元係藉由參照使相集群，該AVC讀取器將不會跳過彼等，以及彼等就該讀取器而言會保持在串流中。此一集群機構，會在決定何者NAL單元要被一個媒體播放器處理之存取資訊中添加複雜性。

再有一個應在其中作出此種判定之情形，係涉及一個在接收可調性或多視圖串流之使用者何時決定分別地交換彼等想要解碼及播放之層或視圖。一個對應之請求舉例而言，係經由會期確認通訊協定(SIP)或即時串流通訊協定(RTSP)來傳輸。作為一個嚮應，該請求之接收器，諸如一個伺服器或中間盒，係被期望選擇該等被轉送之層或視圖。由於層間和視圖間之預測所致，該等傳輸之層或視圖中的立即改變，可能是不希望的，因為(1)該等成就之串流，可能不具標準相容性，因為某些層間和視圖間參考，可能不存在於該解碼器中；(2)某些傳輸之資料，可能是不可被解碼，以及因而就該接收器而言係屬無用；以及(3)該不可被解碼之資料，會浪費該通道中之位元率，以及可能會造成擁塞和封包損失，加上增加傳輸之延遲。該發射器因而應回應來自次一可能之層交換位置或視圖交換位置的請求。

此外，理應注意的是，彼等冗餘性圖像，提供了一種可供一個系統在對應之初步編碼圖像損壞時恢復傳輸錯誤之機構。然而，若該等冗餘性圖像本身無法被正確解碼，若對應之初步編碼圖像可被正確解碼，或者若冗餘性圖像之解碼在該接收器中不受到支援，冗餘性圖像之傳輸便屬不必要。一個發送器或中間盒，因而可能在該等幾種情況中，省略冗餘性圖像或其之部分的傳輸。一種第一個此種情形，係涉及當冗餘性圖像之參考圖像無法被正確解碼時。此舉例而言係可總結自RTP/AVPF之通用NACK回授或RTP回授式聲頻視訊使用者配置檔(RTP/AVPF)的片段損失指標回授。一種第二情況是，當一個冗餘性圖像在到達一個中間盒時並不完整時，亦即，當一個冗餘性圖像在一個發送器與一個中間盒之間的通道中喪失時。此可總結在該中間盒中，舉例而言，基於進入封包之RTP序號和一個喪失之RTP封包的先前和後繼之RTP封包的內容。一種第三情況是，當傳輸所用的是一個可靠之通訊協定時，當有充份時間來選擇重新傳輸已受損之初步編碼的圖像時，或者當網路條件被偵測屬無損失時。一種第四情況是，當一個接收器，舉例而言，或隱含地經由受到支援之使用者配置檔，或明示地以redundant－pic－cap MIME/SDP參數，來傳訊無冗餘性圖像受到支援時。

再有一種應在其中判定出何者NAL單元應被傳輸及/或處理之情形，係涉及當位元率需要被調適使依據一個瓶頸鏈路之數據傳輸率來微調所傳輸的位元率而避免擁塞或調整網路或客戶緩衝器時。在此一情況中，該發送器或中間盒，應作出一個有關何者NAL單元不被傳輸之繁復判定。媒體感知閘道或RTP混合器(其舉例而言，可能是多點會議單元、電路交換式與封包交換式視訊電話通訊間之閘道、PoC伺服器、DVB－H系統中之IP封裝器、或本地轉送廣播傳輸給家用無線網路之數位視訊轉換器)之功能，係依據盛行之下行鏈路網路條件來控制上述轉送之串流的位元率。有利的是可不必大量處理進入之資料，來控制該轉送之資料率，亦即，僅僅藉由放棄封包或輕易被識別之部分的封包。

當使用H.264/AVC和SVC RTP酬載格式之非交錯式和交錯式封裝模式時，該封包內所包含之NAL單元的某些共有特性，唯有當每個包含之NAL單元愛到檢驗時方可被識別。該項檢驗可能需要部份解碼該NAL單元。舉例而言，該子序列資訊SEI訊息應被解碼，藉以找出時序層級交換點，以及該片段標頭勢必要被解碼，藉以找出一個被編碼之片段，是否隸屬一個初步編碼之圖像或冗餘編碼之圖像。

彼等中間盒通常應放棄整個圖像或圖像序列，以使其成就之串流保持有效。H.264/AVC RTP酬載規格之交錯式封裝模式，可容許實際上將任何存取單元之任何NAL單元，封裝進相同之RTP酬載(稱作集群封包)內。特言之，其並不需要將整個編碼之圖像，封裝進一個RTP酬載內，相反的是，一個編碼之圖像的NAL單元，可被分割成多重之RTP封包。雖然此自由性對許多應用係有幫助的，其在一個中間盒運作中，將會造成以下之複雜性。首先，就一個集群封包而言，在剖析該集群封包內所包含的每個NAL單元之標頭以前，並無法知道其NAL單元隸屬何者圖像。因此，當應用該交錯式封裝模式時，每個集群單元標頭和NAL單元標頭應加以剖析，以使彼等映射至正確之圖像。當冗餘圖像存在時，便需要進一步剖析進片段標頭。其次，在無同一存取單元的某些其他NAL單元之存在下，可能是不可能識別出一個NAL單元之特性。舉例而言，為找出一個被編碼之片段是否為一個可被隨機存取之存取單元的一部分，該存取單元有關之恢復點SEI訊息，必須首先被接收及解碼。

所以，基於一個網路中間盒或媒體播放器，可決定何者編碼式資料單元要被傳輸及/或處理，在傳輸封包或檔案格式集群NAL單元中，係需要提供可輕易存取之資訊。2007年一月11日所提交並藉由參照合併進本說明書之美國專利申請案第11/622,430號，揭示了一種有關SVC檔案格式和RTP酬載格式之間接式集群器NAL單元，藉以指明緊隨該間接式集群器NAL單元之某一定NAL單元的可調性特性。然而，彼等超過SVC有關之可調性資訊的特性係不被考慮，其中包括該傳輸封包內所包含之編碼式資料單元，是否為(1)冗餘性圖像之一部分、(2)時序層級交換點之一部分、(3)視圖隨機存取點之一部分、(4)不屬瞬間解碼更新(IDR)圖像之隨機存取點之一部分、和(5)一個視圖識別碼所識別之某一定視圖的圖像之一部分。

發明概要

本發明之各種實施例，提供了一種系統和方法，來傳達有助於一個網路中間盒或媒體播放器決定一個RTP酬載或檔案格式資料單元內要在一種輕易存取方式中轉送或處理的為何者編碼之資料單元的資訊。在本發明之各種實施例中，此一機構可被用來提供一些類似冗餘性編碼式圖像、時序層級交換點、漸進解碼更新存取點、視圖識別碼、和視圖隨機存取點等項目之指示符。一個中間盒和/或接收器，接著可使用此資訊來決定某些編碼之資料單元是否需要被處理及/或傳輸。此外，亦可能提供的，是一些類似非層化單一視圖位元流有關之隨機存取點等項目的指示符和圖像類型指示符。

各種實施例提供了一種方法、電腦程式產品、和裝置，來封裝一個表示一個編碼式位元流之視訊序列，其中，多數之資料單元，係被封裝進一個第一封包內。該等多數資料單元之第一資料單元，至少包含有上述編碼式位元流的一部分，以及該等多數資料單元之第二資料單元，係包含有用以總結該部份之編碼式位元流的內容之資訊。該第二資料單元，係佈置在上述第一封包內之多數資料單元的任何其他資料單元之前。

各種實施例提供了一種方法、電腦程式產品、和裝置，來封裝一個表示一個編碼式位元流之視訊序列。有多數之資料單元，自一個第一封包讀取出，其中，該等多數資料單元之第一封包單元，至少包含有上述編碼式位元流的一部分，以及該等多數資料單元之第二資料單元，係包含有用以總結該部份之編碼式位元流的內容之資訊。該第二資料單元，係位於上述第一封包內之多數資料單元的任何其他資料單元之前。該等多數資料單元，接著係依據該第二資料單元內所包含之資訊來處理。

本發明之此等和其他優點和特徵，連同彼等之運作的組織和方法，將由下文配合所附諸圖之詳細說明而臻明確，其中，遍及下文之說明，相似之元件係具有相似之數字。

圖式簡單說明

第1圖係顯示一個供本發明使用之通用型多媒體通訊系統；第2圖係一個可被用在本發明之實現體中的電子裝置之透視圖；而第3圖則係第2圖之電子裝置的裝置電路之示意圖。

較佳實施例之詳細說明

本發明之各種實施例，提供了一種系統和方法，來傳達有助於一個網路中間盒或媒體播放器決定一個RTP酬載或檔案格式資料單元內要在一種輕易存取方式中轉送或處理的為何者編碼之資料單元的資訊。在本發明之各種實施例中，此一機構可被用來提供至少下列諸項目之指示符：

冗餘性編碼式圖像之指示符此指示符可伴隨一個用以解碼該集群之冗餘性編碼的片段所需之參考圖像列表和該集群之冗餘性編碼的片段之空間涵蓋範圍的指示符。有些時候是僅有一個冗餘性編碼式圖像之片段，將會被集群及特性化。

時序層級交換點之指示符自一個時序層級交換點開始，若在該時序層級交換點之前，僅有較低時序層級之圖像被解碼，該解碼器便可正確地解碼所有接下來具有相同之時序層級的編碼式圖像。該指示符可伴隨一個以frame_num為例之值所指明的參考圖像列表，其應正確地被解碼，藉以促成時序層級之交換。值得注意的是，放棄解碼/轉送之時序層級的數目，通常在任何一點處均屬可能。

漸進解碼更新存取點之指示符若該解碼器開始自此種點解碼，則該等圖像內容將會橫跨若干連續圖像漸進地加以校正。在某些實施例中，該指示符應伴隨圖像或封包方面之計數，為達成一些內容屬正確之圖像，彼等之解碼係有其必要。

視圖之指示符此指示符係傳訊給該等集群之NAL單元所屬的視圖(舉例而言，依據視圖ID)。

視圖隨機存取圖像之指示符由於視圖間預測所致，在任意點處開始一個視圖之解碼是不可能的。此指示符因而係被用來傳訊該解碼器可自此一位置開始解碼。該指示符可能伴隨圖像或封包方面之計數，為達成一些內容屬正確之圖像，彼等之解碼係有其必要。不同類型之視圖隨機存取點，係討論在2006年十月16日所提交並藉由參照合併進本說明書之美國臨時專利申請案號第60/852,223號中。

在本發明之各種實施例中，美國專利申請案第11/622,430號中所討論之間接式NAL單元集群機構，係被用作上述用以傳達上文所述之指示符的機構。此外，此同一集群機構，同樣亦可供其他指示符使用。舉例而言，此一機構亦可能供非層化單一視圖位元流和圖像類型指示符(例如，圖像內、非參考圖像)有關之隨機存取點指示符(開放式和封閉式圖像群組(GOP))使用。

以下係本發明之各種實施例的一個實現體，其係特別與SVC和MVC之RTP酬載格式有關。在此一實現體中，美國專利申請案第11/622,430號中所討論之酬載內容可調性資訊(PACSI)NAL單元，係擴充使包含額外類型之資訊。該PACSI NAL單元之標頭係使保持固定。或者，該PACSI NAL單元標頭，可能被修飾使迎合即將來臨之MVC NAL單元標頭，特別是假若該即將來臨之MVC NAL單元標頭，係該SVC NAL單元標頭的一個超集。該MVC NAL單元標頭之當前草案，可見於2006年十月JVT會議之草案結果(可見於http：//ftp3.itu.ch/av－arch/jvt－site/2006_10_Hangzhou/JVT－U2 09..zip處，以及係藉由參照使合併進本說明書)，在nal_unit_header_svc_mvc_extension語法結構中。或者，另一種NAL單元類型，諸如值31，可能被用來指明本說明書所說明之資訊。

下文係共同地有關SVC和MVC之範例性RTP酬載格式的背景環境中之PACSI NAL單元的一個範例。

該PACSI NAL單元，係包含有一個1－位元組NAL單元標頭、一個1－位元組內容資訊(CI)標頭、和一個可變長度CI酬載。該1－位元組NAL單元標頭，係包含如下文所明訂之F、NRI、和類型欄位。

PACSI NAL單元中之欄位的值，係被設定如下。若該酬載中至少有一個其餘NAL單元內之F位元等於1，該F位元便被設定為1。否則，該F位元便被設定為0。該NRI欄位在該酬載中之所有其餘NAL單元中，係被設定為NRI欄位之最高值。該類型欄位係被設定為30。

該CI標頭係包含一些可指明如下之不同類型的內容資訊之存在的旗標：

S位元等於1，係指明draft－wenger－avt－rtp－svc－03(可見於www.tools.ietf.org/html/draft－wenger－avt－rtp－svc－03處，以及係藉由參照使合併進本說明書)中之網際網路草案同樣載明的內容可調性資訊之存在，以及係抄錄如下：

當該M位元等於1時，下列之多視圖內容資訊，係存在於CI酬載中：

該R位元會被保留。TL(時序層級)係被設定為該RTP酬載內之其餘NAL單元中的TL欄位之最低值。VL(視圖層次)係被設定為該RTP酬載內之其餘NAL單元中的VL欄位之最低值。

A(anchor_pic_flag)係被設定為該RTP酬載內之其餘NAL單元中的A欄位之最高值。結果，一個等於1之A位元值係指明，該RTP酬載至少包含有與一個錨定圖像相關聯之NAL單元。一個等於0之A位元值係指明，該RTP酬載不包含有與一個錨定圖像相關聯之NAL單元。

num_views係指明接下來之view_id語法元素的數目。num_views係被設定為上述用以指明該RTP酬載內之其餘NAL單元中的view_id之不同值的數目之值。

view_id之每一值，係指明一個存在於該RTP酬載之其餘NAL單元中的view_id。view_id之值不可被複製進CI酬載中。目前，該MVC規格中之view_id的值係10－位元不帶正負號之整數，其係就該CI酬載而被轉換成16－位元不帶正負號之整數。

在本發明的一個實施例中，該num_views欄位並不存在，以及view_id唯有一個值，係包含在該多視圖內容資訊中。結果，一個內含一個PACSI NAL單元之RTP封包，係有必要包含僅來自一個視圖之編碼式資料。

該CI標頭之R位元，係指明冗餘性編碼式圖像資訊之存在。當該R位元等於1時，該RTP酬載並未包含任何有關初步編碼之圖像的NAL單元。無對應於該R位元之CI酬載存在。

該CI標頭之A位元，係指明存在一個如下之隨機存取點。當該A位元等於1時，該S位元係等於0，以及該M位元係等於0，該RTP酬載係包含一個隸屬一個IDR圖像之NAL單元，或一個與具有等於0之recovery_frame_cnt語法元素的值之恢復點SEI訊息相關聯的內圖像。當該等A位元和S位元等於1時，該RTP酬載係包含有一個隸屬SVC的一個IDR圖像之NAL單元。當該等A位元和M位元等於1時，該RTP酬載係包含有一個隸屬MVC的一個視圖隨機存取圖像(一個IDR圖像或一個錨定圖像)之NAL單元。

該CI標頭之T位元，係指明存在一個時序層級交換點。當該T位元等於1時，該S位元或該M位元亦勢必要等於1。當該T位元等於1時，下列之時序層級資訊係存在於該CI酬載中：

該TLT語法元素係指明當該時序層級(TLT－1)至少自傳輸順序中之時序層級(TLT－1)有關的先前時序層級交換點起事先被解碼時在所有內含等於或低於TLT之時序層級的封包自該點起被解碼之下可被交換至的時序層級。或者，其係有可能包含用以指明在如上文之相同條件下可被交換至的多重temporal_level值之多重TLT值。

該被保留之欄位的位元會被保留。該CI標頭中之Res欄位的位元亦會被保留。當該CI標頭內有超過一個不被保留之位元被設定為1時，該等CI酬載語法結構，係依該等對應之位元出現在該CI標頭中的順序出現。

下文係本發明之各種實施例的另一個實現體，其係特別有關SVC之RTP酬載格式。在此一實現體中，美國專利申請案第11/622,430號中所討論之酬載內容可調性資訊(PACSI)NAL單元，係藉由再添加一個八位元組使擴充如下：

若所有內含該等目標NAL單元之編碼式圖像為錨定圖像，該R欄位便被設定為1。否則，該位元R便被設定為0。該等目標NAL單元，係該集群封包內所包含但不包含在該 PACSI NAL單元中之此種NAL單元，彼等係隸屬於緊接該集群封包中之PACSI NAL單元的第一NAL單元之存取單元內。一個錨定圖像係一種圖像，其若自此圖像開始解碼該層次，該層次所有接下來之圖像，可在輸出順序中正確地被解碼。理應注意的是，彼等錨定圖像，係一些至隸屬於該等錨定圖像之層次的隨機存取點。然而，某些在解碼順序中為後接一個錨定圖像但在輸出順序中為前接該錨定圖像之圖像，可能被稱作較早之圖像，以及因而可能係無法正確地被解碼，倘若隨機存取係在該錨定圖像處被執行。

若所有內含該等目標NAL單元(如上文所界定)之編碼式圖像為時序可調性層，該T欄位便被設定為1。否則，該位元T便被設定為0。就一個時間可調性層交換點而言，該解碼順序中在該交換點處及在之後具有相同temporal_level值的所有編碼式圖像，並不會參照該解碼順序中在該交換點之前具有相同temporal_level值的任何一個編碼式圖像。

若所有內含該等目標NAL單元(如上文所界定)之編碼式圖像，為時序可調性層，該D欄位便被設定為1。否則，該D欄位便被設定為0。若上述在所有內含該目標NAL單元(如上文所界定)之編碼式圖像中具有最大dependency_id值的圖像，為一個內編碼式圖像，該I欄位便被設定為1，亦即，該編碼式圖像，不會參照該同一層在解碼順序中之任何較早的編碼式圖像。該RES欄位係被設定為0。

其更進一步有可能的是，不在該PACSI NAL單元中傳達有關指示符之欄位，而是在該RTP封包中的任何NAL單元之前，將彼等直接加進該酬載結構內。

就SVC和MVC檔案格式而言，該等指示符可藉由在該集群器NAL單元內之附加欄位來傳達。在不同之實施例中，該等被提議之集群器NAL單元的附加欄位和彼等之語意，係與上文所述不同實施例中之PACSI NAL單元的語意之欄位相類似。

第1圖係顯示一個供本發明使用之通用型多媒體通訊系統。誠如第1圖中所示，有一個資料源100，可提供一個類比格式、未經壓縮之數位格式、或經壓縮之數位格式、或任何此等格式的組合之來源信號。有一個編碼器110，可將該來源信號，編碼成一個編碼式媒體位元串流。該編碼器110係可能有能力編碼超過一種之媒體類型，諸如聲頻和視訊，或者可能需要超過一個的編碼器110，來編碼不同媒體類型之來源信號。該編碼器110亦可能得到合成產生之輸入，諸如圖形和本文，或者其係可能有能力產生合成性媒體之編碼式位元串流。在下文中，為簡化說明計，僅考慮一種媒體類型之編碼式位元串流的處理。然而，理應注意的是，典型地，即時廣播服務係包含有數種串流(通常是至少一個聲頻、視訊、和本文字幕串流)。亦應注意的是，此種系統可能包含有許多編碼器，但在下文中，在不失一般性下，為簡化說明計，僅有一個編碼器110被考慮。

理應瞭解的是，雖然本說明書所包含之本文和範例，可能特別說明一個編碼程序，本技藝之專業人員將可輕易理解的是，相同之觀念和原理，亦可應用至對應之解碼程序，以及反之亦然。

該編碼式媒體位元串流，係使轉移至一個儲存器120。此儲存器120可能由任何類型可儲存該編碼式媒體位元串流之大容量記憶體所組成。該儲存器120中之編碼式媒體位元串流的格式，可能是一種基本上完備之位元串流格式，或者一個或多個編碼式媒體位元串流，可能被封裝進一個容器檔案內。某些系統係"以直播方式"運作，亦即，省略儲存器，以及使來自該編碼器110之編碼式媒體位元串流，直接轉移至一個發送器130。該編碼式媒體位元串流，接著係依需要使轉移至上述亦被稱作伺服器之發送器130。上述傳輸中所用之格式，可能是一種基本上完備之位元串流格式、一種封包串流格式，或者一個或多個編碼式媒體位元串流，可能使封裝進一個容器檔案內。該等編碼器110、儲存器120、和發送器130，可能存在於同一實體裝置內，或者彼等可能係包含在分開之裝置中。該等編碼器110和發送器130，可能係以直播即時內容來運作，在該情況中，該編碼式媒體位元串流，通常係不做永久儲存，而是緩衝儲存在該內容編碼器110中及/或在該發送器130中一段短期間，藉以平順化處理延遲、轉移延遲、和編碼式媒體位元率中之變動。

該發送器130可使用一種通訊協定堆疊器，來傳送該編碼式媒體位元串流。該堆疊器可能包括但不受限之即時傳輸協定(RTP)、使用者資料報協定(UDR)、和網際網路通訊協定(IR)。當該通訊協定堆疊器係屬封包取向時，該發送器 130可將該編碼式媒體位元串流，封裝成一些封包。舉例而言，當使用的是RTP時，該發送器130可依據一個RTP酬載格式，將該編碼式媒體位元串流，封裝成一些RTP封包。通常，每種媒體類型，係具有一個專屬性RTP酬載格式。再次應注意的是，一個系統可能包含有超過一個的發送器130，但為單純計，下文之說明僅考慮一個發送器130。

該發送器130可能或可能不經由一個通訊網路，使連接至一個閘道器140。此閘道器140可能執行不同類型之功能，諸如一個封包串流依據一個通訊協定堆疊器至另一個通訊協定堆疊器之轉碼，資料串流之合併及岔分、和資料串流依據該下行鏈路和/或接收器能力之操控，諸如依據盛行之下行鏈路網路條件，來控制該轉送之串流的位元率。彼等閘道器140之範例係包括：多點會議控制單元(MCU)、電路交換式與封包交換式視訊電話通訊間之閘道、即按即說蜂巢式網路(PoC)伺服器、手持式數位視訊廣播(DVB－H)系統中之IP封裝器、或本地轉送廣播傳輸給家用無線網路之數位視訊轉換器。當使用的是RTP時，該閘道器140係被稱作一個RTP混合器，以及係作用為一個RTP連結之端點。

該系統係包含有一個或多個接收器150，其通常係有能力接收、解調、及解封裝上述傳輸之信號，使成為一個編碼式媒體位元串流。該編碼解碼媒體位元串流，通常係受到一個解碼器160進一步之處理，其輸出係一個或多個未經壓縮之媒體串流。最後，有一個播放器170，舉例而言，可能使用一個擴音器或顯示器，來重現該未經壓縮之媒體串流。該等接收器150、解碼器160、和播放器170，可能存在於同一實體裝置內，或者彼等可能係包含在分開之裝置中。

理應注意的是，上述要被解碼之位元串流，可使接收自一個事實上位於任何類型之網路內的遠程裝置。此外，該位元串流可使接收自本地硬體或軟體。

依據位元率、解碼複雜性、和圖像尺寸之可調性，係一個有關異質和易生錯誤之環境的有利性質。此種性質就對抗一些類似一個接收裝置中之位元率、顯示器解析度、網路數據傳輸率、和計算能力方面之限制條件而言是有利的。

本發明之通訊裝置，可能使用各種傳輸技術來通訊，其中包括但不受限之碼分多址系統(CDMA)、全球行動通訊系統(GSM)、全球行動電話系統(UMTS)、時分多址系統(TDMA)、頻分多址系統(FDMA)、傳輸控制通訊協定/網際網路通訊協定(TCP/IP)、簡訊服務(SMS)、多媒體訊息服務(MMS)、電子郵件、即時訊息服務(IMS)、籃芽、IEEE 802.11、等等。一個通訊裝置可能使用各種媒體來通訊，其中包括但不受限之無線電、紅外線、雷射、電纜連結、和等等。

第2和3圖係顯示一個可在其中現體本發明之代表性電子裝置50。然而，理應瞭解的是，本發明並非意使受限於一個特定類型之裝置。第2和3圖之電子裝置50係包含有：一個外殼30、一個形式為液晶顯示器之顯示器32、一個按鍵區34、一個麥克風36、一個耳機38、一個電池40、一個紅外線接口42、一個天線44、一個依據本發明之實施例而形式為UICC的智慧卡46、讀卡器48、一個無線介面電路52、一個編碼解碼器電路54、一個控制器56、和一個記憶體58。彼等個別之電路和元件，係本技藝中習見之所有類型，舉例而言，行動電話之諾基亞家族。

本說明書所說明之各種實施例，係在一般方法步驟或程序之背景環境中加以說明，彼等在一個實施例中之實現，可能係藉由一種體現在一個電腦可讀取式媒體中之程式產品，彼等係包含有一些電腦可執行式指令，諸如網路化環境中由電腦執行之程式碼。一個電腦可讀取式媒體，可能包括可移除式和不可移除式儲存裝置，彼等包括但不受限：唯讀記憶體(ROM)、隨機存取記憶體(RAM)、光碟(CD)、數位影像光碟(DVD)、等等。通常，彼等程式模組可能包括一些可執行特定任務或可實現特定抽象資料類型之公用常式、程式、物件、組件、資料結構、等等。彼等電腦可執行式指令、相關聯之資料結構、和程式模組，係表示一些用以執行本說明書所揭示之方法步驟的程式碼之範例。此種可執行式指令或相關聯之資料結構的特定序列，係表示一些用以實現該等步驟或程序中所描述之功能的對應動作之範例。

本發明之實施例，係可能在軟體、硬體、應用邏輯、或一個軟體、硬體、和應用邏輯之組合中被實現。該軟體、應用邏輯、和/或硬體，舉例而言，可能存在於一個晶片集、行動裝置、桌上型電腦、膝上型電腦、或伺服器上面。各種實施例之軟體和環球網實現體在完成上，可使用一些具有規則式邏輯和其他邏輯之標準程式規劃技術，來完成各種資料庫搜尋步驟或程序、關聯步驟或程序、比較步驟或程序、和判定步驟或程序。彼等各種實施例，亦可能完全地或部份地被實現在網路元件或模組內。理應注意的是，該等如本說明書和申請專利範圍中所用之語詞“組件”和“模組”，係意使涵蓋一些使用一行或多行軟體程式碼之實現體、和/或硬體實現體、和/或用以接收人工輸入之設備的實現體。

前文說明之實施例在呈現上，係為例示和說明之目的。前文之說明內容，並非意使詳盡無遺或限制本發明至所揭示之精確形式，以及依據上文之揭示說明，係可能有修飾體和變更形式，或者可能由本說明書所討論之各種實施例的實務而獲致。本說明書所討論之實施例在選擇及說明上，係為解釋各種實施例之原理和性質和其實際應用，而使本技藝之專業人員，能夠將本發明利用至各種實施例中，以及使具有各種適用於所預期之特定用途的修飾體。本說明書所說明之實施例的特徵，係可結合在所有可能組合之方法、裝置、模組、系統、和電腦程式產品。

30‧‧‧殼架

32‧‧‧顯示器

34‧‧‧按鍵區

36‧‧‧麥克風

38‧‧‧耳機

40‧‧‧電池

42‧‧‧紅外線接口

44‧‧‧天線

46‧‧‧智慧卡

48‧‧‧讀卡機

50‧‧‧電子裝置

52‧‧‧無線介面電路

54‧‧‧編碼解碼器(codec)電路

56‧‧‧控制器

58‧‧‧記憶體

100‧‧‧來源

110‧‧‧編碼器

120‧‧‧封包

130‧‧‧發送器

140‧‧‧閘道器

150‧‧‧接收器

160‧‧‧解碼器

170‧‧‧播放器