TWI471015B - 用於可縮放多媒體之適應路徑通用指示技術 - Google Patents

用於可縮放多媒體之適應路徑通用指示技術 Download PDF

Info

Publication number
TWI471015B
TWI471015B TW96139238A TW96139238A TWI471015B TW I471015 B TWI471015 B TW I471015B TW 96139238 A TW96139238 A TW 96139238A TW 96139238 A TW96139238 A TW 96139238A TW I471015 B TWI471015 B TW I471015B
Authority
TW
Taiwan
Prior art keywords
adaptation
points
information relating
file
media
Prior art date
Application number
TW96139238A
Other languages
English (en)
Other versions
TW200829032A (en
Inventor
Ye-Kui Wang
Miska Hannuksela
Original Assignee
Nokia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Corp filed Critical Nokia Corp
Publication of TW200829032A publication Critical patent/TW200829032A/zh
Application granted granted Critical
Publication of TWI471015B publication Critical patent/TWI471015B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

用於可縮放多媒體之適應路徑通用指示技術 發明領域
本發明一般係有關於可縮放視頻編碼之領域。更明確地說，本發明係有關於可縮放多媒體之調適路徑通用指示技術。
 發明背景
此節係旨在提供申請專利範圍內所明列之發明的背景或前後關係。本說明書之說明內容，可能包括一些可被貫徹但非必然為先前已被想到或貫徹之觀念。所以，除非本說明書另有指示，此節中所說明者，對本說明書內之說明內容和申請專利範圍並非屬習知技術，以及不會因此節之納入而認為屬習知技術。
多媒體應用係包括：本地播放、串流或隨選、對話和廣播/多點廣播服務。舉例而言，多媒體應用中所涉及之技術，係包括所舉為例之媒體編碼、儲存、和傳輸。媒體類型係包括：語音、聲頻、影像、視訊、圖形、和時間本文。不同技術係已明訂有不同之標準。
在此已有許多視頻編碼標準存在，其中包括ITU－T H.261、ISO/IEC MPEG－1 Visual、ITU－T H.262、或ISO/IEC MPEG－2 Visual、ITU－T H.263、ISO/IEC MPEG－4 Visual和ITU－T H.264、或ISO/IEC MPEG－4 AVC。H.264/AVC係ITU－T Video Coding Experts Group(視頻編碼專家組)(VCEG)和ISO/IEC MPEG之聯合編碼專家組(JVT)的工作產品。在此亦有一些專賣性視頻編碼解決方案(例如，VC－1，亦名為SMPTE標準421M，依據微軟之視窗媒體視訊第9版)，加上國家標準組織，舉例而言，中國音視頻編碼標準所訂之音視頻編碼標準(AVS codec)。某些此等標準已明訂有可分級擴充，例如，MPEG－2 visual和MPEG－4 visual。就H.264/AVC而言，該可分級視頻編碼擴充SVC，亦被稱作SVC標準，目前正在發展中。
SVC的最新草案，係說明在JVT－T201內，”Joint Draft 7 of SVC Amendment”(SVC修正案之聯合草案)，第20屆JVT會議，2006年七月，奧地利克拉根福(Klagenfurt)，可得自http：//ftp3.itu.ch/av－arch/jvt－site/2006_07_Klagenfurt/JVT－T201.zip。
SVC可提供可縮放(可調性、可分級)視頻位元流。有一部份之可縮放視頻位元流，可以一個降級之播放視訊品質來擷取及解碼。一個可縮放視頻位元流，係包含有一個不可縮放之基本層和一個或多個增強層。一個增強層可能增強時間解析度(亦即，圖框率)、空間解析度、或僅僅是較低層或其部分所代表之視訊內容的品質。在某些情況中，一個增強層之資料，係可在某一特定部位之後甚至是在任意之位置處被截斷，以及每個截斷位置可包含某些代表逐漸增強之視訊品質的附加資料。此種可縮放性係被稱作細顆粒狀(粒度)可縮放性(FGS)。相照於FGS，一個不提供細顆粒度可縮放性之品質增強層所提供的可縮放性，係被稱作粗顆粒度(CGS)可縮放性。彼等基本層同樣係可被設計成FGS可縮放性。
最新SVC規範中用以提供時間可縮放性之機構，係被稱作”階層式B圖像(圖像)”編碼結構。此特徵係受到新一代視頻編碼(AVC)完全之支援，以及其傳訊部分可藉由使用子串列相關之補充增強信息(SEI)訊息來執行。
就用以提供空間和CGS可縮放性之機構而言，一個與較早標準所用者相類似的傳統式分層編碼技術，係與某些新的層間預測方法一起使用。一些可做層間預測之資料，係包括內部紋理、運動、和殘餘資料。單迴路解碼係由一個局限之內部紋理預測模式來啟用，藉以使該層間內部紋理預測，可被應用至上述處於內部MB內之基本層的對應區塊有關之巨區塊(MB)。同時，該基本層內之內部MB，係使用局限之內部預測。在單迴路解碼中，該解碼器係需要僅就播放所希望之可縮放層，執行運動補償和完整之畫面重建(稱作被希望之層)。基於此一理由，其解碼之複雜性係被大幅降低。除上述被希望之層外的所有層，並不需要被完整解碼，因為層間預測不使用之所有或部份資料(假設其為層間內部紋理預測、層間運動預測、和層間殘餘資料預測)，就上述希望之層的重建並無必要。
該空間可縮放性業已被一般化，而使該基本層能屬上述增強層之修剪縮放式版本。該等量化和熵編碼模組係加以調整，藉以提供FGS能力。該編碼模式係被稱作漸進式細調，其中，變換係數之連續細調，係藉由重複降低量化步階大小，以及應用一種與子位元面編碼同源之”循環”熵編碼，來加以解碼。
當前之草案SVC標準中的可縮放層結構，在特徵上係具有三種變數，稱作temporal_level、dependency_id、和quality_level，彼等係傳訊在該位元流內，或者係依據該規範而取得。temporal_level係用來指示時間層階層或圖框率。一個由較小temporal_level值之圖像所組成的層，比起一個由較大temporal_level值之圖像所組成的層，係具有一個較小之圖框率。dependency_id係用來指示層間編碼相依性階層。在任何一個時間部位處，較小之dependency_id值的圖像，可能被層間預測用來編碼一個具有較大之dependency_id值的圖像。quality_level係用來指示FGS層階層。在任何一個時間部位處，以及在相同之dependency_id值下，一個具有等於QL之quality_level值的FGS圖像，係使用具有等於QL－1之quality_level值的FGS圖像或基本品質圖像(亦即，當QL－1＝0時的非FGS圖像)，來做層間預測。
在包含有至少兩片CGS或空間可縮放層之可縮放視訊的單迴路解碼中，一片較低層內之被編碼的圖像中，僅有一部分被用來預測一片較高層內之對應編碼圖像(亦即，做層間預測)。所以，若一個發送器知道該等接收器中播放所希望之可縮放層，其傳輸所用之位元率，便可能藉由省略層間預測不加使用及播放所希望的任何一個可縮放層中不加使用之部分而使降低。理應注意的是，在多點廣播或廣播之情況中，其中，不同客戶可能希望不同層來播放，該等層便被稱作所希望之層。
SVC之位元流格式，係包括在SVC的每個網路提存層(NAL)單元標頭內之傳訊simple_priority_id。此可促成傳訊該SVC位元流有關之調適路徑。此外，SVC位元流之調適，可隨同dependency_id、quality_level、和temporal_level、或此等與simple_priority_id的任何組合一起完成。然而，simple_priority_id係僅可代表SVC位元流對調適路徑的一個分割。其他之調適分割，基於不同之最佳化準則，可同樣被明確計算，但使此等調適分割與SVC位元流相聯結之裝置並不存在。
該檔案格式係連串之多媒體內容製作、處置、傳輸、和消費的一項重要元素。該等編碼格式與檔案格式之間，係具有某種差異。該編碼格式係與一個可使該內容資訊編碼成一個位元流之特定編碼演算法的動作相關。該檔案格式係有關組織上述產生之位元流，其方式係使其可有權利用本地解碼和播放，可被轉移成一個檔案，或者可使成位元流，彼等全係利用多種之儲存和傳輸架構。此外，該檔案格式可促成該媒體之交換和編輯。舉例而言，許多位元流應用係需要在一個伺服器上面，使一個預解碼之位元流，由一個協助該伺服器將媒體串流傳給一位客戶端之中繼資料(metadata)(儲存在”線索軌道”(hint－tracks)內)來完成。線索軌道中繼資料之範例係包括：時序資訊、同步點之指示符、和封包化線索。此資訊被用來降低該伺服器之運作負載，以及使終端使用者經驗最大化。
一些可利用之媒體檔案格式標準係包括：ISO國際標準媒體檔案格式(ISO/IEC 14496－12)、MPEG－4檔案格式(ISO/IEC 14496－14)、AVC檔案格式(ISO/IEC 14496－15)、和3GPP檔案格式(3GPP TS 26.244)。在MPEG中亦有上述SVC檔案格式之發展方案，其將變為AVC檔案格式的一個修正案。該等MPEG－4、AVC、3GPP、和SVC檔案格式，全係上述ISO國際標準媒體檔案格式之衍生體，亦即，彼等共用相同之基本語法結構。結果，彼等多半是彼此相容。
ISO國際標準媒體檔案格式，係一種物件導向式檔案格式，其中，資料係被封裝成所謂’方塊’(box)之結構。在上述ISO國際標準媒體檔案格式之所有衍生檔案格式中，媒體資料係儲存在一個媒體資料方塊MDAT內，以及該中繼資料係儲存在一個影片方塊MOOV內。媒體資料係由實際之媒體樣本所組成。其舉例而言可能包含有交錯式時序性視頻和音頻訊框。每個媒體在MOOV方塊內係具有彼等自身之中繼資料方塊TRAK，其係描述該等媒體內容性質。該MOOV方塊內之附加方塊，可能包含有檔案性質、檔案內容、等等有關之資訊。
該SVC檔案格式，逐漸變成上述AVC檔案格式之擴充。該SVC檔案格式，可有效率地操控上述可縮放性視訊流之儲存、擷取、和可縮放性設備。一個內含可縮放性位元流之檔案的大小，應使儘可能小，同時仍考慮到隸屬不同層之NAL單元的輕量型擷取。此要求避免冗餘儲存媒體資料之多重展示和中繼資料之有效率展示。在此有兩種基本機構被利用來組織一個SVC檔案。首先，有一種群組觀念，亦即，ISO國際標準媒體檔案格式中之樣本群組結構，可被用來指示圖像與可縮放性層之關係。第二，可界定該位元流之數條軌道參考子集，使彼等各對應於形成一個播放點之可縮放性層的特定組合。
第1圖係描述如何將該SVC媒體資料儲存進一個檔案中。每個存取單元係包含有一個樣本。數個樣本形成一個組塊(chunk)。實際之內容通常係包含有許多組塊。檔案讀取器通常可一次讀取及處理一個組塊。若播放所希望之分層結構，並不需要所有之存取單元(就時間可縮放性而言)和/或每個必需之存取單元的所有圖像(就其他類型之可縮放性而言)，則該等用不到的存取單元和/或圖像便可被捨棄。在該圖像位階下執行一個捨棄運作，是最有效率的。然而，由於每個樣本係包含有一個存取單元，一個樣本位階之群組並非屬最佳。另一方面，若每個圖像被界定為一個樣本，則屬上述對應於ISO國際標準媒體檔案格式中之某一定展示時間的媒體資料的每個樣本之界定將會被破壞。
在該最新草案SVC檔案格式中，字詞’階層’係被用來說明一層。每個NAL單元係與一個群組ID相關聯，以及若干之群組ID值係被映射至一個階層ID所識別之階層。在此種方式下，給定一個階層ID，該等相關聯之NAL單元便可被找出。每個階層之可縮放性資訊，包括位元率、空間解析度、圖框率、等等，係被傳訊在資料結構ScalableTierEntry()中。
時控式中繼資料軌道，介紹在ISO國際標準媒體檔案格式之修正案1中，係包含有一些可說明相關聯之媒體或線索軌道的樣本。上述時控式中繼資料軌道有關的不同樣本格式係可被指示，以及該時控式中繼資料軌道所用之格式，係可藉由參照一個四字符碼所識別之特定樣本進入點語法而被識別。上述時控式中繼資料軌道的樣本，係與一些時間戳記相關聯，以及因而係與上述被參照之軌道中的對應時間戳記之樣本相關聯。
上述ISO國際標準媒體檔案格式之修正草案2，係包含有三個主要特徵，藉以擴充該ISO國際標準媒體檔案格式。首先，其係明訂一些有助於透過一些類似ALC和FLUTE等檔案遞送通訊協定來遞送儲存在一個ISO國際標準媒體檔案之中繼資料方塊內的檔案之結構。特言之，該修正案提供之功能性，係可儲存檔案之預先計算的FEC編碼，以及可使用促使檔案成為ALC/FLUTE封包之封裝的伺服器指令，來界定線索軌道。第二，該修正案2明訂了一種方法，來提供一些被認定共用一個常用頻寬資源的可縮放式或他型位元流之間的目標比率方面之時間相依性資訊。此資訊係被稱作合成之位元率縮放資訊。第三，該修正案亦明訂如何納入一些可將他型和/或補充性資訊承載至一個檔案內之中繼資料方塊的附加之中繼資料方塊。
草案ISO國際標準媒體檔案格式修正案2中的合成之位元率縮放資訊，係基於兩個基本假設：1.其係假定，一條應可透過其傳達合成之媒體(例如，聲頻和視頻)的頻道之總位元率，係受限於某一定之常數，或者係時間之逐段式常數函數。然而，與其指示特定之總位元率的最佳音頻視頻位元率共用，某些應用例將得利於穩定之音頻視頻品質或經驗所造成的調適路徑之指示符。舉例而言，若在廣播應用例中使用統計多工技術，則一個個別之音頻視頻服務的位元率，係被容許改變，以便維持一個穩定之品質。同時，一個多工器橫跨所有音頻視頻服務之總位元率，應使保持不變。傳統上，用以維持一個穩定品質之位元率共用資訊，係無法被指示。
2.僅有軌道間之目標位元率共用被給定。然而，並無有關如何藉由調適來獲得上述指示之目標位元率共用的線索或”大全”指令被給定。結果，由於可縮放性媒體之調適，係具有許多可能性，例如，由於圖框率縮放或品質縮放所致，不同實現體中之調適程序的結果會炯然不同。所以，上述草案ISO國際標準媒體檔案格式修正案2之合成位元率縮放資訊的價值會被降低。
誠如上文所說明，SVC係利用單迴路解碼，亦即，參照圖像僅就最大解碼層加以解碼。結果，任意部位處的層間之交換係屬不可能，因為要被交換之層的參照圖像並未被解碼。一個層交換點的存在，可自SVC NAL單元標頭推斷出，但傳統式系統中並不存在可指示上述SVC檔案格式結構之交換點的機構。此外，若某一定臨界值simple_priority_id以上之SVC NAL單元被移除，一個編碼之影像串列便依然有效。然而，若該simple_priority_id臨界值，在一個影像串列之中途(亦即，在IDR存取單元之間)被改變，有關位元流之有效性，便無法提供保證。
 發明概要
本發明提供了一種供可縮放性媒體編碼系統與方法使用之檔案格式結構，其中，有一個位元率共用運作方塊，可指示被編碼之媒體有關的何者調適運作點，在一個檔案中係屬可得。該位元率共用運作方塊，可包括有每個調適運作點有關之調適結果的特徵。此外，該位元率共用運作方塊，可包括有一個識別碼，其可指示在每個調適運作點之產生中，使用的是何種演算法。
所以，任何一個處理具有一個位元率共用運作方塊之檔案的單元，係可基於該單元之限制條件和能力與上述調適運作點之特徵如何匹配，或者可基於上述調適運作點計算所需之演算法，來選擇一個希望之調適運作點。位元率共用資訊在提供上，可使其能夠被利用來維持一個媒體位元流中的穩定音頻視頻品質。此外，可縮放性媒體依據以圖框率縮放和品質縮放為例之調適所成就的媒體，係更具有一致性。
本發明之此等和其他優點和特徵，配合其組織和運作方法，將可由下文參照所附諸圖之詳細說明而臻明確，其中，遍及下文所說明之各圖，類似元件係具有類似之數字。
圖式簡單說明
第1圖係一個可顯示SVC媒體資料如何被儲存進一個檔案中之代表圖；第2圖係顯示本發明所使用之一般性多媒體通訊系統；第3圖係一個可被使用在本發明之實現體中的行動電話之透視圖；第4圖係第2圖之行動電話的電話電路之示意圖；第5圖係顯示一個可指示音頻/視訊位元率共用為時間的一個函數之曲線圖；而第6圖則係顯示一個可指示音頻位元率共用為可用位元率的一個函數之曲線圖。
 較佳實施例之詳細說明
本發明提供了一種檔案格式結構，本說明係稱作一種”位元率共用運作方塊”，其可指示編碼之媒體在一個檔案中有何種調適運作點可用。
第1圖係顯示一個可隨本發明一起使用之一般性多媒體通訊系統。誠如第1圖中所示，一個資料源100，可提供一個成類比格式、未經壓縮之數位格式、或經壓縮之數位格式、或此等格式的任何組合的來源信號。一個編碼器110可將該來源信號，編碼成一個被編碼之媒體位元流。該編碼器110，可能有能力解碼超過一個的媒體型別，諸如聲頻和視頻，或者可能需要有超過一個的編碼器110，來編碼不同媒體型別之來源信號。該編碼器110亦可能取得以合成方式產生之輸入，諸如圖形和本文，或者其可能有能力產生合成式媒體之編碼位元流。下文中，為簡化說明計，僅考慮一種媒體型別之編碼式媒體位元流的處理。然而，理應注意的是，即時廣播服務通常係包含有數種位元流(通常至少有一個聲頻、視訊、和本文字幕位元流)。亦應注意的是，該系統可能包括有許多編碼器，但在下文中為簡化說明而不失一般性，僅有一個編碼器110被考慮。
上述被編碼之媒體位元流，係被轉移至一個儲存器120。此儲存器120可能由任何類型用以儲存上述編碼之媒體位元流的大容量記憶體所組成。該儲存器120內的被編碼之媒體位元流的格式，可能是一種基本自足式位元流格式，或者一個或多個被編碼之媒體位元流，可能被封裝進一個容器檔案內。某些系統係”現場”運作，亦即，省略儲存器而使上述被編碼之媒體位元流，直接自該編碼器110轉移至一個發送器130。上述被編碼之媒體位元流，接著係依需要使轉移至上述之發送器130，其亦被稱作伺服器。上述傳輸中所用之格式，可能是一種基本自足式位元流格式或一種封包位元流格式，或者一個或多個被編碼之媒體位元流，可能被封裝進一個容器檔案內。該等編碼器110、儲存器120、和發送器130，可能存在於同一實體裝置內，或者彼等可能被裝在分開的裝置中。該等編碼器110和發送器130，可能以現場即時內容來運作，在該情況中，上述被編碼之媒體位元流，通常係不被永久儲存，而是有一段短暫時間緩衝儲存在該內容編碼器110內，以及/或者在該發送器130內，藉以平順化處理延遲、轉移延遲、和編碼之媒體位元率中的變動。
該發送器130可使用一個通訊協定堆疊器，傳送上述編碼之媒體位元流。該堆疊器可能包括有非受限之即時傳輸協定(RTP)、使用者資料流協定(UDP)、和網際網路協定(IP)。當該通訊協定堆疊器係屬封包取向時，該發送器130便會將上述編碼之媒體位元流，封裝成一些封包。舉例而言，當使用RTP時，該發送器130便會依據一個RTP酬載格式，將上述編碼之媒體位元流，封裝成RTP封包。通常，每個媒體型別係具有一個專屬性RTP酬載格式。再次應注意的是，一個系統可能包含有超過一個的發送器130，但為簡單計，下文之說明僅考慮一個發送器130。
該發送器130可能會或可能不會透過一個通訊網路，使連接至一個閘道器140。此閘道器140可能會執行不同型別之功能，諸如依據一個通訊協定堆疊器對另一個通訊協定堆疊器來轉譯一個封包串流、合併及岔分資料串流、以及依據下行鏈路和/或接收器之能力來處置資料串流，諸如依據盛行之下行鏈路網路條件，來控制轉發之位元流的位元率。閘道器140之範例係包括：多點視訊會議控制伺服器(MCU)、電路交換式與封包交換式視訊電信間之閘道器、即按即說(PoC)伺服器、數位視訊廣播手持式(DVB－H)系統中之IP封裝器、或一些轉發本地廣播傳輸至家用無線網路的數位視訊轉換器。當使用RTP時，該閘道器140係被稱作一個RTP混合器，以及係作用為一個RTP連結之端點。
該系統係包括有一個或多個接收器150，彼等通常可接收、解調、及解封上述傳輸之信號，使成為一個被編碼之媒體位元流。該編碼解碼媒體位元流，通常會受到一個解碼器160之進一步處理，後者之輸出係一個或多個未經壓縮之媒體位元流。最後，一個播放器170舉例而言，可能使用一個擴音器或一個顯示器，來重現上述未經壓縮之媒體位元流。該等接收器150、解碼器160、和播放器170，可能存在於同一實體裝置中，或者彼等可能被裝在分開的裝置中。
位元率、解碼複雜性、和圖像尺寸方面之可縮放性，係混雜且易生錯誤之環境所希望的性質。此性質係有利於對抗某些限制，諸如一個接收裝置中之位元率、顯示器解析度、網路位元流量、和計算能力方面的局限性。
本發明之通訊裝置，可能使用各種傳輸技術來通訊，彼等係包括有非受限之碼分多址系統(CDMA)、全球行動電話系統(GSM)、全球行動電話系統(UMTS)、時分多址系統(TDMA)、頻分多址系統(FDMA)、傳輸控制協定/網際網路協定(TCP/IP)、簡訊服務(SMS)、多媒體訊息服務(MMS)、電子郵件服務、即時訊息服務(IMS)、籃芽、IEEE 802.01、等等。一個通訊裝置可能使用各種媒體來通訊，彼等係包括有非受限之無線電、紅外線、雷射、電纜連結、等等。
第3和4圖係顯示一個可在其中實現本發明之代表性行動電話12。然而，理應瞭解的是，本發明並非預期受限於一個特定型別之行動電話12或其他電子裝置。第3和4圖中所描繪之某些或所有特徵，可使合併進第2圖中所表示之任何一個或所有裝置內。
第3和4圖之行動電話12係包括有：一個外殼30、一個成液晶顯示器形式的顯示器32、一個按鍵區34、一個麥克風36、一個耳機38、一個電池40、一個紅外線接口42、一個天線44、一片形式為依據本發明的一個實施例之UICC的智慧卡46、一個讀卡器48、一個無線電介面電路52、一個編碼解碼電路54、一個控制器56、和一個記憶體58。個別的電路和元件，係所有為本技藝所習見之型別，舉例而言，在行動電話之諾基亞家族中。
當可縮放性媒體位元流之組合體，透過一個具有一個局限性頻寬之頻道遞送時，其便有需要提供設備，來指示如何動態地執行自所有聯合遞送之媒體擷取出資料部分。所以，一個內含一個或多個可縮放性媒體位元流之檔案，係被修改使亦保有位元率共用資訊。此位元率共用資訊之目的，係用來通知一個伺服器，應如何在任何一個時刻下自每個可縮放性媒體位元流擷取出媒體。此可使該伺服器能以一種受控或被建議之方式來縮放媒體，因而促成基本媒體位元流之產生。
時控式位元率共用資訊，可藉由使部份之媒體(例如，時間範圍)，與一些用以指示一個目標位元率共用值之位元率資訊記錄相聯結，而使加至媒體軌道中所儲存之可縮放性媒體串流。該目標位元率共用值，可指示可用之位元率應分配給討論中之媒體的目標百分比。在最簡單之實況中，如第5圖中所例示每個媒體和時間範圍，僅有一個目標位元率共用值被指示。
然而，為容納一些會隨可用位元率而改變之位元率共用值，其係有可能明訂超過一個的運作範圍。舉例而言，其可指示一個音頻位元流部分在低可用位元率下係需要較高百分比之可用位元率(超過視頻)。此係藉由明訂兩個如第6圖中所顯示之運作點來完成。
第6圖中的每個運作點，可明訂一個目標位元率共用。就較複雜之情形而言，其亦有可能明訂出更多之運作點。此外，第一和最後之運作點，係分別明訂該等點處加上有關較低和較高可用位元率的一個目標位元率共用。兩個運作點間之目標位元率共用，係明訂應在該等運作點之目標位元率共用間的範圍內。舉例而言，以線性內插法，兩個運作點間之目標位元率共用係有可能被估計。
誠如上文注意到的是，本發明提供了一種檔案格式結構，本說明書稱作一個”位元率共用運作方塊”，其係用以指示上述編碼之媒體在一個檔案中有何者調適運作點可用。一個調適運作點，係明訂如何藉由選擇該等一個或多個編碼之媒體位元流的何者部分被處理，來縮放一個由一個或多個編碼之媒體位元流所組成的編碼之多媒體短片。該等一個或多個編碼之媒體位元流的處理，可包括有以下之一個或多個：由上述被縮放之媒體位元流的傳輸封包、傳輸、和解碼所組成。
此外，該位元率共用運作方塊，可包括有每個調適運作點有關之調適結果的特徵，諸如該調適是否產生所有相聯結之軌道間被共用的一個希望之總位元率，或者該調適在每個相聯結之軌道處產生的品質是否穩定。此外，該位元率共用運作方塊，亦可包含有一個可指示何種演算法被用來產生每個調適運作點之識別碼。一個適性運作點，亦對應於與此調適運作點相聯結之每條軌道的一條調適路徑。一個調適運作點和一條特定之調適路徑，可在該位元率共用運作方塊內被特徵化，舉例而言，按照該調適路徑可達成之最小和最大位元率、調適所用的軸線，諸如圖像之空間調適、圖像之品質調適、圖像率調適、或彼等之任何組合。本發明的一個實施例，係以一個位元率共用運作方塊之形式，遵循ISO國際標準媒體檔案格式中所使用之虛擬碼標記，而呈現在下文中。一個影片方塊(Movie box(‘moov’))係包含有如下界定之零或一位元率共用運作方塊(‘rsop’)。
aligned(8)class RateShareOperationBox extends FullBox(‘rsop’,version＝0,0){ unsigned int(16)operation_point_count； for(i＝1；i<＝operation_point_count；i＋＋){ unsigned int(32)operation_description； unsigned int(32)track_count； for(j＝1；j<＝track_count；j＋＋){ int(32)track_id； unsigned int(15)adaptation_path_id； unsigned int(1)reserved； unsigned int(32)rate_adaptation_algorithm； unsigned int(32)num_constants_in_adaptation_path； for(k＝1；k<＝num_constants_in_adaptation_path；k＋＋) unsigned int(32)constant_list； } if((operation_description & 1)＝＝1){ unsigned int(32)minimum_bitrate； unsigned int(32)maximum_bitrate； } } }
該位元率共用運作方塊內之語法元素的語義係如下：operation_point_count係一個給定運作點之數目的整數。
operation_description係指示此運作點之位元率調適運作的輸出特徵。operation_description有關之旗標係明訂如下：0x1所有相聯結之軌道的累積輸出位元率，係使固定至該可用位元率。
0x2每個相聯結之軌道的主觀品質，在遍及該軌道期間係保持相類似。
track_count係指示與此運作點相聯結之軌道的數目。若track_count等於1，則有關此運作點所傳訊之資訊，係規定上述單一被識別之軌道內所包含的單一媒體有關之調適規則。若track_count大於1，以及所有被指示之軌道，係包含有相同之媒體型別，則有關此運作點所傳訊之資訊，仍係描述該等多重被識別之軌道內所包含有關該單一媒體型別之調適規則。
track_id係指示與該運作點相聯結之軌道的track_ID。
adaptation_path_id將為零，若該track_id不參照一個內含通用可縮放性媒體中繼資料之時控式中繼資料軌道。或者，adaptation_path_id係指示何者調適路徑應被使用在此運作點中。
rate_adaptation_algorithm等於0，係指示任何相聯結之軌道並無調適要被完成，而是相聯結之軌道的所有樣本應做如下之處理。若該相關聯之軌道為一條線索軌道，一些對應於所有線索樣本之封包便應使產生。若該相聯結之軌道為一條SVC媒體軌道，所有樣品，包括該等可能之擷取器NAL單元，便應加以剖析。就任何其他之軌道而言，所有樣本應被正常剖析。此處理之輸出，將遵從上述運作點依此運作方塊中所指示之特徵。ate_adaptation_algorithm等於1，係指示一個未知之調適演算法，應被用來取得上述位元率共用樣本群組所指示之目標位元率共用。
rate_adaptation_algorithm的其他值，並未被明訂在此規範內，但可識別上述被用來取得該等參照通用可縮放性媒體中繼資料軌道中之調適路徑的演算法。
num_constants_in_operation_points，係明訂在此調適路徑中保持不變之特徵的數目。
constant_list係一個四字符碼，其係隱含地指向一些明訂此調適路徑之不變特徵的運作方塊或結構。該等四字符碼係包括彼等為SVC之軌道選擇方塊而明訂者。此constant_list可促成依據正在播放檔案或正在接收依據該檔案中所包含之線索軌道所組成的封包串流之裝置和/或軟體的能力，來選擇一個適當之運作點。
minimum_bitrate係一個用以指示此運作點應該應用之最小累積位元率的非零值(每秒仟位元)。
maximum_bitrate係一個用以指示此運作點應該應用之最大累積位元率的非零值(每秒仟位元)。
誠如上文所說明，該目標位元率共用，係指示應分配給討論中之媒體的可用位元率之目標百分比。在此分配之下，該等最大和最小位元率，係被用來明訂邊界。最大位元率給定上述明訂之媒體和時間有關的可用位元率之上限。或者，其可被用來提供一個屬該項分配之位元率為該媒體的一個優先選擇權有關之上臨界值。最小位元率係指示一個被認為係屬有用之較小臨界值。舉例而言，若上述分配之位元率降至低於該最小位元率值，上述對該伺服器之建議，便是全然不分配任何位元率給該媒體。該位元率則會或分給其他之媒體位元流，或分給一個若有之他型位元流。上述有關位元率共用資訊之取樣群組機構，可被用來指示軌道間的一個目標位元率共用。上述相對該目標位元率而使該等軌道薄形化之演算法並未被明訂。若一個運作點中之track_id，係有關一個不屬一個內含通用可縮放性媒體中繼資料之時控式中繼資料軌道之軌道，此軌道可能包含有如此節所指定之樣本群組。該取樣群組機構所界定之位元率共用資訊，係適用於一個媒體樣本之延續期間。然而，由於該同位元率共用資訊，很可能被應用至一個軌道的許多連續樣本，以及或許將會僅在二個或三個不同紀錄之間有變化，位元率共用資訊，可藉由使用樣本群組，便有效率地儲存進一條軌道中。一條軌道的每個樣本，可能使聯結至許多樣本群組說明內容中的(零個或)一個，彼等各係界定一個位元率共用資訊紀錄。該樣本群組說明內容，係包含有上述相聯結之樣本所隸屬的運作點之識別碼。
一個裝置、一個軟體程式、一個組件、或任何其他用以處理具有一個位元率共用運作方塊之檔案的適當單元，可選擇一個希望之調適運作點。此所做之選擇所依據的是，該裝置和該潛在可能之接收單元的限制條件和能力，如何匹配該調適運作點或該調適運作點計算所依據的希望之演算法的特徵。
選擇一個調適運作點有關之範例性系統，係說明如下。一個位元流伺服器，係有權使用一個內含一個位元率共用運作方塊之檔案。此檔案係包含有一個不可縮放性音頻位元流和一個可縮放性視頻位元流，後者係可依據品質加上時間而被縮放。該兩調適運作點，係被指示在該位元率共用運作方塊中，兩者之目標在於，使音頻和視頻之間，共用一個總位元率。每個調適運作點，係參照一對線索軌道，一個有關音頻之線索軌道，和另一個有關視訊之線索軌道。該位元率共用運作方塊係指示，在第一調適運作點中，該視訊係在時間上被縮放，而品質方面之縮放，係被使用在該第二調適運作點中。一個一對一(亦即，單點廣播)位元流會期，會在一個接收端與伺服器之間建立。時間和品質方面兩者之選項，係由該伺服器宣告給該接收端。該接收端單元，可包含有一個使用者介面交換器，藉以選擇該使用者之偏愛，所偏愛的是圖框率(時間縮放)或是圖像逼真度(品質縮放)。基於該使用者之選擇，該接收端單元，可將何者調適路徑應被遵循指示給該伺服器。該伺服器接著可依據該接收端所指示的適當之線索軌道和調適路徑來建立封包。
彼等調適路徑係以一種被稱作通用可縮放性媒體中繼資料軌道之檔案格式結構來傳訊。一個通用可縮放性媒體中繼資料軌道，係聯結至一個編碼之媒體位元流(媒體軌道)或一個內含結構之線索軌道，藉以形成來自一個編碼之媒體位元流的傳輸封包。換言之，一個通用可縮放性媒體中繼資料軌道，係包含有”大全”指令，其可被利用來使一個參照之軌道薄形化至一個希望之位元率或品質。解碼一個通用可縮放性媒體中繼資料軌道，可產生一些調適之樣本。若自一個通用可縮放性媒體中繼資料軌道所參照之軌道，係一條線索軌道，該等調適之樣本，便屬有效之封包酬載。若該參照之軌道係一條媒體軌道，該等調適之樣本，便屬有效之媒體樣本，諸如編碼之圖像、或視訊之存取單元、或編碼之音頻訊框。該通用可縮放性媒體中繼資料軌道的一個實施例，係提供在下文中。一個通用可縮放性媒體中繼資料軌道，係一個時控式中繼資料軌道，其在該媒體方塊中係以’meta’metahandler_type來識別。該時控式中繼資料軌道，係藉由在該媒體資訊方塊內納入一個通用可縮放性媒體中繼資料標頭方塊，而進一步被特徵化為一個通用可縮放性媒體中繼資料軌道。該通用可縮放性媒體中繼資料標頭方塊，係包含有一個如下文所指示與該軌道相關之通用資訊：aligned(8)class GenericScalableMediaMetadataHeaderBox extends FullBox(‘gshd’,version＝0,1){ unsigned int(15)num_adaptation_paths； unsigned int(1)reserved； for(i＝1；i<＝num_adaptation_paths；i＋＋){ unsigned int(15)adaptation_path_id； unsigned int(1)truncation_flag； } }
num_adaptation_paths係指示該軌道提供了多少條調適路徑。
adaptation_path_id係有關該位元率共用運作方塊中被特徵化之調適路徑，以及可識別該調適路徑。
truncation_flag等於1係指示，某些樣本中標記有此調適路徑識別碼之某些部分係可被截除。truncation_flag等於0係指示，任何之樣本中並無標記有此調適路徑識別碼之部分可被截除。
一個通用可縮放性媒體中繼資料軌道之樣本進入點，係指示如下：class GenericScalableMediaMetadataSampleEntry()extends MetadataSampleEntry(‘gsmm’){ unsigned int(2)log2_num_parts_minus_one； unsigned int(2)log2_num_paths_minus_one； unsigned int(2)log2_offset_minus_one； unsigned int(2)log2_size_minus_one； }
該樣本進入點之欄位，係被用來明訂該軌道有關之樣本結構所使用的語法元素之大小(分別對應於該等欄位之值0、1、2、和3的8、16、24、或32位元)。
該通用可縮放性媒體中繼資料軌道中的一個樣本，係使用以下之結構：aligned(8)generic_scalable_media_metadata_sample(sampleSize){ unsigned int((log2_num_parts_minus_one＋1)*8)num_parts； for(i＝1；i<＝num_parts；i＋＋){ unsigned int((log2_num_paths_minus_one＋1)*8－1)num_paths_whole_part； unsigned int(1)truncatable_part_flag； for(j＝1；j<＝num_paths_whole_part；j＋＋){ unsigned int(15)path_id_whole_part； unsigned int(1)reserved； } if(num_paths_whole_part>0){ unsigned int((log2_offset_minus_one＋1)*8)offset_whole_part； unsigned int((log2_size_minus_one＋1)*8)num_bytes_whole_part； } if(truncatable_part_flag＝＝1){ unsigned int((log2_num_paths_minus_one＋1)*8－1)num_partitionigs； unsigned int(1)reserved； for(k＝1；k<＝num_partitionings；k＋＋){ unsigned int((log2_num_paths_minus_one＋1)*8－1)num_paths； unsigned int(1)reserved； for(m＝1；m<＝num_paths；m＋＋){ unsigned int(15)path_id； unsigned int(1)reserved； } unsigned int(8)num_subparts； for(m＝1；m<＝num_subparts；m＋＋){ unsigned int((log2_offset_minus_one＋1)*8)offset； unsigned int((log2_size_minus_one＋1)*8)num_bytes； unsigned int(7)reserved； unsigned int(1)free_truncation_flag； } } } } }
該通用可縮放性媒體樣本進入點，係包含有log2_num_parts_minus_one、log2_num_paths_minus_one、log2_path_id_minus_one、log2_offset_minus_one、和log2_size_minus_one之值。
該中繼資料樣本，在參照媒體或線索軌道(在解碼時間大)中，係暫時對齊該等樣本。每個中繼資料樣本(亦稱作一個調適樣本)係使聯結至對應之調適樣本，其係導自上述初始調適之樣本如下。
該初始調適之樣本，可使導自上述編碼之媒體樣本，或可使導自上述與一個調適樣本相聯結之線索樣本。當該相聯結之軌道，為一個媒體軌道時，一個初始調適之樣本，便係導自一個相聯結之媒體樣本。若該媒體樣本並不包含彼等如SVC檔案格式內所指定之集結器或擷取器NAL單元，該初始調適之媒體樣本，便係與該媒體樣本相同。否則，便將該等擷取器NAL單元所參照之資料，嵌至該初始調適之樣本，以代替擷取器NAL單元，彼等集結器NAL單元有關之標頭會被移除，以及該初始調適之樣本的任何其餘部分，係包含該媒體樣本原本之資料。當該相聯結之軌道，為一個線索軌道時，該初始調適之媒體樣本，便係導自該相聯結之線索樣本。該初始調適之樣本，係與上述使用該樣本之酬載建構器所產生的封包酬載相同。
一個調適樣本係包含有每條調適路徑有關之資訊，其中，該初始調適之樣本，有部份係包括在上述調適之樣本內。彼等部份之指示，可由該初始調適之樣本內的位元組範圍之列表來指示。使用位元組範圍，使得其解可忽略該媒體樣本或封包酬載之語法，以及因而可應用至任何一種編碼或封包酬載格式。若該位元組範圍，係可自上述指示之範圍的開端起自由地截取至任何一個長度，一個調適樣本，便可能亦包含有每個被指示之位元組範圍的指示符。該通用可縮放性媒體中繼資料所呈現之樣本結構，可使上述初始調適之樣本被指示的位元組範圍，映射至一個調適之樣本。不同之位元組範圍，可就不同之調適路徑加以指示。某一定之位元組範圍，是否可自由地被截取，亦可被指示，亦即，自該位元組範圍之開端起的任何數目之位元組，可使包含在上述調適之樣本中。該通用可縮放性媒體中繼資料軌道有關之樣本結構的語義係如下：num_parts係指示該初始調適之樣本中的部分之數目。一個部分之明確定義並未給定，但其通常為該初始調適之樣本內對應於一個類似可縮放視頻中之編碼的圖像之預測參照單位的位元組範圍。
num_paths_whole_part係指示該整個部分被包含在內之調適路徑的數目。
truncatable_part_flag等於0，係指示該部分無法被截取。
truncatable_part_flag等於1，係指示該部分至少有一子部分可被截取。
path_id_whole_part係指示有關該部分如該位元率共用運作方塊中所導入之調適路徑識別碼。
offset_whole_part係指示該部分相對上述初始調適之樣本而開始的位元組偏距。上述初始調適之樣本的第一位元組偏距係具有值0。
num_bytes_whole_part係指示該部分中所包含之位元組的數目。
num_partitionings係指示一個部分被分割成子部分的分割數目。每一種將一個部分分離成一些子部分的獨一方式係做為一個分割。舉例而言，若一個部分係對應於一個細粒狀可縮放性圖像，以及其中有兩條調適路徑被指示，而容許位元率縮放分別在上述圖像之總尺寸的50至100%與80至100%之範圍內，則該部份將具有兩個分割。在其第一分割中，一個對應於上述圖像之尺寸的50%之位元組範圍的子部分，將會以free_truncation_flag等於0來指示，以及該圖像之其餘子部分，將會以free_truncation_flag等於1來標記。該第二分割有關之子部分，將會以類似方式來指示。
num_paths係指示共用一個部分成子部分之同一分割的調適路徑之數目。
path_id係指示就如該位元率共用運作方塊中所導入之分割所指定的子部分有關之調適路徑識別碼。
num_subparts係指示子部分之數目。一個子部分並未給定明確之定義，但其係一個舉例而言對應於一個細粒度可縮放性編碼之切片的切片標頭和切片資料之部分內的一個位元組範圍。
offset係指示該子部分相對上述初始調適之樣本而開始的位元組偏距。上述初始調適之樣本的第一位元組偏距係具有值0。
num_bytes係指示該子部分中所包含之位元組的數目。
free_truncation_flag等於0，係指示該子部分不應被截取。free_truncation_flag等於1，係指示該子部分可能藉由排除自該子部分之尾端起的樣本使截取至任何之長度。
一個調適之樣本係被建立如下。令currPathId等於上述希望之調適路徑有關的識別碼。就一個含有上述希望之調適路徑有關的資料之樣本而言，誠如位元率共用資訊樣本群組所指示，以下之程序會被執行。就每個指示之部分而言，path_id_whole_part之列表，係首先與currPartId相比較。若其中有一個path_id_whole_part值與currPartId相等，則offset_whole_part和num_bytes_whole_part之值所指示的整個部分，便使包含在該調適之樣本中。若其中並無path_id_whole_part之值等於currPartId，以及truncatable_part_flag係等於1，便會有一個對子部分指示之分割的迴路被執行，直到有一個path_id值等於currPathId被找出為止。接著，每個由偏距和num_bytes之值所指明的子部分，係使包含在該調適之樣本中。若為滿足一個特定之位元預算，該調適之樣本需要進一步被截取，舉例而言，free_truncation_flag等於1有關之子部分，便被截取至一個希望之長度。該調適之樣本形成了一個調適之軌道。若上述參照之軌道為一條線索軌道，該等調適之樣本，便為有效之封包酬載。若該參照之軌道為一條媒體軌道，該等調適之樣本，便為有效之媒體樣本。
理應注意的是，視頻編碼中之編碼的樣本，通常係一些編碼之圖像或存取單元。音頻中之編碼的樣本，通常係一些編碼之音頻訊框。此外，誠如上文所說明，若該simple_priority_id臨界值，在一個編碼之視訊序列中間(亦即，在IDR存取單元之間)有改變，有關位元流之有效性便無法提供保證。本發明中所提議之調適路徑得到的是同樣之結果。為指示調適路徑間之有效交換點，調適路徑交換點有關之取樣群組機構，會被用來指示該等可被用來在調適路徑間交換之調適樣本。此種取樣群組機構的需要，係由以下之事實引起，SVC係利用單迴路解碼，亦即，參照圖像係僅就最大被解碼之層加以解碼。結果，層間之交換係不可能在任意之部位處，因為在某些部位處，上述要被交換之層的參照圖像並未被解碼。此種取樣群組機構，因而可被使用來指示層交換點，或者更一般性是在調適路徑間之交換點。
若該調適路徑交換樣本群組說明存在，一條軌道的每個樣本，便會映射至下文所指明的一個調適路徑交換點進入點。上述群組型別’tpsw’)有關之零或一的樣本對群組之方塊(‘sbgp’)，可使包含在一個通用可縮放性媒體中繼資料軌道之樣本表方塊(‘stbl’)中。該調適路徑交換點樣本群組進入點係界定如下：class AdaptationPathSwithPointEntry()extends SampleGroupDescriptionEntry(‘tpsw’) { unsigned int(8)num_refresh； for(i＝1；i<＝num_refresh；i＋＋){ unsigned int(15)refresh_adaptation_path_id； unsigned int(1)reserved； } }
該調適路徑交換點樣本群組進入點之語義係如下：num_refresh係指示當有任何一個調適路徑先前被用來產生調適之樣本時，可在此樣本下被交換至之調適路徑的數目。
refresh_adaptation_path_id係指示當有任何一個調適路徑先前被用來產生調適之樣本時，可被交換至之調適路徑有關的識別碼。
本發明在說明上，係在一些一般性之方法步驟的背景環境中，彼等在一個實施例中的實現，可能係借助於聯網環境中之電腦所執行的一種內含類似程式碼等電腦可執行式指令之程式產品。通常，彼等程式模組係包括：共用常式、程式、物件、組件、資料結構、等等，彼等可執行一些特定之任務，或實現一些特定之抽象資料類型。電腦可執行式指令、相關聯之資料結構、和程式模組，係代表一些用以執行本說明書所揭示之方法步驟的程式碼之範例。此類可執行式指令或相關聯之資料結構的特定序列，係代表一些用以實現此種步驟中所說明之功能有關的對應動作之範例。
本發明之軟體和網路實現體，可使用一些具有規則立基式(rule based)邏輯和其他用以完成各種資料庫搜尋步驟、相互關聯步驟、比較步驟、和判定步驟之邏輯的標準程式規劃技術來完成。亦應注意的是，本說明書和申請專利範圍內所使用之”組件”和”模組”之詞，係預期涵蓋一些使用一行或多行軟體碼、和/或硬體實現體、和/或用以接收人工輸入之設備的實現體。
本發明之實施例的前文說明，業已就例示和說明之目的加以呈現。其並非屬盡舉意，或使本發明局限至所揭示之精確形式，以及有些修飾體和變更形式，依據以上之授義內容係屬可能，或者可能因本發明之實務而獲致。該等實施例在選擇及說明上，係為解譯本發明之原理和其實際應用，而使本技藝之專業人員，能夠在各種實施例中利用本發明與各種適合所預期之特定用途的修飾體。
12．．．行動電話
30．．．外殼
32．．．顯示器
34．．．按鍵區
36．．．麥克風
38．．．耳機
40．．．電池
42．．．紅外線接口
44．．．天線
46．．．智慧卡
48．．．讀卡器
52．．．無線電介面電路
54．．．編碼解碼電路
56．．．控制器
58．．．記憶體
100．．．資料源
110．．．編碼器
120．．．封包
130．．．發送器
140．．．閘道器
150．．．接收器
160．．．解碼器
170．．．播放器
第1圖係一個可顯示SVC媒體資料如何被儲存進一個檔案中之代表圖；第2圖係顯示本發明所使用之一般性多媒體通訊系統；第3圖係一個可被使用在本發明之實現體中的行動電話之透視圖；第4圖係第2圖之行動電話的電話電路之示意圖；第5圖係顯示一個可指示音頻/視訊位元率共用為時間的一個函數之曲線圖；而第6圖則係顯示一個可指示音頻位元率共用為可用位元率的一個函數之曲線圖。

Claims (20)

  1. 一種用以產生檔案之方法，其包含：產生一個內含一個可縮放性媒體位元流和相關聯之資料的檔案；以及產生與一些包含在該相關聯之資料中的調適運作點有關之資訊，其中，與該等調適運作點有關之資訊，係包含用以產生每個該等調適運作點之演算法之一指示，及每個調適運作點之調適結果的一特徵化。
  2. 如申請專利範圍第1項之方法，其中，與該等調適運作點有關之資訊，進一步包含有一個用以指示存在於該檔案中之調適運作點的數目之元素。
  3. 如申請專利範圍第1項之方法，其中，與該等調適運作點有關之資訊，進一步包含有一個用以指示每個調適運作點所造成之輸出特徵的operation_description變數。
  4. 如申請專利範圍第1項之方法，其中，與該等調適運作點有關之資訊，進一步包含有一個用以指示一條與每個調適運作點相聯結之調適路徑的元素。
  5. 一種電腦程式產品，其包含一個非暫時性電腦可讀取式儲存媒體及儲存於其內之電腦程式指令，該等電腦程式指令包含組配來進行下列步驟之程式指令：產生一個內含一個可縮放性媒體位元流和相關聯之資料的檔案；以及產生與一些包含在該相關聯之資料中的調適運作點有關之資訊，其中，與該等調適運作點有關之資訊， 係包含用以產生每個該等調適運作點之演算法之一指示，及每個調適運作點之調適結果的一特徵化。
  6. 如申請專利範圍第5項之電腦程式產品，其中，與該等調適運作點有關之資訊，進一步包含有一個用以指示存在於該檔案中之調適運作點的數目之元素。
  7. 如申請專利範圍第5項之電腦程式產品，其中，與該等調適運作點有關之資訊，進一步包含有一個用以指示每個調適運作點所造成之輸出特徵的operation_description變數。
  8. 如申請專利範圍第5項之電腦程式產品，其中，與該等調適運作點有關之資訊，進一步包含有一個用以指示一條與每個調適運作點相聯結之調適路徑的元素。
  9. 一種檔案產生器，其係被配置來產生一個內含一個可縮放性媒體位元流和相關聯之資料的檔案，此種產生器係包含有：一個處理器；和一個記憶體單元，其係以運作方式連接至該處理器，以及一個編碼器，其係用以產生與一些包含在該相關聯之資料中的調適運作點有關之資訊，其中，與該等調適運作點有關之資訊，係包含用以產生每個該等調適運作點之演算法之一指示，及每個調適運作點之調適結果的一特徵化。
  10. 如申請專利範圍第9項之檔案產生器，其中，與該等調 適運作點有關之資訊，進一步包含有一個用以指示存在於該檔案中之調適運作點的數目之元素。
  11. 如申請專利範圍第9項之檔案產生器，其中，與該等調適運作點有關之資訊，進一步包含有一個用以指示每個調適運作點所造成之輸出特徵的operation_description變數。
  12. 如申請專利範圍第9項之檔案產生器，其中，與該等調適運作點有關之資訊，進一步包含有一個用以指示一條與每個調適運作點相聯結之調適路徑的元素。
  13. 一種用以剖析檔案的方法，其包含：剖析一個內含一個可縮放性媒體位元流和相關聯之資料的檔案；由上述相關聯之資料，來剖析與該等調適運作點有關之資訊，其中，與該等調適運作點有關之資訊，係包含用以產生每個該等調適運作點之演算法之一指示；依據彼等調適運作點方面之資訊，來選擇一個調適運作點，及每個調適運作點之調適結果的特徵化；以及依據該調適運作點來剖析該檔案。
  14. 如申請專利範圍第13項之方法，其中，與該等調適運作點有關之資訊，進一步包含有一個用以指示存在於該檔案中之調適運作點的數目之元素。
  15. 如申請專利範圍第13項之方法，其中，與該等調適運作點有關之資訊，進一步包含有一個用以指示每個調適運作點所造成之輸出特徵的operation_description變數。
  16. 如申請專利範圍第13項之方法，其中，與該等調適運作點有關之資訊，進一步包含有一個用以指示一條與每個調適運作點相聯結之調適路徑的元素。
  17. 一種電腦程式產品，其包含一個非暫時性電腦可讀取式儲存媒體及儲存於其內的電腦程式指令，該等電腦程式指令包含組配來進行下列步驟之程式指令：剖析一個內含一個可縮放性媒體位元流和相關聯之資料的檔案；由上述相關聯之資料剖析出與調適運作點有關之資訊，其中，與該等調適運作點有關之資訊，係包含用以產生每個該等調適運作點之演算法之一指示；依據彼等調適運作點方面之資訊來選擇一個調適運作點及每個調適運作點之調適結果的特徵化；和依據該調適運作點來剖析該檔案。
  18. 如申請專利範圍第17項之電腦程式產品，其中，與該等調適運作點有關之資訊，進一步包含有一個用以指示存在於該檔案中之調適運作點的數目之元素。
  19. 如申請專利範圍第17項之電腦程式產品，其中，與該等調適運作點有關之資訊，進一步包含有一個用以指示每個調適運作點所造成之輸出特徵的operation_description變數。
  20. 如申請專利範圍第17項之電腦程式產品，其中，與該等調適運作點有關之資訊，進一步包含有一個用以指示一條與每個調適運作點相聯結之調適路徑的元素。
TW96139238A 2006-10-20 2007-10-19 用於可縮放多媒體之適應路徑通用指示技術 TWI471015B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US85323206P 2006-10-20 2006-10-20

Publications (2)

Publication Number Publication Date
TW200829032A TW200829032A (en) 2008-07-01
TWI471015B true TWI471015B (zh) 2015-01-21

Family

ID=39313656

Family Applications (1)

Application Number Title Priority Date Filing Date
TW96139238A TWI471015B (zh) 2006-10-20 2007-10-19 用於可縮放多媒體之適應路徑通用指示技術

Country Status (8)

Country Link
US (1) US9807431B2 (zh)
EP (1) EP2080383A4 (zh)
KR (1) KR101088772B1 (zh)
CN (1) CN101601305B (zh)
CA (1) CA2666622A1 (zh)
MX (1) MX2009004121A (zh)
TW (1) TWI471015B (zh)
WO (1) WO2008047319A1 (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8005419B2 (en) * 2006-12-29 2011-08-23 Xm Satellite Radio Inc. System and method for securely storing and organizing SDARS content with DRM and non-DRM protected media content, and for facilitating obtaining purchased or subscription-based media based on received SDARS content
TWI473016B (zh) * 2008-07-16 2015-02-11 Sisvel Internat S A 用以處理多視圖視訊位元串流之方法與裝置及電腦可讀媒體
US20100161716A1 (en) * 2008-12-22 2010-06-24 General Instrument Corporation Method and apparatus for streaming multiple scalable coded video content to client devices at different encoding rates
US9197677B2 (en) * 2009-03-09 2015-11-24 Arris Canada, Inc. Multi-tiered scalable media streaming systems and methods
US9485299B2 (en) * 2009-03-09 2016-11-01 Arris Canada, Inc. Progressive download gateway
US20100250763A1 (en) * 2009-03-31 2010-09-30 Nokia Corporation Method and Apparatus for Transmitting Information on Operation Points
CN101924944B (zh) * 2009-06-15 2013-06-05 华为技术有限公司 可伸缩视频编码操作点选择方法、信息提供方法及设备
CA2711311C (en) * 2009-08-10 2016-08-23 Seawell Networks Inc. Methods and systems for scalable video chunking
KR101452859B1 (ko) * 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
US8976871B2 (en) 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
CN102714715B (zh) * 2009-09-22 2016-01-20 高通股份有限公司 用于文件格式轨迹选择的媒体提取器轨迹
US9819358B2 (en) 2010-02-19 2017-11-14 Skype Entropy encoding based on observed frequency
US9313526B2 (en) * 2010-02-19 2016-04-12 Skype Data compression for video
US9609342B2 (en) 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
JP2013534101A (ja) * 2010-06-14 2013-08-29 トムソン ライセンシング 符号化マルチコンポーネント・ビデオをカプセル化する方法および装置
US8190677B2 (en) 2010-07-23 2012-05-29 Seawell Networks Inc. Methods and systems for scalable video delivery
WO2012070875A2 (ko) * 2010-11-23 2012-05-31 삼성전자 주식회사 멀티미디어 시스템에서 다계층 영상을 위한 미디어 파일 생성 방법 및 장치와 이를 이용한 미디어 파일 재생 장치
CN102572420B (zh) * 2010-12-22 2014-04-02 北京大学 基于可伸缩视频编码的动态丢包控制方法、***及装置
US9338463B2 (en) * 2011-10-06 2016-05-10 Synopsys, Inc. Visual quality measure for real-time video processing
US9712887B2 (en) 2012-04-12 2017-07-18 Arris Canada, Inc. Methods and systems for real-time transmuxing of streaming media content
EP3174295B1 (en) * 2012-04-13 2018-12-12 GE Video Compression, LLC Low delay picture coding
TWI470999B (zh) * 2012-06-19 2015-01-21 Wistron Corp 編輯與儲存串流的方法、裝置、系統
US9635394B2 (en) 2013-01-24 2017-04-25 Electronics And Telecommunications Research Institute Method and device for flexible MMT asset transmission and reception
US10171887B2 (en) * 2013-03-13 2019-01-01 Comcast Cable Communications, Llc Methods and systems for intelligent playback
US20150120819A1 (en) * 2013-10-25 2015-04-30 Futurewei Technologies Inc. System and method for associating representations in adaptive streaming
US10148969B2 (en) * 2015-02-11 2018-12-04 Qualcomm Incorporated Of sample entry and operation point signalling in a layered video file format
GB2538997A (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
US10368071B2 (en) * 2017-11-03 2019-07-30 Arm Limited Encoding data arrays
EP4322533A3 (en) 2018-06-29 2024-03-06 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in lut
CN110662052B (zh) 2018-06-29 2022-07-08 北京字节跳动网络技术有限公司 更新查找表(lut)的条件
SG11202012293RA (en) 2018-06-29 2021-01-28 Beijing Bytedance Network Technology Co Ltd Update of look up table: fifo, constrained fifo
EP3791585A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Partial/full pruning when adding a hmvp candidate to merge/amvp
CN110662043B (zh) 2018-06-29 2021-12-21 北京字节跳动网络技术有限公司 一种用于处理视频数据的方法、装置和计算机可读介质
TWI731360B (zh) 2018-06-29 2021-06-21 大陸商北京字節跳動網絡技術有限公司 查找表的使用條件
TWI728390B (zh) 2018-06-29 2021-05-21 大陸商北京字節跳動網絡技術有限公司 查找表尺寸
WO2020008349A1 (en) 2018-07-02 2020-01-09 Beijing Bytedance Network Technology Co., Ltd. Merge index coding
WO2020053800A1 (en) 2018-09-12 2020-03-19 Beijing Bytedance Network Technology Co., Ltd. How many hmvp candidates to be checked
JP7275286B2 (ja) 2019-01-10 2023-05-17 北京字節跳動網絡技術有限公司 Ｌｕｔ更新の起動
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
US11716474B2 (en) 2020-01-02 2023-08-01 Samsung Electronics Co., Ltd. Storage of EVC decoder configuration information

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5952994A (en) * 1997-07-31 1999-09-14 Hewlett-Packard Company Method for scaling an image
US20030021485A1 (en) * 2001-07-02 2003-01-30 Raveendran Vijayalakshmi R. Apparatus and method for encoding digital image data in a lossless manner
US6798833B2 (en) * 2001-05-07 2004-09-28 Hynix Semiconductor Inc. Video frame compression/decompression hardware system
TW200634658A (en) * 2005-01-21 2006-10-01 Microsoft Corp System and method for storing a document in a serial binary format
TW200636612A (en) * 2005-01-04 2006-10-16 Ssd Co Ltd Drawing apparatus and drawing method
WO2006108917A1 (en) * 2005-04-13 2006-10-19 Nokia Corporation Coding, storage and signalling of scalability information

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5640543A (en) 1992-06-19 1997-06-17 Intel Corporation Scalable multimedia platform architecture
JPH07202820A (ja) * 1993-12-28 1995-08-04 Matsushita Electric Ind Co Ltd ビットレート制御システム
KR20020030101A (ko) * 2000-06-30 2002-04-22 요트.게.아. 롤페즈 비디오 시퀀스의 압축을 위한 인코딩 방법
US7668866B2 (en) * 2003-12-02 2010-02-23 Panasonic Corporation Method and apparatus for distributing AV content in a downloadable file format
US20050129130A1 (en) 2003-12-10 2005-06-16 Microsoft Corporation Color space coding framework
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
KR100679011B1 (ko) 2004-07-15 2007-02-05 삼성전자주식회사 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
US8311119B2 (en) 2004-12-31 2012-11-13 Microsoft Corporation Adaptive coefficient scan order
FR2889017A1 (fr) * 2005-07-19 2007-01-26 France Telecom Procedes de filtrage, de transmission et de reception de flux video scalables, signal, programmes, serveur, noeud intermediaire et terminal correspondants
EP2574057B1 (en) * 2006-01-05 2014-01-29 Telefonaktiebolaget L M Ericsson (publ) Media content management
US8365060B2 (en) * 2006-08-24 2013-01-29 Nokia Corporation System and method for indicating track relationships in media files

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5952994A (en) * 1997-07-31 1999-09-14 Hewlett-Packard Company Method for scaling an image
US6798833B2 (en) * 2001-05-07 2004-09-28 Hynix Semiconductor Inc. Video frame compression/decompression hardware system
US20030021485A1 (en) * 2001-07-02 2003-01-30 Raveendran Vijayalakshmi R. Apparatus and method for encoding digital image data in a lossless manner
TW200636612A (en) * 2005-01-04 2006-10-16 Ssd Co Ltd Drawing apparatus and drawing method
TW200634658A (en) * 2005-01-21 2006-10-01 Microsoft Corp System and method for storing a document in a serial binary format
WO2006108917A1 (en) * 2005-04-13 2006-10-19 Nokia Corporation Coding, storage and signalling of scalability information

Also Published As

Publication number Publication date
US20080095230A1 (en) 2008-04-24
KR20090084875A (ko) 2009-08-05
CA2666622A1 (en) 2008-04-24
US9807431B2 (en) 2017-10-31
KR101088772B1 (ko) 2011-12-01
MX2009004121A (es) 2009-06-08
EP2080383A1 (en) 2009-07-22
WO2008047319A1 (en) 2008-04-24
TW200829032A (en) 2008-07-01
CN101601305B (zh) 2013-01-23
CN101601305A (zh) 2009-12-09
EP2080383A4 (en) 2009-12-09

Similar Documents

Publication Publication Date Title
TWI471015B (zh) 用於可縮放多媒體之適應路徑通用指示技術
KR101021831B1 (ko) 미디어 파일에서 트랙 관계를 표시하는 시스템 및 방법
EP1977604B1 (en) Method for a backward -compatible encapsulation of a scalable coded video signal into a sequence of aggregate data units
KR101100413B1 (ko) 트랜스코딩된 미디어 스트림들을 위해 상호운용성 포인트의 미리결정된 시그널링을 제공하고 사용하기 위한 시스템 및 방법
US9161032B2 (en) Picture delimiter in scalable video coding
US8699583B2 (en) Scalable video coding and decoding
RU2697741C2 (ru) Система и способ предоставления указаний о выводе кадров при видеокодировании
US8365060B2 (en) System and method for indicating track relationships in media files
TWI482498B (zh) 媒體檔案之多重解碼時間發訊技術
KR20100030648A (ko) 시간 레이어 스위칭 포인트들을 표시하는 시스템 및 방법
TW200850008A (en) System and method for using redundant pictures for inter-layer prediction in scalable video coding
AU2012202346B2 (en) System and method for indicating track relationships in media files