TWI768179B - 在串流媒體服務中發信號及報告互動性使用 - Google Patents
在串流媒體服務中發信號及報告互動性使用 Download PDFInfo
- Publication number
- TWI768179B TWI768179B TW108103385A TW108103385A TWI768179B TW I768179 B TWI768179 B TW I768179B TW 108103385 A TW108103385 A TW 108103385A TW 108103385 A TW108103385 A TW 108103385A TW I768179 B TWI768179 B TW I768179B
- Authority
- TW
- Taiwan
- Prior art keywords
- interactive
- reporting
- media
- data
- usage information
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/10—Architectures or entities
- H04L65/1059—End-user terminal functionalities specially adapted for real-time communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/762—Media network packet handling at the source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/764—Media network packet handling at the destination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
一種用於報告互動性使用資訊同時呈現串流傳輸之媒體資料之實例器件包括一記憶體及一處理器,該記憶體經組態以儲存媒體資料,該處理器實施於電路中且經組態以執行一串流媒體用戶端以:在一媒體串流會話期間接收指示報告期望的一資訊清單檔案,該等報告期望表示待由該串流媒體用戶端報告至一報告伺服器器件的資料;將表示該等報告期望之資料發送至在該用戶端器件上執行的一互動性應用程式;接收來自在該用戶端器件上執行之該互動性應用程式的互動性使用資訊;且將該互動性使用資訊報告至該報告伺服器器件。
Description
本發明係關於經編碼媒體資料之儲存及傳送。
數位視訊能力可併入至廣泛範圍的器件中,包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、視訊電話會議器件及其類似者。數位視訊器件實施視訊壓縮技術,諸如描述於由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分、進階視訊寫碼(AVC)、ITU-T H.265 (亦稱作高效率視訊寫碼(HEVC))所定義的標準及此類標準之擴展中之彼等技術,從而更有效地傳輸及接收數位視訊資訊。
在視訊資料已編碼之後,可將視訊資料封包化以用於傳輸或儲存。可將視訊資料組譯成符合多種標準中之任一者的視訊檔案,該等標準諸如國際標準化組織(ISO)基本媒體檔案格式及其擴展,諸如AVC。
大體而言,本發明描述用於向串流媒體用戶端發信號報告期望及用於串流媒體用戶端以根據報告期望來報告資料消耗的技術,該串流媒體用戶端諸如HTTP動態自適應串流媒體(DASH)用戶端或多媒體廣播/多播服務(MBMS)用戶端。
在一個實例中,報告互動性使用資訊同時呈現串流傳輸之媒體資料的方法包括:藉由用戶端器件之串流媒體用戶端在媒體串流會話期間接收指示報告期望的資訊清單檔案,該等報告期望表示待由串流媒體用戶端報告至報告伺服器器件之資料;藉由串流媒體用戶端將表示報告期望的資料發送至在用戶端器件上執行之互動性應用程式;藉由串流媒體用戶端接收來自在用戶端器件上執行之互動性應用程式的互動性使用資訊;以及藉由串流媒體用戶端將互動性使用資訊報告至報告伺服器器件。
在另一實例中,用於報告互動性使用資訊同時呈現串流傳輸之媒體資料之器件包括記憶體及處理器,該記憶體經組態以儲存媒體資料,該處理器實施於電路中且經組態以執行串流媒體用戶端以:在媒體串流會話期間接收指示報告期望的資訊清單檔案,該等報告期望表示待由串流媒體用戶端報告至報告伺服器器件的資料;將表示報告期望的資料發送至在用戶端器件上執行之互動性應用程式;接收來自在用戶端器件上執行之互動性應用程式的互動性使用資訊;且將互動性使用資訊報告至報告伺服器器件。
在另一實例中,用於報告互動性使用資訊同時呈現串流傳輸之媒體資料之器件包括:用於在媒體串流會話期間接收指示報告期望之資訊清單檔案的構件,該等報告期望表示待由串流媒體用戶端報告至報告伺服器器件之資料;用於將表示報告期望之資料發送至在用戶端器件上執行的互動性應用程式的構件;用於接收來自在用戶端器件上執行之互動性應用程式之互動性使用資訊的構件;及用於將互動性使用資訊報告至報告伺服器器件的構件。
在另一實例中,電腦可讀儲存媒體上儲存有指令,該等指令在執行時使得執行串流媒體用戶端之用戶端器件之處理器:在媒體串流會話期間接收指示報告期望的資訊清單檔案,該等報告期望表示待由串流媒體用戶端報告至報告伺服器器件之資料;將表示報告期望的資料發送至在用戶端器件上執行之互動性應用程式;接收來自在用戶端器件上執行之互動性應用程式之互動性使用資訊;且將互動性使用資訊報告至報告伺服器器件。
在隨附圖式及以下描述中闡述一或多個實例之細節。其他特徵、目標及優點將自描述及圖式以及申請專利範圍顯而易見。
本申請案主張2018年1月29日申請之美國臨時申請案第62 / 623 , 384
號之權益,該申請案之全部內容以引用之方式併入本文中。
大體而言,本發明描述與報告諸如HTTP動態自適應串流媒體(DASH)之各種串流媒體服務的使用相關之技術。亦即,伺服器器件可使用此等技術描述用戶端器件之消耗報告期望,且用戶端器件可使用此等技術確定報告期望。
不僅在過頂(over the top,OTT)媒體散佈服務中且亦在諸如第三代合作夥伴計劃(3GPP)多媒體廣播/多播服務(MBMS)之廣播TV及蜂巢式廣播服務中廣泛採用DASH格式化串流媒體。實現顯式使用者輸入或其他形式之主動參與的服務互動性事件在主程式呈現期間可對應用程式與內容提供商及終端使用者兩者均具有吸引力。對於應用程式及/或內容提供商,關於具有不同形式之互動式內容之使用者消耗或參與的知識使提供商能夠獲得更多關於使用者行為及興趣的知識,此可帶來更個人化服務產品並且在互動性事件期間自使用者活動產生額外收益,諸如針對性廣告之線上購買、下注或消費。此類使用者活動可表示與互動式元素之互動,該等互動式元素諸如廣告、購物車、可供用於購買的物品、投注元素、超鏈路或其類似者。
在3GPP中,存在關於服務互動性之現有Rel-15工作項(Tdoc SP-170796,「New WID on Service Interactivity (SerInter)」,在2017年9月SP#77期間審批通過之Rel-15工作項),對其而言,目標中之一者為充當應用程式/內容服務提供商或代表第3方服務提供商的行動網路操作者藉由來自行動器件中之DASH用戶端或MBMS用戶端軟體的使用者收集關於互動性使用之資訊的能力。具體言之,操作者應能夠定義彼等互動性使用報告中所含之各種度量值,諸如互動式廣告之觀看量、使用者參與互動性內容(在本文中亦稱作「互動式元素」)的持續時間、使用者對所顯示之互動性內容中之嵌入型鏈路的點擊次數、與互動性事件相關聯之購買或投注的數目(及彼等交易之可能相關聯的幣值)、與互動性使用報告相關聯之使用者人口統計資訊(受制於滿足使用者同意要求)等。操作者應能夠指明報告回互動性使用資訊之發生時間、頻率及持續時間。另外,操作者應控制使用者/器件群體中之選擇以(例如)藉由以下來執行互動性使用報告:設置目標百分比之(隨機)使用者來報告,或指定特定使用者/器件基於彼等使用者之先前知識來執行報告且藉由使用者/器件及操作者兩者預先已知的簡單程式碼來識別該等特定使用者/器件。
亦作為3GPP服務互動性工作項之部分,支援服務互動性特徵之應用程式設計介面(API)組將定義於使用者器件中的DASH用戶端與互動性應用程式之間。在服務互動性資訊為應用程式層功能性之條件下,彼等API中之一者經設計以使互動性應用程式(藉由使用者擁有互動性使用的此類知識之實體)能夠將彼資訊轉送至DASH用戶端。如此操作允許服務提供商利用如3GPP DASH (TS 26.247)中所定義之自DASH用戶端至網路報告伺服器之現存度量值報告功能性。此外,在經由DASH之MBMS服務(DASH-over-MBMS service)的情況下,DASH用戶端可選擇依賴於MBMS用戶端功能以經由現存MBMS接收報告機制來執行實際報告。
特定而言,3GPP服務互動性工作項關於互動性相關之使用的量測及報告列舉以下待支援功能性:
· MBMS服務層機制宣告關於互動性消耗報告之參數及準則之用途。
· MBMS服務提供商隨機地或選擇性地控制使用者/器件群體執行此類報告之能力。
· 現存MBMS服務層機制及架構之採用(例如,MBMS接收或消耗報告)
· 可確保與互動性使用報告相關聯之使用者識別碼及隱私的保護之服務框架之定義。
在DASH格式化服務之廣播或單播遞送中,互動性消耗量測及相關聯的資訊係關於應用程式層功能性。作為滿足上文目標之部分,3GPP正向DASH行業網路論壇(DASH-IF)「外包」互動性應用程式與DASH用戶端之間的API之規範以使應用程式能夠將互動性使用量測資訊轉送至DASH用戶端。隨後預期DASH用戶端經由例如對如TS 26.247 (條款10)中所定義之現存DASH體驗品質(QoE)報告機制的擴展或在經由DASH之MBMS服務之情況下藉由利用MBMS接收報告以將互動性使用量測以類似於如TS 26.346 (條款9.4.8)中所描述的MBMS接收報告中之載運DASH QoE度量值報告的方式「背負(piggyback)」於MBMS接收報告上而將彼資訊報告至網路伺服器。
TR 26.953,「基於3GPP之串流服務及下載的互動性支援」,為Rel-14服務互動性研究項之輸出文獻(『FS_IS3』)。TR 26.953概括彼文獻中所描述之「互動性使用之量測及報告」使用情況的推薦要求。TR 26.953指出以下:
- 3GPP服務提供商應當能定義互動性使用報告中所含之以下參數:互動式廣告之觀看量、使用者參與互動性內容的持續時間、使用者對所顯示之互動性內容中之嵌入型鏈路的點擊次數、與互動性事件相關聯之購買的數目(及彼等購買之可能相關聯的幣值)、與互動性使用報告相關聯之使用者人口統計資訊(受制於滿足使用者選擇加入(opt-in)要求)等。
- 3GPP服務提供商應當能在其定義之互動性使用報告會話中指明:a)報告時間窗口,在此期間預期使用者器件上傳互動性使用資訊,b)待報告之特定互動性事件,及c)報告器件的選擇標準。
- 3GPP服務提供商應當能指明兩種類型之互動性使用報告會話:
a)隨機取樣之會話
。在此類型之報告會話中,器件經由隨機取樣方法決定其是否應當參與互動性使用之報告。舉例而言,3GPP服務提供商可包括服務宣告發信號中之「樣本百分比」值,類似於MBMS中之相關聯遞送程序描述(ADPD)片段中的此參數,以有效指明UE之目標百分比以執行互動性使用報告。
b)針對性群組會話
。在此類型之報告會話中,假定服務操作者已知器件之各終端使用者的人口統計資訊,不希望收集此使用者資料之方法依賴於在意欲利用資料的應用程式或服務外提供此資訊之使用者。舉例而言,每一使用者可能與某一識別符相關聯,諸如可關於年齡、種族、性別、教育、收入、住宅小區類型等之群組ID (其受限於符合關於使用者隱私之服務訂用相關術語及/或管理要求)。器件所附有的群組ID之指示可提供於應用程式或服務內部或經由通知機制(例如,SMS)、或通過UE與網路伺服器之間的單播互動提供。將要求僅例如MBMS USD之本地群組ID匹配服務發現/宣告資訊中所含之群組ID值的彼等器件報告互動性相關之使用。
上文推薦之要求應充當對待在服務互動性工作項中指明的特定互動性使用報告功能性之指導原則。
根據上文,服務提供商應能指明待包括於互動性使用報告中之參數(例如,量測參數)。此類量測參數之非窮舉清單包括:
- 互動性相關內容(例如,廣告)之觀看持續時間;
- 使用者參與互動性內容(互動式廣告、彈出式鏈路及功能表等)之時間間隔;
- 在使用者參與互動性內容期間之點擊次數;
- 在互動性事件期間由使用者所訪問之網站/所獲得之資源的URI;
- 與服務互動性發生相關聯之線上購買的數目及可能相關聯之幣值;
- 與互動性消耗相關聯之使用者人口統計資料或設定檔資訊(假定使用者選擇加入釋放此類個人資訊)。此類設定檔資訊之實例為如相對於以用於下文報告之器件為目標所描述的GroupID。
舉例而言,互動性使用報告可包括之額外參數(視應用程式提供商或服務提供商所要求)可包括互動性發生之當日時間或星期幾及/或地理位置,且應設計構件以允許在互動性使用報告中傳達專有或應用程式特定的參數。
另外,服務提供商可選擇指明對應於互動性使用相關事件資訊之時間順序清單的「互動性使用事件清單」。清單中之每一事件指示在一時間間隔期間互動性使用之特定形式的發生,該時間間隔之開始及結束時間表示為媒體時間。清單中之每一連續事件之開始及結束時間單調遞增。此類事件清單在提供針對每一所列條目之詳細資訊時概念上類似於如根據TS 26.247中之DASH QoE報告所定義的播放清單。每一週期之互動性使用相關參數組可包括如事先所指示的彼等參數中之任一者。若應用程式不應具有所請求之參數的資訊,則應用程式可指示彼參數在對應之量測週期的互動性使用量測報告中不可用。
可由DASH用戶端向互動性應用程式通知上文參數以由應用程式實現後續報告。此可經由能夠將互動性特定消耗之量測自應用程式發送至DASH用戶端的DASH用戶端API完成。
報告期望可包括報告時序、頻率及/或臨限值。如上文所提及,應用程式或服務提供商可指明必須提交互動性使用報告之當日時間及/或週期性,例如,每天下午9點、在星期六及星期日期間每小時等。替代地,提供商可能要求應僅在使用者參與之程度超過諸如在發生之數目或指明時間窗口內之持續時間中的某一臨限值時產生報告。另外,如同如TS 26.346中所定義之檔案修復及接收報告機制,提供商可指明隨機回退時間相對於額定開始時間的使用以隨著時間推移更均勻地傳播單播互動性報告訊務。
報告技術亦可包括以用於報告之器件為目標。如上文所指示,收集服務互動性消耗資訊之應用程式或服務提供商可能希望以受控方式獲得報告。舉例而言,類似於MBMS接收或消耗報告,提供商可藉助於經定義之樣本百分比選擇待由使用者器件的隨機樣本產生之互動性報告。替代地,應用程式/服務提供商可藉由GroupID指明器件用以執行報告。每一器件可具有經指派GroupID,其值映射提供商已知之特定使用者資訊,諸如自服務訂用所收集或由使用者分析(例如,基於導出自先前觀看、購買或其他使用相關歷史的使用者行為設定檔)所導出之人口統計資料或偏好資料。亦可使用選擇性控制使用者/器件執行互動性使用報告之其他方法。
本發明之技術可用於提供MBMS服務層消耗機制、MBMS服務提供商使得使用者及/或用戶端器件執行報告且使用現存MBMS服務層機制及架構以實現此等目標之能力。舉例而言,本發明描述發信號DASH用戶端關於待報告之互動性使用度量值、伺服器位置、目標準則、報告協定及其他報告相關的後設資料之網路的實例機制。
本發明之技術可應用於符合根據以下中之任一者所囊封之視訊資料的視訊檔案:ISO基本媒體檔案格式、可縮放視訊寫碼(SVC)檔案格式、進階視訊寫碼(AVC)檔案格式、第三代合作夥伴計劃(3GPP)檔案格式及/或多視圖視訊寫碼(MVC)檔案格式或其他類似視訊檔案格式。
在HTTP串流中,頻繁使用之操作包括HEAD、GET及部分GET。HEAD操作檢索與給定的統一資源定位符(URL)或統一資源名稱(URN)相關聯之檔案的標頭,但不檢索與URL或URN相關聯之有效負載。GET操作檢索與給定URL或URN相關聯的整個檔案。部分GET操作接收位元組範圍作為輸入參數且檢索檔案之連續數目個位元組,其中位元組之數目對應於所接收位元組範圍。因此,可提供電影片段以用於HTTP串流,此係因為部分GET操作可得到一或多個個別電影片段。在電影片段中,能夠存在不同播放軌之若干播放軌片段。在HTTP串流中,媒體呈現可為用戶端可存取之資料的結構化集合。用戶端可請求且下載媒體資料資訊以向使用者呈現串流媒體服務。
在使用HTTP串流傳輸來串流傳輸3GPP資料之實例中,可能存在針對多媒體內容之視訊及/或音訊資料的多個表示。如下文所解釋,不同表示可對應於不同編碼特性(例如,視訊寫碼標準之不同設定檔或層級)、不同寫碼標準或寫碼標準之擴展(諸如多視圖及/或可縮放擴展)或不同位元速率。此等表示之資訊清單可在媒體呈現描述(MPD)資料結構中定義。媒體呈現可對應於HTTP串流媒體用戶端器件可存取的資料之結構化集合。HTTP串流媒體用戶端器件可請求且下載媒體資料資訊以向用戶端器件之使用者呈現串流媒體服務。媒體呈現可在MPD資料結構中描述,MPD資料結構可包括MPD之更新。
媒體呈現可含有一或多個週期之序列。每一週期可延伸直至下一週期開始為止,或在最末週期的情況下,直至媒體呈現結束為止。每一週期可含有針對同一媒體內容之一或多個表示。表示可為音訊、視訊、計時文字或其他此類資料之數個替代性經編碼版本中之一者。表示可因編碼類型而異(例如,對於視訊資料,因位元速率、解析度及/或編碼解碼器而異,及對於音訊資料,因位元速率、語言及/或編碼解碼器而異)。術語表示可用以指代經編碼音訊或視訊資料的對應於多媒體內容之特定週期且以特定方式編碼之部分。
特定週期之表示可指派給由MPD中之屬性指示之群組,該屬性指示表示所屬之調適組。同一調適組中之表示大體上被視為彼此之替代,此係由於用戶端器件可在此等表示之間動態地且順暢地切換,例如以執行頻寬調適。舉例而言,特定週期之視訊資料之每一表示可指派給同一調適組,以使得可選擇該等表示中之任一者進行解碼以呈現對應週期之多媒體內容的媒體資料(諸如視訊資料或音訊資料)。在一些實例中,一個週期內之媒體內容可由來自群組0 (若存在)之一個表示來表示,或由來自每一非零群組的至多一個表示之組合來表示。週期之每一表示之時序資料可相對於該週期之開始時間來表達。
表示可包括一或多個區段。每一表示可包括初始化區段,或表示之每一區段可自初始化。在存在時,初始化區段可含有用於存取表示之初始化資訊。大體而言,初始化區段不含有媒體資料。區段可由識別符唯一地參考,諸如統一資源定位符(URL)、統一資源名稱(URN)或統一資源識別符(URI)。MPD可為每一區段提供識別符。在一些實例中,MPD亦可提供呈範圍
屬性之形式的位元組範圍,範圍
屬性可對應於可由URL、URN或URI存取之檔案內之區段的資料。
可選擇不同表示以用於大體上同時檢索不同類型之媒體資料。舉例而言,用戶端器件可選擇音訊表示、視訊表示及計時文字表示,自該等表示檢索區段。在一些實例中,用戶端器件可選擇特定調適組以用於執行頻寬調適。亦即,用戶端器件可選擇包括視訊表示之調適組、包括音訊表示之調適組及/或包括計時文字的調適組。替代地,用戶端器件可選擇用於某些類型之媒體(例如,視訊)之調適組,且可直接地選擇其他類型的媒體(例如,音訊及/或計時文字)之表示。
圖1為說明實施用於經由網路串流傳輸媒體資料之技術的實例系統10之方塊圖。在此實例中,系統10包括內容準備器件20、伺服器器件60及用戶端器件40。用戶端器件40與伺服器器件60藉由網路74通信耦接,該網路可包含網際網路。在一些實例中,內容準備器件20與伺服器器件60亦可藉由網路74或另一網路耦接,或可直接通信耦接。在一些實例中,內容準備器件20及伺服器器件60可包含相同器件。
在圖1之實例中,內容準備器件20包含音訊源22及視訊源24。音訊源22可包含例如麥克風,其產生表示待藉由音訊編碼器26編碼之所俘獲音訊資料的電信號。替代地,音訊源22可包含儲存媒體(其儲存先前記錄之音訊資料)、音訊資料產生器(諸如電腦化之合成器)或任何其他音訊資料源。視訊源24可包含:視訊攝影機,其產生待藉由視訊編碼器28編碼之視訊資料;儲存媒體,其編碼有先前記錄之視訊資料;視訊資料產生單元,諸如電腦圖形源;或任何其他視訊資料源。內容準備裝置20未必在所有實例中均通信耦接至伺服器裝置60,但可將多媒體內容儲存至由伺服器器件60讀取之單獨媒體。
原始音訊及視訊資料可包含類比或數位資料。類比資料可在藉由音訊編碼器26及/或視訊編碼器28編碼之前數位化。音訊源22可在說話參與者正在說話時自說話參與者獲得音訊資料,且視訊源24可同時獲得說話參與者之視訊資料。在其他實例中,音訊源22可包含包含所儲存之音訊資料的電腦可讀儲存媒體,且視訊源24可包含包含所儲存之視訊資料的電腦可讀儲存媒體。以此方式,本發明中所描述之技術可應用於實況、串流、即時音訊及視訊資料或所存檔的、預先記錄之音訊及視訊資料。
對應於視訊圖框之音訊訊框大體上為含有藉由音訊源22所俘獲(或產生)之音訊資料的音訊訊框,音訊資料同時伴隨含於視訊圖框內的藉由視訊源24所俘獲(或產生)之視訊資料。舉例而言,在說話參與者大體上藉由說話而產生音訊資料時,音訊源22俘獲音訊資料,且視訊源24同時,亦即在音訊源22正俘獲音訊資料的同時俘獲說話參與者之視訊資料。從而,音訊訊框在時間上可對應於一或多個特定視訊圖框。因此,對應於視訊圖框之音訊訊框大體上對應於同時俘獲到的音訊資料及視訊資料且音訊訊框及視訊圖框分別包含同時俘獲到的音訊資料及視訊資料的情形。
在一些實例中,音訊編碼器26可對每一經編碼音訊訊框中表示記錄經編碼音訊訊框的音訊資料之時間的時戳進行編碼,且類似地,視訊編碼器28可對每一經編碼視訊圖框中表示記錄經編碼視訊圖框的視訊資料之時間的時戳進行編碼。在此等實例中,對應於視訊圖框之音訊訊框可包含:包含時戳之音訊訊框及包含相同時戳之視訊圖框。內容準備器件20可包括內部時脈,音訊編碼器26及/或視訊編碼器28可根據該內部時脈產生時戳,或音訊源22及視訊源24可使用該內部時脈以分別使音訊資料及視訊資料與時戳相關聯。
在一些實例中,音訊源22可向音訊編碼器26發送對應於記錄音訊資料之時間的資料,且視訊源24可向視訊編碼器28發送對應於記錄視訊資料之時間的資料。在一些實例中,音訊編碼器26可對經編碼音訊資料中的序列識別符進行編碼以指示經編碼音訊資料之相對時間排序,但未必指示記錄音訊資料之絕對時間,且類似地,視訊編碼器28亦可使用序列識別符來指示經編碼視訊資料之相對時間排序。類似地,在一些實例中,序列識別符可經映射或以其他方式與時戳相關。
音訊編碼器26大體上產生經編碼音訊資料之串流,而視訊編碼器28產生經編碼視訊資料之串流。每一個別資料串流(不論音訊或視訊)可稱為基本串流。基本串流為表示之單個經數位寫碼(可能經壓縮)之分量。舉例而言,表示之經寫碼視訊或音訊部分可為基本串流。基本串流可在囊封於視訊檔案內之前轉換成經封包化基本串流(PES)。在相同表示內,可使用串流ID來區分屬於一個基本串流之PES封包與其他PES封包。基本串流之資料之基本單元為經封包化基本串流(PES)封包。因此,經寫碼視訊資料大體上對應於基本視訊串流。類似地,音訊資料對應於一或多個各別基本串流。
許多視訊寫碼標準(諸如,ITU-T H.264/AVC及即將來臨的高效視訊寫碼(HEVC)標準)定義無誤差位元串流之語法、語義及解碼程序,該等無誤差位元串流中之任一者符合特定設定檔或層級。視訊寫碼標準通常並不指明編碼器,但編碼器具有保證所產生之位元串流對於解碼器而言係標準相容之任務。在視訊寫碼標準之上下文中,「設定檔」對應於演算法、特徵或工具及施加至演算法、特徵或工具之約束的子組。如由例如H.264標準所定義,「設定檔」為由H.264標準指明的完整位元串流語法之子組。「層級」對應於諸如例如解碼器記憶體及計算之解碼器資源消耗之限制,該等限制係關於圖像解析度、位元速率及區塊處理速率。設定檔可用profile_idc (設定檔指示符)值傳信,而層級可用level_idc (層級指示符)值傳信。
舉例而言,H.264標準認為,在由給定設定檔之語法所強加的界限內,仍然可能要求編碼器及解碼器之效能有較大變化,此取決於位元串流中之語法元素(諸如,經解碼圖像之指明的大小)所取的值。H.264標準進一步認為,在許多應用程式中,實施能夠處理特定設定檔內之語法之所有假設使用的解碼器既不實際又不經濟。因此,H.264標準將「層級」定義為強加於位元串流中之語法元素之值的約束之指定組。此等約束可為對值的簡單限制。替代地,此等約束可呈對值之算術組合(例如,圖像寬度乘以圖像高度乘以每秒解碼的圖像數目)之約束的形式。H.264標準進一步規定,個別實施對於每一所支援設定檔可支援不同層級。
符合設定檔之解碼器一般支援設定檔中所定義之所有特徵。舉例而言,作為寫碼特徵,B圖像寫碼在H.264/AVC之基線設定檔不被支援,但在H.264/AVC之其他設定檔中被支援。符合一層級之解碼器應能夠對不需要超出該層級中所定義之限制的資源之任何位元流進行解碼。設定檔及層級之定義可對可解譯性有幫助。舉例而言,在視訊傳輸期間,可針對整個傳輸會話協商及同意一對設定檔定義及層級定義。更具體言之,在H.264/AVC中,層級可定義對於需要處理之巨集區塊的數目、經解碼圖像緩衝器(DPB)大小、經寫碼圖像緩衝器(CPB)大小、豎直運動向量範圍、每兩個連續MB的運動向量之最大數目及B區塊是否可具有小於8 × 8像素之子巨集區塊分區的限制。以此方式,解碼器可判定解碼器是否能夠恰當地對位元串流進行解碼。
在圖1之實例中,內容準備器件20之囊封單元30自視訊編碼器28接收包含經寫碼視訊資料之基本串流且自音訊編碼器26接收包含經寫碼音訊資料之基本串流。在一些實例中,視訊編碼器28及音訊編碼器26可各自包括用於自經編碼資料形成PES封包之封包化器。在其他實例中,視訊編碼器28及音訊編碼器26可各自與用於自經編碼資料形成PES封包之各別封包化器介接。在另外其他實例中,囊封單元30可包括用於自經編碼音訊及視訊資料形成PES封包之封包化器。
視訊編碼器28可用多種方式編碼多媒體內容之視訊資料,以產生多媒體內容之各種位元速率且具有各種特性的不同表示,該等特性諸如像素解析度、圖框速率、對各種寫碼標準之符合、對各種寫碼標準之各種設定檔及/或層級之符合、具有一個或多個視圖之表示(例如,對於二維或三維播放)或其他此類特性。如本發明中所使用,表示可包含音訊資料、視訊資料、文字資料(例如,用於封閉字幕)或其他此資料中之一者。表示可包括諸如音訊基本串流或視訊基本串流之基本串流。每一PES封包可包括stream_id,其識別PES封包所屬之基本串流。囊封單元30負責將基本串流組譯成各種表示之視訊檔案(例如,區段)。
囊封單元30自音訊編碼器26及視訊編碼器28接收表示之基本串流的PES封包且自該等PES封包形成對應的網路抽象層(network abstraction layer,NAL)單元。寫碼視訊區段可經組織成NAL單元,其提供「網路友好」視訊表示定址應用程式,諸如視訊電話、儲存器、廣播或串流。NAL單元可分類為視訊寫碼層(VCL) NAL單元及非VCL NAL單元。VCL單元可含有核心壓縮引擎,且可包括區塊、巨集區塊及/或圖塊層級資料。其他NAL單元可為非VCL NAL單元。在一些實例中,一個時間執行個體中之經寫碼圖像(通常呈現為初級經寫碼圖像)可含於存取單元中,該存取單元可包括一或多個NAL單元。
非VCL NAL單元可尤其包括參數組NAL單元及SEI NAL單元。參數組可含有序列層級標頭資訊(在序列參數組(SPS)中)及不頻繁改變的圖像層級標頭資訊(在圖像參數組(PPS)中)。對於參數組(例如,PPS及SPS),不頻繁改變的資訊不需要針對每一序列或圖像重複,從而可改良寫碼效率。此外,使用參數組可實現重要標頭資訊之頻帶外傳輸,從而避免需要冗餘傳輸以用於錯誤恢復。在頻帶外傳輸實例中,參數組NAL單元可在與諸如SEI NAL單元之其他NAL單元不同之頻道上傳輸。
補充增強資訊(SEI)可含有對於對來自VCL NAL單元之經寫碼圖像樣本進行解碼並非必需的資訊,但可輔助與解碼、顯示、錯誤恢復及其他目的相關的過程。SEI訊息可含於非VCL NAL單元中。SEI訊息為一些標準規範之標準化部分,且由此對於標準相容之解碼器實施並非始終係必選的。SEI訊息可為序列層級SEI訊息或圖像層級SEI訊息。一些序列層級資訊可含於SEI訊息中,諸如SVC之實例中的可縮放性資訊SEI訊息及MVC中之視圖可縮放性資訊SEI訊息。此等實例SEI訊息可傳達關於例如操作點之提取及操作點之特性的資訊。此外,囊封單元30可形成資訊清單檔案,諸如描述表示之特性的媒體呈現描述符(MPD)。囊封單元30可根據可延伸性標示語言(XML)來格式化MPD。
囊封單元30可向輸出介面32提供多媒體內容之一或多個表示的資料以及資訊清單檔案(例如,MPD)。輸出介面32可包含網路介面或用於對儲存媒體進行寫入之介面,諸如通用串列匯流排(USB)介面、CD或DVD寫入器或燒錄器、至磁性或快閃儲存媒體之介面,或用於儲存或傳輸媒體資料之其他介面。囊封單元30可向輸出介面32提供多媒體內容之表示中之每一者的資料,該輸出介面可經由網路傳輸或儲存媒體將資料發送至伺服器器件60。在圖1之實例中,伺服器器件60包括儲存各種多媒體內容64之儲存媒體62,每一多媒體內容包括各別資訊清單檔案66及一或多個表示68A-68N (表示68)。在一些實例中,輸出介面32亦可將資料直接發送至網路74 。
在一些實例中,表示68可分成若干調適組。亦即,表示68之各種子組可包括特性之各別共同組,該等特性諸如編碼解碼器、設定檔及層級、分辨率、視圖之數目、區段的檔案格式、可識別文字之語言或待用表示及/或音訊資料所顯示之其他特性的文字類型資訊、攝影機角度資訊、分級資訊或其類似者,該表示及/或音訊資料例如待藉由揚聲器解碼且呈現,該攝影機角度資訊可描述調適組中之表示的場景之攝影機角度或現實世界攝影機透視圖,該分級資訊描述針對特定觀眾之內容適合性。
資訊清單檔案66可包括指示對應於特定調適組之表示68之子組以及調適組之共同特性的資料。資訊清單檔案66亦可包括表示調適組之個別表示的諸如位元速率之個別特性之資料。以此方式,調適組可提供簡化的網路頻寬調適。調適組中之表示可使用資訊清單檔案66之調適組元素的子代元素來指示。
伺服器器件60包括請求處理單元70及網路介面72。在一些實例中,伺服器器件60可包括複數個網路介面。此外,伺服器器件60之特徵中之任一者或全部可在內容遞送網路之其他器件上實施,該內容遞送網絡諸如路由器、橋接器、代理器件、交換器或其他器件。在一些實例中,內容遞送網絡之中間器件可快取多媒體內容64之資料,且包括實質上符合伺服器器件60的彼等組件之組件。大體而言,網路介面72經組態以經由網路74來發送及接收資料。
請求處理單元70經組態以自諸如用戶端器件40之用戶端器件接收對儲存媒體62之資料的網路請求。舉例而言,請求處理單元70可實施超文字輸送協定(HTTP)版本1.1,如RFC 2616中R.Fielding等人於1999年6月在Network Working Group, IETF的「Hypertext Transfer Protocol - HTTP/1.1」中所描述。亦即,請求處理單元70可經組態以接收HTTP GET或部分GET請求,且回應於該等請求而提供多媒體內容64之資料。請求可指明表示68中之一者的區段,例如使用區段之URL。在一些實例中,請求亦可指明區段之一或多個位元組範圍,由此包含部分GET請求。請求處理單元70可進一步經組態以服務於HTTP HEAD請求以提供表示68中之一者之區段的標頭資料。在任何情況下,請求處理單元70可經組態以處理請求以向諸如用戶端器件40之請求器件提供所請求之資料。
另外或替代地,請求處理單元70可經組態以經由諸如eMBMS之廣播或多播協定而遞送媒體資料。內容準備器件20可用與所描述實質上相同的方式產生DASH區段及/或子區段,但伺服器器件60可使用eMBMS或另一廣播或多播網路傳送協定來遞送此等區段或子區段。舉例而言,請求處理單元70可經組態以自用戶端器件40接收多播群組加入請求。亦即,伺服器器件60可向包括用戶端器件40之用戶端器件公告與多播群組相關聯之網際網路協定(IP)位址,其與特定媒體內容(例如,實況事件之廣播)相關聯。用戶端器件40又可提交加入多播群組之請求。此請求可遍及網路74(例如,構成網路74之路由器)傳播,以使得致使該等路由器將去往與多播群組相關聯之IP位址的訊務導向至訂用的用戶端器件,諸如用戶端器件40。
如圖1之實例中所說明,多媒體內容64包括資訊清單檔案66,該資訊清單檔案可對應於媒體呈現描述(MPD)。資訊清單檔案66可含有不同替代表示68 (例如,具有不同品質之視訊服務)的描述,且描述可包括例如編碼解碼器資訊、設定檔值、層級值、位元速率及表示68之其他描述性特性。用戶端器件40可檢索媒體呈現之MPD以判定如何存取表示68之區段。
特定而言,檢索單元52可檢索用戶端器件40之組態資料(未展示)以判定視訊解碼器48之解碼能力及視訊輸出44之轉譯能力。組態資料亦可包括由用戶端器件40之使用者選擇的語言偏好中之任一者或全部、對應於由用戶端器件40之使用者設定的深度偏好之一或多個攝影機視角及/或由用戶端器件40之使用者選擇的分級偏好。舉例而言,檢索單元52可包含網頁瀏覽器或媒體用戶端,其經組態以提交HTTP GET及部分GET請求。檢索單元52可對應於由用戶端器件40之一或多個處理器或處理單元(未展示)執行的軟體指令。在一些實例中,相對於檢索單元52所描述的功能性之全部或部分可在硬體或硬體、軟體及/或韌體之組合中實施,其中可提供必需的硬體以執行軟體或韌體之指令。
檢索單元52可將用戶端器件40之解碼及轉譯能力與由資訊清單檔案66之資訊所指示的表示68之特性進行比較。檢索單元52可首先檢索清單檔案66之至少一部分以判定表示68之特性。舉例而言,檢索單元52可請求描述一或多個調適組之特性的資訊清單檔案66之一部分。檢索單元52可選擇具有用戶端器件40之寫碼及轉譯能力可滿足的特性之表示68之子組(例如,調適組)。檢索單元52可隨後判定用於調適組中之表示的位元速率,判定網路頻寬之當前可用量,並自具有網路頻寬可滿足之位元速率的表示中之一者檢索區段。
大體而言,較高位元速率表示可產生較高品質之視訊播放,而較低位元速率表示可在可用網路頻寬減少時提供足夠品質之視訊播放。因此,在可用網路頻寬相對較高時,檢索單元52可自相對較高位元速率之表示檢索資料,而在可用網路頻寬較低時,檢索單元52可自相對較低位元速率之表示檢索資料。以此方式,用戶端器件40可經由網路74串流傳輸多媒體資料,同時亦適應網路74之改變的網路頻寬可用性。
另外或替代地,檢索單元52可經組態以根據諸如eMBMS或IP多播之廣播或多播網路協定來接收資料。在此等實例中,檢索單元52可提交加入與特定媒體內容相關聯之多播網路群組的請求。在加入多播群組之後,檢索單元52可在無其他請求發出至伺服器器件60或內容準備器件20的情況下接收多播群組之資料。檢索單元52可在不再需要多播群組之資料時提交離開多播群組的請求,例如停止播放或將頻道改變至不同多播群組。
網路介面54可接收所選擇表示之區段的資料且將該資料提供至檢索單元52,該檢索單元又可將區段提供至解囊封單元50。解囊封單元50可將視訊檔案之元素解囊封成組成性PES串流,解封包化PES串流以檢索經編碼資料,且取決於經編碼資料是否為音訊串流抑或視訊串流之部分(例如,如由串流之PES封包標頭所指示)而將經編碼資料發送至音訊解碼器46或視訊解碼器48。音訊解碼器46對經編碼音訊資料進行解碼,且向音訊輸出42發送經解碼音訊資料;同時視訊解碼器48對經編碼視訊資料進行解碼,且向視訊輸出44發送經解碼視訊資料,該經解碼視訊資料可包括串流的複數個視圖。
視訊編碼器28、視訊解碼器48、音訊編碼器26、音訊解碼器46、囊封單元30、檢索單元52及解囊封單元50各自可實施為適用的多種適合處理電路中之任一者,適合處理電路諸如一或多個微處理器、數位信號處理器(DSP)、特定應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路、軟體、硬體、韌體或其任何組合。視訊編碼器28及視訊解碼器48中之每一者可包括於一或多個編碼器或解碼器中,編碼器或解碼器中之任一者可經整合為組合式視訊編碼器/解碼器(編碼解碼器(CODEC))之部分。同樣,音訊編碼器26及音訊解碼器46中之每一者可包括於一或多個編碼器或解碼器中,編碼器或解碼器中之任一者可經整合為組合式CODEC之部分。包括視訊編碼器28、視訊解碼器48、音訊編碼器26、音訊解碼器46、囊封單元30、檢索單元52及/或解囊封單元50的裝置可包含積體電路、微處理器及/或無線通信器件,諸如蜂巢式電話。
用戶端器件40、伺服器器件60及/或內容準備器件20可經組態以根據本發明之技術操作。出於實例之目的,本發明相對於用戶端器件40及伺服器器件60來描述此等技術。然而,應理解,替代伺服器器件60 (或除此之外),內容準備器件20可經組態以執行此等技術。
囊封單元30可形成NAL單元以及有效負載,該等NAL單元包含識別NAL單元所屬之程式的標頭,有效負載例如音訊資料、視訊資料或描述NAL單元對應的傳送或程式串流的資料。舉例而言,在H.264/AVC中,NAL單元包括1位元組標頭及不同大小之有效負載。在其有效負載中包括視訊資料之NAL單元可包含各種粒度層級之視訊資料。舉例而言,NAL單元可包含視訊資料區塊、複數個區塊、視訊資料之圖塊或視訊資料之整個圖像。囊封單元30可自視訊編碼器28接收呈基本串流之PES封包之形式的經編碼視訊資料。囊封單元30可使每一基本串流與對應程式相關聯。
囊封單元30亦可組譯來自複數個NAL單元之存取單元。大體而言,存取單元可包含用於表示視訊資料之圖框以及在此音訊資料可用時對應於圖框之音訊資料的一或多個NAL單元。存取單元大體上包括、一個輸出時間執行個體之所有NAL單元,例如,一個時間執行個體之所有音訊及視訊資料。舉例而言,若每一視圖具有20訊框每秒(fps)之訊框速率,則隨後每一時間執行個體可對應於0.05秒之時間間隔。在此時間間隔期間,可同時轉譯相同存取單元(相同時間執行個體)之所有視圖的特定圖框。在一個實例中,存取單元可包含一個時間執行個體中之經寫碼圖像,其可呈現為初級經寫碼圖像。
因此,存取單元可包含共同時間執行個體之所有音訊訊框及視訊圖框,例如對應於時間X
之所有視圖。本發明亦將特定視圖之經編碼圖像稱作「視圖分量」。亦即,視圖分量可包含在特定時間針對特定視圖的經編碼圖像(或圖框)。因此,存取單元可定義為包含共同時間執行個體之所有視圖分量。存取單元之解碼次序未必與輸出或顯示次序相同。
媒體呈現可包括媒體呈現描述(MPD),該媒體呈現描述可含有不同替代表示(例如,具有不同品質之視訊服務)的描述,且該描述可包括例如編碼解碼器資訊、設定檔值及層級值。MPD為諸如資訊清單檔案66之資訊清單檔案的一個實例。用戶端器件40可檢索媒體呈現之MPD以判定如何存取各種呈現之電影片段。電影片段可位於視訊檔案之電影片段方塊(moof方塊)中。
資訊清單檔案66 (其可包含例如MPD)可公告表示68之區段之可用性。亦即,MPD可包括指示表示68中之一者之第一區段變得可用時之掛鐘時間的資訊,以及指示表示68內之區段之持續時間的資訊。以此方式,用戶端器件40之檢索單元52可基於開始時間以及在特定區段之前的區段之持續時間而判定何時每一區段可用。
在囊封單元30已基於所接收之資料將NAL單元及/或存取單元組譯成視訊檔案之後,囊封單元30將視訊檔案傳遞至輸出介面32以用於輸出。在一些實例中,囊封單元30可將視訊檔案儲存在本端,或經由輸出介面32而將視訊檔案發送至遠端伺服器,而非將視訊檔案直接發送至用戶端器件40。輸出介面32可包含例如傳輸器、收發器、用於將資料寫入至電腦可讀媒體的器件,諸如例如光碟機、磁性媒體驅動器(例如,軟碟機)、通用串列匯流排(USB)埠、網路介面或其他輸出介面。輸出介面32將視訊檔案輸出至電腦可讀媒體,諸如傳輸信號、磁性媒體、光學媒體、記憶體、隨身碟或其他電腦可讀媒體。
網路介面54可經由網路74接收NAL單元或存取單元,且經由檢索單元52將NAL單元或存取單元提供至解囊封單元50。解囊封單元50可將視訊檔案之元素解囊封成組成性PES串流,解封包化PES串流以檢索經編碼資料,且取決於經編碼資料是否為音訊串流抑或視訊串流之部分(例如,如由串流之PES封包標頭所指示)而將經編碼資料發送至音訊解碼器46或視訊解碼器48。音訊解碼器46對經編碼音訊資料進行解碼,且向音訊輸出42發送經解碼音訊資料;同時視訊解碼器48對經編碼視訊資料進行解碼,且向視訊輸出44發送經解碼視訊資料,該經解碼視訊資料可包括串流的複數個視圖。
根據本發明之技術,用戶端器件40之檢索單元52及伺服器器件60之請求處理單元70可通信各種報告資料。舉例而言,根據本發明之技術,請求處理單元70可指示報告期望,且檢索單元52可根據報告期望來報告媒體消耗。
伺服器器件60及/或請求處理單元70或其他網路元件可採用不同方法例如藉由使用服務發信號來告知用戶端器件40 (亦稱作「使用者設備」或「UE」)關於互動性使用報告要求以傳達以下類型的資訊:待包括於互動性使用報告中之量測參數、基於報告準則之時間或臨限值及關於上文所描述的執行報告之特定器件之目標資訊。在預期DASH用戶端經由此等實體之間的API (待由DASH-IF定義)接收來自互動性應用程式的互動性使用之資訊條件下,以一些方式各自可涉及檢索單元52之DASH用戶端。
對於檢索單元52之DASH用戶端而言,一個解決方案為直接向網路伺服器報告其自應用程式接收之互動性使用量測資訊。亦設想兩個實例導出解決方案選項:
- 第一實例解決方案為藉由將互動性使用度量值及相關聯的報告功能性添加至當前限於QoE之彼等度量值、品質報告方案及品質報告協定來擴展如TS 26.247 (條款10)中所指明的度量值、品質報告方案及品質報告協定之現存定義。
- 類似於第一實例解決方案之第二實例解決方案將擴展度量值之定義以包括互動性使用度量值。然而,不同於第一實例解決方案,第二解決方案將定義單獨且新的報告方案,其對互動性使用度量值具有特異性,且其亦可擴展以包括在未來待添加之新的互動性使用度量值。如TS 26.247 (條款10.6.3)中所記錄之現存報告協定可用於由DASH用戶端將互動性使用報告發送至網路伺服器,例如,由檢索單元52發送至伺服器器件60。
Tdocs S4-180xxx (「藉由DASH用戶端之互動性使用報告--選項1」)及S4-180yyy (「關於藉由DASH用戶端的互動性使用報告之草案CR--選項2」)描述用於藉由DASH用戶端將互動性使用量測之報告導向至報告伺服器的兩個替代例。其中所描述的技術可藉由例如伺服器器件60或用戶端器件40執行。
互動性使用報告之第三解決方案涉及模擬如TS 26.346,條款9.4.8中所定義之現存機制,以使得DASH用戶端可依賴於MBMS用戶端以執行互動性使用報告。此解決方案將類似於如TS 26.346中所定義之方法操作以用於將DASH QoE報告與MBMS接收報告組合。
針對起作用之三個解決方案選項中之任一者及如上文先前所指示,除了向(檢索單元52之) DASH用戶端發信號待包括之參數及報告至網路(例如,伺服器器件60)之互動性使用的準則以外,彼等參數及準則資訊必須藉由DASH用戶端提供至互動性應用程式。此可藉由能夠將互動性特定消耗之量測自應用程式發送至DASH用戶端的相同DASH用戶端API實現。
圖2為更詳細地說明圖1的檢索單元52之組件之實例組的方塊圖。在此實例中,檢索單元52包括eMBMS中間軟體單元100、DASH用戶端110及媒體應用程式112。
在此實例中,eMBMS中間軟體單元100進一步包括eMBMS接收單元106、快取記憶體104及代理伺服器單元102。在此實例中,eMBMS接收單元106經組態以經由eMBMS,例如,根據T.Paila等人在可於http://tools.ietf.org/html/rfc6726獲得之「FLUTE-File Delivery over Unidirectional Transport」, 網路工作群組,RFC 6726,2012年11月中所描述的單向傳送檔案遞送(File Delivery over Unidirectional Transport,FLUTE) 接收資料。亦即,eMBMS接收單元106可經由來自例如伺服器器件60之廣播接收檔案,伺服器器件可充當廣播/多播服務中心(BM-SC)。
在eMBMS中間軟體單元100接收檔案之資料時,eMBMS中間軟體單元100可將所接收之資料儲存於快取記憶體104中。快取記憶體104可包含電腦可讀儲存媒體,諸如快閃記憶體、硬碟、RAM或任何其他適合的儲存媒體。
代理伺服器單元102可充當DASH用戶端110之伺服器。舉例而言,代理伺服器單元102可將MPD檔案或其他資訊清單檔案提供至DASH用戶端110。代理伺服器單元102可公告MPD檔案中之區段的可用性時間,以及可檢索該等區段之超鏈路。此等超鏈路可包括對應於用戶端器件40之本端主機位址首碼(例如,IPv4之127.0.0.1)。以此方式,DASH用戶端110可使用HTTP GET或部分GET請求自代理伺服器單位102請求區段。舉例而言,對於可自鏈路http://127.0.0.1/rep1/seg3獲得之區段,DASH用戶端110可建構包括針對http://127.0.0.1/rep1/seg3之請求的HTTP GET請求,且將請求提交至代理伺服器單元102。代理伺服器單元102可自快取記憶體104檢索所請求之資料且回應於此類請求而將資料提供至DASH用戶端110。
媒體應用程式112可對應於例如網頁瀏覽器或網頁瀏覽器插件。根據本發明之技術,媒體應用程式112可呈現媒體資料及互動性元素,諸如超鏈路、無線電按鈕、核取方塊及/或其他形式之使用者介面(UI)顯示器或控制件,以及媒體資料。此外,媒體應用程式112可接收使用者輸入以與互動性元素互動,使用者輸入諸如鍵盤輸入、鼠標輸入、觸控式螢幕輸入、示意動作輸入或其類似者。
此外,根據本發明之技術,DASH用戶端110可接收資訊清單檔案(諸如圖1之資訊清單檔案66),該資訊清單檔案包括指示待報告給報告伺服器(諸如伺服器器件60一單獨伺服器器件,圖1及圖2中未展示)的報告資訊之資料。資訊清單檔案可為DASH媒體呈現描述(MPD)。報告資訊可包括DASH之體驗品質(QoE)報告以及互動性使用報告。
在一些實例中,根據DASH之資訊清單檔案的現存QoE報告部分可擴展為包括表示待報告之互動性使用資訊的資料。亦即,總體DASH QoE報告框架可為藉由擴展為包括互動性使用資訊度量值、報告準則及報告方案之發信號來修改。DASH用戶端110可自媒體應用程式112接收報告資料,且將對應的報告資料遞送至網路伺服器器件,諸如伺服器器件60或單獨報告器件。此伺服器可與自DASH用戶端110接收QoE報告之實體相同或不同。DASH QoE報告框架根據本發明之技術可經修改以另外支援應用程式層服務互動性使用資訊之報告。
資訊清單檔案可包括描述與互動性概述(IntySummary)及互動性事件清單(IntyEventList)相關的報告之元素。IntySummary根據依據此參數存在的報告及目標準則可含有待由DASH用戶端110報告至網路伺服器之一或多種類型之互動性使用量測的總和資訊。IntyEventList可指示互動性事件之時間順序清單及與事件中之每一者相關聯的互動性使用資訊。IntyEventList可對應於S4-180aaa,「Requirements and Framework on Measurement and Reporting of Interactivity Usage」之第2.2章中之互動性使用事件清單的描述,其為來自2018年2月的S4#97會議高通之提案。上文互動性度量值之資料結構之實例在下文描述。除如表示為MPD.Metrics@metrics屬性的一或多個QoE相關度量值(RepSwitchList、AvgThroughput、InitialPlayoutDelay、BufferLevel、PlayList、MPDInformation、PlayoutDelayforMediaStartup及DeviceInformationList)之外,IntySummary及IntyEventList參數亦可出現在資訊清單檔案(例如,MPD)中。亦可如下文所描述根據針對IntySummary及IntyEventList參數之語義組態DASH用戶端110。
IntySummary元素可含有關於測量互動性內容之使用者消耗、或參與使用者介面(UI)功能性的不同度量值之概述資訊,使用者介面功能諸如觀看、點擊或選擇超鏈路、無線電按鈕、核取方塊及/或其他形式之UI顯示器或控制件。此使用者輸入之發生機會可在主要程式之播出期間預安排或為計劃外的。互動性內容之實例包括根據使用者控制在主要程式期間在發生互動性事件期間可存取之廣告及輔助內容。其他互動性使用度量值藉由其與諸如線上購買或下注之交易的連接可具有明確貨幣化顯著性。下表表示IntySummary元素之元素之實例組:
DASH用戶端110可根據資訊清單檔案(在下文關於圖3描述其實例)中所定義之報告格式製備基於XML之報告。根據本發明之技術,DASH用戶端110可製備包括QoE及互動性使用報告兩者之報告作為XML文獻,該文獻遵守以下XML結構描述,其可具有「application/3gpdash-qoe+iu-report+xml」之MIME類型:
<?xml version="1.0"?>
<xs:schema xmlns:xs="http://www.w3.org/2001/XMLSchema"
targetNamespace="urn:3gpp:metadata:2011:HSD:receptionreport"
xmlns:sup="urn:3gpp:metadata:2018:PSS:SupplementQoE+IuMetric"
xmlns:sv="urn:3gpp:metadata:2016:PSS:schemaVersion"
xmlns="urn:3gpp:metadata:2011:HSD:receptionreport" elementFormDefault="qualified">
<xs:element name="ReceptionReport" type="ReceptionReportType"/>
<xs:complexType name="ReceptionReportType">
<xs:choice>
<xs:element name="Qoe+IuReport" type="Qoe+IuReportType" minOccurs="0" maxOccurs="unbounded"/>
<xs:any namespace="##other" processContents="skip" minOccurs="0" maxOccurs="unbounded"/>
</xs:choice>
<xs:attribute name="contentURI" type="xs:anyURI" use="required"/>
<xs:attribute name="clientID" type="xs:string" use="optional"/>
</xs:complexType>
<xs:complexType name="Qoe+IuReportType">
<xs:sequence>
<xs:element name="Qoe+IuMetric" type="Qoe+IuMetricType" minOccurs="1" maxOccurs="unbounded"/>
<xs:element ref="sup:supplementQoEMetric" minOccurs="0" maxOccurs="1"/>
<xs:element ref="sv:delimiter"/>
<xs:any namespace="##other" processContents="skip" minOccurs="0" maxOccurs="unbounded"/>
</xs:sequence>
<xs:attribute name="periodID" type="xs:string" use="required"/>
<xs:attribute name="reportTime" type="xs:dateTime" use="required"/>
<xs:attribute name="reportPeriod" type="xs:unsignedInt" use="required"/>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
<xs:complexType name="Qoe+IuMetricType">
<xs:choice>
<xs:element name="HttpList" type="HttpListType"/>
<xs:element name="RepSwitchList" type="RepSwitchListType"/>
<xs:element name="AvgThroughput" type="AvgThroughputType" maxOccurs="unbounded"/>
<xs:element name="InitialPlayoutDelay" type="xs:unsignedInt"/>
<xs:element name="BufferLevel" type="BufferLevelType"/>
<xs:element name="PlayList" type="PlayListType"/>
<xs:element name="MPDInformation" type="MpdInformationType" maxOccurs="unbounded"/>
<xs:element name="PlayoutDelayforMediaStartup" type="xs:unsignedInt"/>
<xs:element name="IntySummary" type="xs:IntySummaryType"/>
<xs:element name="IntyEventList" type="xs:IntyEventListType"/>
</xs:choice>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
<xs:complexType name="HttpListType">
<xs:choice>
<xs:element name="HttpListEntry" type="HttpListEntryType" maxOccurs="unbounded"/>
</xs:choice>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
<xs:complexType name="HttpListEntryType">
<xs:choice>
<xs:element name="Trace" type="HttpThroughputTraceType" maxOccurs="unbounded"/>
</xs:choice>
<xs:attribute name="tcpid" type="xs:unsignedInt" use="optional"/>
<xs:attribute name="type" type="ExtensibleHttpEntryResourceType" use="optional"/>
<xs:attribute name="url" type="xs:string" use="required"/>
<xs:attribute name="actualUrl" type="xs:string" use="optional"/>
<xs:attribute name="range" type="xs:string" use="optional"/>
<xs:attribute name="trequest" type="xs:dateTime" use="required"/>
<xs:attribute name="tresponse" type="xs:dateTime" use="required"/>
<xs:attribute name="responsecode" type="xs:unsignedInt" use="optional"/>
<xs:attribute name="interval" type="xs:unsignedInt" use="optional"/>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
<xs:simpleType name="HttpEntryResourceType">
<xs:restriction base="xs:string">
<xs:enumeration value="MPD"/>
<xs:enumeration value="MPDDeltaFile"/>
<xs:enumeration value="XLinkExpansion"/>
<xs:enumeration value="InitializationSegment"/>
<xs:enumeration value="IndexSegment"/>
<xs:enumeration value="MediaSegment"/>
</xs:restriction>
</xs:simpleType>
<xs:simpleType name="StringPatternType">
<xs:restriction base="xs:string">
<xs:pattern value="x:\S.*"/>
</xs:restriction>
</xs:simpleType>
<xs:simpleType name="ExtensibleHttpEntryResourceType">
<xs:union memberTypes="HttpEntryResourceType StringPatternType"/>
</xs:simpleType>
<xs:complexType name="HttpThroughputTraceType">
<xs:attribute name="s" type="xs:dateTime" use="required"/>
<xs:attribute name="d" type="xs:unsignedInt" use="required"/>
<xs:attribute name="b" type="UnsignedIntVectorType" use="required"/>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
<xs:complexType name="RepSwitchListType">
<xs:choice>
<xs:element name="RepSwitchEvent" type="RepSwitchEventType" maxOccurs="unbounded"/>
</xs:choice>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
<xs:complexType name="RepSwitchEventType">
<xs:attribute name="to" type="xs:string" use="required"/>
<xs:attribute name="mt" type="xs:duration" use="optional"/>
<xs:attribute name="t" type="xs:dateTime" use="optional"/>
<xs:attribute name="lto" type="xs:unsignedInt" use="optional"/>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
<xs:complexType name="AvgThroughputType">
<xs:attribute name="numBytes" type="xs:unsignedInt" use="required"/>
<xs:attribute name="activityTime" type="xs:unsignedInt" use="required"/>
<xs:attribute name="t" type="xs:dateTime" use="required"/>
<xs:attribute name="duration" type="xs:unsignedInt" use="required"/>
<xs:attribute name="accessbearer" type="xs:string" use="optional"/>
<xs:attribute name="inactivityType" type="InactivityType" use="optional"/>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
<xs:simpleType name="InactivityType">
<xs:restriction base="xs:string">
<xs:enumeration value="Pause"/>
<xs:enumeration value="BufferControl"/>
<xs:enumeration value="Error"/>
</xs:restriction>
</xs:simpleType>
<xs:complexType name="BufferLevelType">
<xs:choice>
<xs:element name="BufferLevelEntry" type="BufferLevelEntryType" maxOccurs="unbounded"/>
</xs:choice>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
<xs:complexType name="BufferLevelEntryType">
<xs:attribute name="t" type="xs:dateTime" use="required"/>
<xs:attribute name="level" type="xs:unsignedInt" use="required"/>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
<xs:complexType name="PlayListType">
<xs:choice>
<xs:element name="Trace" type="PlayListEntryType" maxOccurs="unbounded"/>
</xs:choice>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
<xs:complexType name="PlayListEntryType">
<xs:choice>
<xs:element name="TraceEntry" type="PlayListTraceEntryType" maxOccurs="unbounded"/>
</xs:choice>
<xs:attribute name="start" type="xs:dateTime" use="required"/>
<xs:attribute name="mstart" type="xs:duration" use="required"/>
<xs:attribute name="startType" type="StartType" use="required"/>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
<xs:complexType name="PlayListTraceEntryType">
<xs:attribute name="representationId" type="xs:string" use="optional"/>
<xs:attribute name="subrepLevel" type="xs:unsignedInt" use="optional"/>
<xs:attribute name="start" type="xs:dateTime" use="required"/>
<xs:attribute name="sstart" type="xs:duration" use="required"/>
<xs:attribute name="duration" type="xs:unsignedInt" use="required"/>
<xs:attribute name="playbackSpeed" type="xs:double" use="optional"/>
<xs:attribute name="stopReason" type="StopReasonType" use="optional"/>
<xs:attribute name="stopReasonOther" type="xs:string" use="optional"/>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
<xs:simpleType name="StartType">
<xs:restriction base="xs:string">
<xs:enumeration value="NewPlayoutRequest"/>
<xs:enumeration value="Resume"/>
<xs:enumeration value="OtherUserRequest"/>
<xs:enumeration value="StartOfMetricsCollectionPeriod"/>
</xs:restriction>
</xs:simpleType>
<xs:simpleType name="StopReasonType">
<xs:restriction base="xs:string">
<xs:enumeration value="RepresentationSwitch"/>
<xs:enumeration value="Rebuffering"/>
<xs:enumeration value="UserRequest"/>
<xs:enumeration value="EndOfPeriod"/>
<xs:enumeration value="EndOfContent"/>
<xs:enumeration value="EndOfMetricsCollectionPeriod"/>
<xs:enumeration value="Failure"/>
<xs:enumeration value="Other"/>
</xs:restriction>
</xs:simpleType>
<xs:complexType name="MpdInformationType">
<xs:choice>
<xs:element name="Mpdinfo" type="RepresentationType" maxOccurs="unbounded"/>
</xs:choice>
<xs:attribute name="representationId" type="xs:string" use="required"/>
<xs:attribute name="subrepLevel" type="xs:unsignedInt" use="optional"/>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
<xs:complexType name="RepresentationType">
<xs:attribute name="codecs" type="xs:string" use="required"/>
<xs:attribute name="bandwidth" type="xs:unsignedInt" use="required"/>
<xs:attribute name="qualityRanking" type="xs:unsignedInt" use="optional"/>
<xs:attribute name="frameRate" type="xs:double" use="optional"/>
<xs:attribute name="width" type="xs:unsignedInt" use="optional"/>
<xs:attribute name="height" type="xs:unsignedInt" use="optional"/>
<xs:attribute name="mimeType" type="xs:string" use="required"/>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
<xs:element name="IntySummary">
<xs:complexType>
<xs:sequence>
<xs:element name="Parameters">
<xs:complexType>
<xs:sequence>
<xs:element name="ResourceUri" minOccurs="0" maxOccurs="unbounded">
<xs:complexType>
<xs:attribute name="uriEntry" type="xs:anyURI" use="required"/>
</xs:complexType>
</xs:element>
<xs:element name="Demographics" minOccurs="0" maxOccurs="unbounded">
<xs:complexType>
<xs:attribute name="demoEntry" type="xs:string" use="required"/>
</xs:complexType>
</xs:element>
<xs:element name="Monetary" minOccurs="0" maxOccurs="unbounded">
<xs:complexType>
<xs:sequence>
<xs:element name="PurchaseRelated" minOccurs="0" maxOccurs="unbounded">
<xs:complexType>
<xs:attribute name="pNumber" type="xs:unsignedInt"/>
<xs:attribute name="pValue" type="xs:string"/>
</xs:complexType>
</xs:element>
<xs:element name="BetRelated" minOccurs="0" maxOccurs="unbounded">
<xs:complexType>
<xs:attribute name="bNumber" type="xs:unsignedInt"/>
<xs:attribute name="bValue" type="xs:string"/>
</xs:complexType>
</xs:element>
</xs:sequence>
</xs:complexType>
</xs:element>
<xs:element ref="PrivateExt" minOccurs="0"/>
<xs:any namespace="##other" processContents="lax" minOccurs="0" maxOccurs="unbounded"/>
</xs:sequence>
<xs:attribute name="consumptionDuration" type="xs:unsignedInt"/>
<xs:attribute name="engagementInterval" type="xs:unsignedInt"/>
<xs:attribute name="clickthough" type="xs:unsignedInt"/>
<xs:attribute name="groupId" type="xs:string"/>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
</xs:element>
</xs:sequence>
</xs:complexType>
</xs:element>
<xs:element name="PrivateExt"/>
<xs:element name="IntyEventList">
<xs:complexType>
<xs:sequence>
<xs:element name="Entry" maxOccurs="unbounded">
<xs:complexType>
<xs:sequence>
<xs:element name="Demographics" minOccurs="0" maxOccurs="unbounded">
<xs:complexType>
<xs:attribute name="demoEntry" type="xs:string" use="required"/>
</xs:complexType>
</xs:element>
<xs:element name="Consumption" minOccurs="0" maxOccurs="unbounded">
<xs:complexType>
<xs:attribute name="cStart" type="xs:duration" use="required"/>
<xs:attribute name="cStop" type="xs:duration" use="required"/>
</xs:complexType>
</xs:element>
<xs:element name="Engagement" minOccurs="0" maxOccurs="unbounded">
<xs:complexType>
<xs:attribute name="eStart" type="xs:duration" use="required"/>
<xs:attribute name="eStop" type="xs:duration" use="required"/>
</xs:complexType>
</xs:element>
<xs:element name="Clickthrough" minOccurs="0" maxOccurs="unbounded">
<xs:complexType>
<xs:attribute name="clickStart" type="xs:duration" use="required"/>
<xs:attribute name="resourceUri" type="xs:anyURI" use="required"/>
</xs:complexType>
</xs:element>
<xs:element name="PurchaseAction" minOccurs="0" maxOccurs="unbounded">
<xs:complexType>
<xs:attribute name="pStart" type="xs:duration" use="required"/>
<xs:attribute name="pStop" type="xs:duration" use="required"/>
<xs:attribute name="pCompletion" type="xs:boolean" default="true"/>
</xs:complexType>
</xs:element>
<xs:element name="BetAction" minOccurs="0" maxOccurs="unbounded">
<xs:complexType>
<xs:attribute name="bStart" type="xs:duration" use="required"/>
<xs:attribute name="bStop" type="xs:duration" use="required"/>
<xs:attribute name="bCompletion" type="xs:boolean" default="true"/>
</xs:complexType>
</xs:element>
<xs:element ref="PrivateExt" minOccurs="0"/>
<xs:any namespace="##other" processContents="lax" minOccurs="0" maxOccurs="unbounded"/>
</xs:sequence>
<xs:attribute name="mStart" type="xs:duration" use="required"/>
<xs:attribute name="mStop" type="xs:duration" use="required"/>
<xs:attribute name="groupId" type="xs:string"/>
</xs:complexType>
</xs:element>
</xs:sequence>
</xs:complexType>
</xs:element>
<xs:element name="PrivateExt"/>
<xs:simpleType name="DoubleVectorType">
<xs:list itemType="xs:double"/>
</xs:simpleType>
<xs:simpleType name="StringVectorType">
<xs:list itemType="xs:string"/>
</xs:simpleType>
<xs:simpleType name="UnsignedIntVectorType">
<xs:list itemType="xs:unsignedInt"/>
</xs:simpleType>
</xs:schema>
DASH用戶端110可根據以下結構描述製備報告以包括額外QoE度量值:
<?xml version="1.0" encoding="UTF-8"?>
<xs:schema
xmlns="urn:3gpp:metadata:2016:PSS:SupplementQoEMetric"
xmlns:xs="http://www.w3.org/2001/XMLSchema"
targetNamespace="urn:3gpp:metadata:2016:PSS:SupplementQoEMetric"
elementFormDefault="qualified">
<xs:element name="supplementQoEMetric" type="SupplementQoEMetricType"/>
<xs:complexType name="SupplementQoEMetricType">
<xs:sequence>
<xs:element name="deviceinformation" type="DeviceInformationType" minOccurs="0"/>
<xs:any namespace="##other" processContents="lax" minOccurs="0" maxOccurs="unbounded"/>
</xs:sequence>
</xs:complexType>
<xs:complexType name="DeviceInformationType">
<xs:choice>
<xs:element name="Entry" type="DeviceInformationEntryType" maxOccurs="unbounded"/>
</xs:choice>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
<xs:complexType name="DeviceInformationEntryType">
<xs:attribute name="start" type="xs:dateTime" use="required"/>
<xs:attribute name="mstart" type="xs:duration" use="required"/>
<xs:attribute name="videoWidth" type="xs:unsignedInt" use="required"/>
<xs:attribute name="videoHeight" type="xs:unsignedInt" use="required"/>
<xs:attribute name="screenWidth" type="xs:unsignedInt" use="required"/>
<xs:attribute name="screenHeight" type="xs:unsignedInt" use="required"/>
<xs:attribute name="pixelWidth" type="xs:double" use="required"/>
<xs:attribute name="pixelHeight" type="xs:double" use="required"/>
<xs:attribute name="fieldOfView" type="xs:double" use="required"/>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
</xs:schema>
<?xml version="1.0" encoding="UTF-8"?>
<xs:schema xmlns="urn:3gpp:metadata:2016:PSS:schemaVersion"
xmlns:xs="http://www.w3.org/2001/XMLSchema"
targetNamespace="urn:3gpp:metadata:2016:PSS:schemaVersion"
elementFormDefault="qualified">
<xs:element name="schemaVersion" type="xs:unsignedInt"/>
<xs:element name="delimiter" type="xs:byte"/>
</xs:schema>
在將發送supplementQoEMetric且普通QoEMetric不適當時,DASH用戶端110可發送虛擬MPDInformation度量值,其中編碼解碼器=「無」,頻寬= 0,mimeType =「無」,representationId =「無」。
作為另一實例,資訊清單檔案可包括表示待單獨地自QoE度量值資訊報告之互動性使用資訊的資料。亦即,DASH用戶端110可將QoE度量值單獨地自互動性使用資訊報告至例如相同或不同報告伺服器器件。資訊清單檔案可包括待報告之互動性使用資訊,諸如上文所論述的IntySummary及IntyEventList元素。
儘管更多規範複雜度可藉由定義兩種單獨3GP-DASH報告方案而引發,但如此進行具有允許在針對待報告之每一類型的度量值來調適報告機制中之更多靈活性(QoE相對於互動性使用)以及提供互動性使用報告與QoE度量值報告之間的分離之優點,互動性使用報告通常涉及一些形式的隱式或顯式之使用者同意與服務或應用程式提供商共享「隱私」資訊,QoE度量報告不具有隱私/同意影響。
另外,可根據對互動性使用報告具有特異性的新報告協定來組態DASH用戶端110,如下文所定義。類似於產生如先前所論述之額外報告方案的不利方面,存在藉由以下所獲得之優點:自互動性使用報告去耦QoE度量值報告,諸如報告之指定的時間及/或頻率,以及保證針對根本上不同類型之度量值的DASH用戶端報告之清晰程序及語義。
在此等實例中,DASH用戶端110可根據以下XML結構描述製備互動性使用資訊報告:
<?xml version="1.0"?>
<xs:schema xmlns:xs="http://www.w3.org/2001/XMLSchema"
targetNamespace="urn:3gpp:metadata:2011:HSD:receptionreport"
xmlns:sup="urn:3gpp:metadata:2018:PSS:SupplementIntyUsageMetric"
xmlns:sv="urn:3gpp:metadata:2016:PSS:schemaVersion"
xmlns="urn:3gpp:metadata:2011:HSD:receptionreport" elementFormDefault="qualified">
<xs:element name="ReceptionReport" type="ReceptionReportType"/>
<xs:complexType name="ReceptionReportType">
<xs:choice>
<xs:element name="IntyUsageReport" type="IntyUsageReportType" minOccurs="0" maxOccurs="unbounded"/>
<xs:any namespace="##other" processContents="skip" minOccurs="0" maxOccurs="unbounded"/>
</xs:choice>
<xs:attribute name="contentURI" type="xs:anyURI" use="required"/>
<xs:attribute name="clientID" type="xs:string" use="optional"/>
</xs:complexType>
<xs:complexType name="IntyUsageReportType">
<xs:sequence>
<xs:element name="IntyUsageMetric" type="IntyUsageMetricype" minOccurs="1" maxOccurs="unbounded"/>
<xs:element ref="sup:supplementIntyUsageMetric" minOccurs="0" maxOccurs="1"/>
<xs:element ref="sv:delimiter"/>
<xs:any namespace="##other" processContents="skip" minOccurs="0" maxOccurs="unbounded"/>
</xs:sequence>
<xs:attribute name="periodID" type="xs:string" use="required"/>
<xs:attribute name="reportTime" type="xs:dateTime" use="required"/>
<xs:attribute name="reportPeriod" type="xs:unsignedInt" use="required"/>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
<xs:complexType name="IntyUsageMetricType">
<xs:choice>
<xs:element name="IntySummary" type="IntySummaryType"/>
<xs:element name="IntyEventList" type="IntyEventListType"/>
</xs:choice>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
</xs:schema>
針對經由QMC功能性完成之組態,DASH用戶端110亦可經由QMC功能性來發送互動性使用報告。針對MPD或OMA-DM組態,若已組態特定度量值伺服器,則DASH用戶端110可使用在其主體中攜載XML格式化後設資料之HTTP POST請求來發送互動性使用報告。在下文展示基於HTTP POST請求發信號之實例互動性使用報告:
儘管DASH用戶端110描述為上文報告QoE及互動性使用資訊,但應理解,在一些實例中,DASH用戶端110可將報告或其資料發送至eMBMS中間軟體單元100,該eMBMS中間軟體單元可隨後將報告發送(或將資料組譯成報告且隨後將報告發送)至一或多個報告伺服器器件。
圖3為說明實例多媒體內容120之元素的概念圖。多媒體內容120可對應於多媒體內容64 (圖1),或對應於儲存於儲存媒體62中之另一多媒體內容。在圖3之實例中,多媒體內容120包括媒體呈現描述(MPD) 122及複數個表示124A-124N (表示124)。表示124A包括視情況選用之標頭資料126及區段128A-128N (區段128),而表示124N包括視情況選用之標頭資料130及區段132A-132N (區段132)。為了方便起見,使用字母N來指定表示124中之每一者中的最後一個電影片段。在一些實例中,表示124之間可存在不同數目之電影片段。
MPD 122可包含與表示124分離之資料結構。MPD 122可對應於圖1之資訊清單檔案66。同樣,表示124可對應於圖1之表示68。大體而言,MPD 122可包括大體上描述表示124之特性的資料,諸如寫碼及轉譯特徵、調適組、MPD 122所對應之設定檔、文字類型資訊、攝影機角度資訊、分級資訊、特技模式資訊(例如,指示包括時間子序列之表示的資訊)及/或用於檢索遠端週期(例如,用於在播放期間將針對性廣告***至媒體內容中)之資訊。
根據本發明之技術,MPD 122可包括表示報告期望之資料,亦即,在媒體串流會話期間待由串流媒體用戶端(例如,圖2的DASH用戶端110)報告至報告伺服器器件(例如,圖1之伺服器器件60或單獨報告伺服器器件)之資料。
圖2之DASH用戶端110可自MPD 122提取報告期望且將表示報告期望之資料發送至例如媒體應用程式112。DASH用戶端110可隨後自媒體應用程式112接收表示互動性元素之使用的資料且向報告伺服器器件報告表示互動性元素之使用的資料。在一些實例中,DASH用戶端110可根據自MPD 112提取的格式資訊來格式化表示互動性元素之使用的資料。
MPD 122亦可包括指示以下之任何或所有資料:與隨機產生之值比較以判定用戶端器件是否將參與報告互動性使用資訊的值;表示將多頻繁地發送互動性使用資訊報告至報告伺服器器件之取樣百分比值;及/或指示將參與報告互動性使用資訊之一組器件的群組識別符(GroupID)值。
在一個實例中,DASH用戶端(例如,圖2之DASH用戶端110)可將互動性使用資訊直接地報告至網路伺服器(亦即,報告伺服器器件)。可擴展如TS 26.247中所指明的現存度量值定義、品質報告方案及品質報告協定以包括互動性使用度量值且以支援相關聯之互動性使用報告功能性。亦即,可擴展如TS 26.247之條款10中所定義之現存DASH QoE度量值定義及相關聯的報告方案及協定以執行本發明之技術。MPD 122可包括根據下表之MPD度量值元素:
以下XML表示上表之實例語義的品質及互動性使用報告方案資訊之實例語法:
<?xml version="1.0"?>
<xs:schema targetNamespace="urn:3GPP:ns:PSS:AdaptiveHTTPStreaming:2009:qm"
attributeFormDefault="unqualified"
elementFormDefault="qualified"
xmlns:xs="http://www.w3.org/2001/XMLSchema"
xmlns:xlink="http://www.w3.org/1999/xlink"
xmlns="urn:3GPP:ns:PSS:AdaptiveHTTPStreaming:2009:qm">
<xs:annotation>
<xs:appinfo>3GPP DASH Quality and Interactivity Usage Reporting</xs:appinfo>
<xs:documentation xml:lang="en">
此結構描述定義3GPP DASH之品質及互動性報告方案資訊。
</xs:documentation>
</xs:annotation>
<xs:element name="ThreeGPQualityAndIntyUsageReporting" type="SimpleQualityAndIntyReportingType"/>
<xs:complexType name="SimpleQualityAndIntyReportingType">
<xs:sequence>
<xs:element name="GroupID" type="xs:string" minOccurs="0"/>
</xs:sequence>
<xs:attribute name="apnQoE" type="xs:string" use="optional"/>
<xs:attribute name="apnIntyUsage" type="xs:string" use="optional"/>
<xs:attribute name="format" type="FormatType" use="optional"/>
<xs:attribute name="samplePercentage" type="xs:double" use="optional"/>
<xs:attribute name="samplePercentageInty" type="xs:double" use="optional"/>
<xs:attribute name="qoeReportingServer" type="xs:anyURI" use="required"/>
<xs:attribute name="intyUsageReportingServer" type="xs:anyURI" use="optional"/>
<xs:attribute name="intyReportingTime" type="xs:duration" use="optional"/>
<xs:attribute name="reportingInterval" type="xs:unsignedInt" use="optional"/>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
<xs:simpleType name="FormatType">
<xs:restriction base="xs:string">
<xs:enumeration value="uncompressed" />
<xs:enumeration value="gzip" />
</xs:restriction>
</xs:simpleType>
</xs:schema>
在另一實例中,DASH用戶端110可將互動性使用資訊直接地報告至網路伺服器(報告伺服器器件)。MPD 122可包括關於互動性使用度量值定義之新的、單獨的部分,且DASH用戶端110可根據相關聯互動性使用報告方案及根據關於MPD 122的互動性使用度量值定義之新的部分之報告協定來執行。以此方式,互動性使用報告可自QoE報告由DASH用戶端110去耦。
根據上文實例語義之互動性使用報告方案資訊之實例語法展示於以下XML結構描述中:
<?xml version="1.0"?>
<xs:schema targetNamespace="urn:3GPP:ns:PSS:AdaptiveHTTPStreaming:2009:qm"
attributeFormDefault="unqualified"
elementFormDefault="qualified"
xmlns:xs="http://www.w3.org/2001/XMLSchema"
xmlns:xlink="http://www.w3.org/1999/xlink"
xmlns="urn:3GPP:ns:PSS:AdaptiveHTTPStreaming:2018:iu">
<xs:annotation>
<xs:appinfo>3GPP DASH Interactivity Usage Reporting</xs:appinfo>
<xs:documentation xml:lang="en">
此結構描述定義3GPP DASH之互動性報告方案資訊。
</xs:documentation>
</xs:annotation>
<xs:element name="ThreeGPIntyUsageReporting" type="SimpleIntyReportingType"/>
<xs:complexType name="SimpleIntyReportingType">
<xs:sequence>
<xs:element name="GroupID" type="xs:string" minOccurs="0"/>
</xs:sequence>
<xs:attribute name="apn" type="xs:string" use="optional"/>
<xs:attribute name="format" type="FormatType" use="optional"/>
<xs:attribute name="samplePercentage" type="xs:double" use="optional"/>
<xs:attribute name="reportingServer" type="xs:anyURI" use="required"/>
<xs:attribute name="reportingTime" type="xs:duration" use="optional"/>
<xs:attribute name="reportingInterval" type="xs:unsignedInt" use="optional"/>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
<xs:simpleType name="FormatType">
<xs:restriction base="xs:string">
<xs:enumeration value="uncompressed" />
<xs:enumeration value="gzip" />
</xs:restriction>
</xs:simpleType>
</xs:schema>
標頭資料126 (在存在時)可描述區段128之特性,例如,隨機存取點(RAP,亦稱作串流存取點(SAP))之時間位置、區段128中的哪一者包括隨機存取點、與區段128內之隨機存取點之位元組偏移、區段128的統一資源定位符(URL),或區段128之其他態樣。標頭資料130 (在存在時)可描述區段132之類似特性。另外或替代地,此類特性可完全包括於MPD 122內。
區段128、132包括一或多個經寫碼視訊樣本,其中之每一者可包括視訊資料之圖框或圖塊。區段128之經寫碼視訊樣本中之每一者可具有類似特性,例如,高度、寬度及頻寬要求。此類特性可藉由MPD 122之資料來描述,儘管此資料在圖3之實例中未說明。MPD 122可包括如3GPP規範所描述之特性,同時添加了本發明中所描述的發信資訊中之任一者或全部。
區段128、132中之每一者可與唯一的統一資源定位符(URL)相關聯。因此,區段128、132中之每一者可使用諸如DASH之串流網路協定來獨立地檢索。以此方式,諸如用戶端器件40之目的地器件可使用HTTP GET請求來檢索區段128或132。在一些實例中,用戶端器件40可使用HTTP部分GET請求來檢索區段128或132之特定位元組範圍。
圖4為說明實例視訊檔案150之元素的方塊圖,實例視訊檔案可對應於表示之區段,諸如圖3的區段128、132中之一者。區段128、132中之每一者可包括實質上符合圖4之實例中所說明的資料之配置的資料。視訊檔案150可稱為囊封區段。如上文所描述,根據ISO基本媒體檔案格式及其擴展的視訊檔案將資料儲存於一系列對象(稱為「方塊」)中。在圖4之實例中,視訊檔案150包括檔案類型(FTYP)方塊152、電影(MOOV)方塊154、區段索引(sidx)方塊162、電影片段(MOOF)方塊164及電影片段隨機存取(MFRA)方塊166。儘管圖4表示視訊檔案之實例,但應理解,根據ISO基本媒體檔案格式及其擴展,其他媒體檔案可包括其他類型之媒體資料(例如,音訊資料、計時文字資料或其類似者),其類似於媒體檔案150之資料結構化。
檔案類型(FTYP)方塊152大體上描述視訊檔案150之檔案類型。檔案類型方塊152可包括資料,該資料識別描述視訊檔案150之最佳用途之規範。檔案類型方塊152可替代地置放在MOOV方塊154、電影片段方塊164及/或MFRA方塊166之前。
在一些實例中,諸如視訊檔案150之區段可包括在FTYP方塊152之前的MPD更新方塊(未展示)。MPD更新方塊可包括指示對應於包括視訊檔案150之表示之MPD待更新的資訊,以及用於更新MPD之資訊。舉例而言,MPD更新方塊可提供待用於更新MPD之資源的URI或URL。作為另一實例,MPD更新方塊可包括用於更新MPD之資料。在一些實例中,MPD更新方塊可緊接在視訊檔案150之區段類型(STYP)方塊(未展示)之後,其中STYP方塊可定義視訊檔案150之區段類型。
在圖4之實例中,MOOV方塊154包括電影標頭(MVHD)方塊156、播放軌(TRAK)方塊158及一或多個電影延伸(MVEX)方塊160。大體而言,MVHD方塊156可描述視訊檔案150之一般特性。舉例而言,MVHD方塊156可包括描述視訊檔案150何時最初建立、視訊檔案150何時經最後修改、視訊檔案150之時間標度、視訊檔案150之播放持續時間的資料,或大體上描述視訊檔案150之其他資料。
TRAK方塊158可包括視訊檔案150之播放軌的資料。TRAK方塊158可包括播放軌標頭(TKHD)方塊,其描述對應於TRAK方塊158之播放軌的特性。在一些實例中,TRAK方塊158可包括經寫碼視訊圖像,而在其他實例中,播放軌之經寫碼視訊圖像可包括於電影片段164中,該等電影片段可由TRAK方塊158及/或sidx方塊162之資料參考。
在一些實例中,視訊檔案150可包括多於一個播放軌。因此,MOOV方塊154可包括數個TRAK方塊,其等於視訊檔案150中之播放軌之數目。TRAK方塊158可描述視訊檔案150之對應播放軌之特性。舉例而言,TRAK方塊158可描述對應播放軌之時間及/或空間資訊。當囊封單元30 (圖3)包括諸如視訊檔案150之視訊檔案中之參數組播放軌時,類似於MOOV方塊154之TRAK方塊158的TRAK方塊可描述參數組播放軌之特性。囊封單元30可在描述參數組播放軌之TRAK方塊內發信號序列層級SEI訊息存在於參數組播放軌中。
MVEX方塊160可描述對應電影片段164之特性,例如,以發信號視訊檔案150除包括於MOOV方塊154 (若存在)內之視訊資料之外亦包括電影片段164。在串流視訊資料之上下文中,經寫碼視訊圖像可包括於電影片段164中,而非包括於MOOV方塊154中。因此,所有經寫碼視訊樣本可包括於電影片段164中,而非包括於MOOV方塊154中。
MOOV方塊154可包括數個MVEX方塊160,其等於視訊檔案150中之電影片段164之數目。MVEX方塊160中之每一者可描述電影片段164中之對應電影片段的特性。舉例而言,每一MVEX方塊可包括電影延伸標頭方塊(MEHD)方塊,其描述電影片段164中的對應電影片段之時間持續時間。
如上文所提及,囊封單元30可儲存視訊樣本中之序列資料組,其並不包括實際經寫碼視訊資料。視訊樣本可大體上對應於存取單元,其為特定時間執行個體下之經寫碼圖像之表示。在AVC之上下文中,經寫碼圖像包括一或多個VCL NAL單元,其含有用以建構存取單元之所有像素的資訊,及其他相關聯的非VCL NAL單元,諸如SEI訊息。因此,囊封單元30可包括電影片段164中之一者中之序列資料組,其可包括序列層級SEI訊息。囊封單元30可進一步發信號存在於電影片段164中之一者中的序列資料組及/或序列層級SEI訊息存在於對應於電影片段164中之一者的MVEX方塊160中之一者內。
SIDX方塊162為視訊檔案150之視情況選用之元素。亦即,符合3GPP檔案格式或其他此類檔案格式之視訊檔案未必包括SIDX方塊162。根據3GPP檔案格式之實例,SIDX方塊可用於識別區段(例如,含於視訊檔案150內之區段)之子區段。3GPP檔案格式將子區段定義為「具有對應媒體資料方塊的一或多個連續電影片段方塊之自含式組,且含有藉由電影片段方塊參考之資料的媒體資料方塊必須跟在彼電影片段方塊之後且在含有關於同一播放軌之資訊的下一個電影片段方塊之前」。3GPP檔案格式亦指示SIDX方塊「含有對由方塊記錄之(子)區段之子區段參考的序列。所參考之子區段在呈現時間上連續。類似地,由區段索引方塊參考之位元組始終在區段內連續。所參考大小給出所參考材料中之位元組之數目的計數」。
SIDX方塊162大體上提供表示視訊檔案150中所包括之區段之一或多個子區段的資訊。舉例而言,此資訊可包括子區段開始及/或結束之播放時間、子區段的位元組偏移、子區段是否包括串流存取點(SAP) (例如,以串流存取點開始)、SAP (例如,SAP是否為瞬時解碼器再新(IDR)圖像、清晰隨機存取(CRA)圖像、斷鏈存取(BLA)圖像或其類似者)的類型、SAP (就播放時間及/或位元組偏移而言)在子區段中之位置,及其類似者。
電影片段164可包括一或多個經寫碼視訊圖像。在一些實例中,電影片段164可包括一或多個圖像群組(group of pictures,GOP),其中之每一者可包括數個經寫碼視訊圖像,例如圖框或圖像。另外,如上文所描述,在一些實例中,電影片段164可包括序列資料組。電影片段164中之每一者可包括電影片段標頭方塊(MFHD,圖4中未展示)。MFHD方塊可描述對應電影片段之特性,諸如電影片段之序列號。電影片段164可按序列號次序包括於視訊檔案150中。
MFRA方塊166可描述視訊檔案150之電影片段164內的隨機存取點。此可輔助執行特技模式,諸如執行對由視訊檔案150囊封之區段內之特定時間位置(即,播放時間)的尋找。在一些實例中,MFRA方塊166大體上係視情況選用的且無需包括於視訊檔案中。同樣,諸如用戶端器件40之用戶端器件未必需要參考MFRA方塊166來對視訊檔案150之視訊資料進行正確解碼及顯示。MFRA方塊166可包括數個播放軌片段隨機存取(TFRA)方塊(未展示),其等於視訊檔案150之播放軌之數目或在一些實例中等於視訊檔案150之媒體播放軌(例如,非暗示播放軌)之數目。
在一些實例中,電影片段164可包括一或多個串流存取點(SAP),諸如IDR圖像。同樣,MFRA方塊166可提供對SAP之視訊檔案150內之位置的指示。因此,視訊檔案150之時間子序列可由視訊檔案150之SAP形成。時間子序列亦可包括其他圖像,諸如取決於SAP之P圖框及/或B圖框。時間子序列之圖框及/或圖塊可配置於區段內,以使得可恰當地解碼時間子序列的取決於子序列之其他圖框/圖塊之圖框/圖塊。舉例而言,在資料之階層式配置中,用於其他資料之預測的資料亦可包括於時間子序列中。
圖5為說明用於執行本發明之技術之實例方法的流程圖。儘管應理解,其他器件或單元可經組態以執行此方法或類似方法,但關於圖2之檢索單元52的DASH用戶端110來描述圖5之方法。
在此實例中,DASH用戶端110首先檢索包括報告期望之MPD (200)。報告期望可包括例如關於QoE及互動性使用資訊兩者之期望。如上文所論述,MPD可指示是否一起或單獨地發送QoE報告及互動性使用資訊報告(例如,作為單獨報告發送至相同報告伺服器器件或單獨報告伺服器器件)。儘管出於實例之目的描述MPD,但應理解,可在其他實例中使用其他資訊清單檔案。
因此,DASH用戶端110可剖析MPD以判定QoE報告期望(202)且以判定互動性使用資訊報告期望(204)。在一些實例中,如上文所論述,MPD可指示目標百分比值,表示用戶端器件基於與目標百分比值相比之隨機產生值報告的可能性。因此,DASH用戶端110可隨機產生值且將隨機產生之值與目標百分比值進行比較。在一些實例中,若隨機產生之值等於或小於目標百分比值,則DASH用戶端110判定發送報告,而若隨機產生的值大於目標百分比值,則DASH用戶端110判定不發送報告。若將單獨地報告QoE資料及互動性使用資料,則DASH用戶端110可使用相異之隨機產生之值執行單獨報告判定。DASH用戶端110可進一步判定用以發送報告的頻率、報告格式及其類似者。在一些實例中,DASH用戶端110可判定群組識別符(GroupID)值是否表示包括將提交報告之用戶端器件40及/或DASH用戶端110的一組用戶端器件,且判定是否使用群組識別符值發送報告。
DASH用戶端110亦可將媒體資料及互動性資料轉送至媒體應用程式112 (206)。在各種實例中,媒體資料及互動性資料可一起或單獨地包括於例如相同媒體檔案,但包括於不同表示中、不同檔案中或其類似者。
DASH用戶端110亦可自MPD將表示互動性使用報告資訊之資料發送至媒體應用程式112 (208)。在此實例中,假定媒體應用程式112亦充當互動性應用程式,諸如網頁瀏覽器。在自媒體播放器應用程式提供單獨互動性應用程式之實例中,DASH用戶端110可將互動性使用報告資訊發送至互動性應用程式。
DASH用戶端110可隨後自例如媒體應用程式112接收互動性資料使用資訊(210)。互動性資料使用資訊可表示例如所選擇的超鏈路、所選擇之無線電按鈕、所選擇的核取方塊或其他互動性UI元素,使用者與該等其他互動性UI元素互動。儘管圖5中未展示,但DASH用戶端110亦可判定QoE資訊(諸如例如選擇調適組之該QoE資訊的表示)、所檢索之區段或其類似者。因此DASH用戶端110可報告QoE資訊(212)且報告互動性使用資訊(214)。如上文所提及,在一些實例中,DASH用戶端110可以一個報告形式一起報告QoE資訊及互動性使用資訊,而在其他實例中,DASH用戶端110可單獨地報告QoE資訊與互動性使用資訊。
以此方式,圖5之方法表示包括以下的方法之實例:藉由用戶端器件之串流媒體用戶端在媒體串流會話期間接收指示報告期望之資訊清單檔案,該等報告期望表示待由串流媒體用戶端報告至報告伺服器器件的資料;藉由串流媒體用戶端將表示報告期望的資料發送至在用戶端器件上執行之互動性應用程式;藉由串流媒體用戶端接收來自在用戶端器件上執行之互動性應用程式的互動性使用資訊;且藉由串流媒體用戶端將互動性使用資訊報告至報告伺服器器件。
在一或多個實例中,所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施,則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸,且藉由基於硬體之處理單元執行。計算機可讀媒體可包括電腦可讀儲存媒體,其對應於諸如資料儲存媒體之有形媒體或包括促進電腦程式例如根據通信協定而自一處輸送至另一處之任何媒體的通信媒體。以此方式,電腦可讀媒體大體上可對應於(1)非暫時性之有形電腦可讀儲存媒體,或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以檢索用於實施本發明中所描述之技術之指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀儲存媒體。
作為實例而非限制,此類電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用以儲存呈指令或資料結構形式之所需程式碼且可由電腦存取的任何其他媒體。又,任何連接恰當地稱為電腦可讀媒體。舉例而言,若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令,則隨後同軸電纜、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,而實情為係針對非暫時性有形儲存媒體。如本文中所使用之磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟及Blu-ray光碟,其中磁碟通常以磁性方式再生資料,而光碟用雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
可藉由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器來執行指令。因此,如本文中所使用之術語「處理器」可指代前述結構或適用於實施本文中所描述之技術的任何其他結構中之任一者。另外,在一些態樣中,本文中所描述之功能性可提供於經組態以供編碼及解碼或併入於經組合編碼解碼器中之專用硬體及/或軟體模組內。又,該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於廣泛多種器件或設備中,包括無線手機、積體電路(IC)或一組IC(例如,晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣,但未必需要藉由不同硬體單元來實現。相反,如上文所描述,各種單元可組合於編碼解碼器硬體單元中,或由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合適合軟體及/或韌體來提供。
已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧實例系統
20‧‧‧內容準備器件
22‧‧‧音訊源
24‧‧‧視訊源
26‧‧‧音訊編碼器
28‧‧‧視訊編碼器
30‧‧‧囊封單元
32‧‧‧輸出介面
40‧‧‧用戶端器件
42‧‧‧音訊輸出
44‧‧‧視訊輸出
46‧‧‧音訊解碼器
48‧‧‧視訊解碼器
50‧‧‧解囊封單元
52‧‧‧檢索單元
54‧‧‧網路介面
60‧‧‧伺服器器件
62‧‧‧儲存媒體
64‧‧‧多媒體內容
66‧‧‧資訊清單檔案
68‧‧‧表示
68A‧‧‧表示
68N‧‧‧表示
70‧‧‧請求處理單元
72‧‧‧網路介面
74‧‧‧網路
100‧‧‧eMBMS中間軟體單元
102‧‧‧代理伺服器單元
104‧‧‧快取記憶體
106‧‧‧eMBMS接收單元
110‧‧‧DASH用戶端
112‧‧‧媒體應用程式
120‧‧‧多媒體內容
122‧‧‧媒體呈現描述
124‧‧‧表示
124A‧‧‧表示
124N‧‧‧表示
126‧‧‧標頭資料
128‧‧‧區段
128A‧‧‧區段
128N‧‧‧區段
130‧‧‧標頭資料
132‧‧‧區段
132A‧‧‧區段
132N‧‧‧區段
150‧‧‧視訊檔案
152‧‧‧檔案類型方塊
154‧‧‧電影方塊
156‧‧‧電影標頭方塊
158‧‧‧播放軌方塊
160‧‧‧電影延伸方塊
162‧‧‧區段索引方塊
164‧‧‧電影片段方塊
166‧‧‧電影片段隨機存取方塊
200‧‧‧步驟
202‧‧‧步驟
204‧‧‧步驟
206‧‧‧步驟
208‧‧‧步驟
210‧‧‧步驟
212‧‧‧步驟
214‧‧‧步驟X‧‧‧時間
圖1為說明實施用於經由網路串流傳輸媒體資料之技術的實例系統之方塊圖。
圖2為更詳細地說明檢索單元之組件之實例組的方塊圖。
圖3為說明實例多媒體內容之元素的概念圖。
圖4為說明實例視訊檔案之元素的方塊圖。
圖5為說明用於執行本發明之技術之實例方法的流程圖。
200‧‧‧步驟
202‧‧‧步驟
204‧‧‧步驟
206‧‧‧步驟
208‧‧‧步驟
210‧‧‧步驟
212‧‧‧步驟
214‧‧‧步驟
Claims (36)
- 一種報告互動性使用資訊同時呈現串流傳輸之媒體資料之方法,該方法包含:藉由一用戶端器件之一串流媒體用戶端在一媒體串流會話期間接收指示報告期望之一資訊清單檔案,該等報告期望表示待由該串流媒體用戶端報告至一報告伺服器器件的資料,該資訊清單檔案與包括媒體資料或互動性資料中的至少一個的媒體檔案分離,該資訊清單檔案不包括任何該媒體資料或該互動性資料;藉由該串流媒體用戶端將表示該等報告期望之資料發送至在該用戶端器件上執行之一互動性應用程式;藉由該串流媒體用戶端使用該資訊清單檔案檢索包括該媒體資料或該互動性資料中的至少一個的一或多個該媒體檔案;藉由該串流媒體用戶端接收來自在該用戶端器件上執行之該互動性應用程式的互動性使用資訊;且藉由該串流媒體用戶端將該互動性使用資訊報告至該報告伺服器器件。
- 如請求項1之方法,其中發送表示該等報告期望之該資料包含將表示該等報告期望的該資料經由一應用程式設計介面(API)發送至該互動 性應用程式,且其中接收該互動性使用資訊包含經由該API接收該互動性使用資訊。
- 如請求項1之方法,其中該資訊清單檔案之該等報告期望包括以下中之一或多者:一度量值屬性,其列舉待報告的該互動性使用資訊;一範圍元素,其指示該串流會話之一時間週期,在該串流會話期間將收集該互動性使用資訊;一位置過濾器元素,其指示將收集該互動性使用資訊的一地理區域;一或多個串流媒體來源過濾器元素,其識別將不收集該互動性使用資訊之一或多個媒體呈現;或一報告元素,其指示報告該互動性使用資訊的一報告方法及格式。
- 如請求項1之方法,其中該資訊清單檔案之該等報告期望包括以下中之一或多者:一存取點名稱(APN)元素,其定義待將該互動性使用資訊報告至其的一存取點;一格式元素,其指示報告該互動性使用資訊之一格式;一樣本百分比元素,其指示與一隨機產生之值進行比較以判定是否報告該互動性使用資訊的一值;一報告伺服器元素,其定義該報告伺服器器件之一統一資源定位符(URL);一報告時間元素,其指示藉以報告該互動性使用資訊之一媒體呈現 時間;一報告間隔元素,其指示該互動性使用資訊的連續傳輸報告之間的一時間間隔;或一群組識別符值,其指示將報告該互動性使用資訊之一或多個用戶端器件。
- 如請求項1之方法,其中該資訊清單檔案包含一媒體呈現描述(MPD)。
- 如請求項1之方法,其中該等報告期望定義一隨機取樣之會話及服務宣告發信號中的一樣本百分比值,該用戶端器件將參與該隨機取樣的會話。
- 如請求項1之方法,其中該等報告期望定義一針對性群組會話,該用戶端器件將參與該針對性群組會話。
- 如請求項7之方法,其中該等報告期望定義一群組識別符(ID),且用於該用戶端器件之一識別符對應於該群組ID。
- 如請求項1之方法,其進一步包含:其中檢索一或多個該媒體檔案包括:檢索包括該媒體資料的一或多個該媒體檔案;以及接收包括該互動性資料的多個互動式元素的一或多個該媒 體檔案;該方法進一步包括呈現該媒體資料,其中呈現該媒體資料包含在該媒體資料呈現期間呈現該等互動式元素。
- 如請求項9之方法,其進一步包含藉由該互動性應用程式根據使用者與該等互動式元素之互動來收集該互動性使用資訊。
- 如請求項1之方法,其中該互動性使用資訊包含以下中之一或多者:一使用者觀看互動性內容的一量、該使用者參與該互動性內容之一持續時間、該使用者對該互動性內容中之嵌入型鏈路的點擊次數之一數目、與使用者與該互動性內容之互動相關聯的購買之一數目、該等購買之一幣值或與該使用者及互動性使用報告相關聯的人口統計資訊。
- 如請求項1之方法,其中報告包含:將一報告中之體驗品質(QoE)資訊報告至該伺服器器件;以及將該報告中的該互動性使用資訊報告至該伺服器器件。
- 如請求項1之方法,其中報告包含:將一第一報告中之體驗品質(QoE)資訊報告至該伺服器器件;以及將一第二報告中之該互動性使用資訊報告至該伺服器器件, 該第二報告不同於該第一報告。
- 如請求項1之方法,其中報告包含:藉由該串流媒體用戶端將該互動性使用資訊發送至該用戶端器件之一多媒體廣播/多播服務(MBMS)用戶端;以及藉由該MBMS用戶端將該互動性使用資訊報告至該伺服器器件。
- 如請求項14之方法,其中該MBMS用戶端包含一增強型MBMS用戶端。
- 如請求項14之方法,其中該MBMS用戶端包括於該用戶端器件之一中間軟體單元中。
- 如請求項1之方法,其中該串流媒體用戶端包含一HTTP動態自適應串流媒體(DASH)用戶端。
- 一種用於報告互動性使用資訊同時呈現串流傳輸之媒體資料之器件,該器件包含:一記憶體,其經組態以儲存媒體資料;及一處理器,其實施於電路中且經組態以執行一串流媒體用戶端以:在一媒體串流會話期間接收指示報告期望之一資訊清單檔 案,該等報告期望表示待由該串流媒體用戶端報告至一報告伺服器器件的資料,該資訊清單檔案與包括媒體資料或互動性資料中的至少一個的媒體檔案分離,該資訊清單檔案不包括任何該媒體資料或該互動性資料;將表示該等報告期望之資料發送至在該用戶端器件上執行之一互動性應用程式;使用該資訊清單檔案檢索包括該媒體資料或該互動性資料中的至少一個的一或多個該媒體檔案;接收來自在該用戶端器件上執行之該互動性應用程式的互動性使用資訊;且將該互動性使用資訊報告至該報告伺服器器件。
- 如請求項18之器件,其中該串流媒體用戶端經組態以將表示該等報告期望之該資料經由一應用程式設計介面(API)發送至該互動性應用程式,且其中該串流媒體應用程式經組態以經由該API接收該互動性使用資訊。
- 如請求項18之器件,其中該資訊清單檔案之該等報告期望包括以下中之一或多者:一度量值屬性,其列舉待報告的該互動性使用資訊;一範圍元素,其指示該串流會話之一時間週期,在該串流會話期間將收集該互動性使用資訊;一位置過濾器元素,其指示將收集該互動性使用資訊的一地理區域; 一或多個串流媒體來源過濾器元素,其識別將不收集該互動性使用資訊之一或多個媒體呈現;或一報告元素,其指示報告該互動性使用資訊的一報告方法及格式。
- 如請求項18之器件,其中該資訊清單檔案之該等報告期望包括以下中之一或多者:一存取點名稱(APN)元素,其定義待將該互動性使用資訊報告至其的一存取點;一格式元素,其指示報告該互動性使用資訊之一格式;一樣本百分比元素,其指示與一隨機產生之值進行比較以判定是否報告該互動性使用資訊的一值;一報告伺服器元素,其定義該報告伺服器器件之一統一資源定位符(URL);一報告時間元素,其指示藉以報告該互動性使用資訊之一媒體呈現時間;一報告間隔元素,其指示該互動性使用資訊的連續傳輸報告之間的一時間間隔;或一群組識別符值,其指示將報告該互動性使用資訊之一或多個用戶端器件。
- 如請求項18之器件,其中該資訊清單檔案包含一媒體呈現描述(MPD)。
- 如請求項18之器件,其中該串流媒體用戶端經組態以:檢索包括該媒體資料的一或多個該媒體檔案;接收包括該互動性資料的多個互動式元件的一或多個該媒體檔案;且呈現該媒體資料,且在該媒體資料呈現期間,呈現該等互動式元素。
- 如請求項18之器件,其中該處理器經組態以執行該互動性應用程式來根據使用者與該等互動式元素之互動收集該互動性使用資訊。
- 如請求項18之器件,其中該互動性使用資訊包含以下中之一或多者:一使用者觀看互動性內容的一量、該使用者參與該互動性內容之一持續時間、該使用者對該互動性內容中之嵌入型鏈路的點擊次數之一數目、與使用者與該互動性內容之互動相關聯的購買之一數目、該等購買之一幣值或與該使用者及互動性使用報告相關聯的人口統計資訊。
- 如請求項18之器件,其中該串流媒體用戶端經組態以:將一報告中之體驗品質(QoE)資訊報告至該伺服器器件;且將該報告中之該互動性使用資訊報告至該伺服器器件。
- 如請求項18之器件,其中該串流媒體用戶端經組態以:將一第一報告中之體驗品質(QoE)資訊報告至該伺服器器 件;且將一第二報告中之該互動性使用資訊報告至該伺服器器件,該第二報告不同於該第一報告。
- 如請求項18之器件,其進一步包含一多媒體廣播/多播服務(MBMS)用戶端,其中該串流媒體用戶端經組態以經由該MBMS用戶端報告該互動性使用資訊。
- 如請求項18之器件,其中該器件包含以下中之至少一者:一積體電路;一微處理器;或一無線通信器件。
- 一種用於報告互動性使用資訊同時呈現串流傳輸之媒體資料之器件,該器件包含:用於在一媒體串流會話期間接收指示報告期望之一資訊清單檔案的構件,該等報告期望表示待由串流媒體用戶端報告至一報告伺服器器件的資料,該資訊清單檔案與包括媒體資料或互動性資料中的至少一個的媒體檔案分離,該資訊清單檔案不包括任何該媒體資料或該互動性資料;用於將表示該等報告期望之資料發送至在該用戶端器件上執行之一互動性應用程式的構件;使用該資訊清單檔案檢索包括該媒體資料或該互動性資料 中的至少一個的一或多個該媒體檔案的構件;用於接收來自在該用戶端器件上執行之該互動性應用程式的互動性使用資訊的構件;及用於將該互動性使用資訊報告至該報告伺服器器件的構件。
- 一種非暫時性電腦可讀儲存媒體,其上儲存有指令,該等指令在執行時使得執行一串流媒體用戶端之一用戶端器件之一處理器:在一媒體串流會話期間接收指示報告期望之一資訊清單檔案,該等報告期望表示待由該串流媒體用戶端報告至一報告伺服器器件的資料,該資訊清單檔案與包括媒體資料或互動性資料中的至少一個的媒體檔案分離,該資訊清單檔案不包括任何該媒體資料或該互動性資料;將表示該等報告期望之資料發送至在該用戶端器件上執行之一互動性應用程式;使用該資訊清單檔案檢索包括該媒體資料或該互動性資料中的至少一個的一或多個該媒體檔案;接收來自在該用戶端器件上執行之該互動性應用程式的互動性使用資訊;且將該互動性使用資訊報告至該報告伺服器器件。
- 如請求項31之非暫時性電腦可讀儲存媒體,其中使得該處理器發送表示該等報告期望之該資料的該等指令包含使得該處理器經由一應用程式設計介面(API)發送表示該等報告期望的該資料之指令,且其 中使得該處理器接收該互動性使用資訊之該等指令包含使得該處理器經由該API接收該互動性使用資訊的指令。
- 如請求項31之非暫時性電腦可讀儲存媒體,其中該資訊清單檔案之該等報告期望包括以下中之一或多者:一度量值屬性,其列舉待報告的該互動性使用資訊;一範圍元素,其指示該串流會話之一時間週期,在該串流會話期間將收集該互動性使用資訊;一位置過濾器元素,其指示將收集該互動性使用資訊的一地理區域;一或多個串流媒體來源過濾器元素,其識別將不收集該互動性使用資訊之一或多個媒體呈現;或一報告元素,其指示報告該互動性使用資訊的一報告方法及格式。
- 如請求項31之非暫時性電腦可讀儲存媒體,其中該資訊清單檔案之該等報告期望包括以下中之一或多者:一存取點名稱(APN)元素,其定義待將該互動性使用資訊報告至其的一存取點;一格式元素,其指示報告該互動性使用資訊之一格式;一樣本百分比元素,其指示與一隨機產生之值進行比較以判定是否報告該互動性使用資訊的一值;一報告伺服器元素,其定義該報告伺服器器件之一統一資源定位符(URL);一報告時間元素,其指示藉以報告該互動性使用資訊之一媒體呈現 時間;一報告間隔元素,其指示該互動性使用資訊的連續傳輸報告之間的一時間間隔;或一群組識別符值,其指示將報告該互動性使用資訊之一或多個用戶端器件。
- 如請求項31之非暫時性電腦可讀儲存媒體,其中該資訊清單檔案包含一媒體呈現描述(MPD)。
- 如請求項31之非暫時性電腦可讀儲存媒體,其中該互動性使用資訊包含以下中之一或多者:一使用者觀看互動性內容的一量、該使用者參與該互動性內容之一持續時間、該使用者對該互動性內容中之嵌入型鏈路的點擊次數之一數目、與使用者與該互動性內容之互動相關聯的購買之一數目、該等購買之一幣值或與該使用者及互動性使用報告相關聯的人口統計資訊。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862623384P | 2018-01-29 | 2018-01-29 | |
US62/623,384 | 2018-01-29 | ||
US16/259,109 | 2019-01-28 | ||
US16/259,109 US11178453B2 (en) | 2018-01-29 | 2019-01-28 | Signaling and reporting interactivity usage in streaming services |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201935935A TW201935935A (zh) | 2019-09-01 |
TWI768179B true TWI768179B (zh) | 2022-06-21 |
Family
ID=67392972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108103385A TWI768179B (zh) | 2018-01-29 | 2019-01-29 | 在串流媒體服務中發信號及報告互動性使用 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11178453B2 (zh) |
EP (1) | EP3747197B1 (zh) |
CN (1) | CN111656791B (zh) |
BR (1) | BR112020014832A2 (zh) |
SG (1) | SG11202005727QA (zh) |
TW (1) | TWI768179B (zh) |
WO (1) | WO2019148164A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3257225B1 (en) * | 2015-02-11 | 2024-04-03 | VID SCALE, Inc. | Systems and methods for generalized http headers in dynamic adaptive streaming over http (dash) |
CN111177513B (zh) * | 2019-12-31 | 2023-10-31 | 北京百度网讯科技有限公司 | 异常访问地址的确定方法、装置、电子设备及存储介质 |
US20230275949A1 (en) * | 2020-06-30 | 2023-08-31 | Lg Electronics Inc. | Method and apparatus for processing multicast signal |
US11818028B2 (en) * | 2021-09-30 | 2023-11-14 | Docusign, Inc. | Network diagnostic sampling in a distributed computing environment |
KR102479511B1 (ko) * | 2022-01-12 | 2022-12-20 | 주식회사 투스라이프 | 스트리밍 영상을 통한 광고 제공 시스템 및 방법 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030196206A1 (en) * | 2002-04-15 | 2003-10-16 | Shusman Chad W. | Method and apparatus for internet-based interactive programming |
US20100287580A1 (en) * | 2009-05-08 | 2010-11-11 | Harding John M | Content syndication in web-based media via ad tagging |
US20120159528A1 (en) * | 2010-12-21 | 2012-06-21 | Cox Communications, Inc. | Systems and Methods for Measuring Audience Participation Over a Distribution Network |
US20120324101A1 (en) * | 2011-05-25 | 2012-12-20 | Comscore, Inc. | Combining measurements based on beacon data |
US20140040498A1 (en) * | 2012-08-03 | 2014-02-06 | Ozgur Oyman | Methods for quality-aware adaptive streaming over hypertext transfer protocol |
US20140095670A1 (en) * | 2012-09-28 | 2014-04-03 | OYMAN Ozgur | Energy-aware multimedia adaptation for streaming and conversational services |
US20140289000A1 (en) * | 2013-03-15 | 2014-09-25 | Tuneln, Inc | System and method for providing crowd sourced metrics for network content broadcasters |
US20160119395A1 (en) * | 2013-07-02 | 2016-04-28 | Huawei Technologies Co., Ltd. | Method for supporting multicast of streaming media, and related apparatus and system |
US20160373324A1 (en) * | 2015-06-19 | 2016-12-22 | Qualcomm Incorporated | Middleware delivery of dash client qoe metrics |
US20170359628A1 (en) * | 2016-06-10 | 2017-12-14 | Arris Enterprises Llc | Manifest Customization in Adaptive Bitrate Streaming |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10476930B2 (en) * | 2014-01-06 | 2019-11-12 | Intel IP Corporation | Client/server signaling commands for dash |
US20160337424A1 (en) * | 2015-05-13 | 2016-11-17 | Qualcomm Incorporated | Transferring media data using a websocket subprotocol |
-
2019
- 2019-01-28 US US16/259,109 patent/US11178453B2/en active Active
- 2019-01-29 CN CN201980010421.3A patent/CN111656791B/zh active Active
- 2019-01-29 TW TW108103385A patent/TWI768179B/zh active
- 2019-01-29 SG SG11202005727QA patent/SG11202005727QA/en unknown
- 2019-01-29 WO PCT/US2019/015563 patent/WO2019148164A1/en unknown
- 2019-01-29 EP EP19705020.6A patent/EP3747197B1/en active Active
- 2019-01-29 BR BR112020014832-6A patent/BR112020014832A2/pt unknown
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030196206A1 (en) * | 2002-04-15 | 2003-10-16 | Shusman Chad W. | Method and apparatus for internet-based interactive programming |
US20100287580A1 (en) * | 2009-05-08 | 2010-11-11 | Harding John M | Content syndication in web-based media via ad tagging |
US20120159528A1 (en) * | 2010-12-21 | 2012-06-21 | Cox Communications, Inc. | Systems and Methods for Measuring Audience Participation Over a Distribution Network |
US20120324101A1 (en) * | 2011-05-25 | 2012-12-20 | Comscore, Inc. | Combining measurements based on beacon data |
US20140040498A1 (en) * | 2012-08-03 | 2014-02-06 | Ozgur Oyman | Methods for quality-aware adaptive streaming over hypertext transfer protocol |
US20140095670A1 (en) * | 2012-09-28 | 2014-04-03 | OYMAN Ozgur | Energy-aware multimedia adaptation for streaming and conversational services |
US20140289000A1 (en) * | 2013-03-15 | 2014-09-25 | Tuneln, Inc | System and method for providing crowd sourced metrics for network content broadcasters |
US20160119395A1 (en) * | 2013-07-02 | 2016-04-28 | Huawei Technologies Co., Ltd. | Method for supporting multicast of streaming media, and related apparatus and system |
US20160373324A1 (en) * | 2015-06-19 | 2016-12-22 | Qualcomm Incorporated | Middleware delivery of dash client qoe metrics |
US20170359628A1 (en) * | 2016-06-10 | 2017-12-14 | Arris Enterprises Llc | Manifest Customization in Adaptive Bitrate Streaming |
Also Published As
Publication number | Publication date |
---|---|
US11178453B2 (en) | 2021-11-16 |
SG11202005727QA (en) | 2020-08-28 |
EP3747197B1 (en) | 2024-03-06 |
CN111656791A (zh) | 2020-09-11 |
TW201935935A (zh) | 2019-09-01 |
WO2019148164A1 (en) | 2019-08-01 |
US20190238937A1 (en) | 2019-08-01 |
EP3747197A1 (en) | 2020-12-09 |
EP3747197C0 (en) | 2024-03-06 |
CN111656791B (zh) | 2022-08-09 |
BR112020014832A2 (pt) | 2020-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111316655B (zh) | 在dash感知应用与dash客户端之间用于服务互动性支持的接口 | |
TWI714602B (zh) | 超級本文傳輸協定(http)上動態自適應串流(dash)客戶經驗品質度量之中間軟體傳遞 | |
CN107810624B (zh) | 用于检索媒体数据的方法、设备和计算机可读存储介质 | |
TWI768179B (zh) | 在串流媒體服務中發信號及報告互動性使用 | |
JP6612249B2 (ja) | メディアデータをストリーミングするためのターゲット広告挿入 | |
US20160337424A1 (en) | Transferring media data using a websocket subprotocol | |
TW201714456A (zh) | 傳輸經寫碼音訊資料 | |
EP3747199A1 (en) | Dynamic conditional advertisement insertion | |
JP2019523600A (ja) | メディアストリーミングのためのセグメントチャンクの検索およびアクセス | |
EP3741132A1 (en) | Processing dynamic web content of an iso bmff web resource track | |
US11184665B2 (en) | Initialization set for network streaming of media data | |
KR20160138044A (ko) | 미디어 데이터를 스트리밍하기 위한 목표된 광고 삽입 | |
US20210306703A1 (en) | Determination of availability of chunks of data for network streaming media data | |
TW202236856A (zh) | 媒體資料的後台資料流量分配 | |
BR112017027511B1 (pt) | Distribuição de middleware de métricas de qoe de cliente dash |