TWI819580B

TWI819580B - 基於預解析操作以改善播放響應的媒體播放方法與相關媒體播放裝置

Info

Publication number: TWI819580B
Application number: TW111115360A
Authority: TW
Inventors: 陳峻儀; 楊景堯
Original assignee: 瑞昱半導體股份有限公司
Priority date: 2022-04-22
Filing date: 2022-04-22
Publication date: 2023-10-21
Also published as: TW202344066A; US20230345078A1

Abstract

一種於一媒體播放裝置上進行媒體播放的方法，包含：接收一資料流，以將該資料流緩存於一緩存單元，或錄製於一儲存單元；對已緩存或已錄製的該資料流進行一解析操作，以獲得該資料流所包含的至少一影音內容的一個或多個節點圖像所對應的畫格時間與資料偏移量；根據該一個或多個節點圖像所分別對應的畫格時間與資料偏移量，建立一畫格索引表；因應一播放操作，參考該畫格索引表來決定該播放操作所對應的一資料偏移量；根據該資料偏移量擷取該緩存單元或該儲存單元中的一個或多個資料單元；以及解碼該一個或多個資料單元以進行媒體播放。

Description

基於預解析操作以改善播放響應的媒體播放方法與相關媒體播放裝置

本發明係關於媒體播放，尤指一種透過對資料流預先進行解析，從而加速播放響應的媒體播放方法與相關媒體播放裝置。

一般來說，多媒體封裝(Multimedia container)中包含索引資訊，其可指出所封裝的多媒體內容的具體播放時間與資料結構之間的關聯。然而，多媒體播放裝置必須從多媒體內容的起始點開始解析索引資訊，直到接近目標播放時間時，才能夠解析出對應於目標播放時間的特定多媒體內容被存放在哪個資料單元中。然而，在當今的視訊編碼技術中，圖像群組(Group of pictures，GOP)往往基於IBP排列架構(即，I畫格、B畫格與P畫格)，在沒有獲得包含有節點圖像(Intra Pictures)(即，I畫格)的資料單元之前，多媒體播放裝置無法完整地解碼出視訊內容。必須等到獲得包含完整節點圖像的資料單元，多媒體播放裝置才得以解碼出視訊內容。這很大程度地限制了多媒體播放裝置對於使用者的搜尋、跳轉、快進或快退等播放操作的響應速度。如此一來，便容易讓使用者感受到影音內容在過渡上的延遲。因此，本領域需要一種解決播放響應延遲的技術，從而提升使用者體驗。

有鑑於此，本發明提供一種媒體撥放方法與相關的媒體播放裝置。在本發明中，當媒體播放裝置收到包含有影音內容的資料流後，便對已緩存的資料流進行預解析，分析出資料流中的影音內容的節點圖像所對應的畫格時間與資料偏移量資訊。基於這些資訊，本發明會進一步建立一個畫格索引表。此後，若使用者要播放此影音內容，本發明便會載入已建立的畫格索引表，並當使用者進行特定的播放控制操作時，搜尋畫格索引表快速地決定出節點圖像所屬的資料單元的儲存位置，從而擷取出資料單元進行解碼與播放。本發明藉由畫格索引表，有效地提升媒體播放裝置對使用者的播放控制操作的響應速度。

本發明實施例提供一種用於一媒體播放裝置上進行媒體播放的方法，該方法包含：於該媒體播放裝置上接收一資料流，以將該資料流緩存於該媒體播放裝置中的一緩存單元，或錄製於該媒體播放裝置中的一儲存單元；對已緩存或已錄製的該資料流進行一解析操作，以獲得該資料流所包含的至少一影音內容的一個或多個節點圖像所對應的畫格時間與資料偏移量。根據該一個或多個節點圖像所分別對應的畫格時間與資料偏移量，建立該影音內容所對應的一畫格索引表；因應該影音內容的一播放操作，參考該畫格索引表來決定該播放操作所對應的一資料偏移量；根據該資料偏移量擷取該緩存單元或該儲存單元中的一個或多個資料單元；以及解碼該一個或多個資料單元以進行媒體播放。

本發明實施例提供一種媒體播放裝置。該媒體播放裝置包含：一接收與緩存電路、一解析與解碼電路、一索引表建立電路以及一播放控制電路。該接收與緩存電路用以接收一資料流，從而將該資料流緩存於一緩存單元。該解析與解碼電路耦接於該接收與緩存電路，並且用以對已緩存的該資料流，或者是錄製於一儲存單元的該資料流，進行一解析操作，以獲得該資料流所包含的至少一影音內容的一個或多個節點圖像所對應的畫格時間與資料偏移量。該索引表建立電路耦接於該解析與解碼電路，並且用以根據該一個或多個節點圖像所分別對應的畫格時間與資料偏移量，建立該影音內容所對應的一畫格索引表。該播放控制電路用以因應該影音內容的一播放操作，參考該畫格索引表來決定該播放操作所對應的一資料偏移量，並且根據該資料偏移量擷取該緩存單元或該儲存單元中的一個或多個資料單元。其中，該解析與解碼電路還用於解碼該一個或多個資料單元以進行媒體播放。

10:媒體來源

100:媒體播放裝置

200:顯示設備

300:音響設備

110:接收與緩存電路

111:網路接收裝置

112:調諧裝置

113:解擾裝置

114:解多工裝置

115:緩存單元

120:解析與解碼電路

122:視訊解析與解碼單元

124:音訊解析與解碼單元

130:索引表建立電路

140:儲存單元

150:播放控制電路

160:錄製電路

S310~S360:步驟

400:裝置

410:儲存單元

420:硬體處理單元

第1圖為本發明實施例的媒體播放裝置的架構圖。

第2圖為本發明實施例的媒體播放裝置中的接收與緩存電路的架構圖。

第3A圖與第3B圖繪示本發明實施例的畫格索引表格。

第4圖繪示本發明實施例中的畫格所屬資料單元與資料偏移量之間的關聯。

第5圖為本發明實施例的媒體播放方法的流程圖。

第6圖繪示用於實現本發明實施例中一個或多個電路元件或模組的裝置架構圖。

在以下內文中，描述了本發明實施例的許多具體細節，以提供閱讀者對本發明的透徹理解。然而，本領域的技術人士將能理解，如何在缺少一個或多個具體細節的情況下，或者利用其他方法或元件或材料等來實現本發明。在某些情況下，眾所皆知的結構、材料或操作不會被示出或詳細描述，從而避免模糊本發明的核心概念。

說明書中提到的「一實施例」意味著該實施例所描述的特定特徵、結構或特性可能被包含於本發明的至少一個實施例中。因此，本說明書中各處出現的「在一實施例中」不一定意味著同一個實施例。此外，前述的特定特徵、結構或特性可以以任何合適的形式在一個或多個實施例中結合。

第1圖為本發明媒體播放裝置之實施例的架構示意圖。如圖所示，媒體播放裝置100用於從一媒體來源10接收一資料流，進行媒體播放。其中，媒體來源可以是數位視訊廣播(Digital Video Broadcasting，DVB)服務供應商、網路協定電視(Internet Protocol Television，IPTV)服務供應商或者OTT服務(Over-the-top media services)供應商、網際網路等。並且，媒體播放裝置100可以有線或無線的方式，透過特定影像/聲音傳送介面，如：高畫質多媒體介面(High Definition Multimedia Interface，HDMI)或DisplayPort(DP)等，向顯示設備200及/或音響設備300輸出視訊/音訊訊號，從而透過該些設備重現影音內容。媒體播放裝置100包含有：接收與緩存電路110、解析與解碼電路120(又包含視訊解析與解碼單元122與音訊解析與解碼單元124)、索引表建立電路130以及儲存單元140、播放控制電路150與錄製電路160。

當使用者欲觀賞某個影音內容時(例如：音樂、電影、廣播節目等)，媒體播放裝置100便會從媒體來源10擷取該影音內容，例如，鎖定該影音內容所屬的頻率點(當媒體來源10為DVB服務)，或者是向伺服器提出請求(當媒體來源10為IPTV服務、OTT服務或網際網路等)。影音內容會以資料流的形式被傳送到媒體播放裝置100。接收與緩存電路110的作用在於從媒體來源10接收資料流，並將資料流進行緩存。其中，資料流可能以無線或者是有線的形式，並且透過一個或多個中繼傳輸設備，由媒體來源10傳送到媒體播放裝置100。在一個實施例中，資料流中可能包含有基於動態影像專家小組(Moving Picture Experts Group，MPEG)標準、進階視訊編碼(Advanced Video Coding，AVC)標準、高效率視訊編碼(High Efficiency Video Coding，HEVC)或AOMedia Video 1(AV1)等視訊編碼標準，所壓縮的視訊內容。再者，資料流中還可能包含基於進階編碼3(Advanced Codec 3，AC-3)、動態圖像專家組-1或動態圖像專家組-2音訊層III(MPEG-1 Audio Layer III或MPEG-2 Audio Layer III，簡稱MP3)、進階音訊編碼(Advanced Audio Coding，AAC)、MPEG等音訊編碼標準，所壓縮的音訊內容。此處應當注意的是，資料流中的影音內容，具體採用的視訊/音訊標碼標準並非本發明之限制。在不同的設計需求下，可以選擇有別於上述的視訊/音訊標碼標準。

第2圖為本發明實施例的媒體播放裝置中的接收與緩存電路110的架構圖。接收與緩存電路110中包含有網路接收裝置111、調諧裝置112、解擾裝置113、解多工裝置114以及緩存單元115。其中，當媒體來源10為IPTV服務、OTT服務或網際網路等，網路接收裝置111用於接收資料流；以及當媒體來源10為DVB服務時，調諧裝置112則用於接收資料流。再者，當資料流中的資料單經過加擾處理(scramble)時，則解擾裝置113可以對其進行解擾處理(descramble)，從而獲得未經加擾的資料單元。解多工裝置114則用於對資料流中的資料單元進行解多工處理。由解擾裝置113與解多工裝置114處理完的資料單元將被緩存至緩存單元115中。關於接收與緩存電路110的更詳細原理以及架構變化可以參考台灣專利申請案(申請號：110100272)中的說明。

當資料流的資料單元被存入緩存單元115後，解析與解碼電路120會對已緩存的資料單元預先進行解析(parsing)處理。其中，視訊解析與解碼單元122與音訊解析與解碼單元124會根據資料單元的標頭(header)來判斷資料單元所包含的視訊/音訊內容，以及相關視訊/音訊內容的各種輔助資訊。另外，若媒體播放裝置100在接收到資料流的同時，也透過錄製電路160將資料流錄製於儲存單元140中，則視訊解析與解碼單元122與音訊解析與解碼單元124亦可對儲存單元140中的資料單元進行解析。

經過解析處理後，可以得到資料流中的每個影音內容的相關資訊。例如：影音內容的節目辨識碼(Program ID)，也可以得到每個影音內容的畫格相關資訊，例如：畫格類型、資料偏移量、編碼器格式、畫格率等。索引表建立電路130會將這些資訊建立成如第3A圖與第3B所示的畫格索引表格。

如第3A圖與第3B圖所示，畫格索引表包含有記錄畫格類型、資料偏移量、畫格時間、編碼器格式以及畫格率等資訊的多個欄位。其中，用於紀錄畫格類型的欄位除了記錄畫格類型外，也進一步指出畫格所屬的影音內容的節目辨識碼(即：視訊節目識別碼(Video program ID，VPID)與音訊節目識別碼(Audio program ID，APID))。在一個實施例中，當用於表示畫格類型的位元組的數值為1時，意味此畫格為節點圖像(Intra pictures)，例如H.264編碼格式或HEVC編碼格式中的I畫格(I frames)；當此位元組的數值為2時，意味此畫格為預測圖像(Predicted pictures)，例如H.264編碼格式或HEVC編碼格式中的P畫格(P frames)；以及當此位元組的數值為3時，意味此畫格為前後預測圖像(Bi-predictive pictures或Bi-directional pictures)，例如H.264編碼格式或HEVC編碼格式中的B畫格(B frames)。請注意，在本發明不同實施例中，畫格類型可以使用不同於上述實施例列舉的數值來表示。

在畫格索引表中，用記錄資料偏移量資訊的欄位，主要用於指出每個畫格所屬的資料單元，相對於起始畫格(即，畫格1)所屬的資料單元的資料偏移量(offset)。例如，畫格3的資料偏移量資訊為500，代表畫格3所屬的資料單元位於畫格1所屬的資料單元500個資料偏移量單位(例如，位元組)之後；畫格5的資料偏移量資訊為1200，代表畫格5所屬的資料單元位於畫格1所屬的資料單元1200個位元組之後。請注意，在本發明不同實施例中，資料偏移量可能以不同大小的資料單位來記錄，儘管以上說明係以位元組為範例，但本領域的技術人士在知曉本說明書實質內容後，應可具備充足知識，以其他的資料單位來記錄資料偏移量資訊。再者，隨著資料單元的大小不同，一個資料單元可能包含有一個或多個畫格。

用於記錄畫格時間資訊的欄位，主要用於指出每個畫格相對於起始畫格(即，畫格1)的時間間隔。例如，畫格4的時間資訊為90，代表畫格4與畫格1之間的時間間隔為90個時間單位(例如，1/30秒)；畫格8的時間資訊為210，代表畫格8與畫格1之間的時間間隔為210個時間單位。請注意，在本發明不同實施例中，時間資訊可能以不同的時間單位來記錄。儘管以上說明係以(1/30)秒為範例，但本領域的技術人士在知曉本說明書實質內容後，應可具備充足知識，以其他的時間單位來記錄畫格的時間資訊。而這樣的變化應屬本發明範疇。

用於記錄編碼器格式資訊的欄位，可用於指出每個畫格所使用的視訊編碼器格式，以及其所對應的音訊內容的音訊編碼器格式。例如，此欄位所記錄的第一個位元組可以用來表示視訊編碼器格式、第二個位元組可以用來表示音訊編碼器格式。然而，在本發明其他實施例中，亦可採用第一個位元組來表示音訊編碼器格式、以及採用第二個位元組來表示視訊編碼器格式。在一實施例中，當用於表示視訊編碼器格式的位元組的數值為1時，意味視訊編碼器為MPG格式；當此位元組的數值為2時，意味視訊編碼器為AVC格式；當此位元組的數值為3時，意味視訊編碼器為HEVC或者是H.265格式；以及當此位元組的數值為4時，意味視訊編碼器為AV1格式。請注意，在本發明不同實施例中，視訊編碼器格式可以使用不同於上述實施例列舉的數值來表示。

在一實施例中，當用於表示音訊編碼器格式的位元組的數值為1時，意味音訊編碼器為AC-3格式；當此位元組的數值為2時，意味音訊編碼器為MP3格式；當此位元組的數值為3時，意味音訊編碼器為AAC格式；當此位元組的數值為4時，意味音訊編碼器為MPEG格式。請注意，在本發明不同實施例中，音訊編碼器格式可以使用不同於上述實施例列舉的數值來表示。

記錄畫格率資訊的欄位，主要用於表示每個畫格所屬的影音內容的畫格率。例如，畫格1的畫格率為30，代表畫格1為一段畫格率為30的影音內容中的一個畫格；畫格10的畫格率為24，代表畫格10為一段畫格率為24的影音內容中的一個畫格。值得一提的是，畫格1可能屬於一個頻道/節目的正規內容，而畫格10可能屬於同一個頻道/節目的廣告內容，因此兩者具有不同的畫格率、不同視訊/音訊編碼器格式、以及不同的視訊節目識別碼與音訊節目識別碼。

另外，儘管在第3A圖與第3B圖所示的實施例中，畫格索引表紀錄了影音內容中的連續畫格的索引資訊，但在本發明部分實施例中，畫格索引表可能只會紀錄節點圖像/I畫格的索引資訊，而不紀錄預測圖像/P畫格，或者是前後預測圖像/B畫格的索引資訊。再者，在第3A圖與第3B圖所示的實施例中，針對預測圖像/P畫格，以及前後預測圖像/B畫格的索引資訊只包含畫格時間與資料偏移量，這是因為這些畫格的其餘資訊(例如、視訊節目識別碼、音訊節目識別碼、視訊/音訊編碼器格式、畫格率)都與前一個節點圖像/I畫格一致。

由於畫格索引表包含有節點圖像的索引資訊，因此，媒體播放裝置100可以根據畫格索引表更快速地在緩存單元115或儲存單元140中定位出包含有節點圖像的資料單元，從而加速對於使用者播放控制操作的響應。再者，在一實施例中，索引表建立電路130可以使用與錄製於儲存單元140中的影音內容的相同主檔名的來命名畫格索引表，並且以IDX檔案格式，來儲存畫格索引表。

此後，當使用者再次選取並播放已經緩存於緩存單元115或者是被錄製於儲存單元140的一個特定影音內容時，媒體播放裝置100中的播放控制電路150會載入對應於該特定影音內容的畫格索引表。在播放過程中，若使用者輸入指令，要求媒體播放裝置100執行搜尋、跳轉、快進或快退等撥放操作時，播放控制電路150會根據使用者所要求的搜尋、跳轉、快進或快退，決定一目標播放時間。接著，播放控制電路150利用目標播放時間搜尋畫格索引表(可使用二分搜尋法(binary search))，從而決定一最鄰近節點圖像。相較於其他節點圖像的畫格時間來說，該最鄰近節點圖像的畫格時間最接近於該目標播放時間。接著，根據畫格索引表，播放控制電路150可以得到該最鄰近節點圖像所對應的資料偏移量。在獲得該最鄰近節點圖像的資料偏移量後，可以根據該最鄰近節點圖像所對應的資料偏移量，從緩存單元115或者是儲存單元140中，找到包含有該最鄰近節點圖像的資料單元。播放控制電路150可以從資料單元開始，擷取一個或多個資料單元。擷取出的一個或多個資料單元會被解析與解碼電路120所解碼，並還原出該最鄰近節點圖像，或者該最鄰近節點圖像之後的圖像(例如，該最鄰近節點圖像之後的預測圖像或者是前後預測圖像)。

以下將以第3A圖與第3B圖的畫格索引表為例，對本發明如何使用畫格索引表進行更詳盡的解釋。舉例來說，當使用者所輸入的搜尋、跳轉、快進或快退播放操作被播放控制電路150轉換成目標播放時間180，此時，播放控制電路150可以透過搜尋畫格索引表得到，畫格5(即，節點圖像/I畫格)的畫格時間120最為近接目標播放時間180，故畫格5會被認定為最鄰近節點圖像。並且，由畫格索引表亦可知，畫格5所對應的資料偏移量為1200。據此，媒體播放裝置100可以從緩存單元115或者儲存單元140中取得包含有畫格5所屬的一個或多個資料單元，並且交由解析與解碼電路120來還原影音內容。如第4圖所示，播放控制電路150會從畫格1的資料偏移量Offset 0開始，定位出位於資料偏移量Offset 1200的一個或多個資料單元，並將該一個或多個資料單元交給解析與解碼電路120進行解碼。

請注意，在以上的範例中，最鄰近節點圖像為畫格5，但該圖像並非是目標播放時間180所對應的實際畫格。事實上，畫格7所對應的畫格時間才與目標播放時間180一致，亦即，畫格7為目標畫格。因此，本發明不同實施對於這種情況將有不同的處理模式。在一個精準顯示模式中，播放控制電路150並不會將最鄰近節點圖像(畫格5)輸出給顯示設備200，而是繼續從緩存單元115或儲存單元140中，獲得更多資料單元，並且等到解析與解碼電路120解碼出畫格時間更接近於目標播放時間所對應的畫格(即，畫格7)，才會從此畫格開始，輸出後續畫格給顯示設備200，以及將相關音訊輸出給音響設備300。值得一提的是，由於在本發明中的部分實施例中，畫格索引表並未記錄預測圖像/P畫格，或者是前後預測圖像/B畫格相關的畫格時間與資料偏移量。因此，在這樣的實施例中，播放控制電路150可以藉由內插計算來獲得這些並未記錄的資訊。以第3A圖與第3B圖的畫格索引表以及目標播放時間180為例。早於目標播放時間180的鄰近節點圖像為畫格5，而畫格5的畫格時間為120，且其資料偏移量為1200。再者，晚於目標播放時間180的鄰近節點圖像為畫格10，而畫格10的畫格時間為270，且其資料偏移量為1560。再加上畫格5至畫格10之間的畫格率為30，因此，透過內插計算可以估計出，目標播放時間180對應的畫格為畫格5之後的兩個畫格(即，畫格7)，並且其資料偏移量大致為1300。如此一來，播放控制電路150便可以在精確模式下，決定要將畫格7(即目標畫格)輸出來響應使用者的播放控制操作，並從畫格7開始輸出畫格給顯示設備200，以及輸出相關音訊給音響設備300。

而在本發明的一個快速顯示模式中，解析與解碼電路120會以從畫格索引表所獲得的最鄰近節點圖像(例如，畫格5)來響應使用者的播放控制操作，從畫格5開始輸出畫格給顯示設備200，以及輸出相關音訊給音響設備300。在本發明快速顯示模式的另一實施例中，解析與解碼電路120在得到最鄰近節點圖像(例如，畫格5)以及最鄰近節點圖像之後的預測圖像/P畫格或前後預測圖像/B畫格後，解析與解碼電路120會從預測圖像/P畫格或前後預測圖像/B畫格才開始輸出畫格給顯示設備200，以及輸出相關音訊給音響設備300。

第5圖繪示了本發明實施例的圖像處理方法的流程圖。如圖所示，本發明的圖像處理方法包含以下的步驟：S310：於媒體播放裝置上接收資料流，以將資料流緩存於媒體播放裝置中的緩存單元，或錄製於媒體播放裝置中的儲存單元； S320：對已緩存或已錄製的資料流進行解析操作，以獲得資料流所包含的至少一影音內容的一個或多個節點圖像所對應的畫格時間與資料偏移量；S330：根據一個或多個節點圖像所分別對應的畫格時間與資料偏移量，建立影音內容所對應的畫格索引表；S340：因應影音內容的播放操作，參考畫格索引表來決定播放操作所對應的資料偏移量；S350：根據資料偏移量擷取緩存單元或儲存單元中的一個或多個資料單元；以及S360：解碼該一個或多個資料單元以進行媒體播放。

由於上述步驟的原理以及具體細節已於先前實施例中詳細說明，故在此不進行重複描述。應當注意的是，上述的流程可能可以透過添加其他額外步驟或者是進行適當的變化與調整，更好地實現對媒體播放，從而更進一步提升使用者體驗。再者，前述本發明實施例中所有或者是部分的操作、電路元件以及模組，都可以透過第6圖所示的裝置400來實現，例如前述的媒體播放裝置100中的索引表建立電路130與播放控制電路150等。其中，裝置400中的儲存單元410(例如，非揮發性記憶體)可用於儲存程式碼、指令、變數或資料。而裝置400中的硬體處理單元420(例如，通用類型處理器)則可執行儲存單元410所儲存的程式碼與指令，並參考其中的變數或資料來執行前述實施例中所有的操作。

本發明之實施例可使用硬體、軟體、韌體以及其相關結合來完成。藉由適當之一指令執行系統，可使用儲存於一記憶體中之軟體或韌體以及相應的指令執行處理器來實現本發明的實施例。就硬體而言，則是可應用下列任一技術或其相關結合來完成：具有可根據資料信號執行邏輯功能之邏輯閘的一個別運算邏輯、具有合適的組合邏輯閘之一特定應用積體電路(application specific integrated circuit,ASIC)、可程式閘陣列(programmable gate array,PGA)或一現場可程式閘陣列(field programmable gate array,FPGA)等。

說明書內的流程圖中的流程和方塊示出了基於本發明的各種實施例的系統、方法和電腦軟體產品所能實現的架構，功能和操作。在這方面，流程圖或功能方塊圖中的每個方塊可以代表程式碼的模組，區段或者是部分，其包括用於實現指定的邏輯功能的一個或多個可執行指令。另外，功能方塊圖以及/或流程圖中的每個方塊，以及方塊的組合，基本上可以由執行指定功能或動作的專用硬體系統來實現，或專用硬體和電腦程式指令的組合來實現。這些電腦程式指令還可以存儲在電腦可讀媒體中，該媒體可以使電腦或其他可編程數據處理裝置以特定方式工作，使得存儲在電腦可讀媒體中的指令，實現流程圖以及/或功能方塊圖中的方塊所指定的功能/動作。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。