TWI411307B - Video playback fluency priority link source channel coding system - Google Patents
Video playback fluency priority link source channel coding system Download PDFInfo
- Publication number
- TWI411307B TWI411307B TW99126742A TW99126742A TWI411307B TW I411307 B TWI411307 B TW I411307B TW 99126742 A TW99126742 A TW 99126742A TW 99126742 A TW99126742 A TW 99126742A TW I411307 B TWI411307 B TW I411307B
- Authority
- TW
- Taiwan
- Prior art keywords
- source
- allocation amount
- channel
- code allocation
- video
- Prior art date
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本發明是有關於一種JSCC技術，特別是指一種視訊播放流暢度優先的JSCC系統。
近年來，因為網路頻寬(bandwidth)的增加，以及視訊壓縮(video compression)技術的進步，使得在網路上進行視訊傳輸成為可能並大為風行。就接收端而言，不用等待視訊資料完整下載便可即時播放的串流(streaming)技術是目前視訊傳輸的發展趨勢；而網路頻寬、封包遺失、傳輸錯誤，及傳輸延遲等因素，都會對接收端的播放品質造成影響。結合考慮上述因素，如何分配有限的頻寬給來源編碼(即，視訊壓縮)，及通道編碼(即，錯誤控制編碼)，便成為一個值得探討的議題。
針對以上議題，一種現有的JSCC技術，如Zhihai He等人發表的「“Joint Source Channel Rate-Distortion Analysis for Adaptive Mode Selection and Rate Control in Wireless Video Coding,”IEEE Transactions on Circuits and Systems for Video Technology
,vol. 12,no. 6,June 2002.」所揭露，係以「最小化畫框(frame)失真(distortion)」作為JSCC最佳化的依據，其中，畫框失真包括來源編碼造成的失真，及通道編碼造成的失真。
然，在某些視訊應用中，畫框的失真度未必是最佳化時的唯一考量，舉例來說，在「體育賽事」的直播中，視訊播放的流暢度，往往是影響接收端使用者所感受到的經驗品質之要素。
因此，本發明之目的，即在提供一種視訊播放流暢度優先的連結來源通道編碼系統。
於是，本發明視訊播放流暢度優先的連結來源通道編碼系統，係包含一來源編碼器、一通道編碼器，及一連結來源通道編碼控制器。該來源編碼器用以接收一來源視訊，且用以對該來源視訊進行視訊編碼。該通道編碼器用以對已進行視訊編碼的該來源視訊進行通道編碼。該連結來源通道編碼控制器用以根據對應於該來源視訊之一影像群組的一影像群組給定速率，求得一最佳來源通道編碼參數組。
其中，該連結來源通道編碼控制器係進行一受可播放畫面速率驅策的速率分配演算法，以在該影像群組給定速率的限制條件下，求得達到一最大可播放畫面速率的該最佳來源通道編碼參數組，該最佳來源通道編碼參數組包括一內畫框來源編碼分配量、一內畫框通道編碼分配量、一預測畫框來源編碼分配量，及一預測畫框通道編碼分配量。
而該來源編碼器係根據該內畫框來源編碼分配量，及該預測畫框來源編碼分配量，以對該來源視訊之該影像群組進行視訊編碼；該通道編碼器係根據該內畫框通道編碼分配量，及該預測畫框通道編碼分配量，以對已進行視訊編碼的該來源視訊之該影像群組進行通道編碼。
有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之一個較佳實施例的詳細說明中，將可清楚的呈現。
參閱圖1，本發明視訊播放流暢度優先的連結來源通道編碼(JSCC)系統1之較佳實施例包含一來源編碼器11、一通道編碼器12、一友善傳輸控制協定(TCP-Friendly)速率(rate)控制器13，及一JSCC控制器14。該來源編碼器11用以接收一來源視訊，且用以對該來源視訊進行視訊編碼。該通道編碼器12用以對已進行視訊編碼的該來源視訊進行通道編碼。該友善傳輸控制協定速率控制器13用以提供符合一友善傳輸控制協定的一頻寬給該JSCC控制器14。該JSCC控制器14用以根據該頻寬求得對應於該來源視訊之一影像群組(group of pictures，簡稱GOP)的一GOP給定速率，並根據該GOP給定速率求得一最佳來源通道編碼參數組。其中，該JSCC控制器14係利用下式(1)，求得該GOP給定速率。
其中，該頻寬以T
表示，一GOP畫框數(即，一個GOP內的總畫框數目)以L
表示，一畫框速率(frame rate)以F
表示，該GOP給定速率以T GOP
表示。
該JSCC控制器14係進行一受可播放畫面速率驅策的(PFR(playable frame rate)-driven，簡稱PFR-driven)速率分配(rate allocation)演算法，以在該GOP給定速率的限制條件下，求得達到一最大可播放畫面速率的該最佳來源通道編碼參數組，也就是，以「視訊播放流暢度為優先考量」，來求得該最佳來源通道編碼參數組；其中，該最佳來源通道編碼參數組包括一內畫框(I(Intra-coded)-frame)來源編碼分配量、一內畫框通道編碼分配量、一預測畫框(P(Predictive)-frame)來源編碼分配量，及一預測畫框通道編碼分配量。
然後，該來源編碼器11係根據該內畫框來源編碼分配量，及該預測畫框來源編碼分配量，以對該來源視訊之該GOP進行視訊編碼，該通道編碼器12係根據該內畫框通道編碼分配量，及該預測畫框通道編碼分配量，以對已進行視訊編碼的該來源視訊之該GOP進行通道編碼。
在本較佳實施例中，該來源編碼器11係採用現有的視訊壓縮格式，例如，ITU-T(ITU Telecommunication Standardization Sector)VCEG(Video Coding Experts Group)和ISO(International Organization for Standardization)/IEC(International Electrotechnical Commission)MPEG(Moving Picture Experts Group)視訊標準。該通道編碼器12係採用現有的錯誤控制編碼方式，例如，前向糾錯(Forward Error Correction，簡稱FEC)編碼。
在本較佳實施例中，該視訊播放流暢度優先的JSCC系統1係以軟體方式實施，當其載入一電腦(圖未示)並執行後，可完成該視訊播放流暢度優先的JSCC系統1之各組件的功能。
參閱圖1與圖2，本發明視訊播放流暢度優先的JSCC系統1之該JSCC控制器14所執行之PFR-driven速率分配演算法包括下列步驟，其等進一步描述如下。
如步驟21所示，該JSCC控制器14根據該GOP給定速率及預設的一預估封包遺失率，求得一來源編碼分配封包數，及一通道編碼分配封包數。其中，該JSCC控制器14係利用下式(2)，求得該來源編碼分配封包數，及該通道編碼分配封包數。
其中，一目標封包遺失率以P GOP
表示，該預估封包遺失率以p
表示，該來源編碼分配封包數以k GOP
表示，該通道編碼分配封包數以h GOP
表示；則一來源編碼分配量(以T S
表示)為T S
=k GOP
×S
，一通道編碼分配量(以T C
表示)為T C
=h GOP
×S
，S
為一單位封包的大小。
如步驟22所示，該JSCC控制器14初始化該最大可播放畫面速率(以R m ax
表示)為0，即，R max
=0；並初使化該內畫框來源編碼分配量(以表示)為步驟21中求得之該來源編碼分配量，即，=T S
；且初使化該預測畫框來源編碼分配量(以表示)為0，即，=0。
如步驟23所示，該JSCC控制器14根據該內畫框來源編碼分配量，及該預測畫框來源編碼分配量求得一目前可播放畫面速率(以R cur
表示)，若該目前可播放畫面速率大於該最大可播放畫面速率，則將該最大可播放畫面速率以該目前可播放畫面速率取代；即，若R cur
>R max
，則R max
=R cur
。其中，該JSCC控制器14係利用下式(3)~(7)，以求得該目前可播放畫面速率。
該JSCC控制器14先計算一GOP時間區間。
由於任一GOP之一內畫框是該GOP內最先被壓縮及傳送的畫框，假設經過該來源編碼器11進行視訊編碼後之該內畫框的一資料量為k 1
個單位封包，該JSCC控制器14接著計算達到一目標封包遺失率所需的用於通道壓縮之一資料量，假設為h 1
個單位封包，則一內畫框數(以N I
表示)的一期望值如下式(4)所示。
E
[N I
]=(1-P 1
)×C 1
×D 1
..............................................(4)
其中，C i
用以指示每一畫框是否經過來源編碼，D i
用以指示每一畫框是否經過通道編碼；對於該GOP而言，為了確保該GOP中緊接於該內畫框後的多個預測畫框之可解碼性(decodability)，該內畫框一定要經過來源編碼及通道編碼，所以，C 1
=D 1
=1。
假設經過該來源編碼器11進行視訊編碼後之每一預測畫框的資料量為k P
個單位封包，該JSCC控制器14接著計算達到各目標封包遺失率(以P i
表示)所需的用於通道壓縮之資料量，假設為h P
個單位封包，一預測畫框數(以N P
表示)的一期望值如下式(5)所示。
一GOP畫框數(以N GOP
表示)的一期望值如下式(6)所示。
E
[N GOP
]=E
[N I
]+E
[N P
]............................................(6)
該目前可播放畫面速率如下式(7)所示。
進一步地，式(3)~(7)可整理成下式(8)。
經過步驟23之處理後，可求得該目前可播放畫面速率，及與其對應的該內畫框來源編碼分配量、預測畫框來源編碼分配量、該內畫框通道編碼分配量(以表示)，及該預測畫框通道編碼分配量(以表示)。其中，=k 1
×S
，=k P
×S
，=h 1
×S
，=h P
×S
。
如步驟24所示，該JSCC控制器14減少該內畫框來源編碼分配量，並根據已減少的該內畫框來源編碼分配量計算該預測畫框來源編碼分配量。在本較佳實施例中，每一預測畫框的該預測畫框來源編碼分配量係以下式(9)表示。
如步驟25所示，該JSCC控制器14判斷該內畫框來源編碼分配量是否符合預設的一結束條件；若是，則停止計算，並以此時的該最大可播放畫面速率所對應的該內畫框來源編碼分配量、該內畫框通道編碼分配量、該預測畫框來源編碼分配量，及該預測畫框通道編碼分配量作為該最佳來源通道編碼參數組；否則，回到步驟23繼續計算。在本較佳實施例中，該結束條件為：該內畫框來源編碼分配量小於該預測畫框來源編碼分配量，即，若，則停止計算。
在該JSCC控制器14求得該最佳來源通道編碼參數組後，該來源編碼器11即根據該內畫框來源編碼分配量，及該預測畫框來源編碼分配量，以對該GOP進行視訊編碼；該通道編碼器12係根據該內畫框通道編碼分配量，及該預測畫框通道編碼分配量，以對已進行視訊編碼的該GOP進行通道編碼。
綜上所述，藉由本發明視訊播放流暢度優先的JSCC系統1之該JSCC控制器14，以在該GOP給定速率的限制條件下，求得達到該最大可播放畫面速率的該最佳來源通道編碼參數組，以供該來源編碼器11及該通道編碼器12進行來源及通道壓縮，藉此最佳化視訊播放的流暢度，故確實能達成本發明之目的。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。
1．．．視訊播放流暢度優先的JSCC系統
11．．．來源編碼器
12．．．通道編碼器
13．．．友善傳輸控制協定速率控制器
14．．．JSCC控制器
21~25．．．步驟
圖1是一方塊圖，說明本發明視訊播放流暢度優先的JSCC系統之一較佳實施例；及
圖2是一流程圖，說明在本發明的較佳實施例中，一JSCC控制器所執行的步驟。
1．．．視訊播放流暢度優先的JSCC系統
11．．．來源編碼器
12．．．通道編碼器
13．．．友善傳輸控制協定速率控制器
14．．．JSCC控制器
Claims (5)
- 一種視訊播放流暢度優先的連結來源通道編碼系統，包含：一來源編碼器，用以接收一來源視訊，且用以對該來源視訊進行視訊編碼；一通道編碼器，用以對已進行視訊編碼的該來源視訊進行通道編碼；及一連結來源通道編碼控制器，用以根據對應於該來源視訊之一影像群組的一影像群組給定速率，求得一最佳來源通道編碼參數組，其中，該連結來源通道編碼控制器係進行一受可播放畫面速率驅策的速率分配演算法，以在該影像群組給定速率的限制條件下，求得達到一最大可播放畫面速率的該最佳來源通道編碼參數組，該最佳來源通道編碼參數組包括一內畫框來源編碼分配量、一內畫框通道編碼分配量、一預測畫框來源編碼分配量，及一預測畫框通道編碼分配量，其中該連結來源通道編碼控制器係執行以下步驟，以求得該最佳來源通道編碼參數組；a)根據預設的一預估封包遺失率及該影像群組給定速率，求得一來源編碼分配量及一通道編碼分配量；b)初始化該最大可播放畫面速率為0，並初使化該內畫框來源編碼分配量為該來源編碼分配量，且初使化該預測畫框來源編碼分配量為0； c)根據該內畫框來源編碼分配量，及該預測畫框來源編碼分配量求得一目前可播放畫面速率，若該目前可播放畫面速率大於該最大可播放畫面速率，則將該最大可播放畫面速率以該目前可播放畫面速率取代；d)減少該內畫框來源編碼分配量，並根據已減少的該內畫框來源編碼分配量計算該預測畫框來源編碼分配量；e)若該內畫框來源編碼分配量符合預設的一結束條件，則停止計算，並以此時的該最大可播放畫面速率所對應的該內畫框來源編碼分配量、該內畫框通道編碼分配量、該預測畫框來源編碼分配量，及該預測畫框通道編碼分配量作為該最佳來源通道編碼參數組，否則，重複步驟c)~e)；其中，該來源編碼器係根據該內畫框來源編碼分配量，及該預測畫框來源編碼分配量，以對該來源視訊之該影像群組進行視訊編碼，該通道編碼器係根據該內畫框通道編碼分配量，及該預測畫框通道編碼分配量，以對已進行視訊編碼的該來源視訊之該影像群組進行通道編碼。
- 依據申請專利範圍第1項所述之視訊播放流暢度優先的連結來源通道編碼系統，其中，該連結來源通道編碼控制器所執行的步驟a)，係利用下式以求得一來源編碼分配封包數，及一通道編碼分配封包數：
- 依據申請專利範圍第1項所述之視訊播放流暢度優先的連結來源通道編碼系統，其中，該連結來源通道編碼控制器執行的步驟e)中，預設的該結束條件為：該內畫框來源編碼分配量小於該預測畫框來源編碼分配量。
- 依據申請專利範圍第1項所述之視訊播放流暢度優先的連結來源通道編碼系統，其中，該連結來源通道編碼控制器所執行的步驟c)，係利用下式以求得該目前可播放畫面速率：
- 依據申請專利範圍第1項所述之視訊播放流暢度優先的連結來源通道編碼系統，其中，該連結來源通道編碼控 制器所執行的步驟d)，係利用下式來計算該預測畫框來源編碼分配量：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW99126742A TWI411307B (zh) | 2010-08-11 | 2010-08-11 | Video playback fluency priority link source channel coding system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW99126742A TWI411307B (zh) | 2010-08-11 | 2010-08-11 | Video playback fluency priority link source channel coding system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201208379A TW201208379A (en) | 2012-02-16 |
| TWI411307B true TWI411307B (zh) | 2013-10-01 |
Family
ID=46762483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW99126742A TWI411307B (zh) | 2010-08-11 | 2010-08-11 | Video playback fluency priority link source channel coding system |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI411307B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015101280A1 (zh) * | 2013-12-31 | 2015-07-09 | 深圳市大富科技股份有限公司 | 一种信道的码率分配方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100525262C (zh) * | 2006-12-28 | 2009-08-05 | 北京航空航天大学 | 一种信源信道联合编解码器及编解码方法 |
| TW200942032A (en) * | 2008-03-27 | 2009-10-01 | Synerchip Co Ltd | Bi-directional digital interface for video and audio (DIVA) |
| CN100558167C (zh) * | 2006-10-16 | 2009-11-04 | 华为技术有限公司 | 多媒体视频通信方法及*** |
| TW201003566A (en) * | 2008-04-08 | 2010-01-16 | Qualcomm Inc | Interpolation system and method |
-
2010
- 2010-08-11 TW TW99126742A patent/TWI411307B/zh not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100558167C (zh) * | 2006-10-16 | 2009-11-04 | 华为技术有限公司 | 多媒体视频通信方法及*** |
| CN100525262C (zh) * | 2006-12-28 | 2009-08-05 | 北京航空航天大学 | 一种信源信道联合编解码器及编解码方法 |
| TW200942032A (en) * | 2008-03-27 | 2009-10-01 | Synerchip Co Ltd | Bi-directional digital interface for video and audio (DIVA) |
| TW201003566A (en) * | 2008-04-08 | 2010-01-16 | Qualcomm Inc | Interpolation system and method |
Non-Patent Citations (1)
| Title |
|---|
| C. H. Shih, C. K. Shieh, J. Y. Wang, and W. S. Hwang, "An integrated rate control scheme for TCP-friendly MPEG-4 video transmission, " IEEE International Symposium on Circuits ans Systems, 2005,ISCAS 2005, pp.2124-2127 Vol.3。 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015101280A1 (zh) * | 2013-12-31 | 2015-07-09 | 深圳市大富科技股份有限公司 | 一种信道的码率分配方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201208379A (en) | 2012-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5676705B2 (ja) | 映像符号化規格に対応した映像レート制御の改善 | |
| CN1242623C (zh) | 视频编码方法、解码方法以及相关的编码器和解码器 | |
| JP5180294B2 (ja) | ビデオ符号化において、フレームの複雑さ、バッファレベル、およびイントラフレームの位置を利用するバッファベースのレート制御 | |
| RU2497304C2 (ru) | Динамическая модификация свойств видео | |
| WO2018113191A1 (zh) | 一种码率控制方法及装置 | |
| CN104270649B (zh) | 影像编码装置及影像编码方法 | |
| US10944973B2 (en) | Estimation of video quality of experience on media servers | |
| JP2005065291A (ja) | ビデオエンコーダのエンコーディング率制御方法、ビデオデータの伝送方法、ビデオエンコーダのエンコーディング率制御器、及びビデオデータ伝送システム | |
| WO2013046698A1 (ja) | データ処理装置及びデータ処理方法 | |
| US11889122B2 (en) | Quality aware error concealment technique for streaming media | |
| US20050089092A1 (en) | Moving picture encoding apparatus | |
| EP2901681A1 (en) | Perceptually driven error correction for video transmission | |
| WO2012000263A1 (zh) | 一种片段头信息中量化参数的编解码方法和装置 | |
| CN112543328A (zh) | 辅助编码方法、装置、计算机设备及存储介质 | |
| US20240040127A1 (en) | Video encoding method and apparatus and electronic device | |
| WO2008146892A1 (ja) | 動画像変換装置、動画像変換方法、および動画像変換プログラム | |
| KR101482484B1 (ko) | 멀티미디어 스트리밍을 위한 비디오 패킷 스케줄링 방법 | |
| WO2023010992A1 (zh) | 视频编码方法、装置、计算机可读介质及电子设备 | |
| US20110216837A1 (en) | Method and apparatus for video encoding with hypothetical reference decoder compliant bit allocation | |
| JP2009124518A (ja) | 画像送信装置 | |
| JP2008211579A (ja) | 映像品質推定方法および映像通信システム | |
| TWI411307B (zh) | Video playback fluency priority link source channel coding system | |
| Sanz-Rodríguez et al. | A rate control algorithm for HEVC with hierarchical GOP structures | |
| JP4354962B2 (ja) | 映像品質推定装置および映像品質推定方法 | |
| JP5675164B2 (ja) | 送信装置、送信方法、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |