TW201942870A - 位元率優化系統及方法 - Google Patents

位元率優化系統及方法 Download PDF

Info

Publication number
TW201942870A
TW201942870A TW107111933A TW107111933A TW201942870A TW 201942870 A TW201942870 A TW 201942870A TW 107111933 A TW107111933 A TW 107111933A TW 107111933 A TW107111933 A TW 107111933A TW 201942870 A TW201942870 A TW 201942870A
Authority
TW
Taiwan
Prior art keywords
bit rate
complexity
movie
spatial
human eye
Prior art date
Application number
TW107111933A
Other languages
English (en)
Inventor
官順暉
蔡豐旭
Original Assignee
香港商科科串流股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商科科串流股份有限公司 filed Critical 香港商科科串流股份有限公司
Priority to TW107111933A priority Critical patent/TW201942870A/zh
Priority to JP2019055500A priority patent/JP7062608B2/ja
Priority to US16/374,037 priority patent/US10764578B2/en
Publication of TW201942870A publication Critical patent/TW201942870A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提出一種位元率優化方法,其包含以下步驟:提供影片;分析影片的空間複雜度與時間複雜度,據以評估人眼敏感度,從而做為決定影片的位元率的依據。

Description

位元率優化系統及方法
本發明是有關於一種系統與方法,且特別是有關於一種位元率優化系統及位元率優化方法。
串流媒體(Streaming media)是指將一連串的媒體資料壓縮後,經過網路分段傳送資料,在網路上即時傳輸影音以供觀賞的一種技術與過程,此技術使得資料封包得以像流水一樣傳送。
一般而言,由於原始的媒體資料龐大,因此需先行壓縮後再透過網路傳輸。然而,壓縮的倍數愈高,媒體資料的破壞也愈嚴重,因此如何選擇適合的位元率,便成為一個重要課題。
本發明提出一種位元率優化系統及方法,改善先前技術的問題。
在本發明的一實施例中,本發明所提出的位元率優化系統包含儲存裝置與處理器,處理器電性連接儲存裝 置。儲存裝置儲存影片。處理器分析影片的空間複雜度與時間複雜度,據以分析人眼敏感度,從而做為決定影片的位元率的依據,其中處理器透過視覺評估公式以判斷空間複雜度搭配時間複雜度對人眼是敏感與否,以得出影片中每個畫面的人眼敏感資訊,處理器將影片中每個畫面的人眼敏感資訊做正規化,進而套入預設權重方程式以得出位元率。
在本發明的一實施例中,空間複雜度為影片中每個畫面在空間域上細節多寡。
在本發明的一實施例中,時間複雜度為影片在時間軸上的物體移動量大小。
在本發明的一實施例中,本發明所提出的位元率優化方法包含以下步驟:提供影片;分析影片的空間複雜度與時間複雜度,據以評估人眼敏感度,從而做為決定影片的位元率的依據,其中分析人眼敏感度之步驟包含:透過視覺評估公式以判斷空間複雜度搭配時間複雜度對人眼是敏感與否,以得出影片中每個畫面的人眼敏感資訊,其中決定影片的位元率的依據之步驟包含:將影片中每個畫面的人眼敏感資訊做正規化,進而套入預設權重方程式以得出位元率。
在本發明的一實施例中,空間複雜度為影片中每個畫面在空間域上細節多寡。
在本發明的一實施例中,時間複雜度為影片在時間軸上的物體移動量大小。
綜上所述,本發明之技術方案與現有技術相比 具有明顯的優點和有益效果。藉由本發明的技術方案,系統自動選擇適合的位元率,顧及網路傳輸頻寬,並且讓人眼觀看舒適。
以下將以實施方式對上述之說明作詳細的描述,並對本發明之技術方案提供更進一步的解釋。
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂,所附符號之說明如下:
100‧‧‧位元率優化系統
110‧‧‧儲存裝置
120‧‧‧處理器
150‧‧‧傳輸裝置
190‧‧‧用戶裝置
200‧‧‧位元率優化方法
S201、S202‧‧‧步驟
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂,所附圖式之說明如下:第1圖是依照本發明一實施例之一種位元率優化系統的方塊圖;以及第2圖是依照本發明一實施例之一種位元率優化方法的流程圖。
為了使本發明之敘述更加詳盡與完備,可參照所附之圖式及以下所述各種實施例,圖式中相同之號碼代表相同或相似之元件。另一方面,眾所週知的元件與步驟並未描述於實施例中,以避免對本發明造成不必要的限制。
於實施方式與申請專利範圍中,涉及『連接』之描述,其可泛指一元件透過其他元件而間接耦合至另一元件,或是一元件無須透過其他元件而直接連結至另一元件。
於實施方式與申請專利範圍中,涉及『連線』、『連接』之描述,其可泛指一元件透過其他元件而間接與另 一元件進行有線與/或無線通訊,或是一元件無須透過其他元件而實體連接至另一元件。
於實施方式與申請專利範圍中,除非內文中對於冠詞有所特別限定,否則『一』與『該』可泛指單一個或複數個。
本文中所使用之『約』、『大約』或『大致』係用以修飾任何可些微變化的數量,但這種些微變化並不會改變其本質。於實施方式中若無特別說明,則代表以『約』、『大約』或『大致』所修飾之數值的誤差範圍一般是容許在百分之二十以內,較佳地是於百分之十以內,而更佳地則是於百分五之以內。
第1圖是依照本發明一實施例之一種位元率優化系統100的方塊圖。如第1圖所示,位元率優化系統100包含儲存裝置110、處理器120與傳輸裝置150。在架構上,處理器110電性連接儲存裝置120與傳輸裝置150,傳輸裝置150與用戶裝置190連線。
舉例而言,位元率優化系統100可為伺服器或電腦主機,儲存裝置110可為硬碟、快閃記憶體或其他儲存媒介,處理器120可為中央處理器、控制器或其他處理電路,傳輸裝置150可為網路卡或其他網路設備,用戶裝置190可為桌上型電腦、筆記型電腦、平板電腦、手機或其他使用者裝置。
於運作時,儲存裝置110儲存影片。處理器120分析影片的空間複雜度與時間複雜度,據以分析人眼敏感 度,從而做為決定影片的位元率的依據。接著,處理器120依據該位元率來壓縮影片,並透過傳輸裝置150將壓縮過的影片傳輸給用戶裝置190。
在本發明的一實施例中,處理器120分析影片得到每張畫面(含畫面內的每個區域)的空間複雜度以及時間複雜度。
在本發明的一實施例中,上述空間複雜度為影片中每個畫面在空間域上細節多寡。具體而言,空間複雜度為單張畫面在細節、對比、清晰及色調上的資訊多寡,比如說一張畫面有清晰的風景含有樹林的葉片、水波紋,在空間複雜度上就會是高的;一張畫面是動畫中某一個場景,絕大多數畫面由大片色塊構成,這樣在空間複雜度上就會是低的。
在本發明的一實施例中,上述時間複雜度為影片在時間軸上的物體移動量大小。具體而言,由於影片為大量的影格所構成,而影格前後間大都為連續動作,這邊的時間複雜度指的是前後影格間的動作幅度,比如說動作片在刺激時候有連續好幾秒影片都在劇烈震盪,這時劇烈震盪的動作幅度即表示時間複雜高。
在本發明的一實施例中,處理器120透過視覺評估公式以判斷空間複雜度搭配時間複雜度對人眼是敏感與否,以得出影片中每個畫面的人眼敏感資訊。
具體而言,視覺評估公式:根據區域(畫面切為以N×N的區域組成)的移動向量,亮度及彩度和空間複 雜度,來判斷視覺敏感度,其中N可為16或其他正整數。
舉例而言,依據預先多個受試者的人眼感受所得到的統計數據,以定義高移動向量(hight_mv)、低移動向量(low_mv)、高敏感亮度(high_luma)、低敏感亮度(low_luma)、高空間複雜度(high_spatial_coml)、低空間複雜度(low_spatial_coml)。
承上,高敏感:移動向量(mv)>high_mv、亮度>high_luma、空間複雜度>high_spatial_compl。低敏感:移動向量(mv)<low_mv、亮度<low_luma、空間複雜度<low_spatial_compl。
在本發明的一實施例中,處理器120將影片中每個畫面的人眼敏感資訊做正規化,進而套入預設權重方程式以得出位元率。
關於預設權重方程式,舉例而言,定義「平均複雜度」為所有畫面的複雜度平均,定義「高複雜度門檻」為平均複雜度×2;預設權重方程式=平均複雜度+(符合高複雜度門檻的畫面的複雜度平均)×(符合高複雜度門檻的畫面數佔全部畫面數的比例)×2。
然後,處理器120可基於儲存於儲存裝置110中複雜度與位元率之間的關係的內建表,將預設權重方程式的出的複雜度數值代入,以查找對應的位元率。
舉例而言,上述複雜度與位元率之間的關係可由多個受試者的人眼感受所得到的統計數據彙整而成,其中複雜度愈高,位元率愈高;複雜度愈低,位元率愈低。表定 的複雜度對應的位元率是依據大多數受試者所能接受的畫質而定,假設設定位元率低於表定的複雜度對應的位元率,受試者多半感覺畫質不佳。或者,上述複雜度與位元率之間的關係可透過軟體模擬得出,熟習此項技藝者當視當時需要彈性選擇之。
為了對上述位元率優化系統的運作方法做更進一步的闡述,請同時參照第1~2圖,第2圖是依照本發明一實施例之一種位元率優化方法200的流程圖。如第2圖所示,位元率優化方法200包含步驟S201~S202(應瞭解到,在本實施例中所提及的步驟,除特別敘明其順序者外,均可依實際需要調整其前後順序,甚至可同時或部分同時執行)。
於步驟S201,提供影片;於步驟S202,分析影片的空間複雜度與時間複雜度,據以分析人眼敏感度,從而做為決定影片的位元率的依據。
在位元率優化方法200中,空間複雜度為影片中每個畫面在空間域上細節多寡。
在位元率優化方法200中,時間複雜度為影片在時間軸上的物體移動量大小。
在本發明的一實施例中,分析人眼敏感度之步驟S202包含:透過視覺評估公式以判斷空間複雜度搭配時間複雜度對人眼是敏感與否,以得出影片中每個畫面的人眼敏感資訊。
在本發明的一實施例中,決定影片的位元率的依據之步驟S202包含:將影片中每個畫面的人眼敏感資訊 做正規化,進而套入預設權重方程式以得出位元率。
綜上所述,本發明之技術方案與現有技術相比具有明顯的優點和有益效果。藉由本發明的技術方案,系統自動選擇適合的位元率,顧及網路傳輸頻寬,並且讓人眼觀看舒適。
雖然本發明已以實施方式揭露如上,然其並非用以限定本發明,任何熟習此技藝者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (6)

  1. 一種位元率優化系統,包含:一儲存裝置,儲存一影片;以及一處理器,電性連接該儲存裝置,該處理器分析該影片的一空間複雜度與一時間複雜度,據以評估一人眼敏感度,從而做為決定該影片的一位元率的依據,其中該處理器透過一視覺評估公式以判斷該空間複雜度搭配該時間複雜度對人眼是敏感與否,以得出該影片中每個畫面的一人眼敏感資訊,該處理器將該影片中每個畫面的該人眼敏感資訊做正規化,進而套入一預設權重方程式以得出該位元率。
  2. 如請求項1所述之位元率優化系統,其中該空間複雜度為該影片中每個畫面在空間域上細節多寡。
  3. 如請求項1所述之位元率優化系統,其中該時間複雜度為該影片在時間軸上的物體移動量大小。
  4. 一種位元率優化方法,包含:提供一影片;以及分析該影片的一空間複雜度與一時間複雜度,據以評估一人眼敏感度,從而做為決定該影片的一位元率的依據,其中評估該人眼敏感度之步驟包含:透過一視覺評估公式以判斷該空間複雜度搭配該時間複雜度對人眼是敏感 與否,以得出該影片中每個畫面的一人眼敏感資訊,其中決定該影片的該位元率的依據之步驟包含:將該影片中每個畫面的該人眼敏感資訊做正規化,進而套入一預設權重方程式以得出該位元率。
  5. 如請求項4所述之位元率優化方法,其中該空間複雜度為該影片中每個畫面在空間域上細節多寡。
  6. 如請求項4所述之位元率優化方法,其中該時間複雜度為該影片在時間軸上的物體移動量大小。
TW107111933A 2018-04-03 2018-04-03 位元率優化系統及方法 TW201942870A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107111933A TW201942870A (zh) 2018-04-03 2018-04-03 位元率優化系統及方法
JP2019055500A JP7062608B2 (ja) 2018-04-03 2019-03-22 ビットレート最適化システム及び方法
US16/374,037 US10764578B2 (en) 2018-04-03 2019-04-03 Bit rate optimization system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107111933A TW201942870A (zh) 2018-04-03 2018-04-03 位元率優化系統及方法

Publications (1)

Publication Number Publication Date
TW201942870A true TW201942870A (zh) 2019-11-01

Family

ID=68054078

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107111933A TW201942870A (zh) 2018-04-03 2018-04-03 位元率優化系統及方法

Country Status (3)

Country Link
US (1) US10764578B2 (zh)
JP (1) JP7062608B2 (zh)
TW (1) TW201942870A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111447446B (zh) * 2020-05-15 2022-08-23 西北民族大学 一种基于人眼视觉区域重要性分析的hevc码率控制方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3707118B2 (ja) * 1995-04-28 2005-10-19 ソニー株式会社 画像符号化方法及び装置
CN100515069C (zh) 2004-09-16 2009-07-15 株式会社Ntt都科摩 视频评价装置及方法、帧速率确定装置、及视频处理装置
AR052601A1 (es) * 2005-03-10 2007-03-21 Qualcomm Inc Clasificacion de contenido para procesamiento de multimedia
US8879856B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
US8249070B2 (en) 2005-12-29 2012-08-21 Cisco Technology, Inc. Methods and apparatuses for performing scene adaptive rate control
US8743972B2 (en) 2007-12-20 2014-06-03 Vixs Systems, Inc. Coding adaptive deblocking filter and method for use therewith
CN102238382B (zh) 2010-05-07 2013-09-25 联咏科技股份有限公司 影像压缩的位率控制方法及其装置
TWI415473B (zh) 2010-05-07 2013-11-11 Ind Tech Res Inst 視訊位元率控制裝置與方法
EP2604041A1 (en) 2010-08-09 2013-06-19 Koninklijke Philips Electronics N.V. Encoder, decoder, bit-stream, method of encoding, method of decoding an image pair corresponding with two views of a multi-view signal
US8885702B2 (en) 2011-10-17 2014-11-11 Google Inc. Rate-distortion-complexity optimization of video encoding guided by video description length
US9661328B2 (en) * 2013-03-15 2017-05-23 Arris Enterprises, Inc. Method of bit allocation for image and video compression using perceptual guidance

Also Published As

Publication number Publication date
US20190306500A1 (en) 2019-10-03
JP2019186919A (ja) 2019-10-24
JP7062608B2 (ja) 2022-05-06
US10764578B2 (en) 2020-09-01

Similar Documents

Publication Publication Date Title
Rehman et al. Display device-adapted video quality-of-experience assessment
US8908047B2 (en) Method and apparatus for obtaining video quality parameter, and electronic device
Wu et al. Color-plus-depth level-of-detail in 3D tele-immersive video: A psychophysical approach
US12022096B2 (en) Human visual system adaptive video coding
WO2022057789A1 (zh) 视频清晰度识别方法、电子设备及存储介质
TWI345418B (en) Brightness adjusting methods for video frames of video sequence and brightness adjusting devices thereof
WO2023134523A1 (zh) 内容自适应视频编码方法、装置、设备和存储介质
US20220237754A1 (en) Image processing method and apparatus
JP2017156935A (ja) 画質評価装置、画質評価方法及びプログラム
Yang et al. Fovr: Attention-based vr streaming through bandwidth-limited wireless networks
CN105208388B (zh) 视频通讯中动态调整编码帧率的方法和***
US11258954B2 (en) Image processing method and apparatus, and electronic device and storage medium
TW201942870A (zh) 位元率優化系統及方法
CN108376389B (zh) 亮度舒适性预测和调整
WO2019227620A1 (zh) 图片压缩展示的方法、装置、计算机设备及存储介质
Khan et al. Impact of end devices on subjective video quality assessment for QCIF video sequences
JP2006128972A (ja) 双方向マルチモーダルサービス品質推定装置および方法
US8704820B2 (en) Image display method and image display device
JP2018170706A (ja) 映像情報送信プログラム、映像情報送信方法および映像情報送信装置
Edstrom et al. Luminance-adaptive smart video storage system
WO2023077981A1 (zh) 显示参数调整方法、装置、存储介质及显示设备
US20190038129A1 (en) Eye fatigue prediction based on calculated blood vessel density score
Wu et al. CZLoD: A psychophysical approach for 3D tele-immersive video
TWI520048B (zh) 雲端影像資料輸出方法及雲端伺服器
Pourashraf et al. Minimisation of video downstream bit rate for large scale immersive video conferencing by utilising the perceptual variations of quality