TWI279143B - Integrated compensation method of video code flow - Google Patents

Description

1279143 九、發明說明： 【發明所屬之技術領域】 本發明是有關於-種碼流控制方法，特別是指—種在 仍可維持 視頻訊號傳輸過程中即使有嚴重掉包的情況 定收訊品質的視頻碼流之整合補償方法 【先前技術】

由於影音多媒體及數位通訊技術的發展，數位視頻處 理系統正朝向多方面的應用，此—現象之出現，乃歸功於 視讯編碼標準的發展，有了這些編碼標， T 乐統興系統之 間的傳輸才能有一致性的溝通標準。視訊編碼標準具有壓 縮資料的功能，這是因為原始的多媒體資料量極大，若= 加以覆縮減少資料量，不但會佔掉太多較，接收端亦無 法即時解碼而產生錯誤。 目前建立視訊壓縮編碼標準的正式組織有二，其一是 ITU-T，其二是 IS〇/IEc JTC1，苴中，ϊτ r liU-T視訊壓縮編碼 標準是以Η·26χ的形式表示，例如·· H 261、H 262、H 263 和H.26L等，而IS0/IEC視訊壓縮編碼標準則是以MpEG^ 的形式表示，例如·· MPEGq、MPEG-2和MpEG_4等。 士圖1所示，在MPEG視訊編碼影像之資料流（Data stream)中，其資料結構皆是由一個或一個以上之序列 (Sequence)所構成，而在每個序列之中則包含了複數個圖像 群組（Group of pictures，G〇p)，而所謂的厨像群組指的是由 許多畫面（Frame)或稱為圖像（picture)所構成之群組，每一畫 面依其屬性可區分幅内編碼畫面（I Frame)、預測編碼畫面（p 1279143

Frame) ’以及雙向編碼畫面（b Franie)影像三種型態。 其中’幅内編碼畫面（I Frame)亦稱之為參考影像 (Reference Image)或關鍵幀（Key Frame)，預測編碼畫面（P Frame)稱之為目前影像（Current Image)或非關鍵幀，由於I 畫面、P畫面彼此相鄰，皆有很高的相似度，p晝面可藉由 參考ί晝面’以像塊匹配（Block matching)、運動估計 (Motion Estimation)及運動補償（Motion Compensation)的方 式來進行壓縮，利用其相關性可作出良好的壓縮效果，如 此在運動向5:估异貫現時，便可利用連續影像之間存在的 時間冗餘（Temporal Redundancy)，利用在影像之間做同質性 搜尋來節省需傳送資料的儲存空間。 再如圖1所示，在MPEG之壓縮標準中，是將每個晝 面細分為數個像條（Slice)，像條中又可再分為數個宏塊 (Macro Block)，而宏塊可由四個亮度塊及數 個彩度（Chrominance)像塊所組成，最後，將每—像塊 (Block)定義為MPEG之資料結構中之最小編碼單位。對應 運動向量的估算（Motion Estimation)者，即所謂的運動補償 (Motion Compensation)。一般運動向量估算最直接的作法， 便是紀錄宏塊或像塊中每一畫素的亮度，並以預定的搜尋 方式紀錄兩者變化向量。 如圖2所示，說明MPEG壓縮標準中的運動向量表示 (Motion vector)，其搜尋方法係從一目前畫面5〇i(Current

Frame)所具有的一預定像塊51，搜尋目前晝面5〇ι鄰近的 一參考晝面502(ReferenCe Frame)對應該預定像塊5 }所相匹 1279143 配之晝素以估算該預定傻媸5 Ί t a 夂去貞疋像免51的運動向量53 ’該方法係以 蒼考旦面502中的__狀點52Q為起始位置，並 點520為中心之一卩衿 丁貝疋 &域（圖未不）為搜尋範圍，直到搜尋相匹 配之像塊以估算出運動向量53。

配合運動向量53的估算’目前畫面5〇ι便可藉由具有 的各像塊以及從參考晝s 5〇2找出最佳匹配像塊，以計管 出的運動向量53與差值資料將參考晝面術之像塊加以: 整:成為目前畫面501，依據運動向量53可將像塊轉移至 適當位置’由於無須紀錄大部分的重複資#，因此可節省 儲存的資料量達到資料壓縮的目的。 。而，以網路傳輸壓縮視訊資料為例，當頻寬有所限 制或壓縮率太高，#導致參考畫面5〇2中的資訊遺失，到 達某種程度以上時，將使得目前晝面501便無法有效復原 ，因此就會造成影像品質不佳而難以清楚地辨識，皆是因 為現有技術無法依據實際的傳輸現況自適應地對應調整， 使得其辨識度符合保持傳輸品質的實際需求。 【發明内容】 因此’本發明視頻碼流之整合補償方法即在提供一種 可依據實際的資料傳輸現況對應調整以符合實際傳輸需求 之視頻碼流之整合補償方法。 於是，本發明視頻碼流之整合補償方法，係使用離散 小波轉換（DWT)技術對於一視頻訊號的關鍵幀進行壓縮編石馬 ，並以離散餘弦轉換（DCT)技術處理該視頻訊號的幀間運算 ’且依據不同的因素自動補償及調整該視頻訊號。 1279143 本發明視頻碼流之整合補償方法的第一目的，是使用 離散小波轉換（DWT)技術對於一視頻訊號的關鍵幀進行壓縮 編碼，且以離散餘弦轉換（DCT)技術處理該視頻訊號的幀間 運算，並依據不同的因素自動補償及調整該視頻訊號。由 於關鍵巾負使用離散小波轉換技術不易失真，而運用離散餘 弦轉換技術處理幀間運算便於電腦的快速實現且適宜做細 部的宏塊（Macro Block)運算，因此可以使得該視頻訊號得

以保持一定的收訊品質。 本發明視頻碼流之整合補償方法的第二目的，係對於 運動向量之搜尋處理首先從較大的範圍依次提高其搜尋精 度’用以逐步逼近以在最終得到最近似的搜索結果 提昇處理效能。 方法的第三目的，係依據 ’設定對應的傳輪層級， 本發明視頻碼流之整合補償 不同的傳輸資料量可用頻寬條件 使得資料傳輸時更具有彈性。 π旧刀忒的第四目的，俜以 :向糾錯料使得料到的㈣接近正確，加上^= 这失隱臧程序來運用接收端的資料 次，^ 、匕 明方法先以前向糾錯程序恢L仃貝料σ设’本發 程序恢復，能大栌拉盖卜 D刀貝科，其餘則使用修補 本V 復及修補資料的情況。 統中建立-最佳匹配參數模型=的弟五目的’係在系 ’關鍵㈣關㈣的傳輸位由該最佳匹配參數模型 來分配不同的編碼位_，j二喝即是以計算當前碼流 ，传該碼流條件下的視頻訊號 1279143 不至失真，並使得關鍵賴及非關㈣成爲統-的視頻流。 本發明視頻碼流之整合補償方法的第六目的，係以幀 間平衡演算法解決t貞間抖動或㈣不平滑的問題，使其得 到有效的抑制和補償。 而。之’本㊆明方法是在影像資料在傳輸過程中有 f失或延遲的前提下，對於視頻訊號的編碼過程進行質量 控制。理論上，高傳輸碼率能夠得到較好的圖像質量，'低 傳輸碼率只能得到較低的圖像質量，因而本實施例的幢間 二:及碼率控制所要完成的工作不是得到最好的畫質，而 是得到某個碼率條件下的最優質量。 【實施方式】 、有關本發明之前述及其他技術内容、特點與功效，在 以下配合參考圖式之一較佳實施例的詳細說 楚的呈現。 Ύ，月 蒼考先前技術及圖1說明可知，由於ρ畫面可藉由參 考1畫面求得，Β影像是由前後相鄰的二影像（I晝面或ρ ± 得到的影像’由此可知1畫面(以下稱為關ΐ 、b 3的貝十分重要’而若是視頻訊號在傳輪的過程 中關鍵巾貞的任何資却右彳嗇生 . U貝^有逍失、缺知'的情況發生，將 關鍵幀相鄰影像的品質。 θ Μ 口此本杳明視頻碼流之整合補償方法的第一目的 即是關㈣使用㈣後㈣失真度㈣的離散棘拖 _取術，使得關鍵巾貞可以維持—定的影像品質，而其他 鴨間運算仍維持使用目冑MpEG屡縮標準常用的離散餘弦 1279143 轉換（DCT)技術，用以降低系統的複雜度及運算量。 該方法擷取了離散小波轉換與離散餘弦轉換各自的優 點，在關鍵幀用離散小波轉換技術，使得圖像的失真度較 低，整個視頻流的品質較高，且愿縮率高可節省空間；同 時，在非關鍵幀使用離散餘弦轉換技術，大大提高了運算 的靈活性和降低了演算法的運算複雜度。 配合圖3〜5所示，說明本發明方法以離散小波轉換處 理對關鍵幀是如何處理成一碼流輸出。 5 ^ ^月万法對於關鍵幀如何以區塊 • I方法處理以知出—碼流’其係先將視訊訊號中的關鍵 刀割成許多碑塊⑽），例如可分割為磚塊A1~An ;對每 一磚塊AhAn $行多階的離散小波轉換，例如各磚塊經過 —階小波分解後可形成七個子帶（又稱為頻帶）。 配合圖4所示，一 SI Q Δ- > η ,, " 過三階小波分解後可形成 十個子可，圖像3中的 Η 一 ^ L3即疋屬於低頻子帶，子帶 1疋屬於尚頻子帶，以此類推。 ，㈣再如圖示，將每一子帶再分割成許多區塊（歸） 32χ 3“二所传到的的各頻帶被分解成數個例如“X 64或 呈有矩㈣n子帶内的轉換係數即是排列成 有矩形結構的區塊。完 本單位進行後續壓縮。 “後，即以各區塊為基 對每一區塊可迮；r嫵六处 卞囟（Bit-plane)。由 産生的碼流可以奸辦.Φ 生基本的碼流，每-區 %丨L Τ以根據需要取不同 ]長度，然後，這些區 10 1279143 被編碼成位元平面，這些位元平面從具有非零元素的最重 要位元平面（MSB)開始到最不重要的位元平面（lsb)爲止。 如圖5所示，經過掃描後即編碼成碼流，其原理是編 碼塊中的每個位元平面以—種特殊的方式進行係數掃描， 從左侧最上面的係數開始，每四個係數作爲一列，直到掃 j編碼塊中的所有係數爲止，再根據係數對應的頻率依升 幂方式棑列。 本較佳實施例對於離散小波轉換的分解和重構公式使 用了現有的Mallat演算法，如公式^所示：公式丄是小

Ck dr ’亦即小波逆轉換公式。 ήΚχ-ηχκ、 ，卜")叫〜‘〉 公式1 =名W/ 公式2 h-2JCi 3 + gk^dj^ ) 公式3 8η

如么式1、2所不，先給定一數位視頻訊號，對該數 位視頻汛唬按正交基底（Orthogonal Basis)展開，並定義數位 視頻訊號中K的函數，其中的{^}即是^中的標準 正交基底。 如公式2、3所示，言兒明本發明方法中關鍵賴使用的 1279143 ’及空間域上的的整體性和頻域上的局部性 所頦不的特性。由於c，.是c; h 頻子帶，因此e，是# ，y刀解得到的低 級小波分解得到的很相工册 ^ 進订下一 -幅查而 ^從晝面上來看是同 W田旦，但C更平滑，輪廓更模糊，因此，稱之爲c/ θ β的平滑版本)，是#紅下奴！、士、輪之^疋 ) 細下一級小波分解得到的高頻頻

曰以疋C和C的差別資訊，而由於C，.是#的平滑 勺勺主體性和頻域上的局部性。 至此，僅解釋了關鍵幀的資料處理流程，以及其所使 用的離散小波轉換的演算法及特性。而本較佳實施例對於 ，散餘弦轉換（DCT)使用的公式如公式4、5所示，公式4 是非關鍵情中二維離散偶餘弦正轉換公式；公< 5是逆韓 換公式：

^(^ν).£(ι/)£(ν)Α^|/(λ%3；) -iV ν_υ ίΤΤι 公式4

f 2x +1 :cos -un 2N

/ 2y +1 ' :cos -νπ 2N 2 Λ,·]Λ。] f(xy E(u)E(v)C(u,v) * cos( ^ 1 * cosf νπ ) ( 2iV 」I 2iV J 公式 5 其中 ’ u，v = 〇5l5 …N-l，當 u = 0，v = 0 時，五⑷，五(v) = l/V5; 當 u ：= 1，2，···，Ν]，v = 1，2,…，N-l 時，E(u)，E(v) ：= 1 ; (U，V)係指頻率域之係數位置。（x，y)係指空間域圖元的位置 f(x’y)係4曰（x，y)位置所置圖元值，C(u，v)係指（u，v)位置上 的頻率係數值；N表示二維陣列的寬度及長度。如果u為〇 12 1279143 丄 則E(u)為々 如果則E(v)為t反之，如果u不是 1 E⑷為1，如果v不是〇則E〇A i。 它呈：用離散餘弦轉換處理幢間運算的優勢在於：第一， —一有可分離特性，可分解爲一維運算 實現·笛- π 便方；笔細的快速 、 ’乐二，在幀間細節上，它f i商舍从& , ，例如·· 匕更適且做較小區域的運算 進行16x16，8x8的宏塊的運算。 心=:ΐ圖6〜9所示，說明本發明方法中的非關鍵 處理=運异貫際的處理方式，圖中主要是以人臉影像的 為例’而由於離散餘弦轉換㈣縮技術為相關領域者 /、口’故在此不再予以贅述’僅就本發明方法不同於以 往技術之處作說明。 一百先，需接收遠端之傳輸丟包資訊（步驟201);叶管+ 前發送端的應設置的晝置因素（步驟2G2);存儲當前發= 的應設置的晝置因素(步驟203);檢測當前場景中的人眼及 人臉資訊（步驟204);存儲當前場景中的人眼及人臉資訊， 用於人眼及人臉區域的編碼（步驟2〇5);幀間宏塊的檢測（步 驟206)，如圖7所示，比對相鄰的二圖像，並標示出有移 動的部位；接著，做運動連通區域的聚合（步驟2〇7)，如圖 8所示，聚合後可框出大部分的人臉；提取運動區塊，等待 分類編碼（步驟208);確認可忽略的、孤立的宏塊（步驟 ;根據人臉、人眼資訊，檢測運動區塊的人臉區域（步驟 210) 〇 根據當前發送端的應設置的畫置因素，進行碼流控制

13 1279143 參數分配（步驟211);對區塊的人臉相關區域進行獨立編碼（ 步驟212)，如圖9所示，即是對於區塊的人臉相關區域c，d 進行獨立編碼；對其他區域進行編碼（步驟213)，如圖9所 示，即是對於其他區域e，f，g，h進行編碼；對人臉、人眼區 域a，b進行精確編碼（步驟214)，如圖9所示，即是對於人 臉、人眼區域a，b進行精確編碼；最後，將視頻流複合分類 打包’場景描述編碼完成（步驟215)。 本發明視頻碼流之整合補償方法的第二目的，是當偵 測到該視頻訊號各㈣中有運動的物體宏塊時，僅處理該 視頻訊號各鴨幅中的動態宏塊計算，至於靜態宏塊則暫存 緩衝區中暫時不作處理，且對於運動向量之搜尋處理首先 從較大的範圍依次提高其搜㈣度’用以逐步逼近以在最 終得到最近似的搜索結果，藉此提高處理效能。 如圖10所示，本發明方法主 宍拂，*、 法主要E 7刀為動態宏塊及靜態 A 並勺別進行不同的處理，其中，f益Λ、γ ^ LA > , L /、 重要成分的動態宏 鬼，例如影像畫面中的運動物體 運瞀.^ 物虹5〇1(人體）進行更進一步的 運π，而較不重要成分的非運動物 中的非、軍* I Α鬼’例如影像書面 中的非運動物體502(背景）， 一 理。 j θ曰存綾衝區中暫時不作處 _影像晝面中的是否有運動的物體；：方法’以 檢測個別宏塊並區分其特徵，將例如; 劃分(步驟3。2);若屬於二^ 恋在塊(步驟303)，這是為了 I則♦合遠’ 轉獨立像塊之間建立特禮 14 1279143 义N刀頸編碼的目的 斷出影像中的所有運動物㈣聚合成功後，即可據此判 斷非屬動態宏塊，或者若s :‘* 304)’若在步驟302中判 該等宏塊未具有共同運動方4 303中聚合失敗，例如 認其為雜訊或者是可 °寻特徵’則進行步驟篇，確 ^、，疋了心略的部分（步驟305)。 在預測運動向量集合方面 ，主要區分為τ述集合 ^使用集合分割方法 的左、上和下、古4 / ^置};R21參考位置 = {參考位置的 ▲勺運動向量} •，以及 、“ 。運動向里所指的運動軌 。 運動向量（Motion Vector)的勑 ⑴檢杳隹八R1 Λ Η，處理順序說明如下·· 一木a R1中的預測運番旦 ㈣。如果該值小於間值τ °里’計算當前的最小 爲最佳運動向2W 、’ V止搜尋’確定當前位置 斯向里，否則進入（ii); (u)檢查集合R2中的預測運動向量 小SAD。如里外， 丨开田月ϋ的取 置爲最佳運間值Τ2,則停正搜尋，確定當前位 堤勁向® ,否則進入（iii);及 (m)檢查集合R3中的預測運動 小SAD。如耍4 μ , 里口丁，田月丨J的最 置爲最佳運值T3,則停止搜尋，碑定當前位 乜運動向置，否則進行更高精度的搜尋。 1在=所示’說明本發明方法之運動向量搜尋處理， ：；量搜尋置的搜尋單位的意義不同，當進行運動 里技寸處理時，該方法對於運動向 較广範圍，—素，依次提高= 1X1像素’ #口 U2xl/2像素的精度’遂步逼近以在最終得 15

1279143 到最近似的搜索結果。例如：自原點（0,0)開始其搜尋範圍 依次爲16x16像素、在座標縮小範圍為8χ8像素、在 座標（-1,3)再縮小範圍為1x1像素，直到在座標（q，2)更縮小 範圍為l/2xl/2像素以查找到最精確的搜索結果。 本發明視頻碼流之整合補償方法的第三目的，係依據 不同的傳輸資料量可用頻寬條件，設定對應的傳輸層級， 使得資料傳輸時更具有彈性。 如圖13戶斤示，說明使用本發明方法的視頻處理系統 100處理視頻訊號的壓縮傳送及解壓縮重建過程，其中，視 頻處理系統100的-傳送端U負責_訊號源編碼程序及一 通道、、扁碼&序’訊號源編碼程序中包括_離散轉換步驟in

步驟112及—熵編碼步驟113，通道編碼程序中包 括:分質量層打包步驟114及—前向糾錯編碼（FEC …視頻處理系統謂的接收端12在接收訊號後，負責_ 通2解碼程序及一訊號源解碼程序，通道解碼程序中包^ 則向糾錯解碼步驟121及—分質量層解包步驟m 0 源編碼程序中包括—賴碼步驟123、_反量化步驟 一反離散轉換步驟125。 一 其中，在訊號源編/解碼程序部分是將輸入之原护 =施=散餘弦轉換(DCT)或離散小波轉換(DWT)她 : 步驟112是使用量化係數對應該轉換係數進行! 編碼Z編碼步驟113是對量化後的參數值加以編碼，至: ，可以使用霍夫曼編碼或者算數編碼，·對應地， 16 1279143 ，亦需對應上述步驟進行熵解碼 及反離散轉換步驟125以重建視 收端在接收該編碼資料後 步驟123、反量化步驟124 頻訊號。 如圖14所示’說明前述分質量層打包步驟ιΐ4是依據 =同的可用頻寬條件設定對應的傳輸層級，由於每—個質 量層Qi是由不同編碼塊的一部分碼流組成，特別說明的^ ，—些編碼塊在某一層中可以爲空，例如在Q]中，B3就沒 有位流包含在其中’如此一來’自質量層結構構成的碼流 弋-有失真率可伸縮性，這樣編碼後的壓縮資料可具 漸進傳輸的性質。 〃 如表1所示，本發明方法是依據不同掉包率使用前向 糾錯程序的不同層級修復資料。 σ

4方法疋假設若連續掉I的資料超過視頻處理系統1⑻ =區（圖未示）的允許長度，則以前向糾錯程序恢復其中的 -部分’其餘無法恢復的資料則使用修補程序恢復，兩者 相配合能在掉包率40%情況下恢復及修補資料，令辨識度 17 1279143 錯編媽以及尋求最接近的資料來修復丢失的資料。 本發明視頻碼流之整合補償方法的第五目的，係在系 統中建立一最佳匹配參數模型，藉由該最佳匹配參數模型 ，關鍵幀與非關鍵幀的傳輸位元編碼即是以計算當前碼流 來分配不同的編碼位元數，使得該碼流條件下的視頻訊號 不至失真’並使得關鍵幀及非關鍵幀成爲統一的視頻流。 如何使關鍵幀及非關鍵幀成爲統—的視頻流便需建立 以下的最佳匹配參數函數模型： • r表不編碼位元數，s表不編碼複雜度，Q表示關鍵幀 的壓縮比參數或非關鍵幀的量化參數，cl，c2爲失真常量。 應用最佳匹配參數模型可作為以下各工作的準備： (1) 初始化碼率參數：如圖16所示，從壓縮比曲線中查 ，碼率參數對應的壓縮比初始值，如目17所示，並初始化 s化器自適應範圍，二者均爲幀間平衡的關鍵步驟。 (2) 计异當珂幀目標碼率，此部份可參照前述的”當前幀 目標碼率的演算法”。 (3) 根據最佳匹配參數解出JpEG2〇〇〇的壓縮比和 MPEG-4的量化參數；及 (4) 更新最佳匹配參數模型各參數。 如圖18所示，說明本發明視頻碼流之整合補償方法所 建立的取佳匹配參數模型及其使用步驟，該最佳匹配參數 杈型主要用於調整關鍵幀的壓縮比（Compression Ratio),及 20 1279143 Γ = Γ;*0.80 + 5*0.20；

/*7；前一幀的實際編碼位元數，S表示編碼複雜度V i f J > = Brate / Frate ^ T = Brate /Frate ( Brate /Frate - T) * 0.75 ； else Τ = Brate/Frame + (Brate/Frame - T) * 1.25

/*計算當前幀目標碼率V min = Brate I Frame * 0.1; max = Brate / Frame * 10;

T = rang(min，max); /* 防止上、下溢出 V } else /*非關鍵幀*/ T ^Tj *0.90 + 5*0.10/ = Brate/ Frate ^ "Y - Brate/ Frate + I Frate 一飞)*〇 .65·， else

Γ = Brate/Frame + (Brate/Frame - T) * 1.35 /*計算當前幀目標碼率v min = Brate/Frame * 0.05; max = Brate/Frame * 2; T 二 rang(min，max); /* 防止上、下溢出 */ = BjFi

/* 5,.當前一秒剩餘帶寬，巧當前一秒剩餘幀數V if (T<7：./2) T ^Ti -7; 23 1279143 歸納上述，本發明視頻碼流之整合補償方法具有下述 的優點： 1.相車乂方、以往的視頻壓縮技術，若非單使用離散小波 轉換技術’就是單使用離散餘㈣換技術作視訊壓缩處理 ，本發明視頻碼流之整合補償方法結合了兩者的優點：對 關鍵巾貞的處理使用離散小波轉換技術，而巾貞間運算則使用 離散餘弦轉換技術’如此一來，由於關㈣使用離散小波 轉換技術較不易失真’因此非關鍵巾貞在進行運動向量估算 日τ的匹配較不谷易有錯誤，而運用離散餘弦轉換技術處理 鴨間運算便於電腦的快速實現且適宜做細部的運算。 * 2·本發明視頻碼流之整合補償方法對於運：向量之搜 尋處理’首先從較大的範圍依次提高其搜尋精度，用以逐 步逼近以在最終得到最近似的搜索結果，使得處理效能更 為4疋计 °

*本^月視頻碼流之整合補償方法是依據不同的可用游 見U。又疋對應的傳輸層級，且各傳輸層級分配有一雜 2當判斷各該資料包之所屬層級後再將各該資料包依所 屬層級分配之碼鱼JL . ” 、扁/解碼，如此使得資料傳輸時更具 有彈性。 Μ ，―曰本發明視頻碼流之整合補償方法使用二種修復程j 曰疋使用刖向糾錯程序可使接收到的資料保持正確，二 疋使用修補程序運用接收端的資料來進行 該視頻訊號得以料—定的m。由於” ，、讀區長度的限制’若連續掉包的資料超過系統緩衝, 24 1279143 的允許長度，單以前向糾錯程序將無法完全修復，因此， 本發明視頻碼流之整合補償方法先以前向糾錯程序恢復其 、卩刀其餘無法恢復的資料則使用修補程序恢復， 口此此在掉包率40%情況下恢復及修補資料，使辨識度達 到可接受的水準。 5·本發明視頻碼流之整合補償方法建立有最佳匹配表 數模型’使用該函數可使系統自適應地調整量化係數以調 整編碼長度。 ° 6·本發明視頻碼流之整合補償方法提供了㈣平衡演 二:：有效的抑制和補償關鍵幢和非關鍵鴨兩種不同的 计异技術處理產生的鴨間抖動或幢間不平滑問題。 &准以上所述者，僅為本發明之較佳實施例而已， 能以此限定本發明實施之範 田不 r fi这八 靶固即大凡依本發明申請專利 乾圍及务明說明内容 屈土恭㈣、的寺效變化與修飾，皆仍 屬本么月專利涵蓋之範圍内。 [圖式簡單說明】 圖1是一示意圖 的資料結構； 圖2是一示意圖 向量表示； 圖3是一示意圖 次月MPEG視訊編碼影像之資料流 說明說明MPEG㈣標準中的運 不思圖，說明本發明方法 區塊編碼方法處理以輸出一碼流； 汰關㈣如❹ 圖4疋τ意圖，說明―圖像 成十個子帶； 及小波分解後祀 25 1279143 圖5是一不意圖，說明編碼塊中的每個位元平面從左 側最上面的係數開始，每四個係數作爲一列進行掃描； 圖6疋w i ® 5兒明本發明方法中的非關鍵幢的懷 間運算實際的處理方式，主要县 受疋以人臉影像的處理為例； 圖7是一示意圖，說明+ jg又nn 兄月本喪明方法中對於幀間宏塊的 檢測； 圖8是一示意圖，說明太欢 兄月本發明方法中對於運動連通區 域的聚合； 圖9是-示意圖，說明本發明方法根據人臉、人眼資 訊，檢測運動區塊的人臉區域； 圖10是-示意圖’說明本發明方法主要區分為動態宏 塊及靜悲宏塊，並分別進行不同的處理·， 圖11疋-流程圖，說明本發明方法對於運動物體的债 測方法； ' 圖12是-示意圖’說明本發明方法之運動向量搜尋處 理’是以逐漸縮小搜尋範圍的方式以提高其搜尋精度； 圖13是—示意圖’言兒明本發明方法的視頻處理系統方 塊圖’該視頻處理系統具有的—傳送端及一接收端執行之 步驟； 圖14疋不意圖，說明依據不同的可用頻寬條件設定 對應的傳輸層級； 圖15是一示意圖，說明該較佳實施例使用的前向糾錯 程序， 圖16是一示意圖，說明初始量化係數之自適應範圍； 26 1279143 圖17是一示意圖，說明壓縮比之自適應範圍曲線；及 圖18是一流程圖，說明本發明視頻碼流之整合補償方 法所建立的最佳匹配參數模型及其使用步驟。 1279143

【主要元件符號說明】 100 • · 視頻處理糸統 驟 11 · _ …傳送端 122·· · 分質量層解包步 111， • · 離散轉換步驟 驟 112 . > ·量化步驟 123·· · 熵解碼步驟 113 _ • · 熵編碼步驟 124·· · 反量化步驟 114 '·分質量層打包步 125··· 反離散轉換步驟 驟 3 · · · · 圖像 115 · • 前向糾錯編碼步 201〜215 步驟 驟 301〜305 步驟 12 · · • 接收端 701〜707 步驟 121 · • 前向糾錯解碼步 28

Claims (1)

1279143 卞、申請專利範圍：

號申請案說明書替換頁 (修正日期：95. 11) • 一種視頻碼流之整合補償方法，係在一視頻處理系統對 一資料流進行處理，該資料流包含了複數個關鍵幀以及 複數個非關鍵幀，其特徵在於：該方法係使用離散小波 轉換技術對於該資料流的關鍵幀進行壓縮編碼，並整合 以離散餘弦轉換技術處理該資料流的幀間運算，且該關 鍵幢與該非關鍵幀的傳輸位元編碼是以計算當前碼流來 分配不同的編碼位元數，使得該碼流條件下的視頻訊號 不至失真，並使得關鍵幀及非關鍵幀成爲統一的視頻流 〇 2 ·依據申睛專利範圍第1項所述之視頻碼流之整合補償方 法，其中，該非關鍵巾貞的傳輸位元編碼程序包含下述步 驟： (A) 以當前碼流估算對於當前資料包的一編碼位元數 (B) 依據該編碼位元數調整現有的量化係數； (C) 使用該量化係數對該非關鍵幀進行量化；及 (D) 對量化後的結果加以編碼。 3 ·依據申請專利範圍第2項所述之視頻碼流之整合補償方 法’其中’步驟（B)中，係將該編碼位元數帶入一最佳匹 配參數模型以求得該量化係數。 4·依據申請專利範圍第3項所述之視頻碼流之整合補償方 法，其中’步驟（B)中，該最佳匹配參數模型如下述公式 所示： 29 1279143 牛月曰海》 H昶7¾，號申請案說明書替換μ (修正日期：9 5. 11) r \ 2 \Q Ql 'S 其中’ Γ表示編碼位元數，S表示編碼複雜度，Q表 示該量化係數，Cl，c2爲失真常量。 5·依據申請專利範圍第3項所述之視頻碼流之整合補償方 法’其中’步驟（B)中，該最佳匹配參數模型如下述公式 所示：

其中，Γ表示編碼位元數，S表示編碼複雜度，Q表 示該量化係數，cl，C2爲失真常量，C3表示掉包率，p表 示當前資料包重要資訊重複發送參數。 6.依據申請專利範圍第2項所述之視頻碼流之整合補償方 法’其中，P表示JPEG2000幀之重要資訊重複發送參數 〇 7_依據申請專利範圍第2項所述之視頻碼流之整合補償方 法，更包含下述步驟： (E)將該量化係數反饋至該視頻處理系統之發送端進 行前向糾錯編碼；及 (F)調整該視頻處理系統之接收端需解碼之資料内容 〇 •依據申請專利範圍第1項所述之視頻碼流之整合補償方 法’其中，該關鍵幀的傳輸位元編碼程序包含下述步驟 30 1279143 -g二 _r 籽 _____ 年芄曰修%纪#1|¥號申請案說明書替換頁 一·.__ (修正日期〔95. 11) (A)以當前碼流估算對於當前資料包的一編碼位元數 (B) 依據該編碼位元數調整現有的該關鍵幀的壓縮比 y (C) 使用該壓縮比進行資料壓縮；及 (D) 輸出壓縮後之資料。 9·依據申吻專利範圍第8項所述之視頻碼流之整合補償方 法，其中，步驟（B)中，係將該編碼位元數帶入一最佳匹 配參數模型以求得該壓縮比。 1〇.依據申請專利範圍第9項所述之視頻碼流之整合補償方 法，其中，步驟（B)中，該最佳匹配參數模型如下述公式 所不· C\ , °2

其中’ Γ表示編碼位元數，S表示編碼複雜度，Q表 示該壓縮比，cl，c2爲失真常量。 11 ·依據申睛專利範圍第9項所述之視頻碼流之整合補償方 法’其中’步驟（B)中，該最佳匹配參數模型如下述公式 所示： [q+^+p}S 其中， r表示編碼位元數，s表示編碼複雜度 31 1279143 w日修斜碰麵 虎申案^明書替換頁 一 一——------ (修正日期：95. 11) 示該壓縮比，cl，c2爲失真常量，c3表示掉包率，？表示^ 當前資料包重要資訊重複發送參數。 12·依據申請專利範圍第11項所述之視頻碼流之整合補償方 法，其中，P表示JPEG2000幀之重要資訊重複發送參數 13·依據申請專利範圍第8項所述之視頻碼流之整合補償方 法，更包含下述步驟： (E) 將該壓縮比反饋至該視頻處理系統之發送端進行 前向糾錯編碼；及 (F) 調整該視頻處理系統之接收端需解碼之資料内容 〇 14·依據申請專利範圍第2或第8項所述之視頻碼流之整合 補償方法，其中，步驟（D)更包含下述子步驟： (D_l)依據不同的可用頻寬條件，設定對應的傳輪層 級’且各傳輸層級分配有一碼率； (D-2)判斷各該資料包之所屬層級；及 (D-3)將各該資料包依所屬層級分配之碼率加以編/ 解碼。 15·依據申請專利範圍第1項所述之視頻碼流之整合補償方 法’其中，關鍵幀和非關鍵幀的幀間平衡，是通過調整 關鍵幅和非關鍵幀的亮度和畫置因素，依據當前幀目禪 碼率的演算法作修正，該目標碼率是基於可用位元和最 近Φ貞編碼位元決定。 16·依據申請專利範圍第1項所述之視頻碼流之整合補償方 32 •1279143 Γ^5. it ~ —，一| 年月曰修(《证替換頁 W 法’其中’該方法係偵測到該視頻訊號各幀幅中有運動 的物體宏塊時，僅對該視頻訊號各幀幅中的動態宏塊處 理，至於靜態宏塊則暫存不作處理。 17.依據申請專利範圍第16項所述之視頻碼流之整合補償方 法’其中’該方法係偵測到該視頻訊號各幀幅中有運動 的物體宏塊時，檢測個別宏塊並區分其特徵，若屬於動 態宏塊’則聚合該等動態宏塊以達到分類編碼的目的， 聚合成功後’即可據此判斷出影像中的所有運動物體， * 若判斷非屬動態宏塊，或者若是聚合失敗則確認其為雜 訊或者是可忽略的部分。 18·依據申請專利範圍第16項所述之視頻碼流之整合補償方 法，其中，該方法對於運動向量之搜尋處理首先從較大 的範圍依次提高其搜尋精度，用以逐步逼近以在最終得 到最近似的搜索結果。 I9·依據申請專利範圍第1項所述之視頻碼流之整合補償方 法，其中，該視頻處理系統對該視頻訊號進行運動壓縮 籲 編碼及傳輸程序時，係偵測當時傳輸碼流及依據該碼流 分配該修補程序& —前向糾錯程序的修補比 <列，並在一 預定範圍内使用=者分配之比例對於該視頻訊號進行修 補工作。 20·依據申請專利範圍第19項所述之視頻碼流之整合補償方 法，其中，係先以該前向糾錯程序恢復掉包資料中的一 部分’其餘無法恢復的f料則使用該修補程序加以修復 33 1279143 j军$ 0日修雕辨茛!，號中請案說明書替搞 ——(修正日期：9 5 ·f ) 21 ·依據申請專利範圍第20項所述之視頻碼流之整合補償方 法’其中’該前向糾錯程序係包含下述步騍： (1) 在傳送端的編碼器中建構一個η行k列的矩 陣G，且該矩陣G具有的任一 k*k的子矩陣g皆為可 逆’該矩陣G中的每一個元素皆是8次伽羅華域 (Galois Field)中的一個元素； (2) 若該視頻訊號有k個大小爲資料包 >(立元組的 >料包，則各資料包中每一個位元組皆對應到8次仂 羅華域中的一元素； (3) 將原資料中的k個資料包使用矩陣G進行線 性轉換，轉換後得到n個大小爲㈣包位元給的資 料包，則此η個資料包爲一個碼字的編碼資料； (4) 將該碼字的編碼資料發送至該視頻處理系統之 接收端； ^ (5)在該接收端的解碼器，若收到一個碼字中具有 不小於k個的資料包，則使用其中k個資料包對應矩 陣〇中之行以建構出相對應的子矩陣g ;及 ⑻由於子矩陣g為可逆矩陣，因此可以解出對應 的線性方程組之唯-解為該發送端編碼前的^固正確資 料包的重建資料。 34 1279143

年月曰修 375號申請案說明書替換頁 (修正日期：95. 11) 編碼資料 接收資料

圖15 量化係數

*100kbps(碼率） -1279143

號申請案說明書替換頁 (修正日期：95· 11)

壓縮比

木100kbps(碼率）

對量化後的參數值加以編碼輸出

圖17 開始 ，並初始化其巾的各 «gf裳¢=2:¾寬絲，時掉包率估 依據當前資料包可用的編碼位元數調整現有的量化參數 使用該量化參數對該轉換係數進行量化

T 將該量化參數反饋至該視訊傳輸系統之發送端進行前 更新失真模型函數中的各參數 圖18 -701 '702 -703 •704 705 706 707