TW200922338A - Image encoding/decoding device and method - Google Patents

Description

200922338 九、發明說明 【發明所屬之技術領域】 本發明係有關於影像的編碼及解碼。 【先前技術】 先前，作爲動畫編碼方式，有MPEG-2或H.264/MPEG4 A VC(以下簡稱爲H. 264)爲人所知。在這些動畫編碼方式中 ’將原影像分割成所定大小的區塊，以該區塊單位來進行 運動推定及運動補償所致之畫格間預測，而生成預測影像 。再者’在上記動畫編碼方式中，對該預測影像與原影像 之間的預測殘差，進行離散餘弦轉換（以下簡稱爲DCT)、 量化及熵編碼化，而生成編碼資料。 又，在H. 264的運動推定時，由於是從多數的區塊尺 寸（16x16像素、16x8像素、8x16像素、8x8像素、8x4像素 、4x8像素、4x4像素）中選擇出相應於物體之形狀或運動 之複雜性的適切之區塊尺寸，因此相較於MPEG-2等，預 測效率較高。然而，伴隨此種區塊尺寸之選擇而來的運動 推定，雖然對於剛體在畫面內平行移動時的畫格間預測是 合適的，但例如當在畫格間物體發生變形時的畫格預測就 會不適合，會發生比較大的預測殘差。尤其是，邊緣及紋 理等空間上像素値變化較爲劇烈的場所（領域）中，容易發 生預測殘差，該預測殘差係於解碼影像中容易被觀看成飛 蚊雜訊等，而引發畫質劣化。 上記預測殘差，雖然可於運動推定時選擇較小的區塊 -4- 200922338 尺寸來使其減低，但是若選擇較小的區塊尺寸，則含有運 動向量的標頭資訊之編碼量會增大。甚至’邊緣或紋理在 空間上像素値變化較劇烈之場所，係例如DCT等之正交 轉換後的轉換係數是容易分散在高頻成分中’因該轉換係 數的量化誤差就會導致於解碼影像中發生邊緣鮮銳度的劣 化或紋理資訊的缺損。又’被含在局部解碼影像中的預測 殘差，係於以降的畫格間預測時，被當成參照影像進行參 考之際而傳播開來。 在日本特開平7-240925號公報中，從原影像預先抽出 邊緣成分，將已去除邊緣成分之影像以MPEG-2或H.264 等既存之區塊基礎編碼而進行編碼，並且僅將邊緣成分之 影像另外進行正確的編碼（使其不產生預測殘差）。如此， 因爲在視覺上很重要的邊緣成分是單獨地被正確地進行編 碼，因此相較於先前的動畫編碼方式，在邊緣周邊的編碼 失真可被降低，因此於解碼影像中的飛蚊雜訊的發生可受 到抑制。因此，尤其是在以高壓縮率進行過編碼時，可以 期待再生影像中的主觀畫質獲得改善。 曰本專利第3 2 3 3 1 8 5號公報中則是，在進行運動補償 之際，考慮到物體的平行移動、旋轉及伸縮等而進行投影 轉換，爲了決定該投影轉換參數’將從參數原影像抽出的 上記物體之輪廓資訊當作輔助資訊來使用。因此’即使在 畫格間有發生物體之變形時’仍可基於上記輪廓資訊來對 參照影像附加幾何學上的變形來生成預測影像’因此可減 低預測殘差。又’不是將從原影像抽出之輪廓資訊加以編 -5- 200922338 碼’而是將上記輪廓資訊與從已被編碼之參照影像中所抽 出之輪廓資訊兩者的殘差加以編碼，因此可抑制編碼量。 【發明內容】 在曰本特開平7-240925號公報中，由於僅將邊緣成分 的影像單獨進行正確編碼，因此相較於將影像全體整個進 行編碼之情形，發生編碼量會較爲增大。又，僅進行邊 緣成分影像之編碼係有別於對去除邊緣成分之影像所進行 的編碼而另外進行，所以考慮到雙方的編碼資料之編碼量 及畫質之平衡的控制，係爲困難。例如，當僅邊緣成分之 影像所產生之發生編碼量是增大時，若要保持全體的編碼 量則邊緣成分以外之影像的畫質會劣化，若要保持全體的 畫質則邊緣成分以外之影像所產生之發生編碼量會增大。 又，在日本專利第3 23 3 1 85號公報中，爲了決定投影 轉換參數而使用輪廓資訊來作爲輔助資訊，雖然輪廓資訊 中係有反映出邊緣的形狀資訊，但被攝體的運動所導致的 輪廓模糊或量化誤差所產生的邊緣鮮銳度的劣化係未被反 映。因此，即使使用輪廓資訊來決定投影轉換參數，也不 能提升邊緣鮮銳度的重現性。 因此，本發明的目的在於，基於邊緣成分中作爲代表 之空間性像素値變化之特徵加以含有的編碼對象影像，生 成提高其重現性的預測像素’並可降低預測殘差的動畫編 碼/解碼裝置。 本發明之一態樣的影像編碼裝置’係具備：抽出部， -6- 200922338 係從原影像中抽出第1邊緣成分影像；和分離部，係將參 照影像分離成第2邊緣成分影像與邊緣去除影像；和輔助 資訊生成部，係生成用以從前記第2邊緣成分影像來預測 前記第1邊緣成分影像所需之輔助資訊；和預測部，係使 用前記輔助資訊，而從前記第2邊緣成分影像來預測第3邊 緣成分影像；和預測影像生成部，係將前記邊緣去除影像 與前記第3邊緣成分影像加以合成，以生成預測影像；和 預測殘差計算部，係求出前記原影像與前記預測影像之間 的預測殘差；和編碼部，係將前記預測殘差及前記輔助資 訊，加以編碼。 本發明之另一態樣的影像編碼裝置，係具備：解碼部 ，係將已被輸入之編碼資料予以解碼，求出用來將對象影 像之預測殘差及前記對象影像之第1邊緣成分影像加以預 測所需的輔助資訊；和分離部，係將已被解碼之參照影像 ’分離成該當參照影像的第2邊緣成分影像、與從該當參 照影像中去除了第2邊緣成分影像後的邊緣去除影像；和 預測部’係使用前記輔助資訊，而從前記第2邊緣成分影 像來預測前記第1邊緣成分影像；和合成部，係將前記邊 緣去除影像與前記第2邊緣成分影像加以合成，以生成預 測影像；和解碼影像生成部，係使用前記預測殘差與前記 預測影像，生成前記對象影像的解碼影像。 【貫施方式】 以下’參照圖面來說明本發明的實施形態。 -7- 200922338 (第1實施形態） 圖1係圖示本發明之第1實施形態所述之影像編碼裝置 。本實施形態的影像編碼裝置係具有編碼部1 〇〇及編碼控 制部1 5 0。編碼部1 〇 〇係含有：減算器1 〇 1、轉換/量化部 102、逆轉換/逆量化部103、熵編碼器104、加算器105、 畫格記憶體106、運動推定/運動補償部107及預測部1 10。 編碼部100係被編碼控制部150所控制。編碼部1〇〇 ’ 係對所輸入的動畫之原影像訊號1 0，進行一種稱作混合 (Hybrid)編碼的動畫編碼處理，然後輸出編碼資料14。亦 即’編碼部1 00係將從已被編碼之參照影像訊號所預測出 的預測影像訊號與原影像訊號1 〇之間的預測殘差訊號，進 行轉換/量化’將已被量化之轉換係數，進行熵編碼化， 然後輸出編碼資料1 4。以下雖然於編碼部1 00中，原影像 訊號1 〇係以未圖示的區塊掃描轉換器而被分割成所定大小 的區塊’以該當區塊單位來進行處理之方式來進行說明， 但亦可以畫格或圖場單位來進行處理。 減算1器101係從原影像訊號1 〇，減算掉後述的來自預 測部1 1 0的第2預測影像訊號！ 9以算出預測殘差訊號丨！，並 輸入至轉換/量化部1 〇 2。 轉換/量化部1 02係對來自減算器1 〇 1的預測殘差訊號 1 1進行例如D C T等之轉換，基於被編碼控制部1 5 〇所設定 之量化參數來進行量化，將已被量化之轉換係數12輸入至 逆轉換/逆量化部103及熵編碼器1〇4。此外，轉換/量化部 200922338 1 02對預測殘差訊號1 1所進行之轉換不限於DCT，例如亦 可爲小波轉換或獨立成分解析，可爲其他種正交轉換。 逆轉換/逆量化部1 03，係將已被量化之轉換係數1 2， 基於上記量化參數來進行逆量化，例如進行IDCT等逆轉 換，將解碼預測殘差訊號1 3輸入至加算器1 05。此外，逆 轉換/逆量化部1 〇 3對已被量化之轉換係數1 2所進行之逆轉 換係不限於ID CT，但需爲在轉換/量化部1〇2上對預測殘 差訊號1 1所進行過之轉換的互逆轉換。 熵編碼器1 04，係對來自轉換/量化部1 〇 2的已被量化 之轉換係數12、後述之來自運動推定/運動補償部107的運 動向量18及來自預測部1 10的輔助資訊20，進行例如霍夫 曼編碼或算術編碼等熵編碼化，輸出成爲編碼資料14。又 ’熵編碼器1 04，係針對量化參數或預測模式資訊也同樣 進行編碼。 加算器1 〇 5 ’係將來自逆轉換/逆量化部1 〇 3的解碼預 測殘差訊號1 3、和後述之來自預測部1 1 〇的第2預測影像訊 號19’進行加算，成爲局部解碼影像訊號15而輸入至畫格 記憶體1 0 6。 畫格記憶體1 0 6，係將來自加算器1 〇 5的局部解碼影像 訊號1 5 ’當作參照影像訊號丨6而予以暫時保持。該參照影 像訊號1 6 ’係被後述的運動推定/運動補償部1 〇7所參照。 此外，在畫格記憶體1 06的前段亦可還設有去區塊濾波器 ’以從局部解碼影像訊號1 5中去除區塊失真。 運動推定/運動補償部1 07，係使用原影像訊號丨〇、與 -9- 200922338 被保存在畫格記憶體1 06中的參照影像訊號1 6，來進行運 動推定/運動補償處理以生成第1預測影像訊號1 7，同時生 成運動向量1 8。第1預測影像訊號1 7係被輸入至預測部11 0 ，運動向量18係被輸入至熵編碼器1〇4。 運動推定/運動補償部107所進行之運動推定/運動補 償處理，係例如以所定大小之區塊單位來進行；在原影像 訊號1 〇的編碼對象區塊與參照影像訊號1 6之間進行區塊匹 配。上記區塊匹配的結果，編碼成本爲最小的參照影像訊 號16的區塊係被當成第1預測影像訊號而輸出，該當第1預 測影像訊號1 7的表示位於參照影像訊號1 6中之位置的運動 向量1 8 ’會被生成。此外，上記編碼成本，係採用例如原 影像訊號1 〇與第1預測影像訊號1 7之差分的絕對値和（s A D) 〇 又’由於參照影像訊號16係已經被編碼過了，因此不 限於時間上較爲過去的畫格，亦可基於較爲未來的畫格來 進行預測，因此亦可不限於1個畫格而是可基於複數畫格 來進行預測。編碼成本，例如，係亦可用以下所示的數式 (1)來求出。 [數1] K = SAD + /1X OH (1 ) 此處，K係表示編碼成本，SAD係表示差分的絕對値 和、λ係表示基於垔化寬度或量化參數的値所決定的定數 -10- 200922338 ’ 〇 Η係表示將運動向量及所參照之畫格加以表示的指數 等之標頭資訊。又，編碼成本k係亦可僅採用標頭資訊 〇 Η來充當，亦可將差分進行阿達瑪轉換或取近似。其他 ，亦可使用原影像訊號10的活性來作成成本函數。 預測部1 1 〇，係將來自運動推定/運動補償部1 07的第1 預測影像訊號1 7加以取得，生成例如基於邊緣等之影像內 空間性像素値變化之特徵部分的重現性加以提高的第2預 測影像訊號1 9，將該當第2預測影像訊號1 9輸入至減算器 101及加算器105。又，預測部110係將用以從第1預測影像 訊號1 7來預測第2預測影像訊號1 9所需之輔助資訊20，輸 入至熵編碼器1 04。此外，以下說明中的特徵成分之一例 是以邊緣來說明，但本實施形態所述之編碼器所能適用的 特徵成分係不限於邊緣，例如亦可爲紋理、對比及雜訊。 如圖2所示，預測部1 1〇係含有：特徵抽出部121、輔 助資訊生成部1 22、特徵分離部1 3 0、特徵預測部1 4 1及訊 號合成部142。 特徵分離部130，係從來自運動推定/運動補償部1〇7 的第1預測影像訊號1 7中抽出特徵成分以生成第1特徵訊號 21，並且生成從第1預測影像訊號中去除了第1特徵訊號21 的特徵去除訊號22。亦即，特徵分離部1 30，係將第1預測 影像訊號1 7分離成第1特徵訊號2 1與特徵去除訊號22。第1 特徵訊號2 1係被輸入至輔助資訊生成部1 22及特徵預測部 141，特徵去除訊號22係被輸入至訊號合成部142。如圖2 所示，特徵分離部1 3 0之一例，係含有特徵抽出部1 3 1及減 -11 - 200922338 算器132。 特徵抽出部131，係對來自運動推定/運動補償部107 的第1預測影像訊號1 7進行例如邊緣抽出處理或濾波處理 以抽出邊緣成分，生成第1特徵訊號2 1，然後輸入至減算 器132、特徵預測部141及訊號合成部142。特徵抽出部131 ，係於影像處理中使用一般的微分運算子所進行之邊緣偵 測手法即可，例如亦可採用屬於1次微分的Sobel運算子 或屬於2次微分的拉普拉斯運算子等。 減算器132係從來自運動推定/運動補償部107的第1預 測影像訊號1 7，減算掉來自特徵抽出部1 3 1的第1特徵訊號 2 1，將特徵去除訊號22輸入至訊號合成部1 42。 此外，特徵分離部1 3 0係不限於圖2所示之構成，例如 亦可爲圖3A或圖3B所示之構成。 如圖3A所示，特徵分離部130之一變形例，係含有平 滑化濾波器133及減算器134。 平滑化濾波器1 3 3，例如係爲移動平均濾波器、加權 平均濾波器、中位數濾波器或高斯濾波器等影像處理中一 般常用的平滑化濾波器。平滑化濾波器1 3 3，係從來自運 動推定/運動補償部107的第1預測影像訊號17中，去除高 頻成分。一般而言，若將影像進行頻率轉換則因爲邊緣係 主要是含有高頻成分，所以藉由從第1預測影像訊號17去 除高頻成分，就可生成特徵去除訊號22。平滑化濾波器 133，係將特徵去除訊號22輸入至減算器134及訊號合成部 142 ° -12- 200922338 減算器134係從來自運動推定/運動補償部1〇7的第1預 測影像訊號1 7，減算掉來自平滑化濾波器1 3 3的特徵去除 訊號22以生成第1特徵訊號2 1，輸入至輔助資訊生成部1 22 及特徵預測部1 4 1。 如圖3 B所示，特徵分離部1 3 0之另一變形例，係含有 頻帶分割部1 3 5。頻帶分割部1 3 5，係對來自運動推定/運 動補償部1 〇 7的第1預測影像訊號1 7，進行使用了例如小波 轉換、離散餘弦轉換或獨立成分解析等之頻率成分的頻帶 分割，而將其分割成高頻成分與低頻成分。如前述，由於 若將影像進行頻率轉換則因爲邊緣係主要是含有高頻成分 ，所以頻帶分割部1 3 5係將第1預測影像訊號1 7的高頻成分 當作第1特徵訊號21、將低頻成分當成特徵去除訊號22, 而分別加以輸出。第1特徵訊號2 1係被輸入至輔助資訊生 成部122及特徵預測部141，特徵去除訊號22係被輸入至訊 號合成部142。 又，於特徵分離部1 3 0中，亦可爲，使用將邊緣以函 數加以表現而成的邊緣模型，將與該當邊緣模型高相關的 部分，當作邊緣成分而加以抽出。其他還有，特徵分離部 130的特徵成分之抽出，係若在解碼裝置上也能同樣實施 ，則可採用各式各樣的手法。 特徵抽出部1 2 1，係從原影像訊號1 〇抽出特徵成分以 生成第2特徵訊號’輸入至輔助資訊生成部122。特徵抽出 部121，係與前述之特徵分離部13〇同樣地，藉由濾波處理 或頻帶分割處理等各種手法，將特徵成分予以抽出即可。 -13- 200922338 輔助資訊生成部1 22，係分別取得來自特徵分離部1 3 0 的第1特徵訊號21及來自特徵抽出部121的第2特徵訊號23 ’生成用來作爲從上記第1特徵訊號2 1來預測出第2特徵訊 號23所需之參數而使用的輔助資訊20。輔助資訊20，係被 輸入至特徵預測部1 4 1及熵編碼器1 04。此外，輔助資訊20 的詳細說明將於後述。 特徵預測部141，係使用來自輔助資訊生成部122的輔 助資訊2 0，基於來自特徵分離部1 3 0的第1特徵訊號2 1而預 測上記第2特徵訊號23以生成特徵預測訊號24，輸入至訊 號合成部1 4 2。 訊號合成部142，係將來自特徵分離部130的特徵去除 訊號22、和來自特徵預測部1 4 1的特徵預測訊號24加以合 成，以生成第2預測影像訊號19，輸入至減算器101及加算 器 105。 此外，從原影像訊號1〇或第1預測影像訊號17抽出而 進行預測或合成的特徵訊號不限於1個，亦可爲，將複數 的特徵訊號加以抽出然後分別進行預測，將所有的特徵訊 號一倂進行合成。又，當從第1預測影像訊號1 7抽出複數 第1特徵訊號2 1時，則沒有必要關於所抽出的全部第1特徵 訊號21，生成輔助資訊20。亦即，亦可爲，關於部分的第 1特徵訊號21係不生成輔助資訊20，將已抽出之第1特徵訊 號21當作特徵預測訊號24而合成至特徵去除訊號22。 編碼控制部1 5 0，係進行包含發生編碼量的回饋控制 、量化特性控制、運動推定精度之控制及特徵預測訊號之 -14 - 200922338 控制在內的編碼部1 〇〇全體之控制。 接著，使用圖4及圖5 A乃至J來說明預測部1 1 0之動 作例。此處係說明，從圖5 A所示的原影像訊號1 0及對應 於其的圖5C所示的第1預測影像訊號17，生成圖5J所示之 第2預測影像訊號1 9爲止之處理的流程。 首先，特徵分離部130，係將圖5C的第1預測影像訊 號1 7 ’以運動推定/運動補償部1 〇7加以取得。接著，特徵 分離部130，係從步驟S201中所取得到的圖5C的第1預測 影像訊號1 7中，抽出圖5 D所示的第1特徵訊號2 1 (步驟 S2〇2)。接著，特徵分離部130，係從步驟S201中所取得 到的圖5 C的第1預測影像訊號1 7中，去除步驟S202中所 取得之圖5D的第1特徵訊號21，生成圖5E所示的特徵去 除訊號22(步驟S203)。此處，步驟S2 02及步驟S203所進 行的順序’並不限於上記。例如，若是圖3 A所示的特徵 分離部1 3 0，則步驟S 2 0 2及步驟S 2 0 3的進行順序係亦可對 調；若是圖3B所示的特徵分離部130，則步驟S202及步 驟S 2 0 3亦可同時進行。 另一方面，特徵抽出部1 2 1，係取得圖5 A的原影像訊 號1〇(步驟S204)。接著，特徵抽出部121，係從圖5A的原 影像訊號10中抽出圖5B所示的第2特徵訊號23(步驟S205) 。此處’步驟 S201乃至步驟 S203、步驟 S204及步驟 S 2 0 5所被進行的順序係不限於上記，可互相對調或是亦可 同時進行。 接著’輔助資訊生成部122，係根據步驟S202中所抽 -15 - 200922338 出之圖5D的第1特徵訊號21及步驟S20 5中所抽出之圖5E 的第2特徵訊號23，來生成輔助資訊20°以下’針對輔助 資訊2 0詳細說明。在本實施形態中，邊緣是以形狀、強度 及幅度這3個資訊來加以表現，輔助資訊2 〇係代表著’在 第1特徵訊號2 1及第2特徵訊號2 3之間的上記3個資訊之至 少1者的差分。 首先，說明關於形狀的輔助資訊20之生成。輔助資訊 生成部1 2 2，係爲了生成關於形狀的輔助資訊2 〇，對第1特 徵訊號2 1及第2特徵訊號2 3進行細線化處理以將邊緣中心 線予以抽出。此外，輔助資訊生成部1 22對第1特徵訊號2 1 及第2特徵訊號23所進行之細線化處理’係在影像處理中 一般常用之手法即可。藉由輔助資訊生成部122對圖5D的 第1特徵訊號2 1及圖5 B的第2特徵訊號2 3進行細線化處理 ，就獲得圖5 F所示的邊緣中心線。於圖5 F中，從圖5 D的 第1特徵訊號2 1所得之邊緣中心線以實線表示’從圖5 B的 第2特徵訊號23所得之邊緣中心線以虛線表示。輔助資訊 生成部1 22，係將兩邊緣中心線之形狀誤差，當作關於形 狀之輔助資訊2 0而加以生成。此外’形狀誤差係可使用例 如鏈碼（chain code)或B樣條曲線（B-spline curve)等高次 參數曲線（parametric curve)來表示。 接著，說明關於強度及幅度的輔助資訊20之生成。如 圖5G所示，輔助資訊生成部122係爲了生成關於強度及幅 度的輔助資訊2 〇，而將對邊緣成垂直方向上相鄰的2點分 別視爲起點及終點而拉出複數垂線，分別求出該當垂線上 -16- 200922338 的邊緣強度分布，將該當複數強度分布進行平均化，以求 出1個強度分布。一旦輔助資訊生成部122對圖5D的第1特 徵訊號21及圖5B的第2特徵訊號23求出了上記強度分布， 則得到圖5 Η所示的強度分布。於圖5 Η中，橫軸係表示上 記垂線上的相對位置，縱軸係表示該當垂線上之位置上的 邊緣強度，從圖5 D的第1特徵訊號2 1所得之強度分布係以 實線表示，從圖5Β的第2特徵訊號23所得之強度分布係以 虛線表示。圖5 Η中，各位置上的邊緣強度，係以該當位 置上的像素値與上記起點及終點上的像素値之差分的絕對 値來表示。 輔助資訊生成部1 22，係將將兩強度分布之差分，以 關於強度及幅度的輔助資訊2 0而加以生成。輔助資訊生成 部1 2 2，係將強度分布，使用某種函數來取近似。例如， 若爲圖5 Η所示的強度分布，則若令橫軸所表示的垂線上 之位置爲X、該當位置上的邊緣強度爲f(x)，則可用下式 來表示。 [數2] f(x)

(2) 此處，E係代表邊緣的強度，〇·係代表邊緣的幅度（ 分散）’ a係代表邊緣的中心座標。輔助資訊生成部1 2 2係 針對從第1特徵訊號2 1所得之強度分布及從第2特徵訊號23 所得之強度分布之每一者，求出與數式（2)所表示之分布 -17- 200922338 的誤差爲最小的強度E及幅度σ，將這些差分値當作關於 強度及幅度的輔助資訊20而加以生成。此外，用來將強度 分布取近似的函數，係不限於數式（2)而是亦可用例如將 上記起點及終點之間予以描繪的Β樣條曲線等的參數曲線 來取近似，或以其他的函數來取近似。又，亦可不用固定 的函數來取近似，可從複數函數之中選擇出適合於取近似 的函數來爲之。 又，輔助資訊生成部1 22，係亦可使用第1特徵訊號2 1 及第2特徵訊號23來進行運動推定/運動補償處理，當作輔 助資訊20而生成運動向量。 接著，特徵預測部141，係使用步驟S2 06中所生成之 輔助資訊20及步驟S202中所抽出的圖5D的第1特徵訊號 21，來生成圖51所示的特徵預測訊號24(步驟S207)。 接著，訊號合成部142係將步驟S203中所生成之圖5Ε 的特徵去除訊號22及步驟S207中所生成之圖51的特徵預 測訊號24加以合成，生成圖5 J所示之第2預測影像訊號1 9( 步驟S 2 0 8)。 如以上說明，本實施形態所述之動畫編碼裝置中，使 用從第1預測影像訊號所抽出的第1特徵訊號及輔助資訊， 將原影像訊號的第2特徵訊號加以預測以生成特徵預測訊 號，對從第1預測影像訊號中去除了第1特徵訊號的特徵去 除訊號，合成一特徵預測訊號，以生成第2預測影像訊號 ’將與原影像訊號之間的預測殘差訊號，與輔助資訊一起 進行編碼。因此，若依據本實施形態所述之動畫編碼裝置 -18- 200922338 ，則相較於將第1預測影像訊號與原影像訊號之間的預測 殘差進行編碼的情形，可更加提高特徵訊號的重現性，降 低預測殘差。 又，在本實施形態所述之動畫編碼裝置中，由於並非 將第2特徵訊號直接進行編碼，而是使用從第1預測影像訊 號所抽出之第1特徵訊號及輔助資訊來預測上記第2特徵訊 號，因此可削減編碼量。又，雖然特徵訊號的重現性之高 低係由上記輔助資訊的內容所決定，但由於輔助資訊所致 之發生編碼量係可受編碼控制部所設定之量化參數等來加 以控制，因此特徵訊號之重現性與發生編碼量之平衡係可 容易控制。 此外，本實施形態所述之動畫編碼裝置，係例如可藉 由採用例如通用之電腦裝置爲基本硬體來實現。亦即，減 算器101、轉換/量化部102、逆轉換/逆量化部103、熵編 碼器104、加算器105、運動推定/運動補償部107、預測部 1 1 〇及編碼控制部1 50，係可藉由令上記電腦裝置中所搭載 的處理器去執行程式而加以實現。 又，本實施形態所述之動畫編碼方式係不限於動畫的 編碼，只要是根據已經編碼的影像來生成預測影像訊號， 將輸入影像訊號與預測影像訊號之間的預測殘差訊號進行 編碼的編碼方式，則亦可對靜止影像的編碼來適用。 此外，亦可將本實施形態加以，將運動推定/運動補 償部1 〇7與預測部1 1 0統合爲一。在此變形例中，從畫格記 憶體1 06將參照影像以畫格單位而輸入至預測部11 〇。預測 -19- 200922338 部110係分離成每一特徵。使用分離後的成分來在輔助資 訊生成部122中進行運動推定/運動補償。然後，作爲輔助 資訊20而發送運動向量18。 (第2實施形態） 如圖6所示，本發明的第2實施形態所述之解碼裝置， 係具有解碼部3 00及解碼控制部3 20，解碼部300係含有熵 解碼器301、逆轉換/逆量化部302、加算器3 03、畫格記憶 體3 0 4、運動補償部3 0 5及預測部3 1 0。 解碼部300係受解碼控制部320所控制，將已被輸入之 編碼資料30進行熵解碼，進行逆量化/逆正交轉換而將預 測殘差訊號予以解碼，對該解碼預測殘差訊號，加算上使 用已經解碼之參照影像訊號所預測出來的預測影像訊號， 以生成解碼影像訊號3 5。 熵解碼器3 01，係依照所定的資料結構來將編碼資料 3〇予以解碼，將已被量化之轉換係數3 1、輔助資訊32、運 動向量3 3、量化參數及預測模式資訊等予以復原。熵解碼 器3 0 1，係將已被量化之轉換係數3 1輸入至逆轉換/逆量化 部3 02，將輔助資訊32輸入至預測部310，將運動向量33輸 入至運動補償部3 05。 逆轉換/逆量化部302，係將來自熵解碼器301的已被 量化之轉換係數3 1，依照已被復原之量化參數而進行逆量 化，並進行例如ID C T等逆轉換，將解碼預測殘差訊號3 4 輸入至加算器3 0 3。此外，逆轉換/逆量化部3 0 2對已被量 -20- 200922338 化之轉換係數3 1所進行之逆轉換係不限於IDCΤ，例如亦 可爲逆小波轉換或其他的逆正交轉換，但需爲在編碼側上 對預測殘差訊號所進行過之轉換的互逆轉換。 加算器3 03，係將來自逆轉換/逆量化部302的解碼預 測殘差訊號34、和後述之來自預測部3 1 0的第2預測影像訊 號3 8，進行加算，以生成解碼影像訊號3 5。已生成的解碼 影像訊號3 5係輸出至解碼裝置的外部，並且輸入至畫格記 憶體3 04。 畫格記憶體3 04，係將來自加算器3 03的解碼影像訊號 3 5，當作參照影像訊號3 6而予以暫時保持。該參照影像訊 號3 6，係被後述的運動補償部3 0 5所參照。此外，在畫格 記憶體3 04的前段亦可還設有去區塊濾波器，從解碼影像 訊號3 5中去除區塊失真。 運動補償部3 05，係將畫格記憶體3 04中所保存的參照 影像訊號3 6加以取得，將來自熵解碼器3 0 1的運動向量3 3 所表示的參照影像訊號36的領域，當作第1預測影像訊號 3 7而輸入至預測部3 1 0。 預測部3 1 0 ’係將來自運動補償部3 0 5的第1預測影像 訊號3 7及來自熵編碼器3 0 1的輔助資訊3 2加以取得，生成 例如基於邊緣等之影像內空間性像素値變化之特徵部分的 重現性加以提高的第2預測影像訊號38，將該當第2預測影 像訊號3 8輸入至加算器3 0 3。此外，以下說明中的特徵成 分之一例是以邊緣來說明，但本實施形態所述之編碼器所 能適用的特徵成分係不限於邊緣，例如亦可爲紋理、對比 -21 - 200922338 及雜訊。如圖7所示，預測部3 1 0係含有：特徵分離部3 1 1 、特徵預測部312及訊號合成部313。 特徵分離部3 1 1，係和特徵分離部1 3 0同樣地，從來自 運動補償部3 05的第1預測影像訊號37中抽出特徵成分以生 成第1特徵訊號39，並且生成已從第1預測影像訊號中去除 了第1特徵訊號39的特徵去除訊號40。第1特徵訊號3 9係被 輸入至特徵預測部312，特徵去除訊號40係被輸入至訊號 合成部1 42。此外，特徵分離部3 1 1，係可爲和圖2、圖3 A 或圖3B之任一者所示之特徵分離部130相同構成，亦可爲 其他構成。 特徵預測部3 1 2，係使用來自熵解碼器3 01的輔助資訊 32，根據來自特徵分離部31 1的第1特徵訊號39而生成特徵 預測訊號41，輸入至訊號合成部313。 訊號合成部313，係將來自特徵分離部311的特徵去除 訊號40、和來自特徵預測部3 1 2的特徵預測訊號4 1加以合 成’以生成第2預測影像訊號38，輸入至加算器3 03。 解碼控制部3 2 0，係進行包含解碼時序控制在內的解 碼部3〇0全體之控制。 接著’使用圖8來說明預測部3 1 0之動作。 首先’特徵分離部3 1 1，係將第1預測影像訊號1 7，從 運動補償部3 05取得（步驟s 401)。接著，特徵分離部31 1， 係從步驟S401中所取得到的第！預測影像訊號37中，抽出 第1特徵訊號39(步驟S4〇2)。接著，特徵分離部311，係從 步驟S401中所取得到的圖40C的第1預測影像訊號37中， -22- 200922338 去除步驟S4〇2中所取得之第！特徵訊號39，生成特徵去除 訊號40(步驟S403 )。此處，步驟S4〇2及步驟S403所進行 的順序，並不限於上記。例如，若是與圖3 A所示的特徵 分離部13〇同樣的特徵分離部311，則步驟S402及步驟 S403的進行順序係亦可對調；若是與圖3B所示的特徵分 離部13〇同樣的特徵分離部311，則步驟S402及步驟S403 亦可同時進行。 接著，特徵預測部3 1 2，係將來自熵解碼器3 0 1的輔助 資訊32加以取得（步驟S404)。接著，特徵預測部312，係 使用步驟S4〇4中所取得到的輔助資訊32及步驟S402中所 抽出之第1特徵訊號39，來生成特徵預測訊號41。 接著，訊號合成部3 13，係將步驟S403中所生成之特 徵去除訊號40及步驟S405中所生成之特徵預測訊號41加 以合成，以生成第2預測影像訊號38(步驟S406)。 如以上說明，本實施形態所述之動畫解碼裝置中，使 用從第1預測影像訊號所抽出的第1特徵訊號及從編碼資料 所復原出來的輔助資訊’將原影像訊號的第2特徵訊號加 以預測以生成特徵預測訊號，對從第1預測影像訊號中去 除了第1特徵訊號的特徵去除訊號，合成一特徵預測訊號 ’以生成第2預測影像訊號，將從編碼資料所復原出來的 預測殘差訊號與第2預測影像訊號進行加算，以生成解碼 影像訊號。因此’若依據本實施形態所述之動畫解碼裝置 ’則相較於將第1預測影像訊號與預測殘差訊號進行加算 以生成解碼影像訊號的情形，可更加提高特徵訊號的重現 -23- 200922338 性，降低預測殘差。 此外，本實施形態所述之動畫解碼裝置，係例如可藉 由採用例如通用之電腦裝置爲基本硬體來實現。亦即，熵 解碼器301、逆轉換/逆量化部3 02、加算器3 03、運動補償 部3 05、預測部310及解碼控制部3 20，係可藉由令上記電 腦裝置中所搭載的處理器去執行程式而加以實現。 此外’本發明的各實施形態所述之裝置，係可藉由將 程式事先安裝至電腦裝置，或將記憶在CD-ROM等記憶 媒體中的程式或透過網路所發送的程式，適宜地安裝至電 腦裝置上’藉此而加以實現。 此外’本發明係不限定於上記各實施形態的原樣，在 實施階段可在不脫離其宗旨的範圍內，對構成要素加以變 形而具體化。的原樣，在實施階段可在不脫離其宗旨的範 圍內’對構成要素加以變形而具體化。又，亦可將上記各 實施形態所揭露的複數構成要素做適宜組合，來形成各種 發明。又例如，亦可考慮將各實施形態所示之全構成要素 中刪除數個構成要素之構成。甚至，亦可將不同實施形態 所記載之構成要素加以組合。 其他，在不脫離本發明之宗旨的範圍內，可實施各種 變形’這些當然也同樣可以實施》 【圖式簡單說明】 [圖1 ]圖1係第1實施形態所述之動畫編碼裝置的區塊 圖。 -24- 200922338 [圖2]圖2係圖1之預測部的區塊圖。 [圖3A]圖3A係圖2之特徵分離部的一變形例的區塊圖 〇 [圖3B]圖3B係圖2之特徵分離部的另一變形例的區塊 圖。 [圖4]圖4係圖2的預測部之動作的流程圖。 [圖5 A]圖5 A係原影像訊號之一例的圖示。 [圖5B]圖5B係對圖5A之原影像訊號中所抽出的第2 特徵訊號之一例的圖示。 [圖5C]圖5C係對圖5A之原影像訊號進行了運動推定/ 運動補償後的第1預測影像訊號之一例的圖示。 [圖5D]圖5D係從圖5C之第1預測影像訊號中所抽出 之第1特徵訊號之一例的圖示。 [圖5E]圖5E係從圖5C之第1預測影像訊號中去除了圖 5D的第1特徵訊號後的特徵去除訊號之一例的圖示。 [圖5F]圖5F係圖5D之第1特徵訊號與圖5B之第2特徵 訊號的邊緣中心線的圖示。 [圖5G]圖5G係邊緣強度分布的求出方法之一例的圖 不 ° [圖5H]圖5H係圖5D之第1特徵訊號與圖5B之第2特徵 訊號的強度分布的圖形。 [圖51]圖51係使用圖5D之第1特徵訊號與輔助資訊所 生成之特徵預測訊號之一例的圖示。 [圖5J]圖5J係將圖5E之特徵去除訊號與圖51之特徵 -25- 200922338 預測訊號加以合成後的第2預測影像訊號之一例的圖示。 [圖6]圖6係第2實施形態所述之動畫解碼裝置的區塊 圖。 [圖7]圖7係圖6之預測部的區塊圖。 [圖8]圖8係圖7的預測部之動作的流程圖。 【主要元件符號說明】 1 〇 :原影像訊號 1 1 :預測殘差訊號 1 2 :轉換係數 1 3 :解碼預測殘差訊號 1 4 :編碼資料 1 5 :局部解碼影像訊號 1 6 :參照影像訊號 1 7 :第1預測影像訊號 1 8 :運動向量 19 :第2預測影像訊號 2 0 :輔助資訊 2 1 :第1特徵訊號 22 :特徵去除訊號 23 :第2特徵訊號 24 :特徵預測訊號 3 0 :編碼資料 3 1 :轉換係數 -26- 200922338 3 2 :輔助資訊 3 3 :運動向量 3 4 :解碼預測殘差訊號 3 5 :解碼影像訊號 3 6 :參照影像訊號 3 7 :第1預測影像訊號 38 :第2預測影像訊號 3 9 :第1特徵訊號 40 :特徵去除訊號 4 1 特徵預測訊號 1 〇 0 :編碼部 1 0 1 :減算器 102 :轉換/量化部 103 :逆轉換/逆量化部 1 0 4 :熵編碼器 1 0 5 :加算器 106 :畫格記憶體 107 :運動推定/運動補償部 1 1 〇 :預測部 1 2 1 :特徵抽出部 122 :輔助資訊生成部 1 3 0 :特徵分離部 1 3 1 :特徵抽出部 1 3 2 :減算器 -27- 200922338 1 3 3 :平滑化濾波器 1 3 4 :減算器 1 3 5 :頻帶分割部 1 4 1 :特徵預測部 142 :訊號合成部 1 5 0 :編碼控制部 3 00 :解碼部 3 0 1 :熵解碼器 3 02 :逆轉換/逆量化部 3 03 :加算器 3 04 :畫格記憶體 3 0 5 :運動補償部 3 1 〇 :預測部 3 1 1 :特徵分離部 3 1 2 :特徵預測部 3 1 3 :訊號合成部 320 :解碼控制部 -28

Claims (1)

1. 200922338 十、申請專利範圍 1.一種影像編碼裝置，其特徵爲，具備： 抽出部，係從原影像中抽出第丨邊緣成分影像；和 分離部，係將參照影像分離成第2邊緣成分影像與邊 緣去除影像；和 輔助資訊生成部，係生成用以從前記第2邊緣成分影 像來預測前記第1邊緣成分影像所需之輔助資訊；和 預測部，係使用前記輔助資訊，而從前記第2邊緣成 分影像來預測第3邊緣成分影像；和 預測影像生成部，係將前記邊緣去除影像與前記第3 邊緣成分影像加以合成，以生成預測影像；和 預測殘差計算部，係求出前記原影像與前記預測影像 之間的預測殘差；和 編碼部，係將前記預測殘差及前記輔助資訊，加以編 碼。 2 ·如申請專利範圍第1項所記載之影像編碼裝置，其 中，前記輔助資訊係含有，表示前記第1邊緣成分影像中 所含之第1邊緣與前記第2邊緣成分影像中所含之第2邊緣 之間的形狀、強度及幅度當中之至少1種差分之資訊。 3 .如申請專利範圍第1項所記載之影像編碼裝置，其 中， 前記分離部係含有： 第2之抽出部，係從前記參照影像中抽出前記第2邊緣 成分影像；和 -29 - 200922338 減算器，係從前記參照影像中減算前記第2邊緣成分 影像，以生成前記邊緣去除影像。 4 ·如申請專利範圍第1項所記載之影像編碼裝置，其 中， 前記分離部係含有： 平滑化濾波器，係從前記參照影像中抽出前記邊緣去 除影像；和 減算器’係從前記參照影像中減算前記邊緣去除影像 ，以生成前記第2邊緣成分影像。 5 .如申請專利範圍第1項所記載之影像編碼裝置，其 中’前記分離部’係將前記參照影像分離成高頻成分與低 頻成分’將前記高頻成分當成前記第2邊緣成分影像而加 以輸出’將前記低頻成分當成前記邊緣去除影像而加以輸 出。 6_—種影像解碼裝置，其特徵爲，具備： 解碼部’係將已被輸入之編碼資料予以解碼，求出用 來將對象影像之預測殘差及前記對象影像之第i邊緣成分 影像加以預測所需的輔助資訊；和 分離部’係將已被解碼之參照影像，分離成該當參照 影像的第2邊緣成分影像、與從該當參照影像中去除了第2 邊緣成分影像後的邊緣去除影像；和 預測部’係使用前記輔助資訊，而從前記第2邊緣成 分影像來預測前記第1邊緣成分影像；和 合成部’係將前記邊緣去除影像與前記第2邊緣成分 -30- 200922338 影像加以合成，以生成預測影像；和 解碼影像生成部，係使用前記預測殘差與前記預測影 像’生成前記對象影像的解碼影像。 7.如申請專利範圍第6項所記載之影像解碼裝置，其 中’前記輔助資訊係含有，表示前記第1邊緣成分影像中 所含之第1邊緣與前記第2邊緣成分影像中所含之第2邊緣 之間的形狀、強度及幅度當中之至少1種差分之資訊。 8 · —種影像編碼方法，其特徵爲，具備： 從原影像中抽出第1邊緣成分影像之步驟；和 將參照影像分離成第2邊緣成分影像與邊緣去除影像 之步驟；和 生成用以從前記第2邊緣成分影像來預測前記第1邊緣 成分影像所需之輔助資訊之步驟；和 使用前記輔助資訊，而從前記第2邊緣成分影像來預 測第3邊緣成分影像之步驟；和 將前記邊緣去除影像與前記第3邊緣成分影像加以合 成，以生成預測影像之步驟；和 求出前記原影像與前記預測影像之間的預測殘差之步 驟；和 將前記預測殘差及前記輔助資訊’加以編碼之步驟。 9.如申請專利範圍第8項所記載之影像編碼方法，其 中，前記輔助資訊係含有，表示前記第1邊緣成分影像中 所含之第1邊緣與前記第2邊緣成分影像中所含之第2邊緣 之間的形狀、強度及幅度當中之至少1種差分之資訊。 -31 - 200922338 ι〇·—種影像解碼方法，其特徵爲，具備·· 將已被輸入之編碼資料予以解碼，求出用來將對 像之預測殘差及則記對象影像之第i邊緣成分影像加 測所需的輔助資訊之步驟；和 將已被解碼之參照影像’分離成該當參照影像白, 邊緣成分影像、與從該當參照影像中去除了第2邊緣 影像後的邊緣去除影像之步驟；和 使用前記輔助資訊’而從前記第2邊緣成分影像 測前記第1邊緣成分影像之步驟；和 將前記邊緣去除影像與前記第2邊緣成分影像加 成，以生成預測影像之步驟；和 解碼影像生成步驟，係使用前記預測殘差與前記 影像，生成前記對象影像的解碼影像。 1 1 .如申請專利範圍第1 〇項所記載之影像解碼方 其中，前記輔助資訊係含有，表示前記第1邊緣成分 中所含之第1邊緣與前記第2邊緣成分影像中所含之 邊緣之間的形狀、強度及幅度當中之至少1種差分之 象影 以預 ij第2 成分 來預 以合 預測 法， 影像 第2 資訊 -32-