TWI413416B - 基於視訊寫碼中活動量度之濾波預測 - Google Patents

基於視訊寫碼中活動量度之濾波預測 Download PDF

Info

Publication number
TWI413416B
TWI413416B TW099101168A TW99101168A TWI413416B TW I413416 B TWI413416 B TW I413416B TW 099101168 A TW099101168 A TW 099101168A TW 99101168 A TW99101168 A TW 99101168A TW I413416 B TWI413416 B TW I413416B
Authority
TW
Taiwan
Prior art keywords
information
video
filter
writing
filtering
Prior art date
Application number
TW099101168A
Other languages
English (en)
Other versions
TW201119398A (en
Inventor
Marta Karczewicz
Giovanni Motta
Peisong Chen
Yan Ye
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201119398A publication Critical patent/TW201119398A/zh
Application granted granted Critical
Publication of TWI413416B publication Critical patent/TWI413416B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

基於視訊寫碼中活動量度之濾波預測
本發明係關於用以壓縮視訊資料之基於區塊之數位視訊寫碼，且更特定而言，係關於用於寫碼與視訊區塊之濾波相關聯之濾波係數的技術。
本申請案主張2009年1月15日申請之美國臨時申請案第61/144,873號及2009年5月14日申請之美國臨時申請案第61/178,346號之權利，該等申請案之全部內容以引用的方式併入本文中。
數位視訊能力可併入至廣泛範圍之器件中，包括數位電視、數位直播系統、諸如無線電電話手機之無線通信器件、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、數位相機、數位記錄器件、視訊遊戲器件、視訊遊戲機及其類似者。數位視訊器件實施視訊壓縮技術，諸如，MPEG-2、MPEG-4或ITU-T H.264/MPEG-4第十部分(進階視訊寫碼(AVC))，以更有效地傳輸及接收數位視訊。視訊壓縮技術執行空間及時間預測以減少或移除視訊序列中固有之冗餘。
基於區塊之視訊壓縮技術可執行空間預測及/或時間預測。框內寫碼依賴於空間預測來減少或移除給定經寫碼單元內視訊區塊之間的空間冗餘，該經編碼單元可包含視訊圖框、視訊圖框之切片(slice)或其類似者。相比之下，框間寫碼依賴於時間預測來減少或移除視訊序列之連續經寫 碼單元之視訊區塊之間的時間冗餘。對於框內寫碼，視訊編碼器執行空間預測以基於同一經寫碼單元內之其他資料來壓縮資料。對於框間寫碼，視訊編碼器執行運動估計及運動補償以追蹤兩個或兩個以上相鄰經寫碼單元之對應視訊區塊之移動。
經寫碼視訊區塊可由預測資訊表示，該預測資訊可用以建立或識別預測性區塊及指示正被寫碼之區塊與預測性區塊之間的差異之殘餘資料區塊。在框間寫碼之狀況下，一或多個運動向量用以自前一或後一經寫碼單元識別預測性資料區塊，而在框內寫碼之狀況下，預測模式可用以基於與正被寫碼之視訊區塊相關聯之經寫碼單元內之資料產生預測性區塊。框內寫碼及框間寫碼兩者均可界定若干不同預測模式，該等預測模式可界定用於寫碼中之不同區塊大小及/或預測技術。亦可包括額外類型之語法元素作為經編碼視訊資料之部分以便控制或界定用於寫碼過程中之寫碼技術或參數。
在基於區塊之預測寫碼之後，視訊編碼器可應用變換、量化及熵寫碼過程以進一步減少與殘餘區塊之傳達相關聯之位元速率。變換技術可包含離散餘弦變換(DCT)或概念上類似之過程，諸如小波變換(wavelet transform)、整數變換或其他類型之變換。在離散餘弦變換過程中，作為一實例，變換過程將一像素值集合轉換成變換係數，其可表示像素值在頻域中之能量。將量化應用至變換係數，且量化通常涉及限制與任何給定變換係數相關聯的位元之數目之 過程。熵寫碼包含共同壓縮一連串經量化之變換係數的一或多個過程。
可應用視訊區塊之濾波作為編碼及解碼迴圈之部分，或作為對經重新建構之視訊區塊的後濾波過程之部分。濾波通常用以(例如)減少結塊(blockiness)或基於區塊之視訊寫碼所共有之其他假影。濾波係數(有時稱為濾波器抽頭)可經界定或選擇以便促進可減少結塊的視訊區塊濾波之所要位準及/或以其他方式改良視訊品質。舉例而言，一濾波係數集合可界定如何沿視訊區塊之邊緣或視訊區塊內之其他位置應用濾波。不同濾波係數可引起關於視訊區塊之不同像素的不同濾波位準。舉例而言，濾波可平滑化或銳化相鄰像素值之強度差異以便幫助消除非吾人所樂見之假影。
本發明描述與一視訊編碼及/或解碼過程中之視訊資料之濾波相關聯的技術。根據本發明，在一編碼器處應用一或多個濾波器，且將濾波資訊編碼於位元流中以識別在該編碼器處應用之濾波器。解碼器接收包括濾波資訊之經編碼之視訊資料，解碼該視訊資料，且基於編碼於位元流中之濾波資訊應用一或多個濾波器。可基於針對該視訊資料判定之一活動量度應用不同類型之濾波器。此外，根據本發明，將該濾波資訊編碼至該位元流中之方式可取決於該活動量度。
舉例而言，可針對一經寫碼單元基於與該經寫碼單元之 像素相關聯之活動量度的不同值界定不同濾波器。不同濾波器可應用於落入活動量度之不同範圍中的像素資料。此外，濾波器之編碼亦取決於活動量度。對於活動量度之第一範圍，將一或多個濾波器直接寫碼至濾波資訊中。舉例而言，在此狀況下，濾波係數之值可編碼至位元流中而不使用任何預測性編碼技術。然而，對於活動量度之第二範圍，將一或多個濾波器預測性地寫碼至濾波資訊中。在此狀況下，濾波係數之值可由相對於針對另一經寫碼單元界定之濾波係數的殘值或差界定。藉由對於活動量度之第一範圍使用無任何預測之直接編碼來編碼一或多個濾波器，且對於活動量度之第二範圍使用預測性編碼來編碼一或多個濾波器，可達成改良之資料壓縮。除了不同濾波器使用不同濾波係數以外，不同濾波器可為同樣的。或者，不同濾波器可包括不同數目之係數，或可界定不同濾波器支援。
在一實例中，本發明描述寫碼視訊資料之方法。該方法包含寫碼該視訊資料之一經寫碼單元之像素資料；及寫碼與對該像素資料之一濾波過程相關聯之濾波資訊，其中該濾波資訊包含基於一活動量度之不同值而針對該經寫碼單元所界定之不同濾波器，其中對於該活動量度之一第一範圍，該等濾波器中之一或多者直接編碼至該濾波資訊中，且對於該活動量度之一第二範圍，該等濾波器中之一或多者預測性地編碼至該濾波資訊中。在本發明中，術語「寫碼」指代編碼或解碼。
在另一實例中，本發明描述寫碼(例如，編碼或解碼)視訊資料之裝置。該裝置包含一視訊寫碼器，該視訊寫碼器寫碼該視訊資料之一經寫碼單元之像素資料；且寫碼與對該像素資料之一濾波過程相關聯之濾波資訊，其中該濾波資訊包含基於一活動量度之不同值而針對該經寫碼單元所界定之不同濾波器，其中對於該活動量度之一第一範圍，該等濾波器中之一或多者直接編碼至該濾波資訊中，且對於該活動量度之一第二範圍，該等濾波器中之一或多者預測性地編碼至該濾波資訊中。
在另一實例中，本發明描述一種寫碼視訊資料之器件，該器件包含：用於寫碼該視訊資料之一經寫碼單元之像素資料的構件；及用於寫碼與對該像素資料之一濾波過程相關聯之濾波資訊的構件，其中該濾波資訊包含基於一活動量度之不同值而針對該經寫碼單元所界定之不同濾波器，其中對於該活動量度之一第一範圍，該等濾波器中之一或多者直接編碼至該濾波資訊中，且對於該活動量度之一第二範圍，該等濾波器中之一或多者預測性地編碼至該濾波資訊中。
本發明中所描述之技術可以硬體、軟體、韌體或其任何組合來實施。若以硬體實施，則一裝置可作為一積體電路、一處理器、離散邏輯，或其任何組合來實現。若以軟體實施，則軟體可執行於諸如微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或數位信號處理器(DSP)之一或多個處理器中。執行該等技術的軟體最初可 儲存於電腦可讀媒體中，且載入並執行於處理器中。
因而，本發明亦涵蓋一種電腦可讀儲存媒體，其包含指令，該等指令在一處理器中執行時使該處理器：寫碼該視訊資料之一經寫碼單元之像素資料；及寫碼與對該像素資料之一濾波過程相關聯之濾波資訊，其中該濾波資訊包含基於一活動量度之不同值而針對該經寫碼單元所界定之不同濾波器，其中對於該活動量度之一第一範圍，該等濾波器中之一或多者直接編碼至該濾波資訊中，且對於該活動量度之一第二範圍，該等濾波器中之一或多者預測性地編碼至該濾波資訊中。
在隨附圖式及下文之描述中闡述本發明之一或多個態樣之細節。本發明中描述之技術之其他特徵、目標及優點將自該描述及圖式且自申請專利範圍而變得顯而易見。
本發明描述與視訊編碼及/或視訊解碼過程中之視訊資料之濾波相關聯的技術。根據本發明，在一編碼器處應用濾波，且將濾波資訊編碼於位元流中以識別在編碼器處應用之濾波。解碼器接收包括濾波資訊之經編碼之視訊資料，解碼該視訊資料且基於該濾波資訊應用濾波。以此方式，解碼器應用在編碼器處應用之相同濾波。
可基於針對視訊資料判定之活動量度應用不同類型之濾波。活動量度可量化與視訊資料內之一或多個像素區塊相關聯之活動。活動量度可包含指示一像素集合內之像素方差的方差量度。舉例而言，活動量度可包含改進的拉普拉 斯求和函數值(sum-modified Laplacian function value)，如下文更詳細地解釋。在任何狀況下，根據本發明，編碼(及解碼)濾波資訊之方式可取決於活動量度。舉例而言，根據本發明，基於與經寫碼單元之像素相關聯之活動量度的不同值而針對該經寫碼單元界定不同濾波器。
對於活動量度之第一範圍，將一或多個濾波器直接寫碼至濾波資訊中。舉例而言，在此狀況下，濾波係數之值可直接編碼至位元流中而不使用任何預測性編碼技術。然而，對於活動量度之第二範圍，將一或多個濾波器預測性地寫碼至濾波資訊中。在此狀況下，濾波係數之值可由相對於針對另一經寫碼單元界定之濾波係數的殘值或差界定。經預測性地寫碼之濾波資訊可包括第一資料，其(例如)藉由識別一不同經編碼單元而識別一不同經寫碼濾波器。另外，經預測性地寫碼之濾波資訊亦可包括第二資料，其表示正被寫碼之當前濾波係數與由第一資料識別之不同濾波器之濾波係數之間的差。
藉由對於活動量度之第一範圍使用無任何預測之直接編碼來編碼一或多個濾波器，且對於活動量度之第二範圍使用預測性編碼來編碼一或多個濾波器，可達成改良之資料壓縮。在此狀況下，使編碼及解碼濾波器之方式取決於活動量度。此外，濾波器選擇自身亦可取決於活動量度。因此，活動量度可判定應用於一經寫碼單元之像素之濾波，且亦可界定或影響將濾波資訊編碼至位元流中及自位元流解碼的方式。
本發明之技術可應用於迴圈內濾波或後濾波。迴圈內濾波指代經濾波資料為編碼及解碼迴圈之部分，使得使用經濾波資料用於預測性框內寫碼或框間寫碼的濾波。後濾波指代在編碼迴圈之後應用於經重新建構之視訊資料的濾波。在後濾波之情況下，使用未經濾波之資料用於預測性框內寫碼或框間寫碼。本發明之技術不限於迴圈內濾波或後濾波，且可應用於在視訊寫碼期間應用之廣泛範圍之濾波。
在本發明中，術語「寫碼」指代編碼或解碼。類似地，術語「寫碼器」通常指代任何視訊編碼器、視訊解碼器或組合的編碼器/解碼器(編解碼器)。因而，術語「寫碼器」在本文中用以指代執行視訊編碼或視訊解碼之專用電腦器件或裝置。
圖1為說明可實施本發明之技術的一例示性視訊編碼及解碼系統10的方塊圖。如圖1中所示，系統10包括經由通信頻道15將經編碼視訊傳輸至目的地器件16之源器件12。源器件12及目的地器件16可包含廣泛範圍之器件中的任一者。在一些狀況下，源器件12及目的地器件16可包含無線通信器件手機，諸如所謂的蜂巢式或衛星無線電電話。然而，更一般地應用於視訊資料之濾波及濾波資訊之寫碼的本發明之技術不必限於無線應用或環境(setting)，且可應用於包括視訊編碼及/或解碼能力之非無線器件。
在圖1之實例中，源器件12可包括視訊源20、視訊編碼器22、調變器/解調變器(數據機)23及傳輸器24。目的地器 件16可包括接收器26、數據機27、視訊解碼器28及顯示器件30。根據本發明，源器件12之視訊編碼器22可經組態以基於與視訊區塊之像素相關聯之活動量度選擇用於視訊區塊濾波過程之濾波係數，且接著基於該活動量度編碼該等所選擇之濾波係數。具體而言，對於活動量度之第一範圍，直接編碼濾波係數，且對於活動量度之第二範圍，預測性地寫碼濾波係數。
經編碼之位元流可包括信令語法元素以界定每一給定濾波係數集合是預測性地編碼還是直接編碼。舉例而言，對於在編碼器處考慮之活動量度之每一範圍，位元流可包括指示使用直接寫碼還是預測性寫碼來編碼待用於彼範圍中之濾波係數的對應位元。因此，解碼器可藉由應用如由信令語法元素界定之預測性解碼或直接解碼來適當地解碼濾波係數。此外，解碼器亦可基於經解碼之像素值計算活動量度，且藉此判定活動量度落在第一範圍中還是第二範圍中。以此方式，解碼器可基於活動量度判定將哪個濾波器應用於不同像素資料。
更具體而言，源器件12之視訊編碼器22可選擇濾波係數，在編碼過程期間應用此等濾波係數，且接著編碼濾波係數以供傳達至目的地器件16之視訊解碼器28。視訊編碼器22可判定與正被寫碼之像素相關聯之活動量度以便選擇濾波係數及判定如何編碼濾波係數。在解碼器側上，目的地器件16之視訊解碼器28亦判定與像素相關聯之活動量度，以使得視訊解碼器28可判定濾波係數以應用於像素資 料。視訊解碼器28可取決於濾波係數如何編碼而基於直接解碼或預測性解碼來解碼濾波係數，濾波係數如何編碼可作為位元流語法之部分而用信號通知。圖1之所說明之系統10僅為例示性的。本發明之濾波技術可由任何編碼器件或解碼器件執行。源器件12及目的地器件16僅為可支援此等技術之寫碼器件之實例。
源器件12之視訊編碼器22可使用本發明之技術編碼自視訊源20所接收之視訊資料。視訊源20可包含諸如視訊相機之視訊俘獲器件、含有先前俘獲之視訊的視訊封存儲存單元(video archive)，或自視訊內容提供者饋給之視訊。作為另一替代，視訊源20可產生基於電腦圖形之資料作為源視訊，或直播視訊、所保存之視訊與電腦產生之視訊的組合。在一些狀況下，若視訊源20為視訊相機，則源器件12及目的地器件16可形成所謂的相機電話或視訊電話。在每一狀況下，可由視訊編碼器22對經俘獲、經預先俘獲或電腦產生之視訊進行編碼。
視訊編碼器22一旦編碼視訊資料，則可接著藉由數據機23根據諸如分碼多重存取(CDMA)或另一通信標準或技術之通信標準調變經編碼之視訊資訊，且經由傳輸器24將其傳輸至目的地器件16。數據機23可包括各種混頻器、濾波器、放大器或經設計以用於信號調變之其他組件。傳輸器24可包括經設計以用於傳輸資料之電路，包括放大器、濾波器及一或多個天線。
目的地器件16之接收器26經由頻道15接收資訊，且數據 機27解調變該資訊。由視訊解碼器28執行之視訊解碼過程可包括濾波，例如，作為迴圈內解碼之部分或作為解碼迴圈之後的後濾波步驟。無論哪種方式，由視訊解碼器28應用之濾波係數均可使用本發明之技術來解碼。當使用預測性寫碼用於濾波係數時，可利用不同濾波係數之間的相似性來減少經由頻道15傳送之資訊之量。詳言之，一濾波係數集合可經預測性地寫碼為相對於與一不同經寫碼單元相關聯之另一濾波係數集合的差值。在此狀況下，視訊解碼器28接收包含視訊區塊及識別不同經寫碼單元(以識別一相關聯濾波器)之濾波資訊的經編碼位元流。濾波資訊亦包括相對於不同經寫碼單元之濾波器界定當前濾波器的差值。詳言之，該等差值可包含相對於用於一不同經寫碼單元之不同濾波器之濾波係數界定用於當前濾波器之濾波係數的濾波係數差值。
視訊解碼器28解碼視訊區塊，產生濾波係數，及基於所產生之濾波係數對經解碼之視訊區塊進行濾波。經解碼及濾波之視訊區塊可組譯為視訊圖框以形成經解碼之視訊資料。顯示器件30向使用者顯示經解碼之視訊資料，且可包含各種顯示器件中之任一者，諸如，陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
通信頻道15可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線，或無線媒體與有線媒體之任何組合。通信頻道15可形成諸如區域網路、廣域網路 或全球網路(諸如，網際網路)之基於封包之網路的部分。通信頻道15大體表示用於將視訊資料自源器件12傳輸至目的地器件16的任何合適通信媒體或不同通信媒體之集合。
視訊編碼器22及視訊解碼器28可根據視訊壓縮標準(諸如，ITU-T H.264標準，替代地稱為MPEG-4第10部分(進階視訊寫碼(AVC)))而操作。然而，本發明之技術可容易地應用於各種其他視訊寫碼標準中之任一者。具體而言，允許在編碼器及解碼器處之濾波之任何標準可藉由減少將濾波資訊自編碼器傳達至解碼器所需之資料的量而得益於本發明之教示。
儘管未展示於圖1中，但在一些態樣中，視訊編碼器22及視訊解碼器28可各自與音訊編碼器及解碼器整合，且可包括適當的MUX-DEMUX單元或其他硬體及軟體，以處置共同資料流或單獨資料流中之音訊與視訊兩者的編碼。若適用，則MUX-DEMUX單元可符合ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器22及視訊解碼器28各自可實施為一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體，或其任何組合。可將視訊編碼器22及視訊解碼器28中之每一者包括於一或多個編碼器或解碼器中，其中任一者可作為組合之編碼器/解碼器(CODEC)之部分而整合於各別行動器件、用戶器件、廣播器件、伺服器或其類似者中。
在一些狀況下，器件12、16可以實質上對稱之方式操作。舉例而言，器件12、16中之每一者可包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、16之間的單程或雙程視訊傳輸，例如，以用於視訊串流、視訊播放、視訊廣播或視訊電話。
在編碼過程期間，視訊編碼器22可執行若干寫碼技術或步驟。通常，視訊編碼器22對個別視訊圖框(或諸如切片之其他經獨立地寫碼之單元)內之視訊區塊操作以便編碼該等視訊區塊。圖框、切片、圖框之部分、圖像群組(GOP)或其他資料結構可定義為包括複數個視訊區塊之可獨立解碼之單元。在一些狀況下，每一視訊圖框可包括一系列可獨立解碼之切片，且每一切片可包括一系列巨集區塊，巨集區塊可配置成甚至更小之區塊。術語「經寫碼單元」指代圖框、切片、圖框之部分、圖像群組(GOP)，或可獨立解碼之其他資料結構。經寫碼單元內之視訊區塊可具有固定或變化之大小，且可根據一指定寫碼標準而在大小上不同。語法資料可對於每個經寫碼單元界定，使得每一經寫碼單元包括相關聯語法資料。本文中描述之濾波資訊可為用於經寫碼單元之此語法之部分，且可指示用於經寫碼單元之濾波係數或用以對經寫碼單元之像素資料進行濾波的濾波器之可能其他特性(例如，濾波器類型)。舉例而言，濾波器類型可為線性的、雙線性的、二維的、雙三次的(bicubic)，或可大體上界定濾波器支援之任何形狀。有時，濾波器類型可由編碼器及解碼器推定，在此狀況下 濾波器類型不包括於位元流中，但在其他狀況下，濾波器類型可連同如本文中描述之濾波係數資訊一起編碼。語法資料亦可向解碼器用信號通知如何編碼濾波器(例如，如何編碼濾波係數)以及應使用不同濾波器之活動量度之範圍。可包括用於活動量度之範圍的位元以界定應使用預測性解碼還是直接解碼。
巨集區塊通常指代16×16之資料區塊。ITU-T H.264標準支援各種區塊大小之框內預測，諸如用於明度分量之16×16、8×8或4×4及用於色度分量之8×8，以及各種區塊大小之框間預測，諸如用於明度分量之16×16、16×8、8×16、8×8、8×4、4×8及4×4，及用於色度分量的相應之按比例調整之大小。在本發明中，片語「視訊區塊」指代任何大小之視訊區塊。此外，視訊區塊可指代像素域中之視訊資料的區塊，或在諸如離散餘弦變換(DCT)域、類似於DCT之域、小波域或其類似者之變換域中的資料之區塊。
視訊編碼器22可執行預測性寫碼，其中將正被寫碼之視訊區塊與預測性圖框(或其他經寫碼單元)相比較以便識別一預測性區塊。將正被寫碼之當前視訊區塊與預測性區塊之間的差寫碼為殘餘區塊，且使用預測語法來識別預測性區塊。可變換且量化殘餘區塊。變換技術可包含DCT過程或概念上類似之過程、整數變換、小波變換或其他類型之變換。在DCT過程中，作為一實例，變換過程將一像素值集合轉換成變換係數，該等變換係數可表示頻域中像素值 的能量。通常對變換係數應用量化，且量化通常涉及限制與任何給定變換係數相關聯之位元之數目的過程。
在變換及量化之後，可對經量化及變換之殘餘視訊區塊執行熵寫碼。語法元素(諸如在編碼期間界定之濾波資訊及預測向量)亦可包括於用於每一經寫碼單元之經熵寫碼之位元流中。通常，熵寫碼包含共同壓縮一連串經量化之變換係數及/或其他語法資訊的一或多個過程。對經量化之變換係數執行諸如Z形掃描技術(zig-zag scanning technique)之掃描技術(例如，作為熵寫碼過程之部分)，以便自二維視訊區塊界定一或多個串行化一維係數向量。接著(例如)經由內容適應性可變長度寫碼(CAVLC)、上下文適應性二進位算術寫碼(CABAC)或另一熵寫碼過程來熵寫碼經掃描之係數連同任何語法資訊。
作為編碼過程之部分，可解碼經編碼之視訊區塊以便產生用於後續視訊區塊之後續基於預測之寫碼的視訊資料。在此階段，可使用濾波以便改良視訊品質，且(例如)移除來自經解碼視訊之結塊假影。經濾波之資料可用於其他視訊區塊之預測，在該狀況下，濾波被稱作「迴圈內」濾波。或者，其他視訊區塊之預測可基於未經濾波之資料，在該狀況下，濾波被稱作「後濾波」。
編碼器可以促進視訊品質之方式選擇濾波係數。此等濾波係數可選自預先界定之係數集合，或可適應性地界定以促進視訊品質。作為一實例，視訊編碼器22對於一給定經寫碼單元可選擇或界定若干濾波係數集合，使得不同濾波 係數集合用於彼經寫碼單元之視訊區塊之不同像素。詳言之，對於每一經寫碼單元可界定若干濾波係數集合，且與該經寫碼單元之像素相關聯之活動可界定在此等像素上使用之濾波係數。在一些狀況下，視訊編碼器22可應用若干濾波係數集合，且選擇產生在經寫碼區塊與原始區塊之間的失真量方面的最佳品質視訊及/或最高壓縮位準的一或多個濾波係數集合。在任何狀況下，一旦選定，可編碼對於每一經寫碼單元由視訊編碼器22應用之該濾波係數集合且將其傳達至目的地器件18之視訊解碼器28，使得視訊解碼器28可應用在對於每一給定經寫碼單元之編碼過程期間應用的相同濾波。
本發明之技術具體言之應用於濾波係數之選擇及編碼。詳言之，如所提及，可使用一活動量度來界定濾波係數以及編碼濾波係數之方式(例如，直接地或預測性地)。可對於一經寫碼單元界定該活動量度，或可對於一經寫碼單元內之不同部分(例如，像素之子區塊)界定不同活動量度。一例示性活動量度之額外細節在下文更詳細地概述。
圖2為說明根據本發明之一視訊編碼器50的方塊圖。視訊編碼器50可對應於器件20之視訊編碼器22或不同器件之視訊編碼器。如圖2中所示，視訊編碼器50包括預測單元32、加法器48及51，及記憶體34。視訊編碼器50亦包括變換單元38及量化單元40，以及逆量化單元42及逆變換單元44。視訊編碼器50亦包括掃描單元45及熵寫碼單元46。視訊編碼器50之濾波器單元47可執行濾波，且可根據本發明 而編碼濾波資訊，使得濾波資訊可有效地傳達至另一器件。
在編碼過程期間，視訊編碼器50接收待寫碼之視訊區塊，且預測單元32執行預測性寫碼技術。對於框間寫碼，預測單元32比較待編碼之視訊區塊與一或多個視訊參考圖框或片段中之各種區塊以便界定一預測性區塊。對於框內寫碼，預測單元32基於同一經寫碼單元內之相鄰資料而產生預測性區塊。預測單元32輸出預測區塊，且加法器48自正被寫碼之視訊區塊減去該預測區塊以便產生殘餘區塊。
對於框間寫碼，預測單元32可包含識別一運動向量的運動估計及運動補償單元，該預測單元32指向一預測區塊且基於該運動向量產生該預測區塊。通常，認為運動估計為產生運動向量之過程，其估計運動。舉例而言，運動向量可指示預測性圖框內之預測性區塊相對於在當前圖框內寫碼之當前區塊的移位。通常認為運動補償為基於由運動估計所判定之運動向量而取得或產生預測性區塊的過程。對於框內寫碼，預測單元32基於同一經寫碼單元內之相鄰資料而產生預測性區塊。一或多個框內預測模式可界定可界定框內預測區塊之方式。
在預測單元32輸出預測區塊且加法器48自正被寫碼之視訊區塊減去該預測區塊以便產生殘餘區塊之後，變換單元38將變換應用於殘餘區塊。該變換可包含離散餘弦變換(DCT)或概念上類似之變換，諸如由H.264標準界定之變換。亦可使用小波變換、整數變換、次頻帶變換或其他類 型之變換。在任何狀況下，變換單元38將變換應用於殘餘區塊，從而產生具有殘餘變換係數之區塊。變換可將殘餘資訊自像素域轉換至頻域。
量化單元40接著量化殘餘變換係數以進一步減小位元率。量化單元40(例如)可限制用以寫碼該等係數中之每一者之位元的數目。在量化之後，熵寫碼單元46可將經量化係數區塊自二維表示掃描至一或多個串行化的一維向量。掃描次序可經預先程式化以按所界定之次序出現(諸如，z形掃描或另一預先界定之次序)，或可能基於先前寫碼統計而適應性地界定。
在此掃描過程之後，熵編碼單元46根據諸如CAVLC或CABAC之熵寫碼方法而編碼經量化之變換係數(連同任何語法元素)，以進一步壓縮資料。包括於經熵寫碼之位元流中之語法元素可包括來自預測單元32之預測語法，諸如用於框間寫碼之運動向量或用於框內寫碼之預測模式。包括於經熵寫碼之位元流中之語法元素亦可包括來自濾波器單元47之濾波器資訊，其可以本文所描述之方式編碼。
CAVLC為一由ITU H.264/MPEG4 AVC標準支援之類型的熵寫碼技術，其可由熵寫碼單元46以向量化為基礎加以應用。CAVLC以有效地壓縮變換係數及/或語法元素之串行化「游程(run)」之方式使用可變長度寫碼(VLC)表。CABAC為由ITU H.264/MPEG4 AVC標準支援之另一類型的熵寫碼技術，其可由熵寫碼單元46以向量化為基礎加以應用。CABAC可涉及若干階段，包括二值化(binarization)、 內容模型選擇及二進位算術寫碼。在此狀況下，熵寫碼單元46根據CABAC來寫碼變換係數及語法元素。許多其他類型之熵寫碼技術亦存在，且新的熵寫碼技術將很可能在將來出現。本發明不限於任何特定熵寫碼技術。
在藉由熵寫碼單元46熵編碼之後，可將經編碼之視訊傳輸至另一器件或加以保存以供稍後傳輸或擷取。再次，經編碼之視訊可包含經熵寫碼之向量及各種語法，其可由解碼器使用以恰當地組態解碼過程。逆量化單元42及逆變換單元44分別應用逆量化及逆變換，以在像素域中重建構殘餘區塊。加法器51將該經重建構之殘餘區塊加至由預測單元32產生之預測區塊以產生經重建構之視訊區塊以供儲存於記憶體34中。然而，在此儲存之前，濾波器單元47可將濾波應用於該視訊區塊以改良視訊品質。藉由濾波器單元47之此濾波可減少結塊或其他假影。在一些狀況下，濾波器單元47可被稱作一解塊濾波器單元。此外，濾波可藉由產生比未經濾波之預測性視訊區塊更緊密地匹配正被寫碼之視訊區塊的預測性視訊區塊而改良壓縮。在濾波之後，經重新建構之視訊區塊可由預測單元32用作一參考區塊以框間寫碼一後續視訊圖框或其他經寫碼單元中之區塊。儘管將濾波器單元47展示為「迴圈內」，但本發明之技術亦可與後濾波器一起使用，在該狀況下，未經濾波資料(而非經濾波資料)將用於預測後續經寫碼單元中之資料的目的。
濾波器單元47可以促進視訊品質之方式執行濾波係數選 擇。舉例而言，濾波器單元47可自經預先界定之係數集合選擇濾波係數，或可適應性地界定濾波係數以便促進視訊品質或經改良之壓縮。濾波器單元47對於一給定經寫碼單元可選擇或界定一或多個濾波係數集合，使得相同濾波係數集合用於彼經寫碼單元之不同視訊區塊之像素。在一些狀況下，濾波器單元47可應用若干濾波係數集合且選擇產生最佳品質視訊或最高壓縮位準之該等集合。在任何狀況下，一旦選定，可能需要編碼對於每一經寫碼單元由濾波器單元47應用之該一或多個濾波係數集合且將其傳達至一解碼器件。
根據本發明，濾波器單元47可基於量化與經寫碼單元內之一或多個像素集合相關聯之活動的活動量度來選擇該等濾波係數。以此方式，由濾波器單元47應用之濾波係藉由與經寫碼單元之像素相關聯之活動界定。活動可在一經寫碼單元內之像素值方差方面加以指示。經寫碼單元中之像素值中之較大方差可指示較高像素活動位準，而像素值中之較小方差可指示較低像素活動位準。不同濾波係數可取決於像素方差之位準(亦即，活動)而引起更佳濾波(例如，較高影像品質)。像素方差可由活動量度量化，該活動量度可包含總和修飾的拉普拉斯值，如下文更詳細地論述。然而，亦可使用其他類型之活動量度。
根據本發明，濾波器單元47執行關於濾波資訊之寫碼技術，其可減少編碼濾波資訊及將濾波資訊自編碼器50傳送至另一器件所需之資料的量。再次，對於每一經寫碼單元 (諸如一圖框、一圖像群組(GOP)、一切片或其他經寫碼單元)，濾波器單元37可界定或選擇待應用於彼經寫碼單元之像素之一或多個濾波係數集合。濾波器單元47應用該等濾波係數以便對儲存於記憶體34中之經重新建構之視訊圖框的視訊區塊進行濾波，其可用於根據迴圈內濾波之預測性寫碼。濾波器單元47可將濾波係數編碼為濾波資訊，將濾波資訊轉遞至熵寫碼單元46以用於包括於經編碼之位元流中。
本發明之技術認可且利用以下事實：由濾波器單元47界定或選擇之濾波係數中之一些可非常類似於關於另一經寫碼單元之像素應用之其他濾波係數。相同類型之濾波器可應用於不同寫碼單元(例如，相同濾波器支援)，但該等濾波器可能在與濾波器支援之不同索引相關聯之濾波係數值方面不同。因而，為了減少傳送此等濾波係數所需之資料的量，濾波器單元47可基於另一經寫碼單元之濾波係數，利用該等濾波係數之間的任何相似性來預測性地編碼待用於濾波之一或多個濾波係數。然而，在一些狀況下，直接編碼該等濾波係數(例如，不使用任何預測)可能為更理想的。本發明利用活動量度之使用以界定何時使用預測性寫碼技術來編碼濾波係數及何時在無任何預測性寫碼之情況下直接編碼濾波係數。
對於活動量度之第一範圍，濾波器單元47將一或多個濾波器直接編碼至濾波資訊中。舉例而言，在此狀況下，濾波係數之值可直接編碼至位元流中而不使用任何預測性編 碼技術。然而，對於活動量度之第二範圍，濾波器單元47將一或多個濾波器預測性地編碼至濾波資訊中。在此狀況下，濾波係數之值可由相對於針對另一經寫碼單元界定之濾波係數的殘值或差界定。如上文提及，經預測性地寫碼之濾波資訊可包括第一資料，其(例如)藉由識別一不同經寫碼單元而識別一不同經寫碼濾波器，且經預測性地編碼之濾波資訊亦可包括第二資料，其表示正被寫碼之當前濾波係數與由第一資料識別之不同濾波器之濾波係數之間的差。
舉例而言，若一濾波係數集合對於六元素濾波器支援在垂直或水平維度上包含(5,-2,10,10,-2,5)，則此等濾波係數之直接編碼將編碼每一值，例如，5、-2、10、10、-2及5。然而，對於預測性寫碼，濾波器單元47可識別(例如)界定前一濾波係數集合(6,-2,12,12,-2,6)之前一經寫碼單元。在此狀況下，藉由識別該前一濾波係數集合(6,-2,12,12,-2,6)，可將當前濾波係數集合(5,-2,10,10,-2,5)編碼為不同值(1,0,2,2,0,1)。以此方式，預測性寫碼可減少傳送濾波係數所需之資料的量。在此實例中，該係數集合(5,-2,10,10,-2,5)可包含對稱濾波器抽頭，使得一維度中之三個鄰近像素分別基於係數10、-2及5而濾波，且另一維度中之三個像素亦分別基於係數10、-2及5而濾波。在此狀況下，係數10及10用於當前像素之緊鄰的像素，係數-2及-2用於距離當前像素兩個整數位置之其次像素，且係數5及5用於距離當前像素三個整數位置之其次像 素。
亦可外加對稱性以使得係數之一子集合(例如，5,-2,10)由解碼器獲知以界定完整集合(5,-2,10,10,-2,5)。可在直接及預測性寫碼情境兩者中外加對稱性。
藉由對於活動量度之第一範圍使用無任何預測之直接編碼來編碼一或多個濾波器，且對於活動量度之第二範圍使用預測性編碼來編碼一或多個濾波器，可達成改良之資料壓縮。在此狀況下，使編碼及解碼濾波器之方式取決於活動量度。此外，如所指出的，濾波器選擇自身亦可取決於活動量度。因此，活動量度可判定應用於一經寫碼單元之像素之濾波，且亦可界定或影響將濾波資訊編碼至位元流中及自位元流解碼的方式。經編碼之濾波資訊可包括信令語法，信令語法向解碼器用信號通知用於任何給定係數集合之編碼方式，以及應使用任何給定係數集合之活動量度範圍。解碼器可根據此信令語法解碼及應用該等濾波係數。
圖3為說明一視訊解碼器60之一實例之方塊圖，該視訊解碼器60解碼以本文中描述之方式編碼之視訊序列。所接收之視訊序列可包含一經編碼之影像圖框集合、一圖框切片集合、一經共同地寫碼之圖像群組(GOP)，或廣泛多種經寫碼視訊單元(包括經編碼之視訊區塊及語法以界定如何解碼此等視訊區塊)。在一些狀況下，甚至巨集區塊或其他視訊區塊可為經寫碼單元(例如，若巨集區塊經編碼為可單獨地解碼之單元)。
視訊解碼器60包括熵解碼單元52，熵解碼單元52執行由圖2之熵編碼單元46執行之編碼的互反解碼函式。詳言之，熵解碼單元52可執行CAVLC或CABAC解碼，或由視訊編碼器50使用之任何其他類型之熵解碼。呈一維串行化格式之經熵解碼之視訊區塊可經逆掃描以將係數之一或多個一維向量轉換成二維區塊格式。向量之數目及大小，以及針對視訊區塊所界定之掃描次序可界定如何重新建構二維區塊。經熵解碼之預測語法可自熵解碼單元52發送至預測單元54，且經熵解碼之濾波資訊可自熵解碼單元52發送至濾波器單元57。
視訊解碼器60亦包括預測單元54、逆量化單元56、逆變換單元58、記憶體及加法器64。另外，視訊解碼器60亦包括對加法器64之輸出進行濾波的濾波器單元57。根據本發明，濾波器單元57可接收包括待應用之一或多個濾波器的經熵解碼之濾波資訊。該等濾波器可由若干濾波係數集合界定。濾波器單元57可經組態以基於濾波資訊產生濾波係數。濾波資訊可包括信令語法，該信令語法向解碼器用信號通知用於任何給定係數集合之編碼方式，以及應使用任何給定係數集合之活動量度範圍。在濾波器之解碼之後，濾波器單元57可基於一或多個濾波係數集合及包括應使用不同濾波係數集合之活動量度範圍之信令語法而對經解碼之視訊區塊的像素值進行濾波。該等活動量度範圍可由一活動值集合界定，該活動值集合界定用以界定所使用之編碼之類型(例如，預測性或直接)的活動量度之範圍。
濾波器單元57可計算與一經寫碼單元之經解碼之像素(例如，加法器51之輸出)相關聯的一或多個活動量度，以便判定如何應用濾波器。對於活動量度之第一範圍，濾波器單元57應用直接編碼至濾波資訊中的一或多個濾波器。舉例而言，在此狀況下，濾波係數之值將已直接編碼至位元流中而不使用任何預測性編碼技術。然而，對於活動量度之第二範圍，濾波器單元57應用預測性地編碼於濾波資訊中的一或多個濾波器。在此狀況下，濾波係數之值可能已由相對於針對另一經寫碼單元界定之濾波係數的殘值或差界定。對於此等係數，濾波器單元57可基於濾波資訊識別一不同經寫碼單元之一不同濾波器，基於該濾波資訊判定殘值，且組合該等殘值與該不同經寫碼單元之一或多個不同濾波器以便產生待應用於當前經寫碼單元之一或多個新濾波器。由濾波器單元57計算之活動量度界定哪些濾波器應用於解碼過程中。藉由濾波器單元57對濾波係數之實際解碼(例如，直接或預測性解碼)可基於經編碼之濾波資訊中界定如何編碼濾波器之信令語法來執行。
該濾波器通常可採用任何類型之濾波器支援形狀或配置。濾波器支援指代關於一正被濾波之給定像素的濾波器之形狀，且濾波係數可根據濾波器支援界定應用於鄰近像素值之加權。有時，濾波器類型可由編碼器及解碼器推定，在此狀況下，濾波器類型不包括於位元流中，但在其他狀況下，濾波器類型可與如本文中描述之濾波係數資訊一起編碼。語法資料亦可向解碼器用信號通知如何編碼濾 波器(例如，如何編碼濾波係數)以及應使用不同濾波器之活動量度之範圍。
預測單元54接收來自熵解碼單元52之預測語法(諸如運動向量)。使用該預測語法，預測單元54產生用以寫碼視訊區塊之預測區塊。逆量化單元56執行逆量化，且逆變換單元58執行逆變換以將殘餘視訊區塊之係數改變回至像素域。加法器64組合每一預測區塊與由逆變換單元58輸出之對應殘餘區塊以便重新建構視訊區塊。
濾波器單元57產生待應用於每一經寫碼單元之濾波係數，且接著應用此等濾波係數以便對彼經寫碼單元之經重新建構之視訊區塊進行濾波。舉例而言，該濾波可包含使邊緣平滑及/或消除與視訊區塊相關聯之假影的解塊濾波。經濾波之視訊區塊積聚於記憶體62中以便重新建構視訊資訊之經解碼圖框(或其他可解碼單元)。經解碼單元可自視訊解碼器60輸出以用於呈現給使用者，但亦可經儲存以用於後續預測性解碼中。
在視訊寫碼之領域中，在編碼器及解碼器處應用濾波以便增強一經解碼之視訊信號之品質為普遍的。濾波可經由一後濾波器而應用，在該狀況下，經濾波圖框不用於將來圖框之預測。或者，可「迴圈內」應用濾波，在該狀況下，經濾波圖框可用以預測將來圖框。一理想濾波器可藉由最小化原始信號與經解碼之經濾波信號之間的誤差來設計。
以類似於變換係數之量化的方式，亦可量化濾波器之係 數h (k ,l )，其中k =-K ,...,K ，且l =-L ,...,L 。K及L可表示整數值。濾波器之係數h (k ,l )可量化為：f (k ,l )=round (normFact ．h (k ,l ))其中normFact 為正規化因子，且round 為經執行以達成至一所要位元深度之量化的捨入運算。濾波係數之量化可在編碼期間藉由濾波器單元47(圖2)執行，且解量化或逆量化可藉由濾波器單元57(圖3)對經解碼之濾波係數執行。
經量化之濾波係數經編碼且作為一經編碼之位元流之部分自與編碼器50相關聯之源器件發送至與解碼器60相關聯之目的地器件。在上文之實例中，normFact 之值通常等於2n ，但可使用其他值。normFact 之較大值引起更精確量化，使得經量化之濾波係數f (k ,l )提供更佳效能。然而，normFact 之較大值可能產生需要更多位元傳輸至解碼器之係數f (k ,l )。
在解碼器60處，經解碼之濾波係數f (k ,l )可如下應用至經重新建構之影像R(i,j) ，其中i=0,...,M且j=0,..,N： 變數M、N、K及L可表示整數。K及L可界定跨越自-K至K及自-L至L之兩個維度的像素區塊。
本發明之技術可改良後濾波器或迴圈內濾波器之效能，且亦可減少傳輸濾波係數f (k ,l )所需之位元的數目。在一些狀況下，對於每一經寫碼單元(例如，對於每一圖框、切 片、圖框之部分、圖像群組(GOP)或其類似者)，將若干不同後濾波器或迴圈內濾波器傳輸至解碼器。對於每一濾波器，額外資訊包括於位元流中以識別一給定濾波器應應用於之經寫碼單元、巨集區塊及/或像素。
該等圖框可藉由圖框數目及/或圖框類型(例如，I圖框、P圖框或B圖框)識別。I圖框指代經框內預測之框內圖框。P圖框指代基於資料之一清單(例如，前一圖框)預測的具有視訊區塊之預測性圖框。B圖框指代基於資料之兩個清單(例如，前一圖框及後一圖框)預測的雙向預測性圖框。巨集區塊可藉由列出巨集區塊類型及/或用以重新建構巨集區塊之量化參數(QP)值之範圍來識別。
濾波資訊亦可指示僅僅一影像之局部特性之給定量測的值(稱為活動量度)在指定範圍內的像素應藉由一特定濾波器來濾波。舉例而言，對於像素(i,j) ，活動量度可包含如下計算的總和修飾的拉普拉斯值： 其中對於跨越-K至K及-L至L之二維窗，k表示自-K至K的像素值之總和的值，且l表示自-L至L之總和的值，其中i及j表示像素資料之像素座標，R(i,j) 表示在座標i及j處之給定像素值，且var(i,j) 為活動量度。
濾波係數f(k,l) 可使用來自針對先前經寫碼單元所傳輸 之係數之預測來寫碼。對於每一經寫碼單元m(例如，每一圖框、切片或GOP)，編碼器可編碼及傳輸M個濾波器之一集合：，其中i=0,...,M-1。對於每一濾波器，位元流可經編碼以識別應使用濾波器之活動量度值var 的值之範圍。
舉例而言，編碼器50之濾波器單元47可指示濾波器： 應使用於活動量度值var 在區間[0,var 0 )內之像素，亦即，var 0且var <var 0 。此外，編碼器50之濾波器單元47可指示濾波器：其中i =1,..,M -2 ，應使用於活動量度值var 在區間[var i -1 ,var i )內之像素。另外，編碼器50之濾波器單元47可指示濾波器： 應使用於活動量度var 在var >var M -2 時的像素。
濾波係數可使用用於前一經寫碼單元中之經重新建構之濾波係數來預測。先前濾波係數可表示為：其中i=0,...,N-1，在此狀況下，經寫碼單元之數目n 可用以識別用於當前濾波器之預測之一或多個濾波器，且數目n 可作為經編碼之位元流之部分發送至解碼器。另外，資訊可經編碼且傳輸至解碼器以識別使用預測性寫碼之活動量度var 之值。
舉例而言，假設對於一當前經寫碼圖框m ，對於活動量 度值[var r-1 ,var r )傳輸係數： 圖框m 之濾波係數自圖框n 之濾波係數預測。假設濾波器 用於活動量度在區間[var s-1 ,var s )內之像素的圖框n 中，其中var s -1 ==var r -1 且var s >var r 。在此狀況下，區間[var r -1 ,var r )含於區間[var s-1 ,var s )內。另外，可向解碼器傳輸指示濾波係數之預測應使用於活動值[var t -1 ,var t )，而不使用於活動值[var t ,var t +1 )的資訊，其中var t -1 ==var r -1 且var t +1 ==var r 。區間[var r -1 -1,var r )、[var s-1 ,var s )、[var t-1 ,var t )與[var t ,var t +1 )之間的關係描繪於圖4中。在此狀況下，用以對具有區間[var t -1 ,var t )中之活動量度的像素進行濾波的濾波係數之最終值： 等於以下係數之總和：及
相應地：,k =-K ,...,K ,l =-L ,...,L 。 另外，用於具有活動量度[var t ,var t +1 )之像素的濾波係數： 等於濾波係數： 因此：,k =-K ,...,K ,l =-L ,...,L 。
濾波係數g (k ,l )之幅值取決於k及l值。通常，具有最大幅值之係數為係數g (0,0)。預期具有大幅值之其他係數為k或l之值等於0的係數。可利用此現象來進一步減少傳輸該等係數所需之位元之量。索引值k及l可界定一已知濾波器支援內之位置。
用於每一圖框m 之係數：，i =0, ...,M -1 可使用根據參數p 界定之諸如哥倫布碼(Golomb code)或指數哥倫布碼(exp-Golomb code)的經參數化之可變長度碼來寫碼。藉由改變界定經參數化之可變長度碼的參數p 之值，此等碼可用以有效地表示廣泛範圍之源分布。係數g(k,l) 之分布(亦即，其具有大值或小值之可能性)取決於k 及l 之值。因此，為增加寫碼效率，對於每一圖框m ，對於每一對(k,l) 傳輸參數p 之值。當編碼係數：其中k =-K ,...,K ，l =-L ,...,L 時，參數p 可用於經參數化之可變長度寫碼。
圖5為說明根據本發明之一編碼技術的流程圖。如圖5中所示，視訊編碼器50編碼一經寫碼單元之像素資料(101)。該經寫碼單元可包含一圖框、一切片、一圖像群組(GOP)或另一可獨立解碼之單元。像素資料可配置於視訊區塊 中，且視訊編碼器50可藉由根據諸如ITU-T H.264之視訊編碼標準或類似基於區塊之視訊寫碼標準編碼視訊區塊而編碼像素資料。
作為視訊編碼過程之一部分，視訊編碼器50之濾波器單元47選擇一或多個濾波器來對該經寫碼單元之像素資料進行濾波(102)。此濾波可用以藉由使不同區塊之間的邊緣平滑來移除結塊假影。將濾波器單元47展示為迴圈內，其意謂經濾波之資料係用於稍後視訊區塊之預測性編碼。然而，濾波器單元47可替代地應用後濾波，在該狀況下，未經濾波之資料將用於稍後視訊區塊之預測性編碼。
濾波器單元47基於一活動量度之不同值(諸如上文解釋之總和修飾的拉普拉斯值)編碼濾波器(103)。在進行此操作時，濾波器單元47使用用於應用在活動量度之第一範圍中之濾波器的直接編碼，且使用用於應用在活動量度之第二範圍中之濾波器的預測性編碼(103)。以此方式，不同濾波器可由濾波器單元47應用於活動量度之不同範圍，且不同類型之編碼(直接或預測性)可基於活動量度由濾波器單元47使用以編碼不同濾波器。視訊編碼器50輸出用於該經寫碼單元之經編碼之位元流(104)，經編碼之位元流包括經編碼之像素資料及經編碼之濾波器。經編碼之像素資料可表示為可在解碼器處解碼以產生像素值之經熵寫碼、經量化且經變換之值。經編碼之濾波器可由經熵寫碼之語法表示，其中該語法包含經直接編碼之濾波器及/或經預測性地寫碼之濾波器。經編碼之濾波器亦可包括信令語法，該 信令語法識別如何編碼濾波器及不同濾波器應應用於之活動量度之範圍。
不同濾波器可由應用於變化大小之二維濾波器支援的不同濾波係數集合界定。對於活動量度之第一範圍，該等濾波係數集合中之一或多者直接寫碼至濾波資訊中，且對於活動量度之第二範圍，該等濾波係數集合中之一或多者預測性地寫碼至濾波資訊中。或者，對於一給定濾波器可界定不同濾波器類型及不同濾波係數集合，其中對於活動量度之第一範圍，該等濾波係數集合中之一或多者直接寫碼至濾波資訊中，且對於活動量度之第二範圍，該等濾波係數集合中之一或多者預測性地寫碼至濾波資訊中。在一些狀況下，不同濾波器可具有類似數目之濾波係數。然而，在其他實例中，不同濾波器可包含界定不同數目之濾波係數及不同濾波器支援的完全不同之濾波器。
經編碼之濾波資訊可包括識別與一特定濾波器相關聯之圖框數目的資訊、識別與一特定濾波器相關聯之圖框類型的資訊、識別與一特定濾波器相關聯之視訊區塊類型的資訊，及/或識別與一特定濾波器相關聯之量化參數的資訊。此等或其他機構或元素可用以識別位元流中之濾波器，尤其當預測性寫碼用於濾波器時。又，經編碼之濾波資訊亦可包括信令語法，該信令語法識別如何編碼濾波器及不同濾波器應應用於之活動量度之範圍。
對於活動量度之第二範圍，濾波資訊可包括識別用以預測經預測性地寫碼之濾波器中之一或多者的參考資料之資 訊。舉例而言，此參考資料可為識別位元流中之前一或後一濾波器的資訊，諸如識別前一或後一經寫碼單元的資訊。在此狀況下，藉由識別前一或後一經寫碼單元，濾波資訊可暗示用於前一或後一經寫碼單元之濾波器用於當前濾波器之預測性寫碼。因而，濾波資訊可進一步包括指示當前濾波器與前一或後一經寫碼單元之濾波器之間的差的差值。該等差值可添加至由參考資料界定之濾波係數以產生用於當前經寫碼單元之當前濾波係數。為進一步改良濾波器之壓縮，濾波係數可使用經參數化之可變長度碼寫碼，如上文所提及。
圖6為說明根據本發明之一解碼技術的流程圖。如圖6中所示，視訊解碼器60接收用於一經寫碼單元的包括經編碼之視訊資料及經編碼之濾波器的經編碼之位元流(111)。視訊解碼器60解碼該視訊資料以產生像素資料(112)。詳言之，視訊解碼器60可根據ITU-T H.264視訊標準或類似基於區塊之視訊寫碼標準執行基於區塊之視訊重新建構。
根據本發明，視訊解碼器60使用直接解碼或預測性解碼來解碼濾波器(113)。詳言之，在藉由熵解碼單元52之熵解碼之後，可將經編碼之濾波資訊發送至濾波器單元57。濾波器單元57可使用直接解碼或預測性解碼來解碼濾波器，且位元流可向濾波器單元57通知(例如，經由語法資訊)如何使用直接解碼或預測性解碼適當地解碼濾波器。濾波器單元57可接著基於與經解碼之像素資料相關聯之活動量度選擇性地應用濾波器(114)。詳言之，對於活動量度之第一 範圍，可藉由濾波器單元57使用直接編碼於位元流中之濾波器，而對於活動量度之第二範圍，可藉由濾波器單元57使用預測性地編碼於位元流中之濾波器。
以此方式，由視訊編碼器50基於像素之活動量度應用之濾波器可取決於此等濾波器係用於活動量度之第一範圍還是第二範圍而使用直接編碼或預測性編碼來編碼至位元流中。相同濾波器可接著由視訊解碼器60應用，以使得在解碼器處之經重新建構之資料匹配編碼器處之經重新建構之資料。如上文所解釋，藉由基於此等濾波器係用於活動量度之第一範圍還是第二範圍來使用不同類型之編碼用於濾波器，可達成改良之資料壓縮。
前述揭示內容在某種程度上已簡化以便表達細節。然而，在實施中，每個經寫碼單元可存在諸多濾波器，每個濾波器可存在諸多係數，且針對不同範圍之方差界定的濾波器中之每一者可存在諸多不同位準之方差。舉例而言，在一些狀況下，可存在經界定用於每一經寫碼單元的十六個或更多個濾波器，及對應於每一濾波器的十六個不同範圍之方差。在此狀況下，可仍存在界定是直接編碼還是預測性編碼用於濾波器的兩個較大範圍之方差(由一活動量度界定)。其他或另外，活動量度之每一方差範圍可將一告知解碼器是使用直接編碼還是預測性編碼的對應位元界定於位元流中。
該等濾波器中之每一者可包括許多係數。在一實例中，濾波器包含具有針對在兩個維度上延伸之濾波器支援界定 的81個不同係數的二維濾波器。然而，在一些狀況下，針對每一濾波器所傳輸的濾波係數之數目可少於81個。舉例而言，可外加係數對稱性以使得在一維度或象限中之濾波係數可對應於相對於其他維度或象限中之係數的反轉值或對稱值。係數對稱性可允許81個不同係數由較少係數表示，在該狀況下，編碼器及解碼器可假設係數之反轉值或鏡射值界定其他係數。舉例而言，係數(5,-2,10,10,-2,5)可經編碼及傳輸為係數之子集(5,-2,10)。在此狀況下，解碼器可獲知此等三個係數界定係數之更大對稱集合(5,-2,10,10,-2,5)。
本發明之技術可實施於廣泛多種器件或裝置中，包括無線手機及積體電路(IC)或IC之集合(亦即，晶片集)。任何組件、模組或單元已描述為經提供以強調功能態樣，且未必需要由不同硬體單元實現。
因而，可以硬體、軟體、韌體或其任何組合來實施本文中所描述之技術。若以硬體實施，則描述為模組、單元或組件之任何特徵可一起實施於整合式邏輯器件中或單獨作為離散但能共同操作的邏輯器件實施。若以軟體實施，則該等技術可至少部分地由包含指令之電腦可讀媒體實現，當執行於一處理器中時，該等指令執行上述方法中之一或多者。電腦可讀媒體可包含電腦可讀儲存媒體，且可形成電腦程式產品(其可包括封裝材料)之部分。電腦可讀儲存媒體可包含諸如同步動態隨機存取記憶體(SDRAM)之隨機存取記憶體(RAM)、唯讀記憶體(ROM)、非揮發性隨機存 取記憶體(NVRAM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體、磁性或光學資料儲存媒體及其類似媒體。其他或另外，可至少部分藉由電腦可讀通信媒體來實現該等技術，電腦可讀通信媒體載運或傳達呈指令或資料結構之形式的程式碼且可藉由電腦來存取、讀取及/或執行。
程式碼可由一或多個處理器執行，諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合式或離散邏輯電路。因而，如本文中所使用之術語「處理器」可指代上述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文中所描述之功能性可提供於經組態以用於編碼及解碼之專用軟體模組或硬體模組內，或併入於經組合之視訊編解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。已描述本發明之各種態樣。此等及其他態樣係在以下申請專利範圍之範疇內。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
15‧‧‧通信頻道
16‧‧‧目的地器件
20‧‧‧視訊源
22‧‧‧視訊編碼器
23‧‧‧調變器/解調變器
24‧‧‧傳輸器
26‧‧‧接收器
27‧‧‧數據機
28‧‧‧視訊解碼器
30‧‧‧顯示器件
32‧‧‧預測單元
34‧‧‧記憶體
38‧‧‧變換單元
40‧‧‧量化單元
42‧‧‧逆量化單元
44‧‧‧逆變換單元
46‧‧‧熵寫碼單元
47‧‧‧濾波器單元
48‧‧‧加法器
50‧‧‧視訊編碼器
51‧‧‧加法器/求和器
52‧‧‧熵解碼單元
54‧‧‧預測單元
56‧‧‧逆量化單元
57‧‧‧濾波器單元
58‧‧‧逆變換單元
60‧‧‧視訊解碼器
62‧‧‧記憶體
64‧‧‧求和器/加法器
圖1為說明一例示性視訊編碼及解碼系統之例示性方塊圖；圖2為說明根據本發明之一例示性視訊編碼器的方塊圖；圖3為說明根據本發明之一例示性視訊解碼器的方塊圖； 圖4為說明用於活動量度之值之範圍的概念圖；圖5為說明根據本發明之一編碼技術的流程圖；及圖6為說明根據本發明之一解碼技術的流程圖。

Claims (35)

  1. 一種寫碼視訊資料之方法，該方法包含：寫碼該視訊資料之一經寫碼單元之像素資料，該寫碼包含一濾波過程；及寫碼與對該像素資料之一濾波過程相關聯之濾波資訊，其中該濾波過程包含基於一包含指示在該像素資料內之像素方差的一方差量度的活動量度之不同值而使用所界定之不同濾波器，其中使用來自針對先前經寫碼單元所傳輸之係數之預測，對於該活動量度之一第一範圍，該等濾波器中之該一或多者直接編碼至該濾波資訊中，且對於該活動量度之一第二範圍，該等濾波器中之一或多者預測性地編碼至該濾波資訊中，且其中該活動量度包含一總和修飾的拉普拉斯值var(i,j) ，其根據以下方程式而界定： 其中對於一跨越-K至K及-L至L之二維窗，k表示自-K至K之一總和的一值，且l表示自-L至L之一總和的一值，其中i及j表示該像素資料之像素座標，R(i,j)表示在座標i及j處之一給定像素值，且var(i,j)為該活動量度。
  2. 如請求項1之方法，其中該等不同濾波器係藉由不同濾波係數集合界定，且其中對於該活動量度之該第一範圍，該等濾波係數集合中之一或多者直接寫碼至該濾波 資訊中，且對於該活動量度之該第二範圍，該等濾波係數集合中之一或多者預測性地寫碼至該濾波資訊中。
  3. 如請求項1之方法，其中寫碼該視訊資料包含編碼該視訊資料，寫碼該像素資料包含將該像素資料編碼至一經編碼之位元流中，且寫碼該濾波資訊包含編碼該濾波資訊，該方法進一步包含輸出該濾波資訊作為該經編碼之位元流之部分。
  4. 如請求項1之方法，其中寫碼該視訊資料包含解碼該視訊資料，寫碼該像素資料包含自一經編碼之位元流解碼該像素資料，且寫碼該濾波資訊包含解碼該濾波資訊，該方法進一步包含接收作為該經編碼之位元流之部分的該濾波資訊。
  5. 如請求項1之方法，其中該濾波資訊進一步包括以下各者中之一或多者：識別一與一特定濾波器相關聯之圖框數目的資訊；識別一與一特定濾波器相關聯之圖框類型的資訊；識別一與一特定濾波器相關聯之視訊區塊類型的資訊；識別與一特定濾波器相關聯之量化參數的資訊。
  6. 如請求項1之方法，其中對於該活動量度之該第二範圍，該濾波資訊包括識別用以預測經預測性地寫碼之該等濾波器中之該一或多者的參考資料之資訊。
  7. 如請求項1之方法，其中該等不同濾波器係藉由不同濾波係數集合界定，該方法進一步包含使用經參數化之可 變長度碼寫碼該等濾波係數。
  8. 如請求項1之方法，其中該經寫碼單元包含以下各者中之一者：一視訊圖框，一視訊圖框之一部分，及一圖像群組(GOP)。
  9. 一種寫碼視訊資料之裝置，該裝置包含一視訊寫碼器，該視訊寫碼器：寫碼該視訊資料之一經寫碼單元之像素資料，該寫碼包含一濾波過程；及寫碼與對該像素資料之一濾波過程相關聯之濾波資訊，其中該濾波過程包含基於一包含指示在該像素資料內之像素方差的一方差量度的活動量度之不同值而使用所界定之不同濾波器，其中使用來自針對先前經寫碼單元所傳輸之係數之預測，對於該活動量度之一第一範圍，該等濾波器中之該一或多者直接編碼至該濾波資訊中，且對於該活動量度之一第二範圍，該等濾波器中之一或多者預測性地編碼至該濾波資訊中，且其中該活動量度包含一總和修飾的拉普拉斯值var(i,j) ，其根據以下方程式而界定： 其中對於一跨越-K至K及-L至L之二維窗，k表示自-K 至K之一總和的一值，且l表示自-L至L之一總和的一值，其中i及j表示該像素資料之像素座標，R(i,j)表示在座標i及j處之一給定像素值，且var(i,j)為該活動量度。
  10. 如請求項9之裝置，其中該等不同濾波器係藉由不同濾波係數集合界定，且其中對於該活動量度之該第一範圍，該等濾波係數集合中之一或多者直接寫碼至該濾波資訊中，且對於該活動量度之該第二範圍，該等濾波係數集合中之一或多者預測性地寫碼至該濾波資訊中。
  11. 如請求項9之裝置，其中該裝置編碼該視訊資料，且該視訊寫碼器包含一編碼器，該編碼器將該像素資料編碼至一經編碼之位元流中，編碼該濾波資訊，且輸出該濾波資訊作為該經編碼之位元流之部分。
  12. 如請求項9之裝置，其中該裝置解碼該視訊資料，且該視訊寫碼器包含一解碼器，該解碼器接收作為一經編碼之位元流之部分的濾波資訊，自該經編碼之位元流解碼該像素資料，且自該經編碼之位元流解碼該濾波資訊。
  13. 如請求項9之裝置，其中該濾波資訊進一步包括以下各者中之一或多者：識別一與一特定濾波器相關聯之圖框數目的資訊；識別一與一特定濾波器相關聯之圖框類型的資訊；識別一與一特定濾波器相關聯之視訊區塊類型的資訊；識別與一特定濾波器相關聯之量化參數的資訊。
  14. 如請求項9之裝置，其中對於該活動量度之該第二範 圍，該濾波資訊包括識別用以預測經預測性地寫碼之該等濾波器中之該一或多者的參考資料之資訊。
  15. 如請求項9之裝置，其中該等不同濾波器係藉由不同濾波係數集合界定，且其中該視訊寫碼器使用經參數化之可變長度碼寫碼該等濾波係數。
  16. 如請求項9之裝置，其中該經寫碼單元包含以下各者中之一者：一視訊圖框，一視訊圖框之一部分，及一圖像群組(GOP)。
  17. 如請求項9之裝置，其中該視訊寫碼器包含一積體電路。
  18. 如請求項9之裝置，其中該視訊寫碼器包含一微處理器。
  19. 如請求項9之裝置，其中該裝置包含一包括該視訊寫碼器之無線通信器件。
  20. 一種寫碼視訊資料之器件，該器件包含：用於寫碼該視訊資料之一經寫碼單元之像素資料之構件，該寫碼包含一濾波過程；及用於寫碼與對該像素資料之一濾波過程相關聯之濾波資訊之構件，其中該濾波過程包含基於一包含指示在該像素資料內之像素方差的一方差量度的活動量度之不同值而使用所界定之不同濾波器，其中使用來自針對先前經寫碼單元所傳輸之係數之預測，對於該活動量度之一 第一範圍，該等濾波器中之該一或多者直接編碼至該濾波資訊中，且對於該活動量度之一第二範圍，該等濾波器中之一或多者預測性地編碼至該濾波資訊中，且其中該活動量度包含一總和修飾的拉普拉斯值var(i,j) ，其根據以下方程式而界定： 其中對於一跨越-K至K及-L至L之二維窗，k表示自-K至K之一總和的一值，且l表示自-L至L之一總和的一值，其中i及j表示該像素資料之像素座標，R(i,j)表示在座標i及j處之一給定像素值，且var(i,j)為該活動量度。
  21. 如請求項20之器件，其中該等不同濾波器係藉由不同濾波係數集合界定，且其中對於該活動量度之該第一範圍，該等濾波係數集合中之一或多者直接寫碼至該濾波資訊中，且對於該活動量度之該第二範圍，該等濾波係數集合中之一或多者預測性地寫碼至該濾波資訊中。
  22. 如請求項20之器件，其中用於寫碼該視訊資料的構件包含用於編碼該視訊資料的構件，用於寫碼該像素資料的構件包含用於將該像素資料編碼至一經編碼之位元流中的構件，且用於寫碼該濾波資訊的構件包含用於編碼該濾波資訊的構件，該器件進一步包含用於輸出該濾波資訊作為該經編碼之位元流之部分的構件。
  23. 如請求項20之器件，其中用於寫碼該視訊資料的構件包 含用於解碼該視訊資料的構件，用於寫碼該像素資料的構件包含用於自一經編碼之位元流解碼該像素資料的構件，且用於寫碼該濾波資訊的構件包含用於解碼該濾波資訊的構件，該器件進一步包含用於接收作為該經編碼之位元流之部分的該濾波資訊的構件。
  24. 如請求項20之器件，其中該濾波資訊進一步包括以下各者中之一或多者：識別一與一特定濾波器相關聯之圖框數目的資訊；識別一與一特定濾波器相關聯之圖框類型的資訊；識別一與一特定濾波器相關聯之視訊區塊類型的資訊；識別與一特定濾波器相關聯之量化參數的資訊。
  25. 如請求項20之器件，其中對於該活動量度之該第二範圍，該濾波資訊包括識別用以預測經預測性地寫碼之該等濾波器中之該一或多者的參考資料之資訊。
  26. 如請求項20之器件，其中該等不同濾波器係藉由不同濾波係數集合界定，該器件進一步包含用於使用經參數化之可變長度碼寫碼該等濾波係數的構件。
  27. 如請求項20之器件，其中該經寫碼單元包含以下各者中之一者：一視訊圖框，一視訊圖框之一部分，及一圖像群組(GOP)。
  28. 一種電腦可讀儲存媒體，其包含指令，該等指令在一處 理器中執行時使該處理器：寫碼一視訊資料之一經寫碼單元之像素資料，該寫碼包含一濾波過程；及寫碼與對該像素資料之一濾波過程相關聯之濾波資訊，其中該濾波過程包含基於一包含指示在該像素資料內之像素方差的一方差量度的活動量度之不同值而使用所界定之不同濾波器，其中使用來自針對先前經寫碼單元所傳輸之係數之預測，對於該活動量度之一第一範圍，該等濾波器中之該一或多者直接編碼至該濾波資訊中，且對於該活動量度之一第二範圍，該等濾波器中之一或多者預測性地編碼至該濾波資訊中，且其中該活動量度包含一總和修飾的拉普拉斯值var(i,j) ，其根據以下方程式而界定： 其中對於一跨越-K至K及-L至L之二維窗，k表示自-K至K之一總和的一值，且l表示自-L至L之一總和的一值，其中i及j表示該像素資料之像素座標，R(i,j)表示在座標i及j處之一給定像素值，且var(i,j)為該活動量度。
  29. 如請求項28之電腦可讀儲存媒體，其中該等不同濾波器係藉由不同濾波係數集合界定，且其中對於該活動量度之該第一範圍，該等濾波係數集合中之一或多者直接寫碼至該濾波資訊中，且對於該活動量度之該第二範圍， 該等濾波係數集合中之一或多者預測性地寫碼至該濾波資訊中。
  30. 如請求項28之電腦可讀儲存媒體，其中該等指令使器件將該像素資料編碼至一經編碼之位元流中，編碼該濾波資訊，且輸出該濾波資訊作為該經編碼之位元流之部分。
  31. 如請求項28之電腦可讀儲存媒體，其中該等指令使該器件自一經編碼之位元流解碼該像素資料，且在接收到作為該經編碼之位元流之部分的該濾波資訊時解碼該濾波資訊。
  32. 如請求項28之電腦可讀儲存媒體，其中該濾波資訊進一步包括以下各者中之一或多者：識別一與一特定濾波器相關聯之圖框數目的資訊；識別一與一特定濾波器相關聯之圖框類型的資訊；識別一與一特定濾波器相關聯之視訊區塊類型的資訊；識別與一特定濾波器相關聯之量化參數的資訊。
  33. 如請求項28之電腦可讀儲存媒體，其中對於該活動量度之該第二範圍，該濾波資訊包括識別用以預測經預測性地寫碼之該等濾波器中之該一或多者的參考資料之資訊。
  34. 如請求項28之電腦可讀儲存媒體，其中該等不同濾波器係藉由不同濾波係數集合界定，且其中該等指令使該處理器使用經參數化之可變長度碼寫碼該等濾波係數。
  35. 如請求項28之電腦可讀儲存媒體，其中該經寫碼單元包含以下各者中之一者：一視訊圖框，一視訊圖框之一部分，及一圖像群組(GOP)。
TW099101168A 2009-01-15 2010-01-15 基於視訊寫碼中活動量度之濾波預測 TWI413416B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14487309P 2009-01-15 2009-01-15
US17834609P 2009-05-14 2009-05-14
US12/687,487 US9143803B2 (en) 2009-01-15 2010-01-14 Filter prediction based on activity metrics in video coding

Publications (2)

Publication Number Publication Date
TW201119398A TW201119398A (en) 2011-06-01
TWI413416B true TWI413416B (zh) 2013-10-21

Family

ID=42319083

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099101168A TWI413416B (zh) 2009-01-15 2010-01-15 基於視訊寫碼中活動量度之濾波預測

Country Status (8)

Country Link
US (1) US9143803B2 (zh)
EP (1) EP2387851B1 (zh)
JP (1) JP5405596B2 (zh)
KR (1) KR101323546B1 (zh)
CN (1) CN102369731B (zh)
BR (1) BRPI1007143A2 (zh)
TW (1) TWI413416B (zh)
WO (1) WO2010083438A2 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
CN102265611A (zh) * 2010-03-15 2011-11-30 联发科技（新加坡）私人有限公司 在混合视频编码中具有多个滤波器的本地环路内滤波
KR20110123651A (ko) * 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
EP2584781A4 (en) * 2010-06-17 2016-03-09 Sharp Kk IMAGE FILTER DEVICE, DECODING APPARATUS, ENCODING APPARATUS, AND DATA STRUCTURE
US20120044992A1 (en) * 2010-08-17 2012-02-23 Qualcomm Incorporated Low complexity adaptive filter
US9819966B2 (en) * 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
US9247265B2 (en) * 2010-09-01 2016-01-26 Qualcomm Incorporated Multi-input adaptive filter based on combination of sum-modified Laplacian filter indexing and quadtree partitioning
US9813738B2 (en) 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
WO2012071417A1 (en) 2010-11-24 2012-05-31 Thomson Licensing Adaptive loop filtering
US8958478B2 (en) * 2010-12-03 2015-02-17 Technische Universitaet Berlin Method and device for processing pixels contained in a video sequence
US9445126B2 (en) * 2011-01-05 2016-09-13 Qualcomm Incorporated Video filtering using a combination of one-dimensional switched filter and one-dimensional adaptive filter
US20120183078A1 (en) * 2011-01-14 2012-07-19 Samsung Electronics Co., Ltd. Filter adaptation with directional features for video/image coding
US20120195367A1 (en) * 2011-01-14 2012-08-02 Ebrisk Video Inc. Adaptive loop filtering using tables of filter sets for video coding
US8964852B2 (en) * 2011-02-23 2015-02-24 Qualcomm Incorporated Multi-metric filtering
JP2012213128A (ja) 2011-03-24 2012-11-01 Sony Corp 画像処理装置および方法
KR20120118782A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 적응적 필터링을 이용한 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9008180B2 (en) 2011-04-21 2015-04-14 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding images using a prediction method adopting in-loop filtering
WO2012176964A1 (ko) * 2011-06-24 2012-12-27 엘지전자 주식회사 영상 정보 부호화 및 복호화 방법
NO335667B1 (no) * 2011-06-29 2015-01-19 Cisco Systems Int Sarl Metode for videokomprimering
AU2012303976B2 (en) * 2011-08-31 2015-08-13 Mediatek Inc. Method and apparatus for adaptive loop filter with constrained filter coefficients
US9167269B2 (en) * 2011-10-25 2015-10-20 Qualcomm Incorporated Determining boundary strength values for deblocking filtering for video coding
US9635359B2 (en) * 2011-11-28 2017-04-25 Canon Kabushiki Kaisha Method and apparatus for determining deblocking filter intensity
JP2014197723A (ja) * 2012-01-06 2014-10-16 ソニー株式会社 画像処理装置および方法
US9445088B2 (en) * 2012-04-09 2016-09-13 Qualcomm Incorporated LCU-based adaptive loop filtering for video coding
JP6159225B2 (ja) * 2013-10-29 2017-07-05 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
US9584395B1 (en) * 2013-11-13 2017-02-28 Netflix, Inc. Adaptive metric collection, storage, and alert thresholds
US10142636B2 (en) * 2014-06-09 2018-11-27 Sony Corporation Communication system with coding mechanism and method of operation thereof
US10057574B2 (en) * 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
WO2016204372A1 (ko) * 2015-06-18 2016-12-22 엘지전자 주식회사 영상 코딩 시스템에서 필터 뱅크를 이용한 영상 필터링 방법 및 장치
US10764574B2 (en) * 2015-07-01 2020-09-01 Panasonic Intellectual Property Management Co., Ltd. Encoding method, decoding method, encoding apparatus, decoding apparatus, and encoding and decoding apparatus
CN105049846B (zh) * 2015-08-14 2019-05-21 广东中星微电子有限公司 图像和视频编解码的方法和设备
KR102257829B1 (ko) 2017-04-13 2021-05-28 엘지전자 주식회사 영상의 부호화/복호화 방법 및 이를 위한 장치
GB2572595B (en) 2018-04-04 2023-03-22 British Broadcasting Corp Video encoding and decoding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040161035A1 (en) * 2001-04-25 2004-08-19 Thomas Wedi Device for interpolating of scanning values and image encoder and decoder
TW200715866A (en) * 2005-04-11 2007-04-16 Intel Corp Generating edge masks for a deblocking filter
WO2008084378A2 (en) * 2007-01-09 2008-07-17 Nokia Corporation Adaptive interpolation filters for video coding

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS612482A (ja) 1984-06-15 1986-01-08 Mitsubishi Electric Corp サブナイキスト標本化フイルタ
CA1270322A (en) 1983-12-22 1990-06-12 Kotaro Asai Adaptive comb filter
JP2673778B2 (ja) 1994-02-22 1997-11-05 国際電信電話株式会社 動画像の復号化における雑音低減装置
JPH0970044A (ja) 1995-08-31 1997-03-11 Sony Corp 画像信号処理装置および方法
US5798795A (en) 1996-03-01 1998-08-25 Florida Atlantic University Method and apparatus for encoding and decoding video signals
US5844613A (en) 1997-03-17 1998-12-01 Microsoft Corporation Global motion estimator for motion video signal encoding
KR100265722B1 (ko) 1997-04-10 2000-09-15 백준기 블럭기반영상처리방법및장치
WO2000018129A1 (en) 1998-09-22 2000-03-30 Matsushita Electric Industrial Co., Ltd. Video signal encoding method, video signal encoder, and program recorded medium
US6421720B2 (en) 1998-10-28 2002-07-16 Cisco Technology, Inc. Codec-independent technique for modulating bandwidth in packet network
US6529638B1 (en) 1999-02-01 2003-03-04 Sharp Laboratories Of America, Inc. Block boundary artifact reduction for block-based image compression
US7003038B2 (en) 1999-09-27 2006-02-21 Mitsubishi Electric Research Labs., Inc. Activity descriptor for video sequences
FI117533B (fi) 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
US7203234B1 (en) 2000-03-31 2007-04-10 Sharp Laboratories Of America, Inc. Method of directional filtering for post-processing compressed video
US7289154B2 (en) 2000-05-10 2007-10-30 Eastman Kodak Company Digital image processing method and apparatus for brightness adjustment of digital images
US6504872B1 (en) 2000-07-28 2003-01-07 Zenith Electronics Corporation Down-conversion decoder for interlaced video
US20030026495A1 (en) 2001-03-07 2003-02-06 Gondek Jay Stephen Parameterized sharpening and smoothing method and apparatus
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
KR100747958B1 (ko) 2001-09-18 2007-08-08 마쯔시다덴기산교 가부시키가이샤 화상 부호화 방법 및 화상 복호화 방법
US6983079B2 (en) 2001-09-20 2006-01-03 Seiko Epson Corporation Reducing blocking and ringing artifacts in low-bit-rate coding
KR100418437B1 (ko) * 2001-12-24 2004-02-14 (주)씨앤에스 테크놀로지 멀티미디어 신호처리를 위한 영상복원 프로세서
MXPA04006814A (es) 2002-01-14 2004-12-06 Nokia Corp Filtros dinamicos de codificacion.
JP4102973B2 (ja) 2002-04-24 2008-06-18 日本電気株式会社 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
EP1467491B1 (de) 2002-05-02 2007-01-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Arithmetische Codierung von Transformationskoeffizienten
AU2003246185A1 (en) 2002-06-25 2004-01-06 Matsushita Electric Industrial Co., Ltd. Motion detection device and noise reduction device using that
BR0303901A (pt) 2002-07-11 2004-08-10 Matsushita Electric Ind Co Ltd Método de determinação de poder de filtragem, método de codificação de imagem móvel e método de decodificação de imagem móvel
US7391812B2 (en) 2002-07-14 2008-06-24 Apple Inc. Adaptively post filtering encoded video
WO2004082290A1 (ja) 2003-03-10 2004-09-23 Mitsubishi Denki Kabushiki Kaisha 映像信号符号化装置、および映像信号符号化方法
US7430335B2 (en) 2003-08-13 2008-09-30 Apple Inc Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using spatial filtering
US8625680B2 (en) 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
US8094711B2 (en) 2003-09-17 2012-01-10 Thomson Licensing Adaptive reference picture generation
US7822286B2 (en) 2003-11-07 2010-10-26 Mitsubishi Electric Research Laboratories, Inc. Filtering artifacts in images with 3D spatio-temporal fuzzy filters
US7437013B2 (en) 2003-12-23 2008-10-14 General Instrument Corporation Directional spatial video noise reduction
US7453938B2 (en) 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
US8165389B2 (en) 2004-03-15 2012-04-24 Microsoft Corp. Adaptive interpolation with artifact reduction of images
JP4468734B2 (ja) 2004-04-27 2010-05-26 オリンパス株式会社 映像信号処理装置と映像信号処理プログラム
US7460596B2 (en) 2004-04-29 2008-12-02 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US20070230565A1 (en) 2004-06-18 2007-10-04 Tourapis Alexandros M Method and Apparatus for Video Encoding Optimization
EP2096873A3 (en) 2004-07-20 2009-10-14 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate conversion (EA-FRUC) for video compression
US20060028562A1 (en) 2004-08-09 2006-02-09 Martin Schmitz Fast area-selected filtering for pixel-noise and analog artifacts reduction
US7370126B2 (en) 2004-11-03 2008-05-06 Cisco Technology, Inc. System and method for implementing a demand paging jitter buffer algorithm
US7634148B2 (en) 2005-01-07 2009-12-15 Ntt Docomo, Inc. Image signal transforming and inverse-transforming method and computer program product with pre-encoding filtering features
JP2008536414A (ja) 2005-04-13 2008-09-04 ゴットフリート・ヴィルヘルム・ライプニッツ・ウニヴェルジテート・ハノーヴァー ビデオの拡張された符号化方法及び装置
US7680355B2 (en) 2005-05-02 2010-03-16 Intel Corporation Detection of artifacts resulting from image signal decompression
US8422546B2 (en) 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
US20060285597A1 (en) 2005-06-20 2006-12-21 Flextronics International Usa, Inc. Reusing interpolated values in advanced video encoders
US8208564B2 (en) 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
US7778169B2 (en) 2005-09-02 2010-08-17 Cisco Technology, Inc. Packetizing media for a time slotted communication system
US7894522B2 (en) 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
JP4455487B2 (ja) 2005-12-16 2010-04-21 株式会社東芝 復号化装置及び復号化方法及びプログラム
US8189934B2 (en) 2006-03-27 2012-05-29 Panasonic Corporation Image coding apparatus and image decoding apparatus
JP5535625B2 (ja) 2006-07-18 2014-07-02 トムソン ライセンシング 適応的参照フィルタリングの方法及び装置
US8253752B2 (en) 2006-07-20 2012-08-28 Qualcomm Incorporated Method and apparatus for encoder assisted pre-processing
US8731064B2 (en) 2006-09-11 2014-05-20 Apple Inc. Post-processing for decoder complexity scalability
US20080075165A1 (en) 2006-09-26 2008-03-27 Nokia Corporation Adaptive interpolation filters for video coding
JP2010514246A (ja) 2006-12-18 2010-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像圧縮及び伸張
WO2008148272A1 (en) 2007-06-04 2008-12-11 France Telecom Research & Development Beijing Company Limited Method and apparatus for sub-pixel motion-compensated video coding
EP2227020B1 (en) 2007-09-28 2014-08-13 Dolby Laboratories Licensing Corporation Video compression and transmission techniques
EP2048886A1 (en) 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
WO2009088340A1 (en) * 2008-01-08 2009-07-16 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive filtering
US8831086B2 (en) 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
WO2009131508A2 (en) 2008-04-23 2009-10-29 Telefonaktiebolaget Lm Ericsson (Publ) Template-based pixel block processing
US10123050B2 (en) 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
US8290782B2 (en) 2008-07-24 2012-10-16 Dts, Inc. Compression of audio scale-factors by two-dimensional transformation
US8736751B2 (en) * 2008-08-26 2014-05-27 Empire Technology Development Llc Digital presenter for displaying image captured by camera with illumination system
US8150191B2 (en) * 2008-10-14 2012-04-03 Interra Systems Inc. Method and system for calculating blur artifacts in videos using user perception threshold
US8792564B2 (en) 2008-10-28 2014-07-29 Sony Corporation Adaptive preprocessing method using feature-extracted video maps
US8761538B2 (en) 2008-12-10 2014-06-24 Nvidia Corporation Measurement-based and scalable deblock filtering of image data
WO2010102935A1 (en) 2009-03-09 2010-09-16 Thomson Licensing Estimation of the prediction mode for the intra coding mode
EP2262267A1 (en) 2009-06-10 2010-12-15 Panasonic Corporation Filter coefficient coding scheme for video coding
US8787449B2 (en) 2010-04-09 2014-07-22 Sony Corporation Optimal separable adaptive loop filter
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8964852B2 (en) 2011-02-23 2015-02-24 Qualcomm Incorporated Multi-metric filtering

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040161035A1 (en) * 2001-04-25 2004-08-19 Thomas Wedi Device for interpolating of scanning values and image encoder and decoder
TW200715866A (en) * 2005-04-11 2007-04-16 Intel Corp Generating edge masks for a deblocking filter
WO2008084378A2 (en) * 2007-01-09 2008-07-17 Nokia Corporation Adaptive interpolation filters for video coding

Also Published As

Publication number Publication date
CN102369731A (zh) 2012-03-07
US9143803B2 (en) 2015-09-22
KR20110111476A (ko) 2011-10-11
CN102369731B (zh) 2015-03-18
JP2012515514A (ja) 2012-07-05
BRPI1007143A2 (pt) 2018-03-13
TW201119398A (en) 2011-06-01
EP2387851A2 (en) 2011-11-23
US20100177822A1 (en) 2010-07-15
KR101323546B1 (ko) 2013-10-29
EP2387851B1 (en) 2013-11-27
JP5405596B2 (ja) 2014-02-05
WO2010083438A8 (en) 2011-11-17
WO2010083438A3 (en) 2010-11-11
WO2010083438A2 (en) 2010-07-22

Similar Documents

Publication Publication Date Title
TWI413416B (zh) 基於視訊寫碼中活動量度之濾波預測
US9049444B2 (en) Mode dependent scanning of coefficients of a block of video data
KR101273149B1 (ko) 비디오 코딩에서 보간 필터링, 인-루프 필터링 및 포스트-필터링을 위한 결합된 방식
JP5290325B2 (ja) Ｃａｂａｃコーダのためのレート歪みモデリングに基づいた量子化
TWI492634B (zh) 根據內容調適性二進制算數寫碼之寫碼器之二遍量化
TWI445408B (zh) 使用大於４ｘ４及８ｘ８之轉換之視訊編碼
JP5415546B2 (ja) ベクトル化エントロピーコーディングに基づく加重予測
US8638852B2 (en) Video coding of filter coefficients based on horizontal and vertical symmetry
JP5813783B2 (ja) １次元スイッチ式フィルタと１次元適応フィルタとの組合せを使用したビデオフィルタリング
KR20130135362A (ko) 비디오 코딩에서 단예측 인접자들에 기초한 양예측 머지 모드

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees