TWI542196B - 根據視頻編碼進行自適應環路濾波的設備及操作視頻編碼器的方法 - Google Patents

根據視頻編碼進行自適應環路濾波的設備及操作視頻編碼器的方法 Download PDF

Info

Publication number
TWI542196B
TWI542196B TW101131377A TW101131377A TWI542196B TW I542196 B TWI542196 B TW I542196B TW 101131377 A TW101131377 A TW 101131377A TW 101131377 A TW101131377 A TW 101131377A TW I542196 B TWI542196 B TW I542196B
Authority
TW
Taiwan
Prior art keywords
loop filter
adaptive loop
video
output
video signal
Prior art date
Application number
TW101131377A
Other languages
English (en)
Other versions
TW201320759A (zh
Inventor
陳培松
沈八中
溫偉傑
Original Assignee
美國博通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美國博通公司 filed Critical 美國博通公司
Publication of TW201320759A publication Critical patent/TW201320759A/zh
Application granted granted Critical
Publication of TWI542196B publication Critical patent/TWI542196B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

根據視頻編碼進行自適應環路濾波的設備及操作視頻編碼 器的方法 相關專利/專利申請的交叉引用
本發明要求於2011年9月27日提交的美國臨時專利申請第61/539,666號以及於2012年6月14日提交的美國專利申請第13/523,830號的優先權，將其全部內容通過引用結合於此。
以下標準/草案標準之全文以引用的方式併入本文中，並且實際上構成本專利申請的一部分：
1.“High efficiency video coding(HEVC)text specification draft 6(高性能視頻編碼(HEVC)文本規範草案6)”，Joint Collaborative Team on Video Coding(JCT-VC)(視頻編碼聯合協作小組)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，第七次會議：瑞士日內瓦，2011年11月21-30日，文檔：JCTVC-H1003，第259頁。
2.國際電信聯盟，ITU-T，TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU，H.264(03/2010)，SERIES H：AUDIOVISUAL AND MULTIMEDIA SYSTEMS，視聽業務的基礎設施-移動視頻編碼，為通用視聽業務進行高級視頻編碼，Recommendation ITU-T H.264，或者也稱為International Telecomm ISO/IEC 14496-10-MPEG-4第10部分，AVC(高級視頻編碼)，H.264/MPEG-4第10部分或AVC(高級視頻編碼)，ITU H.264/MPEG4-AVC或等同物。
本發明總體涉及數位視頻處理；更具體地說，涉及根據這種數位視頻處理的信號發送(signaling，信令)。
已經連續多年研究了用於傳送數位媒體(例如，圖像、視頻、資料等)的通信系統。相對於使用某種形式的視頻資料的這種通信系統，以某個幀速率(例如，每秒幀)輸出或顯示大量的數位圖像，以實現適合於輸出和消耗的視頻信號。在使用視頻資料進行操作的多個這種通信系統內，在吞吐量(例如，可從第一位置發送到第二位置的圖像幀的數量)和最終要輸出或顯示的信號的視頻和/或圖像品質之間可進行平衡(折衷)。本領域未充分地或可接受地提供一種裝置，該裝置可根據提供充分的或可接受的視頻和/或圖像品質，將視頻資料從第一位置發送到第二位置，確保與通信相關的費用較低、在通信鏈路的各個端部的通信裝置的複雜性較低等。
本發明提供了一種設備，包括：視頻編碼器，將輸入視頻信號進行編碼，從而生成輸出位元流；並且其中：視頻編碼器包括至少一個回饋環路，該回饋環路具有通過僅縮放處理進行操作的樣本自適應偏置濾波器和自適應環路濾波器，從而使得自適應環路濾波器被實現為從樣本自適應偏置濾波器接收樣本自適應偏置濾波的輸出信號；在視頻編碼器內逐方塊或逐條帶(slice)地選擇性使用自適應環路濾波器；該設備向被實現為接收輸出位元流的至少一個附加設備發送信號，輸出位元流的多個方塊或多個條帶與自適應環路濾波器選擇性地濾波的輸入視頻信號相關聯；以及自適應環路濾波器用於根據多個增益值中的每一個進行僅縮放處理。
優選地，自適應環路濾波器根據僅縮放處理、僅偏置處理以及縮放和偏置處理而選擇性地進行操作。
優選地，在第一時間處或在第一時間的期間中，自適應環路濾波器用於根據多個增益值中的第一值進行僅縮放處理；以及在第二時間處或在第二時間的期間中，自適應環路濾波器用於根據多個增益值中的第二值進行僅縮放處理。
優選地，設備為第一通信裝置；至少一個附加設備為第二通信裝置，其通過至少一個通信通道與第一通信裝置進行通信，包括：輸入端，接收輸出位元流；以及視頻解碼器，將輸出位元流進行解碼，以生成與輸入視頻信號相對應的輸出視頻信號，其中，視頻解碼器包括至少一個附加回饋環路，該附加回饋環路具有根據僅縮放處理進行操作的至少一個附加自適應環路濾波器；並且其中：第二通信裝置為電腦、膝上型電腦、高清晰度電視、標準清晰度電視、掌上型媒體單元、機上盒以及數位視頻光碟播放器中的至少一個。
優選地，設備為通信裝置，該通信裝置在衛星通信系統、無線通信系統、有線通信系統、光纖通信系統以及移動通信系統中的至少一個內進行操作。
本發明還提供了一種設備，包括：視頻編碼器，將輸入視頻信號進行編碼，從而生成輸出位元流；並且其中：視頻編碼器包括至少一個回饋環路，該回饋環路具有根據僅縮放處理進行操作的自適應環路濾波器。
優選地，在視頻編碼器內逐方塊或逐條帶地選擇性使用自適應環路濾波器；設備向被實現為接收輸出位元流的至 少一個附加設備發送信號，輸出位元流的多個方塊或多個條帶與自適應環路濾波器選擇性地濾波的輸入視頻信號相關聯。
優選地，該設備還包括：樣本自適應偏置濾波器，包括在具有自適應環路濾波器的至少一個回饋環路，從而使得自適應環路濾波器被實現為從樣本自適應偏置濾波器接收樣本自適應偏置濾波的輸出信號；並且其中：自適應環路濾波器可通過僅縮放處理、僅偏置處理以及縮放和偏置處理而選擇性地操作。
優選地，該設備還包括：樣本自適應偏置濾波器，包括在具有自適應環路濾波器的至少一個回饋環路，從而使得自適應環路濾波器被實現為從樣本自適應偏置濾波器接收樣本自適應偏置濾波的輸出信號；並且其中：自適應環路濾波器用於根據多個增益值中的每一個進行僅縮放處理。
優選地，該設備還包括：樣本自適應偏置濾波器，包括在具有自適應環路濾波器的至少一個回饋環路，從而使得自適應環路濾波器被實現為從樣本自適應偏置濾波器接收樣本自適應偏置濾波的輸出信號；並且其中：在第一時間處或在第一時間的期間中，自適應環路濾波器用於根據第一增益值進行僅縮放處理；以及在第二時間處或在第二時間的期間中，自適應環路濾波器用於根據第二增益值進行僅縮放處理。
優選地，設備為第一通信裝置；並且還包括：第二通信裝置，其通過至少一個通信通道與第一通信裝置進行通信，包括：輸入端，接收輸出位元流；以及視頻解碼器，將輸出位元流進行解碼，以生成與輸入視頻信號相對應的輸出視頻信號，其中，視頻解碼器包括至少一個附加回饋 環路，該附加回饋環路具有根據僅縮放處理進行操作的至少一個附加自適應環路濾波器。
優選地，第二通信裝置為電腦、膝上型電腦、高清晰度電視、標準清晰度電視、掌上型媒體單元、機上盒以及數位視頻光碟播放器中的至少一個。
優選地，設備為通信裝置，該通信裝置在衛星通信系統、無線通信系統、有線通信系統、光纖通信系統以及移動通信系統中的至少一個內進行操作。
本發明還提供了一種用於操作通信裝置的視頻編碼器的方法，方法包括：操作視頻編碼器，以將輸入視頻信號進行編碼，從而生成輸出位元流；並且其中：視頻編碼器包括至少一個回饋環路，回饋環路具有根據僅縮放處理進行操作的自適應環路濾波器。
優選地，該方法還包括：操作在視頻編碼器內逐方塊或逐條帶地選擇性使用的自適應環路濾波器；從通信裝置向被實現為接收輸出位元流的至少一個附加通信裝置發送信號，輸出位元流的多個方塊或多個條帶與自適應環路濾波器選擇性地濾波的輸入視頻信號相關聯。
優選地，該方法還包括：操作樣本自適應偏置濾波器，該樣本自適應偏置濾波器包括在具有自適應環路濾波器的至少一個回饋環路，以生成樣本自適應偏置濾波的輸出信號並且將輸出信號提供給自適應環路濾波器；並且操作根據僅縮放處理、僅偏置處理以及縮放和偏置處理選擇性地進行操作的自適應環路濾波器。
優選地，該方法還包括：操作樣本自適應偏置濾波器，該樣本自適應偏置濾波器包括在具有自適應環路濾波器的 至少一個回饋環路，以生成樣本自適應偏置濾波的輸出信號並且將輸出信號提供給自適應環路濾波器；並且其中：自適應環路濾波器用於根據多個增益值中的每一個進行僅縮放處理。
優選地，該方法還包括：操作樣本自適應偏置濾波器，該樣本自適應偏置濾波器包括在具有自適應環路濾波器的至少一個回饋環路，以生成樣本自適應偏置濾波的輸出信號並且將輸出信號提供給自適應環路濾波器；在第一時間處或在第一時間的期間中，操作自適應環路濾波器，自適應環路濾波器用於根據第一增益值進行僅縮放處理；以及在第二時間處或在第二時間的期間中，操作自適應環路濾波器，自適應環路濾波器用於根據第二增益值進行僅縮放處理。
優選地，該方法還包括：通過以下方式操作附加通信裝置，附加通信裝置通過至少一個通信通道與第一通信裝置進行通信：接收輸出位元流；以及操作視頻解碼器，以將輸出位元流進行解碼，以生成與輸入視頻信號相對應的輸出視頻信號，其中，視頻解碼器包括至少一個附加回饋環路，該附加回饋環路具有根據僅縮放處理進行操作的至少一個附加自適應環路濾波器，其中，附加通信裝置為電腦、膝上型電腦、高清晰度電視、標準清晰度電視、掌上型媒體單元、機上盒以及數位視頻光碟播放器中的至少一個。
優選地，通信裝置在衛星通信系統、無線通信系統、有線通信系統、光纖通信系統以及移動通信系統中的至少一個內進行操作。
在使用數位媒體(諸如數位視頻)的許多裝置內，使用 圖元(pixels)表示這些裝置各自的圖像，這些圖像本質上為數位的。在某些通信系統內，可將數位媒體從第一位置發送到可輸出或顯示這種媒體的第二位置。數位通信系統(包括用於傳送數位視頻的那些通信系統)的目的在於將數位資料從一個位置或子系統中沒有誤差或以較低的可接受的誤差率而發送到另一個位置或子系統中。如圖1中所示，在各種通信系統內，可通過各種通信通道傳送資料：磁性媒體、有線、無線、纖維、銅和/或其他類型的媒體。
圖1和圖2是分別示出了通信系統100和200的各種實施方式的示圖。
參看圖1，通信系統100的這個實施方式為通信通道199，該通信通道將位於通信通道199一端的通信裝置110(包括具有編碼器114的發送器112和具有解碼器118的接收器116)連通地耦合至位於通信通道199另一端的另一個通信裝置120(包括具有編碼器128的發送器126和具有解碼器124的接收器122)。在某些實施方式中，通信裝置110和120中的任一個可僅包括發送器或接收器。存在幾種不同類型的媒體，通過這些媒體，可實現通信通道199(例如，使用碟形衛星天線132和134的衛星通信通道130、使用塔142和144和/或本地天線152和154的無線通信通道140、有線通信通道150、和/或使用電光(E/O)介面162和光電(O/E)介面164的光纖通信通道160)。此外，可實現多於一種的媒體，並將它們結合在一起，從而形成通信通道199。
應注意，在不背離本發明的範圍和精神的情況下，這種通信裝置110和/或120可為固定或移動式。例如，通信裝置110和/或120可在固定的位置上實現，或者可為移動通 信裝置，能夠與多於一個的網路接入點相關聯和/或通信(例如，包括一個或多個無線局域網(WLAN)的移動通信系統環境中的各個不同的接入點(AP)、包括一個或多個衛星的移動通信系統環境中的各個不同的衛星、或者通常為包括一個或多個網路接入點的移動通信系統環境中的各個不同的網路接入點，通過這些接入點，通信裝置110和/或120可實現通信)。
為了減少通信系統內不期望產生的傳送錯誤，通常使用糾錯和通道編碼方案。通常，這些糾錯和通道編碼方案包括在通信通道199的發送器端使用編碼器以及在通信通道199的接收器端使用解碼器。
在任何這種所需要的通信系統(例如，包括圖1中所述的那些變形)、任何資訊儲存裝置(例如，硬碟驅動器(HDD)、網路資訊儲存裝置和/或伺服器等)、或需要進行資訊編碼和/或解碼的任何應用程式中，可使用上述各種ECC代碼中的任何一種。
一般而言，當考慮將視頻資料從一個位置或子系統傳送到另一個位置或子系統的通信系統時，通常可將視頻資料編碼視為在通信通道199的發送端進行，並且通常可將視頻資料解碼視為在通信通道199的接收端進行。
同樣，儘管該示圖的實施方式示出了能夠在通信裝置110和120之間進行的雙向通信，當然應注意，在某些實施方式中，通信裝置110可僅包括視頻資料編碼能力，通信裝置120可僅包括視頻資料解碼能力，反之亦然(例如，在諸如根據視頻廣播實施方式的單向通信實施方式中)。
參看圖2的通信系統200，在通信通道199的發送端，將資訊位元201(例如，特別與一個實施方式中的視頻資料對應)提供給發送器297，該發送器可用於使用編碼器和符號映射器220(分別可視為不同的功能方塊222和224)將這些資訊位元201進行編碼，從而生成一系列離散值調制符號203，將這些符號提供給發送驅動器230，該驅動器使用DAC(數位/類比轉換器)232以生成連續時間發送信號204並且使用發送濾波器234生成濾波的連續時間發送信號205，該發送信號基本適合於通信通道299。在通信通道299的接收端，將連續時間接收信號206提供給AFE(模擬前端)260，該模擬前端包括接收濾波器262(生成濾波的連續時間接收信號207)以及ADC(類比/數位轉換器)264(生成離散時間接收信號208)。度量發生器270計算度量209(例如，根據符號和/或位元)，解碼器280使用該度量，最佳地估計在其中進行編碼的離散值調製符號和資訊位元210。
在發送器297和接收器298的每個內，可以實現其內各種元件、模組、功能方塊、電路等的任何所需要的結合。例如，該示圖示出了處理模組280a，包括編碼器和符號映射器220以及其中所有相關聯的相應元件，並且示出了處理模組280b，包括度量發生器270和解碼器280以及其中所有相關的相應元件。這種處理模組280a和280b可為各自的積體電路。當然，在不背離本發明的範圍和精神的情況下，可替代地執行其他劃界和分組。例如，發送器297內的所有元件可包括在第一處理模組或積體電路內，並且接收器298內的所有元件可包括在第二處理模組或積體電 路內。或者，在其他實施方式中，可對發送器297和接收器298的每個內的元件進行任何其他組合。
與上述實施方式一樣，這種通信系統200可用於通信視頻資料，將視頻資料從一個位置或子系統中傳送到另一個位置或子系統中(例如，通過通信通道299從發送器297傳送到接收器298)。
以下圖3A至圖3H中所示的任何不同裝置可進行數位圖像和/或媒體的數位圖像和/或視頻處理，從而允許用戶觀看這種數位圖像和/或視頻。這些不同的裝置不包括窮舉的裝置清單，在這些裝置中，可實行本文中所述的圖像和/或視頻處理，並且應注意在不背離本發明的範圍和精神的情況下，任何通用數位圖像和/或視頻處理裝置都可實現為進行本文中所述的處理。
圖3A示出了電腦301的一個實施方式。電腦301可為臺式電腦、或連接到儲存陣列(如獨立磁片冗餘陣列(RAID))的主機的企業儲存裝置(諸如伺服器)、儲存路由器、邊界路由器、儲存開關和/或儲存導向器。用戶能夠使用電腦301觀看靜止數位圖像和/或視頻(例如，一系列數位圖像)。通常，電腦301上包括各種圖像和/或視頻查看程式和/或媒體播放器程式，從而允許用戶觀看這種圖像(包括視頻)。
圖3B示出了膝上型電腦302的一個實施方式。這種膝上型電腦302可位於並且用於任何多種環境中。近年來，隨著膝上型電腦內處理能力和功能的日益增長，在本應使用先前高端的並且更強大的臺式電腦的多種情況下，使用了膝上型電腦。與電腦301一樣，膝上型電腦302可包括 各種圖像查看程式和/或媒體播放器程式，從而允許用戶觀看這種圖像(包括視頻)。
圖3C示出了高清晰度(HD)電視303的一個實施方式。很多HD電視303包括集成調諧器，從而允許接收、處理並解碼其上的媒體內容(例如，電視廣播信號)。或者，有時，HD電視303從諸如數位視頻光碟(DVD)播放器、機上盒(STB)的另一個源接收媒體內容，該機上盒接收、處理並解碼有線和/或衛星電視廣播信號。無論是否具體實現，HD電視303都可如本文中所述實現為進行圖像和/或視頻處理。一般而言，HD電視303能夠顯示HD媒體內容，並且通常實現為具有16：9的寬屏縱橫比。
圖3D示出了標準清晰度(SD)電視304的一個實施方式。當然，SD電視304與HD電視303略微相似，至少一個差別在於，SD電視304不能顯示HD媒體內容，並且SD電視304通常實現為具有4：3的全屏縱橫比。儘管如此，甚至SD電視304可實現為進行本文中所述的圖像和/或視頻處理。
圖3E示出了掌上型媒體單元305的一個實施方式。掌上型媒體單元305可用於提供通用儲存或圖像和/或視頻內容資訊儲存，諸如聯合圖像專家組(JPEG)檔、標記圖像檔格式(TIFF)、點陣圖、運動圖像專家組(MPEG)檔、視窗系統媒體(Windows Media)(WMA/WMV)檔、為用戶重播的MPEG4檔等其他類型的視頻內容、和/或可以數位格式儲存的任何其他類型的資訊。過去，這種掌上型媒體單元主要用於儲存和重播音頻媒體；然而，這種掌上型媒體單元305可用於儲存和重播任何虛擬的媒體(例如，音頻媒體、視頻媒體、攝影媒體等)。而且，這種掌上型媒 體單元305也可包括其他功能，例如用於進行有線和無線通信的集成通信電路。這種掌上型媒體單元305可實現為進行本文中所述的圖像和/或視頻處理。
圖3F示出了機上盒(STB)306的一個實施方式。如上所述，有時，STB 306可實現為接收、處理並解碼提供給任何合適的顯示功能裝置(諸如SD電視304和/或HD電視303)的有線和/或衛星電視廣播信號。這種STB 306可單獨操作或與這種顯示功能裝置共同操作，從而進行本文中所述的圖像和/或視頻處理。
圖3G示出了數位視頻光碟(DVD)播放器307的一個實施方式。在不背離本發明的範圍和精神的情況下，這種DVD播放器可為藍光DVD播放器、HD功能DVD播放器、SD功能DVD播放器、上採樣功能DVD播放器(例如，從SD到HD等)。DVD播放器可將信號提供給任何合適的顯示功能裝置，諸如SD電視304和HD電視303。DVD播放器305可實現為進行本文中所述的圖像和/或視頻處理。
圖3H示出了通用數位圖像和/或視頻處理裝置308的一個實施方式。再次，如上所述，上述這些不同的裝置不包括窮舉的裝置清單，在這些裝置中，可實行本文中所述的圖像和/或視頻處理，並且應注意在不背離本發明的範圍和精神的情況下，任何通用數位圖像和/或視頻處理裝置308都可以被實現為進行本文中所述的圖像和/或視頻處理。
圖4、圖5和圖6是分別示出了視頻編碼結構的各種實施方式400、500和600的示圖。
參看圖4的實施方式400，該圖中可見，輸入視頻信號由視頻編碼器接收。在某些實施方式中，輸入視頻信號由 編碼單元(CU)或巨集方塊(MB)構成。這種編碼單元或巨集方塊(macro blocks)的尺寸可變化，並且可包括通常設置為方形的多個圖元。在一個實施方式中，這種編碼單元或巨集方塊的尺寸為16×16圖元。然而，通常應注意，巨集方塊可具有任何所需要的尺寸，例如，N×N圖元，其中N為整數。當然，雖然在優選的實施方式中使用方形編碼單元或巨集方塊，但是某些實施方式可包括非方形編碼單元或巨集方塊。
輸入視頻信號通常可與原始幀(或圖片)圖像資料對應。例如，原始幀(或圖片)圖像資料可進行處理，從而生成亮度和色度樣本。在某些實施方式中，巨集方塊內的這組亮度樣本具有一個特定配置(例如，16×16)，並且這組色度樣本具有一個不同的特定配置(例如，8×8)。根據本文中所示的實施方式，視頻編碼器逐方塊處理這些樣本。
然後，輸入視頻信號進行模式選擇，通過該模式選擇，輸入視頻信號選擇性地進行幀內和/或幀間預測處理。一般而言，輸入視頻信號沿著壓縮路徑進行壓縮。當未使用回饋(例如，未根據幀間預測或幀內預測)進行操作時，通過壓縮路徑提供輸入視頻信號，從而進行轉換操作(例如，根據離散餘弦轉換(DCT))。當然，在可選的實施方式中也可使用其他轉換。在該操作模式中，壓縮輸入視頻信號本身。在進行壓縮時，壓縮路徑可利用人眼缺乏高頻率靈敏度這一事實。
然而，通過選擇性使用幀間或幀內預測視頻編碼，可沿著壓縮路徑使用回饋。根據回饋或預測的操作模式，該壓縮路徑對(較低能量)餘量(例如，差值)進行操作，該餘量是從當前巨集方塊中減去當前巨集方塊的預測值而得 到的。根據在指定的情況下使用哪種形式的預測，基於該幀(或圖片)的至少一部分或基於至少一個其他幀(或圖片)的至少一部分，生成當前巨集方塊和該巨集方塊的預測值之間的餘量或差值。
然後，所生成的修改後視頻信號沿著壓縮路徑進行轉換操作。在一個實施方式中，離散餘弦轉換(DCT)對一組視頻樣本(例如，亮度、色度、餘量等)進行操作，從而計算預定數量的基礎模式中每個各自的係數值。例如，一個實施方式包括64個基(basis)函數(例如，用於8×8樣本)。一般而言，不同的實施方式可使用不同數量的基函數(例如，不同的轉換)。各個基函數(包括其合適的和選擇性的加權)的任意組合可用於表示指定的一組視頻樣本。在與視頻編碼相關的技術文獻(包括如上所述通過引用併入的那些標準/草案標準)中，描述了與進行轉換操作的各種方法相關的附加細節。轉換處理的輸出包括這樣的各自的係數值。將該輸出提供給量化器(quantizer)。
一般而言，大部分圖像方塊通常會產生係數(例如，在根據離散餘弦轉換(DCT)進行操作的一個實施方式中的DCT係數)，從而最相關的DCT係數具有更低的頻率。正因如此，並且由於人眼對高頻視覺效果具有較差的靈敏度，所以量化器可用於將大部分不太相關的係數轉換成零值。即，根據量化處理，可消除相對貢獻低於某個預定值(例如，某個閾值)的那些係數。量化器也可用於將重要的係數轉換成與來自轉換處理的結果相比能更有效地編碼的值。例如，通過用整數值除每個係數並且丟棄任何餘數，從而可操作該量化處理。在對普通的編碼單元或巨集方塊進行操作時，這種處理通常產生數量較少的非零係數，然 後，根據回饋路徑，可將這些非零係數傳送給熵編碼器，以進行無損耗的編碼和使用，並且該回饋路徑根據視頻編碼可選擇幀內預測和/或幀間預測處理。
熵編碼器根據無損耗之壓縮編碼處理進行操作。相比之下，量化操作通常有損耗。熵編碼處理對量化處理所提供的係數進行操作。那些係數可表示各種特性(例如，亮度、色度、餘量等)。熵編碼器可使用各種編碼。例如，熵編碼器可進行環境(context)自適應的二進位算術編碼(CABAC)和/或環境自適應可變長度代碼(CAVLC)。例如，根據至少一部分熵編碼方案，將資料轉換成(列，行)配對((run,level)pairing)(例如，資料14、3、0、4、0、0、-3會轉換成各個(列，行)對(0，14)，(0，3)，(1，4)，(2，-3))。可提前準備表格，為值對(value pairs)分配可變的長度代碼，從而將較短的長度代碼分配給比較常見的值對，並且將較長的長度代碼分配給不太常見的值對。
應理解的是，反量化和反轉換的操作分別對應於量化和轉換操作。例如，在轉換操作內使用DCT的實施方式中，在反轉換操作內使用反DCT(IDCT)。
圖像緩衝器，或者稱為數位圖像緩衝器或DPB，從IDCT模組接收信號；圖像緩衝器用於儲存當前(current)幀(或圖像)和/或一個或多個其他幀(或圖像)，這些幀可根據幀內預測和/或幀間預測操作來使用，這些預測操作可根據視頻編碼來進行。應注意根據幀內預測，較小的儲存量足矣，這是因為，無需在幀(或圖像)序列內儲存當前幀(或圖像)或任何其他的幀(或圖像)。根據視頻編碼進行幀間預測的情況下，可使用這些儲存的資訊，用於進行運動補償和/或運動估計。
在一個可能的實施方式中，為了進行運動估計，在幀(或圖像)序列內(例如，根據幀間預測)，將當前幀(或圖像)的各組亮度樣本(例如，16×16)與其他幀(或圖像)內各個緩衝的對應物進行比較。在一個可能的實施方式中，定位了最接近的匹配區域(例如，預測基準)，並且產生向量偏移(例如，運動向量)。在單個幀(或圖像)內，可發現有多個運動向量，並且並非所有的運動向量需要指向相同的方向。根據運動估計所進行的一個或多個操作用於生成一個或多個運動向量。
運動補償操作成用於使用一個或多個運動向量，這些運動向量可根據運動估計而生成。識別並傳輸預測基準組的樣本以希望試圖從原始輸入視頻信號中減去，從而生成比較(例如，理想地，非常地)低的能量餘量。如果這種操作不會產生更低的能量餘量，那麼不需要進行運動補償，並且轉換操作可僅對原始輸入視頻信號進行操作，而不對餘量進行操作(例如，根據以下操作模式：將輸入視頻信號直接提供給轉換操作，從而不進行幀內預測或幀間預測)，或者可使用幀內預測，並且在幀間預測產生的餘量上進行轉換操作。而且，如果運動估計和/或運動補償操作成功，那麼可將運動向量與相應的餘量的係數一起發送給熵編碼器，用於進行無損耗的熵編碼。
整個視頻編碼操作的輸出為輸出位元流。應注意，根據生成可通過通信通道發送的連續時間信號，這種輸出位元流當然可進行某種操作。例如，某些實施方式在無線通信系統內進行操作。在這種情況下，輸出位元流可進行適當的數位/類比轉換、頻率轉換、縮放(scaling)、濾波、調制、 符號映射和/或無線通信裝置內的任何其他的操作，其用於生成能夠通過通信通道發送的連續時間信號等。
參看圖5的實施方式500，在該圖中可見，輸入視頻信號由視頻編碼器接收。在某些實施方式中，輸入視頻信號由編碼單元或巨集方塊構成(和/或可分成編碼單元(CU))。這種編碼單元或巨集方塊的尺寸可變化，並且可包括通常設置為方形的多個圖元。在一個實施方式中，這種編碼單元或巨集方塊的尺寸為16×16圖元。然而，通常應注意巨集方塊可具有任何所需要的尺寸，諸如，N×N圖元，其中N為整數。當然，雖然在優選的實施方式中使用方形編碼單元或巨集方塊，但是某些實施方式可包括非方形編碼單元或巨集方塊。
輸入視頻信號通常可與原始幀(或圖片)圖像資料對應。例如，原始幀(或圖片)圖像資料可進行處理，從而生成亮度和色度樣本。在某些實施方式中，巨集方塊內的這組亮度樣本具有一個特定配置(例如，16×16)，並且這組色度樣本具有一個不同的特定配置(例如，8×8)。根據本文中所述的實施方式，視頻編碼器逐方塊處理這些樣本。
然後，輸入視頻信號進行模式選擇，通過該模式選擇，輸入視頻信號選擇性地進行幀內和/或幀間預測處理。一般而言，輸入視頻信號沿著壓縮路徑進行壓縮。在未使用回饋(例如，未根據幀間預測或幀內預測)進行操作時，通過壓縮路徑提供輸入視頻信號，從而進行轉換操作(例如，根據離散餘弦轉換(DCT))。當然，在可選的實施方式中也可使用其他的轉換，在該操作模式中，壓縮輸入視頻信號本身。在進行壓縮時，壓縮路徑可利用人眼缺乏高頻率靈敏度這一事實。
然而，通過選擇性使用幀間或幀內預測視頻編碼，可沿著壓縮路徑使用回饋。根據回饋或預測的操作模式，該壓縮路徑對(較低能量)餘量(例如，差值)進行操作，該餘量是從當前巨集方塊中減去當前巨集方塊的預測值而得到的。根據在指定的情況下使用哪種預測形式，基於該幀(或圖片)的至少一部分或基於至少一個其他幀(或圖片)的至少一部分，生成當前巨集方塊和該巨集方塊的預測值之間的餘量或差值。
然後，所生成的修改後的視頻信號沿著壓縮路徑進行轉換操作。在一個實施方式中，離散餘弦轉換(DCT)對一組視頻樣本(例如，亮度、色度、餘量等)進行操作，從而計算預定數量的基礎模式中每一個各自的係數值。例如，一個實施方式包括64個基函數(例如，用於8×8樣本)。一般而言，不同的實施方式可使用不同數量的基函數(例如，不同的轉換)。各個基函數(包括其合適的和選擇性的加權)的任意組合可用於表示指定的一組視頻樣本。在與視頻編碼相關的技術文獻(包括如上所述通過引用併入的那些標準/草案標準)中，描述了與進行轉換操作的各種方法相關的附加細節。轉換處理的輸出包括這種各自的係數值。將該輸出提供給量化器。
一般而言，大部分圖像方塊通常會產生係數(例如，在根據離散餘弦轉換(DCT)進行操作的一個實施方式中的DCT係數)，從而最相關的DCT係數具有更低的頻率。正因如此，並且由於人眼對高頻視覺效果具有較差的靈敏度，所以量化器可用於將大部分不太相關的係數轉換成零值。即，根據量化處理，可消除相對貢獻低於某個預定值(例如，某個閾值)的那些係數。量化器也可用於將重要 的係數轉換成與來自轉換處理的結果的那些相比可更有效地進行編碼的值。例如，可通過用整數值除各個係數並且丟棄任何餘數，操作該量化處理。在對普通的編碼單元或巨集方塊進行操作時，這種處理通常產生數量較少的非零係數，然後，根據回饋路徑，可將這些非零係數傳送給熵編碼器，以進行無損耗的編碼和使用，並且該回饋路徑可根據視頻編碼選擇幀內預測和/或幀間預測處理。
熵編碼器根據無損耗的壓縮編碼處理進行操作。相比之下，量化操作通常有損耗。熵編碼處理對量化處理所提供的係數進行操作。那些係數可表示各種特徵(例如，亮度、色度、餘量等)。熵編碼器可使用各種類型的編碼。例如，熵編碼器可進行環境自適應二進位算術編碼(CABAC)和/或環境自適應可變長度編碼(CAVLC)。例如，根據至少一部分熵編碼方案，將資料轉換成(列，行)配對(例如，資料14、3、0、4、0、0、-3會轉換成各個(列，行)對(0，14)，(0，3)，(1，4)，(2，-3))。可提前準備表格，為各值對分配可變的長度代碼，從而將較短的長度代碼分配給比較常見的值對，並且將較長的長度代碼分配給不太常見的值對。
應理解的是，反量化和反轉換操作分別對應於量化和轉換操作。例如，在轉換操作內使用DCT的實施方式中，在反轉換操作內使用反DCT(IDCT)。
在某些可選的(optional)實施方式中，將去方塊(de-blocking)濾波器的輸出提供給一個或多個其他的環路濾波器(例如，根據樣本自適應偏置(SAO)濾波器、自適應環路濾波器(ALF)、和/或任何其他類型的濾波器來實現)，這些環路濾波器實現為處理反轉換方塊的輸出。
例如，這種自適應環路濾波器(ALF)可實現為處理去方塊濾波器的輸出，或者這種ALF可實現為處理首先從去方塊濾波器接收輸出的樣本自適應偏置(SAO)濾波器的輸出。在儲存在圖片緩衝器(往往稱為DPB、數位圖片緩衝器)內之前，將這種自適應環路濾波器(ALF)應用於解碼的圖片中。自適應環路濾波器(ALF)可實現為減少解碼圖片的編碼雜訊，並且無論是否逐條帶或逐方塊應用自適應環路濾波器(ALF)，都可為亮度和色度逐條帶地選擇性地應用其濾波。在應用自適應環路濾波器(ALF)時，可使用二維2-D有限脈衝回應(FIR)濾波。在編碼器處可逐條帶地設計濾波器的係數，然後，將這種資訊用信號發送給解碼器(例如，從包括視頻編碼器(或者稱為編碼器)的發送器通信裝置用信號發送到包括視頻解碼器(或者稱為解碼器)的接收器通信裝置中)。
一個實施方式通過根據維納(Wiener)濾波設計生成係數進行操作。此外，無論是否進行濾波，都在編碼器處逐方塊進行應用，然後，基於四叉樹(quadtree)結構，將這種決定用信號發送給解碼器(例如，從包括視頻編碼器(或者稱為編碼器)的發送器通信裝置用信號發送到包括視頻解碼器(或者稱為解碼器)的接收器通信裝置中)，其中，根據率失真(rate distortion)最佳化，決定該方塊的尺寸。應注意，使用這種2-D濾波的實現方式根據編碼和解碼，會產生一定程度的複雜性。例如，根據和實現自適應環路濾波器(ALF)，使用2-D濾波，在發送器通信裝置內以及在接收器通信裝置內實現的解碼器內，會一定程度上增加複雜性。
對於一種環路濾波器，使用自適應環路濾波器(ALF)，可根據這種視頻處理提供大量的改進，其包括通過來自執行隨機量化去噪的峰值信噪比(PSNR)所實現的客觀品質測量的改善。此外，通過照明補償，可實現隨後編碼的視頻信號的主觀品質，這種照明補償可通過根據自適應環路濾波器(ALF)進行偏置處理和縮放處理(例如，根據應用增益的有限脈衝回應(FIR)濾波)產生。
圖像緩衝器或者稱為數位圖像緩衝器或DPB，從ALF接收信號輸出；圖像緩衝器用於儲存當前幀(或圖像)和/或一個或多個其他的幀(或圖像)，這些幀可根據幀內預測和/或幀間預測操作而使用，這些預測操作可根據視頻編碼而進行。應注意，根據幀內預測，較小的儲存量足矣，這是因為，無需在幀(或圖像)序列內儲存當前幀(或圖像)或任何其他的幀(或圖像)。在根據視頻編碼進行幀間預測的情況下，可使用這種儲存的資訊，用於進行運動補償和/或運動估計。
在一個可能的實施方式中，為了進行運動估計，在幀(或圖像)序列內(例如，根據幀間預測)，將當前幀(或圖像)的各組亮度樣本(例如，16×16)與其他幀(或圖像)內各個緩衝的對應物進行比較。在一個可能的實施方式中，定位了最接近的匹配區域(例如，預測基準)，並且產生向量偏移(例如，運動向量)。在單個幀(或圖像)內，可發現有多個運動向量，並且並非所有的運動向量需要指向相同的方向。根據運動估計所進行的一個或多個操作用於生成一個或多個運動向量。
運動補償用於使用一個或多個運動向量，這些運動向量可根據運動估計而生成。識別並傳輸預測基準組的樣本以 希望試圖從原始輸入視頻信號中減去，從而生成比較(例如，理想地，非常地)低的能量餘量。如果這種操作不會產生更低的能量餘量，那麼不需要進行運動補償，並且轉換操作可僅對原始輸入視頻信號進行操作，而不對餘量進行操作(例如，根據以下操作模式：將輸入視頻信號直接提供給轉換操作，從而不進行幀內預測或幀間預測)，或者可使用幀內預測，並且在幀間預測產生的餘量上進行轉換操作。而且，如果運動估計和/或運動補償操作成功，那麼可將運動向量與相應的餘量的係數一起發送給熵編碼器，用於進行無損耗的熵編碼。
整個視頻編碼操作的輸出為輸出位元流。應注意，根據生成可通過通信通道發送的連續時間信號，這種輸出位元流當然可進行某種操作。例如，某些實施方式在無線通信系統內進行操作。在這種情況下，輸出位元流可進行適當的數位/類比轉換、頻率轉換、縮放、濾波、調制、符號映射和/或無線通信裝置內的任何其他的操作，其用於生成能夠通過通信通道發送的連續時間信號等。
參看圖6的實施方式600，該圖描述了視頻編碼器的可選實施方式，這種視頻編碼器進行預測、轉換以及編碼處理，從而產生壓縮的輸出位元流。這種視頻編碼器可根據且遵照一個或多個視頻編碼協定、標準和/或推薦的實踐來進行操作，例如，ISO/IEC 14496-10-MPEG-4部分10，AVC(高級視頻編碼)，或者稱為H.264/MPEG-4部分10或AVC(高級視頻編碼)、ITU H.264/MPEG4-AVC。
應注意，例如位於裝置內在通信通道的另一端的相應的視頻解碼器，用於進行解碼、反轉換和重構的互補處理， 從而產生各個解碼的視頻序列，其(理想地)表示輸入視頻信號。
該圖中可見，可使用可選的裝置和結構，用於進行視頻編碼。一般而言，編碼器處理輸入視頻信號(例如，通常以編碼單元或巨集方塊為單位構成，通常為方形並且其中包括N×N個圖元)。視頻編碼根據先前編碼的資料確定當前巨集方塊的預測。這個先前編碼的資料可來自當前幀(或圖像)本身(例如，根據幀內預測)或來自已經編碼的一個或多個其他幀(或圖像)(例如，根據幀間預測)。視頻編碼器減去當前巨集方塊的預測從而形成餘量。
一般而言，幀內預測用於使用一個或多個特定尺寸(例如，16×16、8×8或4×4)的方塊尺寸，在同一幀(或圖像)內從周圍先前編碼的圖元預測當前巨集方塊。一般而言，幀間預測用於使用一定範圍的方塊尺寸(例如，16×16向下到4×4)，從選自一個或多個先前編碼的幀(或圖片)內的區域，預測當前幀(或圖像)內的圖元。
對於轉換和量化操作，剩餘樣本的方塊可使用特定的轉換(例如，4×4或8×8)進行轉換。這種轉換的一個可能的實施方式根據離散餘弦轉換(DCT)進行操作。轉換操作輸出一組係數，使得各個係數對應於與轉換相關的一個或多個基函數的各個權重值。在進行轉換之後，將轉換係數的方塊量化(例如，各個係數可用整數值來除並且可丟棄任何相關的餘數，或者可乘以整數值)。量化處理通常本質上有損耗，並且可根據量化參數(QP)降低轉換係數的精度。通常，與指定巨集方塊相關的許多係數為零，並且僅剩下一些非零係數。通常，較高的QP設置用於產生更大比例的零值係數以及更小量的非零值係數，從而以解碼的 圖像品質較差為代價，具有較高的壓縮(例如，較低的編碼位元率)；較低的QP設置用於允許量化後維持更多的非零係數以及更大量的非零係數，結果在具有較好的解碼圖像品質時，具有較低的壓縮(例如，較高的編碼位元率)。
視頻編碼處理產生大量被編碼從而形成壓縮的位元率的值。這種值的實例包括量化的轉換係數、解碼器用於重新產生適當的預測的資訊、編碼過程中使用的壓縮資料和壓縮工具的結構相關的資訊、有關完整視頻序列的資訊等。這種值和/或參數(例如，語法元素)可在根據CABAC、CAVLC或某個其他的熵編碼方案進行操作的熵編碼器內進行編碼，以產生可儲存、發送(例如，進行適當的處理以生成適合通信通道的連續時間信號之後)的輸出位元流等。
在使用回饋路徑進行操作的一個實施方式中，轉換和量化輸出進行反量化和反轉換。根據視頻編碼，可進行幀內預測和/或幀間預測。而且，根據這種視頻編碼，可進行運動補償和/或運動估計。
將從反量化和反轉換(例如IDCT)方塊中輸出的信號路徑提供給幀內預測方塊，同樣也提供給去方塊濾波器。將去方塊濾波器的輸出提供給一個或多個其他環路濾波器(例如，根據自適應環路濾波器(ALF)、樣本自適應偏置(SAO)濾波器和/或任何其他的濾波器類型而實現)，這些環路濾波器被實現為處理反轉換方塊的輸出。例如，在一個可能的實施方式中，在儲存在圖片緩衝器(再次，有時或可稱為DPB、數位圖片緩衝器)內之前，ALF可應用至解碼的圖片。該ALF可實現為減少解碼圖片的編碼雜訊，並且無論是否逐條帶或逐方塊應用ALF，都可為亮度和色度逐條帶地選擇性應用其濾波。在應用ALF時，可使用二 維(2-D)有限脈衝回應(FIR)濾波。濾波器的係數可在編碼器處逐條帶設計，並且然後，將這種資訊用信號發送給解碼器(從包括視頻編碼器(或者稱為編碼器)的發送器通信裝置用信號發送到包括視頻解碼器(或者稱為解碼器)的接收器通信裝置)。
一個實施方式根據維納濾波設計生成係數。此外，無論是否進行濾波，其都在編碼器處逐方塊應用，並且然後，基於四叉樹結構，將這種決定用信號發送給解碼器(例如，從包括視頻編碼器(或者稱為編碼器)的發送器通信裝置用信號發送到包括視頻解碼器(或者稱為解碼器)的接收器通信裝置)，其中，根據率失真最佳化，決定該方塊的尺寸。應注意，使用這種2-D濾波的實現方式可根據編碼和解碼，會引起一定程度的複雜性。例如，根據和實現ALF，使用2-D濾波，在發送器通信裝置內實現的編碼器以及在接收器通信裝置內使用的解碼器內，會一定程度地增大複雜性。
如其他實施方式中所述，使用ALF，可根據這種視頻處理，提供大量的改進，包括通過進行隨機量化雜訊去除，由峰值信噪比(PSNR)提高客觀品質測量。此外，通過照明補償，可實現隨後編碼的視頻信號的主觀品質，通過根據ALF進行偏置(offset)處理和縮放處理(例如，根據應用增益的FIR濾波)，可產生這種照明補償。
對於實現為生成輸出位元流的任何視頻編碼器結構而言，應注意，在多個通信裝置內的任何裝置內，可實現這種結構。輸出位元流可進行附加處理，包括改錯碼(ECC)、向前糾錯(FEC)等，從而生成其中具有附加冗餘協議(redundancy deal)的修改後的輸出位元流。同樣，對於這種 數位信號應理解的是，根據生成適合於或適用於通過通信通道進行傳送的連續時間信號，可進行任何適當的處理。即，在通信裝置內可實現這種視頻編碼器結構，該通信裝置用於通過一個或多個通信通道傳送一個或多個信號。可對這種視頻編碼器結構所生成的輸出位元流進行附加處理，從而生成可發送到通信通道中的連續時間信號。
圖7是示出了幀內預測處理的一個實施方式700的示圖。從該圖中可看出，視頻資料的當前方塊(例如，通常為方形並且通常包括N×N圖元)進行處理，從而估計其中的各個圖元。根據這種幀內預測，使用位於當前方塊的上面以及左邊的先前編碼的圖元。從某些角度來看，可將幀內預測視為與從當前圖元延伸到位於當前方塊的上面以及左邊的基準圖元的向量對應。用於根據H.264/AVC進行編碼的幀內預測的細節在相應的標準內規定(例如，國際電信聯盟，ITU-T,TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU,H.264(03/2010),SERIES H：AUDIOVISUAL AND MULTIMEDIA SYSTEMS，視聽業務的基礎設施-移動視頻編碼，為通用視聽業務進行高級視頻編碼，Recommendation ITU-T H.264，也或者稱為International Telecomm ISO/IEC 14496-10-MPEG-4第10部分，AVC(高級視頻編碼)，H.264/MPEG-4第10部分或AVC(高級視頻編碼)，ITU H.264/MPEG4-AVC，或其等同物)。
該餘量為當前圖元和基準或預測圖元之間的差值，並且被進行編碼。從該圖中可見，在共同幀(或圖像)內，幀內預測使用圖元進行操作。當然應注意，指定的圖元可具 有與其相關聯的不同的部件，並且對於各個部件可具有不同的幾組樣本。
圖8是示出了幀間預測處理的一個實施方式800的示圖。與幀內預測相比，幀間預測用於基於在當前幀(或圖片)內的當前的一組圖元以及在幀(或圖片)序列內的一個或多個其他幀(或圖片)內的一組或多組基準或預測圖元，識別運動向量(例如，幀間預測方向)。可見，運動向量在幀(或圖片)序列內從當前幀(或圖片)延伸到另一幀(或圖片)。幀間預測可使用子圖元插值，從而使得預測圖元值對應於基準幀或圖像內多個圖元的函數。
雖然這種餘量與根據幀內預測處理計算的餘量不同，但是該餘量可根據幀間預測處理計算。根據幀內預測處理，各個圖元處的餘量再次對應於當前圖元和預測的圖元值之間的差值。然而，根據幀間預測處理，當前圖元和基準或預測圖元不位於相同的幀(或圖像)內。雖然該圖示出了對於一個或多個先前幀或圖片使用的幀間預測，但是還應注意，可選的實施方式可使用與當前幀之前和/或之後的幀對應的基準來進行操作。例如，根據適當的緩衝和/或記憶體管理，可儲存大量的幀。在對指定幀進行操作時，可通過該指定幀之前和/或之後的其他幀以生成多個基準(references)。
與CU耦合，基本單元可用於預測分割模式，即，預測單元或PU。還應注意，PU僅對於最後一個深度CU而限定，並且其尺寸限於該CU的尺寸。
圖9和圖10為分別示出了視頻解碼結構的各種實施方式900和1000的示圖。
一般而言，這種視頻解碼結構對輸入位元流進行操作。當然，應注意，這種輸入位元流可由通過通信裝置從通信通道接收的信號生成。可對從通信通道接收的連續時間信號進行各種操作，包括數位採樣、解調制、縮放、濾波等，這些操作根據生成輸入位元流而言是適合的。而且，在某些實施方式中，可實現改錯碼(ECC)、向前糾錯(FEC)等中的一種或多種，這些實施方式可根據這種ECC、FEC等進行適當的解碼，從而生成輸入位元流。即，在某些實施方式中，根據生成相應的輸出位元流(例如，可從發送器通信裝置或從收發器通信裝置的發送器部分發送的輸出位元流)可產生附加冗餘，根據生成輸入位元流，可進行適當的處理。總之，這種視頻解碼結構被實現為處理輸入位元流，從而生成輸出視頻信號，該輸出視頻信號盡可能接近地並且在理想的情況下完全地與原始輸入視頻信號對應，用於輸出到一個或多個視頻顯示功能裝置中。
參看圖9的實施方式900，一般而言，根據執行在視頻編碼器結構內執行的編碼的互補處理，諸如熵解碼器的解碼器(根據CABAC、CAVLC等實現的解碼器)處理輸入位元流。輸入位元流盡可能接近地並且在理想的情況下完全地可視為視頻編碼器結構所生成的壓縮的輸出位元流。當然，在實際應用中，在通過一個或多個通信鏈路發送的信號中可能產生某些錯誤。熵解碼器處理輸入位元流並且提取合適的係數，如DCT係數(例如，表示色度、亮度等資訊)，並且將這種係數提供給反量化和反轉換方塊。在使用DCT轉換時，反量化和反轉換方塊可實現為進行反DCT(IDCT)操作。然後，A/D閉塞濾波器被實現為生成與輸出視頻信號相對應的各個幀和/或圖片。這些幀和/或圖片可 提供給圖片緩衝器或數位圖片緩衝器(DPB)，用於執行包括運動補償的其他操作。一般而言，這種運動補償操作可視為對應於與視頻編碼相關的幀間預測。而且，也可對從反量化和反轉換方塊輸出的信號進行幀內預測。與視頻編碼相似，這種視頻解碼器結構可被實現為根據將輸入位元流解碼從而生成輸出視頻信號，在未對其進行幀內預測或幀間預測、對其進行幀內預測或進行幀間預測之間執行模式選擇。
參看圖10的實施方式100，在某些可選的實施方式中，根據用於生成輸出位元流的視頻編碼，可實現一個或多個環路濾波器(例如，根據樣本自適應偏置(SAO)濾波器、自適應環路濾波器(ALF)和/或任何其他的濾波器類型來實現)，並且可在視頻解碼器結構內使用相應的一個或多個環路濾波器。在一個實施方式中，在去方塊濾波器之後，適當地實現一個或多個這種環路濾波器。
圖11、圖12、圖13、圖14和圖15是分別示出了視頻編碼結構的各種實施方式1100、1200、1300、1400和1500的示圖，各個視頻編碼結構分別包括自適應環路濾波。
圖11的實施方式1100與圖4的實施方式400具有某些相似之處，至少一個差別在於，自適應環路濾波器(ALF)被實現為處理反轉換方塊的輸出。例如，在解碼的圖片儲存到圖片緩衝器(往往稱為DPB、數位圖片緩衝器)之前，將這種自適應環路濾波器(ALF)用於解碼的圖片。
本文中應理解的是，使用自適應環路濾波器(ALF)，可根據這種視頻處理，提供大量的改進，包括由通過進行隨機量化雜訊去除的峰值信噪比(PSNR)提高客觀品質測量。此外，通過照明補償，可實現隨後編碼的視頻信號的 主觀品質，這種照明補償可通過根據自適應環路濾波器(ALF)處理進行偏置處理和縮放處理(例如，根據應用增益的FIR濾波)而引入。
應注意，與通過隨機量化雜訊去除獲得的PSNR提高客觀品質測量相比，通過照明補償獲得的主觀品質提高在視覺上通常更為明顯。對於根據自適應環路濾波(諸如由ALF)進行的偏置處理和縮放處理而言，照明補償在所得的視頻編碼信號內更明顯地提高主觀品質，在某些實施方式中僅使用偏置處理就可進行這種照明補償。即，在根據自適應環路濾波(諸如由ALF)進行的各種操作中，在某些實施方式中使用僅偏置處理，以實現由照明補償獲得的最顯著起作用的主觀品質提高。在不同的實施方式中，以各種不同的方式實現ALF時，包括在一個實施方式中進行偏置處理和縮放處理這兩者，在另一個實施方式中進行僅偏置處理，以及在又一個實施方式中進行僅縮放處理，通過這種ALF的操作使用僅偏置處理可明顯提高視頻編碼信號的感知品質。
在某些實施方式中，這種ALF可實現為根據多個不同的操作模式進行選擇性的操作，這些操作模式為進行僅偏置處理的第一模式、進行偏置處理和縮放處理兩者的第二模式、進行僅縮放處理的第三模式。根據生成指定的視頻編碼信號時使用這些操作模式中的哪一個模式，可將該資訊中繼和通信給解碼器，從而該解碼器適當地瞭解生成視頻編碼信號的方式。應注意，與實現進行偏置處理和縮放處理兩者的ALF的那些實施方式相比，實現進行僅偏置處理的ALF的那些實施方式的複雜程度相對降低。也應理解的是，與不包括這種選擇性操作的其他實施方式相比，實 現根據多個操作模式可選擇性地操作的ALF的複雜程度有一定程度的提高。相對於需要較低複雜程度的結構或設計而言，其中可實現這種進行僅偏置處理的ALF。
根據這種ALF的操作，上述率失真最佳化用於確定ALF濾波圖(filtering map)和濾波係數，也可使用和操作這種率失真最佳化，以確定各個ALF偏置圖和偏置值。這種ALF的偏置圖表示每個偏置值所應用的區域。在包括被實現為進行僅偏置處理的ALF的實施方式中，僅偏置的ALF的這種操作可單獨或者作為序列參數組、圖片參數組和/或限幅位準參數組等內ALF的特殊情況而被信號發送。
圖像緩衝器或者稱為數位圖像緩衝器或DPB，從ALF接收信號輸出；圖像緩衝器用於儲存當前幀(或圖像)和/或一個或多個其他的幀(或圖像)，這些幀可根據幀內預測和/或幀間預測操作而使用，這種預測操作可根據視頻編碼而進行。應注意，根據幀內預測，較小的儲存量足矣，這是因為，無需在幀(或圖像)序列內儲存當前幀(或圖像)或任何其他的幀(或圖像)。在根據視頻編碼進行幀間預測的情況下，可使用這種儲存的資訊，進行運動補償和/或運動估計。
圖12的實施方式1200與圖5的實施方式500具有某些相似之處，至少一個差別在於，自適應環路濾波器(ALF)被實現為處理去方塊濾波器的輸出。例如，參看圖6的實施方式600，與其他環路濾波器對應的方塊可視為實現為圖12的實施方式1200中的自適應環路濾波器(ALF)。
圖13的實施方式1300與圖5的實施方式500具有某些相似之處(例如，至少一些差別在於，樣本自適應偏置(SAO)濾波器和自適應環路濾波器(ALF)被實現為處理 去方塊濾波器的輸出)。例如，參看圖6的實施方式600，與其他環路濾波器對應的方塊可視為實現為圖13的實施方式1300中的樣本自適應偏置(SAO)濾波器和自適應環路濾波器(ALF)。從這個實施方式1300中可看出，樣本自適應偏置(SAO)濾波器被實現為處理去方塊濾波器的輸出，並且自適應環路濾波器(ALF)被實現為處理樣本自適應偏置(SAO)濾波器的輸出。
圖14的實施方式1400與圖5的實施方式500具有某些相似之處(例如，至少一些差別在於，去方塊濾波器/樣本自適應偏置(SAO)濾波器和自適應環路濾波器(ALF)被實現為處理也提供給幀內預測方塊的信號)。例如，在該圖中，去方塊濾波器/樣本自適應偏置(SAO)濾波器被實現為給其他環路濾波器提供輸出(例如，參看圖6的實施方式600)。例如，與其他環路濾波器對應的這種方塊可視為實現為包括圖14的實施方式1400中的自適應環路濾波器(ALF)。從這個實施方式1400中可看出，自適應環路濾波器(ALF)被實現為處理去方塊濾波器/樣本自適應偏置(SAO)濾波器的輸出(例如，去方塊濾波器/樣本自適應偏置(SAO)濾波器的輸出)。
參看圖15的實施方式1500，該圖描述了視頻編碼器的可選實施方式，實施方式1500與圖12的實施方式1200具有很多相似之處，至少一個差別在於，其中的ALF在去方塊的濾波器方塊之前實現。關於實施方式1500，通過採用僅偏置的ALF，而不進行縮放處理，可在去方塊的濾波器方塊之前實現ALF的這種實施方式。
在本文中所述的不同示圖和/或實施方式中應理解的是，根據視頻編碼處理可使用ALF不同的限制。在某些實 施方式中，ALF被實現為僅偏置的ALF。在其他實施方式中，ALF被實現為進行偏置處理和縮放處理這兩者。在某些實施方式中，ALF被實現為進行縮放處理(例如，有限脈衝回應(FIR)濾波)。甚至在其他實施方式中，ALF根據不同的操作模式，可實現為選擇性地操作，這些操作模式包括進行僅偏置處理的第一模式、進行偏置處理和縮放處理兩者的第二模式、以及進行僅縮放處理的第三模式。例如，可根據大量考慮因素中的任一個，選擇這種ALF的這種操作，這些考慮因素包括裝置所需要的複雜程度、通信通道(輸出位元流或與此相對應的信號要發送到該通信通道內)的時延、這種裝置內可使用的處理資源、和/或任何其他的考慮因素。必要時，某些實施方式可實現具有選擇功能的ALF，從而使得每次只能啟動一個功能。例如，共同的視頻編碼結構和/或電路可實現於多種不同的裝置內，並且可用於多個不同的應用中。在第一應用程式內操作的第一裝置中，在其中可啟動ALF的第一操作模式。在第二應用程式內操作的第二裝置中，在其中可啟動ALF的第二操作模式。應理解的是，這種製造商可設計單個視頻編碼結構和/或電路，以用於各種應用內操作的各種裝置中。
圖16A和圖16B示出了根據視頻編碼(例如，在一個或多個通信裝置中)執行的方法的各種實施方式。
參看圖16A的方法1600，該方法1600開始，操作視頻編碼器，以將輸入視頻信號編碼，從而生成輸出位元流，如方框1610內所示。方法1600繼續，根據僅縮放處理，操作視頻編碼器的自適應環路濾波器(ALF)以生成輸出位元流，如方框1620內所示。
在某些可選的實施方式中，方法1600可用於進行操作，接收輸出位元流，如方框1630內所示。在這種實施方式中，方法1600可繼續，操作視頻解碼器，以將輸出位元流解碼，從而生成與輸入視頻信號相對應的輸出視頻信號，如方框1640內所示。
參看圖16B的方法1601，該方法1601開始，操作視頻編碼器，以將輸入視頻信號編碼，從而生成輸出位元流，如方框1611內所示。方法1601繼續，在視頻編碼器內逐方塊或逐條帶選擇性地操作視頻編碼器的ALF，如方框1621內所示。
方法1601繼續，從第一通信裝置中發送信號到第二通信裝置(或更多的通信裝置)中，該第二通信裝置被實現為接收輸出位元流，輸出位元流的多個方塊或多個條帶與ALF選擇性地濾波的輸入視頻信號相關聯，如方框1631內所示。
在某些可選的實施方式中，方法1600可用於進行操作。然後，方法1601進行操作，接收輸出位元流，如方框1641內所示。在這種實施方式中，方法1601可繼續，操作視頻解碼器(例如，在第二通信裝置內)，以將輸出位元流解碼，從而生成與輸入視頻信號相對應的輸出視頻信號，如方框1651內所示。
還應注意，諸如可使用基帶處理模組和/或其中實現的處理模組和/或其中的其他部件，在通信裝置內執行關於本文中的各種方法所述的各種操作和功能。
本文中可使用的術語“大致”和“大約”為其相應的術語提供工業上可接受的容差和/或物品之間的相關性。這 種工業上可接受的容差的範圍從不到1%到50%，並且對應於但不限於部件值、積體電路處理變化、溫度變化、升降時間和/或熱雜訊。物品之間的這種相關性的範圍從幾個百分比的差別到大幅的差別。本文中也可使用的術語“可操作地耦合至”、“耦合至”、和/或“耦合”包括物品之間的直接耦合和/或物品之間通過中間物品(例如，物品包括但不限於部件、元件、電路和/或模組)進行間接耦合，其中，對於間接耦合而言，中間物品未修改信號資訊，但是可調整其電流位準、電壓位準和/或功率位準。本文中可進一步使用的推斷耦合(例如，一個元件與另一個元件通過推斷耦合)包括在兩個物品之間進行直接和間接耦合，其方式與“耦合至”相同。本文中甚至可進一步使用的術語“可操作到”或“可操作地耦合至”表示物品包括一個或多個功率連接、輸入、輸出等，以在啟動時，執行一個或多個其相應的功能，並且可還包括推斷耦合至一個或多個其他的物品。本文中還可進一步使用的術語“相關聯”包括單獨的物品和/或置入另一個物品內的一個物品進行直接和/或間接耦合。本文中可使用的術語“有利地比較”表示兩個或多個物品、信號等之間的比較提供所需要的關係。例如，當所需要的關係為信號1的幅度比信號2的幅度更大時，在信號1的幅度比信號2的幅度更大或信號2的幅度比信號1的幅度更小時，可實現有利的比較。
本文中也可使用的術語“處理模組”、“模組”、“處理電路”和/或“處理單元”(例如，包括可操作、實現和/或用於編碼、解碼、用於進行基帶處理等的各種模組和/或電路)可以是一個處理裝置或多個處理裝置。這種處理裝置可以是微處理器、微控制器、數位信號處理器、微電腦、 中央處理單元、現場可編程閘陣列、可編程邏輯裝置、狀態機、邏輯電路、類比電路、數位電路和/或根據電路的硬編碼和/或操作指令操縱(類比或數位)信號的任何裝置。處理模組、模組、處理電路和/或處理單元可具有相關的記憶體和/或積體記憶體元件，可以是單個記憶體裝置、多個記憶體裝置、和/或處理模組、模組、處理電路和/或處理單元的嵌入式電路。這種記憶體裝置可為唯讀記憶體(ROM)、隨機存取記憶體(RAM)、易失性記憶體、非易失性記憶體、靜態記憶體、動態記憶體、快閃記憶體、高速(cache)記憶體和/或儲存數位資訊的任何裝置。應注意，如果處理模組、模組、處理電路和/或處理單元包括一個以上的處理裝置，那麼可集中定位(例如，通過有線和/或無線匯流排結構直接耦合在一起)或分佈定位(例如，通過局域網和/或廣域網進行間接耦合，從而進行雲計算)這些處理裝置。而且，應注意，如果處理模組、模組、處理電路和/或處理單元通過狀態機、類比電路、數位電路、和/或邏輯電路執行一個或多個功能，那麼儲存相應的操作指令的記憶體和/或記憶體元件可嵌入包括狀態機、類比電路、數位電路、和/或邏輯電路的電路內或位於該電路的外部。還應注意，記憶體元件可儲存並且處理模組、模組、處理電路和/或處理單元執行硬編碼的和/或操作的指令，這些指令與一個或多個圖中所述的至少一些步驟和/或功能相應。這種記憶體裝置或記憶體元件可包括在製造產品內。
上面已經借助於示出特定功能和其關係的性能的方法步驟，描述了本發明。為了便於描述，在本文中已經任意地限定了這些功能性構造方塊和方法步驟的界限和順序。只要適當地執行所規定的功能和關係，就可限定替代的界 限和順序。任何這種替代的界限和順序因此在所要求的本發明的範圍和精神內。而且，為了便於描述，已經任意地限定了這些功能性構造方塊的界限。只要適當地執行某些重要的功能，就可限定其他的界限。同樣，在本文中也已經任意地限定了流程圖框，以示出某些重要的功能。在某種使用的程度上，可另外限定流程圖框的界限和順序，並且依然執行某個重要的功能。因此功能性構造方塊和流程圖框的這種可選的定義在所要求的本發明的範圍和精神內。本領域的技術人員也會認識到，如圖所示，或通過離散元件、專用積體電路、執行適當的軟體等的處理器、或其任意組合，可實現其中的功能性構造方塊以及其他實例性方塊、模組和部件。
已經以一個或多個實施方式至少部分地描述了本發明。本發明的一個實施方式在本文中用於示出本發明、本發明的一個方面、其特徵、其概念和/或其實例。設備、製品、機器和/或體現本發明的處理的物理實施方式可包括參考在本文中所討論的一個或多個實施方式中所描述的一個或多個方面、功能、概念和/或實例。而且，在所有圖中，這些實施方式可包含具有相同或相似名稱的功能、步驟、模組等，可使用相同或不同的參考標號，此外，這些功能、步驟、模組等可為相同或相似的、或不同的功能、步驟、模組等。
除非明確地相反規定，否則在本文中所示的任何一幅圖中，發送給元件的信號、從元件中發送的信號、和/或元件之間的信號可為類比或數位、連續時間或離散時間、以及單端或差分信號。例如，如果將信號路徑顯示為單端路徑，那麼該信號路徑也表示差分信號路徑。同樣，如果將信號 路徑顯示為差分路徑，那麼該信號路徑也表示單端信號路徑。本領域的技術人員應瞭解，在本文中描述一個或多個特定的結構的同時，也可使用其他結構，這些結構被實現為使用未明確顯示的一個或多個資料匯流排、元件之間的直接連接、和/或其他元件之間的間接耦合。
在描述本發明的各種實施方式時，使用術語“模組”。模組包括功能方塊，該功能方塊通過硬體實現，從而執行一個或多個模組功能，如處理一個或多個輸入信號，以產生一個或多個輸出信號。實現模組的硬體本身可結合軟體和/或韌體進行操作。本文中所使用的模組可包含一個或多個子模組，這些子模組本身為模組。
儘管在本文中已經明確描述本發明的各種功能和特徵的特定組合，但這些特徵和功能也能具有其他組合。本發明不受到本文中所公開的特定實例的限制，並且明確包含這些其他組合。
100‧‧‧通信系統
110、120‧‧‧通信裝置
112、126‧‧‧發送器
114、124‧‧‧編碼器
116、122‧‧‧接收器
118、128‧‧‧解碼器
130‧‧‧衛星
134‧‧‧碟形衛星天線
140‧‧‧無線通信通道
142、144‧‧‧塔
150‧‧‧有線通信通道
152、154‧‧‧本地天線
160‧‧‧光纖
162、164‧‧‧介面
199、299‧‧‧通信通道
220‧‧‧編碼器和符號映射器
222‧‧‧編碼器
224‧‧‧映射器
230‧‧‧發送驅動器
232‧‧‧數位/類比轉換器
234‧‧‧發送濾波器
262‧‧‧接收濾波器
264‧‧‧類比/數位轉換器
270‧‧‧度量發生器
280‧‧‧解碼器
280a,280b‧‧‧處理模組
297‧‧‧發送器
298‧‧‧接收器
301‧‧‧電腦
302‧‧‧膝上型電腦
303‧‧‧HD電視
304‧‧‧SD電視
305‧‧‧掌上型媒體單元
306‧‧‧機上盒
307‧‧‧數位視頻光碟(DVD)播放器
308‧‧‧數位圖像和/或視頻處理裝置
CU‧‧‧編碼單元
MB‧‧‧巨集方塊
圖1和圖2示出了通信系統的各種實施方式；圖3A示出了電腦的一個實施方式；圖3B示出了膝上型電腦的一個實施方式；圖3C示出了高清晰度(HD)電視的一個實施方式；圖3D示出了標準清晰度(SD)電視的一個實施方式；圖3E示出了掌上型媒體單元的一個實施方式；圖3F示出了機上盒(STB)的一個實施方式；圖3G示出了數位視頻光碟(DVD)播放器的一個實施方式； 圖3H示出了通用數位圖像和/或視頻處理裝置的一個實施方式；圖4、圖5和圖6是示出了視頻編碼結構的各種實施方式的示圖；圖7是示出了幀內預測處理的一個實施方式的示圖；圖8是示出了幀間預測處理的一個實施方式的示圖；圖9和圖10是示出了視頻解碼結構的各種實施方式的示圖；圖11、圖12、圖13、圖14和圖15是示出了視頻編碼結構的各種實施方式的示圖，各個視頻編碼結構分別包括自適應環路濾波；圖16A和圖16B示出了根據視頻編碼(例如，在一個或多個通信裝置內)執行的方法的各種實施方式。
(本圖為流程圖，無元件符號)

Claims (10)

  1. 一種用於視頻編碼的設備，包括：視頻編碼器，將輸入視頻信號進行編碼，從而生成輸出位元流；並且其中：所述視頻編碼器包括至少一個回饋環路，所述回饋環路具有樣本自適應偏置濾波器和自適應環路濾波器，其中所述自適應環路濾波器進行僅縮放處理，從而使得所述自適應環路濾波器被實現為從所述樣本自適應偏置濾波器接收樣本自適應偏置濾波的輸出信號；在所述視頻編碼器內逐方塊或逐條帶地選擇性使用所述自適應環路濾波器；所述設備向被實現為接收所述輸出位元流的至少一個附加設備發送信號，所述輸出位元流的多個方塊或多個條帶與所述自適應環路濾波器選擇性地濾波的所述輸入視頻信號相關聯；以及所述自適應環路濾波器使用至少一個增益值移除量化雜訊的至少一部分來進行僅縮放處理以進行照明補償，其中所述量化雜訊的至少一部分來自對所述輸入視頻信號進行編碼以產生達到至少一品質的所述輸出位元流的過程。
  2. 如申請專利範圍第1項之設備，其中：所述自適應環路濾波器根據僅縮放處理、僅偏置處理以及縮放和偏置處理而選擇性地進行操作。
  3. 如申請專利範圍第1項所述的設備，其中： 通過使用第一增益值移除所述量化雜訊的第一部分以進行所述照明補償，其中所述量化雜訊的第一部分來自對所述輸入視頻信號進行編碼以產生達到第一品質的所述輸出位元流的過程；以及通過使用第二增益值移除所述量化雜訊的第二部分以進行所述照明補償，其中所述量化雜訊的第二部分來自對所述輸入視頻信號進行編碼以產生達到第二品質的所述輸出位元流的過程。
  4. 如申請專利範圍第1項所述的設備，其中：所述設備為第一通信裝置；所述至少一個附加設備為第二通信裝置，其通過至少一個通信通道與所述第一通信裝置進行通信，包括：輸入端，接收所述輸出位元流；以及視頻解碼器，將所述輸出位元流進行解碼，以生成與所述輸入視頻信號相對應的輸出視頻信號，其中，所述視頻解碼器包括至少一個附加回饋環路，所述附加回饋環路具有根據僅縮放處理進行操作的至少一個附加自適應環路濾波器；並且其中：所述第二通信裝置為電腦、膝上型電腦、高清晰度電視、標準清晰度電視、掌上型媒體單元、機上盒以及數位視頻光碟播放器中的至少一個。
  5. 一種用於視頻編碼的設備，包括：視頻編碼器，將輸入視頻信號進行編碼，從而生成輸出位元流；並且其中： 所述視頻編碼器包括至少一個回饋環路，所述回饋環路具有根據僅縮放處理進行操作的自適應環路濾波器，其中所述自適應環路濾波器使用至少一個增益值移除量化雜訊的至少一部分來進行僅縮放處理以進行照明補償，其中所述量化雜訊的至少一部分來自對所述輸入視頻信號進行編碼以產生達到至少一品質的所述輸出位元流的過程。
  6. 如申請專利範圍第5項所述的設備，其中：在所述視頻編碼器內逐方塊或逐條帶地選擇性使用所述自適應環路濾波器；所述設備向被實現為接收所述輸出位元流的至少一個附加設備發送信號，所述輸出位元流的多個方塊或多個條帶與所述自適應環路濾波器選擇性地濾波的所述輸入視頻信號相關聯。
  7. 如申請專利範圍第5項所述的設備，還包括：樣本自適應偏置濾波器，包括在具有所述自適應環路濾波器的所述至少一個回饋環路，從而使得所述自適應環路濾波器被實現為從所述樣本自適應偏置濾波器接收樣本自適應偏置濾波的輸出信號；並且其中：所述自適應環路濾波器可通過僅縮放處理、僅偏置處理以及縮放和偏置處理而選擇性地操作，其中所述自適應環路濾波器用於：通過使用第一增益值移除所述量化雜訊的第一部分以進行所述照明補償，其中所述量化雜訊的第一部分來自 對所述輸入視頻信號進行編碼以產生達到第一品質的所述輸出位元流的過程；以及通過使用第二增益值移除所述量化雜訊的第二部分以進行所述照明補償，其中所述量化雜訊的第二部分來自對所述輸入視頻信號進行編碼以產生達到第二品質的所述輸出位元流的過程。
  8. 如申請專利範圍第5項所述的設備，其中：所述設備為第一通信裝置；並且還包括：第二通信裝置，其通過至少一個通信通道與所述第一通信裝置進行通信，包括：輸入端，接收所述輸出位元流；以及視頻解碼器，將所述輸出位元流進行解碼，以生成與所述輸入視頻信號相對應的輸出視頻信號，其中，所述視頻解碼器包括至少一個附加回饋環路，所述附加回饋環路具有根據僅縮放處理進行操作的至少一個附加自適應環路濾波器。
  9. 一種用於操作通信裝置的視頻編碼器的方法，所述方法包括：操作所述視頻編碼器，以將輸入視頻信號進行編碼，從而生成輸出位元流；並且其中：所述視頻編碼器包括至少一個回饋環路，所述回饋環路具有根據僅縮放處理進行操作的自適應環路濾波器，其中所述自適應環路濾波器使用至少一個增益值移除量化雜訊的至少一部分來進行僅縮放處理以進行照明補償，其中所述量化雜訊的至少一部分來自對所述輸入視頻信號 進行編碼以產生達到至少一品質的所述輸出位元流的過程。
  10. 如申請專利範圍第9項所述的方法，還包括：操作在視頻編碼器內逐方塊或逐條帶地選擇性使用的所述自適應環路濾波器；從所述通信裝置向被實現為接收所述輸出位元流的至少一個附加通信裝置發送信號，所述輸出位元流的多個方塊或多個條帶與所述自適應環路濾波器選擇性地濾波的所述輸入視頻信號相關聯。
TW101131377A 2011-09-27 2012-08-29 根據視頻編碼進行自適應環路濾波的設備及操作視頻編碼器的方法 TWI542196B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161539666P 2011-09-27 2011-09-27
US13/523,830 US9432700B2 (en) 2011-09-27 2012-06-14 Adaptive loop filtering in accordance with video coding

Publications (2)

Publication Number Publication Date
TW201320759A TW201320759A (zh) 2013-05-16
TWI542196B true TWI542196B (zh) 2016-07-11

Family

ID=46650314

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101131377A TWI542196B (zh) 2011-09-27 2012-08-29 根據視頻編碼進行自適應環路濾波的設備及操作視頻編碼器的方法

Country Status (6)

Country Link
US (1) US9432700B2 (zh)
EP (1) EP2575365A1 (zh)
KR (1) KR101437027B1 (zh)
CN (1) CN103051890B (zh)
HK (1) HK1180503A1 (zh)
TW (1) TWI542196B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101680915B1 (ko) * 2008-11-25 2016-11-29 톰슨 라이센싱 비디오 인코딩 및 디코딩을 위한 희소성-기반 아티팩트 제거 필터링 방법 및 장치
EP2769550A4 (en) * 2011-10-14 2016-03-09 Mediatek Inc METHOD AND APPARATUS FOR LOOP FILTRATION
US9860530B2 (en) * 2011-10-14 2018-01-02 Hfi Innovation Inc. Method and apparatus for loop filtering
CA2868255C (en) * 2012-04-13 2018-04-17 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
TWI496456B (zh) 2013-11-19 2015-08-11 Ind Tech Res Inst 畫面間成本計算方法及畫面間成本計算裝置
EP4087247A1 (en) 2014-02-26 2022-11-09 Dolby Laboratories Licensing Corp. Luminance based coding tools for video compression
WO2016188447A1 (en) * 2015-05-28 2016-12-01 Hfi Innovation Inc. Method and apparatus for using a current picture as a reference picture
CN106303550B (zh) * 2015-06-11 2019-06-21 华为技术有限公司 去块效应滤波方法和去块效应滤波器
WO2016204479A1 (ko) * 2015-06-16 2016-12-22 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
KR102142938B1 (ko) * 2015-09-25 2020-08-10 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 모션 보상을 위한 장치 및 방법
MY190412A (en) 2015-09-25 2022-04-21 Huawei Tech Co Ltd Adaptive sharpening filter for predictive coding
AU2015409727B2 (en) 2015-09-25 2019-09-12 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
EP3354028B1 (en) 2015-09-25 2021-09-15 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation with selectable interpolation filter
MX2018003688A (es) 2015-09-25 2018-08-01 Huawei Tech Co Ltd Aparato y metodo para compensacion de movimiento de video.
CN108353182B (zh) * 2015-11-18 2021-06-04 韩国电子通信研究院 用于使用环路内滤波器解码视频的方法及其装置
US10855951B2 (en) * 2018-07-13 2020-12-01 Analog Devices Global Unlimited Company Methods and devices for compensating sag effect
CN113785569B (zh) * 2019-01-25 2023-09-08 寰发股份有限公司 视频编码的非线性适应性环路滤波方法和装置
CN113767623B (zh) * 2019-04-16 2024-04-02 北京字节跳动网络技术有限公司 用于视频编解码的自适应环路滤波
CN117768644A (zh) * 2019-06-24 2024-03-26 华为技术有限公司 用于非线性自适应环路滤波器的限幅电平
CN114391254A (zh) * 2019-06-28 2022-04-22 弗劳恩霍夫应用研究促进协会 视频解码器、视频编码器、用于编码和解码视频信号的方法以及调整一个或多个去噪操作的计算机程序
US20210133124A1 (en) * 2019-11-06 2021-05-06 Stmicroelectronics International N.V. High throughput digital filter architecture for processing unary coded data
CN113475070B (zh) * 2019-12-24 2024-06-25 瑞典爱立信有限公司 针对自适应环路滤波的虚拟边界处理
CN111314711B (zh) * 2020-03-31 2021-05-14 电子科技大学 一种基于自适应自导向滤波的环路滤波方法
CN113727106B (zh) * 2020-05-25 2024-03-26 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、电子设备及存储介质
US11743459B2 (en) * 2020-09-29 2023-08-29 Qualcomm Incorporated Filtering process for video coding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005036734A1 (en) * 2003-10-10 2005-04-21 Tc Electronic A/S Power supply compensation
US7792385B2 (en) * 2005-01-25 2010-09-07 Globalfoundries Inc. Scratch pad for storing intermediate loop filter data
US8942505B2 (en) * 2007-01-09 2015-01-27 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter representation
CN101325707B (zh) 2007-06-12 2012-04-18 浙江大学 纹理自适应视频编解码***
US8654904B2 (en) * 2007-10-09 2014-02-18 Agere Systems Llc Scaling equalizer coefficients after automatic gain controller gain adjustments
BRPI0818444A2 (pt) * 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
WO2012057583A2 (ko) * 2010-10-28 2012-05-03 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법
KR20120047821A (ko) * 2010-11-02 2012-05-14 (주)휴맥스 화면내 예측 부호화를 위한 디블록킹 필터링 방법

Also Published As

Publication number Publication date
TW201320759A (zh) 2013-05-16
US20130077697A1 (en) 2013-03-28
EP2575365A1 (en) 2013-04-03
HK1180503A1 (zh) 2013-10-18
CN103051890B (zh) 2016-08-17
KR101437027B1 (ko) 2014-09-02
CN103051890A (zh) 2013-04-17
KR20130033966A (ko) 2013-04-04
US9432700B2 (en) 2016-08-30

Similar Documents

Publication Publication Date Title
TWI542196B (zh) 根據視頻編碼進行自適應環路濾波的設備及操作視頻編碼器的方法
TWI504221B (zh) 用於操作通訊裝置的視訊編碼器的裝置和方法
US20200092543A1 (en) Sample adaptive offset (sao) in accordance with video coding
US10165285B2 (en) Video coding tree sub-block splitting
TWI542219B (zh) 頻域取樣自適應偏移（ｓａｏ）
US20130343447A1 (en) Adaptive loop filter (ALF) padding in accordance with video coding
US20120047535A1 (en) Streaming transcoder with adaptive upstream & downstream transcode coordination
TWI524739B (zh) 根據視頻編碼的採樣點自適應偏移（sao）
KR101357842B1 (ko) 인프라스트럭쳐 성능들 및 현재 조건들에 기초한 비디오 코딩 서브-블록 사이징
US10547860B2 (en) Video coding with trade-off between frame rate and chroma fidelity
US20120047229A1 (en) Adaptive multi-standard video coder supporting adaptive standard selection and mid-stream switch-over
TWI493885B (zh) 用於操作通訊裝置的熵編碼器及設備
US20120236939A1 (en) Sub-band video coding architecture for packet based transmission
US20120044987A1 (en) Entropy coder supporting selective employment of syntax and context adaptation
KR20130035927A (ko) 적응적 업스트림 및 다운스트림 트랜스코드 조정 기능을 갖는 스트리밍 트랜스코더
US20130235926A1 (en) Memory efficient video parameter processing