TW202416715A - 非幀內預測編碼區塊的等效幀內模式 - Google Patents

非幀內預測編碼區塊的等效幀內模式 Download PDF

Info

Publication number
TW202416715A
TW202416715A TW112138694A TW112138694A TW202416715A TW 202416715 A TW202416715 A TW 202416715A TW 112138694 A TW112138694 A TW 112138694A TW 112138694 A TW112138694 A TW 112138694A TW 202416715 A TW202416715 A TW 202416715A
Authority
TW
Taiwan
Prior art keywords
frame prediction
directional intra
prediction mode
intra
mode
Prior art date
Application number
TW112138694A
Other languages
English (en)
Inventor
卡拉姆 納澤
陳婭
凱文 勒茲
帝艾里 杜馬斯
Original Assignee
法商內數位Ce專利控股公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 法商內數位Ce專利控股公司 filed Critical 法商內數位Ce專利控股公司
Publication of TW202416715A publication Critical patent/TW202416715A/zh

Links

Images

Abstract

一種視訊解碼裝置可判定一目前區塊以一非方向性幀內預測模式(例如,一幀間預測模式、一交叉分量預測模式、一調色板模式、一幀內區塊複製(intra block copy, IBC)模式、或一幀內模板匹配預測(幀內TMP (intra template matching prediction))模式)編碼。該裝置可導出對應於該非方向性幀內預測模式的一方向性幀內預測模式。經導出的該方向性幀內預測模式可指示一經導出幀內預測方向。該裝置可至少部分地基於經導出的該方向性幀內預測模式而解碼該目前區塊。

Description

非幀內預測編碼區塊的等效幀內模式
本發明揭示了用於導出等效幀內模式的系統、方法、及儀器。
視訊編碼系統可用以壓縮數位視訊信號例如以降低此類信號所需的儲存及/或傳輸頻寬。視訊編碼系統可包括例如基於區塊、基於小波(wavelet)、及/或基於物件的系統。
揭示了用於導出等效幀內模式的系統、方法、及儀器。
實例裝置(例如,視訊解碼裝置)可判定一目前區塊以一非方向性幀內預測模式編碼。該裝置可導出對應於該非方向性幀內預測模式的一方向性幀內預測模式。經導出的該方向性幀內預測模式可指示一經導出幀內預測方向。該裝置可至少部分地基於經導出的該方向性幀內預測模式而解碼該目前區塊。
類似地,一實例裝置(例如,視訊編碼裝置)可識別用於編碼一目前區塊的一非方向性幀內預測模式。該裝置可導出對應於該非方向性幀內預測模式的一方向性幀內預測模式。經導出的該方向性幀內預測模式可包括一經導出幀內預測方向。該裝置可至少部分地基於經導出的該方向性幀內預測模式而編碼該目前區塊。
該裝置可使用該非方向性幀內預測模式來獲得該目前區塊之一預測區塊。該裝置可獲得該預測區塊中之複數個經重建樣本。該方向性幀內預測模式可基於該預測區塊中之該複數個經重建樣本及該目前區塊的複數個經重建相鄰樣本而導出。
該裝置可儲存經導出的該方向性幀內預測模式。該裝置可使用經導出的該方向性幀內預測模式,以產生一相鄰預測區塊的一最可能模式(most probable mode, MPM)清單。該裝置可基於經導出的該方向性幀內預測模式而判定一低頻非可分離轉換(low-frequency non-separable transform, LFNST)轉換集合。該目前區塊可基於該LFNST轉換集合而解碼/編碼。該裝置可基於經導出的該方向性幀內預測模式而判定一多轉換選擇(multi-transform selection, MTS)轉換集合。該目前區塊可基於該MTS轉換集合而解碼/編碼。
導出該方向性幀內預測模式可涉及:基於與相鄰該目前區塊之經重建像素相關聯的一梯度直方圖而導出該方向性幀內預測模式。導出該方向性幀內預測模式可涉及:在相鄰該目前區塊的經重建像素上測試複數個候選方向性幀內預測模式;且基於該測試,從該複數個候選方向性幀內預測模式選擇該方向性幀內預測模式。
該裝置可使用該非方向性幀內預測模式來獲得該目前區塊之一預測區塊。該裝置可獲得該預測區塊中之複數個經重建樣本。該裝置可獲得複數個可能預測模式。該裝置可基於該複數個可能預測模式,而運算該預測區塊中之該複數個經重建樣本的複數個預測。該裝置可基於該預測區塊中之該複數個經重建樣本、及對應的該複數個預測,而運算對應於該複數個可能預測模式的複數個預測誤差。該裝置可基於該複數個預測誤差,而在該複數個可能預測模式中選擇該方向性幀內預測模式。
該非方向性幀內預測模式可係一幀間預測模式、一交叉分量預測模式、一調色板模式、一幀內區塊複製(intra block copy, IBC)模式、或一幀內模板匹配預測(幀內TMP (intra template matching prediction))模式。
該裝置可基於該方向性幀內預測模式而選擇一低頻非可分離轉換(LFNST)轉換集合。該裝置可基於該LFNST轉換集合而對該目前區塊的一殘量執行逆轉換。
該裝置可基於該方向性幀內預測模式而選擇一多轉換選擇(MTS)轉換集合。該裝置可基於該MTS轉換集合而對該目前區塊的一殘量執行逆轉換。
一種視訊解碼裝置可包括一處理器,其經組態以判定一目前區塊以一非幀內預測模式(例如,並非方向幀內預測模式、DC模式、或平面模式)編碼。例如,該非幀內預測模式可係一幀間預測模式、一交叉分量預測模式、一調色板模式、一幀內區塊複製(IBC)模式、或一幀內模板匹配預測(幀內TMP)模式中之一或多者。可導出對應於該非幀內預測模式的一幀內預測模式。該目前區塊可至少部分地基於經導出的該幀內預測模式而解碼。
在一實例中,該目前區塊之一預測區塊可使用該非幀內預測模式獲得。對應於該非幀內預測模式的該幀內預測模式可基於該預測區塊而導出。
在一實例中,該目前區塊之一預測區塊可使用該非幀內預測模式獲得。可獲得該預測區塊中之經重建樣本。該幀內預測模式可基於該預測區塊中之該等經重建樣本及經重建相鄰樣本而導出。
可藉由將一解碼器側幀內模式導出(decoder-side intra mode derivation, DIMD)程序應用至該目前區塊之一經重建模板(例如,在目前區塊周圍的模板、相鄰目前區塊的模板樣本)、使用非幀內預測模式獲得之目前區塊的預測區塊、或預測區塊內部的經重建模板中之至少一者,而導出該幀內預測模式。可藉由將一基於模板的幀內模式導出(template-based intra mode derivation, TIMD)程序應用至目前區塊之經重建模板、使用非幀內預測模式獲得之目前區塊的預測區塊、或預測區塊內部的經重建模板中之至少一者,而導出該幀內預測模式。
在一實例中,該目前區塊之一預測區塊可使用該非幀內預測模式獲得。可獲得該預測區塊中之經重建樣本。可獲得可能預測模式。可基於該等可能預測模式而運算該預測區塊中之該等經重建樣本的預測。對應於該等可能預測模式的預測誤差可基於該預測區塊中之該等經重建樣本及對應的該等預測而運算。該幀內預測模式可基於該等預測誤差而從該等可能預測模式而選擇。該幀內預測模式可基於對應於該幀內預測模式的該預測誤差在該等預測誤差中係最小的一判定而選擇。
在一實例中,該目前區塊之一預測區塊可使用該非幀內預測模式獲得。可獲得該預測區塊中之樣本。可基於該預測區塊中的該等樣本而判定該預測區塊的一方向性。該幀內預測模式可基於該預測區塊之經判定方向性而導出。
一種視訊編碼裝置可包括一處理器,其經組態以識別用於編碼一目前區塊的一非幀內預測模式。可導出對應於該非幀內預測模式的一幀內預測模式。該目前區塊可至少部分地基於經導出的該幀內預測模式而編碼。
相關申請案之交互參照
本申請案主張於2022年10月11日申請之歐洲臨時專利申請案第EP22306526.9號之優先權,其內容特此以引用方式併入本文中。
圖1A係繪示一或多個經揭示實施例可實施於其中之實例通訊系統100的圖。通訊系統100可係提供內容(諸如語音、資料、視訊、通信報、廣播等)至多個無線使用者的多重存取系統。通訊系統100可賦能多個無線使用者以透過系統資源(包括無線頻寬)的共用而存取此類內容。例如,通訊系統100可採用一或多個通道存取方法,諸如分碼多重存取(code division multiple access, CDMA)、分時多重存取(time division multiple access, TDMA)、分頻多重存取(frequency division multiple access, FDMA)、正交FDMA (orthogonal FDMA, OFDMA)、單載波FDMA (single-carrier FDMA, SC-FDMA)、零尾唯一字DFT擴展OFDM (zero-tail unique-word DFT-Spread OFDM, ZT UW DTS-s OFDM)、唯一字OFDM (unique word OFDM, UW-OFDM)、資源區塊濾波OFDM、濾波器組多載波(filter bank multicarrier, FBMC)、及類似者。
如圖1A所示,通訊系統100可包括無線傳輸/接收單元(WTRU) 102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交換電話網路(public switched telephone network, PSTN) 108、網際網路110、及其他網路112,雖然將理解所揭示的實施例設想任何數目的WTRU、基地台、網路、及/或網路元件。WTRU 102a、102b、102c、102d之各者可係經組態以在無線環境中操作及/或通訊的任何類型的裝置。舉實例而言,WTRU 102a、102b、102c、102d(其任一者可稱為「站台(station)」及/或「STA」)可經組態以傳輸及/或接收無線信號,並可包括使用者設備(user equipment, UE)、行動電台、固定或行動訂戶單元、基於訂閱的單元、呼叫器、蜂巢式電話、個人數位助理(personal digital assistant, PDA)、智慧型手機、膝上型電腦、輕省筆電、個人電腦、無線感測器、熱點或Mi-Fi裝置、物聯網(Internet of Things, IoT)裝置、手錶或其他可穿戴式、頭戴式顯示器(head-mounted display, HMD)、車輛、無人機、醫療裝置及應用(例如,遠端手術)、工業裝置及應用(例如,在工業及/或自動化處理鏈背景中操作的機器人及/或其他無線裝置)、消費性電子裝置、在商業及/或工業無線網路上操作的裝置、及類似者。WTRU 102a、102b、102c、及102d的任一者可互換地稱為UE。
通訊系統100亦可包括基地台114a及/或基地台114b。基地台114a、114b之各者可係經組態以與WTRU 102a、102b、102c、102d中之至少一者無線地介接的任何類型的裝置,以促進存取一或多個通訊網路(諸如CN 106/115、網際網路110、及/或其他網路112)。舉實例而言,基地台114a、114b可係基地收發站(base transceiver station, BTS)、節點B、e節點B、本地節點B、本地e節點B、gNB、NR節點B、站台控制器、存取點(access point, AP)、無線路由器、及類似者。雖然將基地台114a、114b各描繪成單一元件,將理解基地台114a、114b可包括任何數目的互連基地台及/或網路元件。
基地台114a可係RAN 104/113的部分,該RAN亦可包括其他基地台及/或網路元件(未圖示),諸如基地台控制器(base station controller, BSC)、無線電網路控制器(radio network controller, RNC)、中繼節點等。基地台114a及/或基地台114b可經組態以在一或多個載波頻率上傳輸及/或接收無線信號,該等基地台可稱為胞元(cell)(未圖示)。此等頻率可在授權頻譜、非授權頻譜、或授權頻譜及非授權頻譜的組合中。胞元可對可係相對固定或可隨時間變化的特定地理區域提供無線服務覆蓋。胞元可進一步劃分成胞元扇區(cell sector)。例如,與基地台114a關聯的胞元可劃分成三個扇區。因此,在一個實施例中,基地台114a可包括三個收發器,亦即,一個收發器用於胞元的一個扇區。在一實施例中,基地台114a可採用多輸入多輸出(multiple-input multiple output, MIMO)技術,且可將多個收發器用於胞元的各扇區。例如,波束成形可用以在所欲空間方向上傳輸及/或接收信號。
基地台114a、114b可透過空中介面116與WTRU 102a、102b、102c、102d的一或多者通訊,該空中介面可係任何合適的無線通訊鏈路(例如,射頻(radio frequency, RF)、微波、厘米波、微米波、紅外線(infrared, IR)、紫外線(ultraviolet, UV)、可見光等)。空中介面116可使用任何合適的無線電存取技術(radio access technology, RAT)建立。
更具體地說,如上文提到的,通訊系統100可係多重存取系統且可採用一或多個通道存取方案,諸如CDMA、TDMA、FDMA、OFDMA、SC-FDMA、及類似者。例如,RAN 104/113中的基地台114a及WTRU 102a、102b、102c可實施無線電技術,諸如可使用寬頻CDMA (wideband CDMA, WCDMA)建立空中介面115/116/117的通用行動電信系統(Universal Mobile Telecommunications System, UMTS)地面無線電存取(UTRA)。WCDMA可包括通訊協定,諸如高速封包存取(High-Speed Packet Access, HSPA)及/或演進HSPA (HSPA+)。HSPA可包括高速下行鏈路(DL)封包存取(High-Speed Downlink Packet Access, HSDPA)及/或高速UL封包存取(High-Speed Uplink Packet Access, HSUPA)。
在一實施例中,基地台114a及WTRU 102a、102b、102c可實施無線電技術,諸如可使用長期演進技術(Long Term Evolution, LTE)及/或進階LTE (LTE-Advanced, LTE-A)及/或進階LTE加強版(LTE-Advanced Pro, LTE-A Pro)建立空中介面116的演進UMTS地面無線電存取(Evolved UMTS Terrestrial Radio Access, E-UTRA)。
在一實施例中,基地台114a及WTRU 102a、102b、102c可實施無線電技術,諸如可使用新無線電(New Radio, NR)建立空中介面116的NR無線電存取。
在一實施例中,基地台114a及WTRU 102a、102b、102c可實施多個無線電存取技術。例如,基地台114a及WTRU 102a、102b、102c可一起實施LTE無線電存取及NR無線電存取,例如,使用雙連接性(dual connectivity, DC)原理。因此,由WTRU 102a、102b、102c利用的空中介面可藉由多種類型的無線電存取技術及/或發送至/自多種類型之基地台(例如,eNB及gNB)的傳輸特徵化。
在其他實施例中,基地台114a及WTRU 102a、102b、102c可實施無線電技術,諸如IEEE 802.11(亦即,無線保真度(Wireless Fidelity, WiFi)、IEEE 802.16(亦即,全球互通微波存取(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫時性標準2000 (IS-2000)、暫時性標準95 (IS-95)、暫時性標準856 (IS-856)、全球行動通訊系統(GSM)、GSM演進增強型資料速率(EDGE)、GSM EDGE (GERAN)、及類似者。
圖1A中的基地台114b可係無線路由器、本地節點B、本地e節點B、或存取點,例如,且可利用任何合適的RAT以用於促進局部化區域(諸如營業場所、家庭、車輛、校園、工業設施、空中走廊(例如,用於由無人機使用)、道路、及類似者)中的無線連接性。在一個實施例中,基地台114b及WTRU 102c、102d可實施無線電技術,諸如IEEE 802.11以建立無線區域網路(wireless local area network, WLAN)。在一實施例中,基地台114b及WTRU 102c、102d可實施無線電技術,諸如IEEE 802.15以建立無線個人區域網路(wireless personal area network, WPAN)。在又另一實施例中,基地台114b及WTRU 102c、102d可利用基於蜂巢式的RAT(例如,WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等)以建立微微型胞元或毫微微型胞元。如圖1A所示,基地台114b可具有至網際網路110的直接連接。因此,基地台114b可能不需要經由CN 106/115存取網際網路110。
RAN 104/113可與CN 106/115通訊,其可係經組態以提供語音、資料、應用、及/或網際網路協定上的語音(voice over internet protocol, VoIP)服務至WTRU 102a、102b、102c、102d的一或多者的任何類型的網路。資料可具有不同的服務品質(quality of service, QoS)需求,諸如不同的通量需求、延遲需求、容錯需求、可靠性需求、資料通量需求、行動需求、及類似者。CN 106/115可提供呼叫控制、帳單服務、基於行動定位的服務、預付電話、網際網路連接性、視訊分布等、及/或執行高階安全功能,諸如使用者認證。雖然未顯示於圖1A中,將理解RAN 104/113及/或CN 106/115可與採用與RAN 104/113相同的RAT或採用不同RAT的其他RAN直接或間接通訊。例如,除了連接至RAN 104/113(其可利用NR無線電技術)外,CN 106/115亦可與採用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA、或WiFi無線電技術的另一RAN(未圖示)通訊。
CN 106/115亦可作用為WTRU 102a、102b、102c、102d的閘道,以存取PSTN 108、網際網路110、及/或其他網路112。PSTN 108可包括提供簡易老式電話服務(plain old telephone service, POTS)的電路交換電話網路。網際網路110可包括使用共同通訊協定的互連電腦網路及裝置的全球系統,諸如TCP/IP網際網路協定套組中的傳輸控制協定(transmission control protocol, TCP)、使用者資料包協定(user datagram protocol, UDP)、及/或網際網路協定(internet protocol, IP)。網路112可包括由其他服務供應商所擁有及/或操作的有線及/或無線通訊網路。例如,網路112可包括連接至一或多個RAN的另一CN,該一或多個RAN可採用與RAN 104/113相同的RAT或不同的RAT。
通訊系統100中的WTRU 102a、102b、102c、102d的一些或全部可包括多模式能力(例如,WTRU 102a、102b、102c、102d可包括用於透過不同的無線鏈路與不同的無線網路通訊的多個收發器)。例如,顯示於圖1A中的WTRU 102c可經組態以與可採用以基於蜂巢式的無線電技術的基地台114a,且與可採用IEEE 802無線電技術的基地台114b通訊。
圖1B係繪示實例WTRU 102的系統圖。如圖1B所示,WTRU 102可尤其包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、小鍵盤126、顯示器/觸控板128、非可移除式記憶體130、可移除式記憶體132、電源134、全球定位系統(global positioning system, GPS)晶片組136、及/或其他週邊設備138等。將理解WTRU 102可包括上述元件的任何次組合,同時仍與實施例保持一致。
處理器118可係一般用途處理器、特殊用途處理器、習知處理器、數位信號處理器(digital signal processor, DSP)、複數個微處理器、與DSP核心關聯的一或多個微處理器、控制器、微控制器、特殊應用積體電路(Application Specific Integrated Circuit, ASIC)、現場可程式化閘陣列(Field Programmable Gate Array, FPGA)電路、任何其他類型的積體電路(integrated circuit, IC)、狀態機、及類似者。如上文建議的,處理器118可包括複數個處理器。處理器118可執行信號編碼、資料處理、電力控制、輸入/輸出處理、及/或使WTRU 102能在無線環境中操作的任何其他功能性。處理器118可耦接至收發器120,該收發器可耦接至傳輸/接收元件122。雖然圖1B將處理器118及收發器120描繪成分開的組件,將理解處理器118及收發器120可在電子封裝或晶片中整合在一起。
傳輸/接收元件122可經組態以透過空中介面116傳輸信號至基地台(例如,基地台114a)或自該基地台接收信號。例如,在一個實施例中,傳輸/接收元件122可係經組態以傳輸及/或接收RF信號的天線。在一實施例中,例如,傳輸/接收元件122可係經組態以傳輸及/或接收IR、UV、或可見光信號的發射器/偵測器。在又另一實施例中,傳輸/接收元件122可經組態以傳輸及/或接收RF及光信號二者。應理解傳輸/接收元件122可經組態以傳輸及/或接收無線信號的任何組合。
雖然在圖1B中將傳輸/接收元件122描繪成單一元件,WTRU 102可包括任何數目的傳輸/接收元件122。更具體地說,WTRU 102可採用MIMO技術。因此,在一個實施例中,WTRU 102可包括二或更多個傳輸/接收元件122(例如,多個天線)以用於透過空中介面116傳輸及接收無線信號。
收發器120可經組態以調變待藉由傳輸/接收元件122傳輸的信號及解調變藉由傳輸/接收元件122接收的信號。如上文提到的,WTRU 102可具有多模式能力。因此,例如,收發器120可包括用於使WTRU 102能經由多個RAT(諸如,NR及IEEE 802.11)通訊的多個收發器。
WTRU 102的處理器118可耦接至揚聲器/麥克風124、小鍵盤126、及/或顯示器/觸控板128(例如,液晶顯示器(liquid crystal display, LCD)顯示器單元或有機發光二極體(organic light-emitting diode, OLED)顯示器單元)並可接收來自其等的使用者輸入資料。處理器118亦可將使用者資料輸出至揚聲器/麥克風124、小鍵盤126、及/或顯示器/觸控板128。額外地,處理器118可存取來自任何類型的合適記憶體(諸如非可移除式記憶體130及/或可移除式記憶體132)的資訊及將資料儲存在任何類型的合適記憶體中。非可移除式記憶體130可包括隨機存取記憶體(random-access memory, RAM)、唯讀記憶體(read-only memory, ROM)、硬碟、或任何其他類型的記憶體儲存裝置。可移除式記憶體132可包括用戶身份模組(subscriber identity module, SIM)卡、記憶棒、安全數位(secure digital, SD)記憶卡、及類似者。在其他實施例中,處理器118可存取來自未實體位於WTRU 102上(諸如在伺服器或家用電腦(未圖示)上)之記憶體的資訊及將資料儲存在該記憶體中。
處理器118可接收來自電源134的電力,並可經組態以分布及/或控制至WTRU 102中之其他組件的電力。電源134可係用於對WTRU 102供電的任何合適裝置。例如,電源134可包括一或多個乾電池電池組(例如,鎳-鎘(NiCd)、鎳-鋅(NiZn)、鎳氫(NiMH)、鋰離子(Li-離子)等)、太陽能電池、燃料電池、及類似者。
處理器118亦可耦接至GPS晶片組136,該GPS晶片組可經組態以提供關於WTRU 102之目前位置的位置資訊(例如,經度和緯度)。除了(或替代)來自GPS晶片組136的資訊外,WTRU 102可透過空中介面116接收來自基地台(例如,基地台114a、114b)的位置資訊,及/或基於從二或更多個附近基地台接收之信號的時序判定其位置。將理解WTRU 102可藉由任何合適的位置判定方法獲得位置資訊,同時仍與實施例保持一致。
處理器118可進一步耦接至其他週邊設備138,該等週邊設備可包括提供額外特徵、功能性、及/或有線或無線連接性的一或多個軟體及/或硬體模組。例如,週邊設備138可包括加速度計、電子羅盤、衛星收發器、數位相機(用於相片及/或視訊)、通用串列匯流排(universal serial bus, USB)埠、振動裝置、電視機收發器、免持式頭戴裝置、Bluetooth ®模組、調頻(frequency modulated, FM)無線電單元、數位音樂播放器、媒體播放器、視訊遊戲機模組、網際網路瀏覽器、虛擬實境及/或擴增實境(virtual reality and/or augmented reality, VR/AR)裝置、活動追蹤器、及類似者。週邊設備138可包括一或多個感測器,該等感測器可係陀螺儀、加速度計、霍爾效應感測器、磁力計、定向感測器、近接感測器、溫度感測器、時間感測器;地理位置感測器;高度計、光感測器、觸控感測器、磁力計、氣壓計、手勢感測器、生物特徵感測器、及/或濕度感測器的一或多者。
WTRU 102可包括一些或所有信號(例如,與用於UL(例如,用於傳輸)及下行鏈路(例如,用於接收)二者的特定子訊框關聯)針對其的傳輸及接收可係並行及/或同時的全雙工無線電。全雙工無線電可包括干擾管理單元,以經由硬體(例如,扼流器)或經由處理器(例如,分開的處理器(未圖示)或經由處理器118)的信號處理的其中一者降低及或實質消除自干擾。在一實施例中,WRTU 102可包括一些或所有信號(例如,與用於UL(例如,用於傳輸)或下行鏈路(例如,用於接收)其中一者的特定子訊框關聯)針對其傳輸及接收的半雙工無線電。
圖1C係根據一實施例繪示RAN 104及CN 106的系統圖。如上文提到的,RAN 104可採用E-UTRA無線電技術以透過空中介面116與WTRU 102a、102b、102c通訊。RAN 104亦可與CN 106通訊。
RAN 104可包括e節點B 160a、160b、160c,雖然應理解RAN 104可包括任何數目的e節點B,同時仍與實施例保持一致。e節點B 160a、160b、160c各可包括一或多個收發器以用於透過空中介面116與WTRU 102a、102b、102c通訊。在一個實施例中,e節點B 160a、160b、160c可實施MIMO技術。因此,e節點B 160a,例如,可使用多個天線以傳輸無線信號至WTRU 102a,及/或接收來自該WTRU的無線信號。
e節點B 160a、160b、160c之各者可與特定胞元(未圖示)關聯,並可經組態以處理無線電資源管理決策、交遞決策、UL及/或DL中之使用者的排程、及類似者。如圖1C所示,e節點B 160a、160b、160c可透過X2介面彼此通訊。
顯示於圖1C中的CN 106可包括行動管理實體(mobility management entity, MME) 162、服務閘道(serving gateway, SGW) 164、及封包資料網路(packet data network, PDN)閘道(或PGW)166。雖然將上述元件之各者描繪成CN 106的部分,將理解此等元件的任一者可由CN操作者之外的實體擁有及/或操作。
MME 162可經由S1介面連接至RAN 104中的e節點B 162a、162b、162c之各者,並可作用為控制節點。例如,MME 162可負責在WTRU 102a、102b、102c、及類似者的最初附接期間認證WTRU 102a、102b、102c的使用者、承載啟用/停用、選擇特定的服務閘道。MME 162可提供控制平面功能以用於在RAN 104與採用其他無線電技術(諸如GSM及/或WCDMA)的其他RAN(未圖示)之間切換。
SGW 164可經由S1介面連接至RAN 104中的e節點B 160a、160b、160c的各者。SGW 164通常可將使用者資料封包路由及轉發至WTRU 102a、102b、102c/路由及轉發來自該等WTRU的使用者資料封包。SGW 164可執行其他功能,諸如在e節點B間交遞期間錨定使用者平面、在DL資料可用於WTRU 102a、102b、102c時觸發呼叫、管理及儲存WTRU 102a、102b、102c的背景、及類似者。
SGW 164可連接至PGW 166,該PGW可將對封包交換網路(諸如網際網路110)的存取提供給WTRU 102a、102b、102c,以促進WTRU 102a、102b、102c與IP賦能裝置之間的通訊。
CN 106可促進與其他網路的通訊。例如,CN 106可將對電路交換網路(諸如PSTN 108)的存取提供給WTRU 102a、102b、102c,以促進WTRU 102a、102b、102c與傳統陸地線路通訊裝置之間的通訊。例如,CN 106可包括作用為CN 106與PSTN 108之間的介面的IP閘道器(例如,IP多媒體子系統(IP multimedia subsystem, IMS)伺服器)或可與該IP閘道器通訊。額外地,CN 106可將對其他網路112的存取提供給WTRU 102a、102b、102c,該等其他網路可包括由其他服務供應商擁有及/或操作的其他有線及/或無線網路。
雖然在圖1A至圖1D中將WTRU描述為無線終端,預計在某些代表性實施例中,此一終端可與通訊網路一起使用(例如,暫時地或永久地)有線通訊介面。
在代表性實施例中,其他網路112可係WLAN。
在基礎設施基本服務集(Basic Service Set, BSS)模式中的WLAN可具有用於BSS的存取點(AP)及與AP關聯的一或多個站台(STA)。AP可具有對分配系統(Distribution System, DS)或將訊務載入及/或載出BSS之另一類型的有線/無線網路的存取或介面。源自BSS外側之至STA的訊務可透過AP到達並遞送至STA。可將源自STA至BSS外側之目的地的訊務發送至AP以遞送至各別目的地。在BSS內的STA之間的訊務可透過AP發送,例如,其中來源STA可將訊務發送至AP且AP可將訊務遞送至目的地STA。可將BSS內的STA之間的訊務視為及/或稱為同級間訊務。同級間訊務可以直接鏈路設置(direct link setup, DLS)在來源STA與目的地STA之間(例如,直接於其間)發送。在某些代表性實施例中,DLS可使用802.11e DLS或802.11z隧道式DLS (tunneled DLS, TDLS)。使用獨立BSS (Independent BSS, IBSS)模式的WLAN可不具有AP,且在IBSS內或使用該IBSS的STA(例如,所有的STA)可彼此直接通訊。IBSS通訊模式在本文中有時可稱為「特設(ad-hoc)」通訊模式。
當使用802.11ac基礎設施操作模式或類似操作模式時,AP可在固定通道(諸如主通道)上傳輸信標。主通道可係固定寬度的(例如,20 MHz寬的頻寬)或經由傳訊動態地設定寬度。主通道可係BSS的操作通道並可由STA使用以建立與AP的連接。在某些代表性實施例中,可將具有碰撞避免的載波感測多重存取(Carrier Sense Multiple Access with Collision Avoidance, CSMA/CA)實施在例如802.11系統中。對於CSMA/CA,包括AP的STA(例如,每一個STA)可感測主通道。若主通道由特定STA感測/偵測及/或判定成忙碌,該特定STA可退出。一個STA(例如,僅一個站台)可在給定BSS中的任何給定時間傳輸。
高通量(High Throughput, HT) STA可使用40 MHz寬的通道以用於通訊,例如經由20 MHz主通道與相鄰或不相鄰的20 MHz通道的組合以形成40 MHz寬的通道。
非常高通量(Very High Throughput, VHT) STA可支援20 MHz、40 MHz、80 MHz、及/或160 MHz寬的通道。40 MHz及/或80 MHz通道可藉由組合連續的20 MHz通道形成。160 MHz通道可藉由組合8個連續的20 MHz通道,或藉由組合二個非連續的80 MHz通道(其可稱為80+80組態)形成。對於80+80組態,在通道編碼後,可將資料傳過可將資料分成二個串流的區段剖析器。快速傅立葉逆變換(Inverse Fast Fourier Transform, IFFT)處理及時域處理可在各串流上分開完成。可將串流映射至二個80 MHz通道上,且資料可藉由傳輸STA傳輸。在接收STA的接收器處,用於80+80組態的上述操作可反轉,並可將經組合資料發送至媒體存取控制(MAC)。
次1 GHz操作模式是由802.11af及802.11ah所支援。通道操作頻寬及載波在802.11af及802.11ah中相對於使用在802.11n及802.11ac中的通道操作頻寬及載波係降低的。802.11af在電視空白頻段(TV White Space, TVWS)頻譜中支援5 MHz、10 MHz、及20 MHz頻寬,且802.11ah使用非TVWS頻譜支援1 MHz、2 MHz、4 MHz、8 MHz、及16 MHz頻寬。根據代表性實施例,802.11ah可支援儀表類型控制/機器類型通訊,諸如在巨型涵蓋區中的MTC裝置。MTC裝置可具有某些能力,例如,包括支援(例如,僅支援)某些及/或有限頻寬的有限能力。MTC裝置可包括具有高於臨限之電池組壽命的電池組(例如,以維持非常長的電池組壽命)。
可支援多個通道及通道頻寬(諸如802.11n、802.11ac、802.11af、及802.11ah)的WLAN系統包括可指定成主通道的通道。主通道可具有等於由BSS中的所有STA支援的最大共同操作頻寬的頻寬。主通道的頻寬可由在BSS中操作的所有STA之中的支援最小頻寬操作模式的STA設定及/或限制。在802.11ah的實例中,即使AP(及BSS中的其他STA)支援2 MHz、4 MHz、8 MHz、16 MHz、及/或其他通道頻寬操作模式,主通道對於支援(例如,僅支援)1 MHz模式的STA(例如,MTC類型裝置)可係1 MHz寬。載波感測及/或網路配置向量(Network Allocation Vector, NAV)設定可取決於主通道的狀態。例如,若主通道例如導因於STA(其僅支援1 MHz操作模式)傳輸至AP而係忙碌的,即使大部分的頻帶維持閒置且可係可用的,可將整個可用頻帶視為係忙碌的。
在美國,可用頻帶(其可由802.11ah使用)係從902 MHz至928 MHz。在韓國,可用頻帶係從917.5 MHz至923.5 MHz。在日本,可用頻帶係從916.5 MHz至927.5 MHz。取決於國碼,可用於802.11ah的總頻寬係6 MHz至26 MHz。
圖1D係根據一實施例繪示RAN 113及CN 115的系統圖。如上文提到的,RAN 113可採用NR無線電技術以透過空中介面116與WTRU 102a、102b、102c通訊。RAN 113亦可與CN 115通訊。
RAN 113可包括gNB 180a、180b、180c,雖然應理解RAN 113可包括任何數目的gNB,同時仍與實施例保持一致。gNB 180a、180b、180c各可包括一或多個收發器以用於透過空中介面116與WTRU 102a、102b、102c通訊。在一個實施例中,gNB 180a、180b、180c可實施MIMO技術。例如,gNB 180a、108b可利用波束成形以傳輸信號至gNB 180a、180b、180c及/或接收來自該等gNB的信號。因此,gNB 180a例如可使用多個天線以傳輸無線信號至WTRU 102a及/或接收來自該WTRU的無線信號。在一實施例中,gNB 180a、180b、180c可實施載波聚合技術。例如,gNB 180a可將多個組成載波傳輸至WTRU 102a(未圖示)。此等組成載波的子集可在非授權頻譜上,而其餘的組成載波可在授權頻譜上。在一實施例中,gNB 180a、180b、180c可實施協調多點(Coordinated Multi-Point, CoMP)技術。例如,WTRU 102a可接收來自gNB 180a及gNB 180b(及/或gNB 180c)的經協調傳輸。
WTRU 102a、102b、102c可使用與可擴縮參數集(numerology)關聯的傳輸與gNB 180a、180b、180c通訊。例如,OFDM符號間距及/或OFDM副載波間距可針對不同傳輸、不同胞元、及/或無線傳輸頻譜的不同部分變化。WTRU 102a、102b、102c可使用子訊框或各種長度或可擴縮長度的傳輸時間間隔(transmission time interval, TTI)(例如,含有變化數目的OFDM符號及/或持續變化的絕對時間長度)與gNB 180a、180b、180c通訊。
gNB 180a、180b、180c可經組態以與採獨立組態及/或非獨立組態的WTRU 102a、102b、102c通訊。在獨立組態中,WTRU 102a、102b、102c可與gNB 180a、180b、180c通訊而無需亦存取其他RAN(例如,諸如e節點B 160a、160b、160c)。在獨立組態中,WTRU 102a、102b、102c可利用gNB 180a、180b、180c的一或多者作用為行動錨點。在獨立組態中,WTRU 102a、102b、102c可使用在非授權頻帶中的信號與gNB 180a、180b、180c通訊。在非獨立組態中,WTRU 102a、102b、102c可與gNB 180a、180b、180c通訊/連接至該等gNB,同時亦與另一RAN(諸如e節點B 160a、160b、160c)通訊/連接至該另一RAN。例如,WTRU 102a、102b、102c可實施DC原理以實質同時地與一或多個gNB 180a、180b、180c及一或多個e節點B 160a、160b、160c通訊。在非獨立組態中,e節點B 160a、160b、160c可作用為WTRU 102a、102b、102c的行動錨點,且gNB 180a、180b、180c可提供用於服務WTRU 102a、102b、102c的額外覆蓋及/或通量。
gNB 180a、180b、180c之各者可與特定胞元(未圖示)關聯,並可經組態以處理無線電資源管理決策、交遞決策、UL及/或DL中之使用者的排程、網路切片的支援、雙連接性、NR與E-UTRA之間的交互工作、使用者平面資料朝向使用者平面功能(User Plane Function, UPF) 184a、184b的路由、控制平面資訊朝向存取及行動性管理功能(Access and Mobility Management Function, AMF) 182a、182b的路由、及類似者。如圖1D所示,gNB 180a、180b、180c可透過Xn介面彼此通訊。
顯示於圖1D中的CN 115可包括至少一個AMF 182a、182b、至少一個UPF 184a、184b、至少一個對話管理功能(Session Management Function, SMF) 183a、183b、並可能包括資料網路(Data Network, DN) 185a、185b。雖然將上述元件之各者描繪成CN 115的部分,將理解此等元件的任一者可由CN操作者之外的實體擁有及/或操作。
AMF 182a、182b可經由N2介面連接至RAN 113中的gNB 180a、180b、180c的一或多者,並可作用為控制節點。例如,AMF 182a、182b可負責認證WTRU 102a、102b、102c的使用者、支援網路切片(例如,具有不同需求之不同PDU對話的處理)、選擇特定的SMF 183a、183b、登錄區的管理、NAS傳訊的終止、行動管理、及類似者。網路切片可由AMF 182a、182b使用,以基於正使用之WTRU 102a、102b、102c之服務的類型將用於WTRU 102a、102b、102c的CN支援客製化。例如,不同網路切片可針對不同的使用情形建立,諸如依賴超可靠低延遲(ultra-reliable low latency, URLLC)存取的服務、依賴增強大量行動寬頻(enhanced massive mobile broadband, eMBB)存取的服務、用於機器類型通訊(machine type communication, MTC)存取的服務、及/或類似者。AMF 162可提供用於在RAN 113與其他RAN(未圖示)之間切換的控制平面功能,該等其他RAN採用其他無線電技術(諸如LTE、LTE-A、LTE-A Pro、及/或非3GPP存取技術(諸如WiFi))。
SMF 183a、183b可經由N11介面連接至CN 115中的AMF 182a、182b。SMF 183a、183b亦可經由N4介面連接至CN 115中的UPF 184a、184b。SMF 183a、183b可選擇及控制UPF 184a、184b並組態透過UPF 184a、184b之訊務的路由。SMF 183a、183b可執行其他功能,諸如管理及分配UE IP位址、管理PDU對話、控制政策執行及QoS、提供下行鏈路資料通知、及類似者。PDU對話類型可係基於IP的、非基於IP的、基於乙太網路的、及類似者。
UPF 184a、184b可經由N3介面連接至RAN 113中的gNB 180a、180b、180c的一或多者,該介面可將對封包交換網路(諸如網際網路110)的存取提供給WTRU 102a、102b、102c,以促進WTRU 102a、102b、102c與IP賦能裝置之間的通訊。UPF 184、184b可執行其他功能,諸如路由及轉發封包、執行使用者平面政策、支援多連接(multi-homed) PDU對話、處理使用者平面QoS、緩衝下行鏈路封包、提供行動錨定、及類似者。
CN 115可促進與其他網路的通訊。例如,CN 115可包括作用為CN 115與PSTN 108之間的介面的IP閘道器(例如,IP多媒體子系統(IP multimedia subsystem, IMS)伺服器)或可與該IP閘道器通訊。額外地,CN 115可將對其他網路112的存取提供給WTRU 102a、102b、102c,該等其他網路可包括由其他服務供應商擁有及/或操作的其他有線及/或無線網路。在一個實施例中,WTRU 102a、102b、102c可經由至UPF 184a、184b的N3介面及UPF 184a、184b與區域資料網路(DN) 185a、185b之間的N6介面透過UPF 184a、184b連接至DN 185a、185b。
鑑於圖1A至圖1D及圖1A至圖1D的對應描述,關於下列一或多者於本文描述之功能的一或多者或全部可藉由一或多個仿真裝置(未圖示)執行:可藉由一或多個仿真裝置(未圖示)執行WTRU 102a至102d、基地台114a至114b、e節點B 160a至160c、MME 162、SGW 164、PGW 166、gNB 180a至180c、AMF 182a至182b、UPF 184a至184b、SMF 183a至183b、DN 185a至185b、及/或本文描述的任何其他(多個)裝置。仿真裝置可係經組態以仿真本文描述之功能的一或多者或全部的一或多個裝置。例如,仿真裝置可用以測試其他裝置及/或模擬網路及/或WTRU功能。
仿真裝置可經設計以在實驗室環境及/或操作者網路環境中實施其他裝置的一或多個測試。例如,一或多個仿真裝置可在完全或部分地實施及/或部署為有線及/或無線通訊網路的部分的同時執行一或多個或全部的功能以測試通訊網路內的其他裝置。一或多個仿真裝置可在暫時地實施/部署成有線及/或無線通訊網路的部分的同時執行一或多個或全部的功能。仿真裝置可針對測試目的而直接耦接至另一裝置及/或可使用空中無線通訊執行測試。
一或多個仿真裝置可在未實施/部署成有線及/或無線通訊網路的部分的同時執行一或多個(包括全部)功能。例如,仿真裝置可利用在測試實驗室及/或非部署(例如,測試)的有線及/或無線通訊網路中的測試場景中,以實施一或多個組件的測試。一或多個仿真裝置可係測試儀器。直接RF耦合及/或經由RF電路系統(例如,其可包括一或多個天線)的無線通訊可由仿真裝置使用以傳輸及/或接收資料。
本申請案描述多種態樣,包括工具、特徵、實例、模型、方法等。此等態樣的許多態樣係以特定性描述(以至少顯示個別特性),且常以聽起來可係限定的方式描述。然而,此係出於描述清楚性的目的,且並不限制此等態樣的應用或範圍。實際上,所有的不同態樣皆可組合及互換以提供進一步態樣。此外,該等態樣亦可與描述於先前申請案中的態樣組合及互換。
於此申請案中描述及設想的態樣可以許多不同形式實施。本文描述的圖5至圖25可提供一些實例,但亦設想其他實例。圖5至圖25的討論不限制實施方案的廣泛性。該等態樣中之至少一者大致上係關於視訊編碼及解碼,且至少一個其他態樣大致上係關於傳輸經產生或經編碼的位元流。可將此等及其他態樣實施為方法、設備、具有儲存於其上之用於根據所描述之方法的任一者編碼或解碼視訊資料之指令的電腦可讀儲存媒體、及/或具有儲存於其上之根據所描述之方法的任一者產生之位元流的電腦可讀儲存媒體。
在本申請案中,用語「經重建(reconstructed)」及「經解碼(decoded)」可互換地使用、用語「像素(pixel)」及「樣本(sample)」可互換地使用、用語「影像(image)」、「圖像(picture)」、及「訊框(frame)」可互換地使用。
於本文中描述各種方法,且該等方法之各者包含用於實現所描述之方法的一或多個步驟或動作。除非方法的適當操作需要特定順序的步驟或動作,可修改或組合特定步驟及/或動作的順序及/或用途。額外地,諸如「第一(first)」、「第二(second)」等的用語可使用在各種實例中,以修飾元件、組件、步驟、操作等,諸如例如,「第一解碼(first decoding)」及「第二解碼(second decoding)」。除非具體要求,此類用語的使用並不意味對經修飾操作的排序。所以在此實例中,第一解碼不需要在第二解碼之前執行,並可例如在第二解碼之前、期間、或與其重疊的時間期間中發生。
描述於本申請案中的各種方法及其他態樣可用以修改如圖2及圖3所示的視訊編碼器200及解碼器300的模組(例如,解碼模組)。此外,本文揭示的標的可應用至例如任何類型、格式、或版本的視訊編碼(無論是在標準或建議中描述、無論是預先存在或未來發展的、及任何此類標準及建議的延伸)。除非以其他方式指示或在技術上排除,描述於本申請案中的態樣可個別或組合地使用。
各種數值使用在本申請案描述的實例中,諸如位元、位元深度等。此等及其他特定值用於描述實例的目的,且所描述的態樣不限於此等特定值。
圖2係顯示實例視訊編碼器的圖。設想實例編碼器200的變化,但編碼器200於下文的描述係出於清楚的目的而未描述所有的預期變化。
在編碼前,視訊序列可經歷預編碼處理(201),例如,將顏色轉換施加至輸入顏色圖像(例如,從RGB 4:4:4轉換成YCbCr 4:2:0),或執行輸入圖像分量的重映射以得到對壓縮更有彈性的信號分布(例如,使用顏色分量的一者的直方圖等化)。後設資料可與預處理關聯,並附加至位元流。
在編碼器200中,圖像係藉由如下文描述的編碼器元件編碼。待編碼圖像係以例如編碼單元(coding unit, CU)為單位分割(202)及處理。各單元係使用例如幀內或幀間模式任一者編碼。當單元以幀內模式編碼時,其執行幀內預測(260)。在幀間模式中,執行運動評估(275)及補償(270)。編碼器決定(205)將幀內或幀間模式的哪一者用於編碼該單元,並藉由例如預測模式旗標指示幀內/幀間決策。預測殘量係例如藉由從原始影像區塊減去(210)經預測區塊而計算。
接著轉換(225)及量化(230)預測殘量。將量化轉換係數以及運動向量及其他語法元素熵編碼(245)以輸出位元流。編碼器可跳過轉換,並將量化直接施加至未轉換的殘餘信號。編碼器可略過轉換及量化二者,亦即殘量係在未應用轉換或量化程序的狀況下直接編碼。
編碼器解碼經編碼區塊以提供用於進一步預測的參考。將量化轉換係數解量化(240)及逆轉換(250)以解碼預測殘量。組合(255)經解碼預測殘量及預測區塊,重建影像區塊。將迴路內濾波器(in-loop filter) (265)應用至重建圖像,以執行例如解塊/SAO(樣本適應性偏移(Sample Adaptive Offset))濾波以降低編碼假影。將經濾波影像儲存在參考圖像緩衝器(280)處。
圖3係顯示視訊解碼器的一實例的圖。在實例解碼器300中,位元流係藉由如下文描述的解碼器元件解碼。視訊解碼器300大致執行與圖2中所描述之編碼階段互逆的解碼階段。編碼器200通常亦執行視訊解碼作為編碼視訊資料的部分。
具體而言,解碼器的輸入包括可由視訊編碼器200產生的視訊位元流。位元流首先經熵解碼(330)以獲得轉換係數、運動向量、及其他經編碼資訊。圖像分割資訊指示該圖像係如何分割的。解碼器因此可根據經解碼圖像分割資訊劃分(335)圖像。將轉換係數解量化(340)及逆轉換(350)以解碼預測殘量。組合(355)經解碼預測殘量及預測區塊,重建影像區塊。經預測區塊可從幀內預測(360)或運動補償預測(亦即,幀間預測)(375)獲得(370)。將迴路內濾波器(365)應用至經重建影像。將經濾波影像儲存在參考圖像緩衝器(380)處。
經解碼圖像可進一步完成後解碼處理(385),例如顏色逆轉換(例如,從YCbCr 4:2:0至RGB 4:4:4的轉換)或執行在預編碼處理(201)中執行之重新映射處理之相反的逆重新映射。後解碼處理可使用在預編碼處理中衍生並在位元流中傳訊的後設資料。在一實例中,可將經解碼影像(例如,在應用迴路內濾波器(365)之後及/或若使用後解碼處理,在後解碼處理(385)之後)發送至顯示裝置以用於演現給使用者。
圖4係顯示本文描述的各種態樣及實例可實施於其中之系統的一實例的圖。系統400可體現為包括下文描述的各種組件,並經組態以執行描述於本文件中之態樣的一或多者的裝置。此類裝置的實例包括,但不限於,各種電子裝置,諸如個人電腦、膝上型電腦、智慧型手機、平板電腦、數位多媒體機上盒、數位電視接收器、個人視訊記錄系統、連接式家用電器、及伺服器。系統400的元件可單一地或組合地體現在單一積體電路(IC)、多個IC、及/或離散組件中。例如,在至少一個實例中,系統400的處理及編碼器/解碼器元件跨多個IC及/或離散組件分布。在各種實例中,系統400經由例如通訊匯流排或透過專用輸入埠及/或輸出埠通訊地耦接至一或多個其他系統或其他電子裝置。在各種實例中,系統400經組態以實施描述於本文件中之態樣的一或多者。
系統400包括至少一個處理器410,該處理器經組態以執行載入至其中之用於實施例如描述於本文件中的各種態樣的指令。處理器410可包括嵌入式記憶體、輸入輸出介面、及所屬技術領域中已知的各種其他電路系統。系統400包括至少一個記憶體420(例如,揮發性記憶體裝置及/或非揮發性記憶體裝置)。系統400包括儲存裝置440,該儲存裝置可包括非揮發性記憶體及/或揮發性記憶體,包括但不限於電可抹除可程式化唯讀記憶體(Electrically Erasable Programmable Read-Only Memory, EEPROM)、唯讀記憶體(ROM)、可程式化唯讀記憶體(Programmable Read-Only Memory, PROM)、隨機存取記憶體(RAM)、動態隨機存取記憶體(Dynamic Random Access Memory, DRAM)、靜態隨機存取記憶體(Static Random Access Memory, SRAM)、快閃記憶體、磁碟驅動機、及/或光碟驅動機。作為非限制性實例,儲存裝置440可包括內部儲存裝置、附接儲存裝置(包括可拆離及不可拆離儲存裝置)、及/或網路可存取儲存裝置。
系統400包括編碼器/解碼器模組430,該編碼器/解碼器模組經組態以例如處理資料以提供經編碼視訊或經解碼視訊,且編碼器/解碼器模組430可包括其自有的處理器及記憶體。編碼器/解碼器模組430表示可包括在裝置中以執行編碼及/或解碼功能的(多個)模組。如已知的,裝置可包括編碼及解碼模組的一或二者。額外地,如所屬技術領域中具有通常知識者已知的,可將編碼器/解碼器模組430實施為系統400的分開元件,或可併入處理器410內作為硬體與軟體的組合。
待載入至處理器410或編碼器/解碼器430上以執行描述於本文件中的各種態樣的程式碼可儲存在儲存裝置440中,且隨後載入至記憶體420上以用於由處理器410執行。根據各種實例,處理器410、記憶體420、儲存裝置440、及編碼器/解碼器模組430的一或多者可在描述於本文件中的程序的執行期間儲存各種項目的一或多者。此類經儲存項目可包括但不限於來自方程式、公式、操作、及操作邏輯之處理的輸入視訊、經解碼視訊或經解碼視訊的部分、位元流、矩陣、變數、及中間或最終結果。
在一些實例中,處理器410及/或編碼器/解碼器模組430內側的記憶體係用以儲存指令,並為編碼或解碼期間所需的處理提供工作記憶體。然而,在其他實例中,處理裝置(例如,處理裝置可係處理器410或編碼器/解碼器模組430的任一者)外部的記憶體係用於此等功能的一或多者。外部記憶體可係記憶體420及/或儲存裝置440,例如動態揮發性記憶體及/或非揮發性快閃記憶體。在數個實例中,外部非揮發性快閃記憶體係用以儲存例如電視機的作業系統。在至少一個實例中,快速外部動態揮發性記憶體(諸如RAM)係使用為用於視訊編碼及解碼操作的工作記憶體。
至系統400之元件的輸入可透過如方塊445中所指示的各種輸入裝置提供。此類輸入裝置包括但不限於(i)射頻(RF)部分,其接收例如由廣播器透過空氣傳輸的RF信號、(ii)分量(COMP)輸入端子(或一組COMP輸入端子)、(iii)通用串列匯流排(Universal Serial Bus, USB)輸入端子、及/或(iv)高畫質多媒體介面(High Definition Multimedia Interface, HDMI)輸入端子。其他實例(未顯示於圖4中)包括複合視訊。
在各種實例中,方塊445的輸入裝置具有如所屬技術領域中已知的關聯各別輸入處理元件。例如,RF部分可與適用於(i)選擇所欲頻率(亦稱為選擇信號或將信號頻帶限制至頻帶)、(ii)降頻轉換經選擇信號、(iii)再次頻帶限制至更窄的頻帶以選擇(例如)在某些實例中可稱為通道的信號頻帶、(iv)解調變經降頻轉換及經頻帶限制的信號、(v)執行錯誤校正、及/或(vi)解多工以選擇所欲的資料封包串流的元件關聯。各種實例的RF部分包括一或多個元件以執行此等功能,例如頻率選擇器、信號選擇器、頻帶限制器、通道選擇器、濾波器、降頻轉換器、解調變器、錯誤校正器、及解多工器。RF部分可包括執行各種此等功能(包括例如將經接收信號降頻轉換至較低頻率(例如,中間頻率或近基帶頻率)或至基帶)的調諧器。在一個機上盒實例中,RF部分及其關聯輸入處理元件接收透過有線(例如,纜線)媒體傳輸的RF信號,並藉由濾波、降頻轉換、及再次濾波至所欲頻帶來執行頻率選擇。各種實例重配置上述(及其他)元件的順序、移除此等元件的一些、及/或加入執行類似或不同功能的其他元件。加入元件可包括將元件***在現有元件之間,諸如例如***放大器及類比轉數位轉換器。在各種實例中,RF部分包括天線。
USB及/或HDMI端子可包括用於跨USB及/或HDMI連接將系統400連接至其他電子裝置的各別介面處理器。應理解輸入處理的各種態樣(例如,里德-所羅門(Reed-Solomon)錯誤校正)可依需要實施在例如分開的輸入處理IC內或在處理器410內。類似地,USB或HDMI介面處理的態樣可依需要實施在分開的介面IC內或在處理器410內。將經解調變、經錯誤校正、及經解多工串流提供至各種處理元件,包括例如處理器410及與記憶體及儲存元件組合操作的編碼器/解碼器430以針對呈現在輸出裝置上依需要處理資料流。
系統400的各種元件可提供在整合外殼內,在整合外殼內,各種元件可使用合適的連接配置425(例如,如所屬技術領域中已知的內部匯流排,包括IC間(Inter-IC, I2C)匯流排、布線、及印刷電路板)於其間互連及傳輸資料。
系統400包括通訊介面450,該通訊介面實現經由通訊通道460與其他裝置的通訊。通訊介面450可包括但不限於經組態以透過通訊通道460傳輸及接收資料的收發器。通訊介面450可包括但不限於數據機或網路卡,且通訊通道460可實施在例如有線及/或無線媒體內。
在各種實例中,使用無線網路(諸如Wi-Fi網路,例如IEEE 802.11(IEEE係指美國電機電子工程師學會))將資料串流或以其他方式提供至系統400。此等實例的Wi-Fi信號係透過經調適用於Wi-Fi通訊的通訊通道460及通訊介面450接收。此等實例的通訊通道460一般連接至提供對外部網路(包括網際網路)之存取以用於允許串流應用及其他過頂(over-the-top)通訊的存取點或路由器。其他實例使用透過輸入方塊445的HDMI連接遞送資料的機上盒將經串流資料提供至系統400。又其他實例使用輸入方塊445的RF連接將經串流資料提供至系統400。如上文所指示的,各種實例以非串流方式提供資料。額外地,各種實例使用Wi-Fi以外的無線網路,例如,蜂巢式網路或Bluetooth ®網路。
系統400可將輸出信號提供至各種輸出裝置,包括顯示器475、揚聲器485、及其他週邊裝置495。各種實例的顯示器475包括例如觸控螢幕顯示器、有機發光二極體(OLED)顯示器、曲面顯示器、及/或可摺疊顯示器的一或多者。顯示器475可用於電視機、平板電腦、膝上型電腦、蜂巢式電話(行動電話)、或其他裝置。顯示器475亦可與其他組件整合(例如,如智慧型手機中),或係分開的(例如,膝上型電腦的外部監視器)。在各種實例中,其他週邊裝置495包括獨立數位視訊光碟(或數位多功能光碟)(DVD,針對二種用語)、光碟機、立體聲系統、及/或照明系統的一或多者。各種實例使用基於系統400的輸出提供功能的一或多個週邊裝置495。例如,光碟機執行播放系統400之輸出的功能。
在各種實例中,控制信號使用傳訊(諸如AV.Link、消費性電子控制(Consumer Electronics Control, CEC)、或以需要或不需要使用者介入的方式實現裝置對裝置控制的其他通訊協定)在系統400與顯示器475、揚聲器485、或其他週邊裝置495之間傳達。輸出裝置可經由透過各別介面470、480、及490的專用連接通訊地耦接至系統400。替代地,輸出裝置可經由通訊介面450使用通訊通道460連接至系統400。顯示器475及揚聲器485可與電子裝置(諸如例如電視機)中的系統400的其他組件整合在單一單元中。在各種實例中,顯示器介面470包括顯示器驅動器,諸如例如時序控制器(T Con)晶片。
例如,若輸入445的RF部分係分開的機上盒的部件,顯示器475及揚聲器485可替代地與其他組件的一或多者分開。在顯示器475及揚聲器485係外部組件的各種實例中,輸出信號可經由專用輸出連接(包括例如HDMI埠、USB埠、或COMP輸出)提供。
實例可藉由由處理器410實施的電腦軟體或藉由硬體、或藉由硬體及軟體的組合實行。作為非限制性實例,實例可藉由一或多個積體電路實施。作為非限制性實例,記憶體420可係對技術環境適當的任何類型的,且可使用任何適當的資料儲存技術實施,諸如光學記憶體裝置、磁性記憶體裝置、基於半導體的記憶體裝置、固定式記憶體、及可移除式記憶體。作為非限制性實例,處理器410可係對技術環境適當的任何類型的,並可涵蓋微處理器、通用電腦、特殊用途電腦、及基於多核心架構之處理器的一或多者。
各種實施方案涉及解碼。如本申請案中所使用的,「解碼(decoding)」可涵蓋例如在經接收經編碼序列上執行以產生適合顯示器的最終輸出之程序的全部或部分。在各種實例中,此類程序包括一般藉由解碼器執行之程序(例如,熵解碼、逆量化、逆轉換、及差分解碼)的一或多者。在各種實例中,此類程序亦(或替代地)包括藉由在本申請案中描述的各種實施方案的解碼器執行的程序,例如,判定一目前區塊以一非方向性幀內預測模式編碼; 導出對應於該非方向性幀內預測模式的一方向性幀內預測模式,其中經導出的該方向性幀內預測模式指示一經導出幀內預測方向;且至少部分地基於經導出方向性幀內預測模式等,而解碼目前區塊。
作為進一步實例,在一實例中,「解碼」僅指熵解碼,在另一實例中,「解碼」僅指差分解碼,且在另一實例中,「解碼」係指熵解碼與差分解碼的組合。不論片語「解碼程序(decoding process)」是否意圖具體地係指操作的子集或大致係指更廣泛者,解碼程序將基於特定描述的上下文而係清楚的並據信可係所屬技術領域中具有通常知識者良好地理解的。
各種實施方案涉及編碼。以類似於上述關於「解碼(decoding)」的討論之方式,在本申請案中所使用的「編碼(encoding)」可涵蓋例如在輸入視訊序列上執行以產生經編碼位元流的程序之全部或部分。在各種實例中,此類程序包括一般藉由編碼器執行之程序(例如,分割、差分編碼、轉換、量化、及熵編碼)的一或多者。在各種實例中,此類程序亦(或替代地)包括藉由描述在本申請案中的各種實施方案的編碼器執行的程序,例如,識別用於編碼目前區塊的非方向性幀內預測模式;導出對應於該非方向性幀內預測模式的一方向性幀內預測模式,其中經導出的該方向性幀內預測模式包含一經導出幀內預測方向;且至少部分地基於經導出方向性幀內預測模式等,而編碼目前區塊。
作為進一步實例,在一實例中,「編碼」僅指熵編碼,在另一實例中,「編碼」僅指差分編碼,且在另一實例中,「編碼」係指熵編碼與差分編碼的組合。不論片語「編碼程序(encoding process)」是否意圖具體地指稱操作的子集或大致係指更廣泛者,編碼程序將基於特定描述的上下文而係清楚的並據信可係所屬技術領域中具有通常知識者良好地理解的。
當將圖式表示成流程圖時,應瞭解其亦提供對應設備的方塊圖。類似地,當將圖式表示成方塊圖時,應瞭解其亦提供對應方法/程序的流程圖。
描述於本文中的實施方案及態樣可以例如方法或程序、設備、軟體程式、資料流、或信號實施。即使僅在單一形式的實施方案的上下文中討論(例如,僅作為方法討論),所討論之特徵的實施方案亦可以其他形式實施(例如,設備或程式)。設備可以例如適當硬體、軟體、及韌體實施。方法可在例如處理器中實施,該處理器通常指處理裝置,包括例如電腦、微處理器、積體電路、或可程式化邏輯裝置。處理器亦包括通訊裝置,諸如例如電腦、蜂巢式電話、可攜式/個人數位助理(「PDA」)、及促進終端使用者之間的資訊的通訊的其他裝置。
對「一個實例(one example)」或「一實例(an example)」或「一個實施方案(one implementation)」、或「一實施方案(an implementation)」以及其等的其他變化的參考意指相關於該實例陳述的特定特徵、結構、特性等包括在至少一個實例中。因此,片語「在一個實例中(in one example)」或「在一實例中(in an example)」或「在一個實施方案中(in one implementation)」、或「在一實施方案中(in an implementation)」的出現,以及在遍及本申請案各處出現的任何其他變化不必全部參考至相同實例。
額外地,此申請案可與「判定」各項資訊相關。判定資訊可包括例如評估資訊、計算資訊、預測資訊、或從記憶體檢索資訊的一或多者。獲得可包括接收、檢索、建構、產生、及/或判定。
進一步地,此申請案可與「存取」各項資訊相關。存取資訊可包括例如接收資訊、檢索資訊(例如,從記憶體)、儲存資訊、移動資訊、複製資訊、計算資訊、判定資訊、預測資訊、或評估資訊的一或多者。
額外地,此申請案可與「接收」各項資訊相關。意圖使接收與「存取(accessing)」般成為廣泛用語。接收資訊可包括例如存取資訊或檢索資訊(例如,從記憶體)的一或多者。進一步地,在操作期間(諸如例如儲存資訊、處理資訊、傳輸資訊、移動資訊、複製資訊、抹除資訊、計算資訊、判定資訊、預測資訊、或評估資訊)一般以某種方式或另一者涉及「接收(receiving)」。
應理解下列「/」、「及/或(and/or)」、及「中之至少一者(at least one of)」在例如「A/B」、「A及/或B (A and/or B)」、及「A及B中之至少一者(at least one of A and B)」之情形中的使用意圖涵蓋僅選擇第一列出選項(A)、或僅選擇第二列出選項(B)、或選擇二個選項(A及B)。作為進一步實例,在「A、B、及/或C (A, B, and/or C)」及「A、B、及C中之至少一者(at least one of A, B, and C)」的情形中,此類片語意圖涵蓋僅選擇第一列出選項(A)、或僅選擇第二列出選項(B)、或僅選擇第三列出選項(C)、或僅選擇第一及第二列出選項(A及B)、或僅選擇第一及第三列出選項(A及C)、或僅選擇第二及第三列出選項(B及C)、或選擇所有三個選項(A及B及C)。此可對與所列項目一樣多的項目延伸,如對所屬及相關技術領域中具有通常知識者係明顯的。
再者,如本文中所使用的,用詞「傳訊(signal)」尤其係指將某物指示給對應解碼器。以此方式,在一實例中,相同參數在編碼器側及解碼器側兩者使用。因此,舉例來說,一編碼器可傳輸(明確傳訊)一特定參數至解碼器,使得解碼器可使用相同的特定參數。相反地,若解碼器已具有該特定參數以及其他參數,則可使用傳訊而不傳輸(隱式傳訊),以僅允許解碼器知道並選擇特定參數。藉由避免傳輸任何實際功能,在各種實例中實現位元節省。應理解傳訊可以各種方式達成。例如,在各種實例中,使用一或多個語法元素、旗標等以將資訊傳訊至對應解碼器。雖然前文係關於詞「傳訊(signal)」的動詞形式,但詞「信號(signal)」在本文中可(例如亦可)使用為名詞。
如所屬技術領域中具有通常知識者所將顯而易見的,實施方案可產生經格式化以運載可例如儲存或傳輸之資訊的各種信號。該資訊可包括例如用於執行方法的指令、或由所描述的實施方案的一者產生的資料。例如,可將信號格式化以運載所描述實例的位元流。此一信號可格式化成例如電磁波(例如,使用光譜的射頻部分)或基頻信號。格式化可包括例如編碼資料流及調變具有經編碼資料流的載波。該信號所運載的資訊可係例如類比或數位資訊。如已知的,該信號可透過各種不同的有線或無線鏈路傳輸。信號可儲存在處理器可讀媒體上,或可自其存取或接收。
許多實例於本文中描述。實例的特徵可單獨或採任何組合跨各種請求項類別及類型提供。進一步地,實例可包括單獨或採任何組合跨各種請求項類別及類型於本文中描述的特徵、裝置、或態樣的一或多者。例如,本文描述的特徵可實施在包括如本文所描述地產生之資訊的位元流或信號中。資訊可根據所描述之實施例之任一者允許解碼器解碼位元流、編碼器、位元流、及/或解碼器。例如,本文描述的特徵可藉由建立及/或傳輸及/或接收及/或解碼位元流或信號而實施。例如,本文描述的特徵可實施方法、程序、設備、儲存指令的媒體、儲存資料的媒體、或信號。例如,本文描述的特徵可藉由TV、機上盒、蜂巢式電話、平板電腦、或執行解碼的其他電子裝置實施。TV、機上盒、蜂巢式電話、平板電腦、或其他電子裝置可顯示(例如,使用監視器、螢幕、或其他類型的顯示器)所得影像(例如,來自視訊位元流之殘量重建的影像)。TV、機上盒、蜂巢式電話、平板電腦、或其他電子裝置可接收包括經編碼影像的信號並執行解碼。
此等實例可藉由具有至少一個處理器的裝置執行。該裝置可係一編碼器或一解碼器。此等實例可藉由儲存在一非暫時性電腦可讀媒體上且包括程式碼指令的一電腦程式產品執行。此等實例可藉由包含程式碼指令的一電腦程式執行。此等實例可藉由包含表示編碼區塊之資訊的一位元流執行。
幀內樣本預測可包括基於一參考樣本集合而預測目標編碼單元(CU)之像素。預測模式可包括平面及DC預測模式,其等可用以預測平順且逐漸改變的區域。角度預測模式(例如,在順時針方向上從45度至-135度定義的角度)可用以擷取不同的方向性結構。對於方形區塊而言,可使用方向性預測模式(例如,針對方形區塊的33個方向性模式),其等可經編索引(例如,從2編索引至34)。預測模式可對應於如圖5A所繪示之不同預測方向。角度預測模式可對應於角度方向(例如,65個角度預測模式可對應於33個角度方向),且角度方向(例如,進一步32個角度方向)可對應於如圖5B所繪示之相鄰對之間的中間方向。
圖5A繪示實例幀內預測方向。數字可表示與對應方向相關聯的預測模式索引。模式2至17可指示水平預測(H-26至H+32),且模式18至34可指示垂直預測(V-32至V+32)。圖5B繪示針對方形區塊(例如,針對方形區塊)的幀內預測。小於34的模式可指示水平預測。大於34的模式可指示垂直預測。圖5C繪示可用(例如,所有可用)幀內預測方向。虛線可指示寬角度幀內預測模式(wide angle intra prediction mode, WAIP)。圖5C所繪示之索引-1至-14可重新映射以從1進行至-12(例如,使得角度模式索引為連續的)。模式-15(例如,重新映射至-13)及81可能不存在於圖5C中,因為區塊大小(例如,不被允許的區塊大小)可能不使用模式-15(例如,重新映射至-13)及81。模式-15(例如,重新映射至-13)及81可藉由參考碼處理。
可執行基於模板的幀內模式導出(template-based intra mode derivation, TIMD)以導出編碼區塊之(多個)預測模式。經由TIMD的幀內預測模式導出可針對給定亮度而應用於編碼器及解碼器側上(例如,以相同方式),諸如,圖6(a)所示之CB 603。在亮度CB之最可能模式(most probable mode, MPM)清單中之(例如,各)幀內預測模式(例如,以預設模式輔助)可用以從模板(602)之經解碼參考樣本運算亮度CB之模板(600及601)的預測。可計算預測與亮度CB之模板之間的絕對變換誤差和(sum of absolute transformed difference, SATD)。具有最低(例如,最小)SATD的(多個)(例如,兩個)幀內預測模式可選擇為(多個)TIMD模式。該方向性幀內預測模式集合(例如,用於TIMD)可例如藉由在圖5B中之各實體箭頭及相鄰虛線箭頭之間***一方向而延伸(例如,從65個延伸至129個)。經由TIMD導出之可能的幀內預測模式集合可聚集模式(例如,131個模式)。可保留一或多個(例如,兩個)幀內預測模式而不進行涉及MPM清單之第一遍次的測試,可以預設模式輔助。對於非平面或DC的各經保留幀內預測模式,可測試(多個)(例如,兩個)最接近的經延伸方向性幀內預測模式。可計算使用(多個)最接近經延伸方向性幀內預測模式運算的預測與亮度CB之模板之間的(多個)SATD。具有最低(例如,最小)SATD的(多個)幀內預測模式可選擇為(多個)TIMD模式。
圖6繪示目前亮度CB之實例模板、及用於TIMD中之模板的實例經解碼參考樣本。在圖6(a)中,亮度CB之模板並未超出目前訊框之界限。目前 亮度CB 603可由其完全可用模板包圍,該等模板由在其左側600處的 部分、及在其上方601處的 部分組成。在TIMD導出步驟期間,經測試幀內預測模式可從模板之 經解碼參考樣本602之集合預測目前亮度CB之模板。若 ,則 可等於二;否則, 可等於四。若 ,則 可等於二;否則, 可等於四。
圖6(b)及圖6(c)顯示其中亮度CB之模板的至少一(例如,一個)部分超出目前訊框之界限的實例。在圖6(b)中,目前 亮度CB 603可由其模板包圍,其中在其上方之601處的其 部分係可用的。在TIMD導出步驟期間,經測試幀內預測模式可從模板之602處之 經解碼參考樣本之集合預測目前亮度CB之模板。在圖6(c)中,目前 亮度CB 603可由其模板包圍,其中僅在其左側之600處的其 部分係可用的。在TIMD導出步驟期間,經測試幀內預測模式許多從在模板之602處之 經解碼參考樣本之集合預測目前亮度CB之模板。
目前亮度CB可經由TIMD預測,例如藉由融合基於從具有權重之數個遍次的測試(例如,兩個遍次)所導致之(例如,兩個)TIMD模式所運算之亮度CB的(例如,兩個)預測(例如,在應用定位相依預測組合(position dependent prediction combination, PDPC)之後)。所使用之權重可取決於(例如,兩個)TIMD模式的預測SATD。
可執行解碼器側幀內模式導出(decoder side intra mode derivation, DIMD)以導出編碼區塊之(多個)幀內預測模式。例如,兩個幀內模式可從經重建相鄰樣本導出。兩個預測器可用從梯度導出的權重來與平面模式預測器組合。權重導出中之除法運算可利用由交叉投訴線性模型(cross-complaint linear model, CCLM)使用之基於相同查找表(LUT)的整數化方案來執行。例如,在定向計算中的除法運算
可由以下基於LUT的方案運算: x = Floor(Log2(Gx)) normDiff = ((Gx<< 4) >> x) & 15 x +=(3 + (normDiff != 0) ? 1 : 0) Orient = (Gy* (DivSigTable[ normDiff ] | 8) + (1<<(x-1))) >> x, 其中 DivSigTable[16] = { 0, 7, 6, 5 ,5, 4, 4, 3, 3, 2, 2, 1, 1, 1, 1, 0 }.
經導出幀內模式可包括在幀內MPM清單的主清單中。可在建構MPM清單之前執行DIMD程序。DIMD區塊之主要經導出幀內模式可以區塊儲存,且可用於相鄰區塊的MPM清單建構。
圖7繪示用於DIMD色度模式的相鄰經重建樣本。DIMD色度模式可使用DIMD導出,以基於在第二相鄰列及行中之相鄰經重建Y、Cb、及Cr樣本而導出目前區塊的色度預測模式,如圖7所示。水平梯度及垂直梯度可針對目前色度區塊之共置經重建亮度樣本(例如,各共置經重建亮度樣本)、以及經重建Cb及Cr樣本計算,以建立經定向梯度之直方圖(HoG)。具有最大直方圖振幅值的幀內預測模式可用於執行目前色度區塊的色度幀內預測。
當從DIMD色度模式導出的幀內預測模式與從直接模式(DM)導出的幀內預測模式相同時,具有第二大直方圖振幅值的幀內預測模式可使用為DIMD色度模式。CU層級指示(例如,旗標)可經傳訊以指示是否應用DIMD色度模式。
圖8繪示矩陣加權幀內預測(matrix weighted intra prediction, MIP)程序的實例。為了預測寬度W及高度H之矩形區塊的樣本,MIP可採用該區塊左側一排之H個經重建相鄰邊界樣本、及該區塊上方一排之W個經重建相鄰邊界樣本作為輸入。若經重建樣本不可用,則其等可與其他幀內預測實例(例如,習知幀內預測)中相同或類似的方式產生。預測信號的產生可基於至少以下三個步驟:取平均;矩陣向量乘法;及線性內插(例如,如圖8所示)。
可執行CCLM以預測編碼區塊。CCLM預測模式可用於視訊編碼,例如以減少交叉分量冗餘。例如藉由使用線性模型,可基於(例如,相同CU的)經重建亮度樣本來預測色度樣本。線性模型可例如根據Eq. 1重建: Eq. 1
如Eq. 1中之實例所示, 可表示CU中之經預測色度樣本。如Eq. 1中之實例所示, 可表示(例如,相同)CU之經降取樣的經重建亮度樣本。
CCLM參數(例如,α及β)可例如基於/使用(例如,至多四個)相鄰色度樣本及對應的經降取樣亮度樣本而導出。為了描述實例,假設目前色度區塊尺寸係W×H。在一些實例中,W''及H'可根據以下邏輯設定: 例如,若/當應用LM模式時,則W' = W, H' = H; 例如,若/當應用LM-A模式時,則W' = W + H;及/或 例如,若/當應用LM-L模式時,則H' = H + W。
在實例之進一步討論中,上方之相鄰定位可表示為S[ 0, -1 ] … S[ W' - 1, -1 ],且左側之相鄰定位可表示為S[ -1, 0 ] … S[ -1, H' - 1 ]。可選擇四個樣本(例如根據實例邏輯),如下: 例如,若/當應用LM模式且上方及左側相鄰樣本皆可用時,則S[W' / 4, -1 ], S[ 3 * W' / 4, -1 ], S[ -1, H' / 4 ], S[ -1, 3 * H' / 4 ]; 例如,若/當應用LM-A模式或僅上方之相鄰樣本可用時,則S[ W' / 8, -1 ], S[ 3 * W' / 8, -1 ], S[ 5 * W' / 8, -1 ], S[ 7 * W' / 8, -1 ];及/或 例如,若/當應用LM-L模式或僅左側之相鄰樣本可用時,則S[ -1, H' / 8 ], S[ -1, 3 * H' / 8 ], S[ -1, 5 * H' / 8 ], S[ -1, 7 * H' / 8 ]。
在實例中,在經選擇定位處的四個相鄰亮度樣本可經降取樣且比較(例如,四次),以找出(例如,兩個)較大值(例如,表示為 x 0 A x 1 A )及(例如,兩個)較小值(例如,表示為 x 0 B x 1 B )。對應的色度樣本值可表示為 y 0 A y 1 A y 0 B 、及 y 1 B 。在實例中, x A x B y A 、及 y B 可例如根據Eq. 2a至Eq. 2d導出: X a =( x 0 A + x 1 A +1)>>1                                             Eq. 2a X b =( x 0 B + x 1 B +1)>>1                                             Eq. 2b Y a =( y 0 A + y 1 A +1)>>1                                             Eq. 2c Y b =( y 0 B + y 1 B +1)>>1                                             Eq. 2d 線性模型參數α、及β可例如根據Eq. 3及Eq. 4判定: Eq. 3 Eq. 4
圖9繪示在CCLM模式中所涉及的之左側之樣本及上方之樣本及目前區塊之樣本之位置的實例。圖9顯示用於線性模型參數α與β之導出的樣本之位置的實例。
CCLM可藉由加入三個多模型LM (multi-model LM, MMLM)模式來延伸。在各MMLM模式中,經重建相鄰樣本可使用臨限而分類成兩個類別。臨限可係亮度經重建相鄰樣本之平均。各類別之線性模型可使用最小均方(Least-Mean-Square, LMS)方法來導出。對於CCLM模式而言,LMS方法可用以導出線性模型。斜率調整可應用至CCLM及MMLM預測。該調整可涉及相對於藉由參考樣本之平均亮度值判定的中心點將線性函數傾斜(例如,其將亮度值映射至色度值)。
可實施CCLM斜率調整。CCLM可使用具有一或多個(例如,兩個)參數的模型,以將亮度值映射至色度值。斜率參數「a」及偏置(bias)參數「b」可例如根據Eq. 5而定義映射: chromaVal = a * lumaVal + b                                 Eq. 5
對斜率參數的調整「u」可例如根據Eq. 6而經傳訊以更新模型: chromaVal = a' * lumaVal + b'                                Eq. 6 經更新斜率參數可例如根據Eq. 7a及Eq. 7b判定: a' = a + u                                                     Eq. 7a b' = b - u * y rEq. 7b
映射函數可例如基於選擇而圍繞具有亮度值y r的點傾斜或旋轉。在模型建立中使用之參考亮度樣本的平均可使用為y r,例如以提供對模型的(例如,有意義)修改。
圖10A及圖10B繪示斜率調整參數「u」之效應的實例。圖10A顯示針對CCLM建立的模型,其不具有經更新斜率參數。圖10B顯示針對CCLM建立的模型,其具有經更新斜率參數。
本文提供與卷積交叉分量模式(convolutional cross component mode, CCCM)相關聯的(多個)特徵。待用於色度預測之經重建亮度樣本可經過濾。卷積7抽頭過濾器(7-tap filter)包括5抽頭(5-tap)加號(plus sign)形空間分量、非線性項、及偏置項,如圖11所示。過濾器之空間5抽頭分量的輸入可包括中心(C)亮度樣本(例如,其可與待預測之色度樣本共置)、及上方/北邊(N)、下方/南邊(S)、左側/西邊(W)、及右側/東邊(E)相鄰者,如圖所示。
非線性項P可表示中心亮度樣本C的平方,且經縮放至內容之樣本值範圍: P = (C*C + midVal) >> bitDepth                           Eq. 8
對於10位元內容而言,P可計算為: P = (C*C + 512) >> 10                                           Eq. 9
偏置項B可表示輸入與輸出之間的純量偏置(例如,類似於CCLM中的偏置項),且可設定成中間色度值(例如,針對10位元內容設定成512)。
過濾器之輸出可計算為過濾器係數c i與輸入值之間的卷積,且縮減至有效色度樣本之範圍,如Eq. 10所示: predChromaVal = c 0C + c 1N + c 2S + c 3E + c 4W + c 5P + c 6B                                                                                           Eq. 10
幀內區塊複製(intra block copy, IBC)可改良螢幕內容材料的編碼效率。IBC模式可係區塊層級編碼模式。可在編碼器處執行區塊匹配(BM),以尋找針對CU(例如,各CU)的最佳區塊向量(或運動向量)。區塊向量可用以指示從目前區塊至參考區塊(例如,其已在目前圖像內部重建)的位移。經IBC編碼的CU之亮度區塊向量可呈整數精度。色度區塊向量可捨入至整數精度。當與AMVR組合時,IBC模式可在1個pel及4個pel運動向量精度之間切換。經IBC編碼的CU可視為(例如,除了幀內或幀間預測模式以外的)第三預測模式。IBC模式可適用於所具有的寬度及高度兩者皆小於或等於64個亮度樣本的CU。
IBC之參考區可經延伸(例如,延伸至上方兩個CTU列)。圖12繪示用於編碼一編碼樹單元(coding tree unit, CTU) (m,n)的參考區。圖12繪示當對CTU (m,n)編碼時之IBC的實例參考區。標示為「m,n」的區塊表示目前CTU;其他陰影區塊表示參考區;且白色區塊表示無效參考區。對於待編碼的CTU (m,n)而言,參考區可包括具有索引(m–2,n–2)…(W,n–2)、(0,n–1)…(W,n–1)、(0,n)…(m,n)的CTU,其中W表示在目前圖塊、切片、或圖像內的最大水平索引。當CTU大小係256時,參考區可限於上方一個CTU列。此可確保,在CTU大小為128或256的情況下,IBC不使用額外記憶體。每樣本區塊向量搜尋(有時稱為局域搜尋)範圍可水平地限於[–(C << 1), C >> 2]且垂直地限於[–C, C >> 2],以調適至參考區域延伸,其中C表示CTU大小。
本文提供幀內模板匹配預測(幀內TMP (intra template matching prediction))的實例。幀內TMP係可從目前訊框的經重建部分複製其L形模板匹配目前模板的最佳預測區塊的幀內預測模式。對於預定義搜尋範圍而言,編碼器可在目前訊框的經重建部分中搜尋目前模板的最類似模板。對於預定義搜尋範圍而言,解碼器可將對應區塊使用為預測區塊。編碼器可傳訊此模式的使用,且相同預測操作可在解碼器側執行。
圖13繪示幀內模板匹配搜尋區的實例。預測信號可藉由使目前區塊的L形因果相鄰者與圖13中的預定義搜尋區中的另一區塊匹配而產生,其包括: R1:目前CTU R2:左上方CTU R3:上方CTU R4:左方CTU
絕對誤差和(sum of absolute differences, SAD)可使用為成本函數。在區域內(例如,在各區域內),解碼器可搜尋相對於目前區塊具有最少SAD的模板,且將其對應區塊使用為預測區塊。區域的尺寸(SearchRange_w, SearchRange_h)可設定成與區塊尺寸(BlkW, BlkH)成比例,以每像素具有固定數目的SAD比較。亦即: SearchRange_w = a * BlkW                               Eq. 11 SearchRange_h = a * BlkH                                 Eq. 12 其中「a」係控制增益/複雜度權衡的常數。例如,「a」可等於5。
幀內模板匹配工具可經啟用用於具有小於或等於64之寬度及高度的大小之CU。幀內模板匹配的此最大CU大小可係可組態的。幀內模板匹配預測模式可透過專用旗標在CU層級傳訊。若DIMD未經啟用(例如,DIMD = 0),則幀內模板匹配預測模式可透過專用旗標在CU層級傳訊。雖然幀內模板匹配實例係於本文中描述,本文的實例亦可應用於幀間模板匹配。
可使用調色板模式(palette mode)來編碼/解碼編碼區塊。在一些實例中,調色板模式可用於支援4:4:4設定檔(亦即,4:4:4、4:2:0、4:2:2、及單色)之色度格式的螢幕內容編碼。若調色板模式經啟用,若CU大小小於或等於64×64,且CU中之樣本量大於16,則旗標可在CU層級傳輸,以指示是否使用調色模式。對小型CU應用調色板模式可能引入不顯著的編碼增益,且對小型區塊帶來額外複雜度。可針對小於或等於16個樣本的CU停用調色板模式。經調色板編碼的CU可視為預測模式(例如,與幀內預測、幀間預測、及IBC模式分開)。
圖14繪示調色板模式編碼的實例(例如,具有大小為四的調色板)。若利用調色板模式,則CU中之樣本值可由表示色值之一集合表示。該集合可稱為調色板。對於具有接近調色板色彩之樣本值的定位,可傳訊調色板索引。可指定在調色板外部的樣本(例如,藉由傳訊逸出符號)。對於在使用逸出符號編碼之CU內的樣本,其等分量值可使用經量化分量值傳訊(例如,直接傳訊)。經量化逸出符號可經二元化(例如,以五階指數哥倫布二元化程序(fifth order Exp-Golomb binarization process, EG5))。
組合幀內幀間預測(combined intra inter prediction, CIIP)模式可用以編碼區塊。在CIIP模式中,可藉由加權使用經CIIP模板匹配(CIIP-TM)合併候選者預測的幀間預測信號、及使用經TIMD導出之幀內預測模式預測的幀內預測信號,而產生預測樣本。可將CIIP模式應用(例如,僅應用)至具有小於或等於1024區的編碼區塊。
TIMD導出方法可用以導出CIIP中之幀內預測模式。具體而言,TIMD模式清單中具有最小SATD值的幀內預測模式可經選擇,且映射至67個方向性幀內預測模式(例如,常規幀內預測模式)中之一者。
若經導出幀內預測模式係角度模式,則可修改兩個測試之權重(w Intra, w Inter)。對於近水平模式(例如,2 <= 角度模式索引 < 34)而言,目前區塊可垂直地劃分。對於近垂直模式(例如,34 <= 角度模式索引 <= 66)而言,目前區塊可水平地劃分。
在一些實例中,幾何分割模式(geometric partitioning mode, GPM)可與幀間預測及幀內預測一起使用。在具有幀間預測及幀內預測的GPM中,最終預測樣本可藉由加權各GPM分離區域之經幀間預測的樣本及經幀內預測的樣本而產生。經幀間預測的樣本可藉由幀間GPM導出,而經幀內預測的樣本可藉由幀內預測模式(intra prediction mode, IPM)候選清單及/或從編碼器傳訊的索引而導出。IPM候選清單大小可預定義為三。可用的IPM候選者可係如圖15A至圖15C分別顯示之相對於GPM區塊邊界的平行角度模式(平行模式)、相對於GPM區塊邊界的垂直角度模式(垂直模式)、及平面模式。圖15D繪示具有幀內預測及幀內預測的GPM。具有幀內預測及幀內預測的GPM可能受限制(例如,以減少IPM之傳訊負擔(overhead)且/或避免硬體解碼器上之幀內預測電路的大小增加)。可在GPM混合區上引入直接運動向量及IPM儲存(例如,以進一步改良編碼效能)。
在DIMD及基於相鄰模式的IPM導出中,平行模式可經登記(例如,首先登記)。若相同的IPM候選者不在清單中,則最多可登記從DIMD方法及/或相鄰區塊導出的兩個IPM候選者。對於相鄰模式導出而言,可能存在可用相鄰區塊的五個定位(例如,至多)。定位可能受GPM區塊邊界的角度限制(例如,如圖16所示),其可用於具有模板匹配的GPM (GPM-TM)。在圖16中,A及L可分別表示預測區塊之上方及左側。
在一些實例中,GPM幀內可與GPM與運動向量差合併(GPM with merge with motion vector difference, GPM-MMVD)組合。TIMD可用於GPM幀內之IPM候選者上(例如,以進一步改良編碼效能)。可首先登記平行模式。TIMD、DIMD、及相鄰區塊之IPM候選者可隨後登記。
可執行低頻非可分離轉換(low frequency non-separable transform, LFNST)。一正向LFNST可應用至一左上方之低頻區域,其可稱為關注區域(ROI)。若應用LFNST,則存在於ROI外部之區域中的主轉換係數可清零。
圖17繪示LFNST16的ROI。LFNST16的ROI包括六個4×4個子區塊(例如,其等在掃描順序中可係連續的)。輸入樣本之數目可係96個。在此情況下,正向FLNST16之轉換矩陣可係Rx96。32個係數(兩個4×4個子區塊)可從正向LFNST16產生(例如,若R值經選擇為32)。係數可遵循係數掃描順序置放。
圖18繪示LFNST8的ROI。正向LFNST8矩陣可係Rx64。R之值可係32個。所產生的係數可以如同LFNST16相同的方式定位。圖19繪示從幀內預測模式至LFNST集合索引的實例映射。
可使用多轉換選擇(multiple transform selection, MTS)。對於MTS、DST7、及DST8(例如,僅DST7及DCT8)而言,可利用轉換核心。DST7及DST8轉換核心可用於幀內編碼及幀間編碼。
可採用其他主轉換(例如,包括DCT5、DST4、DST1)及/或恆等轉換(identity transform, IDT)。可使MTS集合取決於TU大小及/或幀內模式資訊。可考慮16個不同TU大小。對於各TU大小而言,可取決於幀內模式資訊考慮五個不同類別。對於各類別而言,可考慮一個、四個、或六個不同轉換對。幀內MTS候選者之數目可經調適地選擇(例如,在一個、四個、及六個MTS候選者之間選擇)。幀內MTS候選者之數目可取決於轉換係數之絕對值的總和。總和可與一或多個臨限(例如,兩個固定臨限)比較,以判定經允許MTS候選者的總數。例如: 1個候選者:sum <= th0                                         Eq. 13 4個候選者:th0 < sum <= th1                                Eq. 14 6個候選者:sum > th1                                            Eq. 15
可執行幀內模式傳播。對於未以幀內預測編碼的CU,參考CU之幀內模式可視為與目前CU相同的幀內模式。當建構其他區塊之最可能模式(MPM)清單時,可使用此模式。MPM可使用一方法產生。在該方法中,MPM清單中的第一項可係平面模式。其餘的項可包括左側(L)、上方(A)、左下方(BL)、右上方(AR)、及左上方(AL)相鄰區塊(例如,如圖20所示)的幀內模式、具有從相鄰區塊之前兩個可用方向性模式加入之偏置的方向性模式、及/或預設模式。
若相鄰區塊中之任一者經幀間編碼,則區塊的幀內模式可從參考區塊獲得(或者,若其亦經幀間編碼則從其參考者獲得)。可產生針對定位之幀內模式的緩衝器(例如,具有最小CU大小(4×4)之解析度)。在編碼CU時,緩衝器可以幀內模式或參考幀內模式填入(例如,若經幀間編碼)。此程序可稱為幀內模式傳播。MIP、幀內TMP、及/或調色板模式可傳播為平面模式。具有幀內幀間模式的GPM模式可產生具有三個項的MPM(例如,類似於MPM清單產生)。
幀內模式可提供關於目前區塊之統計的有用資訊。幀內模式可提供關於該區塊之方向性的資訊。此資訊可用以設計MTS及/或LFSNT中的轉換(例如,最佳轉換)。LFNST可係藉由根據其等幀內模式將殘餘信號分群而學習的轉換。幀內模式可用以建構MPM清單。幀內模式可用於GPM MPM。
在一些實例中,當以非方向性幀內預測模式(例如,幀間預測模式、IBC模式、幀內TMP模式、MIP、調色板模式、交叉分量預測模式等)編碼區塊時,可停用幀內模式相依工具。例如,LFNST可基於以非方向性幀內預測模式編碼的區塊而停用(例如,由於LFNST係方向性模式相依的)。若考慮平面模式,則MIP可與LFNST一起使用。在一些實例中,幀內相依工具可使用等效模式(equivalent mode)。等效模式(例如,使用DIMD程序)可用於LFNST核心選擇,其中提供編碼增益。
可針對採用非方向性幀內預測模式的區塊(例如,未採用常規幀內編碼的CU)導出一等效模式(equivalent mode)(例如,方向性幀內預測模式)。例如,可使用TIMD及/或DIMD程序來導出方向性幀內預測模式。等效模式可用以選擇MTS/LFSNT核心及/或幀內模式傳播程序。
在一些實例中,視訊解碼裝置可判定目前區塊以非方向性幀內預測模式編碼。可導出對應於非方向性幀內預測模式的方向性幀內預測模式(例如,其指示經導出幀內預測方向)。視訊解碼裝置可至少部分地基於經導出方向性幀內預測模式而解碼目前區塊。
目前區塊之預測區塊可使用非方向性幀內預測模式獲得。在一些實例中,對應於非方向性幀內預測模式的方向性幀內預測模式可基於預測區塊而導出。在一些實例中,可獲得預測區塊中之經重建樣本(例如,複數個經重建樣本)。方向性幀內預測模式可基於預測區塊中之經重建樣本及目前區塊之經重建相鄰樣本(例如,複數個經重建相鄰樣本)而導出。
方向性幀內預測模式可基於與相鄰目前區塊之經重建像素相關聯的梯度直方圖而導出(例如,方向性幀內預測模式可藉由將DIMD程序應用至目前區塊之經重建模板(例如,模板、使用非方向性幀內預測模式獲得之目前區塊的預測區塊、或預測區塊內部的經重建模板)而導出)。例如,可獲得預測區塊中的複數個樣本。可判定預測區塊的方向性。
圖21繪示用於導出等效模式的程序。例如,DIMD程序可用以導出等效模式(例如,對應於非方向性幀內預測模式的方向性幀內預測模式)。可在MIP預測程序期間產生MIP的等效方向性幀內預測模式(例如,如圖21所繪示)。在一些實例中,DIMD可應用至目前區塊周圍的經重建模板。在一些實例中,DIMD程序可應用至預測區塊(例如,預測信號)。例如,DIMD程序可用以找出由MIP程序產生之預測區塊的方向性。例如,可基於預測區塊中的複數個樣本而判定預測區塊的方向性。該幀內預測模式可基於該預測區塊之經判定方向性而導出。
圖22A繪示實例DIMD程序,其中使用在待編碼之目前區塊周圍的模板。圖22B繪示用於導出MIP等效模式的程序,其中模板係預測區塊之一部分(例如,在升取樣之前)。
在一些實例中,DIMD程序可用以分析從幀間預測、IBC、CCLM/MMLM/CCCM、及/或幀內TMP產生的預測信號。在一些實例中,預測單元(例如,整個預測單元)可經分析以導出等效方向性幀內預測模式(例如,而非使用預測單元內部的模板)。在一些實例中,預設DIMD程序可使用為等效方向性幀內預測模式。此可用於調色板模式(例如,由於調色板模式可能不會產生預測信號)。
在一些實例中,方向性幀內預測模式可藉由以下導出:在相鄰目前區塊的經重建像素上測試複數個候選方向性幀內預測模式;及基於測試,從複數個候選方向性幀內預測模式選擇方向性幀內預測模式。例如,基於模板的幀內模式導出(TIMD)程序可應用至目前區塊之經重建模板、使用非方向性幀內預測模式獲得之目前區塊的預測區塊、或預測區塊內部的經重建模板中之至少一者。
例如,TIMD程序可用以導出等效方向性幀內預測模式(例如,對應於非方向性幀內預測模式的方向性幀內預測模式)。TIMD可以環繞目前區塊的模板來應用(例如,以與對於DIMD相同或類似的方式)。例如,TIMD可使用預測區塊內部的模板,以環繞目前區塊的模板來應用。例如,TIMD可使用整個預測區塊,以環繞目前區塊的模板來應用。
例如,目前區塊之預測區塊可使用非方向性幀內預測模式獲得。在一些實例中,可獲得預測區塊中之經重建樣本(例如,複數個經重建樣本)。在一些實例中,可獲得可能預測模式(例如,複數個可能預測模式)。可運算在預測區塊中之經重建樣本的預測(例如,複數個預測)。例如,可基於可能預測模式而運算預測區塊中之經重建樣本的預測。可運算預測誤差(例如,複數個預測誤差)。例如,預測誤差可基於預測區塊中之經重建樣本及對應預測而運算。預測誤差可對應於可能預測模式。方向性幀內預測模式可基於預測誤差而選擇(例如,從可能預測模式選擇)。在一些實例中,方向性幀內預測模式可基於對應於方向性幀內預測模式的預測誤差在預測誤差中係最小的之判定而選擇。
在一些實例中,平面或DC模式可使用為等效方向性幀內預測模式。例如,MIP及幀內TMP可視為在LFNST核心選擇中的平面模式。在一些實例中,LFNST可針對(多個)方向性幀間預測模式及IBC模式啟用。
在一些實例中,基於歷史的幀內預測模式(history-based intra prediction mode, HIPM)可使用為等效方向性幀內預測模式。基於歷史的幀內預測模式可使用為採用非方向性幀內預測模式之CU(例如,未採用常規幀內編碼的CU)的等效方向性幀內預測模式。在實例中,導出程序可類似於基於歷史的MVP (HMVP)合併候選者。(例如,先前經常規幀內編碼區塊之)經導出方向性幀內預測模式可儲存在表格中。經導出方向性幀內預測模式可用以產生相鄰預測區塊的MPM清單。具有多個HIPM候選者的表格可使用為目前CU的等效方向性幀內預測模式。可在編碼及/或解碼程序期間維持具有多個HIPM候選者的表格。當遇到新的CTU列時,可重設(例如,清空)表格。若存在以方向性幀內預測模式編碼的CU(例如,經常規幀內編碼的CU),相關聯的方向性幀內預測模式可加入至表格之最後項(例如,作為新的HIPM候選者)。
HIPM表大小S可設定成值M(例如,指示至多M-1個HIPM候選者可加入至表格)。當將新的方向性幀內預測模式候選者***至表格時可考慮兩個選項。例如,在第一選項中,新的HIPM可移動至表格之最後項。在此實例中,後方的HIPM候選者(例如,後方的所有HIPM候選者)可向前移動。在此實例中,表格之最後項中的HIPM候選者可視為「最近/最接近」,且可使用為等效方向性幀內預測模式。
例如,在第二選項中,可計數表格中現有HIPM的出現。可判定相同HIPM是否存在於表格中。若經發現,則可增加相同HIPM的計數。在此情況下,目前HIPM表格可經重新排序。例如,若HIPM候選者出現計數高於目前HIPM表格之最後項,則HIPM候選者可移動至表格之最後項。在此情況下,表格之最後項中的HIPM候選者可使用為等效方向性幀內預測模式(例如,由於其頻繁地使用)。
LFNST可基於等效方向性幀內預測模式而執行。例如,可基於經導出方向性幀內預測模式而判定/選擇LFNST轉換集合。等效方向性幀內預測模式可如本文所述導出。目前區塊可基於LFNST轉換集合而編碼及/或解碼。例如,可基於LFNST轉換集合而對目前區塊之殘量執行轉換或逆轉換。
可啟用經幀間編碼之CU的LFNST、及IBC模式。等效方向性幀內預測模式導出可用於LFNST核心選擇。可啟用交叉分量預測/幀內TMP的LFNST(例如,以LFNST核心選擇的等效模式導出,而非假設以平面模式)。
在實例中,MTS可使用等效方向性幀內預測模式來執行。例如,可基於經導出方向性幀內預測模式而判定MTS轉換集合。目前區塊可基於MTS轉換集合而編碼及/或解碼。例如,可基於MTS轉換集合而對目前區塊之殘量執行轉換或逆轉換。可啟用MTS IBC及幀內TMP模式(例如,以LFNST核心選擇的等效模式導出)。在一些實例中,可啟用色度部分的MTS(例如,以LFNST核心選擇的具有等效模式導出之交叉分量預測,而非假設以平面模式)。MTS核心選擇可用於幀間CU(例如,以核心選擇的等效方向性幀內預測模式導出)。
在一些實例中(例如,對於幀間CU),MTS索引可獨立於方向性幀內預測模式而編碼。在一些實例中,可(預)定義將MTS索引映射至核心的表格。
可提供TU分隔之特定考量。在一些實例中,可允許TU分隔。CU可分隔成多個TU。例如,CU可使用殘量四叉樹(residual quad tree, RQT)分隔成多個TU。在一些實例中可移除RQT。
子區塊轉換(subblock transform, SBT)可類似於RQT。SBT可用於經幀間編碼的CU上。使用SBT,CU可分隔成兩個部分(例如,如圖23所繪示)。該等部分中之一者可清零。其他部分可使用(預)定義的轉換集合轉換。
在TU小於CU(例如,如在SBT中)的情況下,等效方向性幀內預測模式導出可在每個TU上進行。此可得出N個子分割的N個等效模式。此可允許MTS/LFNST核心的適當選擇,且/或可提供等效方向性幀內預測模式的更佳傳播。特別在SBT中,由於(例如,一個)分割區經清零,可能無法判定彼分割的等效方向性幀內預測模式。
在一些實例中,可傳播等效方向性幀內預測模式。當使用幀內模式傳播時,可導出等效方向性幀內預測模式(例如,如本文所述)。例如,若使用非方向性幀內預測模式(例如,IBC、幀間、交叉分量預測、幀內TMP、調色板模式),等效方向性幀內預測模式可用以填充幀內模式緩衝器。
可提供CIIP及/或GPM的特定考量。例如,當使用CIIP時,CIIP可用以導出一幀內部分的方向性幀內預測模式。例如,當使用GPM幀內幀間時,可導出方向性幀內預測模式。等效方向性幀內預測模式可能不會針對CIIP及/或GPM模式而導出。CIIP及/或GPM模式之幀內部分的幀內模式可用於LFNST/MTS核心選擇及幀內模式傳播。
視訊編碼裝置(例如,編碼器)可如上文所述者般執行相同或類似的動作。例如,編碼器可識別用於編碼目前區塊的非方向性幀內預測模式。編碼器可導出對應於非方向性幀內預測模式的方向性幀內預測模式(例如,其包含經導出幀內預測方向)。編碼器可至少部分地基於經導出方向性幀內預測模式而編碼目前區塊。
圖24繪示用於解碼目前區塊的實例流程圖2400。在2410處,可判定目前區塊係以非方向性幀內預測模式編碼。在2420處,可導出對應於該非方向性幀內預測模式的方向性幀內預測模式。在2430處,目前區塊可至少部分地基於經導出之該方向性幀內預測模式而解碼。
圖25繪示用於編碼目前區塊的實例流程圖2500。在2510處,可識別用於編碼目前區塊的非方向性幀內預測模式。在2520處,可導出對應於該非方向性幀內預測模式的方向性幀內預測模式。在2530處,目前區塊可至少部分地基於經導出之該方向性幀內預測模式而編碼。
雖然於上文描述採特定組合的特徵及元件,所屬技術領域中具有通常知識者將理解各特徵或元件可單獨使用或與其他特徵及元件組合使用。額外地,本文描述的方法可以併入電腦可讀取媒體中以用於由電腦或處理器執行的電腦程式、軟體、或韌體實施。電腦可讀媒體的實例包括電子信號(透過有線或無線連接傳輸)及電腦可讀儲存媒體。電腦可讀儲存媒體的實例包括但不限於唯讀記憶體(ROM)、隨機存取記憶體(RAM)、暫存器、快取記憶體、半導體記憶體裝置、磁性媒體(諸如內接硬碟及可移除式磁碟)、磁光媒體、及光學媒體(諸如,CD-RAM光碟、及數位多功能光碟(digital versatile disk, DVD))。與軟體相關聯的處理器可用以實施用於在WTRU、UE、終端機、基地台、RNC、或任何主機電腦中使用的射頻收發器。
100:通訊系統 102:無線傳輸/接收單元(WTRU) 102a:無線傳輸/接收單元 102b:無線傳輸/接收單元 102c:無線傳輸/接收單元 102d:無線傳輸/接收單元 104:RAN 106:CN 108:公共交換電話網路(PSTN) 110:網際網路 112:其他網路 113:RAN 114a:基地台 114b:基地台 115:CN;空中介面 116:空中介面 117:空中介面 118:處理器 120:收發器 122:傳輸/接收元件 124:揚聲器/麥克風 126:小鍵盤 128:顯示器/觸控板 130:非可移除式記憶體 132:可移除式記憶體 134:電源 136:全球定位系統晶片組 138:其他週邊設備 160a:e節點B 160b:e節點B 160c:e節點B 162:行動管理實體162 164:服務閘道164 166:封包資料網路閘道 180a:gNB 180b:gNB 180c:gNB 182a:AMF 182b:AMF 183a:對話管理功能 183b:對話管理功能 184a:UPF 184b:UPF 185a:資料網路 185b:資料網路 200:編碼器 201:預編碼處理 202:分割 205:決定 210:減去 225:轉換 230:量化 240:解量化 245:熵編碼 250:逆轉換 255:組合 260:幀內預測 265:迴路內濾波器 270:補償 275:運動評估 280:參考圖像緩衝器 300:解碼器 330:熵解碼 335:劃分 340:解量化 350:逆轉換 355:組合 360:幀內預測 365:迴路內濾波器 370:獲得 375:運動補償預測 380:參考圖像緩衝器 385:後解碼處理 400:系統 410:處理器 420:記憶體 425:連接配置 430:編碼器/解碼器模組 440:儲存裝置 445:方塊 450:通訊介面 460:通訊通道 470:介面 475:顯示器 480:介面 485:揚聲器 490:介面 495:其他週邊裝置 600:模板 601:模板 602:模板 603:CB 2400:流程圖 2410, 2420, 2430:步驟 2500:流程圖 2510, 2520, 2530:步驟 A:上方 AL:左上方 AR:右上方 BL:左下方 C:中心 E:右側/東邊 L:左側 N:上方/北邊 N2:介面 N3:介面 N4:介面 N6:介面 N11:介面 R1:目前CTU R2:左上方CTU R3:上方CTU R4:左方CTU S:下方/南邊 S1:介面 W:左側/西邊 X2:介面 Xn:介面
此外,圖式中的相似元件符號指示相似元件,且其中: [圖1A]係繪示一或多個經揭示實施例可實施於其中之實例通訊系統的系統圖。 [圖1B]係繪示根據一實施例之可使用在繪示於圖1A中的通訊系統內的實例無線傳輸/接收單元(wireless transmit/receive unit, WTRU)的系統圖。 [圖1C]係繪示根據一實施例之可使用在繪示於圖1A中的通訊系統內的實例無線電存取網路(radio access network, RAN)及實例核心網路(core network, CN)的系統圖。 [圖1D]係繪示根據一實施例之可使用在繪示於圖1A中的通訊系統內的進一步實例RAN及進一步實例CN的系統圖。 [圖2]繪示實例視訊編碼器。 [圖3]繪示實例視訊解碼器。 [圖4]繪示各種態樣及實例可實施於其中之系統的實例。 [圖5A]至[圖5C]顯示實例預測模式及預測方向。 [圖6]顯示目前亮度之模板的實例、及該模板之經解碼參考樣本。 [圖7]顯示用於例如解碼器側幀內模式導出(decoder-side intra mode derivation, DIMD)色度模式的相鄰經重建樣本。 [圖8]繪示矩陣加權幀內預測(matrix weighted intra prediction, MIP)程序的實例。 [圖9]繪示用於交叉分量線性模型(cross-component linear model, CCLM)模式中之樣本的實例位置。 [圖10A]及[圖10B]繪示斜率調整參數之實例效應。 [圖11]繪示卷積過濾器之空間部分。 [圖12]繪示當對編碼樹單元(coding tree unit, CTU)編碼時之幀內區塊複製(intra block copy, IBC)的實例參考區。 [圖13]繪示實例幀內模板匹配搜尋區。 [圖14]繪示以調色板模式編碼之區塊的實例。 [圖15A]至[圖15D]繪示具有幀間預測及幀內預測的實例幾何分割模式(geometric partitioning mode, GPM)。 [圖16]係基於GPM區塊邊界之角度的幀內預測模式(intra prediction mode, IPM)候選導出之可用相鄰區塊的定位的表格。 [圖17]繪示實例關注區域(region of interest, ROI)。 [圖18]繪示實例ROI。 [圖19]繪示幀內預測模式至低頻非可分離轉換(low frequency non-separable transform, LFNST)集合索引的實例映射。 [圖20]繪示用以導出大致最可能模式(most probably mode, MPM)清單的實例相鄰區塊。 [圖21]繪示導出等效模式(equivalent mode)的實例。 [圖22A]繪示實例DIMD程序。 [圖22B]繪示MIP等效模式導出。 [圖23]繪示實例編碼區塊分隔分割。 [圖24]繪示用於解碼目前區塊的實例流程圖。 [圖25]繪示及用於編碼目前區塊的實例流程圖。
2400:流程圖
2410,2420,2430:步驟

Claims (46)

  1. 一種用於視訊解碼之裝置,其包含: 一處理器,其經組態以: 判定一目前區塊係以一非方向性幀內預測模式編碼; 導出對應於該非方向性幀內預測模式的一方向性幀內預測模式,其中經導出的該方向性幀內預測模式指示一經導出幀內預測方向;及 至少部分地基於經導出的該方向性幀內預測模式而解碼該目前區塊。
  2. 如請求項1之裝置,其中該處理器進一步經組態以: 使用該非方向性幀內預測模式來獲得該目前區塊之一預測區塊;及 獲得該預測區塊中之複數個經重建樣本,其中該方向性幀內預測模式係基於該預測區塊中之該複數個經重建樣本及該目前區塊的複數個經重建相鄰樣本而導出。
  3. 如請求項1或2之裝置,其中該處理器進一步經組態以: 儲存經導出的該方向性幀內預測模式;及 使用經導出的該方向性幀內預測模式,以產生一相鄰預測區塊的一最可能模式(most probable mode, MPM)清單。
  4. 如請求項1至3中任一項之裝置,其中該處理器進一步經組態以基於經導出的該方向性幀內預測模式而判定一低頻非可分離轉換(low-frequency non-separable transform, LFNST)轉換集合,且其中該目前區塊係基於該LFNST轉換集合而解碼。
  5. 如請求項1至3中任一項之裝置,其中該處理器進一步經組態以基於經導出的該方向性幀內預測模式而判定一多轉換選擇(multi-transform selection, MTS)轉換集合,且其中該目前區塊係基於該MTS轉換集合而解碼。
  6. 如請求項1至5中任一項之裝置,其中該處理器經組態以導出該方向性幀內預測模式包含:該處理器經組態以基於與相鄰該目前區塊之經重建像素相關聯的一梯度直方圖而導出該方向性幀內預測模式。
  7. 如請求項1至5中任一項之裝置,其中該處理器經組態以導出該方向性幀內預測模式包含:該處理器經組態以: 在相鄰該目前區塊的經重建像素上測試複數個候選方向性幀內預測模式;及 基於該測試,從該複數個候選方向性幀內預測模式選擇該方向性幀內預測模式。
  8. 如請求項1至5中任一項之裝置,其中該處理器進一步經組態以: 使用該非方向性幀內預測模式來獲得該目前區塊之一預測區塊; 獲得該預測區塊中之複數個經重建樣本; 獲得複數個可能預測模式; 基於該複數個可能預測模式,運算該預測區塊中之該複數個經重建樣本的複數個預測; 基於該預測區塊中之該複數個經重建樣本、及對應的該複數個預測,運算對應於該複數個可能預測模式的複數個預測誤差;及 基於該複數個預測誤差,在該複數個可能預測模式中選擇該方向性幀內預測模式。
  9. 如請求項1至8中任一項之裝置,其中該非方向性幀內預測模式包含一幀間預測模式、一交叉分量預測模式、一調色板模式、一幀內區塊複製(intra block copy, IBC)模式、或一幀內模板匹配預測(幀內TMP (intra template matching prediction))模式。
  10. 如請求項1至3及6至9中任一項之裝置,其中該處理器進一步經組態以: 基於該方向性幀內預測模式,選擇一低頻非可分離轉換(LFNST)轉換集合;及 基於該LFNST轉換集合,對該目前區塊的一殘量執行逆轉換。
  11. 如請求項1至3及6至9中任一項之裝置,其中該處理器進一步經組態以: 基於該方向性幀內預測模式,選擇一多轉換選擇(MTS)轉換集合;及 基於該MTS轉換集合,對該目前區塊的一殘量執行逆轉換。
  12. 一種用於視訊解碼之方法,其包含: 判定一目前區塊係以一非方向性幀內預測模式編碼; 導出對應於該非方向性幀內預測模式的一方向性幀內預測模式,其中經導出的該方向性幀內預測模式指示一經導出幀內預測方向;及 至少部分地基於經導出的該方向性幀內預測模式而解碼該目前區塊。
  13. 如請求項12之方法,其中該方法進一步包含: 使用該非方向性幀內預測模式來獲得該目前區塊之一預測區塊;及 獲得該預測區塊中之複數個經重建樣本,其中該方向性幀內預測模式係基於該預測區塊中之該複數個經重建樣本及該目前區塊的複數個經重建相鄰樣本而導出。
  14. 如請求項12或13之方法,其中該方法進一步包含: 儲存經導出的該方向性幀內預測模式;及 使用經導出的該方向性幀內預測模式,以產生一相鄰預測區塊的一最可能模式(most probable mode, MPM)清單。
  15. 如請求項12至14中任一項之方法,其中該方法進一步包含基於經導出的該方向性幀內預測模式而判定一低頻非可分離轉換(low-frequency non-separable transform, LFNST)轉換集合,且其中該目前區塊係基於該LFNST轉換集合而解碼。
  16. 如請求項12至14中任一項之方法,其中該方法進一步包含基於經導出的該方向性幀內預測模式而判定一多轉換選擇(multi-transform selection, MTS)轉換集合,且其中該目前區塊係基於該MTS轉換集合而解碼。
  17. 如請求項12至16中任一項之方法,其中導出該方向性幀內預測模式包含:基於與相鄰該目前區塊之經重建像素相關聯的一梯度直方圖而導出該方向性幀內預測模式。
  18. 如請求項12至16中任一項之方法,其中導出該方向性幀內預測模式包含: 在相鄰該目前區塊的經重建像素上測試複數個候選方向性幀內預測模式;及 基於該測試,從該複數個候選方向性幀內預測模式選擇該方向性幀內預測模式。
  19. 如請求項12至16中任一項之方法,其中該方法進一步包含: 使用該非方向性幀內預測模式來獲得該目前區塊之一預測區塊; 獲得該預測區塊中之複數個經重建樣本; 獲得複數個可能預測模式; 基於該複數個可能預測模式,運算該預測區塊中之該複數個經重建樣本的複數個預測; 基於該預測區塊中之該複數個經重建樣本、及對應的該複數個預測,運算對應於該複數個可能預測模式的複數個預測誤差;及 基於該複數個預測誤差,在該複數個可能預測模式中選擇該方向性幀內預測模式。
  20. 如請求項12至19中任一項之方法,其中該非方向性幀內預測模式包含一幀間預測模式、一交叉分量預測模式、一調色板模式、一幀內區塊複製(intra block copy, IBC)模式、或一幀內模板匹配預測(幀內TMP (intra template matching prediction))模式。
  21. 如請求項12至14及17至20中任一項之方法,其中該方法進一步包含: 基於該方向性幀內預測模式,選擇一低頻非可分離轉換(LFNST)轉換集合;及 基於該LFNST轉換集合,對該目前區塊的一殘量執行逆轉換。
  22. 如請求項12至14及17至20中任一項之方法,其中該方法進一步包含: 基於該方向性幀內預測模式,選擇一多轉換選擇(MTS)轉換集合;及 基於該MTS轉換集合,對該目前區塊的一殘量執行逆轉換。
  23. 一種用於視訊編碼之裝置,其包含: 一處理器,其經組態以: 識別用於編碼一目前區塊的一非方向性幀內預測模式; 導出對應於該非方向性幀內預測模式的一方向性幀內預測模式,其中經導出的該方向性幀內預測模式包含一經導出幀內預測方向;及 至少部分地基於經導出的該方向性幀內預測模式而編碼該目前區塊。
  24. 如請求項23之裝置,其中該處理器進一步經組態以: 使用該非方向性幀內預測模式來獲得該目前區塊之一預測區塊;及 獲得該預測區塊中之複數個經重建樣本,其中該方向性幀內預測模式係基於該預測區塊中之該複數個經重建樣本及複數個經重建相鄰樣本而導出。
  25. 如請求項23或24之裝置,其中該處理器進一步經組態以: 儲存經導出的該方向性幀內預測模式;及 使用經導出的該方向性幀內預測模式,以產生一相鄰預測區塊的一最可能模式(most probable mode, MPM)清單。
  26. 如請求項23至25中任一項之裝置,其中該處理器進一步經組態以基於經導出的該方向性幀內預測模式而判定一低頻非可分離轉換(low-frequency non-separable transform, LFNST)轉換集合,且其中該目前區塊係基於該LFNST轉換集合而編碼。
  27. 如請求項23至25中任一項之裝置,其中該處理器進一步經組態以基於經導出的該方向性幀內預測模式而判定一多轉換選擇(multi-transform selection, MTS)轉換集合,且其中該目前區塊係基於該MTS轉換集合而編碼。
  28. 如請求項23至27中任一項之裝置,其中該處理器經組態以導出該方向性幀內預測模式包含:該處理器經組態以基於與相鄰該目前區塊之經重建像素相關聯的一梯度直方圖而導出該方向性幀內預測模式。
  29. 如請求項23至27中任一項之裝置,其中該處理器經組態以導出該方向性幀內預測模式包含:該處理器經組態以: 在相鄰該目前區塊的經重建像素上測試複數個候選方向性幀內預測模式;及 基於該測試,從該複數個候選方向性幀內預測模式選擇該方向性幀內預測模式。
  30. 如請求項23至27中任一項之裝置,其中該處理器進一步經組態以: 使用該非方向性幀內預測模式來獲得該目前區塊之一預測區塊; 獲得該預測區塊中之複數個經重建樣本; 獲得複數個可能預測模式; 基於該複數個可能預測模式,運算該預測區塊中之該複數個經重建樣本的複數個預測; 基於該預測區塊中之該複數個經重建樣本、及對應的該複數個預測,運算對應於該複數個可能預測模式的複數個預測誤差;及 基於該複數個預測誤差,在該複數個可能預測模式中選擇該方向性幀內預測模式。
  31. 如請求項23至30中任一項之裝置,其中該非方向性幀內預測模式包含一幀間預測模式、一交叉分量預測模式、一調色板模式、一幀內區塊複製(intra block copy, IBC)模式、或一幀內模板匹配預測(幀內TMP (intra template matching prediction))模式。
  32. 如請求項23至25及28至31中任一項之裝置,其中該處理器進一步經組態以: 基於該方向性幀內預測模式,選擇一低頻非可分離轉換(LFNST)轉換集合;及 基於該LFNST轉換集合,對該目前區塊的一殘量執行轉換。
  33. 如請求項23至25及28至31中任一項之裝置,其中該處理器進一步經組態以: 基於該方向性幀內預測模式,選擇一多轉換選擇(MTS)轉換集合;及 基於該MTS轉換集合,對該目前區塊的一殘量執行轉換。
  34. 一種用於視訊編碼之方法,其包含: 識別用於編碼一目前區塊的一非方向性幀內預測模式; 導出對應於該非方向性幀內預測模式的一方向性幀內預測模式,其中經導出的該方向性幀內預測模式包含一經導出幀內預測方向;及 至少部分地基於經導出的該方向性幀內預測模式而編碼該目前區塊。
  35. 如請求項34之方法,其中該方法進一步包含: 使用該非方向性幀內預測模式來獲得該目前區塊之一預測區塊;及 獲得該預測區塊中之複數個經重建樣本,其中該方向性幀內預測模式係基於該預測區塊中之該複數個經重建樣本及複數個經重建相鄰樣本而導出。
  36. 如請求項34或35之方法,其中該方法進一步包含: 儲存經導出的該方向性幀內預測模式;及 使用經導出的該方向性幀內預測模式,以產生一相鄰預測區塊的一最可能模式(most probable mode, MPM)清單。
  37. 如請求項34至36中任一項之方法,其中該方法進一步包含基於經導出的該方向性幀內預測模式而判定一低頻非可分離轉換(low-frequency non-separable transform, LFNST)轉換集合,且其中該目前區塊係基於該LFNST轉換集合而編碼。
  38. 如請求項34至36中任一項之方法,其中該方法進一步包含基於經導出的該方向性幀內預測模式而判定一多轉換選擇(multi-transform selection, MTS)轉換集合,且其中該目前區塊係基於該MTS轉換集合而編碼。
  39. 如請求項34至38中任一項之方法,其中導出該方向性幀內預測模式係基於與相鄰該目前區塊之經重建像素相關聯的一梯度直方圖。
  40. 如請求項34至38中任一項之方法,其中導出該方向性幀內預測模式包含: 在相鄰該目前區塊的經重建像素上測試複數個候選方向性幀內預測模式;及 基於該測試,從該複數個候選方向性幀內預測模式選擇該方向性幀內預測模式。
  41. 如請求項34至38中任一項之方法,其中該方法進一步包含: 使用該非方向性幀內預測模式來獲得該目前區塊之一預測區塊; 獲得該預測區塊中之複數個經重建樣本; 獲得複數個可能預測模式; 基於該複數個可能預測模式,運算該預測區塊中之該複數個經重建樣本的複數個預測; 基於該預測區塊中之該複數個經重建樣本、及對應的該複數個預測,運算對應於該複數個可能預測模式的複數個預測誤差;及 基於該複數個預測誤差,在該複數個可能預測模式中選擇該方向性幀內預測模式。
  42. 如請求項34至41中任一項之方法,其中該非方向性幀內預測模式包含一幀間預測模式、一交叉分量預測模式、一調色板模式、一幀內區塊複製(intra block copy, IBC)模式、或一幀內模板匹配預測(幀內TMP (intra template matching prediction))模式。
  43. 如請求項34至36及39至42中任一項之方法,其中該方法進一步包含: 基於該方向性幀內預測模式,選擇一低頻非可分離轉換(LFNST)轉換集合;及 基於該LFNST轉換集合,對該目前區塊的一殘量執行轉換。
  44. 如請求項34至36及39至42中任一項之方法,其中該方法進一步包含: 基於該方向性幀內預測模式,選擇一多轉換選擇(MTS)轉換集合;及 基於該MTS轉換集合,對該目前區塊的一殘量執行轉換。
  45. 一種電腦可讀媒體,其包含用於使一或多個處理器執行如請求項12至22及34至44中任一項之方法的指令。
  46. 一種視訊資料,其包含表示根據如請求項34至44中的任一項的方法產生的經編碼的該目前區塊的資訊。
TW112138694A 2022-10-11 2023-10-11 非幀內預測編碼區塊的等效幀內模式 TW202416715A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP22306526.9 2022-10-11

Publications (1)

Publication Number Publication Date
TW202416715A true TW202416715A (zh) 2024-04-16

Family

ID=

Similar Documents

Publication Publication Date Title
US20230045182A1 (en) Quantization parameter coding
US20220394298A1 (en) Transform coding for inter-predicted video data
CN114600452A (zh) 用于运动补偿的自适应插值滤波器
CN114556928A (zh) 帧内子分区相关的帧内编码
TW202416715A (zh) 非幀內預測編碼區塊的等效幀內模式
US20240196007A1 (en) Overlapped block motion compensation
WO2024079185A1 (en) Equivalent intra mode for non-intra predicted coding blocks
WO2023057501A1 (en) Cross-component depth-luma coding
WO2023194568A1 (en) Template based most probable mode list reordering
WO2024133767A1 (en) Motion compensation for video blocks
WO2024079187A1 (en) Video coding combining intra-sub partition and template-based intra-mode derivation techniques
WO2024008611A1 (en) Spatial geometric partition mode
WO2023194395A1 (en) Chroma direct mode
CA3232975A1 (en) Template-based syntax element prediction
WO2023118339A1 (en) Gdr adapted filtering
WO2024079193A1 (en) Extended angular prediction modes with decoder side refinement
WO2023194193A1 (en) Sign and direction prediction in transform skip and bdpcm
WO2024133053A1 (en) Combination of intra template prediction and intra block copy with other coding tools
WO2023194604A1 (en) Template based cclm/mmlm slope adjustment
WO2024133776A2 (en) Planar horizontal, planar vertical mode, and planar directional mode
WO2024133762A1 (en) Extension of spatial geometric prediction mode
WO2023194588A1 (en) Template-based intra mode derivation with wide angle intra prediction
WO2023194138A1 (en) Transform index determination
WO2023194558A1 (en) Improved subblock-based motion vector prediction (sbtmvp)
WO2023198535A1 (en) Residual coefficient sign prediction with adaptive cost function for intra prediction modes