CN111480341A - 用于合并模式的解码器侧运动矢量细化和子块运动导出 - Google Patents

用于合并模式的解码器侧运动矢量细化和子块运动导出 Download PDF

Info

Publication number
CN111480341A
CN111480341A CN201880080912.0A CN201880080912A CN111480341A CN 111480341 A CN111480341 A CN 111480341A CN 201880080912 A CN201880080912 A CN 201880080912A CN 111480341 A CN111480341 A CN 111480341A
Authority
CN
China
Prior art keywords
neighboring
picture
block
cus
atmvp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880080912.0A
Other languages
English (en)
Inventor
修晓宇
贺玉文
叶艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN111480341A publication Critical patent/CN111480341A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本文中可公开用于合并模式的子块运动导出及运动矢量细化的***、方法及手段。视频数据可被译码(例如，编码和/或解码)。可识别所述视频数据的当前切片的同位图片。所述当前切片可包含一或多个译码单元CU。可针对当前CU识别一个或一个以上相邻CU。相邻CU(例如，每一相邻CU)可对应于一参考图片。(例如，一个)相邻CU可基于所述参考图片和所述同位图片而被选择作为候选相邻CU。可以基于所述候选相邻CU的运动矢量(MV)(例如，参考MV)而从所述同位图片中识别出MV(，例如同位MV)。可使用所述同位MV来译码(例如，编码和/或解码)所述当前CU。

Description

用于合并模式的解码器侧运动矢量细化和子块运动导出
相关申请的交叉引用
本申请要求保护提交的2017年11月1日递交的的美国临时申请序列号62/580,184、2018年1月29日提交的美国临时申请序列号62/623,001、2018年5月31日提交美国临时申请序列号62/678,576、以及2018年6月27日提交的美国临时申请序列号62/690,661的权益，其内容通过引用而被并入本文。
背景技术
视频译码***可以用于压缩数字视频信号，例如，以减少这些信号所需的存储和/或传输带宽。视频译码***可以包括基于块的、基于小波的和/或基于对象的***。可以部署基于块的混合视频译码***。
发明内容
本文中可公开用于合并模式的子块运动导出及运动矢量细化(refinement)的***、方法及手段。视频数据可被译码(例如，编码和/或解码)。可识别所述视频数据的当前切片(slice)的同位(collocated)图片。所述同位图片可基于例如切片头部中的同位图片指示而被识别。所述当前切片可包含一或多个译码单元CU。可针对当前CU识别一个或多个相邻CU。相邻CU(例如，每一相邻CU)可对应于一参考图片。(例如，一个)相邻CU可基于所述相邻CU的参考图片和所述同位图片而被选择作为候选相邻CU。可以基于所述候选相邻CU的运动矢量(MV)(例如，参考MV)而从所述同位图片中识别出MV(例如，同位MV)。所述同位MV可以是时间MV，并且所述参考MV可以是空间MV。可使用所述同位MV来译码(例如，编码和/或解码)所述当前CU。
可基于所述相邻CU的所述参考图片与所述同位图片之间的相应时间差而将一相邻CU选择为所述候选相邻CU。举例来说，一参考图片(例如，每一参考图片)可与一图片次序计数(POC)相关联，且可选择具有与所述同位图片的最低POC差的相邻CU。所述选定相邻CU可具有与所述同位图片相同的参考图片。该具有与所述同位图片相同的参考图片的相邻CU可在不进一步考虑其它相邻CU的情况下被选择。
举例来说，如果所述候选相邻CU的所述参考图片与所述同位图片不同，那么可对所述参考MV执行时间缩放。例如，所述参考MV可以乘以一缩放因子。所述缩放因子可基于所述候选相邻CU的所述参考图片与所述同位图片之间的时间差。
所述同位图片可包含一或多个同位块。所述同位块中的一个或多个可以是有效的同位块。所述有效同位块可以是连续的，并且可以形成有效同位块区域。例如，可以基于所述当前切片来识别该区域。所述同位MV可与可有效或无效的第一同位块相关联。如果所述第一同位块无效，则可以选择有效的第二同位块。来自所述第一同位块的所述同位MV可被替换为与所述第二同位块相关联的第二同位MV。所述第二同位MV可用于对所述当前CU进行译码(例如，编码和/或解码)。所述第二同位块例如可以基于该第二同位块具有与所述第一同位块的最低距离而被选择。例如，所述第二同位块可以是最接近所述第一同位块的有效块。
可将所述当前CU细分为一个或多个子块。子块(例如，每一子块)可对应于一参考MV。可基于子块(例如，每一子块)的参考MV从所述同位图片识别该子块的同位MV。可基于所述当前CU的时间层确定所述子块的大小。
附图说明
图1A是示出了示例性通信***的***示意图；
图1B是示出了可以在图1A所示的通信***内部使用的示例性无线发射/接收单元(WTRU)的***示意图；
图1C是示出了可以在图1A所示的通信***内部使用的示例性无线电接入网络(RAN)和示例性核心网络(CN)的***示意图；以及
图1D是示出了可以在图1A所示的通信***内部使用的另一个示例性RAN和另一个示例性CN的***示意图；
图2示出了基于块的视频编码器的示例示意图。
图3示出了视频解码器的示例框图。
图4示出了示例空间合并候选。
图5示出了高级时间运动矢量预测的示例。
图6示出了空间-时间运动矢量预测的示例。
图7示出了用于常规(regular)合并模式的示例解码器侧运动矢量细化(DMVR)。
图8示出了图片的示例刷新，其中当自适应地确定高级时间运动矢量预测/时空运动矢量预测(ATMVP)/(STMVP)导出粒度时，ATMVP/STMVP块大小统计可以被重置为0。
图9示出了当应用DMVR早期终止时，用于合并模式的示例运动补偿的流程图。
图10示出了示例双向预测(bi-prediction)，其中在中间比特深度处计算两个预测信号的平均值。
图11示出了ATMVP的同位块导出的示例。
图12示出了ATMVP的同位块的无约束访问。
图13示出了用于导出ATMVP译码单元的同位块的约束区。
图14示出了ATMVP的同位块导出的示例。
图15示出了使用同位图片来导出当前块的MV的示例。
具体实施方式
从以下结合附图以示例方式给出的描述中可以获得更详细的理解，其中：
图1A是示出了可以实施所公开的一个或多个示例的示例性通信***100的示意图。该通信***100可以是为多个无线用户提供诸如语音、数据、视频、消息传递、广播等内容的多址接入***。该通信***100可以通过共享包括无线带宽在内的***资源而使多个无线用户能够访问此类内容。举例来说，通信***100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT-扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块过滤OFDM以及滤波器组多载波(FBMC)等等。
如图1A所示，通信***100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网络(PSTN)108、因特网110以及其他网络112，然而应该了解，所公开的示例设想了任意数量的WTRU、基站、网络和/或网络部件。WTRU102a、102b、102c、102d每一者可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，WTRU 102a、102b、102c、102d任何一者都可以被称为“站”和/或“STA”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、运载工具、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 102a、102b、102c、102d中的任何一者可被可交换地称为UE。
所述通信***100还可以包括基站114a和/或基站114b。基站114a、114b的每一者可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一者无线对接来促使其接入一个或多个通信网络(例如CN 106/115、因特网110、和/或其他网络112)的任何类型的设备。例如，基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、新无线电(NR)节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然基站114a、114b的每一者都被描述成了单个部件，然而应该了解，基站114a、114b可以包括任何数量的互连基站和/或网络部件。
基站114a可以是RAN 104/113的一部分，并且该RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、无授权频谱或是授权与无授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站114a相关联的小区可被分为三个扇区。由此，在示例中，基站114a可以包括三个收发信机，即，每一个收发信机都对应于小区的一个扇区。在示例中，基站114a可以使用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区使用多个收发信机。例如，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。
基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一者或多者进行通信，其中所述空中接口可以是任何适当的无线通信链路(例如射频(RF)、微波、厘米波、毫米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(RAT)来建立。
更具体地说，如上所述，通信***100可以是多址接入***，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术，例如通用移动电信***(UMTS)陆地无线电接入(UTRA)，其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在示例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTE Pro(LTE-A Pro)来建立空中接口116。
在示例中，基站114a和WTRU 102a、102b、102c可以实施某种可以使用新无线电(NR)建立空中接口116的无线电技术，例如NR无线电接入。
在示例中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。例如，基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如使用双连接(DC)原理)。由此，WTRU 102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如，eNB和gNB)发送的传输来表征。
在示例例中，基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术，例如IEEE 802.11(即，无线高保真(WiFi))、IEEE 802.16(即，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信***(GSM)、用于GSM演进的增强数据速率(EDGE)、以及GSM EDGE(GERAN)等等。
图1A中的基站114b可以例如是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、运载工具、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在示例中，基站114b与WTRU102c、102d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在示例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在示例中，基站114b和WTRU 102c、102d可通过使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-APro、NR等等)来建立微微小区或毫微微小区。如图1A所示，基站114b可以直连到因特网110。由此，基站114b不需要经由CN 106/115来接入因特网110。
RAN 104/113可以与CN 106/115进行通信，所述CN可以是被配置成向WTRU 102a、102b、102c、102d的一者或多者提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求，例如不同的吞吐量需求、延时需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN 106/115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户认证之类的高级安全功能。虽然在图1A中没有显示，然而应该了解，RAN104/113和/或CN 106/115可以直接或间接地和其他那些与RAN 104/113使用相同RAT或不同RAT的RAN进行通信。例如，除了与使用NR无线电技术的RAN 104/113相连之外，CN 106/115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。
CN 106/115还可以充当供WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如传输控制协议/网际协议(TCP/IP)网际协议族中的TCP、用户数据报协议(UDP)和/或IP)的全球性互联计算机网络设备***。所述网络112可以包括由其他服务提供方拥有和/或运营的有线或无线通信网络。例如，所述网络112可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN104/113使用相同RAT或不同RAT。
通信***100中的一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图1A所示的WTRU 102c可被配置成与使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。
图1B是示出了示例性WTRU 102的***示意图。如图1B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、数字键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位***(GPS)芯片组136和/或周边设备138。应该了解的是，WTRU 102还可以包括前述部件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集合成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集合成电路(IC)以及状态机等等。处理器118可以执行信号译码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU 102在无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收部件122。虽然图1B将处理器118和收发信机120描述成单独组件，然而应该了解，处理器118和收发信机120也可以一起集合成在一电子组件或芯片中。
发射/接收部件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如，基站114a)的信号。举个例子，在示例中，发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。作为示例，在示例中，发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在示例中，发射/接收部件122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。
虽然在图1B中将发射/接收部件122描述成是单个部件，但是WTRU 102可以包括任何数量的发射/接收部件122。更具体地说，WTRU 102可以使用MIMO技术。由此，在示例中，WTRU 102可以包括两个或更多个通过空中接口116来发射和接收无线信号的发射/接收部件122(例如多个天线)。
收发信机120可被配置成对发射/接收部件122所要传送的信号进行调制，以及对发射/接收部件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。
WTRU 102的处理器118可以耦合到扬声器/麦克风124、数字键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在示例中，处理器118可以从那些并非实际位于WTRU 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
处理器118可以接收来自电源134的电力，并且可被配置分发和/或控制用于WTRU102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器118还可以耦合到GPS芯片组136，该GPS芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口116接收来自基站(例如基站114a、114b)的位置信息，和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是，WTRU 102可以借助任何适当的定位方法来获取位置信息。
处理器118还可以耦合到其他周边设备138，其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，所述周边设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、
Figure BDA0002539340590000101
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动***等等。所述周边设备138可以包括一个或多个传感器，所述传感器可以是以下的一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁强计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器等。
WTRU 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的干扰管理单元139。在示例中，WTRU 102可以包括传送和接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联)的半双工无线电设备。
图1C是示出了一示例RAN 104和CN 106的***示意图。如上所述，RAN 104可以通过空中接口116使用E-UTRA无线电技术来与WTRU 102a、102b、102c进行通信。所述RAN 104还可以与CN 106进行通信。
RAN 104可以包括e节点B 160a、160b、160c，然而应该了解，RAN 104可以包括任何数量的e节点B。e节点B 160a、160b、160c每一者都可以包括通过空中接口116与WTRU 102a、102b、102c通信的一个或多个收发信机。在示例中，e节点B 160a、160b、160c可以实施MIMO技术。由此，举例来说，e节点B160a可以使用多个天线来向WTRU 102a发射无线信号，和/或接收来自WTRU 102a的无线信号。
e节点B160a、160b、160c每一者都可以关联于一个特定小区(未显示)，并且可被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度等等。如图1C所示，e节点B 160a、160b、160c彼此可以通过X2接口进行通信。
图1C所示的CN 106可以包括移动性管理实体(MME)162、服务网关(SGW)164以及分组数据网络(PDN)网关(或PGW)166。虽然每一前述部件都被描述成是CN 106的一部分，然而应该了解，这其中的任一部件都可以由CN运营商之外的实体拥有和/或运营。
MME 162可以经由S1接口连接到RAN 104中的e节点B 162a、162b、162c的每一者，并且可以充当控制节点。例如，MME 162可以负责认证WTRU 102a、102b、102c的用户，执行承载激活/去激活处理，以及在WTRU 102a、102b、102c的初始附着过程中选择特定的服务网关等等。MME 162可以提供用于在RAN 104与使用其他无线电技术(例如GSM和/或WCDMA)的其他RAN(未显示)之间进行切换的控制平面功能。
SGW 164可以经由S1接口连接到RAN 104中的e节点B 160a、160b、160c的每一者。SGW 164通常可以路由和转发去往/来自WTRU 102a、102b、102c的用户数据分组。并且，SGW164还可以执行其他功能，例如在eNB间的切换过程中锚定用户平面，在DL数据可供WTRU102a、102b、102c使用时触发寻呼处理，以及管理并存储WTRU 102a、102b、102c的上下文等等。
SGW 164可以连接到PGW 146，所述PGW可以为WTRU 102a、102b、102c提供分组交换网络(例如因特网110)接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信。
CN 106可以促成与其他网络的通信。例如，CN 106可以为WTRU 102a、102b、102c提供对电路交换网络(例如PSTN 108)的接入，以便促成WTRU 102a、102b、102c与传统的陆线通信设备之间的通信。例如，CN 106可以包括IP网关(例如IP多媒体子***(IMS)服务器)或与之进行通信，并且该IP网关可以充当CN 106与PSTN 108之间的接口。此外，CN 106可以为WTRU 102a、102b、102c提供针对所述其他网络112的接入，其中该网络可以包括其他服务提供方拥有和/或运营的其他有线和/或无线网络。
虽然在图1A-1D中将WTRU描述成了无线终端，然而应该想到的是，在某些示例中，此类终端与通信网络可以使用(例如临时或永久性)有线通信接口。
在示例中，所述其他网络112可以是WLAN。
采用基础架构基本服务集合(BSS)模式的WLAN可以具有用于所述BSS的接入点(AP)以及与所述AP相关联的一个或多个站(STA)。所述AP可以访问或是对接到分布式***(DS)或是将业务量送入和/或送出BSS的别的类型的有线/无线网络。源于BSS外部且去往STA的业务量可以通过AP到达并被递送至STA。源自STA且去往BSS外部的目的地的业务量可被发送至AP，以便递送到相应的目的地。处于BSS内部的STA之间的业务量可以通过AP来发送，例如在源STA可以向AP发送业务量并且AP可以将业务量递送至目的地STA的情况下。处于BSS内部的STA之间的业务量可被认为和/或称为点到点业务量。所述点到点业务量可以在源与目的地STA之间(例如在其间直接)用直接链路建立(DLS)来发送。在示例中，DLS可以使用802.11e DLS或802.11z通道化DLS(TDLS))。举例来说，使用独立BSS(IBSS)模式的WLAN不具有AP，并且处于所述IBSS内部或是使用所述IBSS的STA(例如所有STA)彼此可以直接通信。在这里，IBSS通信模式有时可被称为“自组织(Ad-hoc)”通信模式。
在使用802.11ac基础设施工作模式或类似的工作模式时，AP可以在固定信道(例如主信道)上传送信标。所述主信道可以具有固定宽度(例如20MHz的带宽)或是经由信令动态设置的宽度。主信道可以是BSS的操作信道，并且可被STA用来与AP建立连接。在示例中，所实施的可以是具有冲突避免的载波感测多址接入(CSMA/CA)(例如在802.11***中)。对于CSMA/CA来说，包括AP在内的STA(例如每一个STA)可以感测主信道。如果特定STA感测到/检测到和/或确定主信道繁忙，那么所述特定STA可以退避。在指定的BSS中，在任何指定时间都有一个STA(例如只有一个站)进行传输。
高吞吐量(HT)STA可以使用宽度为40MHz的信道来进行通信(例如借助于将宽度为20MHz的主信道与宽度为20MHz的相邻或不相邻信道相结合来形成宽度为40MHz的信道)。
甚高吞吐量(VHT)STA可以支持宽度为20MHz、40MHz、80MHz和/或160MHz的信道。40MHz和/或80MHz信道可以通过组合连续的20MHz信道来形成。160MHz信道可以通过组合8个连续的20MHz信道或者通过组合两个不连续的80MHz信道(这种组合可被称为80+80配置)来形成。对于80+80配置来说，在信道编码之后，数据可被传递并经过一个分段解析器，所述分段解析器可以将数据非成两个流。在每一个流上可以单独执行逆快速傅里叶变换(IFFT)处理以及时域处理。所述流可被映射在两个80MHz信道上，并且数据可以由执行传输的STA来传送。在执行接收的STA的接收机上，用于80+80配置的上述操作可以是相反的，并且组合数据可被发送至介质接入控制(MAC)。
802.11af和802.11ah支持1GHz以下的工作模式。相比于802.11n和802.11ac，在802.11af和802.11ah中使用信道工作带宽和载波有所缩减。802.11af在TV白空间(TVWS)频谱中支持5MHz、10MHz和20MHz带宽，并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。依照示例，802.11ah可以支持仪表类型控制/机器类型通信(MTC)(例如宏覆盖区域中的MTC设备)。MTC设备可以具有某种能力，例如包含了支持(例如只支持)某些和/或有限带宽在内的受限能力。MTC设备可以包括电池，并且该电池的电池寿命高于阈值(例如用于保持很长的电池寿命)。
对于可以支持多个信道和信道带宽的WLAN***(例如802.11n、802.11ac、802.11af以及802.11ah)来说，这些***包含了可被指定成主信道的信道。所述主信道的带宽可以等于BSS中的所有STA所支持的最大公共工作带宽。主信道的带宽可以由某一个STA设置和/或限制，其中所述STA源自在支持最小带宽工作模式的BSS中工作的所有STA。在关于802.11ah的示例中，即使BSS中的AP和其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽工作模式，但对支持(例如只支持)1MHz模式的STA(例如MTC类型的设备)来说，主信道的宽度可以是1MHz。载波感测和/或网络分配矢量(NAV)设置可以取决于主信道的状态。如果主信道繁忙(例如因为STA(其只支持1MHz工作模式)对AP进行传输)，那么即使大多数的可用频带保持空闲并且可供使用，也可以认为整个可用频带繁忙。
在美国，可供802.11ah使用的可用频带是902MHz到928MHz。在韩国，可用频带是917.5MHz到923.5MHz。在日本，可用频带是916.5MHz到927.5MHz。依照国家码，可用于802.11ah的总带宽是6MHz到26MHz。
图1D是示出了示例RAN 113和CN 115的***示意图。如上所述，RAN 113可以通过空中接口116使用NR无线电技术来与WTRU 102a、102b、102c进行通信。RAN 113还可以与CN115进行通信。
RAN 113可以包括gNB 180a、180b、180c，但是应该了解，RAN 113可以包括任何数量的gNB。gNB 180a、180b、180c每一者都可以包括一个或多个收发信机，以便通过空中接口116来与WTRU 102a、102b、102c通信。在示例中，gNB 180a、180b、180c可以实施MIMO技术。例如，gNB 180a、180b可以使用波束成形处理来向和/或从gNB 180a、180b、180c发射和/或接收信号。由此，举例来说，gNB 180a可以使用多个天线来向WTRU 102a发射无线信号，以及接收来自WTRU 102a的无线信号。在示例中，gNB 180a、180b、180c可以实施载波聚合技术。例如，gNB 180a可以向WTRU 102a(未显示)传送多个分量载波。这些分量载波的子集可以处于无授权频谱上，而剩余分量载波则可以处于授权频谱上。在示例中，gNB 180a、180b、180c可以实施协作多点(CoMP)技术。例如，WTRU 102a可以接收来自gNB 180a和gNB 180b(和/或gNB 180c)的协作传输。
WTRU 102a、102b、102c可以使用与可扩缩数字配置相关联的传输来与gNB 180a、180b、180c进行通信。例如，对于不同的传输、不同的小区和/或不同的无线传输频谱部分来说，OFDM符号间隔和/或OFDM子载波间隔可以是不同的。WTRU 102a、102b、102c可以使用具有不同或可扩缩长度的子帧或传输时间间隔(TTI)(例如包含了不同数量的OFDM符号和/或持续不同的绝对时间长度)来与gNB 180a、180b、180c进行通信。
gNB 180a、180b、180c可被配置成与采用独立配置和/或非独立配置的WTRU 102a、102b、102c进行通信。在独立配置中，WTRU 102a、102b、102c可以在不接入其他RAN(例如，e节点B160a、160b、160c)的情况下与gNB 180a、180b、180c进行通信。在独立配置中，WTRU102a、102b、102c可以使用gNB 180a、180b、180c中的一者或多者作为移动锚点。在独立配置中，WTRU 102a、102b、102c可以使用无授权频带中的信号来与gNB 180a、180b、180c进行通信。在非独立配置中，WTRU 102a、102b、102c会在与别的RAN(例如e节点B160a、160b、160c)进行通信/相连的同时与gNB 180a、180b、180c进行通信/相连。举例来说，WTRU 102a、102b、102c可以通过实施DC原理而以基本同时的方式与一个或多个gNB 180a、180b、180c以及一个或多个e节点B160a、160b、160c进行通信。在非独立配置中，e节点B160a、160b、160c可以充当WTRU 102a、102b、102c的移动锚点，并且gNB 180a、180b、180c可以提供附加的覆盖和/或吞吐量，以便为WTRU 102a、102b、102c提供服务。
gNB 180a、180b、180c每一者都可以关联于特定小区(未显示)，并且可以被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、支持网络切片、双连接、实施NR与E-UTRA之间的互通处理、路由去往用户平面功能(UPF)184a、184b的用户平面数据、以及路由去往接入和移动性管理功能(AMF)182a、182b的控制平面信息等等。如图1D所示，gNB 180a、180b、180c彼此可以通过Xn接口通信。
图1D所示的CN 115可以包括至少一个AMF 182a、182b，至少一个UPF 184a、184b，至少一个会话管理功能(SMF)183a、183b，并且有可能包括数据网络(DN)185a、185b。虽然每一前述部件都被描述了CN 115的一部分，但是应该了解，这其中的任一部件都可以被CN运营商之外的实体拥有和/或运营。
AMF 182a、182b可以经由N2接口连接到RAN 113中的gNB 180a、180b、180c的一者或多者，并且可以充当控制节点。例如，AMF 182a、182b可以负责认证WTRU 102a、102b、102c的用户，支持网络切片(例如处理具有不同需求的不同PDU会话)，选择特定的SMF 183a、183b，管理注册区域，终止NAS信令，以及移动性管理等等。AMF 182a、182b可以使用网络切片处理，以便基于WTRU 102a、102b、102c使用的服务类型来定制为WTRU 102a、102b、102c提供的CN支持。作为示例，针对不同的使用情况，可以建立不同的网络切片，例如依赖于超可靠低延时(URLLC)接入的服务、依赖于增强型大规模移动宽带(eMBB)接入的服务、和/或用于机器类通信(MTC)接入的服务等等。AMF 182可以提供用于在RAN 113与使用其他无线电技术(例如，LTE、LTE-A、LTE-APro和/或诸如WiFi之类的非3GPP接入技术)的其他RAN(未显示)之间切换的控制平面功能。
SMF 183a、183b可以经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可以经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可以选择和控制UPF 184a、184b，并且可以通过UPF 184a、184b来配置业务量路由。SMF 183a、183b可以执行其他功能，例如管理和分配WTRU或UE IP地址，管理PDU会话，控制策略实施和QoS，以及提供下行链路数据通知等等。PDU会话类型可以是基于IP的，不基于IP的，以及基于以太网的等等。
UPF 184a、184b可以经由N3接口连接RAN 113中的gNB 180a、180b、180c的一者或多者，这样可以为WTRU 102a、102b、102c提供对分组交换网络(例如因特网110)的接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信，UPF 184、184b可以执行其他功能，例如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、以及提供移动性锚定处理等等。
CN 115可以促成与其他网络的通信。例如，CN 115可以包括或者可以与充当CN115与PSTN 108之间的接口的IP网关(例如IP多媒体子***(IMS)服务器)进行通信。此外，CN 115可以为WTRU 102a、102b、102c提供针对其他网络112的接入，这其中可以包括其他服务提供方拥有和/或运营的其他有线和/或无线网络。在示例中，WTRU 102a、102b、102c可以经由对接到UPF 184a、184b的N3接口以及介于UPF 184a、184b与本地数据网络(DN)185a、185b之间的N6接口并通过UPF 184a、184b连接到DN 185a、185b。
有鉴于图1A-1D以及关于图1A-1D的相应描述，在这里对照以下的一项或多项描述的一个或多个或所有功能可以由一个或多个仿真设备(未显示)来执行：WTRU 102a-d、基站114a-b、e节点B160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-b、UPF 184a-b、SMF 183a-b、DN185a-b和/或这里描述的一个或多个其他任何设备。这些仿真设备可以是被配置成模拟这里描述的一个或多个或所有功能的一个或多个设备。举例来说，这些仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。
仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如，所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能，以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施或部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试，和/或可以使用空中无线通信来执行测试。
一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施或部署的同时执行包括所有功能在内的一个或多个功能。例如，该仿真设备可以在测试实验室和/或未被部署(例如测试)的有线和/或无线通信网络的测试场景中使用，以便实施关于一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的RF耦合和/或借助RF电路(例如，该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。
可以提供基于块的混合视频译码框架。图2给出了示例性的基于块的混合视频编码框架的框图。输入视频信号2可以被逐块处理。块大小(例如，扩展的块大小，诸如译码单元(CU))可以压缩高分辨率(例如，1080p及以上)视频信号。举例来说，CU可包含64×64像素。CU可被分割成多个预测单元(PU)，可针对多个所述预测单元使用多个单独预测。对于(例如，每一)输入视频块(例如，MB和/或CU)，可执行空间预测60和/或时间预测62。空间预测(例如，帧内预测)可使用来自视频图片/切片中的经译码相邻块的样本(例如，参考样本)的像素来预测当前视频块。空间预测可以减少例如视频信号中可能固有的空间冗余。时间预测(帧间预测和/或运动补偿预测)可使用来自经译码视频图片的经重构像素(例如)来预测当前视频块。时间预测可减少例如视频信号中可能固有的时间冗余。视频块的时间预测信号可由一个或一个以上运动矢量(MV)用信号发送。该MV可指示当前块与该当前块的参考块之间的运动的量和/或方向。如果支持用于一(例如，每一)视频块的多个参考图片，那么可发送该视频块的参考图片索引。该参考索引可以用于标识时间预测信号从参考图片存储库64中的哪个参考图片导出。在空间和/或时间预测之后，编码器中的模式决策框80可例如基于速率失真优化来确定预测模式(例如，最佳预测模式)。可从当前视频块中减去预测块16。可使用变换4和/或量化6对预测残差进行去相关。可对经量化的残差系数进行逆量化10和/或逆变换12，以例如形成重构残差。举例来说，可将该重构残差添加到所述预测块26以形成重构视频块。在重构视频块被放入参考图片存储库64中和/或用于译码视频块(例如，未来视频块)之前，可对该重构视频块应用66环路内滤波(例如，解块滤波器和/或自适应环路滤波器)。为了形成输出视频比特流20，译码模式(例如，帧间或帧内)、预测模式信息、运动信息和/或量化的残差系数可以被发送(例如，可以全部被发送)到熵译码单元8，例如，以被压缩和/或打包以形成所述比特流。
图3示出了示例性基于块的视频解码器的框图。视频比特流202可以在熵解码单元208处被解包(例如，首先被解包)和/或熵解码。可将译码模式和预测信息发送到空间预测单元260(例如，如果是被帧内译码)和/或发送到时间预测单元262(例如，如果是被帧间译码)以形成所述预测块。可将所述残差变换系数发送到逆量化单元210和/或逆变换单元212，例如以重构所述残差块。可在226处将所述预测块与所述残差块加在一起。例如，在将重构块存储在参考图片存储库264中之前，可以对该重构块进行环路内滤波。参考图片存储库中的重构视频可经发送以驱动显示设备和/或用于预测视频块(例如，未来视频块)。
在运动补偿预测中，对于(例如，每一)帧间译码块，可使用运动信息(例如，运动矢量(MV)和参考图片索引)来追踪对应参考图片中的对应匹配块，例如，其可由编码器和/或解码器同步。可以使用两种模式(例如，合并模式和非合并模式)来对帧间块的运动信息进行译码。如果一块通过非合并模式而被译码，则可以使用MV预测器(predictor)来译码(例如，差分译码)MV。MV与MV预测器之间的差可以被发送到解码器。对于通过合并模式译码的(例如，每一)块，可从空间和/或时间相邻块导出所述块的运动信息。例如，可以应用基于竞争的方案来从可用的候选中选择相邻块(例如，最佳相邻块)。可发送候选(例如，最佳候选)的索引(例如，仅索引)以用于在解码器处重建所述运动信息(例如，相同运动信息)。
可以执行合并模式。该合并模式中的候选(例如，候选集合)可由一或多个空间相邻候选(例如，时间相邻候选及一或多个所产生的候选)组成。图4示出了空间候选的示例位置。为了构建合并候选的列表，可以检查所述空间候选和/或将其添加到所述列表，例如，以A1、B1、B0、A0和B2的次序进行检查和/或添加。如果位于一空间位置处的块经帧内译码和/或在当前切片的边界外部，那么所述块可能不可用。为了减少所述空间候选的冗余，可从所述列表中排除冗余条目(例如，候选具有与现有候选相同的运动信息的条目)。在包含有效空间候选之后，可通过时间运动矢量预测(TMVP)从同位参考图片中的同位块的运动信息产生时间候选。可设定合并候选列表的大小(例如，N)。例如，N可以是5。如果合并候选(例如，包括空间候选和时间候选)的数量大于N，则前N-1个空间候选和/或时间候选可被保持在所述列表中。例如，(例如，仅)前N-1个空间候选和时间候选可被保持在所述列表中。如果合并候选的数目小于N，那么可将一个或一个以上候选(例如，组合的候选和零候选)添加到所述候选列表，例如，直到合并候选的数目达到N为止。
一个或一个以上候选可包含于所述合并候选列表中。举例来说，如图4中所示的五个空间候选和TMVP候选可包含于所述合并候选列表中。可修改用于所述合并模式的运动导出的一个或一个以上方面，这其中例如包含基于子块的运动导出和解码器侧运动矢量细化。
可以执行用于合并模式的基于子块的运动导出。(例如，每一)合并块可包含用于(例如，每一)预测方向的一组运动参数(例如，运动矢量和参考图片索引)。可使得能够在子块级处导出运动信息的一个或一个以上(例如，两个)合并候选可被包含于所述合并候选列表中。在所述所述合并候选列表中包含具有子块级运动信息的合并候选可通过将所述合并候选列表的最大大小(例如，N)从5增加到7而实现。当选择所述候选中的一者或多者时，编码器/解码器可将CU(例如，当前CU)分成4×4子块且可导出一(例如，每一)子块的运动信息。可以使用高级时间运动矢量预测(ATMVP)。例如，ATMVP可将CU分成多个子块(例如，4×4子块)。ATMVP可建立于TMVP上且可允许CU从来自当前图片的时间相邻图片(例如，同位参考图片)的多个小块获得所述CU的子块的运动信息。在空间-时间运动矢量预测(STMVP)中，可通过将时间相邻者的运动矢量与空间相邻者的运动矢量进行平均来导出(例如，递归地)所述子块的运动参数。
可以执行高级时间运动矢量预测。在ATMVP中，可允许块从当前图片的时间相邻图片的多个较小块导出该块中的多个子块的多个运动信息(例如，运动矢量和/或参考索引)。例如，ATMVP可如下导出一块的子块的运动信息。当前块的对应块(例如，同位块)可在时间参考图片中被识别。所选择的时间参考图片可以是同位图片。所述当前块可以被分成多个子块，并且(例如，每个)子块的运动信息可以从所述同位图片中的对应的小块导出，如图5所示。
所述同位块和/或所述同位图片可由所述当前块的所述空间相邻块的运动信息识别。可考虑合并候选列表中的可用候选(例如，第一可用候选)。图5示出了被考虑的合并候选列表中的可用候选的示例。举例来说，基于合并候选列表的扫描次序，可将块A识别为块(例如，当前块)的可用(例如，第一可用)合并候选。块A的运动矢量(例如，对应运动矢量)(例如，MVA)和/或块A的参考索引可用于识别所述同位图片和/或所述同位块。可通过将块A的运动矢量(例如，MVA)添加到当前块的坐标来确定所述同位图片中的所述同位块的位置。
对于块(例如，当前块)中的(例如，每一)子块，同位块中的子块的对应小块的运动信息(例如，如图5中的箭头所指示)可用于导出所述子块的运动信息。举例来说，在识别同位块中的(例如，每一)小块的运动信息之后，可(例如)以与时间运动矢量预测(TMVP)相同的方式将该小块的运动信息转换为当前块中的对应子块的运动矢量和/或参考索引，其中可应用时间运动矢量缩放。
可以执行时空运动矢量预测(STVMP)。在STVMP中，可以以递归方式导出(例如，一个)译码块中的多个子块的运动信息。图6示出STVMP的示例。例如，当前块可以包括一个或多个(例如，四个)子块，例如，A、B、C和D。与当前块空间相邻的相邻小块可以分别被标记为a、b、c和d。子块A的运动导出可以从识别块A的空间相邻者(例如，两个空间相邻者)开始。子块A的一相邻者(例如，第一相邻者)可为上方相邻者c。如果该小块c不可用或不是帧内译码的，那么可例如按次序检查当前块上方的相邻小块(例如，从左到右)。如果小块b不可用或不是帧内译码的，则可以例如按次序检查当前块左边的相邻小块(例如，从上到下)。在提取了空间相邻者的运动信息之后，可以与TMVP中类似(例如，相同)的方式获得子块A的时间相邻者的运动信息。可用空间和/或时间相邻者(例如，多达3个)的运动信息(例如，所有运动信息)可被平均和/或用作子块A的运动信息。基于光栅扫描次序，STMVP可被重复(例如)以导出当前视频块中的子块(例如，所有其它子块)的运动信息。
可以执行用于常规合并候选的解码器侧运动矢量细化。对于合并模式，当对选定合并候选进行双预测时，可(例如)通过使用与候选的参考列表L0和L1相关联的两个MV来对两个预测块进行平均而形成当前CU的预测信号。空间/时间相邻者的运动参数可能不准确且可能不表示当前CU的真实运动。解码器侧运动矢量细化(DMVR)可被应用来细化被双向预测的常规合并候选的MV。举例来说，当选择传统合并候选(例如，空间合并候选和/或TMVP合并候选)时，可(例如)分别基于来自参考列表L0和L1的运动矢量而产生(例如，首先产生)双预测模板作为平均值。例如当启用加权预测时，所述平均值可以是加权平均值。如本文所述，基于模板匹配的局部运动细化可以由DMVR使用双预测模板围绕初始MV来执行。
图7示出了可以在DMVR中应用的示例运动细化。DMVR可以例如如下细化常规合并候选的MV。如图7中所示，可通过使用合并候选的L0和L1中的初始MV(例如，MV0和MV1)对预测块(例如，两个预测块)求平均来生成双向预测模板。对于(例如，每个)参考列表(例如，L0或L1)，可在所述初始MV周围的局部区域中执行基于模板匹配的运动搜索。对于所述列表中所述初始MV周围的相应参考列表的(例如，每个)运动矢量(例如，MV0或MV1)，可以测量使用所述双向预测模板和所述运动矢量的相应预测块之间的成本值(例如，绝对差之和(SAD))。对于预测方向，最小化预测方向上的模板成本的MV可被视为所述常规合并候选的参考列表中的最终MV。对于预测方向，在运动细化期间可以考虑所述初始MV周围的一个或多个(例如八个)相邻MV(例如，其具有一个整数样本偏移)。细化的MV(例如，两个细化的MV，如MV0’和MV1’，如图7所示)可以用于产生当前CU的最终双向预测信号。
如本文所述，基于子块的运动导出(例如，ATMVP和STMVP)和/或DMVR可以例如通过改进所导出的运动矢量的粒度和/或精度来增强所述合并模式的效率。
对于ATMVP和/或STMVP，当前CU的运动参数可例如基于4×4块的粒度而被导出。可重复所述运动导出，例如以产生当前CU的运动信息(例如，所有运动信息)。参考样本可从时间参考图片获得。编码器/解码器可以将存储访问(memory access)切换到所述参考图片内部的一个或多个(例如，不同的)区域。
粒度(例如，4×4块大小)可应用于ATMVP和/或STMVP中，且可用于导出一个或一个以上图片中的经ATMVP/STMVP译码的CU的运动参数。不同图片中的视频块的运动可显示不同特性。举例来说，基于当前图片与当前图片的参考图片之间的相关性，一或多个图片(例如，在随机访问配置的高时间层处的图片)中的视频块可显示稳定运动。一个或一个以上图片(例如，在随机访问配置的低时间层处的图片)中的视频块的运动可为不稳定的。例如，根据不同的图片，可以调整用于导出所述经ATMVP/STMVP译码的CU的运动参数的粒度等级。
DMVR可用于补偿例如由使用当前CU的空间/时间相邻者的运动引起的运动不准确性。可以针对通过常规合并模式译码的CU启用DMVR。当由常规合并候选提供的运动参数是准确的时，由DMVR所实现的改进可忽略。例如，可以跳过DMVR。
信令可支持用于计算经ATMVP译码的CU和/或经STMVP译码的CU的运动参数的导出粒度(例如，子块大小)的图片/切片级变化。可以确定当前图片的ATMVP和/或STMVP的运动导出的最佳粒度。
可以对基于DMVR的合并模式的运动导出执行提前终止。DMVR可以在常规合并模式中被应用。可从常规合并候选产生两个或两个以上预测信号(例如，两个预测信号)。例如，可以测量该预测信号之间的相似性，以确定是否跳过DMVR。
可以进行中间比特深度处的局部运动细化。DMVR的运动细化可以在输入比特深度处被执行。可以从DMVR中移除一些比特移位和舍入操作(例如，不必要的比特移位和舍入操作)。
可以执行基于ATMVP和STMVP的基于子块的运动导出。对于ATMVP和/或STMVP，可以以固定粒度执行运动导出。该粒度可在序列参数集(SPS)中作为语法元素语法log2_sub_pu_tmvp_size而被用信号发送。相同的导出粒度可应用于ATMVP和STMVP，并且可用于计算序列中的图片中的经ATMVP/STMVP译码的CU的运动参数。
由ATMVP和/或STMVP产生的运动场可以提供不同的特性。如本文所述，经STMVP译码的CU的子块的运动参数可通过基于光栅扫描次序对所述CU内的(例如，每一)子块的空间和/或时间相邻者的运动信息求平均来递归地导出。经ATMVP译码的CU的运动参数可从该CU内的子块的时间相邻者导出。STMVP可导致稳定运动，且CU内的子块的运动参数可为一致的。可以使用不同的粒度来导出ATMVP和STMVP的运动参数。
ATMVP和/或STMVP可使用参考图片中时间相邻者的运动参数，例如，以计算当前块的运动参数。当当前块与该当前块在所述参考图片中的同位块之间存在小运动时，ATMVP和/或STMVP可提供运动估计(例如，可靠运动估计)。对于在当前块和同位块之间具有小运动的块(例如，在随机访问(RA)配置的最高时间层中的块)，由ATMVP和/或STMVP生成的子块运动参数可以是类似的。对于展现出了从所述同位块的大运动的视频块(例如，RA配置的最低时间层中的块)，由ATMVP和/或STMVP针对一(例如，每一)子块计算的运动参数可能偏离所述子块的空间相邻子块的运动参数。所述运动导出可以在小的子块上执行。举例来说，当前译码单元(CU)可被细分为一个或一个以上子块，其中子块(例如，每一子块)对应于一MV(例如，参考MV)。子块(例如，每个子块)的MV(例如，同位MV)可基于该子块的参考MV而从该同位图片识别。所述运动参数可以针对经ATMVP/STMVP译码的CU而以一个或多个(例如，不同的)粒度从一个或多个(例如，不同的)图片中导出。例如，在图片/切片级，可以为ATMVP和/或STMVP选择(例如，自适应地选择)所述导出粒度(例如，子块的大小)。举例来说，可基于当前CU的时间层来确定所述子块的大小。
可以执行关于在图片/切片级上自适应地选择的ATMVP/STMVP导出粒度的信令。可在所述SPS中用信号发送一或多个(例如，两个)粒度标志。例如，slice_atmvp_granularity_enabled_flag和/或slice_stmvp_granularity_enabled_flag可在SPS中被用信号发送，以指示ATMVP和/或STMVP的导出粒度是否可分别在切片级被调整。
值(例如，1)可以指示在切片级用信号发送相应的基于ATMVP-/STMVP的导出粒度。值(例如，0)可指示对应的ATMVP/STMVP导出粒度不在切片层级用信号发送且语法元素sps_log2_subblk_atmvp_size或sps_log2_subblk_stmvp_size)在SPS中用信号发送，例如以指定对应的基于ATMVP-/STMVP的导出粒度，其可用于参考当前SPS的切片。表1示出了可在SPS中用信号发送的示例语法元素。表1中的语法元素可用于其它高级语法结构中，例如视频参数集(VPS)和/或图片参数集(PPS)。
表1：SPS中的示例语法元素，其中单独控制ATMVP和STMVP
sequence_parameter_set(){ 描述符
......
slice_atmvp_granularity_enabled_flag u(1)
if(！slice_atmvp_granularity_enabled_flag)
sps_log2_subblk_atmvp_size ue(v)
slice_stmvp_granularity_enabled_flag u(1)
if(！slice_stmvp_granularity_enabled_flag)
sps_log2_subblk_stmvp_size ue(v)
......
}
参数slice_atmvp_granularity_enabled_flag可指定语法元素slice_log2_subblk_atmvp_size在参考所述SPS的切片的切片片段头部中的存在或不存在。举例来说，值1可指示语法元素slice_log2_subblk_atmvp_size存在，且值0可指示语法元素slice_log2_subblk_atmvp_size不存在于参考SPS的切片的切片片段头部中。
参数sps_log2_subblk_atmvp_size可指定子块大小的值，所述子块大小可用于导出用于参考所述SPS的切片的高级时间运动矢量预测的运动参数。
参数slice_stmvp_granularity_enabled_flag可指定语法元素slice_log2_subblk_stmvp_size在参考所述SPS的切片片段头部中的存在或不存在。举例来说，值1可指示语法元素slice_log2_subblk_stmvp_size存在，且值0可指示语法元素slice_log2_subblk_stmvp_size不存在于参考所述SPS的切片片段头部中。
参数sps_log2_subblk_stmvp_size可指定子块大小的值，所述子块大小可用于导出用于参考所述SPS的切片的空间-时间运动矢量预测的运动参数。
在表1中，语法元素sps_log2_subblk_atmvp_size和sps_log2_subblk_stmvp_size可被指定(例如，被指定一次)且可应用于视频序列。可以针对一个或多个(例如，不同的)时间级上的图片指定sps_log2_subblk_atmvp_size和sps_log2_subblk_stmvp_size的一个或多个(例如，不同的)值。对于参考所述SPS的当前图片，取决于当前图片所属的时间等级，可确定和/或应用sps_log2_subblk_atmvp_size和sps_log2_subblk_stmvp_size的值。语法元素sps_log2_subblk_atmvp_size和sps_log2_subblk_stmvp_size可应用于正方形形状的子块单元。该子块单元可以是矩形的。例如，如果所述子块单元是矩形的，则可以指定ATMVP和/或STMVP的子块宽度和高度。
可以实现所述基于ATMVP/STMVP的导出粒度的切片级自适应。举例来说，SPS中的slice_atmvp_granularity_enabled_flag和/或slice_stmvp_granularity_enabled_flag可被设定为指示语法元素的存在的值(例如，1)。可在参考所述SPS的(例如，每一)切片的切片切片片段头部中用信号发送语法元素，以指定所述切片的所述基于ATMVP/STMVP的运动导出的对应粒度等级。举例来说，表2示出了可在切片片段头部中用信号发送的示例语法元素。
表2：切片片段头部中的示例性语法元素，其中单独控制ATMVP和STMVP
slice_segment_header(){ 描述符
......
if(slice_atmvp_granularity_enabled_flag)
slice_log2_subblk_atmvp_size ue(v)
if(slice_stmvp_granularity_enabled_flag)
slice_log2_subblk_stmvp_size ue(v)
......
}
参数slice_log2_subblk_atmvp_size可指定可用于导出用于当前切片的高级时间运动矢量预测的运动参数的子块大小的值。
参数slice_log2_subblk_stmvp_size可指定可用于导出用于当前切片的空间-时间运动矢量预测的运动参数的子块大小的值。
如表1和表2所示，一组或多组(例如，两组)语法元素可用于(例如，单独地)控制基于ATMVP和/或基于STMVP的运动导出的子块粒度。例如，当由ATMVP和/或STMVP导出的运动参数的特性(例如，运动规律性)不同时，可以分别控制基于ATMVP和/或基于STMVP的运动导出的子块粒度。例如，可以用信号发送SPS中的一组语法元素slice_atmvp_stmvp_granularity_enabled_flag和sps_log2_subblk_atmvp_stmvp_size以及切片片段头部中的slice_log2_subblk_atmvp_stmvp_size，以(例如，联合地)控制序列级和切片级的ATMVP和/或STMVP的导出粒度。表3和表4示出了例如当基于ATMVP和STMVP的运动导出的子块粒度被(例如，联合地)调整时，SPS和切片片段头部中的示例性语法变化。
表3：SPS中的示例语法元素，其中联合控制ATMVP和STMVP
sequence_parameter_set(){ 描述符
......
slice_atmvp_stmvp_granularity_enabled_flag u(1)
if(！slice_atmvp_stmvp_granularity_enabled_flag)
sps_log2_subblk_atmvp_stmvp_size ue(v)
.....
}
参数slice_atmvp_stmvp_granularity_enabled_flag可指定语法元素slice_log2_subblk_atmvp_stmvp_size在参考所述SPS的切片片段头部中的存在或不存在。举例来说，值1可指示语法元素slice_log2_subblk_atmvp_stmvp_size存在，且值0可指示语法元素slice_log2_subblk_atmvp_stmvp_size不存在于参考所述SPS的切片切片片段头部中。
参数sps_log2_subblk_atmvp_stmvp_size可指定子块大小的值，所述子块大小值可用于导出参考所述SPS的切片的ATMVP和/或STMVP的运动参数。
表4：切片片段头部中的示例性语法元素，其中联合控制ATMVP和STMVP
slice_segment_header(){ 描述符
......
if(slice_atmvp_stmvp_granularity_enabled_flag)
slice_log2_subblk_atmvp_stmvp_size ue(v)
......
}
参数slice_log2_subblk_atmvp_stmvp_size可指定可用于导出用于当前切片的高级时间运动矢量预测和/或空间-时间运动矢量预测的运动参数的子块大小的值。
可以确定在图片/切片级的基于ATMVP/STMVP的运动导出的子块粒度。
可以基于例如图片/切片的时间层来确定该图片/切片的基于ATMVP/STMVP的运动导出的粒度等级。如本文所述，给定相同视频序列中的图片之间的相关性，所述ATMVP/STMVP导出粒度可类似于所述图片/切片在例如相同时间层中的相邻图片的导出粒度。例如，对于RA的最高时间层中的图片，基于ATMVP/STMVP的运动估计可能导致大的块分区。可调整该粒度值(例如，调整到较大值)。对于所述RA的最低时间层中的图片，由ATMVP和/或STMVP导出的运动参数可能不太准确。由ATMVP和/或STMVP从先前译码图片译码的CU的平均大小可以在相同的时间层中使用，例如，以计算可以用于当前图片中基于ATMVP/STMVP的运动导出的子块粒度。举例来说，所述当前图片可为第k时间层中的第i图片。在当前图片中可以有M个CU可以由ATMVP和/或STMVP译码。如果该M个CU的大小为s0，s1，...，sM-1，则所述当前图片中经ATMVP-/STMVP-译码的CU的平均大小例如可以计算为：
Figure BDA0002539340590000311
基于等式(1)，当对第k时间层中的第(i+1)个图片进行译码时，所述基于ATMVP/STMVP的运动导出的对应子块大小
Figure BDA0002539340590000312
可通过以下而被确定：
Figure BDA0002539340590000313
对于所述RA配置，可以支持并行编码。当启用并行编码时，全长序列可被拆分成多个独立的随机访问片段(RAS)，例如，这些片段可跨越序列回放的较短持续时间(例如，约一秒)并且(例如，每个)视频片段可被分开编码。相邻RAS可以是独立的。顺序译码(例如，逐帧编码整个序列)的结果可以与并行编码相同。当(例如，除了并行编码之外)应用自适应子块粒度导出时，一图片可以例如使用来自先前RAS的图片的ATMVP/STMVP块大小信息而被避开。举例来说，当在RAS中编码第一帧间图片时，可针对(例如，使用4×4子块的)一或多个(例如，所有)时间层将值σk复位为0。图8示出了一个示例(例如，当帧内周期等于8时)，其指示了刷新图片的位置，其中当并行编码被启用时，ATMVP/STMVP块大小统计可以被重置为0。在图8中，由虚线和/或实线包围的块可以分别表示帧内图片和帧间图片，并且图案块可以表示刷新图片。一旦被计算出，
Figure BDA0002539340590000321
值的log2()可例如根据表1和表2中的语法在切片头部中的比特流中被发送。
在一个示例中，用于所述基于ATMVP/STMVP的运动导出的子块大小可以在编码器处被确定并被发送到解码器。在一示例中，可在解码器处确定用于所述基于ATMVP/STMVP的运动导出的子块大小。关于子块粒度的自适应确定可以用作解码器侧技术。举例来说，例如，当编码器及解码器例如使用等式(1)及(2)确定图片/切片的基于ATMVP/STMVP的运动导出的相应子块大小时，所述ATMVP/STMVP块大小统计(例如，如等式(1)中所指示)可在编码和/或解码期间被维持，且可用于使编码器与解码器同步。例如，如果在编码和解码期间维持了所述ATMVP/STMVP块大小统计，则可以不发送
Figure BDA0002539340590000322
的值。
可以执行基于预测块的相似性的DMVR的提前终止。可针对使用常规合并候选(例如，空间候选和/或TMVP候选)译码的CU执行DMVR。当由常规合并候选提供的运动参数是准确的时，可以跳过DMVR而没有译码损失。为了确定所述常规合并候选是否可提供当前CU的准确运动估计，可计算两个预测块之间的平均差，例如，
Figure BDA0002539340590000331
其中I(0)(x，y)和I(1)(x，y)可以是使用合并候选的运动信息产生的L0和L1运动补偿块的坐标(x，y)处的样本值；B和N可分别为如在当前CU内界定的样本数量及样本坐标集合；D可以是失真测量(例如，平方误差和(SSE)、绝对差和(SAD)和/或绝对变换差和(SATD))。给定等式(3)，例如，如果两个预测信号之间的差异测量不大于预定义阈值(例如，Diff≤Dthres)，则可以跳过DMVR。如果两个预测信号之间的差异测量大于预定义阈值，则由所述合并候选所生成的预测信号可能较不相关，和/或可以应用DMVR。图9示出了在将提前终止应用于DMVR之后的示例运动补偿。
可(例如)基于预测相似性而停用(例如，自适应地停用)子CU级运动导出。在执行DMVR之前，使用合并候选的MV的一个或多个(例如，两个)预测信号可以是可用的。该预测信号可以用于确定是否应当停用DMVR。
可以执行针对DMVR的高精度预测。举例来说，可通过以输入比特深度的精度对来自L0和L1的预测信号求平均值来产生双向预测性块的预测信号。如果MV指向分数样本位置，那么可(例如)使用中间精度(例如，其可由于内插操作而高于所述输入比特深度)的内插来获得所述预测信号。所述中间预测信号可在平均运算之前被舍入到输入比特深度。举例来说，可将所述平均运算的输入信号移位到较低精度，这可能会将舍入误差引入到所产生的双向预测信号中。例如，如果分数MV被用于块，则可以所述中间精度对所述输入比特深度处的两个预测信号求平均。如果所述MV对应于分数样本位置，那么内插滤波可不将中间值舍入到所述输入比特深度，且可将该中间值保持在高精度(例如，所述中间比特深度)。在两个MV中的一者为整数运动的情况下(例如，在不应用内插的情况下产生对应预测)，可在应用所述平均之前将对应预测的精度增加到所述中间比特深度。例如，两个预测信号的精度可以相同。图10示出了当对高精度的两个中间预测信号求平均值时的示例双向预测，其中
Figure BDA0002539340590000341
和
Figure BDA0002539340590000342
可指代从列表L0和L1获得的处于中间比特深度(例如，14比特)的两个预测信号，且BitDepth可指示输入视频的比特深度。
在DMVR中，可以以输入信号比特深度的精度来定义可用于基于DMVR的运动搜索的双向预测信号(例如，I(0)(x，y)和I(1)(x，y))。所述输入信号比特深度可以是例如8比特(例如，如果输入信号是8比特)或10比特(例如，如果输入信号是10比特)。例如，在运动细化之前，可以将预测信号转换为低精度。在测量失真成本时，可能会引入舍入误差。所述预测信号从中间比特深度到输入比特深度的转换可能会涉及一个或一个以上舍入和/或裁剪操作。可以使用可以在高比特深度生成的预测信号(例如，在图10中的中间比特深度的
Figure BDA0002539340590000343
和
Figure BDA0002539340590000344
)来执行基于DMVR的运动细化。可以如下以高精度计算等式(3)中的两个预测块之间的对应失真：
Figure BDA0002539340590000345
其中
Figure BDA0002539340590000346
和
Figure BDA0002539340590000347
可为分别从L0及L1产生的预测块的坐标(x，y)处的高精度样本。Diffh可以表示在中间比特深度计算的相应失真测量。由于增加的比特深度，可以调整可以用于提前终止DMVR的阈值(例如，失真测量阈值)，使得该阈值在与所述预测信号相同的比特深度处被定义。如果使用L1范数(norm)失真(例如SAD)，则可以使用以下等式将所述失真阈值从输入比特深度调整到中间比特深度：
Figure BDA0002539340590000351
可以导出高级时间运动矢量预测(ATMVP)。可以为ATMVP选择同位图片和同位块。来自空间相邻CU的运动矢量可被添加到候选列表(例如，潜在候选相邻CU的列表)。举例来说，如果相邻CU可用且该相邻CU的MV不同于现有候选列表中的一个或一个以上MV，那么可添加来自空间相邻CU的运动矢量。例如，如图4所示，来自相邻块的MV可以A1、B1、B0和A0的次序被添加。可用空间候选的数量可表示为N0。ATMVP可以使用N0个MV而被导出。
N0可以大于0，如果N0大于0，则MV(例如，第一可用MV)可以用于确定同位图片和/或用于提取运动的偏移。如图5所示，第一可用MV可来自相邻CU A。用于ATMVP的同位图片可以是与来自CU A的MV相关联的参考图片。用于提取运动场的所述偏移可从所述MV导出。N0可以等于0，如果N0等于0，则所述同位图片可以被设置为在切片头部中用信号发送的同位图片，并且用于提取运动场的所述偏移可以被设置为0。
例如，如果使用多个参考图片，则用于不同CU的ATMVP导出的同位图片可以是不同的。例如，如果使用多个参考图片，则用于不同CU的ATMVP导出的同位图片可以是不同的，因为对所述同位图片的确定可以取决于它们的相邻CU。对于当前图片解码，用于ATMVP的同位图片可能不是固定的，并且ATMVP可以参考多个参考图片的运动场。用于当前图片解码的同位图片可被设置为(例如，一个)参考图片，举例来说，其可在切片头部处用信号发送。可以识别所述同位图片。相邻CU A的参考图片可不同于所述同位图片。CU A的参考图片可表示为RA，同位图片可表示为Rcol，且当前图片可表示为P。可使用POC(x)来指示图片x的POC。可以将CU A的MV从图片RA缩放到所述同位图片，如在等式(6)中所计算的，以例如获得针对偏移位置的预测。
MVcol＝MV(A)*(POC(Rcol)-POC(P))/(POC(RA)-POC(P) (6)
缩放的MVcol可以被用作偏移，例如，以提取同位图片Rcol中的运动场。等式(6)中的缩放可以基于图片时间距离。例如，可选择来自空间CU的第一可用MV以用于缩放。可以选择可以使缩放误差最小化的MV。例如，可以从N0个MV中的一个或多个(例如，两个)方向(例如，列表L0、列表L1)选择要缩放的MV(例如，最佳MV)，以最小化缩放误差。举例来说，相邻块中的(例如，每一)相邻块(例如，相邻CU)可具有对应参考图片。相邻块可基于该相邻块的参考图片与同位图片之间的差而被选择为候选相邻块(例如，候选相邻CU)。被选择为候选相邻块的相邻块可以具有在其参考图片与同位图片之间的最小时间距离。例如，所述参考图片(例如，每个参考图片)和所述同位图片可以具有图片次序计数(POC)，并且所述候选相邻块可以基于参考图片的POC与同位图片的POC之间的差(例如，具有最低差)而被选择。可以基于来自参考图片的MV(例如，参考MV)从同位图片识别MV(例如，同位MV)。所述相邻CU可具有与所述同位图片相同的参考图片，且所述相邻CU可在确定所述参考图片与所述同位图片相同之后被即刻选择(例如，不考虑其它相邻CU)。来自所述参考图片的所述MV可以是空间MV，且来自所述同位图片的MV可以是时间MV。
例如，如果所述参考图片与所述同位图片不同，则可以缩放来自所述参考图片的MV。例如，来自所述参考图片的MV可以乘以一缩放因子。所述缩放因子可以基于所述参考图片与所述同位图片之间的时间差。所述缩放因子可以被定义为((POC(Rcol)-POC(P))/(POC(RA)-POC(P))。缩放因子可以具有表示没有缩放的值(例如，1)。该具有表示没有缩放的值的缩放因子可以指示RA和Rcol是同一图片。缩放误差可以以下面的一种或多种方式来测量。例如，可以如等式(7)中所提供的和/或如等式(8)中所提供的来测量所述缩放误差。例如，可以如等式(7)中所提供的来测量给定MV的缩放因子和表示没有缩放的缩放因子值之间的绝对差。
ScaleError＝abs((POC(Rcol)-POC(RA))/(POC(RA)-POC(P)) (7)
可以测量给定MV的参考图片和同位图片之间的绝对差，如等式(8)中所提供的。
ScaleError＝abs((POC(Rcol)-POC(RA))) (8)
可以终止最佳MV搜索。例如，如果在搜索待缩放的MV候选期间，对于特定MV的ScaleError等于0，则所述搜索可以终止(例如，提前终止)。
相邻MV可用于匹配同位图片的运动场以用于ATMVP导出。例如，可以通过最小化由MV缩放引起的精度损失来选择所述相邻MV。这可以提高所缩放的MV的精度。参考块中有效运动信息的存在可以由同位图片中的所选择的相邻MV来指示。例如，当所述参考块是(例如，一个)帧内块时，ATMVP可被认为是不可用的，例如因为不存在与所述参考块相关联的运动信息。
可以从指向同位图片中的(一个或多个)相应帧间译码块的相邻MV中选择最佳相邻MV。MV缩放误差可以被最小化。可以施加约束，例如以确保当确定最佳相邻MV时所选择的相邻MV指向同位图片中的(例如一个)帧间译码块(例如，如等式(7)和(8)所示)。最佳相邻MV的选择可以公式表示为如等式(9)中提供的。
Figure BDA0002539340590000381
(x，y)可以是当前CU的中心位置。ColPic(x，y)可以指示在同位图片内的位置(x，y)处的块。inter()可以表示指示符函数，其可以指示输入块是否是帧间块。S可以指示一组可用的空间相邻块，例如S＝{A1，B1，B0，A0}。ScaleError可以指示如等式(7)和(8)中所计算的MV缩放误差。
Figure BDA0002539340590000382
可以是相邻块N的缩放运动矢量。N*可以表示所选择的空间相邻者，其MV被用于例如基于ATMVP来导出当前CU的运动场。在一示例中，当前块可具有3个空间相邻者A、B和C，具有增大的缩放误差(例如，ScaleError(A)＜ScaleError(B)＜ScaleError(C))。如果
Figure BDA0002539340590000383
为假(例如，在缩放之后，块A的运动标识了同位图片中的经帧内译码参考块)，那么块B的运动(例如，其缩放误差为第二小的)可用于识别所述同位图片中的所述参考块。如果B的经缩放运动标识了经帧内译码参考块，那么可使用块C的运动来识别所述同位图片中的所述参考块。
MV缩放误差(例如等式(7)中所示的)可以用作识别最佳相邻块的标准，例如等式(9)中所示。最佳相邻块的运动可以用于从同位图片中选择同位块。MV缩放误差的计算(例如等式(7)中所示的)可以包括例如两次减法、一次除法和一次绝对运算。除法可以通过乘法和/或右移(例如，基于LUT)来实现。可选择当前CU的最佳空间相邻块以确定用于ATMVP的同位块。可以在切片和/或图片级用信号发送同位图片。所述同位图片可以用于ATMVP导出。可以按次序(例如，如图4所示的A1、B1、B0和A0)检查现有合并候选的MV。可以选择与同位图片相关联并且标识通过帧间预测译码的(例如，一个)块的第一合并候选的MV，以从同位图片获取同位块。例如，如果不存在这样的候选，则可以选择零运动。例如，如果所选择的MV指向(例如，一个)被帧间译码的同位块，则可以启用ATMVP。例如，如果所选择的MV指向帧内译码的(例如，一个)同位块，则可以停用ATMVP。图11示出了说明如这里所述的同位块导出的示例流程图。
可以按次序检查现有合并候选的MV。例如，参考图4，该次序可以是A1、B1、B0和A0。可以选择与同位图片相关联的第一合并候选的MV以从同位图片提取同位块。可基于所述同位块的所述译码模式而启用ATMVP。举例来说，如果所述同位块经帧内译码，那么可停用ATMVP，例如因为所述同位块可能不提供运动信息。如果例如没有合并候选与同位图片相关联，则可以停用ATMVP。可能进行检查的早期终止。例如，一旦找到与同位图片相关联的第一合并候选，就可以终止所述检查。图14示出了说明使用合并候选的检查来导出ATMVP的同位块的流程图。
零运动可以用于提取同位图片中的同位块。可检查位于同位图片中的当前CU的相同位置处的块以确定是否启用ATMVP。例如，如果该块被帧间译码，则可以启用ATMVP。例如，如果该块是帧内译码的，则可以停用ATMVP。
用于提取ATMVP的同位块的区域可受到约束。用于针对不同ATMVP块的ATMVP导出的同位图片可以被约束到(例如，一个)参考图片。对应的同位块可以由相邻块的所选择的合并候选的MV来指示。该对应的同位块可以彼此远离。编码器或解码器可以(例如，频繁地)在访问同位图片中的不同区域的运动(例如，MV和/或参考图片索引)之间切换。图12示出了ATMVP的同位块的无约束访问的示例。如图12所示，在当前CTU中可以有一个或多个(例如，三个)ATMVP CU，其中CU(例如，每个CU)使用运动偏移(例如，不同的运动偏移)，例如，如图12中由不同颜色所指示的。所述偏移可以用于定位同位图片中的对应的同位块，例如，如图12中的虚线块所指示的。同位块可以例如由于具有不同值的运动偏移而位于同位图片的不同区域中。
ATMVCU(例如，每个ATMVCP CU)的同位块可在(例如，一个)受限范围内导出。图13示出了应用约束区来导出ATMVP的同位块的示例。图13可以示出与图12相同的同位图片和CTU。如图13中所示，给定当前CU的位置，可确定所述同位图片中的约束区域(例如，区)。例如，可以基于当前切片来确定所述约束区域。用于当前CU的ATMVP导出的同位块的位置可在所述区域内。所述区域内的同位块可以是有效的同位块。来自不在所述区域内的相邻块(例如，候选相邻块)的MV可以被来自有效同位块的MV替换。例如，如图13所示，B1和B2的原始同位块(例如，ColB1和ColB2)可以在所述约束区域内。该原始同位块ColB1和ColB2可以用于B1和B2的ATMVP导出。因为B0的原始同位块(例如，ColB0)在所述约束区域之外，所以可以通过将ColB0的位置朝着所述约束区域的最近边界裁剪来生成(例如，一个)同位块(例如，ColB0’)。例如，ColB0’可以是最接近ColB0的有效块。ColB0’的位置可以被设置为位于同位图片中与当前块相同的位置处的块(例如，B0的运动可以被设置为零)。来自ColB0’的MV(例如，代替来自ColB0的MV)可以被用于译码(例如，编码和/或解码)CU。例如当ColB0出界时，可以停用ATMVP。
可确定用于ATMVP的同位块导出的约束区域的大小。举例来说，可将(例如，一个)固定区域应用于(例如，一个)视频序列中的由ATMVP译码的CU(例如，所有CU)。当前CTU(例如，包含当前CU的CTU)的(例如，一个)ATMVP CU的同位块的导出可以被约束为在同位图片内的同位CTU的相同区域内。例如，(例如，仅)可以导出同位图片中与当前CTU位于相同位置的CTU内的的同位块。用于(例如，一个)CU的TMVP过程的同位块的导出可被约束为在当前CTU和(例如，一个)4×4块的列内。CTU可以包含WxH(例如，宽度乘以高度)个样本。导出TMVP的同位块的区可以是(W+4)xH。相同的约束区域大小(例如，当前CTU加上4×4块的列(例如，一列))可以用于导出ATMVP和TMVP两者的同位块。可以选择所述约束区域的大小，并将其从编码器发信号发送给解码器。语法元素可以在序列和/或图片或切片级处被添加。可以为各种应用需求定义不同的简档和/或级别。举例来说，语法元素可在序列参数集SPS和/或图片参数集PPS中被用信号发送，或可在切片头部中被用信号发送。
可以组合用于ATMVP的同位块的选择和用于同位块导出的区域的约束。例如，如图14所示，可基于一个或多个合并候选的特性来选择同位块。可以按次序(例如，如图4所示的A1、B1、B0和A0)检查现有合并候选的MV。可以选择与同位图片相关联的第一合并候选的MV以从所述同位图片提取同位块。例如，如果所述同位块被帧内译码或者如果没有合并候选与所述同位图片相关联，则可以停用ATMVP。可找到有效的合并候选。举例来说，该有效合并候选可为A1。所述同位图片中对应于A1的同位块可表示为ColA1。ColA1可能在约束范围的界限之外。如果ColA1在所述约束范围的界限之外，则ColA1可以被裁剪回到所述约束区域的最接近边界，被设置为所述同位图片中的位于与当前块相同的位置处的块(例如，A1的运动可以被设置为零)，和/或ATMVP可以被标记为停用。
图15示出了使用同位图片来导出当前块的MV的示例。可以例如在切片头部中用信号发送用于当前图片的同位图片。所述同位图片可用于对所述当前图片执行ATMVP。例如，可将当前图片内的当前块的相邻块的参考图片与所述同位图片进行比较。可基于相邻块的参考图片具有到所述同位图片的最低时间距离而选择所述相邻块。时间距离可以是POC差。所述相邻块的参考图片可与所述同位图片相同。来自所选择的相邻块的参考图片的MV可以用于确定来自所述同位图片的MV。来自所述同位图片的MV可以用于对当前块进行译码。例如，如果所选择的相邻块的参考图片与所述同位图片不同，则可以缩放来自所述同位图片的所述MV。
尽管上述按照特定组合描述了特征和元素，但是本领域技术人员将理解的是每个特征或元素可以被单独使用或以与其它特征和元素的任何组合来使用。此外，于此描述的方法可以在嵌入在计算机可读介质中由计算机或处理器执行的计算机程序、软件或固件中实施。计算机可读媒体的示例包括电子信号(通过有线或无线连接传输)和计算机可读存储媒体。计算机可读存储媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、诸如内部硬盘和可移除磁盘之类的磁媒体、磁光媒体、以及诸如CD-ROM碟片和数字多用途碟片(DVD)之类的光媒体。与软件相关联的处理器可以用于实施在WTRU、UE、终端、基站、RNC或任意主计算机中使用的射频收发信机。

Claims (22)

1.一种译码视频数据的方法，所述方法包括：
识别所述视频数据的当前切片的同位图片，其中所述当前切片包括多个译码单元(CU)；
针对所述多个CU的当前CU，识别多个相邻CU，其中所述相邻CU中的每一者对应于一参考图片；
基于所述多个相邻CU的至少一个参考图片和所述当前切片的所述同位图片，选择所述相邻CU中的一者作为候选相邻CU；
基于所述候选相邻CU的参考运动矢量(MV)，从所述同位图片识别一同位MV；以及
基于所述同位的MV，译码所述当前CU。
2.根据权利要求1所述的方法，其中所述多个相邻CU中的相邻CU基于所述相邻CU的所述参考图片与所述同位图片之间的相应时间差而被选择作为所述候选相邻CU。
3.根据权利要求2所述的方法，其中每一参考图片与一图片次序计数(POC)相关联，且所述相邻CU基于该相邻CU在所述多个相邻CU当中与所述同位图片具有最低POC差而被选择作为所述候选相邻CU。
4.根据权利要求1所述的方法，其中所述候选相邻CU是基于具有与所述同位图片相同的参考图片而被选择。
5.根据权利要求4所述的方法，其中一旦识别出具有与所述同位图片相同的参考图片的相邻CU，该相邻CU在不考虑其它相邻CU的情况下被选择作为所述候选相邻CU。
6.根据权利要求1所述的方法，其中所述参考MV为空间MV，且所述同位MV为时间MV。
7.根据权利要求1所述的方法，其中所述同位图片是基于切片头部中的同位图片指示而被识别的。
8.根据权利要求1所述的方法，进一步包括在所述候选相邻CU的所述参考图片与所述同位图片不同的条件下，对所述参考MV执行时间缩放。
9.根据权利要求8所述的方法，其中执行时间缩放包括：将所述参考MV乘以一缩放因子，其中所述缩放因子基于所述候选相邻CU的所述参考图片与所述同位图片之间的时间差。
10.根据权利要求1所述的方法，其中所述同位MV与所述同位图片内的多个同位块中的第一同位块相关联，并且所述方法进一步包括：
基于所述当前切片，识别所述同位图片的有效同位块区域；
在所述同位块不位于所述区域中的情况下，选择位于所述区域内的第二同位块；以及
用与所述第二同位块相关联的第二同位MV替换所述同位MV。
11.根据权利要求10所述的方法，其中所述第二同位块是基于具有到所述第一同位块的最低距离而被选择的。
12.一种无线发射/接收单元(WTRU)，该WTRU包括：
处理器，其被配置为：
识别视频数据的当前切片的同位图片，其中所述当前切片包括多个译码单元(CU)；
针对所述多个CU的当前CU，识别多个相邻CU，其中所述相邻CU中的每一者对应于一参考图片；
基于所述多个相邻CU的至少一个参考图片和所述当前切片的所述同位图片，选择所述相邻CU中的一者作为候选相邻CU；
基于所述候选相邻CU的参考运动矢量(MV)，从所述同位图片识别同位MV；以及
基于所述同位的MV，译码所述当前CU。
13.根据权利要求12所述的WTRU，其中所述处理器被配置成基于所述多个相邻CU的所述参考图片与所述同位图片之间的相应时间差，将所述多个相邻CU中的一相邻CU选择作为所述候选相邻CU。
14.根据权利要求13所述的WTRU，其中每一参考图片与一图片次序计数(POC)相关联，且其中所述处理器被配置成基于具有最低POC差的相邻CU而选择该相邻CU作为所述候选相邻CU。
15.根据权利要求12所述的WTRU，其中所述处理器被配置成基于具有与所述同位图片相同的参考图片的所述相邻CU而选择所述候选相邻CU。
16.根据权利要求15所述的WTRU，其中一旦识别出具有与所述同位图片相同的参考图片的相邻CU，所述处理器被配置成在不考虑另外的相邻CU的情况下选择所述相邻CU作为所述候选相邻CU。
17.根据权利要求12所述的WTRU，其中所述参考MV是空间MV，并且所述同位MV是时间MV。
18.根据权利要求12所述的WTRU，其中所述处理器被配置成基于切片头部中的同位图片指示来识别同位图片。
19.根据权利要求12所述的WTRU，其中所述处理器还被配置成在所述候选相邻CU的所述参考图片与所述同位图片不同的情况下，对所述参考MV执行时间缩放。
20.根据权利要求7所述的方法，其中执行时间缩放包括将所述参考MV乘以一缩放因子，其中所述缩放因子是基于所述候选相邻CU的所述参考图片与所述同位图片之间的时间差。
21.根据权利要求12所述的WTRU，其中所述处理器还被配置成：
将所述当前CU细分为一个或多个子块，其中每一子块对应于一参考MV；以及
基于每个子块的所述参考MV，为该每一子块从所述同位图片识别同位MV。
22.根据权利要求12所述的WTRU，其中所述处理器还被配置成基于所述当前CU的时间层，确定所述子块的大小。
CN201880080912.0A 2017-11-01 2018-11-01 用于合并模式的解码器侧运动矢量细化和子块运动导出 Pending CN111480341A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762580184P 2017-11-01 2017-11-01
US62/580,184 2017-11-01
US201862623001P 2018-01-29 2018-01-29
US62/623,001 2018-01-29
US201862678576P 2018-05-31 2018-05-31
US62/678,576 2018-05-31
US201862690661P 2018-06-27 2018-06-27
US62/690,661 2018-06-27
PCT/US2018/058719 WO2019089933A1 (en) 2017-11-01 2018-11-01 Sub-block motion derivation and decoder-side motion vector refinement for merge mode

Publications (1)

Publication Number Publication Date
CN111480341A true CN111480341A (zh) 2020-07-31

Family

ID=64557134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880080912.0A Pending CN111480341A (zh) 2017-11-01 2018-11-01 用于合并模式的解码器侧运动矢量细化和子块运动导出

Country Status (9)

Country Link
US (2) US11558633B2 (zh)
EP (1) EP3704856A1 (zh)
JP (2) JP7382332B2 (zh)
KR (1) KR20200095463A (zh)
CN (1) CN111480341A (zh)
CA (1) CA3081335A1 (zh)
SG (1) SG11202003925XA (zh)
WO (1) WO2019089933A1 (zh)
ZA (1) ZA202002074B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019177354A1 (ko) * 2018-03-14 2019-09-19 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
SG11202012701XA (en) * 2018-07-02 2021-01-28 Huawei Tech Co Ltd Motion vector prediction method and apparatus, encoder, and decoder
US11539958B2 (en) * 2018-07-17 2022-12-27 Lg Electronics Inc. Method for predicting subblock-based temporal motion vector and apparatus therefor
KR102616766B1 (ko) 2018-09-22 2023-12-27 엘지전자 주식회사 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
CN111093073B (zh) * 2018-10-24 2024-04-19 北京字节跳动网络技术有限公司 用于子块运动矢量预测的基于搜索的运动候选推导
CN113170172A (zh) * 2018-11-21 2021-07-23 瑞典爱立信有限公司 具有子块合并简化的视频图片编码方法及相关装置
JP7319365B2 (ja) 2018-11-22 2023-08-01 北京字節跳動網絡技術有限公司 サブブロックに基づくインター予測のための調整方法
US11146810B2 (en) 2018-11-27 2021-10-12 Qualcomm Incorporated Decoder-side motion vector refinement
CN116996683A (zh) 2019-01-03 2023-11-03 北京大学 视频图像处理方法与装置
WO2020159198A1 (ko) 2019-01-28 2020-08-06 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2020185506A1 (en) * 2019-03-08 2020-09-17 Beijing Dajia Internet Information Technology Co., Ltd. Bi-directional optical flow and decoder-side motion vector refinement for video coding
ES2946163T3 (es) * 2019-05-15 2023-07-13 Huawei Tech Co Ltd Manejo de la herramienta de codificación del refinamiento del vector de movimiento del lado del decodificador (DMVR) para el remuestreo de imágenes de referencia en la codificación de vídeo
CN111953995A (zh) * 2019-05-17 2020-11-17 华为技术有限公司 一种帧间预测的方法和装置
KR20220024817A (ko) * 2019-06-21 2022-03-03 후아웨이 테크놀러지 컴퍼니 리미티드 인코더, 디코더 및 해당 방법
CN114208184A (zh) * 2019-08-13 2022-03-18 北京字节跳动网络技术有限公司 基于子块的帧间预测中的运动精度
US11223840B2 (en) * 2019-08-19 2022-01-11 Tencent America LLC Method and apparatus for video coding
WO2021050226A1 (en) * 2019-09-12 2021-03-18 Alibaba Group Holding Limited Method and apparatus for encoding or decoding video
EP4029256A4 (en) 2019-09-12 2022-11-09 Alibaba Group Holding Limited METHOD AND DEVICE FOR SIGNALING VIDEO ENCODING INFORMATION
CN114402610A (zh) * 2019-09-13 2022-04-26 北京字节跳动网络技术有限公司 视频编解码中的加权样点双向预测
CN114424553A (zh) 2019-09-22 2022-04-29 北京字节跳动网络技术有限公司 基于子块的帧间预测的缩放方法
CN114402618A (zh) * 2019-09-27 2022-04-26 北京达佳互联信息技术有限公司 用于视频编解码中的解码器端运动矢量细化的方法和装置
US20220201315A1 (en) * 2020-12-22 2022-06-23 Qualcomm Incorporated Multi-pass decoder-side motion vector refinement
US20230388529A1 (en) * 2022-05-24 2023-11-30 Tencent America LLC Method and apparatus for temporal interpolated prediction in video bitstream

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130258052A1 (en) * 2012-03-28 2013-10-03 Qualcomm Incorporated Inter-view residual prediction in 3d video coding
US20140044171A1 (en) * 2011-03-08 2014-02-13 JVC Kenwood Corporation Moving picture encoding device, moving picture encoding method and moving picture encoding program as well as moving picture decoding device, moving picture decoding method and moving picture decoding program
US20140064374A1 (en) * 2012-08-29 2014-03-06 Vid Scale, Inc. Method and apparatus of motion vector prediction for scalable video coding
US20140376633A1 (en) * 2013-06-21 2014-12-25 Qualcomm Incorporated More accurate advanced residual prediction (arp) for texture coding
US20150085929A1 (en) * 2013-09-26 2015-03-26 Qualcomm Incorporated Sub-prediction unit (pu) based temporal motion vector prediction in hevc and sub-pu design in 3d-hevc
US20160050430A1 (en) * 2013-04-02 2016-02-18 Vid Scale, Inc. Enhanced temporal motion vector prediction for scalable video coding
US20160219278A1 (en) * 2015-01-26 2016-07-28 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
US20160344903A1 (en) * 2015-05-18 2016-11-24 Broadcom Corporation Motion Vector Prediction
US20160360210A1 (en) * 2015-06-08 2016-12-08 Vid Scale, Inc. Intra block copy mode for screen content coding
US20160366435A1 (en) * 2015-06-11 2016-12-15 Qualcomm Incorporated Sub-prediction unit motion vector prediction using spatial and/or temporal motion information

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100553338C (zh) * 2002-07-15 2009-10-21 株式会社日立制作所 动态图像编码方法
US20100316129A1 (en) * 2009-03-27 2010-12-16 Vixs Systems, Inc. Scaled motion search section with downscaling filter and method for use therewith
KR101921789B1 (ko) * 2011-05-31 2018-11-23 가부시키가이샤 제이브이씨 켄우드 동영상 인코딩 장치, 동영상 인코딩 방법 및 동영상 인코딩 프로그램, 및 동영상 디코딩 장치, 동영상 디코딩 방법 및 동영상 디코딩 프로그램
GB2559226B (en) 2011-09-09 2018-11-28 Kt Corp Method for deriving a temporal predictive motion vector
US9083983B2 (en) * 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
GB2495990A (en) * 2011-10-28 2013-05-01 Canon Kk Motion compensated image coding with omission of coding mode cost calculation for a motion predictor in a set.
US9762904B2 (en) * 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
WO2013109093A1 (ko) * 2012-01-19 2013-07-25 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
GB2534136A (en) * 2015-01-12 2016-07-20 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10057574B2 (en) * 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
WO2016143972A1 (ko) * 2015-03-11 2016-09-15 엘지전자(주) 비디오 신호의 인코딩/디코딩 방법 및 장치
US10250904B2 (en) * 2015-05-05 2019-04-02 Avago Technologies International Sales Pte. Limited Apparatus and method for overlapped motion compensation for video coding
US10462457B2 (en) * 2016-01-29 2019-10-29 Google Llc Dynamic reference motion vector coding mode
US10560718B2 (en) * 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
CN116708776A (zh) * 2016-07-18 2023-09-05 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
WO2018028615A1 (en) * 2016-08-12 2018-02-15 Mediatek Inc. Methods and apparatuses of predictor-based partition in video processing system
US10721489B2 (en) * 2016-09-06 2020-07-21 Qualcomm Incorporated Geometry-based priority for the construction of candidate lists
US10812791B2 (en) * 2016-09-16 2020-10-20 Qualcomm Incorporated Offset vector identification of temporal motion vector predictor
US10616582B2 (en) * 2016-09-30 2020-04-07 Qualcomm Incorporated Memory and bandwidth reduction of stored data in image/video coding
CN110024384A (zh) * 2016-10-06 2019-07-16 Lg电子株式会社 基于帧间预测模式处理视频的方法和用于该方法的设备
KR102435500B1 (ko) * 2016-10-06 2022-08-23 세종대학교산학협력단 비디오 신호의 복호화 방법 및 이의 장치
US10291928B2 (en) * 2017-01-10 2019-05-14 Blackberry Limited Methods and devices for inter-prediction using motion vectors for video coding

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140044171A1 (en) * 2011-03-08 2014-02-13 JVC Kenwood Corporation Moving picture encoding device, moving picture encoding method and moving picture encoding program as well as moving picture decoding device, moving picture decoding method and moving picture decoding program
US20130258052A1 (en) * 2012-03-28 2013-10-03 Qualcomm Incorporated Inter-view residual prediction in 3d video coding
US20140064374A1 (en) * 2012-08-29 2014-03-06 Vid Scale, Inc. Method and apparatus of motion vector prediction for scalable video coding
US20160050430A1 (en) * 2013-04-02 2016-02-18 Vid Scale, Inc. Enhanced temporal motion vector prediction for scalable video coding
US20140376633A1 (en) * 2013-06-21 2014-12-25 Qualcomm Incorporated More accurate advanced residual prediction (arp) for texture coding
US20150085929A1 (en) * 2013-09-26 2015-03-26 Qualcomm Incorporated Sub-prediction unit (pu) based temporal motion vector prediction in hevc and sub-pu design in 3d-hevc
US20160219278A1 (en) * 2015-01-26 2016-07-28 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
US20160344903A1 (en) * 2015-05-18 2016-11-24 Broadcom Corporation Motion Vector Prediction
US20160360210A1 (en) * 2015-06-08 2016-12-08 Vid Scale, Inc. Intra block copy mode for screen content coding
US20160366435A1 (en) * 2015-06-11 2016-12-15 Qualcomm Incorporated Sub-prediction unit motion vector prediction using spatial and/or temporal motion information

Also Published As

Publication number Publication date
JP7382332B2 (ja) 2023-11-16
CA3081335A1 (en) 2019-05-09
KR20200095463A (ko) 2020-08-10
JP2024010171A (ja) 2024-01-23
WO2019089933A1 (en) 2019-05-09
EP3704856A1 (en) 2020-09-09
ZA202002074B (en) 2023-10-25
US11558633B2 (en) 2023-01-17
US20230156215A1 (en) 2023-05-18
SG11202003925XA (en) 2020-05-28
US20210185338A1 (en) 2021-06-17
JP2021502038A (ja) 2021-01-21

Similar Documents

Publication Publication Date Title
JP7382332B2 (ja) マージモード用のサブブロック動き導出およびデコーダサイド動きベクトル精緻化
CN111630855B (zh) 基于局部照明补偿的运动补偿双向预测
CN112806005B (zh) 用于视频译码的双向预测
CN111345041B (zh) 解码、编码视频数据的方法和设备
CN111316649B (zh) 重叠块运动补偿
CN113615186B (zh) 对称运动矢量差译码
CN112166608A (zh) 采用简化梯度推导的双向光流方法
CN113383551A (zh) 用于利用光流的帧间预测细化的***、装置和方法
CN113228634A (zh) 组合的帧内及帧间预测
CN112335247A (zh) 用于基于仿射运动模型的视频译码的自适应控制点选择
CN113728643A (zh) 对称合并模式运动向量编码
CN115152228A (zh) 合并模式、自适应运动向量精度和变换跳过语法
CN113316936A (zh) 基于历史的运动向量预测
CN113383542A (zh) 使用合并模式运动向量候选对象的改善的帧内平面预测
JP2022549008A (ja) 双方向オプティカルフローのための切り替え論理
KR20210074280A (ko) 아핀 모델 기반 비디오 코딩에 대한 아핀 모션 추정
WO2024133579A1 (en) Gpm combination with inter tools
WO2024133007A1 (en) Hmvp candidate reordering
WO2023194570A1 (en) Gradual decoding refresh and coding tools

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination