CN102227132A - 一种运动矢量预测编解码方法、装置及编解码*** - Google Patents

一种运动矢量预测编解码方法、装置及编解码*** Download PDF

Info

Publication number
CN102227132A
CN102227132A CN2011101390434A CN201110139043A CN102227132A CN 102227132 A CN102227132 A CN 102227132A CN 2011101390434 A CN2011101390434 A CN 2011101390434A CN 201110139043 A CN201110139043 A CN 201110139043A CN 102227132 A CN102227132 A CN 102227132A
Authority
CN
China
Prior art keywords
motion vector
motion
current block
vector
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011101390434A
Other languages
English (en)
Other versions
CN102227132B (zh
Inventor
徐苏珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yunzhou Multimedia Technology Co., Ltd.
Original Assignee
Shenzhen Temobi Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Temobi Science and Technology Co Ltd filed Critical Shenzhen Temobi Science and Technology Co Ltd
Priority to CN201110139043.4A priority Critical patent/CN102227132B/zh
Priority to PCT/CN2011/076186 priority patent/WO2012159288A1/zh
Publication of CN102227132A publication Critical patent/CN102227132A/zh
Application granted granted Critical
Publication of CN102227132B publication Critical patent/CN102227132B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种运动矢量预测编解码方法、装置及编解码***,涉及视频编解码领域。通过构建特定的运动矢量候选集,并根据所述运动矢量候选集在编码端模拟解码,将从所述候选运动矢量集中选取的最优运动矢量预测值与模拟解码中的最优运动矢量模拟值进行比较,确定是否在输出码流中增加指明最优运动矢量预测值在候选运动矢量集中的位置序号的描述,解码端通过检测接收的码流数据中是否包含运动矢量位置序号采用不同的解码方法。本发明通过空间和时间相关性更精确地选择运动矢量的预测值,减小编码运动矢量差值的码率,可以更精细地压缩运动矢量数据,减少输出的码率。

Description

一种运动矢量预测编解码方法、装置及编解码***
技术领域
本发明涉及视频编解码领域,,尤其涉及一种运动矢量预测编解码方法、装置及编解码***。
背景技术
随着视频应用不断开展,视频编码标准和算法也得到了快速发展,例如最新视频编码标准H264相比传统的编码标准如H263图像压缩效率有极大地提升,但同时也带来一些了新的问题。新的视频编码标准中图像编码算法更加精细,对图像数据的划分也越来越小,例如H264对亮度数据最小处理单元就是4x4。这样做的优点是在帧间预测过程中,可以提升运动预测的准确度。不足之处是数据处理单元的精细化带来运动矢量的增加,需要耗费大量的数据来传输运动矢量,导致码率的增加,这个不足在低码率视频压缩中尤其突出,据统计在低码率视频流中约20%到30%的数据是用来传输运动矢量的。
发明内容
本发明实施例的目的在于提出一种运动矢量预测编码方法,旨在解决现有技术在低码率视频压缩中,数据处理单元的精细化带来运动矢量的增加,导致码率的增加问题。
本发明实施例一种运动矢量预测编码方法是这样实现的,所述方法包括:
获取经过运动预测后当前块的运动矢量(mv);
构建用于运动矢量预测编码的候选运动矢量集;
从候选运动矢量集中选取最优运动矢量预测值(mvbest);
求取当前块运动矢量和所述最优运动矢量预测值的运动矢量差(mvd)。
优选地,步骤求取当前块运动矢量和所述最优运动矢量预测值的运动矢量差之后还包括步骤:
在编码端对运动矢量进行模拟解码,以获取最优运动矢量模拟值(mvdec)。
优选地,步骤求取当前块运动矢量和所述最优运动矢量预测值的运动矢量差之后还包括步骤:
将所述运动矢量差(mvd)经熵编码模块编码发送至解码端。
本发明实施例的第二目的在于提出一种运动矢量预测编码装置,所述装置包括:
运动矢量获取模块,用于获取经过运动预测后当前块的运动矢量;
候选运动矢量集构建模块,用于构建用于运动矢量预测编码的候选运动矢量集;具体为:选取当前块左边邻近一个块的运动矢量mvA、当前块正上方块的运动矢量mvB、当前块右上方块的运动矢量mvC、当前块使用H264方法得到的预测运动矢量mvh264、当前帧前一帧相同位置块的运动矢量mvD、当前块运动矢量mv指向的参考块的运动矢量mvE,构成候选运动矢量集
[mvA  mvB  mvC  mvh264  mvD  mvE],每一个候选运动矢量在候选运动矢量集中均有其特定的位置序号;
最优运动矢量预测值选取模块,用于从候选运动矢量集中选取最优运动矢量预测值,其包括运动矢量预测差值比特数计算模块、运动矢量差选择模块;
运动矢量预测差值比特数计算模块,用于计算编码运动矢量预测差值需要的比特数R(mv-mvP),其中,mvP∈[mvA  mvB  mvC  mvh264  mvD  mvE],其中mv是当前块运动矢量,mvP是运动矢量的预测值,mvP的值在所述候选运动矢量集中选择;
运动矢量差比特数选择模块,用于选择使得编码运动矢量差比特数R(mv-mvP)最小的运动矢量预测值mvP为最优运动矢量预测值mvbest
运动矢量差求取模块,用于求取当前块运动矢量mv和所述最优运动矢量预测值mvbest的运动矢量差mvd,mvd=mv-mvbest
优选地,所述装置进一步包括:
运动矢量差发送模块,用于将所述运动矢量差mvd经熵编码模块编码发送至解码端。
优选地,所述装置进一步包括:
模拟解码模块,与所述运动矢量差求取模块相连,用于在编码端对运动矢量进行模拟解码,以获取最优运动矢量模拟值。
本发明实施例的第三目的在于提出一种运动矢量预测解码方法,所述方法包括:
接收编码端发送的码流数据;
检测接收的码流数据中是否包含运动矢量在候选运动矢量集中的位置序号;
根据码流数据中是否包含运动矢量位置序号,采用不同的方式解码。
,所述“根据码流数据中是否包含运动矢量位置序号,采用不同的的方式解码”具体为:
当所述码流数据中包含所述位置序号时,根据所述运动矢量位置序号,从运动矢量候选集中获取最优运动矢量预测值mvbest,进一步解码计算的出当前块运动矢量mv,其中,mvd=mv-mvbest
当所述码流数据中不包含所述位置序号时,对接收到的运动矢量差mvd进行解码计算得出当前块运动矢量,其中,mvd=mv-mvbest
本发明实施例的第四目的在于提出一种运动矢量预测解码装置,所述装置包括:
数据接收模块,用于接收编码端发送的码流数据,所述码流数据包括运动矢量差和/或运动矢量位置序号;
运动矢量位置序号检测模块,用于检测接收的码流数据中是否包含运动矢量位置序号,所述运动矢量位置序号为候选运动矢量在候选运动矢量集中的特定的位置序号;
解码模块,用于当码流数据中不包含运动矢量的位置序号时,对接收到的运动矢量差进行解码计算得出当前块运动矢量;还用于当码流数据中包含运动矢量位置序号时,根据所述运动矢量位置序号,从运动矢量候选集中获取最优运动矢量预测值,进一步解码计算的出当前块运动矢量。
本发明实施例的第五目的在于提出一种运动矢量预测编解码***,,所述***包括所述运动矢量预测编码装置和所述运动矢量预测解码装置。
本发明的有益效果
本发明实施例通过在编码端构建一套运动矢量模拟解码模块,通过空间和时间相关性更精确地选择运动矢量的预测值,减小编码运动矢量差值的码率,可以更精细地压缩运动矢量数据,减少输出的码率。
附图说明
图1是本发明实施例一种运动矢量预测编码方法流程图;
图2是图1方法中在编码端对运动矢量进行模拟解码,以获取最优运动矢量模拟值的方法流程图;
图3是本发明实施例中列举的当前块位于当前帧的第1列第k行时的候选运动矢量位置图;
图4是本发明实施例一种运动矢量预测编码装置结构示意图;
图5为图4装置中的模拟解码模块的具体模块结构示意图;
图6为本发明实施例一种运动矢量预测解码方法流程图;
图7为本发明实施例一种运动矢量预测解码装置结构示意图;
图8为本发明实施例一种运动矢量预测编解码***结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图和实施例,对本发明进行进一步详细说明,为了便于说明,仅示出了与本发明实施例相关的部分。应当理解,此处所描写的具体实施例,仅仅用于解释本发明,并不用以限制本发明。
本发明实施例通过在编码端构建一套运动矢量模拟解码模块,通过空间和时间相关性更精确地选择运动矢量的预测值,减小编码运动矢量差值的码率,可以更精细地压缩运动矢量数据,减少输出的码率。
实施例一
图1是本发明实施例一种运动矢量预测编码方法流程图,所述方法包括以下步骤:
S101,获取经过运动预测后当前块的运动矢量mv;
S102,构建用于运动矢量预测编码的候选运动矢量集;
所述“构建用于运动矢量预测编码的候选运动矢量集”具体方法为:选取当前块左边邻近一个块的运动矢量mvA、当前块正上方块的运动矢量mvB、当前块右上方块的运动矢量mvC、当前块使用H264方法得到的预测运动矢量mvh264、当前帧前一帧相同位置块的运动矢量mvD、当前块运动矢量mv指向的参考块的运动矢量mvE,构成候选运动矢量集
[mvA  mvB  mvC  mvh264  mvD  mvE],每一个候选运动矢量在候选运动矢量集中均有其特定的位置序号,例如:mvA在候选运动矢量集中的位置序号可以为1,mvD在候选运动矢量集中的位置序号可以为5。
如图3所示为列举的当前块位于当前帧的第1列第k行时的候选运动矢量位置图。如图3所示,当前块的运动矢量为mv,当前块左侧块的运动矢量为mvA,当前块正上方块的运动矢量为mvB,当前块右上方块的运动矢量为mvC;当前帧前一帧相同位置(第1列第k行)块的运动矢量为mvD,当前块运动矢量mv指向的参考块的运动矢量为mvE
S103,从候选运动矢量集中选取最优运动矢量预测值mvbest
所述“选取最优运动矢量预测值mvbest”的具体方法如下:
S1031,计算编码运动矢量预测差值需要的比特数R(mv-mvP);
其中,mvP∈[mvA  mvB  mvC  mvh264  mvD  mvE],其中mv是当前块运动矢量,mvP是运动矢量的预测值,mvP的值在所述候选运动矢量集中选择。
S1032,选择使得编码运动矢量差比特数R(mv-mvP)最小的运动矢量预测值mvP为最优运动矢量预测值mvbest
S104,求取当前块运动矢量mv和所述最优运动矢量预测值mvbest的运动矢量差mvd,mvd=mv-mvbest
S106,将所述运动矢量差mvd经熵编码模块编码发送至解码端。
本发明实施例通过空间和时间相关性更精确地选择运动矢量的预测值,减小了编码运动矢量差值的码率。
为了进一步地减少传输运动矢量预测模式需要的码率,在步骤S104之后还可增加以下步骤:
S105,在编码端对运动矢量进行模拟解码,以获取最优运动矢量模拟值;
图2是所述编码端对运动矢量进行模拟解码,以获取最优运动矢量模拟值的方法流程图;
所述“对运动矢量进行模拟解码,以获取最优运动矢量模拟值”具体方法为:
S1051,依次从所述候选运动矢量集中选出运动矢量预测值mvP
S1052,构建临时运动矢量mvi,mvi=mvd+mvp;
S1053,获取当前重构图像块数据YR,YR=ZR+XR
其中:
ZR为当前块图像的预测数据,其是通过所述临时运动矢量mvi进行运动补偿获取的;
XR为残差数据,其是通过当前块运动矢量mv进行运动补偿获取的。
S1054,构建差异系数Ed
E d = Σ i = 0 n - 1 [ y ( i , - 1 ) - y ( i , 0 ) ] 2 + Σ j = 1 m - 1 [ y ( - 1 , j ) - y ( 0 , j ) ] 2
其中,
y(i,j)为第i行第j列的重构图像数据,当前重构图像块
数据YR中左上角第一个数据为原点,用y(0,0)表示,m和n是当前块的长和宽;
y(i,-1)表示当前重构图像块数据YR左边一列数据,其中i的取值从0到n-1;
y(-1,j)表示的当前重构图像块数据YR上边一行数据,其中j的取值从1到m-1;
S1055,选择使差异系数Ed最小的运动矢量预测值mvP为模拟出的解码最优运动矢量模拟值mvdec
如果所述最优运动矢量模拟值mvdec等于最优运动矢量预测值mvdest,在已知mvd和mvbest的情况下,解码端在解码时可直接根据公式mvd=mv-mvbest得出当前块的运动矢量mv,则编码端不需要在输出码流中增加指明最优运动矢量预测值在候选运动矢量集中的位置序号的描述;
如果所述最优运动矢量模拟值mvdec不等于最优运动矢量预测值mvbest,解码端无法正确选出最优运动矢量预测值mvbest,则编码端需要在输出码流中增加指明最优运动矢量预测值mvbest在候选运动矢量集中的位置序号的描述;解码端根据所述位置序号,获取最优运动矢量预测值mvbest;在已知mvd和mvbest的情况下,从而进一步根据公式mvd=mv-mvbest得出当前块的运动矢量mv。
本发明实施例提出一种的运动矢量预测编码方法,通过空间和时间相关性更精确地选择运动矢量的预测值,减小编码运动矢量差值的码率,可以更精细地压缩运动矢量数据,减少输出的码率。
实施例二
图4是本发明实施例一种运动矢量预测编码装置结构示意图,所述运动矢量预测编码装置包括:
运动矢量获取模块,用于获取经过运动预测后当前块的运动矢量;
候选运动矢量集构建模块,用于构建用于运动矢量预测编码的候选运动矢量集;具体为:选取当前块左边邻近一个块的运动矢量mvA、当前块正上方块的运动矢量mvB、当前块右上方块的运动矢量mvC、当前块使用H264方法得到的预测运动矢量mvh264、当前帧前一帧相同位置块的运动矢量mvD、当前块运动矢量mv指向的参考块的运动矢量mvE,构成候选运动矢量集[mvA  mvB  mvC  mvh264  mvD  mvE],每一个候选运动矢量在候选运动矢量集中均有其特定的位置序号。
最优运动矢量预测值选取模块,用于从候选运动矢量集中选取最优运动矢量预测值,其包括运动矢量预测差值比特数计算模块、运动矢量差选择模块;
运动矢量预测差值比特数计算模块,用于计算编码运动矢量预测差值需要的比特数R(mv-mvP),其中,mvP∈[mvA  mvB  mvC  mvh264  mvD  mvE ],其中mv是当前块运动矢量,mvP是运动矢量的预测值,mvP的值在所述候选运动矢量集中选择;
运动矢量差比特数选择模块,用于选择使得编码运动矢量差比特数R(mv-mvP)最小的运动矢量预测值mvP为最优运动矢量预测值mvbest
运动矢量差求取模块,用于求取当前块运动矢量mv和所述最优运动矢量预测值mvbest的运动矢量差mvd,mvd=mv-mvbest
进一步地,所述运动矢量预测编码装置还可包括:
运动矢量差发送模块,用于将所述运动矢量差mvd经熵编码模块编码发送至解码端;
进一步地,所述运动矢量预测编码装置还可以包括模拟解码模块,如图5所述为所述模拟解码模块的具体模块结构示意图。
模拟解码模块,与所述运动矢量差求取模块相连,用于在编码端对运动矢量进行模拟解码,以获取最优运动矢量模拟值;
所述模拟解码模块进一步包括运动矢量预测值选取模块、临时运动矢量构建模块、重构图像块数据获取模块、差异系数构建模块、最优运动矢量模拟值选取模块、最优运动矢量位置序号写入模块;
运动矢量预测值选取模块,用于依次从所述候选运动矢量集中选出运动矢量预测值mvP
临时运动矢量构建模块,用于构建临时运动矢量mvi,mvi=mvd+mvp;其中mvd是当前块运动矢量和所述最优运动矢量预测值的运动矢量差,mvd=mv-mvbest
重构图像块数据获取模块,用于获取当前重构图像块数据YR,YR=ZR+XR
其中:ZR为当前块图像的预测数据,其是通过所述临时运动矢量mvi进行运动补偿获取的;
XR为残差数据,其是通过当前块运动矢量mv进行运动补偿获取的。差异系数构建模块,用于求构建差异系数Ed
E d = Σ i = 0 n - 1 [ y ( i , - 1 ) - y ( i , 0 ) ] 2 + Σ j = 1 m - 1 [ y ( - 1 , j ) - y ( 0 , j ) ] 2
其中,
y(i,j)为第i行第j列的重构图像数据,当前重构图像块数据YR中左上角第一个数据为原点,用y(0,0)表示,m和n是当前块的长和宽;
y(i,-1)表示当前重构图像块数据YR左边一列数据,其中i的取值从0到n-1;
y(-1,j)表示的当前重构图像块数据YR上边一行数据,其中j的取值从1到m-1;
最优运动矢量模拟值选取模块,用于选择使差异系数Ed最小的运动矢量预测值mvP为模拟出的解码最优运动矢量模拟值mvdec
最优运动矢量位置序号写入模块,用于当如果所述最优运动矢量模拟值mvdec不等于最优运动矢量预测值mvbest,在输出码流中增加指明最优运动矢量预测值mvbest在候选运动矢量集中的位置序号的描述。
本发明实施例通过空间和时间相关性更精确地选择运动矢量的预测值,减小编码运动矢量差值的码率,可以更精细地压缩运动矢量数据,减少输出的码率。
实施例三
图6所示为本发明实施例一种运动矢量预测解码方法流程图,所述方法包括:
S601,接收编码端发送的码流数据;
S602,检测接收的码流数据中是否包含运动矢量位置序号,是则进入步骤S603,否则进入步骤S604
所述运动矢量位置序号为候选运动矢量在候选运动矢量集中的特定的位置序号;
S603,根据所述运动矢量位置序号,从运动矢量候选集中获取最优运动矢量预测值mvbest,进一步解码计算的出当前块运动矢量mv;
其中,mvd=mv-mvbest
S604,对接收到的运动矢量差mvd进行解码计算得出当前块运动矢量;
其中,mvd=mv-mvbest
所述码流数据包括运动矢量差mvd和/或运动矢量位置序号;
所述候选运动矢量集由编码端构建,具体为:选取当前块左边邻近一个块的运动矢量mvA、当前块正上方块的运动矢量mvB、当前块右上方块的运动矢量mvC、当前块使用H264方法得到的预测运动矢量mvh264、当前帧前一帧相同位置块的运动矢量mvD、当前块运动矢量mv指向的参考块的运动矢量mvE,构成候选运动矢量集[mvA  mvB  mvC  mvh264  mvD  mvE],每一个候选运动矢量在候选运动矢量集中均有其特定的位置序号,所述运动矢量集由编码端和解码端共同维护;
所述运动矢量位置序号为候选运动矢量在候选运动矢量集中的特定的位置序号。
实施例四
图7为本发明实施例一种运动矢量预测解码装置结构示意图。
所述运动矢量预测解码装置包括数据接收模块、运动矢量位置序号检测模块、解码模块;
数据接收模块,用于接收编码端发送的码流数据,所述码流数据包括运动矢量差和/或运动矢量位置序号;
运动矢量位置序号检测模块,用于检测接收的码流数据中是否包含运动矢量位置序号,所述运动矢量位置序号为候选运动矢量在候选运动矢量集中的特定的位置序号;
解码模块,用于当码流数据中不包含运动矢量的位置序号时,对接收到的运动矢量差进行解码计算得出当前块运动矢量;还用于当码流数据中包含运动矢量位置序号时,根据所述运动矢量位置序号,从运动矢量候选集中获取最优运动矢量预测值,进一步解码计算的出当前块运动矢量。
所述候选运动矢量集由编码端构建,具体为:选取当前块左边邻近一个块的运动矢量mvA、当前块正上方块的运动矢量mvB、当前块右上方块的运动矢量mvC、当前块使用H264方法得到的预测运动矢量mvh264、当前帧前一帧相同位置块的运动矢量mvD、当前块运动矢量mv指向的参考块的运动矢量mvE,构成候选运动矢量集[mvA  mvB  mvC mvh264  mvD  mvE],每一个候选运动矢量在候选运动矢量集中均有其特定的位置序号,所述运动矢量集由编码端和解码端共同维护;
所述运动矢量位置序号为候选运动矢量在候选运动矢量集中的特定的位置序号。
实施五
图8为本发明实施例一种运动矢量预测编解码***结构示意图,所述***包括运动矢量预测编码装置、运动矢量预测解码装置。
所述运动矢量预测编码装置包括:
运动矢量获取模块,用于获取经过运动预测后当前块的运动矢量;
候选运动矢量集构建模块,用于构建用于运动矢量预测编码的候选运动矢量集;具体为:选取当前块左边邻近一个块的运动矢量mvA、当前块正上方块的运动矢量mvB、当前块右上方块的运动矢量mvC、当前块使用H264方法得到的预测运动矢量mvh264、当前帧前一帧相同位置块的运动矢量mvD、当前块运动矢量mv指向的参考块的运动矢量mvE,构成候选运动矢量集[mvA  mvB  mvC  mvh264  mvD  mvE],每一个候选运动矢量在候选运动矢量集中均有其特定的位置序号;
最优运动矢量预测值选取模块,用于从候选运动矢量集中选取最优运动矢量预测值,其包括运动矢量预测差值比特数计算模块、运动矢量差选择模块;
运动矢量预测差值比特数计算模块,用于计算编码运动矢量预测差值需要的比特数R(mv-mvP),其中,mvP∈[mvA  mvB  mvC mvh264  mvD  mvE],其中mv是当前块运动矢量,mvP是运动矢量的预测值,mvP的值在所述候选运动矢量集中选择;
运动矢量差比特数选择模块,用于选择使得编码运动矢量差比特数R(mv-mvP)最小的运动矢量预测值mvP为最优运动矢量预测值mvbest
运动矢量差求取模块,用于求取当前块运动矢量mv和所述最优运动矢量预测值mvbest的运动矢量差mvd,mvd=mv-mvbest
进一步地,所述运动矢量预测编码装置还可包括:
运动矢量差发送模块,用于将所述运动矢量差mvd经熵编码模块编码发送至解码端;
进一步地,所述运动矢量预测编码装置还可以包括模拟解码模块,如图5所述为所述模拟解码模块的具体模块结构示意图。
模拟解码模块,与所述运动矢量差求取模块相连,用于在编码端对运动矢量进行模拟解码,以获取最优运动矢量模拟值;
所述模拟解码模块进一步包括运动矢量预测值选取模块、临时运动矢量构建模块、重构图像块数据获取模块、差异系数构建模块、最优运动矢量模拟值选取模块、最优运动矢量位置序号写入模块。
运动矢量预测值选取模块,用于依次从所述候选运动矢量集中选出运动矢量预测值mvP
临时运动矢量构建模块,用于构建临时运动矢量mvi,mvi=mvd+mvp;其中mvd是当前块运动矢量和所述最优运动矢量预测值的运动矢量差,mvd=mv-mvbest
重构图像块数据获取模块,用于获取当前重构图像块数据YR,YR=ZR+XR
其中:ZR为当前块图像的预测数据,其是通过所述临时运动矢量mvi进行运动补偿获取的;
XR为残差数据,其是通过当前块运动矢量mv进行运动补偿获取的。差异系数构建模块,用于求构建差异系数Ed
E d = Σ i = 0 n - 1 [ y ( i , - 1 ) - y ( i , 0 ) ] 2 + Σ j = 1 m - 1 [ y ( - 1 , j ) - y ( 0 , j ) ] 2
其中,
y(i,j)为第i行第j列的重构图像数据,当前重构图像块数据YR中左上角第一个数据为原点,用y(0,0)表示,m和n是当前块的长和宽;
y(i,-1)表示当前重构图像块数据YR左边一列数据,其中i的取值从0到n-1;
y(-1,j)表示的当前重构图像块数据YR上边一行数据,其中j的取值从1到m-1;
最优运动矢量模拟值选取模块,用于选择使差异系数Ed最小的运动矢量预测值mvP为模拟出的解码最优运动矢量模拟值mvdec
最优运动矢量位置序号写入模块,用于用于当如果所述最优运动矢量模拟值mvdec不等于最优运动矢量预测值mvbest,在输出码流中增加指明最优运动矢量预测值mvbest在候选运动矢量集中的位置序号的描述。
所述运动矢量预测解码装置包括数据接收模块、运动矢量位置序号检测模块、解码模块;
数据接收模块,用于接收编码端发送的码流数据,所述码流数据包括运动矢量差和/或运动矢量位置序号;
运动矢量位置序号检测模块,用于检测接收的码流数据中是否包含运动矢量位置序号,所述运动矢量位置序号为候选运动矢量在候选运动矢量集中的特定的位置序号;
解码模块,用于当码流数据中不包含运动矢量的位置序号时,对接收到的运动矢量差进行解码计算得出当前块运动矢量;还用于当码流数据中包含运动矢量位置序号时,根据所述运动矢量位置序号,从运动矢量候选集中获取最优运动矢量预测值,进一步解码计算的出当前块运动矢量。
所述候选运动矢量集由编码端构建,具体为:选取当前块左边邻近一个块的运动矢量mvA、当前块正上方块的运动矢量mvB、当前块右上方块的运动矢量mvC、当前块使用H264方法得到的预测运动矢量mvh264、当前帧前一帧相同位置块的运动矢量mvD、当前块运动矢量mv指向的参考块的运动矢量mvE,构成候选运动矢量集[mvA  mvB  mvC  mvh264  mvD  mvE],每一个候选运动矢量在候选运动矢量集中均有其特定的位置序号,所述运动矢量集由编码端和解码端共同维护;
所述运动矢量位置序号为候选运动矢量在候选运动矢量集中的特定的位置序号。
本发明实施例通过空间和时间相关性更精确地选择运动矢量的预测值,减小编码运动矢量差值的码率,可以更精细地压缩运动矢量数据,减少输出的码率。
本领域的普通技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的,所述的程序可以存储于一计算机可读取存储介质中,所述的存储介质可以为ROM、RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (15)

1.一种运动矢量预测编码方法,所述方法包括:
获取经过运动预测后当前块的运动矢量(mv);
构建用于运动矢量预测编码的候选运动矢量集;
从候选运动矢量集中选取最优运动矢量预测值(mvbest);
求取当前块运动矢量和所述最优运动矢量预测值的运动矢量差(mvd);
将所述运动矢量差(mvd)熵编码后发送至解码端;
其特征在于,
所述“构建用于运动矢量预测编码的候选运动矢量集”具体方法为:选取当前块左边邻近一个块的运动矢量(mvA)、当前块正上方块的运动矢量(mvB)、当前块右上方块的运动矢量(mvC)、当前块使用H264方法得到的预测运动矢量(mvh264)、当前帧前一帧相同位置块的运动矢量(mvD)、当前块运动矢量指向的参考块的运动矢量(mvE),构成候选运动矢量集([mvA  mvB  mvC  mvh264  mvD  mvE])。
2.如权利要求1所述的运动矢量预测编码方法,其特征在于,步骤求取当前块运动矢量和所述最优运动矢量预测值的运动矢量差之后还包括步骤:
在编码端对运动矢量进行模拟解码,以获取最优运动矢量模拟值(mvdec)。
3.如权利要求1所述的运动矢量预测编码方法,其特征在于,所述从候选运动矢量集中选取最优运动矢量预测值具体为:
计算编码运动矢量预测差值需要的比特数(R(mv-mvP));
选择使得编码运动矢量差比特数(R(mv-mvP))最小的运动矢量预测值(mvP)为最优运动矢量预测值(mvbest);
其中,mvP是运动矢量的预测值,mvP的值在所述候选运动矢量集中选择,mv是当前块运动矢量。
4.如权利要求2所述的运动矢量预测编码方法,其特征在于,所述“在编码端对运动矢量进行模拟解码,以获取最优运动矢量模拟值”具体为:
依次从所述候选运动矢量集中选出运动矢量预测值mvP
构建临时运动矢量mvi,mvi=mvd+mvp;
获取当前重构图像块数据YR,YR=ZR+XR
其中:ZR为当前块图像的预测数据,其是通过所述临时运动矢量mvi进行运动补偿获取的;XR为残差数据,其是通过当前块运动矢量mv进行运动补偿获取的;
构建差异系数Ed
E d = Σ i = 0 n - 1 [ y ( i , - 1 ) - y ( i , 0 ) ] 2 + Σ j = 1 m - 1 [ y ( - 1 , j ) - y ( 0 , j ) ] 2
其中,
y(i,j)为第i行第j列的重构图像数据,当前重构图像块数据YR中左上角第一个数据为原点,用y(0,0)表示,m和n是当前块的长和宽;
y(i,-1)表示当前重构图像块数据YR左边一列数据,其中i的取值从0到n-1;
y(-1,j)表示的当前重构图像块数据YR上边一行数据,其中j的取值从1到m-1;
选择使差异系数Ed最小的运动矢量预测值mvP为模拟出的解码最优运动矢量模拟值mvdec
5.如权利要求4所述的运动矢量预测编码方法,其特征在于,所述“选择使差异系数Ed最小的运动矢量预测值mvP为模拟出的解码最优运动矢量模拟值mvdec”还包括:
如果所述最优运动矢量模拟值mvdec等于最优运动矢量预测值mvbest,则编码端不需要在输出码流中增加指明最优运动矢量预测值在候选运动矢量集中的位置序号的描述;
如果所述最优运动矢量模拟值mvdec不等于最优运动矢量预测值mvbest,则编码端需要在输出码流中增加指明最优运动矢量预测值mvbest在候选运动矢量集中的位置序号的描述mv。
6.一种运动矢量预测编码装置,其特征在于,所述装置包括:
运动矢量获取模块,用于获取经过运动预测后当前块的运动矢量;
候选运动矢量集构建模块,用于构建用于运动矢量预测编码的候选运动矢量集;具体为:选取当前块左边邻近一个块的运动矢量mvA、当前块正上方块的运动矢量mvB、当前块右上方块的运动矢量mvC、当前块使用H264方法得到的预测运动矢量mvh264、当前帧前一帧相同位置块的运动矢量mvD、当前块运动矢量mv指向的参考块的运动矢量mvE,构成候选运动矢量集[mvA  mvB  mvC  mvh264  mvD  mvE],每一个候选运动矢量在候选运动矢量集中均有其特定的位置序号;
最优运动矢量预测值选取模块,用于从候选运动矢量集中选取最优运动矢量预测值,其包括运动矢量预测差值比特数计算模块、运动矢量差选择模块;
运动矢量预测差值比特数计算模块,用于计算编码运动矢量预测差值需要的比特数R(mv-mvP),其中,mvP∈[mvA  mvB  mvC  mvh264  mvD  mvE],其中mv是当前块运动矢量,mvP是运动矢量的预测值,mvP的值在所述候选运动矢量集中选择;
运动矢量差比特数选择模块,用于选择使得编码运动矢量差比特数R(mv-mvP)最小的运动矢量预测值mvP为最优运动矢量预测值mvbest
运动矢量差求取模块,用于求取当前块运动矢量mv和所述最优运动矢量预测值mvbest的运动矢量差mvd,mvd=mv-mvbest
7.如权利要求6所述的运动矢量预测编码装置,其特征在于,所述装置进一步包括:
运动矢量差发送模块,用于将所述运动矢量差mvd经熵编码模块编码发送至解码端。
8.如权利要求6所述的运动矢量预测编码装置,其特征在于,所述装置进一步包括:
模拟解码模块,与所述运动矢量差求取模块相连,用于在编码端对运动矢量进行模拟解码,以获取最优运动矢量模拟值。
9.如权利要求8所述的运动矢量预测编码装置,其特征在于,所述模拟解码模块包括:
运动矢量预测值选取模块,用于依次从所述候选运动矢量集中选出运动矢量预测值mvP
临时运动矢量构建模块,用于构建临时运动矢量mvi,mvi=mvd+mvp;其中mvd是当前块运动矢量和所述最优运动矢量预测值的运动矢量差,mvd=mv-mvbest
重构图像块数据获取模块,用于获取当前重构图像块数据YR,YR=ZR+XR
其中:ZR为当前块图像的预测数据,其是通过所述临时运动矢量mvi进行运动补偿获取的,
XR为残差数据,其是通过当前块运动矢量mv进行运动补偿获取的;差异系数构建模块,用于求构建差异系数Ed
E d = Σ i = 0 n - 1 [ y ( i , - 1 ) - y ( i , 0 ) ] 2 + Σ j = 1 m - 1 [ y ( - 1 , j ) - y ( 0 , j ) ] 2
其中,
y(i,j)为第i行第j列的重构图像数据,当前重构图像块数据YR中左上角第一个数据为原点,用y(0,0)表示,m和n是当前块的长和宽,
y(i,-1)表示当前重构图像块数据YR左边一列数据,其中i的取值从0到n-1,
y(-1,j)表示的当前重构图像块数据YR上边一行数据,其中j的取值从1到m-1;
最优运动矢量模拟值选取模块,用于选择使差异系数Ed最小的运动矢量预测值mvP为模拟出的解码最优运动矢量模拟值mvdec
最优运动矢量位置序号写入模块,用于用于当如果所述最优运动矢量模拟值mvdec不等于最优运动矢量预测值mvbest,在输出码流中增加指明最优运动矢量预测值mvbest在候选运动矢量集中的位置序号的描述。
10.一种运动矢量预测解码方法,其特征在于,所述方法包括:
接收编码端发送的码流数据;
检测接收的码流数据中是否包含运动矢量在候选运动矢量集中的位置序号;
根据码流数据中是否包含运动矢量位置序号,采用不同的方式解码。
11.如权利要求10所述的运动矢量预测解码方法,其特征在于,所述“根据码流数据中是否包含运动矢量位置序号,采用不同的的方式解码”具体为:
当所述码流数据中包含所述位置序号时,根据所述运动矢量位置序号,从运动矢量候选集中获取最优运动矢量预测值mvbest,进一步解码计算的出当前块运动矢量mv,其中,mvd=mv-mvbest
当所述码流数据中不包含所述位置序号时,对接收到的运动矢量差mvd进行解码计算得出当前块运动矢量,其中,mvd=mv-mvbest
12.如权利要求10或11所述的运动矢量预测解码方法,其特征在于,
所述码流数据包括运动矢量差mvd和/或运动矢量位置序号;
所述候选运动矢量集由编码端构建,具体为:选取当前块左边邻近一个块的运动矢量mvA、当前块正上方块的运动矢量mvB、当前块右上方块的运动矢量mvC、当前块使用H264方法得到的预测运动矢量mvh264、当前帧前一帧相同位置块的运动矢量mvD、当前块运动矢量mv指向的参考块的运动矢量mvE,构成候选运动矢量集[mvA  mvB  mvC  mvh264  mvD  mvE],每一个候选运动矢量在候选运动矢量集中均有其特定的位置序号,所述运动矢量集由编码端和解码端共同维护;
所述运动矢量位置序号为候选运动矢量在候选运动矢量集中的特定的位置序号。
13.一种运动矢量预测解码装置,其特征在于,所述装置包括:
数据接收模块,用于接收编码端发送的码流数据,所述码流数据包括运动矢量差和/或运动矢量位置序号;
运动矢量位置序号检测模块,用于检测接收的码流数据中是否包含运动矢量位置序号,所述运动矢量位置序号为候选运动矢量在候选运动矢量集中的特定的位置序号;
解码模块,用于当码流数据中不包含运动矢量的位置序号时,对接收到的运动矢量差进行解码计算得出当前块运动矢量;还用于当码流数据中包含运动矢量位置序号时,根据所述运动矢量位置序号,从运动矢量候选集中获取最优运动矢量预测值,进一步解码计算的出当前块运动矢量。
14.如权利要求13所述的运动矢量预测解码装置,其特征在于,
所述候选运动矢量集由编码端构建,具体为:选取当前块左边邻近一个块的运动矢量mvA、当前块正上方块的运动矢量mvB、当前块右上方块的运动矢量mvC、当前块使用H264方法得到的预测运动矢量mvh264、当前帧前一帧相同位置块的运动矢量mvD、当前块运动矢量mv指向的参考块的运动矢量mvE,构成候选运动矢量集[mvA  mvB  mvC  mvh264  mvD  mvE],每一个候选运动矢量在候选运动矢量集中均有其特定的位置序号,所述运动矢量集由编码端和解码端共同维护;
所述运动矢量位置序号为候选运动矢量在候选运动矢量集中的特定的位置序号。
15.一种运动矢量预测编解码***,其特征在于,所述***包括权利要求6和权利要求13所述的运动矢量预测编码装置和运动矢量预测解码装置。
CN201110139043.4A 2011-05-25 2011-05-25 一种运动矢量预测编解码方法、装置及编解码*** Expired - Fee Related CN102227132B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201110139043.4A CN102227132B (zh) 2011-05-25 2011-05-25 一种运动矢量预测编解码方法、装置及编解码***
PCT/CN2011/076186 WO2012159288A1 (zh) 2011-05-25 2011-06-23 一种运动矢量预测编解码方法、装置及编解码***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110139043.4A CN102227132B (zh) 2011-05-25 2011-05-25 一种运动矢量预测编解码方法、装置及编解码***

Publications (2)

Publication Number Publication Date
CN102227132A true CN102227132A (zh) 2011-10-26
CN102227132B CN102227132B (zh) 2017-04-12

Family

ID=44808086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110139043.4A Expired - Fee Related CN102227132B (zh) 2011-05-25 2011-05-25 一种运动矢量预测编解码方法、装置及编解码***

Country Status (2)

Country Link
CN (1) CN102227132B (zh)
WO (1) WO2012159288A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102769748A (zh) * 2012-07-02 2012-11-07 华为技术有限公司 运动矢量预测方法、装置及***
CN103108178A (zh) * 2011-11-11 2013-05-15 华为技术有限公司 视频图像编解码的方法及装置
WO2014053090A1 (en) * 2012-10-03 2014-04-10 Mediatek Inc. Method and apparatus of disparity vector derivation and inter-view motion vector prediction for 3d video coding
CN104378638A (zh) * 2011-11-08 2015-02-25 株式会社Kt 对具有待被解码的当前块的视频信号进行解码的方法
CN107770524A (zh) * 2013-06-15 2018-03-06 浙江大学 一种视频编解码处理方法及装置
CN107770527A (zh) * 2016-08-21 2018-03-06 上海天荷电子信息有限公司 使用邻近编码参数和最近编码参数的数据压缩方法和装置
CN108141588A (zh) * 2015-09-24 2018-06-08 Lg电子株式会社 图像编码***中的帧间预测方法和装置
US10165284B2 (en) 2011-10-31 2018-12-25 JVC Kenwood Corporation Moving picture decoding device, moving picture decoding method and moving picture decoding program
WO2019191867A1 (zh) * 2018-04-02 2019-10-10 华为技术有限公司 一种视频编解码方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1649414A (zh) * 2005-01-27 2005-08-03 浙江大学 硬件计算能力资源在运动估计中的优化分配方法
CN101198064A (zh) * 2007-12-10 2008-06-11 武汉大学 一种分辨率分层技术中的运动矢量预测方法
CN101860754A (zh) * 2009-12-16 2010-10-13 香港应用科技研究院有限公司 运动矢量编码和解码的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010028220A (ja) * 2008-07-15 2010-02-04 Sony Corp 動きベクトル検出装置、動きベクトル検出方法、画像符号化装置及びプログラム
CN101605262B (zh) * 2009-07-09 2011-11-09 杭州士兰微电子股份有限公司 可变块尺寸运动预测方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1649414A (zh) * 2005-01-27 2005-08-03 浙江大学 硬件计算能力资源在运动估计中的优化分配方法
CN101198064A (zh) * 2007-12-10 2008-06-11 武汉大学 一种分辨率分层技术中的运动矢量预测方法
CN101860754A (zh) * 2009-12-16 2010-10-13 香港应用科技研究院有限公司 运动矢量编码和解码的方法和装置

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI679876B (zh) * 2011-10-31 2019-12-11 日商Jvc建伍股份有限公司 動態影像解碼裝置及動態影像解碼方法
US10250886B2 (en) 2011-10-31 2019-04-02 JVC Kenwood Corporation Moving picture coding device, moving picture coding method and moving picture coding program
US10171814B2 (en) 2011-10-31 2019-01-01 JVC Kenwood Corporation Moving picture decoding device, moving picture decoding method and moving picture decoding program
US10165284B2 (en) 2011-10-31 2018-12-25 JVC Kenwood Corporation Moving picture decoding device, moving picture decoding method and moving picture decoding program
US9854245B2 (en) 2011-11-08 2017-12-26 Kt Corporation Method and apparatus for coefficient scan based on partition mode of prediction unit
CN104378638A (zh) * 2011-11-08 2015-02-25 株式会社Kt 对具有待被解码的当前块的视频信号进行解码的方法
US10080023B2 (en) 2011-11-08 2018-09-18 Kt Corporation Method and apparatus for coefficient scan based on partition mode of prediction unit
US9648331B2 (en) 2011-11-08 2017-05-09 Kt Corporation Method and apparatus for coefficient scan based on partition mode of prediction unit
CN103108178B (zh) * 2011-11-11 2016-03-30 华为技术有限公司 视频图像编解码的方法及装置
US9602816B2 (en) 2011-11-11 2017-03-21 Huawei Technologies Co., Ltd. Video image coding and decoding method and apparatus
CN103108178A (zh) * 2011-11-11 2013-05-15 华为技术有限公司 视频图像编解码的方法及装置
CN102769748B (zh) * 2012-07-02 2014-12-24 华为技术有限公司 运动矢量预测方法、装置及***
CN102769748A (zh) * 2012-07-02 2012-11-07 华为技术有限公司 运动矢量预测方法、装置及***
US9736498B2 (en) 2012-10-03 2017-08-15 Mediatek Inc. Method and apparatus of disparity vector derivation and inter-view motion vector prediction for 3D video coding
WO2014053090A1 (en) * 2012-10-03 2014-04-10 Mediatek Inc. Method and apparatus of disparity vector derivation and inter-view motion vector prediction for 3d video coding
CN107770524A (zh) * 2013-06-15 2018-03-06 浙江大学 一种视频编解码处理方法及装置
CN107770524B (zh) * 2013-06-15 2020-11-06 浙江大学 一种视频编解码处理方法及装置
CN108141588A (zh) * 2015-09-24 2018-06-08 Lg电子株式会社 图像编码***中的帧间预测方法和装置
CN107770527A (zh) * 2016-08-21 2018-03-06 上海天荷电子信息有限公司 使用邻近编码参数和最近编码参数的数据压缩方法和装置
CN107770527B (zh) * 2016-08-21 2021-12-14 上海天荷电子信息有限公司 使用邻近编码参数和最近编码参数的数据压缩方法和装置
WO2019191867A1 (zh) * 2018-04-02 2019-10-10 华为技术有限公司 一种视频编解码方法和装置
US11394996B2 (en) 2018-04-02 2022-07-19 Huawei Technologies Co., Ltd. Video coding method and apparatus

Also Published As

Publication number Publication date
WO2012159288A1 (zh) 2012-11-29
CN102227132B (zh) 2017-04-12

Similar Documents

Publication Publication Date Title
CN102227132A (zh) 一种运动矢量预测编解码方法、装置及编解码***
CN104994380B (zh) 用于对运动矢量进行编码和解码的方法和设备
CN100415002C (zh) 多模式多视点视频信号编码压缩方法
CN103220528B (zh) 通过使用大型变换单元编码和解码图像的方法和设备
CN102835111B (zh) 使用先前块的运动矢量作为当前块的运动矢量来对图像进行编码/解码的方法和设备
CN105933712B (zh) 处理视频信号的方法和设备
CN103260031B (zh) 用于对运动矢量进行编码/解码的方法和设备
CN100551073C (zh) 编解码方法及装置、分像素插值处理方法及装置
CN104717513B (zh) 一种双向帧间预测方法及装置
CN103096055B (zh) 一种图像信号帧内预测及解码的方法和装置
CN100525462C (zh) 错误隐藏方法及设备
CN102282851B (zh) 图像处理装置、解码方法、帧内解码装置、帧内解码方法以及帧内编码装置
CN102984523B (zh) 一种多方向的帧内预测编解码方法及装置
CN104243982A (zh) 一种视频编解码处理方法及装置
CN101573983A (zh) 使用全局运动矢量预测运动矢量的方法和设备、编码器、解码器及解码方法
CN103079071A (zh) 视频解码器
CN103119935A (zh) 图像插值方法和设备
CN102036067A (zh) 运动图像编码设备及其控制方法
CN101986716A (zh) 一种快速深度视频编码方法
CN101938649B (zh) 译码设备、译码控制设备、译码方法和程序
CN102497552B (zh) 一种包含构造图像的视频位流的解码缓冲区管理控制方法
CN104365100A (zh) 用于并行处理的视频编码方法和装置以及视频解码方法和装置
CN102316323B (zh) 一种快速的双目立体视频分形压缩与解压缩方法
CN105025298A (zh) 对图像进行编码/解码的方法和设备
CN104184980A (zh) 一种数据处理方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: SHENZHEN YUNZHOU MULTIMEDIA TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: SHENZHEN TEMOBI SCIENCE + TECHNOLOGY CO., LTD.

Effective date: 20140807

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20140807

Address after: Unit B4 9 building 518057 Guangdong city of Shenzhen province Nanshan District high in the four EVOC Technology Building No. 31

Applicant after: Shenzhen Yunzhou Multimedia Technology Co., Ltd.

Address before: 19, building 18, Changhong technology building, 518057 South twelve Road, South tech Zone, Nanshan District hi tech Zone, Guangdong, Shenzhen

Applicant before: Shenzhen Temobi Science & Tech Development Co.,Ltd.

CB02 Change of applicant information

Address after: The central Shenzhen city of Guangdong Province, 518057 Keyuan Road, Nanshan District science and Technology Park No. 15 Science Park Sinovac A Building 1 unit 403, No. 405 unit

Applicant after: Shenzhen Yunzhou Multimedia Technology Co., Ltd.

Address before: Unit B4 9 building 518057 Guangdong city of Shenzhen province Nanshan District high in the four EVOC Technology Building No. 31

Applicant before: Shenzhen Yunzhou Multimedia Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170412

Termination date: 20200525