CN110062236B - 基于空时域恰可感知失真的码率分配方法、***及介质 - Google Patents

基于空时域恰可感知失真的码率分配方法、***及介质 Download PDF

Info

Publication number
CN110062236B
CN110062236B CN201910388948.1A CN201910388948A CN110062236B CN 110062236 B CN110062236 B CN 110062236B CN 201910388948 A CN201910388948 A CN 201910388948A CN 110062236 B CN110062236 B CN 110062236B
Authority
CN
China
Prior art keywords
code rate
frame
time domain
weight
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910388948.1A
Other languages
English (en)
Other versions
CN110062236A (zh
Inventor
滕国伟
徐佳玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201910388948.1A priority Critical patent/CN110062236B/zh
Publication of CN110062236A publication Critical patent/CN110062236A/zh
Application granted granted Critical
Publication of CN110062236B publication Critical patent/CN110062236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于空时域恰可感知失真的码率分配方法、***及介质，包括：SJND模型建立步骤：根据空域上的掩蔽程度和亮度对比度，建立空域恰可感知失真模型SJND；像素SJND值获取步骤：根据建立的空域恰可感知失真模型，获得图像上每个像素点p(x,y)的SJND值，即空域上每个像素可以允许的最大失真；空域CTU码率权重分配步骤：根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配；本发明根据人类视觉特性，利用空时域恰可感知失真模型实现码率分配，首先利用空域SJND获得每个CTU的空域码率分配权重，然后通过时域TJND模型计算出时域的码率分配权重，提高了码率分配的准确性，大大提升了视频的主观质量。

Description

基于空时域恰可感知失真的码率分配方法、***及介质
技术领域
本发明涉及图像/视频编码码率控制技术领域，具体地，涉及基于空时域恰可感知失真的码率分配方法、***及介质。
背景技术
近年来，随着视频行业的迅猛发展，海量视频数据涌现，如果不对视频数据进行压缩处理，将无法进行传输和存储。我们以高清视频格式为例，假设其分辨率为1920*1080，有Y、U、V三个色彩分量，每个像素使用8bit来表示，帧率为25Hz。如果不对该视频序列进行压缩，则传输一帧图像的数据量为1920*1080*3*8≈5.9(兆字节)，传输一秒的数据量将达到5.9*25＝147.5(兆字节)。假设该视频序列时长90分钟，则传输该视频的数据量将达到796.5G，如果不对其进行压缩编码，将无法在有限的带宽下完成有效的传输。因此，在视频传输中，需要对其进行压缩编码。
随着视频编码技术日新月异的发展，编码参数不断增多，编码复杂度也不断加大，无论哪种码率控制编码方式，都要对码率进行合理的分配和精确的控制。因此，合适的码率分配和参数选择方法，对于提升码率控制性能具有非常重要的作用。
在HEVC编码标准中，λ域的码率控制采用的是自适应分配算法，其主要思想是根据前一参考帧对应参考单元的码控参数来调整当前编码单元的码控参数。但是这种算法没有考虑到人眼对于图像中不同纹理具有不同敏感度的特性，码率分配的结果不精确。因此，提出一种基于空-时域恰可感知失真STJND(Spatial Temporal Just NoticeableDifference)的码率分配方法，在帧内使用空域恰可感知失真(Spatial Just NoticeableDifference,SJND)模型获取每一帧图像在空域上的恰可感知失真临界值，通过这个临界值得到每一个编码树单元的空域视觉敏感度权重；在帧间使用时域恰可感知失真(TemporalJust Noticeable Difference,TJND)模型获取每一个序列的恰可感知失真临界值并得到时域视觉敏感度权重。
专利文献CN105163119A(申请号：201510546437.X)公开了一种基于空时域上下文和运动复杂度的码率控制方法，包括：基于R-λ模型，在C0编码前，对其模型参数α与β进行第一次更新；对当前基本单元C0进行编码；等待C0所在帧的所有基本单元编码完毕，对当前基本单元进行的第二步参数更新；两步参数更新完毕后的模型参数，将用于指导基本单元层的目标比特分配；定义当前基本单元C0的相对运动复杂系数来表征不同基本单元的运动剧烈程度；使用当前基本单元C0的Wi，j来调节当前基本单元的入值，使入值适应不同基本单元的运动剧烈程度，从而实现为运动较剧烈的基本单元分配更多比特的目标。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于空时域恰可感知失真的码率分配方法、***及介质。
根据本发明提供的一种基于空时域恰可感知失真的码率分配方法，包括：
SJND模型建立步骤：根据空域上的掩蔽程度和亮度对比度，建立空域恰可感知失真模型SJND；
像素SJND值获取步骤：根据建立的空域恰可感知失真模型，获得图像上每个像素点p(x，y)的SJND值，即空域上每个像素可以允许的最大失真；
空域CTU码率权重分配步骤：根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配；
TJND模型建立步骤：在时域上根据帧间亮度差和背景亮度来建立时域恰可感知失真模型TJND；
像素TJND值获取步骤：通过时域恰可感知失真模型得到每个像素点p(x，y，t)的TJND值，即在时域上每个像素点允许的最大失真值；
权值计算步骤：根据求得的TJND值，获得时域第i帧的权值；
图像码率权重分配步骤：根据获得的时域第i帧的权值，对每帧图像的码率权重进行分配。
优选地，所述SJND模型建立步骤：
空域恰可感知失真模型公式如下：
SJND(x，y)＝max{z1(b(x，y)，m(x，y))，z2(b(x，y)))}
其中，
SJND(x，y)表示像素点(x，y)处的空域恰可感知失真值；
z1(■)和z2(■)分别表示空域的掩蔽程度和亮度对比度；
b(x，y)和m(x，y)分别表示滤波函数和最大梯度函数；
z1(b(x，y)，m(x，y))＝m(x，y)·α(b(x，y))+β(b(x，y))
α(b(x，y))＝θ·b(x，y)+δ
β(b(x，y))＝μ-γ·b(x，y)
其中，
α(b(x，y))和β(b(x，y))分别表示中间参数；
θ＝0.0001；
δ＝0.115；
μ＝0.25；
γ＝0.01；
Figure BDA0002055786570000031
其中，
a＝14；
b＝3/128；
ε＝2；
滤波函数b(x，y)为：
Figure BDA0002055786570000032
其中，
p(x+i，y+j)为图像(x+i，y+j)位置的像素值；
B(i，j)为滤波模板；
最大梯度函数m(x，y)为：
Figure BDA0002055786570000033
Gk(i，j)为四个梯度方向模板。
优选地，所述空域CTU码率权重分配步骤：
根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配，计算公式如下：
Figure BDA0002055786570000041
其中，
ωCTU表示空域的CTU码率分配权重；
n表示CTU的大小；
x表示CTU的像素横坐标；
y表示CTU的像素纵坐标；
SJND(x，y)表示(x，y)像素点的空域JND值。
优选地，所述TJND模型建立步骤：
时域恰可感知失真模型公式如下，
Figure BDA0002055786570000042
其中，
TJND(x，y，t)表示(x，y，t)像素点的时域JND值
τ表示尺度因子；
exp表示指数函数；
Figure BDA0002055786570000043
δ＝3.2都是模型参数；
Δ(x，y.t)表示t帧和t-1帧之间的平均亮度差，公式如下，
Figure BDA0002055786570000044
p(x，y，t)表示：(x，y，t)像素点的像素值；
p(x，y，t-1)表示：(x，y，t-1)像素点的像素值；
b(x，y，t)表示：(x，y，t)像素点的平均亮度值；
b(x，y，t-1)表示：(x，y，t-1)像素点的平均亮度值。
优选地，所述权值计算步骤：
根据求得的TJND值，获得时域第i帧的权值，计算公式如下：
Figure BDA0002055786570000051
其中，
T(i)表示(需包含i的含义)T(i)表示第i帧的时域权值，i为帧数；
W表示帧长；
H表示帧宽；
j表示像素坐标；
TJND(i)表示(需包含i的含义)第i帧的TJND值，i为帧数；
W为帧长；
H为帧宽。
优选地，所述图像码率权重分配步骤：
根据获得的时域第i帧的权值T(i)，对每帧图像的码率权重进行分配，计算公式如下：
Figure BDA0002055786570000052
其中，
W(i)表示第i帧图像的码率分配权重，i为帧数；
T(j)表示第j帧的时域权值，j为帧数；
N为GOP组的帧数。
根据本发明提供的一种基于空时域恰可感知失真的码率分配***，包括：
SJND模型建立模块：根据空域上的掩蔽程度和亮度对比度，建立空域恰可感知失真模型SJND；
像素SJND值获取模块：根据建立的空域恰可感知失真模型，获得图像上每个像素点p(x，y)的SJND值，即空域上每个像素可以允许的最大失真；
空域CTU码率权重分配模块：根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配；
TJND模型建立模块：在时域上根据帧间亮度差和背景亮度来建立时域恰可感知失真模型TJND；
像素TJND值获取模块：通过时域恰可感知失真模型得到每个像素点p(x，y，t)的TJND值，即在时域上每个像素点允许的最大失真值；
权值计算模块：根据求得的TJND值，获得时域第i帧的权值；
图像码率权重分配模块：根据获得的时域第i帧的权值，对每帧图像的码率权重进行分配。
优选地，所述SJND模型建立模块：
空域恰可感知失真模型公式如下：
SJND(x，y)＝max{z1(b(x，y)，m(x，y))，z2(b(x，y)))}
其中，
SJND(x，y)表示像素点(x，y)处的空域恰可感知失真值；
z1(■)和z2(■)分别表示空域的掩蔽程度和亮度对比度；
b(x，y)和m(x，y)分别表示滤波函数和最大梯度函数；
z1(b(x，y)，m(x，y))＝m(x，y)·α(b(x，y))+β(b(x，y))
α(b(x，y))＝θ·b(x，y)+δ
β(b(x，y))＝μ-γ·b(x，y)
其中，
α(b(x，y))和β(b(x，y))分别表示中间参数；
θ＝0.0001；
δ＝0.115；
μ＝0.25；
γ＝0.01；
Figure BDA0002055786570000061
其中，
a＝14；
b＝3/128；
ε＝2；
滤波函数b(x，y)为：
Figure BDA0002055786570000062
其中，
p(x+i，y+j)为图像(x+i，y+j)位置的像素值；
B(i，j)为滤波模板；
最大梯度函数m(x，y)为：
Figure BDA0002055786570000071
Gk(i，j)为四个梯度方向模板；
所述空域CTU码率权重分配模块：
根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配，计算公式如下：
Figure BDA0002055786570000072
其中，
ωCTU表示空域的CTU码率分配权重；
n表示CTU的大小；
x表示CTU的像素横坐标；
y表示CTU的像素纵坐标；
SJND(x，y)表示(x，y)像素点的空域JND值；
所述TJND模型建立模块：
时域恰可感知失真模型公式如下，
Figure BDA0002055786570000073
其中，
TJND(x，y，t)表示(x，y，t)像素点的时域JND值
τ表示尺度因子；
exp表示指数函数；
Figure BDA0002055786570000074
δ＝3.2都是模型参数；
Δ(x，y.t)表示t帧和t-1帧之间的平均亮度差，公式如下，
Figure BDA0002055786570000081
p(x，y，t)表示：(x，y，t)像素点的像素值；
p(x，y，t-1)表示：(x，y，t-1)像素点的像素值；
b(x，y，t)表示：(x，y，t)像素点的平均亮度值；
b(x，y，t-1)表示：(x，y，t-1)像素点的平均亮度值。
优选地，所述权值计算模块：
根据求得的TJND值，获得时域第i帧的权值，计算公式如下：
Figure BDA0002055786570000082
其中，
T(i)表示(需包含i的含义)T(i)表示第i帧的时域权值，i为帧数；
W表示帧长；
H表示帧宽；
j表示像素坐标；
TJND(i)表示(需包含i的含义)第i帧的TJND值，i为帧数；
W为帧长；
H为帧宽；
所述图像码率权重分配模块：
根据获得的时域第i帧的权值T(i)，对每帧图像的码率权重进行分配，计算公式如下：
Figure BDA0002055786570000083
其中，
W(i)表示第i帧图像的码率分配权重，i为帧数；
T(j)表示第j帧的时域权值，j为帧数；
N为GOP组的帧数。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述中任一项所述的基于空时域恰可感知失真的码率分配方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
本发明根据人类视觉特性，利用空时域恰可感知失真模型实现码率分配，首先利用空域SJND获得每个CTU的空域码率分配权重，然后通过时域TJND模型计算出时域的码率分配权重，提高了码率分配的准确性，大大提升了视频的主观质量。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明提供的一种基于空时域恰可感知失真的码率分配方法的流程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种基于空时域恰可感知失真的码率分配方法，包括：
SJND模型建立步骤：根据空域上的掩蔽程度和亮度对比度，建立空域恰可感知失真模型SJND；
像素SJND值获取步骤：根据建立的空域恰可感知失真模型，获得图像上每个像素点p(x，y)的SJND值，即空域上每个像素可以允许的最大失真；
空域CTU码率权重分配步骤：根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配；
TJND模型建立步骤：在时域上根据帧间亮度差和背景亮度来建立时域恰可感知失真模型TJND；
像素TJND值获取步骤：通过时域恰可感知失真模型得到每个像素点p(x，y，t)的TJND值，即在时域上每个像素点允许的最大失真值；
权值计算步骤：根据求得的TJND值，获得时域第i帧的权值；
图像码率权重分配步骤：根据获得的时域第i帧的权值，对每帧图像的码率权重进行分配。
具体地，所述SJND模型建立步骤：
空域恰可感知失真模型公式如下：
SJND(x，y)＝max{z1(b(x，y)，m(x，y))，z2(b(x，y)))}
其中，
SJND(x，y)表示像素点(x，y)处的空域恰可感知失真值；
z1(■)和z2(■)分别表示空域的掩蔽程度和亮度对比度；
b(x，y)和m(x，y)分别表示滤波函数和最大梯度函数；
z1(b(x，y)，m(x，y))＝m(x，y)·α(b(x，y))+β(b(x，y))
α(b(x，y))＝θ·b(x，y)+δ
β(b(x，y))＝μ-γ·b(x，y)
其中，
α(b(x，y))和β(b(x，y))分别表示中间参数；
θ＝0.0001；
δ＝0.115；
μ＝0.25；
γ＝0.01；
Figure BDA0002055786570000101
其中，
a＝14；
b＝3/128；
ε＝2；
滤波函数b(x，y)为：
Figure BDA0002055786570000102
其中，
p(x+i，y+j)为图像(x+i，y+j)位置的像素值；
B(i，j)为滤波模板；
最大梯度函数m(x，y)为：
Figure BDA0002055786570000111
Gk(i，j)为四个梯度方向模板。
具体地，所述空域CTU码率权重分配步骤：
根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配，计算公式如下：
Figure BDA0002055786570000112
其中，
ωCTU表示空域的CTU码率分配权重；
n表示CTU的大小；
x表示CTU的像素横坐标；
y表示CTU的像素纵坐标；
SJND(x，y)表示(x，y)像素点的空域JND值。
具体地，所述TJND模型建立步骤：
时域恰可感知失真模型公式如下，
Figure BDA0002055786570000113
其中，
TJND(x，y，t)表示(x，y，t)像素点的时域JND值
τ表示尺度因子；
exp表示指数函数；
Figure BDA0002055786570000114
δ＝3.2都是模型参数；
Δ(x，y.t)表示t帧和t-1帧之间的平均亮度差，公式如下，
Figure BDA0002055786570000115
p(x，y，t)表示：(x，y，t)像素点的像素值；
p(x，y，t-1)表示：(x，y，t-1)像素点的像素值；
b(x，y，t)表示：(x，y，t)像素点的平均亮度值；
b(x，y，t-1)表示：(x，y，t-1)像素点的平均亮度值。
具体地，所述权值计算步骤：
根据求得的TJND值，获得时域第i帧的权值，计算公式如下：
Figure BDA0002055786570000121
其中，
T(i)表示(需包含i的含义)T(i)表示第i帧的时域权值，i为帧数；
W表示帧长；
H表示帧宽；
j表示像素坐标；
TJND(i)表示(需包含i的含义)第i帧的TJND值，i为帧数；
W为帧长；
H为帧宽。
具体地，所述图像码率权重分配步骤：
根据获得的时域第i帧的权值T(i)，对每帧图像的码率权重进行分配，计算公式如下：
Figure BDA0002055786570000122
其中，
W(i)表示第i帧图像的码率分配权重，i为帧数；
T(j)表示第j帧的时域权值，j为帧数；
N为GOP组的帧数。
本发明提供的基于空时域恰可感知失真的码率分配***，可以通过本发明给的基于空时域恰可感知失真的码率分配方法的步骤流程实现。本领域技术人员可以将所述基于空时域恰可感知失真的码率分配方法，理解为所述基于空时域恰可感知失真的码率分配***的一个优选例。
根据本发明提供的一种基于空时域恰可感知失真的码率分配***，包括：
SJND模型建立模块：根据空域上的掩蔽程度和亮度对比度，建立空域恰可感知失真模型SJND；
像素SJND值获取模块：根据建立的空域恰可感知失真模型，获得图像上每个像素点p(x，y)的SJND值，即空域上每个像素可以允许的最大失真；
空域CTU码率权重分配模块：根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配；
TJND模型建立模块：在时域上根据帧间亮度差和背景亮度来建立时域恰可感知失真模型TJND；
像素TJND值获取模块：通过时域恰可感知失真模型得到每个像素点p(x，y，t)的TJND值，即在时域上每个像素点允许的最大失真值；
权值计算模块：根据求得的TJND值，获得时域第i帧的权值；
图像码率权重分配模块：根据获得的时域第i帧的权值，对每帧图像的码率权重进行分配。
具体地，所述SJND模型建立模块：
空域恰可感知失真模型公式如下：
SJND(x，y)＝max{z1(b(x，y)，m(x，y))，z2(b(x，y)))}
其中，
SJND(x，y)表示像素点(x，y)处的空域恰可感知失真值；
z1(■)和z2(■)分别表示空域的掩蔽程度和亮度对比度；
b(x，y)和m(x，y)分别表示滤波函数和最大梯度函数；
z1(b(x，y)，m(x，y))＝m(x，y)·α(b(x，y))+β(b(x，y))
α(b(x，y))＝θ·b(x，y)+δ
β(b(x，y))＝μ-γ.b(x，y)
其中，
α(b(x，y))和β(b(x，y))分别表示中间参数；
θ＝0.0001；
δ＝0.115；
μ＝0.25；
γ＝0.01；
Figure BDA0002055786570000131
其中，
a＝14；
b＝3/128；
ε＝2；
滤波函数b(x，y)为：
Figure BDA0002055786570000141
其中，
p(x+i，y+j)为图像(x+i，y+j)位置的像素值；
B(i，j)为滤波模板；
最大梯度函数m(x，y)为：
Figure BDA0002055786570000142
Gk(i，j)为四个梯度方向模板；
所述空域CTU码率权重分配模块：
根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配，计算公式如下：
Figure BDA0002055786570000143
其中，
ωCTU表示空域的CTU码率分配权重；
n表示CTU的大小；
x表示CTU的像素横坐标；
y表示CTU的像素纵坐标；
SJND(x，y)表示(x，y)像素点的空域JND值；
所述TJND模型建立模块：
时域恰可感知失真模型公式如下，
Figure BDA0002055786570000144
其中，
TJND(x，y，t)表示(x，y，t)像素点的时域JND值
τ表示尺度因子；
exp表示指数函数；
Figure BDA0002055786570000151
δ＝3.2都是模型参数；
Δ(x，y.t)表示t帧和t-1帧之间的平均亮度差，公式如下，
Figure BDA0002055786570000152
p(x，y，t)表示：(x，y，t)像素点的像素值；
p(x，y，t-1)表示：(x，y，t-1)像素点的像素值；
b(x，y，t)表示：(x，y，t)像素点的平均亮度值；
b(x，y，t-1)表示：(x，y，t-1)像素点的平均亮度值。
具体地，所述权值计算模块：
根据求得的TJND值，获得时域第i帧的权值，计算公式如下：
Figure BDA0002055786570000153
其中，
T(i)表示(需包含i的含义)T(i)表示第i帧的时域权值，i为帧数；
W表示帧长；
H表示帧宽；
j表示像素坐标；
TJND(i)表示(需包含i的含义)第i帧的TJND值，i为帧数；
W为帧长；
H为帧宽；
所述图像码率权重分配模块：
根据获得的时域第i帧的权值T(i)，对每帧图像的码率权重进行分配，计算公式如下：
Figure BDA0002055786570000154
其中，
W(i)表示第i帧图像的码率分配权重，i为帧数；
T(j)表示第j帧的时域权值，j为帧数；
N为GOP组的帧数。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述中任一项所述的基于空时域恰可感知失真的码率分配方法的步骤。
下面通过优选例，对本发明进行更为具体地说明。
优选例1：
本发明提供一种基于空-时域恰可感知失真STJND(Spatial Temporal JustNoticeable Difference)的码率分配方法，在帧内使用空域恰可感知失真(Spatial JustNoticeable Difference，SJND)模型获取每一帧图像在空域上的恰可感知失真临界值，通过这个临界值得到每一个编码树单元的空域视觉敏感度权重；在帧间使用时域恰可感知失真(Temporal Just Noticeable Difference，TJND)模型获取每一个序列的恰可感知失真临界值并得到时域视觉敏感度权重以此提高码率控制的主观编码性能。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面对本发明的具体实施方法做进一步详细的说明。
步骤一：通过空域上的掩蔽程度和亮度对比度建立空域恰可感知失真模型SJND；
步骤1.1：空域恰可感知失真模型公式如下，
SJND(x，y)＝max{z1(b(x，y)，m(x，y)，z2(b(x，y)))} (1)
其中，z1(■)和z2(■)分别表示空域的掩蔽程度和亮度对比度，b(x，y)和m(x，y)分别为滤波函数和最大梯度函数。它们的定义分别为，
z1(b(x，y)，m(x，y)＝m(x，y)·α(b(x，y))+β(b(x，y)) (2)
其中，
α(b(x，y))＝θ·b(x，y)+δ (3)
β(b(x，y))＝μ-γ·b(x，y) (4)
式(3)和式(4)中，θ＝0.0001，δ＝0.115，μ＝0.25，γ＝0.01。
Figure BDA0002055786570000161
式(5)中，a＝14，b＝3/128，ε＝2。滤波函数b(x，y)，其定义如式(6)所示，
Figure BDA0002055786570000171
其中，p(x+i，y+j)为图像(x+i，y+j)位置的像素值，B(i，j)为滤波模板。
最大梯度函数m(x，y)的定义为，
Figure BDA0002055786570000172
式(7)中，Gk(i，j)为四个梯度方向模板；
步骤二：通过空域恰可感知失真模型得到图像上每个像素点p(x，y)的SJND值，也即每个像素可以允许的最大失真；
步骤三：用得到的SJND模型对空域CTU的码率进行权重分配，计算公式如下，
Figure BDA0002055786570000173
步骤四：在时域上根据帧间亮度差和背景亮度来建立时域恰可感知失真模型TJND；
步骤4.1：时域恰可感知失真模型公式如下，
Figure BDA0002055786570000174
其中，
Figure BDA0002055786570000175
δ＝3.2都是模型参数。为了将序列时域静止区域允许的失真最小化，需要将尺度因子τ减小到0.8也即Δ(x，y.t)＜5。Δ(x，y.t)表示t帧和t-1帧之间的平均亮度差，公式如下，
Figure BDA0002055786570000176
步骤五：通过时域恰可感知失真模型得到每个像素点p(x，y，t)的TJND值；也即在时域上每个像素点允许的最大失真值；
步骤六：根据求得的TJND值可得时域第i帧的权值计算公式如下，
Figure BDA0002055786570000177
其中，W为帧长，H为帧宽；
步骤七：根据公式(11)对每帧图像的码率权重进行分配，第i帧图像的权重计算公式如下，
Figure BDA0002055786570000178
其中，N为GOP组的帧数。
优选例2：
一种基于空时域恰可感知失真的码率分配方法，具体操作步骤如下：
步骤一：通过空域上的掩蔽程度和亮度对比度建立空域恰可感知失真模型SJND(Spatial JND)；
步骤二：通过空域恰可感知失真模型得到图像上每个像素点p(x，y)的SJND值，也即每个像素可以允许的最大失真；
步骤三：用得到的SJND模型对空域CTU的码率进行权重分配，计算公式如下，
Figure BDA0002055786570000181
其中，
ωCTU表示空域的CTU码率分配权重；
n表示CTU的大小；
x表示CTU的像素横坐标；
y表示CTU的像素纵坐标；
SJND(x，y)表示(x，y)像素点的空域JND值；
步骤四：在时域上根据帧间亮度差和背景亮度来建立时域恰可感知失真模型TJND(Temporal JND)；
步骤五：通过时域恰可感知失真模型得到每个像素点p(x，y，t)的TJND值；也即在时域上每个像素点允许的最大失真值；
步骤六：根据求得的TJND值可得时域第i帧的权值计算公式如下，
Figure BDA0002055786570000182
其中，
T(i)表示(需包含i的含义)T(i)表示第i帧的时域权值，i为帧数
W表示帧长
H表示帧宽
j表示像素坐标
TJND(i)表示(需包含i的含义)第i帧的TJND值，i为帧数
W为帧长；
H为帧宽；
步骤七：根据公式(11)对每帧图像的码率权重进行分配，第i帧图像的权重计算公式如下，
Figure BDA0002055786570000191
其中，
W(i)表示第i帧图像的码率分配权重，i为帧数
T(j)表示(需包含j的含义)第j帧的时域权值，j为帧数
N为GOP组的帧数。
2.根据权利要求1所述的一种基于空时域恰可感知失真的码率分配方法，其特征在于：所述步骤一中，空域恰可感知失真模型公式如下，
SJND(x，y)＝max{z1(b(x，y)，m(x，y)，z2(b(x，y)))} (4)
其中，
SJND(x，y)表示像素点(x，y)处的空域恰可感知失真值；
z1(■)和z2(■)分别表示空域的掩蔽程度和亮度对比度；
b(x，y)和m(x，y)分别为滤波函数和最大梯度函数。
它们的定义分别为，
z1(b(x，y)，m(x，y))＝m(x，y)·α(b(x，y))+β(b(x，y)) (5)
其中，
α(b(x，y))＝θ·b(x，y)+δ (6)
β(b(x，y))＝μ-γ·b(x，y) (7)
式(6)和式(7)中，
其中，
θ＝0.0001，δ＝0.115，μ＝0.25，γ＝0.01。
Figure BDA0002055786570000192
式(8)中，
a表示
b表示
ε表示
a＝14，b＝3/128，ε＝2。滤波函数b(x，y)，其定义如式(9)所示，
Figure BDA0002055786570000193
其中，p(x+i，y+j)为图像(x+i，y+j)位置的像素值，B(i，j)为滤波模板。
最大梯度函数m(x，y)的定义为，
Figure BDA0002055786570000201
式(7)中，Gk(i，j)为四个梯度方向模板；
3.根据权利要求1所述的一种基于空时域恰可感知失真的码率分配方法，其特征在于：所述步骤四中，时域恰可感知失真模型公式如下，
Figure BDA0002055786570000202
其中，
Figure BDA0002055786570000203
δ＝3.2都是模型参数。将尺度因子T减小到0.8并且Δ(x，y.t)＜5时，序列时域静止区域允许的失真最小。Δ(x，y.t)表示t帧和t-1帧之间的平均亮度差，公式如下，
Figure BDA0002055786570000204
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的***、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种基于空时域恰可感知失真的码率分配方法，其特征在于，包括：
SJND模型建立步骤：根据空域上的掩蔽程度和亮度对比度，建立空域恰可感知失真模型SJND；
像素SJND值获取步骤：根据建立的空域恰可感知失真模型，获得图像上每个像素点p(x，y)的SJND值，即空域上每个像素可以允许的最大失真；
空域CTU码率权重分配步骤：根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配；
TJND模型建立步骤：在时域上根据帧间亮度差和背景亮度来建立时域恰可感知失真模型TJND；
像素TJND值获取步骤：通过时域恰可感知失真模型得到每个像素点p(x，y，t)的TJND值，即在时域上每个像素点允许的最大失真值；
权值计算步骤：根据求得的TJND值，获得时域第i帧的权值；
图像码率权重分配步骤：根据获得的时域第i帧的权值，对每帧图像的码率权重进行分配；
所述SJND模型建立步骤：
空域恰可感知失真模型公式如下：
SJND(x，y)＝max{z1(b(x，y)，m(x，y))，z2(b(x，y)))}
其中，
SJND(x，y)表示像素点(x，y)处的空域恰可感知失真值；
z1(■)和z2(■)分别表示空域的掩蔽程度和亮度对比度；
b(x，y)和m(x，y)分别表示滤波函数和最大梯度函数；
z1(b(x，y)，m(x，y))＝m(x，y)·α(b(x，y))+β(b(x，y))
α(b(x，y))＝θ·b(x，y)+δ
β(b(x，y))＝μ-γ·b(x，y)
其中，
α(b(x，y))和β(b(x，y))分别表示中间参数；
θ＝0.0001；
δ＝0.115；
μ＝0.25；
γ＝0.01；
Figure FDA0002882309990000021
其中，
a＝14；
b＝3/128；
ε＝2；
滤波函数b(x，y)为：
Figure FDA0002882309990000022
其中，
p(x+i，y+j)为图像(x+i，y+j)位置的像素值；
B(i，j)为滤波模板；
最大梯度函数m(x，y)为：
Figure FDA0002882309990000023
Gk(i，j)为四个梯度方向模板。
2.根据权利要求1所述的基于空时域恰可感知失真的码率分配方法，其特征在于，所述空域CTU码率权重分配步骤：
根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配，计算公式如下：
Figure FDA0002882309990000024
其中，
ωCTU表示空域的CTU码率分配权重；
n表示CTU的大小；
x表示CTU的像素横坐标；
y表示CTU的像素纵坐标；
SJND(x，y)表示(x，y)像素点的空域JND值。
3.根据权利要求2所述的基于空时域恰可感知失真的码率分配方法，其特征在于，所述TJND模型建立步骤：
时域恰可感知失真模型公式如下，
Figure FDA0002882309990000031
其中，
TJND(x，y，t)表示(x，y，t)像素点的时域JND值
τ表示尺度因子；
exp表示指数函数；
Figure FDA0002882309990000032
δ＝3.2都是模型参数；
Δ(x，y.t)表示t帧和t-1帧之间的平均亮度差，公式如下，
Figure FDA0002882309990000033
p(x，y，t)表示：(x，y，t)像素点的像素值；
p(x，y，t-1)表示：(x，y，t-1)像素点的像素值；
b(x，y，t)表示：(x，y，t)像素点的平均亮度值；
自(x，y，t-1)表示：(x，y，t-1)像素点的平均亮度值。
4.根据权利要求3所述的基于空时域恰可感知失真的码率分配方法，其特征在于，所述权值计算步骤：
根据求得的TJND值，获得时域第i帧的权值，计算公式如下：
Figure FDA0002882309990000034
其中，
T(i)表示第i帧的时域权值，i为帧数；
j表示像素坐标；
TJND(i)表示第i帧的TJND值，i为帧数；
W为帧长；
H为帧宽。
5.根据权利要求4所述的基于空时域恰可感知失真的码率分配方法，其特征在于，所述图像码率权重分配步骤：
根据获得的时域第i帧的权值T(i)，对每帧图像的码率权重进行分配，计算公式如下：
Figure FDA0002882309990000041
其中，
W(i)表示第i帧图像的码率分配权重，i为帧数；
T(j)表示第j帧的时域权值，j为帧数；
N为GOP组的帧数。
6.一种基于空时域恰可感知失真的码率分配***，其特征在于，包括：
SJND模型建立模块：根据空域上的掩蔽程度和亮度对比度，建立空域恰可感知失真模型SJND；
像素SJND值获取模块：根据建立的空域恰可感知失真模型，获得图像上每个像素点p(x，y)的SJND值，即空域上每个像素可以允许的最大失真；
空域CTU码率权重分配模块：根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配；
TJND模型建立模块：在时域上根据帧间亮度差和背景亮度来建立时域恰可感知失真模型TJND；
像素TJND值获取模块：通过时域恰可感知失真模型得到每个像素点p(x，y，t)的TJND值，即在时域上每个像素点允许的最大失真值；
权值计算模块：根据求得的TJND值，获得时域第i帧的权值；
图像码率权重分配模块：根据获得的时域第i帧的权值，对每帧图像的码率权重进行分配；
所述SJND模型建立模块：
空域恰可感知失真模型公式如下：
SJND(x，y)＝max{z1(b(x，y)，m(x，y))，z2(b(x，y)))}
其中，
SJND(x，y)表示像素点(x，y)处的空域恰可感知失真值；
z1(■)和z2(■)分别表示空域的掩蔽程度和亮度对比度；
b(x，y)和m(x，y)分别表示滤波函数和最大梯度函数；
z1(b(x，y)，m(x，y))＝m(x，y)·α(b(x，y))+β(b(x，y))
α(b(x，y))＝θ·b(x，y)+δ
β(b(x，y))＝μ-γ·b(x，y)
其中，
α(b(x，y))和β(b(x，y))分别表示中间参数；
θ＝0.0001；
δ＝0.115；
μ＝0.25；
γ＝0.01；
Figure FDA0002882309990000051
其中，
a＝14；
b＝3/128；
ε＝2；
滤波函数b(x，y)为：
Figure FDA0002882309990000052
其中，
p(x+i，y+j)为图像(x+i，y+j)位置的像素值；
B(i，j)为滤波模板；
最大梯度函数m(x，y)为：
Figure FDA0002882309990000053
Gk(i，j)为四个梯度方向模板；
所述空域CTU码率权重分配模块：
根据建立的空域恰可感知失真模型SJND，对空域CTU的码率进行权重分配，计算公式如下：
Figure FDA0002882309990000061
其中，
ωCTU表示空域的CTU码率分配权重；
n表示CTU的大小；
x表示CTU的像素横坐标；
y表示CTU的像素纵坐标；
SJND(x，y)表示(x，y)像素点的空域JND值；
所述TJND模型建立模块：
时域恰可感知失真模型公式如下，
Figure FDA0002882309990000062
其中，
TJND(x，y，t)表示(x，y，t)像素点的时域JND值
τ表示尺度因子；
exp表示指数函数；
Figure FDA0002882309990000063
δ＝3.2都是模型参数；
Δ(x，y.t)表示t帧和t-1帧之间的平均亮度差，公式如下，
Figure FDA0002882309990000064
p(x，y，t)表示：(x，y，t)像素点的像素值；
p(x，y，t-1)表示：(x，y，t-1)像素点的像素值；
b(x，y，t)表示：(x，y，t)像素点的平均亮度值；
b(x，y，t-1)表示：(x，y，t-1)像素点的平均亮度值。
7.根据权利要求6所述的基于空时域恰可感知失真的码率分配***，其特征在于，所述权值计算模块：
根据求得的TJND值，获得时域第i帧的权值，计算公式如下：
Figure FDA0002882309990000071
其中，
T(i)表示第i帧的时域权值，i为帧数；
j表示像素坐标；
TJND(i)表示第i帧的TJND值，i为帧数；
W为帧长；
H为帧宽；
所述图像码率权重分配模块：
根据获得的时域第i帧的权值T(i)，对每帧图像的码率权重进行分配，计算公式如下：
Figure FDA0002882309990000072
其中，
W(i)表示第i帧图像的码率分配权重，i为帧数；
T(j)表示第j帧的时域权值，j为帧数；
N为GOP组的帧数。
8.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的基于空时域恰可感知失真的码率分配方法的步骤。
CN201910388948.1A 2019-05-10 2019-05-10 基于空时域恰可感知失真的码率分配方法、***及介质 Active CN110062236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910388948.1A CN110062236B (zh) 2019-05-10 2019-05-10 基于空时域恰可感知失真的码率分配方法、***及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910388948.1A CN110062236B (zh) 2019-05-10 2019-05-10 基于空时域恰可感知失真的码率分配方法、***及介质

Publications (2)

Publication Number Publication Date
CN110062236A CN110062236A (zh) 2019-07-26
CN110062236B true CN110062236B (zh) 2021-04-23

Family

ID=67322669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910388948.1A Active CN110062236B (zh) 2019-05-10 2019-05-10 基于空时域恰可感知失真的码率分配方法、***及介质

Country Status (1)

Country Link
CN (1) CN110062236B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112738518B (zh) * 2019-10-28 2022-08-19 北京博雅慧视智能技术研究院有限公司 一种基于感知的ctu级视频编码的码率控制方法
CN112911292B (zh) * 2019-12-04 2022-08-05 四川大学 一种基于空时域联合信息的hevc码率控制优化方法
CN111757112B (zh) * 2020-06-24 2023-04-25 重庆大学 一种基于恰可察觉失真的hevc感知码率控制方法
CN113422956B (zh) * 2021-06-17 2022-09-09 北京金山云网络技术有限公司 一种图像编码方法、装置、电子设备及存储介质
CN115604477B (zh) * 2022-12-14 2023-03-31 广州波视信息科技股份有限公司 一种超高清视频失真优化编码方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534432A (zh) * 2009-04-09 2009-09-16 上海广电（集团）有限公司中央研究院 基于人眼感知模型的码率控制方法
CN108063944A (zh) * 2017-12-14 2018-05-22 西北工业大学 一种基于视觉显著性的感知码率控制方法
CN108965879A (zh) * 2018-08-31 2018-12-07 杭州电子科技大学 一种空时域自适应恰可察觉失真的度量方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534432A (zh) * 2009-04-09 2009-09-16 上海广电（集团）有限公司中央研究院 基于人眼感知模型的码率控制方法
CN108063944A (zh) * 2017-12-14 2018-05-22 西北工业大学 一种基于视觉显著性的感知码率控制方法
CN108965879A (zh) * 2018-08-31 2018-12-07 杭州电子科技大学 一种空时域自适应恰可察觉失真的度量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于空-时域视觉敏感度的码率分配算法;杨郑龙，王国中，朱林林;《计算机应用与软件》;20190131;第36卷(第1期);第240-242页 *

Also Published As

Publication number Publication date
CN110062236A (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
CN110062236B (zh) 基于空时域恰可感知失真的码率分配方法、***及介质
CN107439012B (zh) 用于环内转换的方法、装置和计算机可读存储介质
KR101939012B1 (ko) 하이 다이내믹 레인지 이미지들을 위한 콘텐츠 적응적 지각 양자화기
EP2609746B1 (en) Extending image dynamic range
US20170347105A1 (en) Quantization Method and Apparatus in Encoding/Decoding
US12022096B2 (en) Human visual system adaptive video coding
CN109792523B (zh) 单层后向兼容编解码器的实时整形
CN112399176B (zh) 一种视频编码方法、装置、计算机设备及存储介质
CN104378636B (zh) 一种视频图像编码方法及装置
US20210014495A1 (en) Video encoding
CN110662044A (zh) 一种视频编码方法、视频编码装置及计算机存储介质
CN105144231B (zh) 选择图像动态范围转换算子的方法和设备
CN111709896A (zh) 一种将ldr视频映射为hdr视频的方法和设备
CN104994382A (zh) 一种感知率失真的优化方法
DE102013015821A1 (de) System und Verfahren zur Verbesserung der Videokodierung unter Verwendung von Inhaltsinformation
CN107105240B (zh) 一种hevc-scc复杂度控制方法及其***
CN112437301A (zh) 一种面向视觉分析的码率控制方法、装置、存储介质及终端
US10616585B2 (en) Encoding data arrays
CN115567712A (zh) 基于人眼恰可察觉失真的屏幕内容视频编码感知码率控制方法及装置
CN107592535B (zh) H.265/hevc图像层码率控制方法
US11825088B2 (en) Adaptively encoding video frames based on complexity
CN113573058B (zh) 一种基于时空显著性融合的帧间图像编码方法
KR101051564B1 (ko) 에이치닷264에이브이씨 코덱 시스템의 가중치 예측방법
CN112040246B (zh) 一种低时延低复杂度的固定码率控制方法
CN111192210B (zh) 一种自适应增强的视频去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant