CN113194312A - 结合视觉显著性的行星科学探测图像自适应量化编码*** - Google Patents

结合视觉显著性的行星科学探测图像自适应量化编码*** Download PDF

Info

Publication number
CN113194312A
CN113194312A CN202110460101.7A CN202110460101A CN113194312A CN 113194312 A CN113194312 A CN 113194312A CN 202110460101 A CN202110460101 A CN 202110460101A CN 113194312 A CN113194312 A CN 113194312A
Authority
CN
China
Prior art keywords
coding
saliency
quantization parameter
coding unit
significance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110460101.7A
Other languages
English (en)
Other versions
CN113194312B (zh
Inventor
戴育岐
薛长斌
周莉
李晓斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Space Science Center of CAS
Original Assignee
National Space Science Center of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Space Science Center of CAS filed Critical National Space Science Center of CAS
Priority to CN202110460101.7A priority Critical patent/CN113194312B/zh
Publication of CN113194312A publication Critical patent/CN113194312A/zh
Application granted granted Critical
Publication of CN113194312B publication Critical patent/CN113194312B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种结合视觉显著性的行星科学探测图像自适应量化编码***，部署在探测卫星上，***包括：显著性检测模块、自适应量化参数调整模块和HEVC编码模块；其中，显著性检测模块，用于对获取的行星科学探测原始图像进行显著性检测，得到全局显著图；自适应量化参数调整模块，用于按照编码单元的尺寸对全局显著图进行划分，得到与编码单元对应的显著子图，对显著子图执行结合视觉显著性的感知量化编码策略，计算得到每个编码单元的加权量化分量和感知量化分量，进而得到每个编码单元的量化参数偏移量；HEVC编码模块，用于根据每个编码单元的量化参数偏移量，对原始图像进行HEVC帧内编码，得到压缩图像并发送至地面。

Description

结合视觉显著性的行星科学探测图像自适应量化编码***
技术领域
本发明涉及计算机视觉、图像压缩技术领域，尤其涉及结合视觉显著性的行星科学探测图像自适应量化编码***。
背景技术
行星探测过程中采集到的光学载荷数据具有极大的研究价值，获取和分析原始图像数据对于科学家进行地表地貌分析、探索未知有着十分重要的意义。原始的高分辨率图像数据量大且往往包含多种冗余信息，需要占据较大的存储和传输空间，同时复杂特殊的深空通信环境严重限制科学数据的回传速率，因此需要采取高效可靠的图像编码方案，对原始图像数据进行最大限度的在轨处理和压缩，降低数据传输量，减小传输***的压力，提高卫星通信效率。
从信息论的角度，描述图像信源的数据由有效信息量和冗余量两部分组成，图像压缩算法的本质在于通过消除数据中存在的各类冗余信息如空域、时域、视觉、统计等实现减少数据量的目的。过去的几十年间，图像压缩编码技术一直处于快速发展之中，新技术新标准不断被更新迭代以适应于各种带宽场景的应用需求。从传统的JPEG、JPEG2000静止图像压缩标准再到支持有效图像压缩的MPEG系列、H.26X系列等视频压缩标准，预测、变换、量化、熵编码形成的混合编码框架已成为主流设计方向，各模块的更优化设计是研究的焦点。发展到现在编码性能的提升变得越来越难，研究人员开始关注基于内容的图像压缩编码，深入挖掘视觉冗余，以进一步增大压缩比例提高编码效率，实现码率较低的同时仍保证图像的主观质量。这其中一个重要的研究方向是将视觉显著性(Visual saliencydetection)与传统编码相结合的感兴趣区域(Region-Of-Interest，ROI)编码。显著性驱动的ROI编码方案一般按照以下流程，首先对输入图像进行显著性检测，然后通过调整编码参数分别控制不同区域的失真程度来改善图像的编码质量。
传统的显著性检测方法大多基于手工设计的特征描述算子，通常表征图像的低级特征，不能识别和理解图像中丰富的语义对象信息。近年来，得益于硬件算力的快速提升，以深度神经网络为代表的人工智能技术(Artificial Intelligence，AI)已被广泛应用于图像分类、物体检测、目标跟踪等视觉任务中。基于神经网络的显著性检测方法突破了传统手工特征的局限性，显示了强大的表征学习能力。
结合视觉显著性进行编码优化的方法因为不需要改变码流的语法结构，可以应用于任何视频图像压缩编码标准。这类在编码预处理阶段设计语义理解单元的ROI编码方法，考虑人眼视觉***对图像内容感知的选择性和偏向性，能够对复杂视觉输入信息进行有效的过滤提取，从提升视觉感知效率的角度对编码过程进行优化，编码图像质量提高的同时增加了整体处理流程的复杂度，因此设计高效的图像显著性检测算法和合理的编码资源分配方法是提升编码效率的关键。
发明内容
现有的HEVC编码方案没有考虑图像内容特性的问题，本发明的目的在于克服上述现有技术缺陷，提出了涉及结合视觉显著性的行星科学探测图像自适应量化编码***。
为了实现上述目的，本发明提出了一种结合视觉显著性的行星科学探测图像自适应量化编码***，部署在探测卫星上，所述***包括：显著性检测模块、自适应量化参数调整模块和HEVC编码模块；其中，
所述显著性检测模块，用于对获取的行星科学探测原始图像进行显著性检测，得到与原始图像相同尺寸的全局显著图并输入自适应量化参数调整模块；
所述自适应量化参数调整模块，用于按照编码单元的尺寸对全局显著图进行划分，得到与编码单元对应的显著子图，对显著子图执行结合视觉显著性的感知量化编码策略，计算得到每个编码单元的加权量化分量和感知量化分量，进而得到每个编码单元的量化参数偏移量并输入HEVC编码模块；
所述HEVC编码模块，用于根据每个编码单元的量化参数偏移量，对原始图像进行HEVC帧内自适应编码，得到压缩图像并发送至地面。
作为上述***的一种改进，所述显著性检测模块包括依次连接的预先建立和训练好的ResNet50模型、排序单元、权重向量计算单元、特征图加权求和单元以及上采样单元；其中，
所述ResNet50模型，用于从原始图像中提取多层深度语义特征；所述ResNet50模型包括依次连接的卷积层和全连接层；
所述排序单元，用于对ResNet50模型的全连接层的输出张量y进行数值排序，得到排名前五的类别向量c：
Figure BDA0003041941290000021
所述权重向量计算单元，用于根据
Figure BDA0003041941290000031
对卷积层输出的各通道特征图依次计算梯度平均，得到对应的权重向量
Figure BDA0003041941290000032
Figure BDA0003041941290000033
其中，
Figure BDA0003041941290000034
为第k个通道特征图对应的权重为：
Figure BDA0003041941290000035
其中，z表示第k个通道特征图的像素值总和，
Figure BDA0003041941290000036
表示第k个通道特征图Ak中(m,n)坐标位置处的像素值；
所述特征图加权求和单元，用于根据每个通道特征图对应的权重，将各通道特征图按照下式进行线性加权融合，得到显著图Sal：
Figure BDA0003041941290000037
其中，ReLU()表示线性修正函数：
Figure BDA0003041941290000038
其中，v表示线性修正函数的变量；
所述上采样单元，用于对显著图Sal进行上采样插值处理，得到与原始图像相同尺寸的输出全局显著图Salout：
Salout＝Upsample(Sal)
其中，Upsample为上采样插值函数。
作为上述***的一种改进，所述自适应量化参数调整模块的具体处理过程包括：
根据全局显著图Salout计算得到全局平均显著度Salavg；
按照编码单元的尺寸对全局显著图进行划分，得到M×N个显著子图，对应M×N个编码单元；
遍历每个显著子图，结合预设的量化参数QPinit和显著度控制因子β，通过计算全局显著性对比结果与局部显著度感知结果，得到对应各编码单元的量化参数偏移量，并输入HEVC编码模块。
作为上述***的一种改进，所述遍历每个显著子图，结合预设的量化参数QPinit和显著度控制因子β，通过计算全局显著性对比结果与局部显著度感知结果，得到对应各编码单元的量化参数偏移量，并输入HEVC编码模块；具体包括：
计算第s行第t列显著子图的平均显著度Salcu_avg和显著度总和Salcu_sum，并计算得到第s行第t列编码单元的显著性权重ω：
Figure BDA0003041941290000041
其中，1≤s≤M，1≤t≤N；
基于该编码单元对应的显著性权重ω和预设的量化参数QPinit，计算得到该编码单元的加权量化分量QPweighted为：
Figure BDA0003041941290000042
基于预设的显著度控制因子β和该编码单元对应的显著度总和Salcu_sum，计算得到该编码单元的感知量化分量QPsal_offset为：
QPsal_offset＝β*logSalcu_sum
根据下式计算得到第s行第t列编码单元的量化参数偏移量ΔDQPst为：
ΔDQPst＝QPweighted+QPsal_offset-QPinit；
将ΔDQPst输入HEVC编码模块。
与现有技术相比，本发明的优势在于：
1、本发明的***基于多层神经网络进行图像显著性检测，得到图像显著图，火星表面存在大量岩石、陨石坑等纹理丰富、尺寸多样但形态单一的目标，相比于传统基于手工设计特征的显著性检测算法，本文算法提取出的显著区域更加完整，有效内容的覆盖面积更大，与人类的主观感知结果更加一致；
2、本发明的***，对不同编码单元根据对应的显著子图自适应调整相应的量化参数，编码过程中量化参数的设置直接影响到图像内容的重建质量，本发明的自适应量化参数调整模块综合考虑全局显著性对比结果和局部显著性感知结果，对显著度较高的区域进行细量化，对非显著区域进行粗量化，实现编码比特资源的合理分配。
附图说明
图1是本发明的结合视觉显著性的行星科学探测图像自适应量化编码***整体结构框图；
图2是本发明的显著性检测模块组成示意图；
图3是本发明的自适应量化参数调整模块处理流程图；
图4(a)是本发明与标准HEVC方法在固定QP下的率失真性能比较(基于PSNR客观评价方法)；
图4(b)是本发明与标准HEVC方法在固定QP下的率失真性能比较(基于PSNR-HVS客观评价方法)；
图4(c)是本发明与标准HEVC方法在固定QP下的率失真性能比较(基于PSNR-HVS-M客观评价方法)；
图4(d)是本发明与标准HEVC方法在固定QP下的率失真性能比较(基于SSIM客观评价方法)；
图4(e)是本发明与标准HEVC方法在固定QP下的率失真性能比较(基于MS-SSIM客观评价方法)；
图4(f)是本发明与标准HEVC方法在固定QP下的率失真性能比较(基于VIFP客观评价方法)；
图5(a)是本发明与标准HEVC方法在固定码率下的率失真性能比较(基于PSNR客观评价方法)；
图5(b)是本发明与标准HEVC方法在固定码率下的率失真性能比较(基于PSNR-HVS客观评价方法)；
图5(c)是本发明与标准HEVC方法在固定码率下的率失真性能比较(基于PSNR-HVS-M客观评价方法)；
图5(d)是本发明与标准HEVC方法在固定码率下的率失真性能比较(基于SSIM客观评价方法)；
图5(e)是本发明与标准HEVC方法在固定码率下的率失真性能比较(基于MS-SSIM客观评价方法)；
图5(f)是本发明与标准HEVC方法在固定码率下的率失真性能比较(基于VIFP客观评价方法)。
具体实施方式
本发明面向行星科学探测图像压缩提出了一套结合视觉显著性的自适应量化编码***。首先设计了一种基于多层神经网络的显著性检测算法，对原始图像提取全局显著图，然后提出一种结合全局显著性对比和局部显著度感知的量化参数调整算法，为每个编码单元按照显著程度分配不同的量化参数，代替对整个图像使用相同的量化参数方案，将更多编码比特和计算复杂度分配给更符合人眼视觉特性的显著区域。同时考虑人眼视觉的感知特性，引入了多个结合视觉感知机理的客观失真度量方法对压缩重建后的图像质量进行联合评估。
在公开的火星图像数据上进行的验证实验结果表明，与标准的HEVC实现方案相比，初始量化参数一定的情况下本文所提算法平均节省4.10％的编码比特率同时实现了更好的视觉质量；在相同码率的情况下本发明压缩重建后的图像质量显著提升。
整体自适应量化编码***包括图像获取模块、显著性检测模块、自适应量化参数调整模块以及HEVC编码模块。
整个算法设计包括以下步骤：
(1)首先将获取到的图像数据输入到显著性检测模块，对图像进行显著性检测得到与原图同尺寸的全局显著图；
(2)将显著图结果输入到自适应量化参数调整模块，按照编码单元大小划分全局显著图得到若干显著子图，依次遍历各编码单元对应的显著子图，通过计算显著性权重与局部显著度感知得到各编码单元对应的量化参数偏移量，最终得到与图像编码单元划分尺寸一致的量化参数偏移矩阵；
(3)将原图像与量化参数偏移矩阵输入到HEVC编码模块中进行图像压缩，得到压缩图像数据并发送至地面。
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例1
本发明的整体结构框图如图1所示，输入数据来自负责图像数据采集的相机或已存储的原始图像数据。
显著性检测模块计算如图2所示，主要包括以下实施步骤：
(1)使用在大型分类数据集ImageNet上训练好的ResNet50模型，根据输入图像计算得到神经网络模型最后一层卷积层的输出张量A以及全连接层输出张量y；
(2)对输出张量y进行数值排序，得到排名前五的类别向量c：
Figure BDA0003041941290000061
(3)根据
Figure BDA0003041941290000071
对卷积层输出的各通道特征图依次计算梯度平均，得到对应的权重向量
Figure BDA0003041941290000072
其中，
Figure BDA0003041941290000073
为第k个通道特征图对应的权重如下式，采用对卷积层特征图反向求导的梯度平均作为权重参数：
Figure BDA0003041941290000074
其中，z表示第k个通道特征图的像素值总和，
Figure BDA0003041941290000075
表示第k个通道特征图Ak中(m,n)坐标位置处的像素值；
(4)根据每个通道特征图对应的权重，将各通道特征图按照下式进行线性加权融合，得到显著图Sal：
Figure BDA0003041941290000076
其中ReLU()表示线性修正函数，只保留大于0的输出,
Figure BDA0003041941290000077
其中，v表示线性修正函数的变量；
(5)对融合特征图进行上采样插值处理，得到与输入图像同尺寸的输出全局显著图Salout：
Salout＝Upsample(Sal)
其中，Upsample为上采样插值函数。
自适应量化参数调整模块具体算法流程如图3所示，主要包括以下计算步骤：
编码过程中量化参数的调节直接影响到图像内容的重建质量，本文提出了一种结合视觉显著性的语义感知量化编码策略，计算过程首先按照编码单元大小划分全局显著图，然后依次遍历各编码单元对应的显著子图，根据显著性调节各编码单元的量化参数，通过计算加权量化分量QPweighted和感知量化分量QPsal_offset两部分进而得到各编码单元对应的量化参数偏移值，表示当前编码单元的量化参数与初始图像量化参数QPinit的差值，计算方法如下式：
ΔDQPst＝QPweighted+QPsal_offset-QPinit(1≤s≤M，1≤t≤N)
最终得到与图像编码单元划分尺寸一致的二维量化参数偏移矩阵ΔDQP，大小为M×N。
各编码单元对应的加权量化分量QPweighted和感知量化分量QPsal_offset计算步骤如下：(1)QPweighted根据各编码单元的平均显著度Salcu_avg与全局平均显著度Salavg比值计算全局显著性对比权重ω计算得到，如下式：
Figure BDA0003041941290000081
Figure BDA0003041941290000082
(2)QPsal_offset根据各编码单元的显著度总和Salcu_sum进行对数运算得到
QPsal_offset＝β*logSalcu_sum
为验证本发明的有效性，设计实施了以下对比实验。实验验证的硬件配置为lntel(R)Core(TM)i7-6700 [email protected] 3.41GHz，内存为36G；软件配置为Microsoft VisualStudio 2015平台，HEVC编解码测试模型为HM16.20，测试时使用NASA(nasa.gov.com)提供的真实火星表面图像数据共计50幅，图像分辨率为1344x1200，编码设置采用全I帧(AllIntra Main，AI-Main)配置模式。作为对比，我们以HM软件固定量化参数的结果作为标准HEVC编码基准，按照官方配置文件encoder_intra_main.cfg进行设置，使用这组{22，25，28，32，35，38，41，44，47，51}量化参数进行压缩编码得到十组对比结果。为更全面地评估算法编码性能优劣，我们在6组客观图像质量评价指标上对本文提出算法的编码结果进行对比测试验证编码***性能，以折线图形式直观表示对比结果如图4(a)-(f)所示。可以明显看出，本文所提算法的性能指标曲线均在HEVC原始算法曲线之上，实验结果说明本文所提算法在保持相同主观质量的前提下可以有效降低码率。
当固定输出码率时，HEVC编码器设计基于率失真优化理论，遍历所有率失真性能点对比得到该编码器的最优率失真性能，进而选出最优的编码参数集合，依次完成不同单元的比特分配，然后依据码率与拉格朗日因子之间建立的数学模型估算得到相应的量化参数，实现码率控制。本文以HM16.20为基准，固定输出比特率(bit per pixel,bbp)，对比实验结果以直方图形式展示如下图5(a)-(f)所示，可以看出相对于标准HEVC编码器，本文算法编码后的图像质量各指标均实现了明显提升。
综上，固定量化参数时本发明中的HEVC帧内自适应量化编码算法在保持图像视觉质量保持稳定的前提下能够节省更多的码率，固定码率条件下，本文算法可以有效提升图像质量，各项指标分别实现了显著的增益。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种结合视觉显著性的行星科学探测图像自适应量化编码***，部署在探测卫星上，其特征在于，所述***包括：显著性检测模块、自适应量化参数调整模块和HEVC编码模块；其中，
所述显著性检测模块，用于对获取的行星科学探测原始图像进行显著性检测，得到与原始图像相同尺寸的全局显著图并输入自适应量化参数调整模块；
所述自适应量化参数调整模块，用于按照编码单元的尺寸对全局显著图进行划分，得到与编码单元对应的显著子图，对显著子图执行结合视觉显著性的感知量化编码策略，计算得到每个编码单元的加权量化分量和感知量化分量，进而得到每个编码单元的量化参数偏移量并输入HEVC编码模块；
所述HEVC编码模块，用于根据每个编码单元的量化参数偏移量，对原始图像进行HEVC帧内自适应编码，得到压缩图像并发送至地面。
2.根据权利要求1所述的结合视觉显著性的行星科学探测图像自适应量化编码***，其特征在于，所述显著性检测模块包括依次连接的预先建立和训练好的ResNet50模型、排序单元、权重向量计算单元、特征图加权求和单元以及上采样单元；其中，
所述ResNet50模型，用于从原始图像中提取多层深度语义特征；所述ResNet50模型包括依次连接的卷积层和全连接层；
所述排序单元，用于对ResNet50模型的全连接层的输出张量y进行数值排序，得到排名前五的类别向量c：
c＝{ci},i＝1,2,3,4,5
所述权重向量计算单元，用于根据
Figure FDA0003041941280000015
对卷积层输出的各通道特征图依次计算梯度平均，得到对应的权重向量
Figure FDA0003041941280000016
Figure FDA0003041941280000011
其中，
Figure FDA0003041941280000012
为第k个通道特征图对应的权重为：
Figure FDA0003041941280000013
其中，z表示第k个通道特征图的像素值总和，
Figure FDA0003041941280000014
表示第k个通道特征图Ak中(m,n)坐标位置处的像素值；
所述特征图加权求和单元，用于根据每个通道特征图对应的权重，将各通道特征图按照下式进行线性加权融合，得到显著图Sal：
Figure FDA0003041941280000021
其中，ReLU()表示线性修正函数：
Figure FDA0003041941280000022
其中，v表示线性修正函数的变量；
所述上采样单元，用于对显著图Sal进行上采样插值处理，得到与原始图像相同尺寸的输出全局显著图Salout：
Salout＝Upsample(Sal)
其中，Upsample为上采样插值函数。
3.根据权利要求2所述的结合视觉显著性的行星科学探测图像自适应量化编码***，其特征在于，所述自适应量化参数调整模块的具体处理过程包括：
根据全局显著图Salout计算得到全局平均显著度Salavg；
按照编码单元的尺寸对全局显著图进行划分，得到M×N个显著子图，对应M×N个编码单元；
遍历每个显著子图，结合预设的量化参数QPinit和显著度控制因子β，通过计算全局显著性对比结果与局部显著度感知结果，得到对应各编码单元的量化参数偏移量，并输入HEVC编码模块。
4.根据权利要求3所述的结合视觉显著性的行星科学探测图像自适应量化编码***，其特征在于，所述遍历每个显著子图，结合预设的量化参数QPinit和显著度控制因子β，通过计算全局显著性对比结果与局部显著度感知结果，得到对应各编码单元的量化参数偏移量，并输入HEVC编码模块；具体包括：
计算第s行第t列显著子图的平均显著度Salcu_avg和显著度总和Salcu_sum，并计算得到第s行第t列编码单元的显著性权重ω：
Figure FDA0003041941280000023
其中，1≤s≤M，1≤t≤N；
基于该编码单元对应的显著性权重ω和预设的量化参数QPinit，计算得到该编码单元的加权量化分量QPweighted为：
Figure FDA0003041941280000031
基于预设的显著度控制因子β和该编码单元对应的显著度总和Salcu_sum，计算得到该编码单元的感知量化分量QPsal_offset为：
QPsal_offset＝β*logSalcu_sum
根据下式计算得到第s行第t列编码单元的量化参数偏移量ΔDQPst为：
ΔDQPst＝QPweighted+QPsal_offset-QPinit；
将ΔDQPst输入HEVC编码模块。
CN202110460101.7A 2021-04-27 2021-04-27 结合视觉显著性的行星科学探测图像自适应量化编码*** Active CN113194312B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110460101.7A CN113194312B (zh) 2021-04-27 2021-04-27 结合视觉显著性的行星科学探测图像自适应量化编码***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110460101.7A CN113194312B (zh) 2021-04-27 2021-04-27 结合视觉显著性的行星科学探测图像自适应量化编码***

Publications (2)

Publication Number Publication Date
CN113194312A true CN113194312A (zh) 2021-07-30
CN113194312B CN113194312B (zh) 2021-12-07

Family

ID=76979428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110460101.7A Active CN113194312B (zh) 2021-04-27 2021-04-27 结合视觉显著性的行星科学探测图像自适应量化编码***

Country Status (1)

Country Link
CN (1) CN113194312B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116828184A (zh) * 2023-08-28 2023-09-29 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106507116A (zh) * 2016-10-12 2017-03-15 上海大学 一种基于3d显著性信息和视点合成预测的3d‑hevc编码方法
US20190281295A1 (en) * 2016-11-28 2019-09-12 Nippon Hoso Kyokai Encoding device, decoding device, encoding method, and decoding method
CN111083477A (zh) * 2019-12-11 2020-04-28 北京航空航天大学 基于视觉显著性的hevc优化算法
CN111432207A (zh) * 2020-03-30 2020-07-17 北京航空航天大学 基于显著目标检测和显著性指导的感知高清视频编码方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106507116A (zh) * 2016-10-12 2017-03-15 上海大学 一种基于3d显著性信息和视点合成预测的3d‑hevc编码方法
US20190281295A1 (en) * 2016-11-28 2019-09-12 Nippon Hoso Kyokai Encoding device, decoding device, encoding method, and decoding method
CN111083477A (zh) * 2019-12-11 2020-04-28 北京航空航天大学 基于视觉显著性的hevc优化算法
CN111432207A (zh) * 2020-03-30 2020-07-17 北京航空航天大学 基于显著目标检测和显著性指导的感知高清视频编码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张梦男: "基于视觉感知特性的HEVC CTU层码率控制算法研究", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116828184A (zh) * 2023-08-28 2023-09-29 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质
CN116828184B (zh) * 2023-08-28 2023-12-22 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN113194312B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
Li et al. Learning convolutional networks for content-weighted image compression
Quach et al. Improved deep point cloud geometry compression
CN109889839B (zh) 基于深度学习的感兴趣区域图像编码、解码***及方法
CN111726633B (zh) 基于深度学习和显著性感知的压缩视频流再编码方法
CN110717868B (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
CN113822147B (zh) 一种协同机器语义任务的深度压缩方法
CN114449276B (zh) 一种基于学习的超先验边信息补偿图像压缩方法
EP4260558A1 (en) Method and data processing system for lossy image or video encoding, transmission and decoding
CN111681293A (zh) 一种基于卷积神经网络的sar图像压缩方法
US8249372B2 (en) Methods and devices for coding and decoding multidimensional digital signals
CN103501438A (zh) 一种基于主成分分析的内容自适应图像压缩方法
CN113194312B (zh) 结合视觉显著性的行星科学探测图像自适应量化编码***
CN110677644B (zh) 一种视频编码、解码方法及视频编码帧内预测器
CN113947538A (zh) 一种多尺度高效卷积自注意力单幅图像除雨方法
CN116896638A (zh) 一种面向输电运检场景的数据压缩编码技术
CN114463449A (zh) 一种基于边缘引导的高光谱图像压缩方法
CN115147317A (zh) 一种基于卷积神经网络的点云颜色质量增强方法及***
Cheng et al. Perceptual image compression using relativistic average least squares gans
CN111107360B (zh) 一种光谱-空间维联合的高光谱图像无损压缩方法及***
CN114882133B (zh) 一种图像编解码方法、***、设备及介质
CN117459737B (zh) 一种图像预处理网络的训练方法和图像预处理方法
Zhang et al. An Improved Quantization Algorithm for Electric Power Inspection
CN117853367A (zh) 一种基于多任务学习与边缘导向重参数网络的图像去块效应方法
Sadanandan et al. Image compression with modified skipline encoding and curve fitting
Fu et al. Learned Image Compression with Inception Residual Blocks and Multi-Scale Attention Module

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant