CN113573058B - 一种基于时空显著性融合的帧间图像编码方法 - Google Patents

一种基于时空显著性融合的帧间图像编码方法 Download PDF

Info

Publication number
CN113573058B
CN113573058B CN202111112916.2A CN202111112916A CN113573058B CN 113573058 B CN113573058 B CN 113573058B CN 202111112916 A CN202111112916 A CN 202111112916A CN 113573058 B CN113573058 B CN 113573058B
Authority
CN
China
Prior art keywords
saliency map
time
node
space
saliency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111112916.2A
Other languages
English (en)
Other versions
CN113573058A (zh
Inventor
蒋先涛
蔡佩华
张纪庄
郭咏梅
郭咏阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kangda Intercontinental Medical Devices Co ltd
Original Assignee
Kangda Intercontinental Medical Devices Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kangda Intercontinental Medical Devices Co ltd filed Critical Kangda Intercontinental Medical Devices Co ltd
Priority to CN202111112916.2A priority Critical patent/CN113573058B/zh
Publication of CN113573058A publication Critical patent/CN113573058A/zh
Application granted granted Critical
Publication of CN113573058B publication Critical patent/CN113573058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于时空显著性融合的帧间图像编码方法，涉及图像处理技术领域，主要包括步骤：根据各像素点的时域运动矢量获取时间显著图；根据各像素点的均值特征提取帧间图像中具有超像素特征的单层图；根据单层图中以及节点对应像素点的均值特征进行转移矩阵的获取；根据转移矩阵基于马尔科夫链理论进行空间显著图的获取；根据时间显著图和空间显著图间的权重关系进行时空显著图的获取；根据时空显著图进行显著图的获取；根据显著图中对应像素点的均值特征动态调整量化参数，并根据量化参数对帧间图像进行编码。本发明将图像时域、空域上运动特征相结合获取时空域显著图进行编码，使编码后的数据包含更多图像信息，提高了解码后的保真度。

Description

一种基于时空显著性融合的帧间图像编码方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于时空显著性融合的帧间图像编码方法。
背景技术
目前，伴随着H.265/HEVC及其扩展编码标准的应用越来越广泛,已知的感知计算模型主要分为四类：感兴趣区域计算模型(Region of Interest，ROI)、视觉注意模型(Visual Attention)、视觉敏感度模型(Visual Sensitivity)、交叉知觉注意模型(Cross-Modal Attention)。而感知编码方法又可分为三类：预处理方法、不可扩展编码方法、可扩展编码方法。其中，预处理方法通常在编码之前对原视频中的帧间图像进行视觉优化处理，它不需要对编码器做改动。不可扩展编码方法在进行视觉优化处理的同时需对编解码器做改动。可扩展编码方法在进行视觉优化处理时仅需对编码器做改动。评价感知编码性能的标准在于编码效率的提高或视觉质量改善，对于一些实时应用，感知模型的计算复杂度也需要验证。
虽然基于视觉感知的帧间图像编码研究在近年取得了很大的进展，但仍然存在不足之处。帧间图像显著性计算模型方面：目前还缺少针对帧间图像编码应用有效的计算模型。虽然国际上针对静态图像显著性研究有了很大的进展，但针对动态帧间图像显著性检测的研究还处在起步阶段，尚未形成体系。而现有的感知编码框架还不够完善，帧间图像感知器与编码器的信息交互只限于显著性目标检测，它不利于两者的信息共享（如前景和背景的划分信息、运动类型信息等）。
而随着大众传媒行业的发展，对于视频传输的时效性和保真度要求越来越高。基于此，对于帧间图像编码的计算模型研究还具有很大的发展空间。
发明内容
为了完善现有技术中对帧间图像进行编码时的不足之处，本发明提出了一种基于时空显著性融合的帧间图像编码方法，包括步骤：
S1：获取帧间图像并通过色差计算空间提取各个像素点的均值特征；
S2：通过光流算法获取帧间图像中各像素点的时域运动矢量，并根据各像素点的时域运动矢量获取时间显著图；
S3：根据各像素点的均值特征提取帧间图像中具有超像素特征的单层图；
S4：根据单层图中节点与边的权重关系以及节点对应像素点的均值特征进行转移矩阵的获取；
S5：根据转移矩阵基于马尔科夫链理论进行空间显著图的获取；
S6：根据时间显著图和空间显著图间的权重关系进行时空显著图的获取；
S7：根据时空显著图进行预设色阶范围内的归一化处理得到显著图；
S8：根据显著图中对应像素点的均值特征动态调整量化参数，并根据量化参数对帧间图像进行编码。
进一步地，所述时间显著图由各像素点的时间显著性值组成，其中时间显著性值的获取可表示为如下公式组：
Figure 526821DEST_PATH_IMAGE001
Figure 135307DEST_PATH_IMAGE002
Figure 790410DEST_PATH_IMAGE003
式中，(x，y)为像素点i的像素坐标，MV(x，y)为时域运动矢量的幅度量，MVx(x，y)为时域运动矢量的水平分量，MVy(x，y)为时域运动矢量的垂直分量；
Figure 60986DEST_PATH_IMAGE004
用于增强幅度量，
Figure 875358DEST_PATH_IMAGE005
和
Figure 697821DEST_PATH_IMAGE006
为常量参数；
Figure 774973DEST_PATH_IMAGE007
用于将增强后的幅度量归一化到预设色阶范围内，
Figure 973874DEST_PATH_IMAGE008
为像素点i对应的时间显著性值。
进一步地，单层图的节点包括瞬态节点和吸收节点，其中各节点均连接到与该节点相邻或与该节点的相邻节点共享边的瞬态节点，所述S4步骤中，还包括步骤：
根据节点对应像素点的均值特征获取相邻节点之间边的权重，并对节点进行重编号。
进一步地，所述相邻节点之间边的权重可表示为：
Figure 642752DEST_PATH_IMAGE009
式中，m、n为单层图中相邻的两个节点，wmn为节点m和节点n之间边的权重，xm、xn分别为节点m和节点n的对应像素点的均值特征，
Figure 636116DEST_PATH_IMAGE010
为常数，
Figure 390446DEST_PATH_IMAGE011
为欧拉数。
进一步地，所述转移矩阵可用如下公式组表示：
Figure 189774DEST_PATH_IMAGE012
Figure 713160DEST_PATH_IMAGE013
Figure 143004DEST_PATH_IMAGE014
式中，
Figure 384629DEST_PATH_IMAGE015
为节点m重编号后的编号，
Figure 659753DEST_PATH_IMAGE016
为节点n重编号后的编号，A为邻接矩阵，
Figure 116273DEST_PATH_IMAGE017
为邻接矩阵的表达式，N(m)表示节点n与节点m连通，D为度矩阵，P为转移矩阵，t为瞬态节点的数量。
进一步地，所述空间显著图由各像素点的空间显著性值组成，其中空间显著性值的获取表示为如下公式组：
Figure 451439DEST_PATH_IMAGE018
Figure 180361DEST_PATH_IMAGE019
式中，Q为转移矩阵P以马尔科夫吸收链表示后的任一瞬态之间的转移概率，I是r×r大小的矩阵，r为吸收节点的数量，c是所有元素均为1的t维列向量，y为对应瞬态节点的吸收时间；
Figure 259176DEST_PATH_IMAGE020
为对应的瞬态节点
Figure 757153DEST_PATH_IMAGE021
重编号后的编号，
Figure 528800DEST_PATH_IMAGE022
为编号对应瞬态节点
Figure 541755DEST_PATH_IMAGE023
的吸收时间归一化向量，
Figure 424261DEST_PATH_IMAGE024
为空间显著性值。
进一步地，所述时空显著图由各像素点的时空显著性值组成，所述时空显著性值的获取可表示为公式：
Figure 776745DEST_PATH_IMAGE025
式中，
Figure 719293DEST_PATH_IMAGE026
为空间显著图的权重，
Figure 970277DEST_PATH_IMAGE027
为时间显著图的权重，
Figure 390894DEST_PATH_IMAGE028
为像素点i的空间显著性值，
Figure 863463DEST_PATH_IMAGE029
为像素点i的时间显著性值，
Figure 976913DEST_PATH_IMAGE030
为像素点i的时空显著性值。
进一步地，所述S8步骤中量化参数的调整可表示为公式：
Figure 902144DEST_PATH_IMAGE031
式中，u(x，y)为显著图中对应像素点i(x，y)的均值特征；q1和q2分别为与显著图中对应像素点i(x，y)的均值特征呈相应比例关系的控制量化参数的阈值；QP0为量化系数初始值，ΔQP为量化参数QP(x，y)的修正值，Int为取整运算。
与现有技术相比，本发明至少含有以下有一些效果：
（1）本发明所述的一种基于时空显著性融合的帧间图像编码方法，在考虑到图像时域、空域上运动特征的基础上，将两者相结合获取时空域显著图，并根据归一化后结果进行视频帧间图像的编码，使得感知器和编码器之间的信息交互不再仅限于显著性目标检测，而能够获得更多视频帧间图像变化过程中的前景、背景划分的变化信息，以及帧间图像的运动类型信息；
（2）通过感知器和编码器之间更多信息的交互，使得编码后的压缩数据能够保留更多的相关信息，从而在对压缩数据进行解码时获得更加高清、保真的视频图像，因此可以应用于高清视频的压缩编码；
（3）在提高了信息交互性的同时，通过时空显著性值动态调整编码的量化参数，从而降低编码的比特率，提高编码速度。
附图说明
图1为一种基于时空显著性融合的帧间图像编码方法的方法步骤图；
图2为时空显著性融合示意图。
具体实施方式
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
实施例一
本发明的目的在于解决现有技术中对于视频内帧间图像编码使存在信息交互不够全面，导致数据解码过程中容易造成视频失真的问题，如图1所示，本发明提出了一种基于时空显著性融合的帧间图像编码方法，包括步骤：
S1：获取帧间图像并通过色差计算空间提取各个像素点的均值特征；
S2：通过光流算法获取帧间图像中各像素点的时域运动矢量，并根据各像素点的时域运动矢量获取时间显著图；
S3：根据各像素点的均值特征提取帧间图像中具有超像素特征的单层图；
S4：根据单层图中节点与边的权重关系以及节点对应像素点的均值特征进行转移矩阵的获取；
S5：根据转移矩阵基于马尔科夫链理论进行空间显著图的获取；
S6：根据时间显著图和空间显著图间的权重关系进行时空显著图的获取；
S7：根据时空显著图进行预设色阶范围内的归一化处理得到显著图；
S8：根据显著图中对应像素点的均值特征动态调整量化参数，并根据量化参数对帧间图像进行编码。
考虑到人类自身的视觉感知***对色差计算空间（CIELab）更为敏感，为了使得编码后的视频数据，其解码后的帧间图像更加符合人类视觉感知习惯，本发明在获得视频的帧间图像后，需要先对其进行预处理：将帧间图像的颜色从RGB空间转换至色差计算空间，并计算帧间图像中各像素点在色差计算空间的均值作为每个像素点的特征。
既然是基于时空显著性融合的编码方法，那必然是包括时间显著性和空间显著性的。而对于时间显著性的计算，本发明是基于光流算法（Lucas-Kanade）获取帧间图像的时间显著图。具体的，是先通过光流算法获取个像素点时域运动矢量的水平分量MVx(x，y)和垂直分量MVy(x，y)，而后就可以根据这两个分量进行时域运动矢量的幅度量MV(x，y)的获取，其公式表达式可表示为：
Figure 126451DEST_PATH_IMAGE032
进一步地，通过增强操作，时域运动矢量的幅度量可以进一步表示为：
Figure 250265DEST_PATH_IMAGE033
其中
Figure 534616DEST_PATH_IMAGE034
和
Figure 947143DEST_PATH_IMAGE035
为常量参数，而在本实施例中，
Figure 975142DEST_PATH_IMAGE034
的值选取为10，
Figure 156724DEST_PATH_IMAGE035
的值选取为2。最后，将
Figure 159447DEST_PATH_IMAGE036
归一化到预设色阶范围（本实施例中选取预设色阶范围为[0，255]）内，用公式表示为：
Figure 59269DEST_PATH_IMAGE037
而后像素点i(x，y)的时间显著性值
Figure 625380DEST_PATH_IMAGE038
就可通过
Figure 927048DEST_PATH_IMAGE039
进行表示：
Figure 287623DEST_PATH_IMAGE040
根据获得的各像素点时间显著性值，依据像素点在帧间图像中的坐标对时间显著性值进行对应坐标的匹配，从而就可以获得时间显著性图。
而对于空间显著性的计算，本发明则是基于马尔科夫链显著性检测方法进行超像素级别的空间显著图获取。首先，需要根据各像素点的均值特征提取帧间图像中具有超像素特征的单层图G(V，E)，其中V和E分别代表单层图G的节点和边。同时在单层图G上，每个节点V，都需要连接到与该节点相邻或与该节点的相邻节点共享边的瞬态节点。基于此 ，相邻的两个节点m（当前节点）和节点n（与当前节点连接的瞬态节点）之间边E的权重可以定义为：
Figure 737058DEST_PATH_IMAGE009
式中，xm、xn分别为节点m和节点n的对应像素点的均值特征，
Figure 106860DEST_PATH_IMAGE041
为常数，
Figure 997456DEST_PATH_IMAGE042
为欧拉数。然后，就可以根据权重大小进行重编号，使得前t个编号的节点为瞬态节点，而后r个编号的节点则为吸收节点，其中t为瞬态节点的数量，r为吸收节点的数量。
在上述基础上，还需要了解的是，单层图上的转移矩阵P是可以根据邻接矩阵A和度矩阵D计算出来的：
Figure 794510DEST_PATH_IMAGE043
。因此，如要计算转移矩阵P，就需要确认邻接矩阵A和度矩阵D。
而根据相邻节点之间边的权重，邻接矩阵A可以表示为：
Figure 403346DEST_PATH_IMAGE044
根据连接矩阵，度矩阵D可表示为：
Figure 404536DEST_PATH_IMAGE045
式中，
Figure 415218DEST_PATH_IMAGE046
为节点m重编号后的编号，
Figure 383174DEST_PATH_IMAGE047
为节点n重编号后的编号，
Figure 479306DEST_PATH_IMAGE048
为邻接矩阵的表达式，N(m)表示节点n与节点m连通。其中，
Figure 190910DEST_PATH_IMAGE049
为相邻节点处于帧间图像对角线上时的情况。
而后，根据获得的转移矩阵P，基于马尔科夫理论计算每个瞬态节点的吸收时间。那么根据本实施例重编号后节点的吸收态
Figure 118414DEST_PATH_IMAGE050
和瞬态
Figure 257272DEST_PATH_IMAGE051
，转移矩阵可表示为：
Figure 840700DEST_PATH_IMAGE052
其中，第一个节点的状态为瞬态，最后一个节点的状态为瞬态吸收。Q为转移矩阵P以马尔科夫吸收链表示后的任一瞬态之间的转移概率，R为包含从任何瞬态移动到任何吸收状态的概率，I是r×r大小的矩阵，r为吸收节点的数量，c是所有元素均为1的t维列向量。对于吸收链，可以推导得到它的基本性质：矩阵
Figure 90415DEST_PATH_IMAGE053
，其中，
Figure 75689DEST_PATH_IMAGE054
为矩阵K的表达式，可以理解为链在瞬态节点n中发生瞬态吸收时花费的预期次数。假设链在瞬态m中开始，以及
Figure 198497DEST_PATH_IMAGE055
表示吸收前的预期次数，因此可以计算对应瞬态节点的吸收时间，即：
Figure 269221DEST_PATH_IMAGE056
马尔科夫链的基本思想是利用吸收马尔科夫链中的时间属性来检测显著性。虚拟边界节点被识别为基于先验边界的吸收节点。显著性计算为吸收节点的吸收时间。在马尔科夫链显著性模型的基础上，空间显著性值可表示为：
Figure 322628DEST_PATH_IMAGE057
式中，
Figure 162408DEST_PATH_IMAGE058
为对应的瞬态节点
Figure 643068DEST_PATH_IMAGE059
重编号后的编号，
Figure 997826DEST_PATH_IMAGE060
为编号
Figure 854923DEST_PATH_IMAGE061
对应瞬态节点的吸收时间归一化向量，
Figure 549210DEST_PATH_IMAGE062
为空间显著性值。而后根据获得的各像素点空间显著性值，依据像素点在帧间图像中的坐标对空间显著性值进行对应坐标的匹配，从而就可以获得空间显著性图。
通过上述分析与计算得到了时间显著性图和空间显著性图。其中，时间显著图反映了视频中帧间图像的动态特征，而空间显著图反映了帧间图像的静态特征，对二者进行线性融合，可以实现相互补充。设置时间显著图的权重为
Figure 200771DEST_PATH_IMAGE063
，空间显著图的权重为
Figure 246087DEST_PATH_IMAGE064
，线性融合后的时空显著值为：
Figure 454346DEST_PATH_IMAGE065
式中，
Figure 3139DEST_PATH_IMAGE066
为像素点i的时空显著性值；
Figure 91181DEST_PATH_IMAGE067
，
Figure 358214DEST_PATH_IMAGE068
，
Figure 557114DEST_PATH_IMAGE069
；
Figure 22731DEST_PATH_IMAGE070
为常量，通常取值在0.3~0.5的范围之间。
而后根据获得的各像素点时空显著性值，依据像素点在帧间图像中的坐标对时空显著性值进行对应坐标的匹配，从而就可以获得时空显著性图。而后将像素级显著性
Figure 355709DEST_PATH_IMAGE071
进行预设色阶范围（[0，255]）内的归一化处理,然后将显著值赋给它包含的所有像素点，得到包含每个像素点的显著图Smap。
在HEVC中，视频帧间图像被分成若干编码块单元，编码块的码率与量化参数QP和量化步长QPstep密切相关，QP的取值范围为[0，51]。一般而言，量化参数QP越大，图像的失真越高。同时，视频中前景区域要增加数据资源（bit）的分配，背景区域要节省数据资源（bit）的分配。因此，本发明又提出了基于编码块显著图Smap中各像素点的均值特征u(x，y)，动态得调整量化参数，使前景区域采用高QP编码，背景区域采用低QP编码，则调整后的量化参数表示为：
Figure 172355DEST_PATH_IMAGE072
式中，u(x，y)为显著图中对应像素点i(x,y)的均值特征；q1和q2分别为与显著图中对应像素点i(x，y)的均值特征呈相应比例关系的控制量化参数的阈值（本实施例中q1=0.5*2x，q2=0.8*2x，x为对应像素点的均值特征）；QP0为量化系数初始值，ΔQP为量化参数QP(x，y)的修正值，Int为取整运算。
如图2.a所示，为某一视频内的一帧帧间图像。对其进行空间显著性提取得到如图2.b所示的空间显著性图，可以看出其可以清晰的对前景区域和背景区域进行划分；而对其进行时间显著性提取则得到如图2.c所示的时间显著性图，可以看出其可以将帧间图像中的运动目标以及运动类型表示出来；而根据本发明所述的方法，将这两者结合起来，则得到如图2.d的时空显著性图，可以完美的将前两者的信息结合起来，使得在根据显著图进行编码时能够保留更多的相关信息。
综上所述，本发明所述的一种基于时空显著性融合的帧间图像编码方法，在考虑到图像在时域、空域上运动特征的基础上，将两者相结合得到时空域显著图，并根据归一化后结果进行视频帧间图像的编码，使得感知器和编码器之间的信息交互不再仅限于显著性目标检测，而能够获得更多视频帧间图像变化过程中的前景、背景划分的变化信息，以及帧间图像的运动类型信息。
通过感知器和编码器之间更多信息的交互，使得编码后的压缩数据能够保留更多的相关信息，从而在对压缩数据进行解码时获得更加高清、保真的视频图像，因此可以应用于高清视频的压缩编码。在提高了信息交互性的同时，通过时空显著性值动态调整编码的量化参数，从而降低编码的比特率，提高编码速度。
需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

Claims (3)

1.一种基于时空显著性融合的帧间图像编码方法，其特征在于，包括步骤：
S1：获取帧间图像并通过色差计算空间提取各个像素点的均值特征；
S2：通过光流算法获取帧间图像中各像素点的时域运动矢量，并根据各像素点的时域运动矢量获取时间显著图；
S3：根据各像素点的均值特征提取帧间图像中具有超像素特征的单层图；
S4：根据单层图中节点与边的权重关系以及节点对应像素点的均值特征进行转移矩阵的获取；
S5：根据转移矩阵基于马尔科夫链理论进行空间显著图的获取；
S6：根据时间显著图和空间显著图间的权重关系进行时空显著图的获取；
S7：根据时空显著图进行预设色阶范围内的归一化处理得到显著图；
S8：根据显著图中对应像素点的均值特征动态调整量化参数，并根据量化参数对帧间图像进行编码；
所述S4步骤中，所述单层图的节点包括瞬态节点和吸收节点，其中各节点均连接到与该节点相邻或与该节点的相邻节点共享边的瞬态节点， S4步骤中，还包括步骤：
根据节点对应像素点的均值特征获取相邻节点之间边的权重，并对节点进行重编号；
所述相邻节点之间边的权重可表示为：
Figure DEST_PATH_IMAGE001
式中，m、n为单层图中相邻的两个节点，wmn为节点m和节点n之间边的权重，xm、xn分别为节点m和节点n的对应像素点的均值特征，
Figure DEST_PATH_IMAGE002
为常数，
Figure DEST_PATH_IMAGE003
为欧拉数；
所述转移矩阵可用如下公式组表示：
Figure DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE005
Figure DEST_PATH_IMAGE006
式中，
Figure DEST_PATH_IMAGE007
为节点m重编号后的编号，
Figure DEST_PATH_IMAGE008
为节点n重编号后的编号，A为邻接矩阵，
Figure DEST_PATH_IMAGE009
为邻接矩阵的表达式，N(m)表示节点n与节点m连通，D为度矩阵，P为转移矩阵，t为瞬态节点的数量；
所述S5步骤中，空间显著图由各像素点的空间显著性值组成，其中空间显著性值的获取表示为如下公式组：
Figure DEST_PATH_IMAGE010
Figure DEST_PATH_IMAGE011
式中，Q为转移矩阵P以马尔科夫吸收链表示后的任一瞬态之间的转移概率，I是r×r大小的矩阵，r为吸收节点的数量，c是所有元素均为1的t维列向量，y为对应瞬态节点的吸收时间；
Figure DEST_PATH_IMAGE012
为对应的瞬态节点
Figure DEST_PATH_IMAGE013
重编号后的编号，
Figure DEST_PATH_IMAGE014
为编号
Figure DEST_PATH_IMAGE015
对应瞬态节点的吸收时间归一化向量，
Figure DEST_PATH_IMAGE016
为空间显著性值；
所述S8步骤中量化参数的调整可表示为公式：
Figure DEST_PATH_IMAGE017
式中，u(x，y)为显著图中对应像素点i(x，y)的均值特征；q1和q2分别为与显著图中对应像素点i(x，y)的均值特征呈相应比例关系的控制量化参数的阈值；QP0为量化系数初始值，ΔQP为量化参数QP(x，y)的修正值，Int为取整运算。
2.如权利要求1所述的一种基于时空显著性融合的帧间图像编码方法，其特征在于，所述时间显著图由各像素点的时间显著性值组成，其中时间显著性值的获取可表示为如下公式组：
Figure DEST_PATH_IMAGE018
Figure DEST_PATH_IMAGE019
Figure DEST_PATH_IMAGE020
式中，(x，y)为像素点i的像素坐标，MV(x，y)为时域运动矢量的幅度量，MVx(x，y)为时域运动矢量的水平分量，MVy(x，y)为时域运动矢量的垂直分量；
Figure DEST_PATH_IMAGE021
用于增强幅度量，
Figure DEST_PATH_IMAGE022
和
Figure DEST_PATH_IMAGE023
为常量参数；
Figure DEST_PATH_IMAGE024
用于将增强后的幅度量归一化到预设色阶范围内，
Figure DEST_PATH_IMAGE025
为像素点i对应的时间显著性值。
3.如权利要求1所述的一种基于时空显著性融合的帧间图像编码方法，其特征在于，所述时空显著图由各像素点的时空显著性值组成，所述时空显著性值的获取可表示为公式：
Figure DEST_PATH_IMAGE026
式中，
Figure DEST_PATH_IMAGE027
为空间显著图的权重，
Figure DEST_PATH_IMAGE028
为时间显著图的权重，
Figure DEST_PATH_IMAGE029
为像素点i的空间显著性值，
Figure DEST_PATH_IMAGE030
为像素点i的时间显著性值，
Figure DEST_PATH_IMAGE031
为像素点i的时空显著性值。
CN202111112916.2A 2021-09-23 2021-09-23 一种基于时空显著性融合的帧间图像编码方法 Active CN113573058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111112916.2A CN113573058B (zh) 2021-09-23 2021-09-23 一种基于时空显著性融合的帧间图像编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111112916.2A CN113573058B (zh) 2021-09-23 2021-09-23 一种基于时空显著性融合的帧间图像编码方法

Publications (2)

Publication Number Publication Date
CN113573058A CN113573058A (zh) 2021-10-29
CN113573058B true CN113573058B (zh) 2021-11-30

Family

ID=78174214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111112916.2A Active CN113573058B (zh) 2021-09-23 2021-09-23 一种基于时空显著性融合的帧间图像编码方法

Country Status (1)

Country Link
CN (1) CN113573058B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965753B (zh) * 2021-12-20 2022-05-17 康达洲际医疗器械有限公司 一种基于码率控制的帧间图像运动估计方法与***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103458238A (zh) * 2012-11-14 2013-12-18 深圳信息职业技术学院 一种结合视觉感知的可伸缩视频码率控制方法、装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1836682B1 (en) * 2005-01-10 2011-05-25 Thomson Licensing Device and method for creating a saliency map of an image
CN106611427B (zh) * 2015-10-21 2019-11-15 中国人民解放军理工大学 基于候选区域融合的视频显著性检测方法
CN109076200B (zh) * 2016-01-12 2021-04-23 上海科技大学 全景立体视频***的校准方法和装置
CN106295542A (zh) * 2016-08-03 2017-01-04 江苏大学 一种夜视红外图像中的基于显著性的道路目标提取方法
CN110612553B (zh) * 2017-05-09 2024-04-09 皇家Kpn公司 对球面视频数据进行编码
CN107749066A (zh) * 2017-11-10 2018-03-02 深圳市唯特视科技有限公司 一种基于区域的多尺度时空视觉显著性检测方法
WO2019117866A1 (en) * 2017-12-12 2019-06-20 Google Llc Bitrate optimizations for immersive multimedia streaming
CN108734173A (zh) * 2018-04-20 2018-11-02 河海大学 基于Gestalt优化的红外视频时空显著性检测方法
CN109547803B (zh) * 2018-11-21 2020-06-09 北京航空航天大学 一种时空域显著性检测及融合方法
CN111310768B (zh) * 2020-01-20 2023-04-18 安徽大学 基于鲁棒性背景先验和全局信息的显著性目标检测方法
CN113259664B (zh) * 2021-07-15 2021-11-16 康达洲际医疗器械有限公司 一种基于图像二分标识的视频压缩方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103458238A (zh) * 2012-11-14 2013-12-18 深圳信息职业技术学院 一种结合视觉感知的可伸缩视频码率控制方法、装置

Also Published As

Publication number Publication date
CN113573058A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN113766228B (zh) 点云压缩方法、编码器、解码器及存储介质
WO2023134791A2 (zh) 一种环境安防工程监测数据管理方法及***
CN103002289B (zh) 面向监控应用的视频恒定质量编码装置及其编码方法
CN110139109B (zh) 图像的编码方法及相应终端
TWI645717B (zh) 畫像解碼裝置、畫像解碼方法、畫像編碼裝置、畫像編碼方法以及編碼資料的資料構造
TWI579803B (zh) 畫像編碼裝置、畫像解碼裝置、畫像編碼方法、畫像解碼方法及記憶媒體
CN101374243B (zh) 一种应用于3dtv与ftv***的深度图编码压缩方法
CN108513131B (zh) 一种自由视点视频深度图感兴趣区域编码方法
CN107439012A (zh) 高动态范围视频编码中的在环且基于块的图像再成形
CN111726633A (zh) 基于深度学习和显著性感知的压缩视频流再编码方法
KR101354014B1 (ko) 코딩 구조
CN106303521B (zh) 一种基于感知敏感度的hevc率失真优化方法
CN103313047B (zh) 一种视频编码方法及装置
KR100922510B1 (ko) 영상의 부호화 및 복호화 방법, 장치 및 그 애플리케이션
CN105120290B (zh) 一种深度视频快速编码方法
CN113068034B (zh) 视频编码方法及装置、编码器、设备、存储介质
CN105931189B (zh) 一种基于改进超分辨率参数化模型的视频超分辨率方法及装置
US20140369617A1 (en) Image encoding apparatus, image encoding method, and program
CN113573058B (zh) 一种基于时空显著性融合的帧间图像编码方法
Wang et al. Semantic-aware video compression for automotive cameras
CN108491747B (zh) 一种融合图像后美化qr码的方法
CN111723735B (zh) 一种基于卷积神经网络的伪高码率hevc视频检测方法
CN112637596A (zh) 一种码率控制***
JP6289055B2 (ja) 動画像符号化装置及び動画像復号装置
CN114463449B (zh) 一种基于边缘引导的高光谱图像压缩方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant