CN105096351A - 图像去块效应处理方法和装置 - Google Patents

图像去块效应处理方法和装置 Download PDF

Info

Publication number
CN105096351A
CN105096351A CN201410211573.9A CN201410211573A CN105096351A CN 105096351 A CN105096351 A CN 105096351A CN 201410211573 A CN201410211573 A CN 201410211573A CN 105096351 A CN105096351 A CN 105096351A
Authority
CN
China
Prior art keywords
image
blocks
block
reference block
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410211573.9A
Other languages
English (en)
Other versions
CN105096351B (zh
Inventor
李马丁
刘家瑛
任杰
郭宗明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Peking University Founder Group Co Ltd
Beijing Founder Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University, Peking University Founder Group Co Ltd, Beijing Founder Electronics Co Ltd filed Critical Peking University
Priority to CN201410211573.9A priority Critical patent/CN105096351B/zh
Publication of CN105096351A publication Critical patent/CN105096351A/zh
Application granted granted Critical
Publication of CN105096351B publication Critical patent/CN105096351B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种图像去块效应处理方法和装置,包括:在图像解码过程中,将待处理图像分为多个图像块,其中各图像块的划分边界与图像编码过程中的图像块的划分边界交错;从所述各图像块中选择参考块;从所述参考块邻域内的图像块中选取所述参考块的相似块,并组成相似块集合;根据所述相似块集合自身固有频段内的频率信息将该相似块集合分为互相之间正交的子集,确定稀疏子集并将稀疏子集舍去,以使相应的频率高于预设阈值的对应高频子集分离出所述相似块集合,得到去除块效应后的各相似块组成的相似块集合。本发明能较好的去除块效应且使处理后图像较为接近自然图像。

Description

图像去块效应处理方法和装置
技术领域
本发明涉及数字图像处理技术,尤其涉及一种图像去块效应处理方法和装置。
背景技术
数字图像处理技术中,DCT(DiscreteCosineTransform)变换被广泛应用于数字图像编码压缩过程,在编码压缩图像的过程中,通常对图像进行分块并执行DCT变换,再以图像块为单位对变换后的系数进行量化,量化过程中简化了图像块信息,从而实现了图像压缩,然而在这一分块变换量化过程中一些图像块边界信息可能丢失,从而丧失了图像块之间连续性,在将压缩图像数据解码重建为解压后图像时,在图像块的边界上会出现明显的不连续,这种在图像块边界产生的较易被人眼察觉的不连续即为块效应。
现有技术采用滤波的方式来消除块效应。具体来说,该方法是对图像块的边界进行滤波处理,即通过低通滤波器消除高频噪声点来去除重建图像时出现的块效应,使相邻图像块的边界过渡更平滑。但是,由于滤波器在消除块效应的同时,也损伤了图像的细节,所以图像块在边界上过渡不自然,存在人眼能察觉的不连续。
发明内容
本发明提供一种图像去块效应处理方法和装置,以实现在图像解码过程中更准确的识别和去除图像编码过程中产生的块效应且不过分损伤图像细节,从而获得更接近自然图像的重建图像。
本发明一方面提供一种图像去块效应处理方法,包括:
在图像解码过程中,将待处理图像分为多个图像块,其中各图像块的划分边界与图像编码过程中的图像块的划分边界交错;
从所述各图像块中选择参考块;
从所述参考块邻域内的图像块中选取所述参考块的相似块,并组成相似块集合;
根据所述相似块集合自身固有频段内的频率信息将该相似块集合分为互相之间正交的子集,确定所述子集中元素数量小于阈值的子集为稀疏子集并将稀疏子集舍去,以使相应的频率高于预设阈值的对应高频子集分离出所述相似块集合,得到去除块效应后的各相似块组成的相似块集合。
本发明另一方面提供一种图像去块效应处理装置,包括:
分块模块,用于在图像解码过程中,将待处理图像分为多个图像块,其中各图像块的划分边界与图像编码过程中的图像块的划分边界交错;
选块模块,用于从所述各图像块中选择参考块;和从所述参考块邻域内的图像块中选取所述参考块的相似块,并组成相似块集合;
去块模块,用于根据所述相似块集合自身固有频段内的频率信息将该相似块集合分为互相之间正交的子集,确定所述子集中元素数量小于阈值的子集为稀疏子集并将稀疏子集舍去,以使相应的频率高于预设阈值的对应高频子集分离出所述相似块集合,得到去除块效应后的各相似块组成的相似块集合。
本发明的有益效果为:
本发明通过对待处理图像分块时使边界交错于编码时的DCT分块边界,使DCT变换产生的块效应落在待处理图像块内,从而方便后续处理时更好的分辨原DCT分块边界上的块效应,通过在待处理图像中选取相似块并对所述相似块组成的集合矩阵进行奇异值分解和低秩估计处理,来去除图像中的高频信号,以去除各相似块内的不连续,从而实现块效应的去除,本发明利用了相似图像块之间的相似性来去除块效应使得处理后图像更平滑和接近自然图像。
附图说明
图1为本发明图像去块效应处理方法实施例一的流程图;
图2为本发明图像去块效应处理方法实施例一中分块结构示意图;
图3为本发明图像去块效应处理方法实施例二的流程图;
图4为本发明图像去块效应处理方法实施例三的流程图;
图5为本发明图像去块效应处理方法实施例三的效果图;
图6为本发明图像去块效应处理装置的结构示意图。
具体实施方式
图1为本发明图像去块效应处理方法实施例一的流程图,如图1所示,该图像去块效应处理方法包括:
S101、在图像解码过程中,将待处理图像分为多个图像块,其中各图像块的划分边界与图像编码过程中的图像块的划分边界交错;
图2为本发明图像去块效应处理方法实施例一中分块结构示意图,如图2所示,图像编码过程中为进行离散余弦变换(DiscreteCosineTransform,简称DCT变换)将自然图像划分为若干DCT图像块11,各DCT图像块的边界如图中虚线所示,所述待处理图像的分块边界与该虚线边界交错;优选的、所述待处理图像分为的图像块12的中心可以位于相邻四个所述DCT图像块11的交界点上,所述待处理图像分为的图像块12包含像素点数可以与所述DCT图像块11相同,即前者图像块12与后者图像块11的大小相同。
S102、从所述各图像块中选择参考块;
优选的、可以选择图像最左上角四个DCT图像块1的中心作为所述参考块的中心;
S103、从所述参考块邻域内的图像块中选取所述参考块的相似块,并组成相似块集合,参考块或相似块均可以量化为对应的参考块矩阵或相似块矩阵,所述量化矩阵中的元素可以为像素值,例如黑白图像的灰度值;
优选的、在所述参考块邻域内选取相似度不大于相似度阈值T的图像块作为初始相似块组成所述相似块的位置集合Gi
Gi={j|T≥||xi-xj||2,j∈Ω(i)}(10);
其中,T表示相似度阈值,Ω(i)表示第i位置的邻域,xi表示第i位置所对应参考块,xj表示任意第j位置所对应相似块,||xi-xj||2表示第i位置所对应参考块与第j位置所对应相似块之差的二范数也即相似度,Gi表示第i位置的参考块邻域内的相似块位置集合;且Ω(i)内满足上述相似度条件的Gi中的全部第j位置所对应的相似块xj组成相似块集合优选的,xi、xj可以用相似块矩阵中的列向量依次首位相接组成的列向量表示。
S104、根据所述相似块集合自身固有频段内的频率信息将该相似块集合分为互相之间正交的子集,确定所述子集中元素数量小于阈值的子集为稀疏子集并将稀疏子集舍去,所述稀疏子集与所述相似块集合固有频段内的高频信息相对应,以使相应的频率高于预设阈值的对应高频子集分离出所述相似块集合,得到去除块效应后的各相似块组成的相似块集合,包括:
采用如下公式(1)对所述相似块集合进行奇异值分解:
D ( X G i ) = UΣ V T - - - ( 1 )
其中,i表示参考块位置,Gi表示第i位置的参考块邻域内的相似块位置集合,U表示所述奇异值分解中的特征向量矩阵,V表示所述奇异值分解中的特征向量矩阵,Σ表示所述奇异值分解中的奇异值矩阵,表示相似块集合的奇异值分解式;
采用如下公式(2)对所述Σ进行处理:
Σ τ = diag ( max ( σ ( X G i ) - τ , 0 ) ) - - - ( 2 )
其中,τ表示所述预设阈值在所述奇异值矩阵中对应的奇异值阈值,表示所述的奇异值,表示对所述的奇异值矩阵执行低秩处理,即将所述的奇异值矩阵中低于所述奇异值阈值的元素置零,Στ表示所述低秩处理后的的奇异值矩阵;
优选的, τ = τ ( 1 ) = 2 2 γ 2 σ E 2 / max ( σ 2 ( I ) / M - γ 2 σ E 2 , 0 ) ; 其中,I表示初始未经过任何处理的待处理图像,σE表示量化噪声方差,σ(I)表示I的奇异值,γ为常数;所述阈值或预设阈值一定是与奇异值阈值一一对应的,在具体的处理手段中我们可以不必通过计算所述预设阈值来进行去块效应处理,而可以用其在量化矩阵中的等效参数奇异值阈值来对所述相似块集合的量化矩阵进行处理,其中,所述奇异值阈值为所述相似块集合的量化矩阵进行所述奇异值分解后得到的奇异值矩阵中的奇异值最小值,用该奇异值最小值对相似块集合的奇异值矩阵进行低秩处理即将所述矩阵中低于该最小值的元素置零,从而过滤掉相似块集合矩阵中的高频信息得到去噪后的相似块集合矩阵;进一步的,根据实验得到的处理后图像的峰值信噪比结果,可以证实该方法计算得到的奇异值阈值可以保证较有效去除块效应的同时不过分损伤图像细节,也即该方法中奇异值阈值及其所对应的所述预设阈值能够较好的反映块效应;
将所述低秩处理后的的奇异值矩阵Στ代入所述公式(1)中,得到去除块效应之后的各相似块组成的相似块集合
将上述去除块效应后的相似块集合分解为去除块效应的相似块并填回所述第i位置参考块的相似块位置集Gi中各所述对应位置处。
S105、从所述各图像块中再次选择参考块,并且重复上述去除块效应的处理过程,直到选择的参考块遍历所述各图像块。
S106、采用公式(7)~(9)更新所述奇异值阈值τ(m)
τ ( m ) = 2 2 ( σ E ( m ) ) 2 / σ X G i ( m ) - - - ( 7 )
σ E ( m ) = γ σ E 2 - | | I - I m - 1 | | 2 - - - ( 8 )
σ X G i ( m ) = max ( σ 2 ( I m - 1 ) / M - ( σ E ( m ) ) 2 , 0 ) - - - ( 9 )
其中,τ(m)表示对待处理图像在进行第m次去块效应处理之前所述奇异值阈值的更新值,σE表示量化噪声方差,I表示未进行一次处理的待处理图像,Im-1表示完成第(m-1)次处理并等待进行第m次处理的待处理图像,σ2(Im-1)表示完成第(m-1)次处理并等待进行第m次处理的待处理图像矩阵的奇异值,表示等待进行第m次去块效应处理的待处理图像当前的噪声方差,表示等待进行第m次去块效应处理的待处理图像当前的相对噪声方差,γ和M均为常数,m为大于等于2的正整数。
采用更新后的奇异值阈值,重复上述针对所述待处理图像的处理过程,直到所述待处理图像完成第mmax次处理后得到图像满足去块效应需求;
优选的,mmax=10,即待处理图像完成第10次处理后,去块效应处理过程结束,生成去除块效应后的重建图像,即将所得去除块效应后的相似块集合分解并回填至各相似块对应的图像位置。
本发明图像去块效应处理方法实施例一通过对待处理图像分块时使边界交错于编码时的DCT分块边界,使DCT变换产生的块效应落在待处理图像块内,从而方便后续处理时更好的分辨原DCT分块边界上的块效应,通过在待处理图像中选取相似块并对所述相似块组成的集合矩阵进行奇异值分解和低秩估计处理,以去除相似块频域内的高阶频率信息,从而去除各相似块内的不连续,从而实现块效应的去除,本发明利用了相似图像块之间的相似性来去除块效应使得处理后图像更平滑和接近自然图像;同时本实施例通过更新奇异值阈值使处理力度逐渐递增对图像进行多次处理,使图像逐渐趋于平滑,避免了因单次处理力度偏大而导致的图像信息丢失引起的失真。
图3为本发明图像去块效应处理方法实施例二的流程图,如图3所示,本实施例中S201~S203分别与实施例一中S101~S103对应相同,本实施例中S206~S207分别与实施例一中S105~S106对应相同,不同之处仅在于S204发生变化、以及还包括S205,即:
S204、所述相似块集合为经过K次去块效应处理和K次数据保真处理的相似块集合;特殊的,为所述从参考块邻域内的图像块中选取所述参考块的相似块组成的从未进行过任何处理的相似块集合;
相应的,根据所述相似块集合自身固有频段内的频率信息将该相似块集合分为互相之间正交的子集,确定所述子集中元素数量小于阈值的子集为稀疏子集并将稀疏子集舍去,所述稀疏子集与所述相似块集合固有频段内的高频信息相对应,以使相应的频率高于预设阈值的对应高频子集分离出所述相似块集合,得到去除块效应后的各相似块组成的相似块集合,包括:
采用如下公式(1)对所述相似块集合进行奇异值分解:
D ( X G i ) = UΣ k - 1 V T - - - ( 1 )
其中,i表示参考块位置,Gi表示第i位置的参考块邻域内的相似块位置集合,表示完成第(K-1)次去块效应处理和第(K-1)次数据保真处理的相似块集合,完成第U表示所述奇异值分解中的特征向量矩阵,V表示所述奇异值分解中的特征向量矩阵,Σk-1表示所述奇异值分解中的奇异值矩阵,表示相似块集合的奇异值分解式;
采用如下公式(2)对所述Σ进行处理:
Σ τ = diag ( max ( σ ( X G i k - 1 ) - τ , 0 ) ) - - - ( 2 )
其中,τ表示所述预设阈值在所述奇异值矩阵中对应的奇异值阈值,表示所述的奇异值,表示对所述的奇异值矩阵执行低秩处理,即将所述的奇异值矩阵中低于所述奇异值阈值的元素置零,Στ k-1表示所述低秩处理后的的奇异值矩阵;
优选的, τ = τ ( 1 ) = 2 2 γ 2 σ E 2 / max ( σ 2 ( I ) / M - γ 2 σ E 2 , 0 ) ; 其中,I表示初始未经过任何处理的待处理图像,σE表示量化噪声方差,σ(I)表示I的奇异值,γ为常数;预设阈值一定是与奇异值阈值一一对应的,在具体的处理手段中我们可以不必通过计算所述预设阈值来进行去块效应处理,而可以用其在量化矩阵中的等效参数奇异值阈值来对所述相似块集合的量化矩阵进行处理,其中,所述奇异值阈值为所述相似块集合的量化矩阵进行所述奇异值分解后得到的奇异值矩阵中的奇异值最小值,用该奇异值最小值对相似块集合的奇异值矩阵进行低秩处理即将所述矩阵中低于该最小值的元素置零,从而过滤掉相似块集合矩阵中的高频成分得到去噪后的相似块集合矩阵;进一步的,根据实验得到的处理后图像的峰值信噪比结果,可以证实该方法计算得到的奇异值阈值可以保证较有效去除块效应的同时不过分损伤图像细节,也即该方法中奇异值阈值及其所对应的所述预设阈值能够较好的反映块效应;
将所述低秩处理后的的奇异值矩阵Στ k-1代入所述公式(1)中,得到去除块效应之后的各相似块组成的相似块集合 即完成第(K-1)次去块效应处理并待进行第K次数据保真处理的相似块集合。
将上述完成第(K-1)次去块效应处理并待进行第K次数据保真处理的相似块集合分解为去除块效应的相似块并填回所述第i位置参考块的相似块位置集Gi中各所述对应位置处。
采用公式(3)进行数据保真处理:
X G i k = X G i k - 1 + δ ( X G i 0 - Z k ) - - - ( 3 )
其中,k大于等于2,表示完成第(K-1)次去块效应处理和第(K-1)次数据保真处理的相似块集合,表示完成第K次去块效应处理并待进行第K次数据保真处理的相似块集合,表示完成第K次去块效应处理和第K次数据保真处理的相似块集合,δ表示数据保真权重;特殊的,表示未进行任何处理的相似块集合;
S205、重复上述去除块效应和数据保真处理过程,直到k=kmax、满足块效应去除需求,此时得到完成第kmax次去块效应处理和第kmax数据保真处理的相似块集合
本发明图像去块效应处理方法实施例二通过在完成对相似块集合的单次去块效应处理后,增加数据保真处理,将前者处理过程中去掉的一部分自然图像的高频信息加回至相似块中,使得处理后图像不失真;并通过在选取相似块集合后对其进行多次处理,减小了选取相似块的运算时间,提高了去块效应方法的性能。
图4为本发明图像去块效应处理方法实施例三的流程图,如图4所示,本实施例中S301~S305分别与实施例二中S201~S205对应相同,本实施例中S307~S308分别与实施例二中S206~S207对应相同,不同之处仅在于还包括S306,即:
S306、基于测地距对进行加权修正,包括;
采用公式(4)计算得到测地距dpGD(i,j):
d pGD ( i , G i ( j ) ) = min p ∈ Γ i , j d ( p ) - - - ( 4 )
其中,表示Γi,j中路径p上相邻像素位置图像块亮度变化的二范数,Γi,j表示由参考块所对应第i位置到该参考块的相似块集合中任意一个相似块所对应第j位置的所有可能路径的集合,p表示从参考块所对应第i位置到该参考块的相似块集合中任意一个相似块所对应第j位置的任意一个可能路径,np表示Γi,j中任意一个路径p上的像素点数,n表示路径p上任意一个像素点的位置,表示路径p上任意一个像素点对应第n位置所对应图像块,表示路径p上第n位置像素点的相邻像素点所对应第(n+1)位置处的图像块,dpGD(i,Gi(j))表示测地距、即从第i位置对应参考块到该参考块相似块集合中任意一个第j位置对应相似块的路径相邻像素点位置图像块亮度变化和的二范数的最小值;这里的第n位置所对应图像块指的是与参考块像素数大小相等的待处理图像中的位于第n位置的图像块;
采用公式(5)计算得到各相似块的权重w(i,Gi(j)):
w ( i , G i ( j ) ) = e - d pGD ( i , G i ( j ) ) / ϵ - - - ( 5 )
其中,w(i,Gi(j))表示位置j所对应相似块相对于位置i所对应参考块的相似块权重,ε为比例常数;
采用公式(6)计算得到修正后的相似块集合
其中,表示修正后的相似块集合,w(i,Gi(j))表示第i位置对应参考块的相似块集合中的任意一个第j位置对应相似块相对于第i位置所对应参考块的权重,表示第i位置对应参考块的相似块集合中的第j位置对应相似块。
本发明图像去块效应处理方法实施例三通过对完成去块效应和数据保真的相似块集合基于测地距进行加权修正,使得图像更平滑。图5为本发明图像去块效应处理方法实施例三的效果图,如图5所示,对图中低秩估计处理即去块效应处理前后的相似块图像进行对比可见,本实施例能够较好的去除参考块邻域内的多个相似块内的块效应噪声点、得到较为清晰的图像信息,从而使得去块效应处理后的图像更加清晰和平滑。
图6为本发明图像去块效应处理装置的结构示意图,如图6所示,本发明图像去块效应处理装置,包括:
分块模块41,用于在图像解码过程中,将待处理图像分为多个图像块,其中各图像块的划分边界与图像编码过程中的图像块的划分边界交错;
选块模块42,用于从所述各图像块中选择参考块,和从所述参考块邻域内的图像块中选取所述参考块的相似块,并组成相似块集合;
去块模块43,用于根据所述相似块集合自身固有频段内的频率信息将该相似块集合分为互相之间正交的子集,确定所述子集中元素数量小于阈值的子集为稀疏子集并将稀疏子集舍去,所述稀疏子集与所述相似块集合固有频段内的高频信息相对应,以使相应的频率高于预设阈值的对应高频子集分离出所述相似块集合,得到去除块效应后的各相似块组成的相似块集合。
所述去块模块43,具体用于:
采用如下公式(1)对所述相似块集合进行奇异值分解:
D ( X G i ) = UΣ V T - - - ( 1 )
其中,i表示参考块位置,Gi表示第i位置的参考块邻域内的相似块位置集合,U表示所述奇异值分解中的特征向量矩阵,V表示所述奇异值分解中的特征向量矩阵,Σ表示所述奇异值分解中的奇异值矩阵,表示的奇异值分解式;
采用如下公式(2)对所述Σ进行处理:
Σ τ = diag ( max ( σ ( X G i ) - τ , 0 ) ) - - - ( 2 )
其中,τ表示所述预设阈值在所述奇异值矩阵中对应的奇异值阈值,表示所述的奇异值,表示对所述的奇异值矩阵执行低秩处理,Στ表示所述低秩处理后的的奇异值矩阵;
将所述低秩处理后的的奇异值矩阵Στ代入所述公式(1)中,得到去除块效应之后的各相似块组成的相似块集合
和采用公式(7)~(9)更新所述奇异值阈值τ(m)
τ ( m ) = 2 2 ( σ E ( m ) ) 2 / σ X G i ( m ) - - - ( 7 )
σ E ( m ) = γ σ E 2 - | | I - I m - 1 | | 2 - - - ( 8 )
σ X G i ( m ) = max ( σ 2 ( I m - 1 ) / M - ( σ E ( m ) ) 2 , 0 ) - - - ( 9 )
其中,τ(m)表示对待处理图像在进行第m次去块效应处理之前所述奇异值阈值的更新值,σE表示量化噪声方差,I表示未进行一次处理的待处理图像,Im-1表示完成第(m-1)次处理并等待进行第m次处理的待处理图像,σ2(Im-1)表示完成第(m-1)次处理并等待进行第m次处理的待处理图像矩阵的奇异值,表示等待进行第m次去块效应处理的待处理图像当前的噪声方差,表示等待进行第m次去块效应处理的待处理图像当前的相对噪声方差,γ和M均为常数,m为大于等于2的正整数。
本发明图像去块效应处理装置,通过分块模块进行边界交错于DCT分块的分块,使得DCT变换产生的块效应落在所分图像块内,使块效应更易被分辨;通过选块模块选取相似块,以使去块模块分离并舍去相似块内高频信息从而实现去块效应处理,使得去除块效应后的图像更加平滑和接近自然图像。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种图像去块效应处理方法,其特征在于,包括:
在图像解码过程中,将待处理图像分为多个图像块,其中各图像块的划分边界与图像编码过程中的图像块的划分边界交错;
从所述各图像块中选择参考块;
从所述参考块邻域内的图像块中选取所述参考块的相似块,并组成相似块集合;
根据所述相似块集合自身固有频段内的频率信息将该相似块集合分为互相之间正交的子集,确定所述子集中元素数量小于阈值的子集为稀疏子集并将稀疏子集舍去,以使相应的频率高于预设阈值的对应高频子集分离出所述相似块集合,得到去除块效应后的各相似块组成的相似块集合。
2.根据权利要求1所述的图像去块效应处理方法,其特征在于,所述根据相似块集合自身固有频段内的频率信息将该相似块集合分为互相之间正交的子集,确定所述子集中元素数量小于阈值的子集为稀疏子集并将稀疏子集舍去,以使相应的频率高于预设阈值的对应高频子集分离出所述相似块集合,得到去除块效应后的各相似块组成的相似块集合,包括:
采用如下公式(1)对所述相似块集合进行奇异值分解:
D ( X G i ) = UΣ V T - - - ( 1 )
其中,i表示参考块位置,Gi表示第i位置的参考块邻域内的相似块位置集合,U表示所述奇异值分解中的特征向量矩阵,V表示所述奇异值分解中的特征向量矩阵,Σ表示所述奇异值分解中的奇异值矩阵,表示相似块集合的奇异值分解式;
采用如下公式(2)对所述Σ进行处理:
Σ τ = diag ( max ( σ ( X G i ) - τ , 0 ) ) - - - ( 2 )
其中,τ表示所述预设阈值在所述奇异值矩阵中对应的奇异值阈值,表示所述的奇异值,表示对所述的奇异值矩阵执行低秩处理,Στ表示所述低秩处理后的的奇异值矩阵;
将所述低秩处理后的的奇异值矩阵Στ代入所述公式(1)中,得到去除块效应之后的各相似块组成的相似块集合
3.根据权利要求2所述的图像去块效应处理方法,其特征在于,所述将所述Στ代入所述公式(1)中,得到去除块效应之后的各相似块组成的相似块集合之后,还包括:
采用公式(3)进行数据保真处理:
X G i k = X G i k - 1 + δ ( X G i 0 - Z k ) - - - ( 3 )
其中,k大于等于2,表示完成第(K-1)次去块效应处理和第(K-1)次数据保真处理的相似块集合,表示完成第K次去块效应处理待进行第K次数据保真处理的相似块集合,表示完成第K次去块效应处理和第K次数据保真处理的相似块集合,δ表示数据保真权重;特殊的,表示未进行任何处理的相似块集合;
重复上述去除块效应过程,直到满足块效应去除需求。
4.根据权利要求3所述的图像去块效应处理方法,其特征在于,所述重复上述去除块效应过程,直到满足块效应去除需求之后,还包括:
采用公式(4)计算得到测地距dpGD(i,j):
d pGD ( i , G i ( j ) ) = min p ∈ Γ i , j d ( p ) - - - ( 4 )
其中,表示Γi,j中路径p上相邻像素位置图像块亮度变化的二范数,Γi,j表示由参考块所对应第i位置到该参考块的相似块集合中任意一个相似块所对应第j位置的所有可能路径的集合,p表示从参考块所对应第i位置到该参考块的相似块集合中任意一个相似块所对应第j位置的任意一个可能路径,np表示Γi,j中任意一个路径p上的像素点数,n表示路径p上任意一个像素点的位置,表示路径p上任意一个像素点对应第n位置所对应图像块,表示路径p上第n位置像素点的相邻像素点所对应第(n+1)位置处的图像块,dpGD(i,Gi(j))表示测地距、即从第i位置对应参考块到该参考块相似块集合中任意一个第j位置对应相似块的路径相邻像素点位置图像块亮度变化和的二范数的最小值;
采用公式(5)计算得到各相似块的权重w(i,Gi(j)):
w ( i , G i ( j ) ) = e - d pGD ( i , G i ( j ) ) / ϵ - - - ( 5 )
其中,w(i,Gi(j))表示位置j所对应相似块相对于位置i所对应参考块的相似块权重,ε为比例常数;
采用公式(6)计算得到修正后的相似块集合
X G i ′ = ( w ( i , G i ( 1 ) ) · x G i ( 1 ) , w ( i , G i ( 2 ) ) · x G i ( 2 ) , . . . , w ( i , G i ( j ) ) · x G i ( j ) , . . . , w ( i , G i ( m ) ) · x G i ( m ) ) - - - ( 6 )
其中,表示修正后的相似块集合,w(i,Gi(j))表示第i位置对应参考块的相似块集合中的任意一个第j位置对应相似块相对于第i位置所对应参考块的权重,表示第i位置对应参考块的相似块集合中的第j位置对应相似块。
5.根据权利要求2~4中任一项所述的图像去块效应处理方法,其特征在于,还包括:
从所述各图像块中再次选择参考块,并且重复上述去除块效应的处理过程,直到选择的参考块遍历所述各图像块。
6.根据权利要求5所述的图像去块效应处理方法,其特征在于,从所述各图像块中再次选择参考块,并且重复上述去处块效应的处理过程,直到选择的参考块遍历所述各图像块之后,还包括:
采用公式(7)~(9)更新所述奇异值阈值τ(m)
τ ( m ) = 2 2 ( σ E ( m ) ) 2 / σ X G i ( m ) - - - ( 7 )
σ E ( m ) = γ σ E 2 - | | I - I m - 1 | | 2 - - - ( 8 )
σ X G i ( m ) = max ( σ 2 ( I m - 1 ) / M - ( σ E ( m ) ) 2 , 0 ) - - - ( 9 )
其中,τ(m)表示对待处理图像在进行第m次去块效应处理之前所述奇异值阈值的更新值,σE表示量化噪声方差,I表示未进行一次处理的待处理图像,Im-1表示完成第(m-1)次处理并等待进行第m次处理的待处理图像,σ2(Im-1)表示完成第(m-1)次处理并等待进行第m次处理的待处理图像矩阵的奇异值,表示等待进行第m次去块效应处理的待处理图像当前的噪声方差,表示等待进行第m次去块效应处理的待处理图像当前的相对噪声方差,γ和M均为常数;
采用更新后的奇异值阈值,重复上述针对所述待处理图像的处理过程。
7.根据权利要求1~4中任一项所述的图像去块效应处理方法,其特征在于,所述从参考块邻域内的图像块中选取所述参考块的相似块,并组成相似块集合包括:
将所述参考块邻域内的待选图像块按照相似度从小到大的顺序排列,选取前a个图像块作为相似块,a为正整数,
或者,
在所述参考块邻域内选取相似度小于相似度阈值的图像块作为相似块;
其中,所述相似度为参考块与待选图像块的像素值之差的二范数。
8.一种图像去块效应处理装置,其特征在于,包括:
分块模块,用于在图像解码过程中,将待处理图像分为多个图像块,其中各图像块的划分边界与图像编码过程中的图像块的划分边界交错;
选块模块,用于从所述各图像块中选择参考块;和从所述参考块邻域内的图像块中选取所述参考块的相似块,并组成相似块集合;
去块模块,用于根据所述相似块集合自身固有频段内的频率信息将该相似块集合分为互相之间正交的子集,确定所述子集中元素数量小于阈值的子集为稀疏子集并将稀疏子集舍去,以使相应的频率高于预设阈值的对应高频子集分离出所述相似块集合,得到去除块效应后的各相似块组成的相似块集合。
9.根据权利要求8所述的图像去块效应处理装置,其特征在于,所述去块模块,具体用于:
采用如下公式(1)对所述相似块集合进行奇异值分解:
D ( X G i ) = UΣV T - - - ( 1 )
其中,i表示参考块位置,Gi表示第i位置的参考块邻域内的相似块位置集合,U表示所述奇异值分解中的特征向量矩阵,V表示所述奇异值分解中的特征向量矩阵,Σ表示所述奇异值分解中的奇异值矩阵,表示的奇异值分解式;
采用如下公式(2)对所述Σ进行处理:
Σ τ = diag ( max ( σ ( X G i ) - τ , 0 ) ) - - - ( 2 )
其中,τ表示所述预设阈值在所述奇异值矩阵中对应的奇异值阈值,表示所述的奇异值,表示对所述的奇异值矩阵执行低秩处理,Στ表示所述低秩处理后的的奇异值矩阵;
将所述低秩处理后的的奇异值矩阵Στ代入所述公式(1)中,得到去除块效应之后的各相似块组成的相似块集合
10.根据权利要求9所述的图像去块效应处理装置,其特征在于,所述去块模块,还用于在将所述Στ代入所述公式(1)中,得到去除块效应之后的各相似块组成的相似块集合之后:
采用公式(3)进行数据保真处理:
X G i k = X G i k - 1 + δ ( X G i 0 - Z k ) - - - ( 3 )
其中,k大于等于2,表示完成第(K-1)次去块效应处理和第(K-1)次数据保真处理的相似块集合,表示完成第K次去块效应处理待进行第K次数据保真处理的相似块集合,表示完成第K次去块效应处理和第K次数据保真处理的相似块集合,δ表示数据保真权重;特殊的,表示未进行任何处理的相似块集合。
11.根据权利要求10所述的图像去块效应处理装置,其特征在于,所述去块模块,还用于在重复上述去除块效应过程,直到满足块效应去除需求之后:
采用公式(4)计算得到测地距dpGD(i,j):
d pGD ( i , G i ( j ) ) = min p ∈ Γ i , j d ( p ) - - - ( 4 )
其中,表示Γi,j中路径p上相邻像素位置图像块亮度变化的二范数,Γi,j表示由参考块所对应第i位置到该参考块的相似块集合中任意一个相似块所对应第j位置的所有可能路径的集合,p表示从参考块所对应第i位置到该参考块的相似块集合中任意一个相似块所对应第j位置的任意一个可能路径,np表示Γi,j中任意一个路径p上的像素点数,n表示路径p上任意一个像素点的位置,表示路径p上任意一个像素点对应第n位置所对应图像块,表示路径p上第n位置像素点的相邻像素点所对应第(n+1)位置处的图像块,dpGD(i,Gi(j))表示测地距、即从第i位置对应参考块到该参考块相似块集合中任意一个第j位置对应相似块的路径相邻像素点位置图像块亮度变化和的二范数的最小值;
采用公式(5)计算得到各相似块的权重w(i,Gi(j)):
w ( i , G i ( j ) ) = e - d pGD ( i , G i ( j ) ) / ϵ - - - ( 5 )
其中,w(i,Gi(j))表示位置j所对应相似块相对于位置i所对应参考块的相似块权重,ε为比例常数;
采用公式(6)计算得到修正后的相似块集合
X G i ′ = ( w ( i , G i ( 1 ) ) · x G i ( 1 ) , w ( i , G i ( 2 ) ) · x G i ( 2 ) , . . . , w ( i , G i ( j ) ) · x G i ( j ) , . . . , w ( i , G i ( m ) ) · x G i ( m ) ) - - - ( 6 )
其中,表示修正后的相似块集合,w(i,Gi(j))表示第i位置对应参考块的相似块集合中的任意一个第j位置对应相似块相对于第i位置所对应参考块的权重,表示第i位置对应参考块的相似块集合中的第j位置对应相似块。
12.根据权利要求9~11中任一项所述的图像去块效应处理装置,其特征在于,所述选块模块,还用于:
从所述各图像块中再次选择参考块,并且重复上述去除块效应的处理过程,直到选择的参考块遍历所述各图像块。
13.根据权利要求12所述的图像去块效应处理装置,其特征在于,所述去块模块,还用于在从所述各图像块中再次选择参考块,并且重复上述去处块效应的处理过程,直到选择的参考块遍历所述各图像块之后:
采用公式(7)~(9)更新所述奇异值阈值τ(m)
τ ( m ) = 2 2 ( σ E ( m ) ) 2 / σ X G i ( m ) - - - ( 7 )
σ E ( m ) = γ σ E 2 - | | I - I m - 1 | | 2 - - - ( 8 )
σ X G i ( m ) = max ( σ 2 ( I m - 1 ) / M - ( σ E ( m ) ) 2 , 0 ) - - - ( 9 )
其中,τ(m)表示对待处理图像在进行第m次去块效应处理之前所述奇异值阈值的更新值,σE表示量化噪声方差,I表示未进行一次处理的待处理图像,Im-1表示完成第(m-1)次处理并等待进行第m次处理的待处理图像,σ2(Im-1)表示完成第(m-1)次处理并等待进行第m次处理的待处理图像矩阵的奇异值,表示等待进行第m次去块效应处理的待处理图像当前的噪声方差,表示等待进行第m次去块效应处理的待处理图像当前的相对噪声方差,γ和M均为常数。
14.根据权利要求8~11中任一项所述的图像去块效应处理装置,其特征在于,所述选块模块,具体用于:
将所述参考块邻域内的待选图像块按照相似度从小到大的顺序排列,选取前a个图像块作为相似块,a为正整数;或在所述参考块邻域内选取相似度小于相似度阈值的图像块作为相似块;
其中,所述相似度为参考块与待选图像块的像素值之差的二范数。
CN201410211573.9A 2014-05-19 2014-05-19 图像去块效应处理方法和装置 Expired - Fee Related CN105096351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410211573.9A CN105096351B (zh) 2014-05-19 2014-05-19 图像去块效应处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410211573.9A CN105096351B (zh) 2014-05-19 2014-05-19 图像去块效应处理方法和装置

Publications (2)

Publication Number Publication Date
CN105096351A true CN105096351A (zh) 2015-11-25
CN105096351B CN105096351B (zh) 2018-04-17

Family

ID=54576687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410211573.9A Expired - Fee Related CN105096351B (zh) 2014-05-19 2014-05-19 图像去块效应处理方法和装置

Country Status (1)

Country Link
CN (1) CN105096351B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105763880A (zh) * 2016-02-19 2016-07-13 北京大学 消除视频编码图像块效应的方法
CN110291791A (zh) * 2018-04-02 2019-09-27 北京大学 用于视频编解码的方法和设备
CN110352599A (zh) * 2018-04-02 2019-10-18 北京大学 用于视频处理的方法和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080056350A1 (en) * 2006-08-31 2008-03-06 Ati Technologies, Inc. Method and system for deblocking in decoding of video data
US7352812B2 (en) * 2001-03-26 2008-04-01 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
CN102081795A (zh) * 2011-01-14 2011-06-01 天津大学 基于稀疏表示的自动去块效应方法
CN102088606A (zh) * 2011-02-28 2011-06-08 西安电子科技大学 基于稀疏表示的去块效应方法
US20140072043A1 (en) * 2012-09-10 2014-03-13 Apple Inc. Video deblocking filter strength derivation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7352812B2 (en) * 2001-03-26 2008-04-01 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
US20080056350A1 (en) * 2006-08-31 2008-03-06 Ati Technologies, Inc. Method and system for deblocking in decoding of video data
CN102081795A (zh) * 2011-01-14 2011-06-01 天津大学 基于稀疏表示的自动去块效应方法
CN102088606A (zh) * 2011-02-28 2011-06-08 西安电子科技大学 基于稀疏表示的去块效应方法
US20140072043A1 (en) * 2012-09-10 2014-03-13 Apple Inc. Video deblocking filter strength derivation

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CAI J F ET AL: "《A singular value thresholding algorithm for matrix completion》", 《SIAM JOURNAL ON OPTIMIZATION, 2010》 *
CANDÈS E J ET AL: "《Exact matrix completion via convex optimization》", 《FOUNDATIONS OF COMPUTATIONAL MATHEMATICS, 2009》 *
REN J ET AL: "《 Postprocessing of block-coded videos for deflicker and deblocking》", 《ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP), 2013 IEEE INTERNATIONAL CONFERENCE ON. IEEE, 2013》 *
王小勇: "《基于DCT域的去块效应自适应后处理算法研究》", 《中国优秀博硕士学位论文全文数据库 (硕士) 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105763880A (zh) * 2016-02-19 2016-07-13 北京大学 消除视频编码图像块效应的方法
CN105763880B (zh) * 2016-02-19 2019-02-22 北京大学 消除视频编码图像块效应的方法
CN110291791A (zh) * 2018-04-02 2019-09-27 北京大学 用于视频编解码的方法和设备
CN110352599A (zh) * 2018-04-02 2019-10-18 北京大学 用于视频处理的方法和设备

Also Published As

Publication number Publication date
CN105096351B (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
KR102285064B1 (ko) 은닉 변수를 이용하는 영상 및 신경망 압축을 위한 방법 및 장치
TW201835817A (zh) 設計超級解析度深度卷積神經網路的裝置及方法
CN103202017B (zh) 使用基于样本的数据修剪的视频解码的方法和装置
CN103858427A (zh) 用于空间可伸缩视频编码的自适应插值
US9749609B2 (en) Method and apparatus for encoding a 3D mesh
CN110971901B (zh) 卷积神经网络的处理方法、装置、设备及存储介质
CN115950837B (zh) 基于即插即用先验的快照式光谱成像方法、***及介质
CN105828081B (zh) 编码方法及编码装置
KR20210125425A (ko) 미지의 저하가 발생한 실제 초 고해상도의 신경망을 학습시키는 시스템 및 방법
CN105096351A (zh) 图像去块效应处理方法和装置
US8737753B2 (en) Image restoration by vector quantization utilizing visual patterns
EP2991028A1 (en) Method for watermarking a three-dimensional object and method for obtaining a payload from a threedimensional object
CN105338219A (zh) 视频图像去噪处理方法和装置
CN116939226A (zh) 一种面向低码率图像压缩的生成式残差修复方法及装置
Abu et al. An efficient compact Tchebichef moment for image compression
CN101860753B (zh) 一种基于分形的视频压缩与解压缩方法
WO2022037146A1 (zh) 图像处理方法、装置、设备、计算机存储介质和***
CN110650339A (zh) 一种视频压缩方法、装置及终端设备
KR101914244B1 (ko) 이중 사전 학습을 이용한 영상 분할 장치 및 방법
US20160277745A1 (en) Method and apparatus for building an estimate of an original image from a low-quality version of the original image and an epitome
Zhou et al. Efficient image compression based on side match vector quantization and digital inpainting
EP2903288A1 (en) Method and apparatus for constructing an epitome from an image
GB2571818A (en) Selecting encoding options
CN106791859A (zh) 视频编码方法和视频编码器
Akbari et al. Downsampling based image coding using dual dictionary learning and sparse representations

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220624

Address after: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District

Patentee after: Peking University

Patentee after: New founder holdings development Co.,Ltd.

Patentee after: BEIJING FOUNDER ELECTRONICS Co.,Ltd.

Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District

Patentee before: Peking University

Patentee before: PEKING UNIVERSITY FOUNDER GROUP Co.,Ltd.

Patentee before: BEIJING FOUNDER ELECTRONICS Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230328

Address after: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District

Patentee after: Peking University

Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District

Patentee before: Peking University

Patentee before: New founder holdings development Co.,Ltd.

Patentee before: BEIJING FOUNDER ELECTRONICS Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180417