CN106340027B - 一种基于图像超分辨率的书法背景重建方法 - Google Patents

一种基于图像超分辨率的书法背景重建方法 Download PDF

Info

Publication number
CN106340027B
CN106340027B CN201610748446.1A CN201610748446A CN106340027B CN 106340027 B CN106340027 B CN 106340027B CN 201610748446 A CN201610748446 A CN 201610748446A CN 106340027 B CN106340027 B CN 106340027B
Authority
CN
China
Prior art keywords
background
image
calligraphy
above formula
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610748446.1A
Other languages
English (en)
Other versions
CN106340027A (zh
Inventor
龚晓庆
王磊
许鹏飞
汤战勇
章勇勤
陈晓江
房鼎益
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University
Original Assignee
Northwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University filed Critical Northwest University
Priority to CN201610748446.1A priority Critical patent/CN106340027B/zh
Publication of CN106340027A publication Critical patent/CN106340027A/zh
Application granted granted Critical
Publication of CN106340027B publication Critical patent/CN106340027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Processing Or Creating Images (AREA)
  • Character Input (AREA)

Abstract

本发明公开了一种基于图像超分辨率的书法背景重建方法，该方法首先在书法背景的彩色图像中选取包含噪声较少的部分背景进行背景重建，同时分割出书法作品中背景、文字和***信息，并对背景、文字以及***信息进行像素级的融合，得到最终的重建图像。本发明很好的解决了传统去噪方法导致艺术信息损失的问题，提高了书法作品的艺术信息的完整性；另外，本发明有效的解决了传统方法无法处理书法作品中墨迹扩散、自然风化等噪声的问题，得到了高质量的书法背景图像，提高了书法作品艺术信息的观赏价值。

Description

一种基于图像超分辨率的书法背景重建方法
技术领域
本发明属于图像处理技术领域，涉及一种基于图像超分辨率的书法背景重建方法，用于中国书法艺术研究和历史文化遗产保护中，对包含大量噪声的书法作品的背景图像进行修复。
背景技术
在中国书法艺术研究和历史文化遗产保护领域中，为能够使中国古代书法作品具有更好的观赏价值，去除图像背景中由于人为因素或自然风化造成的墨迹扩散，纸质污染等噪声，一般采用图像去噪的方法。目前对书法图像的去噪主要是针对一般的图像，如均值滤波、引导滤波等。但是这些去噪方法对书法背景中的噪声去除并不完全，并且会对文字和***这些艺术信息造成损失，因此传统的这些去噪方法不能很好地应用于书法作品中背景的去噪过程。
发明内容
针对上述现有技术中存在的问题，本发明的目的在于，提供一种基于图像超分辨率的书法背景重建方法，以解决现有的去噪技术无法有效去除书法作品中由于风化和人为因素造成的大量噪声的缺点，提高书法作品的观赏价值。
为了实现上述任务，本发明采用以下技术方案：
一种基于图像超分辨率的书法背景重建方法，包括以下步骤：
步骤一，利用软件读取待处理的书法作品的彩色图像；
步骤二，在彩色图像中，选取包含较少噪声的背景区域；
步骤三，对步骤二得到的背景区域进行背景重建，得到重建后的背景图像；
步骤四，分割书法作品彩色图像的背景、文字和***，得到文字信息与***信息；
步骤五，对步骤三得到的重建后的背景图像和步骤四中的文字信息、***信息进行像素级的融合，完成。
进一步地，所述的步骤三中，对背景区域进行背景重建的方法包括：
步骤S30，定义图像退化模型为：
Y＝DP X+N
上式中，X为重建后的背景图像，Y为背景区域图像，D和P分别为衍射效应和欠采样的操作算子，而N为加性高斯白噪声；
步骤S31，利用分层思想，记X′＝PX，则退化模型转化为：
步骤S32，为了求解步骤S31中的方程组，构造带约束的能量函数：
上式中，T为数值型参数，用于限制约束条件对能量函数的影响；对上式进行求导并令其等于0，可得：
DTDX'+TNTNX'-DTY＝0
对上式进行转换，得到：
D'AX'＝N'
其中，D'＝DTD+TNTN，N'＝DTY；
通过基于梯度的迭代，对X'1赋予随机初值，令X'k+1＝ρX'k,k＝1,2,3…，ρ∈(1,5]；直至满足收敛条件D'AX'-N'<103，即求得X'；其中(X'1,X'2,...,X'k+1)∈X'；
步骤S33，将步骤S32求得的X′代入X′＝PX，同样利用基于梯度的迭代，对X1赋予随机初值，令Xk+1＝λXk,k＝1,2,3…，λ∈(1,5]直至满足收敛条件X'-PX<103，即求得X；其中(X1,X2,...,Xk+1)∈X。
进一步地，所述的步骤四中得到文字信息与***信息的具体方法包括：
步骤S40，利用彩色图像的颜色和位置信息提取特征向量，公式如下：
X(i)＝(cos(h),sin(h),s,v,x,y)i
上式中，X(i)是特征向量，h，s，v分别是彩色图像HSV颜色的空间的三个分量，x，y为像素的位置坐标；
步骤S41，定义核函数：
k(i,j)＝1-||X(i)-X(j)||/C
在上式中，k(i,j)为核函数，X(i)和X(j)为不同的特征向量，C为权值调节系数，k(i,j)∈(0,1)；
将核函数k(i,j)代入相似矩阵A中，即Aij＝k(i,j)，得到拉普拉斯矩阵：
上式中，为对角矩阵，的对角线上的元素 是对角矩阵上第i行，第i列的元素，Aij是相似矩阵A中第i行，第j列的元素；
步骤S42，加入用户约束信息得到封闭解α1：
α1＝(L+λM)-1(λV)
上式中，M为对角矩阵，表示用户对已知像素点的标记，V为向量，表示用户对书法作品中文字的标记，λ为约束系数，范围为[10,1000]；
利用封闭解α1，得到书法中文字信息
上式中，I为步骤一中所述的书法作品的彩色图像；
步骤S43，利用步骤S41得到的结果，再加入用户约束信息，得到封闭解α2：
α2＝(L+λM)-1(λN)
上式中，M为对角矩阵，表示用户对已知像素点的标记，N为向量，表示用户对书法作品中***的标记，λ为约束系数，范围为[10,1000]；
利用封闭解α2，得到***信息S：
S＝α2I
本发明与现有技术相比具有以下技术特点：
1.本发明中使用的抠图算法，对复杂墨迹变化和模糊的***敏感，边缘识别准确，有效的将文字和***与背景分离，很好的解决了传统去噪方法导致艺术信息损失的问题，提高了书法作品的艺术信息的完整性；
2.本发明中使用的背景重建方法，利用书法作品背景中含有较少噪声的区域，通过图像超分辨率重建得到新的书法背景，有效的解决了传统方法无法处理书法作品中墨迹扩散、自然风化等噪声的问题，得到了高质量的书法背景图像，提高了书法作品艺术信息的观赏价值。
附图说明
图1为本发明方法的整体流程图；
图2为张旭《古诗四首》的局部图像(包含噪声)；
图3为本背景重建和背景、文字、***分割的示意图，其中(a)为提取出的文字信息，(b)为提取出的***信息，(c)为重建后的背景图像；
图4为对步骤三得到的结果进行像素级融合后的结果图；
图5为董其昌《册页》实验结果对比；
图6和图7为黄庭坚《松风阁诗》中不同片段的实验结果对比；
图8为怀素《古诗四首》实验结果对比；
在图5至图8中，(a)表示原始图像，(b)表示采用均值滤波方法对原始图像进行处理后得到的图像，(c)表示采用中值滤波方法对原始图像进行处理后得到的图像，(d)表示采用高斯滤波方法对原始图像进行处理后得到的图像，(e)为采用本发明方法对原始图像处理后得到的图像。
具体实施方式
一、步骤详解
本发明的流程图如图1所示，具体过程如下：
一种基于图像超分辨率的书法背景重建方法，包括以下步骤：
步骤一，在计算机中使用软件读取待处理的书法作品的彩色图像；所述的软件可以采用Matlab软件；
步骤二，观察书法作品的彩色图像，从彩色图像中选取包含较少噪声的背景区域；这里的噪声是指外界因素对原图像背景的影响，如模糊点、污点等；而这个步骤需要整体观察书法作品，在除了文字信息、***信息之外的背景中，找出相对于其他背景中包含噪声较少的背景区域；例如在图5(a)给出的这个示例图像中，除了文字信息和图像中的三个***信息之外，还存在一些污点和模糊点，而背景的整体色彩是浅黄色。通过对整个书法作品的观察，发现左下角上下两个***之间的区域背景色彩一致，其中的污点、模糊点相对于其他的背景较少，整体色泽单一，因此可选择这部分区域。
步骤三，以步骤二得到的背景区域作为输入样本图像，对背景区域进行重建，得到重建后的背景图像，重建算法具体过程如下：
步骤S30，定义图像退化模型为：
Y＝DP X+N
上式中，X为重建后的背景图像，Y为背景区域图像，D和P分别为衍射效应和欠采样的操作算子，而N为加性高斯白噪声；
步骤S31，利用分层思想，记X′＝PX，则退化模型转化为：
步骤S32，为了求解步骤S31中的方程组，构造如下的能量函数：
则将退化模型转化为求上式最小值的问题，因此对上式进行求导并令其等于0，可得：
DT(DX'-N)＝0
但上式无法保证算子DTD的可逆性，因此其解不唯一，故构造新的带约束的能量函数：
上式中，T为数值型参数，用于限制约束条件对能量函数的影响；对上式进行求导并令其等于0，可得：
DTDX'+TNTNX'-DTY＝0
对上式进行转换，得到：
D'AX'＝N'
其中，D'＝DTD+TNTN，N'＝DTY；
通过基于梯度的迭代，对X'1赋予随机初值，令X'k+1＝ρX'k,k＝1,2,3…，ρ∈(1,5]；直至满足收敛条件D'AX'-N'<103，即求得X'；其中(X'1,X'2,...,X'k+1)∈X'；
步骤S33，将步骤S32求得的X′代入X′＝PX，同样利用基于梯度的迭代，对X1赋予随机初值，令Xk+1＝λXk,k＝1,2,3…，λ∈(1,5]直至满足收敛条件X'-PX<103，即求得X，即为重建后的背景图像；其中(X1,X2,...,Xk+1)∈X。
步骤四，利用抠图的方法分割书法作品彩色图像的背景、文字和***，得到文字信息与***信息；具体过程包括：
步骤S40，利用彩色图像的颜色和位置信息提取特征向量，公式如下：
X(i)＝(cos(h),sin(h),s,v,x,y)i
上式中，X(i)是特征向量，h，s，v分别是彩色图像HSV颜色的空间的三个分量，x，y为像素的位置坐标；
步骤S41，定义核函数：
k(i,j)＝1-||X(i)-X(j)||/C
在上式中，k(i,j)为核函数，X(i)和X(j)为不同的特征向量，C为权值调节系数，k(i,j)∈(0,1)；
将核函数k(i,j)代入相似矩阵A中，即Aij＝k(i,j)，得到拉普拉斯矩阵L：
上式中，为对角矩阵，的对角线上的元素 是对角矩阵上第i行，第i列的元素，Aij是相似矩阵A中第i行，第j列的元素；
上式中求得的拉普拉斯矩阵L，是后续求解文字信息以及图像信息的基础。
步骤S42，加入用户约束信息，即用户对书法作品中文字、***和背景的标记，得到封闭解α1：
α1＝(L+λM)-1(λV)
上式中，M为对角矩阵，表示用户对已知像素点(文字、***和背景)的标记，V为向量，表示用户对书法作品图像中文字的标记，λ为约束系数，范围为[10,1000]；L为步骤S41中求得的拉普拉斯矩阵；
利用封闭解α1，得到书法中文字信息
上式中，I为步骤一中所述的书法作品的彩色图像，即原始图像；
步骤S43，利用步骤S41得到的结果(即最后得到的拉普拉斯矩阵L)，再加入用户约束信息(用户对书法作品图像中文字、***和背景的标记)，得到封闭解α2：
α2＝(L+λM)-1(λN)
上式中，M为对角矩阵，表示用户对已知像素点(文字、***和背景)的标记，N为向量，表示用户对图像中***的标记，λ为约束系数，范围为[10,1000]；
利用封闭解α2，得到***信息S：
S＝α2I
步骤五，对步骤三得到的重建后的背景图像和步骤四中的文字信息、***信息进行像素级的融合，完成。
将背景图像X，文字信息***信息S进行融合，融合策略用伪代码描述如下：
其中是文字信息图像中一点，S(x,y)是***信息图像S中一点，f(x,y)是图像融合结果中一点。
二、仿真实验
对本发明中提出的书法背景重建方法的仿真。
仿真条件是MATLAB R2010a 32位软件下进行。
参照图2至图4，对书法图像张旭的《古诗四首》进行仿真实验的过程。本发明的方法与经典的去噪算法均值滤波、中值滤波、高斯滤波的实验结果进行对比。图5对董其昌《册页》进行仿真实验的结果对比图，图6和图7对黄庭坚《诸上座草书卷》中不同片段进行仿真实验的结果对比图，图8为对怀素《古诗四首》进行仿真实验的结果对比图。对比过程中采用的现有技术算法为：均值滤波算法、中值滤波算法以及高斯滤波算法，分别为图5至图8中的(b)至(d)。(e)为利用本发明方法处理后得到的图像。
从图5至图8中的原始彩色图像(a)中可以看到，这些原始图像包含大量的噪声，影响了书法的观感。从图5至图8的(b)至(d)中可以看到，在现有的方法中，均值滤波、中值滤波、高斯滤波对背景中噪声去除效果十分微小，并导致图像模糊，无法有效进行书法字的背景去噪。
参见图5至图8中的(e)，本发明的方法通过提取文字和***信息，对噪声背景图像进行图像超分辨率重建，得到新的背景图像，在将文字和***信息与新的背景进行融合，即可得到最终的结果。在结果图像中，很好的去除了背景中的噪声，书法作品本身的信息也得到了很好的保留。

Claims (2)

1.一种基于图像超分辨率的书法背景重建方法，其特征在于，包括以下步骤：
步骤一，利用软件读取待处理的书法作品的彩色图像；
步骤二，在彩色图像中，选取包含较少噪声的背景区域；
步骤三，对步骤二得到的背景区域进行背景重建，得到重建后的背景图像；对背景区域进行背景重建的方法包括：
步骤S30，定义图像退化模型为：
Y＝DP X+N
上式中，X为重建后的背景图像，Y为背景区域图像，D和P分别为衍射效应和欠采样的操作算子，而N为加性高斯白噪声；
步骤S31，利用分层思想，记X′＝PX，则退化模型转化为：
步骤S32，为了求解步骤S31中的方程组，构造带约束的能量函数：
上式中，T为数值型参数，用于限制约束条件对能量函数的影响；对上式进行求导并令其等于0，可得：
DTDX'+TNTNX'-DTY＝0
对上式进行转换，得到：
D'AX'＝N'
其中，D'＝DTD+TNTN，N'＝DTY；
通过基于梯度的迭代，对X'1赋予随机初值，令X'k+1＝ρX'k,k＝1,2,3…，ρ∈(1,5]；直至满足收敛条件D'AX'-N'<103，即求得X'；其中(X'1,X'2,...,X'k+1)∈X'；
步骤S33，将步骤S32求得的X′代入X′＝PX，同样利用基于梯度的迭代，对X1赋予随机初值，令Xk+1＝λXk,k＝1,2,3…，λ∈(1,5]直至满足收敛条件X'-PX<103，即求得X；其中(X1,X2,...,Xk+1)∈X；
步骤四，分割书法作品彩色图像的背景、文字和***，得到文字信息与***信息；
步骤五，对步骤三得到的重建后的背景图像和步骤四中的文字信息、***信息进行像素级的融合，完成。
2.如权利要求1所述的基于图像超分辨率的书法背景重建方法，其特征在于，所述的步骤四中得到文字信息与***信息的具体方法包括：
步骤S40，利用彩色图像的颜色和位置信息提取特征向量，公式如下：
X(i)＝(cos(h),sin(h),s,v,x,y)i
上式中，X(i)是特征向量，h，s，v分别是彩色图像HSV颜色的空间的三个分量，x，y为像素的位置坐标；
步骤S41，定义核函数：
k(i,j)＝1-||X(i)-X(j)||/C
在上式中，k(i,j)为核函数，X(i)和X(j)为不同的特征向量，C为权值调节系数，k(i,j)∈(0,1)；
将核函数k(i,j)代入相似矩阵A中，即Aij＝k(i,j)，得到拉普拉斯矩阵：
上式中，为对角矩阵，的对角线上的元素 是对角矩阵上第i行，第i列的元素，Aij是相似矩阵A中第i行，第j列的元素；
步骤S42，加入用户约束信息得到封闭解α1：
α1＝(L+λM)-1(λV)
上式中，M为对角矩阵，表示用户对已知像素点的标记，V为向量，表示用户对书法作品中文字的标记，λ为约束系数，范围为[10,1000]；
利用封闭解α1，得到书法中文字信息
上式中，I为步骤一中所述的书法作品的彩色图像；
步骤S43，利用步骤S41得到的结果，再加入用户约束信息，得到封闭解α2：
α2＝(L+λM)-1(λN)
上式中，M为对角矩阵，表示用户对已知像素点的标记，N为向量，表示用户对书法作品中***的标记，λ为约束系数，范围为[10,1000]；
利用封闭解α2，得到***信息S：
S＝α2I 。
CN201610748446.1A 2016-08-26 2016-08-26 一种基于图像超分辨率的书法背景重建方法 Active CN106340027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610748446.1A CN106340027B (zh) 2016-08-26 2016-08-26 一种基于图像超分辨率的书法背景重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610748446.1A CN106340027B (zh) 2016-08-26 2016-08-26 一种基于图像超分辨率的书法背景重建方法

Publications (2)

Publication Number Publication Date
CN106340027A CN106340027A (zh) 2017-01-18
CN106340027B true CN106340027B (zh) 2019-02-01

Family

ID=57822757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610748446.1A Active CN106340027B (zh) 2016-08-26 2016-08-26 一种基于图像超分辨率的书法背景重建方法

Country Status (1)

Country Link
CN (1) CN106340027B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230341B (zh) * 2018-03-07 2021-12-17 汕头大学 一种基于分层抠图算法的眼底图像血管分割方法
CN109284758B (zh) * 2018-09-29 2021-11-16 武汉工程大学 一种******消除方法、装置和计算机存储介质
CN109949333B (zh) * 2019-03-20 2021-06-08 北京小蜻蜓智能科技有限公司 一种基于颜色解混的文字图章分离方法
CN110298790A (zh) * 2019-06-28 2019-10-01 北京金山云网络技术有限公司 一种对图像进行超分辨率重建的处理方法及装置
CN110288530A (zh) * 2019-06-28 2019-09-27 北京金山云网络技术有限公司 一种对图像进行超分辨率重建的处理方法及装置
CN113326009B (zh) * 2021-03-05 2022-05-31 临沂大学 一种纸质书法作品的复制方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020917A (zh) * 2012-12-29 2013-04-03 中南大学 一种基于显著性检测的中国古代书法绘画图像复原方法
CN105373798A (zh) * 2015-11-20 2016-03-02 西北大学 一种基于k近邻抠图和数学形态学的书法字提取方法
CN105654436A (zh) * 2015-12-24 2016-06-08 广东迅通科技股份有限公司 一种基于前景背景分离的背光图像增强去噪方法
CN105678724A (zh) * 2015-12-29 2016-06-15 北京奇艺世纪科技有限公司 图像的背景替换方法及装置
CN105844590A (zh) * 2016-03-23 2016-08-10 武汉理工大学 基于稀疏表示的图像超分辨率重建方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9811882B2 (en) * 2014-09-30 2017-11-07 Electronics And Telecommunications Research Institute Method and apparatus for processing super resolution image using adaptive preprocessing filtering and/or postprocessing filtering

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020917A (zh) * 2012-12-29 2013-04-03 中南大学 一种基于显著性检测的中国古代书法绘画图像复原方法
CN105373798A (zh) * 2015-11-20 2016-03-02 西北大学 一种基于k近邻抠图和数学形态学的书法字提取方法
CN105654436A (zh) * 2015-12-24 2016-06-08 广东迅通科技股份有限公司 一种基于前景背景分离的背光图像增强去噪方法
CN105678724A (zh) * 2015-12-29 2016-06-15 北京奇艺世纪科技有限公司 图像的背景替换方法及装置
CN105844590A (zh) * 2016-03-23 2016-08-10 武汉理工大学 基于稀疏表示的图像超分辨率重建方法及***

Also Published As

Publication number Publication date
CN106340027A (zh) 2017-01-18

Similar Documents

Publication Publication Date Title
CN106340027B (zh) 一种基于图像超分辨率的书法背景重建方法
Yi et al. Apdrawinggan: Generating artistic portrait drawings from face photos with hierarchical gans
Lu et al. Realbrush: Painting with examples of physical media
CN103246883B (zh) 一种煤矿井下热红外图像人脸识别方法
JP2020526809A5 (zh)
CN109146989B (zh) 一种通过搭建神经网络生成花鸟艺术字图像的方法
CN107516316B (zh) 一种在fcn中引入聚焦机制对静态人体图像进行分割的方法
CN107749052A (zh) 基于深度学习神经网络的图像去雾方法及***
Bi et al. A dynamic mode decomposition based edge detection method for art images
Chen et al. Face illumination manipulation using a single reference image by adaptive layer decomposition
CN103279936A (zh) 基于画像的人脸伪照片自动合成及修正方法
CN104820999B (zh) 一种将自然图像转换成水墨画风格图像的方法
Dong et al. Real-time image-based Chinese ink painting rendering
CN109409378A (zh) 一种纳西东巴经书的数字化处理方法
CN109325903A (zh) 图像风格化重建的方法及装置
CN105678735A (zh) 一种用于雾天图像的目标显著性检测方法
CN105093289A (zh) 一种基于图像处理的地震层位识别方法
CN110648312A (zh) 一种基于鳞片形态特征分析的羊毛与羊绒纤维识别方法
Djerouni et al. Dorsal hand vein image contrast enhancement techniques
CN112287765A (zh) 人脸活体检测方法、装置、设备及可读存储介质
Zhao et al. Research on the application of computer image processing technology in painting creation
CN105373798B (zh) 一种基于k近邻抠图和数学形态学的书法字提取方法
CN110502981A (zh) 一种基于彩色信息和深度信息融合的手势识别方法
CN112070684B (zh) 基于形态先验特征的甲骨刻辞文字修复方法
CN104298961B (zh) 基于口型识别的视频编排方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant