CN105373798B - 一种基于k近邻抠图和数学形态学的书法字提取方法 - Google Patents

Abstract

本发明公开了一种基于K近邻抠图和数学形态学的书法字提取方法，通过K近邻抠图建立参考图像，根据书法图像墨浓淡变化复杂的特点，利用基于数学形态学的边缘提取方法，分别在字体内部和边缘做不同窗口大小的引导滤波，再利用图像融合技术寻找更多的形质和神采信息。本发明能更准确地提取书法作品本身所具有的书法家的情感和个性的神采信息，特别是针对中国古代书法作品中墨浓淡变化复杂，字体边缘模糊的贴图像能够更准确地提取汉字信息，尤其是对于汉字的神采信息的提取效果显著。

Description

一种基于K近邻抠图和数学形态学的书法字提取方法

技术领域

本发明属于图像处理技术领域，涉及一种中国书法艺术研究和历史文化遗产保护领域中基于K近邻抠图和数字形态学的书法艺术信息提取方法，用于书法作品图像中汉字的神采信息提取。

背景技术

在中国书法艺术研究和历史文化遗产保护领域中，为能够从中国古代书法作品中更完整、更准确地提取汉字的形质和神采信息而采用图像预处理和图像分割的方法。目前对汉字信息的提取方法主要是采用将图像去噪、边缘检测和图像分割等相结合的方法以对汉字的形质信息进行提取。

北京大学的专利申请“一种图片文字检测的方法”(公开号：CN101122952，授权日：2008年2月13日，申请日：2007年9月21日)中公开了一种图片文字检测的方法。该方法首先合并原图在各个颜色分量上的边缘图，得到累积边缘图；然后把累积边缘图中的边缘点置为其在原图中的相应颜色，根据边缘点颜色的不同，用聚类的方法把累积边缘图分解成若干张子边缘图；最后在每张子边缘图中，多次进行水平和垂直投影，根据投影图进行垂直方向和水平方向的区域分割，定位图片中的文字区域。该方法能够较为准确地获得图像中文字的区域信息以及文字的形质信息，但是该方法中检测文字信息的关键主要依赖于图像的边缘信息，即主要关注文字的形质信息，而没有考虑文字的神采信息，从而导致检测的文字信息不够完整，给后期书法作品的研究工作带来不利影响。

Xiaoqing Lu等人在文献“Xiaoqing Lu,Zhi Tang,Yan Liu,Liangcai Gao，TingWang,Zhipeng Wang.‘Stroke-based Character Segmentation of Low-quality Imageson Ancient Chinese Tablet’[C],2013 12th International Conference on DocumentAnalysis and Recognition”,2013年中提出了一种基于Stroke的低质量古代碑图像中汉字提取方法。该方法的具体步骤包括：(1)对原始碑图像进行去噪预处理；(2)对去噪后的图像应用基于映射的分割方法得到初始分割结果；(3)利用自适应Otsu方法设置最小强度阈值，以获得Stroke滤波掩模，并使用该掩模对去噪后图像进行滤波处理，以得到Stroke的强度信息；(4)将步骤2中得到的分割结果和步骤3中得到的滤波掩模以选择具有较高Stroke强度的连同成分作为初始种子；(5)基于种子窗口内的引导信息，使用一个迭代的过程，以提取碑图像中含有的汉字信息；(6)迭代结束后，得到的分割结果即为提取的汉字信息。该方法虽然能够较好地处理碑图像中裂痕对汉字提取的影响，并且能够更完整地提取出碑图像中的汉字信息。但是该方法只关注汉字形质信息的提取，难以应用于贴图像中汉字神采信息的提取；并且方法实现过程中，较多的参数是根据经验获得。因此，方法存在较大的局限性。

发明内容

针对上述现有技术中存在的问题，本发明的目的在于，提出一种基于K近邻抠图和数学形态学的书法作品的艺术信息提取方法，以克服现有的书法作品中艺术信息提取技术中所采用的汉字提取方法细节信息缺失严重的缺点，提高书法作品艺术信息提取的准确性和艺术鉴赏价值。

为了实现上述任务，本发明采用以下技术方案：

一种基于K近邻抠图和数学形态学的书法字提取方法，包括以下步骤：

步骤一，在计算机中使用软件读取待处理的彩色图像；

步骤二，将待处理的彩色图像从RGB色彩空间转换到CTE-Lab色彩空间，得到L通道；

步骤三，利用K近邻抠图算法提取图像中的汉字信息，得到灰度图像，作为书法字提取的参考图像；

步骤四，将参考图像二值化后，再利用数学形态学腐蚀二值化后的参考图像，用步骤三的参考图像减去腐蚀后的参考图像，得到书法字的边缘图像；

步骤五，对边缘图像进行小窗口的引导滤波处理，并选择合适大小的窗口对书法字内部图像进行引导滤波处理；

步骤六，对边缘图像的滤波结果和书法字内部图像的滤波结果进行像素级的图像融合，完成。

进一步地，所述的步骤三的具体过程包括：

步骤S30，利用图像的颜色和位置信息提取特征向量，公式如下：

X(i)＝(cos(h),sin(h),s,v,x,y)_i

上式中，X(i)是特征向量，h，s，v分别是HSV颜色的空间的三个分量，x，y为像素的位置坐标；

骤S31，定义内核函数：

k(i,j)＝1-||X(i)-X(j)||/C

在上式中，k(i,j)为内核函数，X(i)和X(j)为不同的特征向量，C为权值调节系数，用来保证k(i,j)∈(0,1)；

由内核函数得到拉普拉斯矩阵：

L＝D-A

上式中，D为对角矩阵，D的对角线上的元素A是相似矩阵；

步骤S32，加入用户约束信息得到封闭解：

α＝(L+λM)^-1(λV)

上式中，M为对角矩阵，表示用户对已知像素点的标记，V为向量，表示用户对前景区域的标记，λ为约束系数，L为彩色图像在Lab颜色空间中的亮度；

步骤S33，将封闭解α的值带入以下公式，得到参考图像：

R＝αf+(1-α)b

上式中，R为参考图像，f未知的前景图层，b为未知的背景图层。

进一步地，所述的步骤四的具体过程包括：

步骤S40，将参考图像二值化

使用以下公式计算参考图像的平均像素值：

上式中，u表示L通道的平均像素值，f(x,y)表示图像中坐标为(x,y)处像素的像素值，M和N分别表示图像的长度和宽度；

步骤S41，设对参考图像进行二值化处理的最优阈值为T，则统计L通道中像素值大于T的像素占图像的比例w₁以及L通道中像素值小于等于T的像素占图像的比例w₂，并计算L通道中像素值大于T的像素的平均像素值u₁以及L通道中像素值小于等于T的像素的平均像素值u₂；

步骤S42，遍历T的每一种可能的取值，使用以下公式计算类间差异值：

G＝w₁×(u₁-u)×(u₁-u)+w₂×(u₂-u)×(u₂-u)

上式中，G表示二值化处理过程中目标部分和背景部分两类之间的差异值，当G达到最大时，即可得到二值化的最佳阈值T，然后再使用下式对参考图像进行二值化处理：

步骤S43，利用结构元素取3*3的矩阵对二值化后的参考图像进行腐蚀，使书法字边缘减少一个像素，再利用参考图像减去腐蚀后的参考图像，便可得到书法字的边缘；其中：

腐蚀运算定义为：

RΘB^s＝{Z,B_z∈R}

数学形态的边缘提取算子如下：

ED(R)＝R-(RΘB)

上面两式中，B是3*3的结构元素，B_Z为结构元素平移Z个单位后的结果，B^S为结构元素关于原点对称的集合，ED(R)为参考图像R中书法字的边缘。

本发明与现有技术相比具有以下优点：

1.本发明使用了K近邻抠图和引导滤波器，很好的解决了传统方法缺少灰度细节，难以提取书法字模糊边缘的问题，能够更好地提取书法作品中汉字的形质和神采信息，提高了汉字信息提取的完整性。

2.本发明使用了基于数学形态学的边缘提取方法，很好的解决了传统方法不能保持汉字边缘锐利的问题。使书法字保持边缘平滑流畅，提高了汉字信息提取的准确性。

3.本发明通过K近邻抠图建立参考图像，根据书法图像墨浓淡变化复杂的特点，利用基于数学形态学的边缘提取方法，分别在字体内部和边缘做不同窗口大小的引导滤波，再利用图像融合技术寻找更多的形质和神采信息，解决了现有的书法作品中艺术信息提取技术中所采用的汉字提取方法细节信息缺失严重的问题，提高了书法作品艺术信息提取的准确性和艺术鉴赏价值。

附图说明

图1为本发明方法的整体流程图；

图2为书法图像《松风阁诗》的局部图像；

图3为颜色空间转换和K近邻抠图后的结果，其中图3(a)为原图的L通道，图3(b)为参考图像；

图4为对参考图像边缘提取后的结果，其中图4(a)为内部图像，图4(b)为边缘图像；

图5对内部图像和边缘图像做不同窗口大小引导滤波的结果，其中图5(a)为内部图像，图5(b)为边缘图像；

图6为图像融合的结果图；

图7为仿真实验2中第一组的两幅图像作品实验结果对比图；

图8为仿真实验2中第二组的两幅图像作品实验结果对比图；

图9为仿真实验2中第三组的两幅图像作品实验结果对比图；

具体实施方式

一、步骤详解

本发明的流程图如图1所示，具体过程如下：

一种基于K近邻抠图和数学形态学的书法字提取方法，包括以下步骤：

步骤一，在计算机中使用软件读取待处理的彩色图像；计算机中使用的软件可以采用Matlab软件；

步骤二，将待处理的彩色图像从RGB色彩空间转换到CTE-Lab色彩空间，得到L通道，具体转换公式如下：

X＝0.412453×R+0.357580×G+0.180423×B

Y＝0.212671×R+0.715160×G+0.072169×B

Z＝0.019334×R+0.119193×G+0.950227×B

X₁＝X/(255×0.950456)

Y₁＝Y/255

Z₁＝Z/(255×1.088754)

其中，X,Y,Z分别表示CIE1931标准色度观察者光谱三刺激值，R,G,B分别表示彩色图像在RGB颜色空间中的红、绿、蓝三个通道，X₁,Y₁,Z₁分别表示线性归一化的X,Y,Z的值；

如果Y>0.008856，则：

f(X₁)＝X₁^(1/3)

f(Y₁)＝Y₁^(1/3)

f(Z₁)＝Z₁^(1/3)

L＝116×f(Y₁)-16

如果Y<0.008856，则：

f(X₁)＝7.787×X₁+16/116

f(Y₁)＝7.787×Y₁+16/116

f(Z₁)＝7.787×Z₁+16/116

L＝903.3×Y₁

a＝500×(f(X₁)-f(Y₁))+128

b＝200×(f(Y₁)-f(Z₁))+128

其中，f(·)是校正函数，L表示彩色图像在Lab颜色空间中的亮度，a,b表示彩色图像在Lab颜色空间中的色彩，a的正半轴表示红色，负半轴表示绿色，b的正半轴表示黄色，负半轴表示蓝色。

步骤三，利用K近邻抠图算法提取图像中的汉字信息，得到灰度图像，作为书法字提取的参考图像；具体过程如下：

步骤S30，利用图像的颜色和位置信息提取特征向量，公式如下：

X(i)＝(cos(h),sin(h),s,v,x,y)_i

上式中，X(i)是特征向量，h，s，v分别是HSV颜色的空间的三个分量，x，y为像素的位置坐标；

骤S31，定义内核函数：

k(i,j)＝1-||X(i)-X(j)||/C

在上式中，k(i,j)为内核函数，X(i)和X(j)为不同的特征向量，C为权值调节系数，用来保证k(i,j)∈(0,1)；

由内核函数得到拉普拉斯矩阵：

L＝D-A

上式中，D为对角矩阵，D的对角线上的元素A是相似矩阵；

步骤S32，加入用户约束信息得到封闭解：

α＝(L+λM)^-1(λV)

上式中，M为对角矩阵，表示用户对已知像素点的标记，V为向量，表示用户对前景区域的标记，λ为约束系数，L为彩色图像在Lab颜色空间中的亮度；

步骤S33，将封闭解α的值带入以下公式，得到参考图像：

R＝αf+(1-α)b

上式中，R为参考图像，f未知的前景图层，b为未知的背景图层。

步骤四，将参考图像二值化后，再利用数学形态学腐蚀二值化后的参考图像，用步骤三的参考图像减去腐蚀后的参考图像，得到书法字的边缘图像；具体过程如下：

步骤S40，使用OTSU将参考图像二值化

使用以下公式计算参考图像的平均像素值：

上式中，u表示L通道的平均像素值，f(x,y)表示图像中坐标为(x,y)处像素的像素值，M和N分别表示图像的长度和宽度；

步骤S41，设对参考图像进行二值化处理的最优阈值为T，则统计L通道中像素值大于T的像素占图像的比例w₁以及L通道中像素值小于等于T的像素占图像的比例w₂，并计算L通道中像素值大于T的像素的平均像素值u₁以及L通道中像素值小于等于T的像素的平均像素值u₂；相关公式为：

其中，W₁和W₂分别表示L通道中像素值大于T的像素数和像素值小于等于T的像素数，i表示图像中像素的像素值，n(i)表示像素值等于i的像素数；

步骤S42，遍历T的每一种可能的取值，使用以下公式计算类间差异值：

G＝w₁×(u₁-u)×(u₁-u)+w₂×(u₂-u)×(u₂-u)

上式中，G表示二值化处理过程中目标部分和背景部分两类之间的差异值，当G达到最大时，即可得到二值化的最佳阈值T，然后再使用下式对参考图像进行二值化处理：

步骤S43，在数学形态学运算中，腐蚀具有消除物体边界的作用。利用结构元素取3*3的矩阵对二值化后的参考图像进行腐蚀，使书法字边缘减少一个像素，再利用参考图像减去腐蚀后的参考图像，便可得到书法字的边缘；其中：

腐蚀运算定义为：

RΘB^s＝{Z,B_z∈R}

数学形态的边缘提取算子如下：

ED(R)＝R-(RΘB)

上面两式中，B是3*3的结构元素，B_Z为结构元素平移Z个单位后的结果，B^S为结构元素关于原点对称的集合，ED(R)为参考图像R中书法字的边缘。

步骤五，对边缘图像进行小窗口的引导滤波处理，并选择合适大小的窗口对书法字内部图像进行引导滤波处理；

步骤S50，首先对边缘图像ED进行小窗口的引导滤波处理：

以边缘图像ED为输入图像I，以图像L通道为引导图像Ig，引导滤波器就是对引导图像的一个线性变换，即：

其中，I_o(x,y)是滤波输出图像中坐标位置为处的像素值，a_k和b_k是线性系数，I_g(x,y)是引导图像中坐标位置(x,y)处的像素值，ω_k是以像素点为中心,半径为r的一个局部窗口。在对边缘图像引导滤波处理时，为保持边缘锐利，用小窗口引导滤波器，即使用r＝2的局部窗口ω₂；

为了使输入图像I和输出图像I_o之间的差异最小，即需要在窗口ω₂中使以下的函数达到最小化：

E＝∑((I_o(x,y)-I(x,y))²+εa_k ²)

＝∑((a_kI_g(x,y)+b_k-I(x,y))²+εa_k ²)

其中，I(x,y)是输入图像中坐标位置为(x,y)处的像素值，E是I_o(x,y)和I(x,y)之间的差异值，ε是一个防止的值过大的正则化参数。当E达到最小时a_k和b_k分别为：

其中，σ_k ²和μ_k分别为在窗口ω₂内I_g(x,y)的均值和方差，为I(x,y)在窗口ω₂内的均值，|ω₂|是窗口ω₂内像素点的个数。

由于一个像素可能被多个窗口所覆盖，因此，可以根据计算得到的参数a_k和b_k，通过以下公式计算得到滤波输出I_o(x,y)：

其中，和是覆盖像素(x,y)的所有窗口系数的均值。

由I_o(x,y)得到边缘图像ED的引导滤波结果ED′。

步骤S51，对书法字内部图像进行引导滤波处理：

以内部图像IE为输入图像I，以图像L通道为引导图像Ig，为提取更多的灰度信息，使用较大的滤波窗口，即使用r＝8的局部窗口ω₈；其他过程均与步骤S50相同，得到内部图像的引导滤波结果IE′。

步骤六，对边缘图像的滤波结果和书法字内部图像的滤波结果进行像素级的图像融合，完成。

为了使最终的提取结果，同时包含丰富书法字内部丰富的灰度信息，和笔画锐利的边缘，将ED′和IE′进行图像融合，得到完整准确的书法字的形质和神韵。

对ED′和IE′在(x,y)处的像素值取最小，即：

g(x,y)＝min(ED′(x,y),IE′(x,y))

其中ED′(x,y)是ED′在坐标(x,y)处的像素值，IE′(x,y)是IE′在坐标(x,y)处的像素值，g(x,y)是图像融合结果在坐标(x,y)处的像素值，min(·)是取最小值。

二、仿真实验

仿真实验1：对本发明中书法图像中汉字形质和神采信息提取方法的仿真。

仿真1的仿真条件是在MATLAB R2013a软件下进行，引导滤波的参数ε＝0.1¹⁰，K近邻抠图算法的参数lambda＝100，level＝0.5，l＝1。

参照图2至图6，对书法图像黄庭坚的《松风阁诗》局部进行仿真实验。该书法图像保存较为完好，参考图像中包含了汉字的主要形质信息，然后对参考图像进行边缘提取，得到内部图像和边缘图像，分别用不同窗口大小的引导滤波器进行滤波处理，即可获得灰度细节和锐利的边缘，对滤波结果再进行图像融合，即可提取出了完整的神采信息，并且能够真实反映笔墨浓度变化和笔锋的走势，准确还原书法字边缘情况。在结果图像中，书法家在书写汉字时笔画的虚实以及笔锋的突变和渐变都能够较好地展示。

仿真实验2，对本发明方法进行对比分析的仿真。

仿真实验2的仿真条件是在MATLAB R2013a软件下进行，引导滤波的参数ε＝0.1¹⁰，K近邻抠图算法的参数lambda＝100，level＝0.5，l＝1。本发明方法主要与OTSU,FastFuzzy C-means(FFCM)以及Multi Channels and Guided Filters(MCGF)进行对比分析，以证明出本发明方法在书法作品中对汉字的神采信息的提取方面具有显著优势。实验结果的对比与分析描述如下：

参照图7，图8和图9(每一组选择两幅书法图像作品)，对于书法图像，需要同时提取出完整准确的形质和神采信息。首先，对于汉字的形质信息提取方面，所有的方法都比较准确的提取汉字的形质信息。但是本发明方法提取结果形质信息更加完整，如图7和图9中所示。在汉字的神采信息的提取中，对于书法字中边缘模糊的区域，Otsu，FFCM和MCGF提取结果对细节损失较大，如图8和图9所示。对于枯笔所写笔画，提取难度很大，OTSU，FFCM和MCGF损失大部分信息，如图7，图8和图9所示。然而与之形成对比的是，本发明方法在形质信息和神采信息的提取方面具有较高的准确性，无论对于飞白区域还是枯笔笔画都能保留了丰富的灰度细节，并且笔画的边缘清晰完整。

Claims (3)

1.一种基于K近邻抠图和数学形态学的书法字提取方法，其特征在于，包括以下步骤：

步骤一，在计算机中使用软件读取待处理的彩色图像；

步骤二，将待处理的彩色图像从RGB色彩空间转换到CTE-Lab色彩空间，得到L通道；

步骤三，利用K近邻抠图算法提取图像中的汉字信息，得到灰度图像，作为书法字提取的参考图像；

步骤四，将参考图像二值化后，再利用数学形态学腐蚀二值化后的参考图像，用步骤三的参考图像减去腐蚀后的参考图像，得到书法字的边缘图像；

步骤五，对边缘图像进行小窗口的引导滤波处理，并选择合适大小的窗口对书法字内部图像进行引导滤波处理；

步骤六，对边缘图像的滤波结果和书法字内部图像的滤波结果进行像素级的图像融合，完成。

2.如权利要求1所述的基于K近邻抠图和数学形态学的书法字提取方法，其特征在于，所述的步骤三的具体过程包括：

步骤S30，利用图像的颜色和位置信息提取特征向量，公式如下：

X(i)＝(cos(h),sin(h),s,v,x,y)_i

上式中，X(i)是特征向量，h，s，v分别是HSV颜色的空间的三个分量，x，y为像素的位置坐标；

步骤S31，定义内核函数：

k(i,j)＝1-||X(i)-X(j)||/C

在上式中，k(i,j)为内核函数，X(i)和X(j)为不同的特征向量，C为权值调节系数，用来保证k(i,j)∈(0,1)；

由内核函数得到拉普拉斯矩阵：

L＝D-A

上式中，D为对角矩阵，D的对角线上的元素A是相似矩阵；

步骤S32，加入用户约束信息得到封闭解：

α＝(L+λM)^-1(λV)

上式中，M为对角矩阵，表示用户对已知像素点的标记，V为向量，表示用户对前景区域的标记，λ为约束系数，L为彩色图像在Lab颜色空间中的亮度；

步骤S33，将封闭解α的值带入以下公式，得到参考图像：

R＝αf+(1-α)b

上式中，R为参考图像，f未知的前景图层，b为未知的背景图层。

3.如权利要求1所述的基于K近邻抠图和数学形态学的书法字提取方法，其特征在于，所述的步骤四的具体过程包括：

步骤S40，将参考图像二值化

使用以下公式计算参考图像的平均像素值：

上式中，u表示L通道的平均像素值，f(x,y)表示图像中坐标为(x,y)处像素的像素值，M和N分别表示图像的长度和宽度；

步骤S41，设对参考图像进行二值化处理的最优阈值为T，则统计L通道中像素值大于T的像素占图像的比例w₁以及L通道中像素值小于等于T的像素占图像的比例w₂，并计算L通道中像素值大于T的像素的平均像素值u₁以及L通道中像素值小于等于T的像素的平均像素值u₂；

步骤S42，遍历T的每一种可能的取值，使用以下公式计算类间差异值：

G＝w₁×(u₁-u)×(u₁-u)+w₂×(u₂-u)×(u₂-u)

上式中，G表示二值化处理过程中目标部分和背景部分两类之间的差异值，当G达到最大时，即可得到二值化的最佳阈值T，然后再使用下式对参考图像进行二值化处理：

步骤S43，利用结构元素取3*3的矩阵对二值化后的参考图像进行腐蚀，使书法字边缘减少一个像素，再利用参考图像减去腐蚀后的参考图像，便可得到书法字的边缘；其中：

腐蚀运算定义为：

RΘB^s＝{Z,B_z∈R}

数学形态的边缘提取算子如下：

ED(R)＝R-(RΘB)

上面两式中，B是3*3的结构元素，B_Z为结构元素平移Z个单位后的结果，B^S为结构元素关于原点对称的集合，ED(R)为参考图像R中书法字的边缘。