CN112686236A - 一种多特征融合的***检测方法 - Google Patents

Abstract

本发明提供了图像处理技术领域的一种多特征融合的***检测方法，包括如下步骤：步骤S10、获取大量的合同样本文件，自动检测各所述合同样本文件中的***；步骤S20、抽取检测到的各所述***；步骤S30、对抽取的各所述***进行多维特征融合，生成特征数据集；步骤S40、创建一***检测模型，利用所述特征数据集对***检测模型进行训练；步骤S50、利用训练后的所述***检测模型对电子档合同进行***检测，进而对所述电子档合同进行分类管理。本发明的优点在于：极大的提升了***识别的精度以及效率，进而极大的降低了电子档合同管理的成本。

Description

一种多特征融合的***检测方法

技术领域

本发明涉及图像处理技术领域，特别指一种多特征融合的***检测方法。

背景技术

随着信息化技术的发展，越来越多的线下工作被线上办公软件所替代；随着摄像头及智能手机的普及，信息获取越来越方便，使得越来越多的信息以图像或视频的形式存放到线上的办公环境。盖有***的合同就从传统的纸件转换为电子档，因此产生了对电子档合同进行分类管理的需求。

针对电子档合同的分类管理，传统的做法是人工查找电子档合同中的***，再基于***对电子档合同进行分类管理。但是，传统的做法存在如下缺点：1、由于是人工查找，当合同页数较多时，需要逐页向下查找，费时费力，且容易出错；2、由于***加盖时用力不均，导致只有半个***清晰，或是红色油泥较少造成***的内容不能很好的被人眼识别，需要重新制作合同，增加了合同管理成本。

因此，如何提供一种多特征融合的***检测方法，实现提升***识别的精度以及效率，进而降低电子档合同管理的成本，成为一个亟待解决的问题。

发明内容

本发明要解决的技术问题，在于提供一种多特征融合的***检测方法，实现提升***识别的精度以及效率，进而降低电子档合同管理的成本。

本发明是这样实现的：一种多特征融合的***检测方法，包括如下步骤：

步骤S10、获取大量的合同样本文件，自动检测各所述合同样本文件中的***；

步骤S20、抽取检测到的各所述***；

步骤S30、对抽取的各所述***进行多维特征融合，生成特征数据集；

步骤S40、创建一***检测模型，利用所述特征数据集对***检测模型进行训练；

步骤S50、利用训练后的所述***检测模型对电子档合同进行***检测，进而对所述电子档合同进行分类管理。

进一步地，所述步骤S10具体为：

获取大量的合同样本文件，利用DARKnet网络模型逐页检测各所述合同样本文件中的***。

进一步地，所述DARKnet网络模型采用ELU函数作为激活函数，池化操作采用随机池化。

进一步地，所述步骤S20具体包括：

步骤S21、设定一第一阈值区间以及一第二阈值区间，利用HSV算法以及所述第一阈值区间抽取***的红色区域，计算所述红色区域的面积为S1；

步骤S22、利用HSV算法以及所述第二阈值区间抽取***的噪声区域，并将所述噪声区域的RGB值调整为(255，255，255)，计算所述***中剔除噪声区域的面积为S2；

步骤S23、利用所述S1和S2进行IOU判定，抽取出所述***area：

进一步地，所述步骤S30具体包括：

步骤S31、将各所述***以30°为间隔进行旋转，利用hu不变矩对各状态下的所述***进行计算得到7个计算结果，基于各所述计算结果得到不变矩特征[1*7]，基于各所述不变矩特征[1*7]得到多角度不变矩特征[12*7]；

步骤S32、利用SURF算法提取各所述***的SURF特征[N*64]，并降维为SURF特征[1*7]；其中N为大于1的整数；

步骤S33、联合所述多角度不变矩特征[12*7]以及SURF特征[1*7]，生成特征数据集[13*7]。

进一步地，所述步骤S32中，所述并降维为[1*7]具体为：

将SURF特征[N*64]中，N个子特征[1*64]的相同列值取均值得到平均特征[1*64]，利用PCA降维算法将平均特征[1*64]降维为SURF特征[1*7]。

进一步地，所述步骤S40具体包括：

步骤S41、基于GBDT算法创建一***检测模型；

步骤S42、将所述特征数据集按预设的比例划分为训练集和验证集；

步骤S43、利用所述训练集对***检测模型进行训练；

步骤S44、利用所述验证集对训练后的所述***检测模型进行验证。

进一步地，所述步骤S50具体为：

利用训练后的所述***检测模型对电子档合同进行***检测生成检测结果，人工对所述检测结果进行核验，若核验通过，则利用所述***对电子档合同进行分类管理；若核验不通过，则人工对核验不通过的所述***进行标注，加入所述特征数据集，并进入步骤S40。

本发明的优点在于：

1、通过自动检测并抽取合同样本文件中的***，对各***进行多维特征融合生成特征数据集，再利用特征数据集对创建的***检测模型进行训练，最终利用训练后的***检测模型对电子档合同进行***检测，进而对电子档合同进行分类管理，相对于传统上通过人工查找电子档合同中的***，再基于***对电子档合同进行分类管理，极大的提升了***识别的精度以及效率，极大的降低了电子档合同管理的成本。

2、通过将ELU函数作为DARKnet网络模型的激活函数，相对于传统上采用RELU函数作为激活函数，能够保留小于0的特征值，保证了***检测的精度；通过采用随机池化作为DARKnet网络模型的池化操作，相对于传统的最大值池化和平均值池化，充分考虑了各特征值分布的区域以及重要性，进一步保证了***检测的精度。

3、通过采用HSV算法抽取***的红色区域以及噪声区域，再将噪声区域设为白色，最终利用IOU判定抽取最终的***，相对于传统上对图像的RGB三维特征进行分析，尽可能避免因颜色问题导致无法抽取出较为完整***的情况，即极大的提升了***抽取的完整性。

4、通过融合对图像大小、方向、位置以及形状有较好支持的多角度不变矩特征以及加强特征表示能力的SURF特征生成特征数据集，进而利用特征数据集训练***检测模型，使得***检测模型对各种形态的***均能很好的识别。

5、通过GBDT算法创建***检测模型，无需人工确定阈值，阈值通用性较强，进而极大的提升了***检测模型的泛化能力。

6、通过人工核验***检测模型的检测结果，对核验不通过的***进行标注并加入特征数据集，再次对***检测模型进行训练，极大的加强了***检测模型的兼容性。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1是本发明一种多特征融合的***检测方法的流程图。

具体实施方式

本申请实施例中的技术方案，总体思路如下：自动检测并抽取合同样本文件中的***，对各***进行多维特征融合生成特征数据集，再利用特征数据集对创建的***检测模型进行训练，最终利用训练后的***检测模型对电子档合同进行***检测，进而对电子档合同进行分类管理，以提升***识别的精度以及效率，降低电子档合同管理的成本。

请参照图1所示，本发明一种多特征融合的***检测方法的较佳实施例，包括如下步骤：

步骤S10、获取大量的合同样本文件，自动检测各所述合同样本文件中的***；所述合同样本文件为电子档文件，可为PDF档或者照片等格式；

步骤S20、抽取检测到的各所述***；

步骤S30、对抽取的各所述***进行多维特征融合，提取出更具代表性的特征组合，生成特征数据集；

步骤S40、创建一***检测模型，利用所述特征数据集对***检测模型进行训练；

步骤S50、利用训练后的所述***检测模型对电子档合同进行***检测，进而对所述电子档合同进行分类管理。

所述步骤S10具体为：

获取大量的合同样本文件，利用DARKnet网络模型逐页检测各所述合同样本文件中的***。

所述DARKnet网络模型采用ELU函数作为激活函数，池化操作采用随机池化(stochastic pooling)。

传统的DARKnet网络模型采用RELU函数作为激活函数，RELU函数的公式如下：

f(x)＝max(0,x)；

ELU函数的公式如下：

由上述公式可看出ELU函数对于小于0部分的特征依然有相应的保留，而RELU函数将小于0的特征强行赋0值，因此，本申请能够更好的满足***的检测和定位的效果。

由于深度学习的特殊性，网络层次越深或是结构越复杂可以更多的存储训练样本信息，即可以在后续推理过程中有更好的性能。但层次深或是模型复杂所带来的问题是训练过程中对硬件要求更高，同时训练的过程也会更加的长。为此，pooling(池化)层的引入可以减少特征的表示数量，更均衡的考虑训练的硬件或是时间成本与最终推理结果之间的关系。

传统的DARKnet网络模型采用最大值池化(maxpooling)和平均值池化(average-pooling)，这两种池化方法都是从全局角度去考虑特征的降维处理，没有考虑到特征值分布不同区域时，每个特征所代表的重要性可能是不同的。

maxpooling：即最大值做为pooling结果的处理方式，对于每个指定区域内的特征值，只会使用该区域内最大的值做为此区域的值，优点是处理简单、易理解。

average-pooling：从全局的角度出发，将区域内的所有值进行求平均，公式如下：

其中，pval为average-pooling计算后的特征值，N和J为每次处理的特征下标位置，f_i为区域内对应位置的特征值。

stochastic pooling：首先考虑区域相应位置所可能被选择的概率，然后结合区域内每个值所出现的概率进行相应的加权求和，保证局部的可选择性及相应的值共同作为pooling的结果。

特征值的被选概率计算方式如下：

其中，i表示相应特征值所在位置，R表示所有的特征值位置集合，a_i表示i位置的特征值，a_k表示k位置的特征值；

特征值计算举例如下：

再根据计算出来的特征值进行加权求和：

pval＝0*0+1.1*0.11+2.5*0.25+0.9*0.09+2.0*0.2+1.0*0.1+0*0+1.5*0.15+1.0*0.1＝1.652。

所述步骤S20具体包括：

步骤S21、设定一第一阈值区间以及一第二阈值区间，利用HSV算法以及所述第一阈值区间抽取***的红色区域，计算所述红色区域的面积为S1；

步骤S22、利用HSV算法以及所述第二阈值区间抽取***的噪声区域，并将所述噪声区域的RGB值调整为(255，255，255)，计算所述***中剔除噪声区域的面积为S2；

步骤S23、利用所述S1和S2进行IOU判定，抽取出所述***area：

所述第一阈值区间为[(0，100，100)，(10，255，255)]和[(160，100，100)，(179，255，255)]；

所述第二阈值区间为：

颜色	hmin	hmax	smin	smax	vmin	vmax
							黑	0	180	0	255	0	46
灰	0	180	0	30	221	255
							黄	26	34	43	255	46	255
绿	35	77	43	255	46	255
							蓝	100	124	43	255	46	255

在实际的业务处理过程中，由于电子档合同的质量原因或是合同文本中的背景字符干扰，可能会受诸如“签字”、“日期”等较为固定的内容干扰，从而导致即使两张不同的图片进行对比也有一定的相似度，对于特征的提取及后续的***判定会有较大的影响。

为了解决图像背景干扰所导致的识别准确率下降，需要对图像背景噪声进行去除。较为常见的方式是通过对图像中的RGB三维特征进行分析，通过人工进行前期分析确定一较为适中的阈值进行红色信息的抽取，但这样无法保证所有的***颜色均会被正确的处理，实际场景中可能由于***的油泥量的多与小导致***为深红或是浅红，也有可能由于扫描过程中出现的一些失真情况导致***的红色会有一定的变化。

因此本申请基于HSV对红色进行抽取；HSV中的H、S和V分别代表色相、饱和度和亮度，其中H的取值范围是[0，360]，0对应红色、120对应绿色、240对应蓝色的颜色起始值；S用于表示颜色的鲜艳程度，取值为0％～100％，其中0％表示灰色，100％则表示最鲜艳的值；V的取值范围是0％～100％，其中0％表示黑色，100％表示最亮的白色。相较于RGB的三色抽取，HSV可以更直观的对图像中的色相、亮度及鲜艳度进行控制。

由于电子档合同中的***颜色为红色，所以通过反向处理的思路，即先对图像中可能出现的其它颜色进行去除，即对黑、灰、黄、绿、蓝的颜色区域进行去除。通过对如上几种颜色进行提取，若找到符合条件的区域直接将RGB值改为(255,255,255)，从而对于非上述颜色的区域保留原值，最主要的是对于***区域内可能出现的黑色文字区域及可能在扫描过程中的噪音点很好的去除。

考虑到可能会有部分颜色的值不在所述第一阈值区间或者第二阈值区间，如果只使用红色区域进行颜色抽取，往往不能很好的对所有的电子档合同中的***进行抽取，如果红色的范围取值过大则会导致多余的信息也一起被提取，为了尽可能多的支持红色的区域范围保证***的提取完整性，同时也要尽可能多的剔除多余的噪声，因此进行IOU判定。

所述步骤S30具体包括：

步骤S31、将各所述***以30°为间隔进行旋转，利用hu不变矩对各状态下的所述***进行计算得到7个计算结果，基于各所述计算结果得到不变矩特征[1*7]，基于各所述不变矩特征[1*7]得到多角度不变矩特征[12*7]；

步骤S32、利用SURF算法提取各所述***的SURF特征[N*64]，并降维为SURF特征[1*7]；其中N为大于1的整数；SURF特征利用opencv提供的SurfFeatureDetector来提取；

步骤S33、联合所述多角度不变矩特征[12*7]以及SURF特征[1*7]，生成特征数据集[13*7]。

所述步骤S32中，所述并降维为[1*7]具体为：

将SURF特征[N*64]中，N个子特征[1*64]的相同列值取均值得到平均特征[1*64]，利用PCA降维算法将平均特征[1*64]降维为SURF特征[1*7]。

考虑到每个***中的文字内容、公司名字长度、***整体轮廓等均会有差异，且***的旋转角度不定、扫描后的大小不一等，因此选择hu不变矩作为全局特征生成中的一个环节。

hu不变矩会构造出7个不变矩结果作为一个特征表示，生成过程如下：

原点矩：

f(x,y)表示***的数字图像函数，M表示图像的宽，N表示图像的高；

中心矩：

x₀＝m₁₀/m₀₀,y₀＝m₀₁/m₀₀；

归一化中心矩：

利用二阶及三阶归一化中心矩构建了7个hu不变矩特征：

M1＝y₂₀+y₀₂；

M3＝(y₃₀-3y₁₂)²+(3y₂₁-y₀₃)²；

M4＝(y₃₀+y₁₂)²+(y₂₁+y₀₃)²；

M6＝(y₂₀-y₀₂)((y₃₀+y₁₂)²-(y₂₁+y₀₃)²)+4y₁₁(y₃₀+y₁₂)(y₂₁+y₀₃)；

所述步骤S40具体包括：

步骤S41、基于GBDT算法创建一***检测模型；

步骤S42、将所述特征数据集按预设的比例划分为训练集和验证集；

步骤S43、利用所述训练集对***检测模型进行训练；

步骤S44、利用所述验证集对训练后的所述***检测模型进行验证。

传统上，***的特征比较采用欧式距离或者余弦相似度进行计算；由于不同的场景中，特征相似度的具体阈值可能会有变动，比如对于特征较为明显的样本则特征之间的余弦相似度较高，所对应的阈值也应该设置的较高；对于算法可能更新的场景，则相应的阈值需要人工重新测试及确定，以欧式距离的阈值设定为例，欧式距离的计算公式如下：

其中X和Y均表示特征集，n表示特征数量，x_i表示对应的特征值；

因此，只要有需要对特征进行变动，则dist(X,Y)的值肯定会变化，比如有需要归一化的场景或是倍乘倍除等变化，因此阈值需要重新评估。

经过步骤S30的多维特征融合，生成的特征具有较强的代表性，而欧式距离或者余弦相似度只是全局评估了两个特征间的相似度，未考虑单个特征的分布情况，会造成相似度计算不准确，因此本申请采用GBDT算法，具有如下好处：

无需要人工确定阈值：对过前期对训练数据的处理转换为相应的训练数据后，可以使用GBDT算法直接对数据进行学习最终生成一训练好的模型，可以自动对新的特征进行判定是否相同；

提升特征信息的参与度：由于GBDT算法使用了分类回归的方式来对每一个具体的信息进行评估，即每个特征信息中的每一个具体的值均会参与到特征是否同类的判定中；

阈值通用性较强：对于后续如果有新的场景数据进来或是特征需要做大范围的变动场景时，无需要人工进行参与判定是否相似，通过对新的场景或是特征进行再次训练即可快速的生成符合业务需求的判定模型。

所述步骤S50具体为：

利用训练后的所述***检测模型对电子档合同进行***检测生成检测结果，人工对所述检测结果进行核验，若核验通过，则利用所述***对电子档合同进行分类管理；若核验不通过，则人工对核验不通过的所述***进行标注，加入所述特征数据集，并进入步骤S40。

对于多数情况下的电子档合同中的***，均可以正常提取和对比判定，但由于盖章时导致的***图像不完整、扫描噪音导致的未成功检测等情况，需结合人工进行核验。具体实施时，可设置一数量阈值，核验不通过的***的数量超过阈值时才启动对***检测模型的训练，并记录训练时长、迭代次数、准确率等数据。

综上所述，本发明的优点在于：

1、通过自动检测并抽取合同样本文件中的***，对各***进行多维特征融合生成特征数据集，再利用特征数据集对创建的***检测模型进行训练，最终利用训练后的***检测模型对电子档合同进行***检测，进而对电子档合同进行分类管理，相对于传统上通过人工查找电子档合同中的***，再基于***对电子档合同进行分类管理，极大的提升了***识别的精度以及效率，极大的降低了电子档合同管理的成本。

2、通过将ELU函数作为DARKnet网络模型的激活函数，相对于传统上采用RELU函数作为激活函数，能够保留小于0的特征值，保证了***检测的精度；通过采用随机池化作为DARKnet网络模型的池化操作，相对于传统的最大值池化和平均值池化，充分考虑了各特征值分布的区域以及重要性，进一步保证了***检测的精度。

3、通过采用HSV算法抽取***的红色区域以及噪声区域，再将噪声区域设为白色，最终利用IOU判定抽取最终的***，相对于传统上对图像的RGB三维特征进行分析，尽可能避免因颜色问题导致无法抽取出较为完整***的情况，即极大的提升了***抽取的完整性。

4、通过融合对图像大小、方向、位置以及形状有较好支持的多角度不变矩特征以及加强特征表示能力的SURF特征生成特征数据集，进而利用特征数据集训练***检测模型，使得***检测模型对各种形态的***均能很好的识别。

5、通过GBDT算法创建***检测模型，无需人工确定阈值，阈值通用性较强，进而极大的提升了***检测模型的泛化能力。

6、通过人工核验***检测模型的检测结果，对核验不通过的***进行标注并加入特征数据集，再次对***检测模型进行训练，极大的加强了***检测模型的兼容性。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (8)

1.一种多特征融合的***检测方法，其特征在于：包括如下步骤：

步骤S10、获取大量的合同样本文件，自动检测各所述合同样本文件中的***；

步骤S20、抽取检测到的各所述***；

步骤S30、对抽取的各所述***进行多维特征融合，生成特征数据集；

步骤S40、创建一***检测模型，利用所述特征数据集对***检测模型进行训练；

步骤S50、利用训练后的所述***检测模型对电子档合同进行***检测，进而对所述电子档合同进行分类管理。

2.如权利要求1所述的一种多特征融合的***检测方法，其特征在于：所述步骤S10具体为：

获取大量的合同样本文件，利用DARKnet网络模型逐页检测各所述合同样本文件中的***。

3.如权利要求2所述的一种多特征融合的***检测方法，其特征在于：所述DARKnet网络模型采用ELU函数作为激活函数，池化操作采用随机池化。

4.如权利要求1所述的一种多特征融合的***检测方法，其特征在于：所述步骤S20具体包括：

步骤S21、设定一第一阈值区间以及一第二阈值区间，利用HSV算法以及所述第一阈值区间抽取***的红色区域，计算所述红色区域的面积为S1；

步骤S22、利用HSV算法以及所述第二阈值区间抽取***的噪声区域，并将所述噪声区域的RGB值调整为(255，255，255)，计算所述***中剔除噪声区域的面积为S2；

步骤S23、利用所述S1和S2进行IOU判定，抽取出所述***area：

5.如权利要求1所述的一种多特征融合的***检测方法，其特征在于：所述步骤S30具体包括：

步骤S31、将各所述***以30°为间隔进行旋转，利用hu不变矩对各状态下的所述***进行计算得到7个计算结果，基于各所述计算结果得到不变矩特征[1*7]，基于各所述不变矩特征[1*7]得到多角度不变矩特征[12*7]；

步骤S32、利用SURF算法提取各所述***的SURF特征[N*64]，并降维为SURF特征[1*7]；其中N为大于1的整数；

步骤S33、联合所述多角度不变矩特征[12*7]以及SURF特征[1*7]，生成特征数据集[13*7]。

6.如权利要求5所述的一种多特征融合的***检测方法，其特征在于：所述步骤S32中，所述并降维为[1*7]具体为：

将SURF特征[N*64]中，N个子特征[1*64]的相同列值取均值得到平均特征[1*64]，利用PCA降维算法将平均特征[1*64]降维为SURF特征[1*7]。

7.如权利要求1所述的一种多特征融合的***检测方法，其特征在于：所述步骤S40具体包括：

步骤S41、基于GBDT算法创建一***检测模型；

步骤S42、将所述特征数据集按预设的比例划分为训练集和验证集；

步骤S43、利用所述训练集对***检测模型进行训练；

步骤S44、利用所述验证集对训练后的所述***检测模型进行验证。

8.如权利要求1所述的一种多特征融合的***检测方法，其特征在于：所述步骤S50具体为：

利用训练后的所述***检测模型对电子档合同进行***检测生成检测结果，人工对所述检测结果进行核验，若核验通过，则利用所述***对电子档合同进行分类管理；若核验不通过，则人工对核验不通过的所述***进行标注，加入所述特征数据集，并进入步骤S40。

Images