CN108345881B - 一种基于计算机视觉的文档质量检测方法 - Google Patents

Abstract

本发明涉及一种基于计算机视觉的文档质量检测方法。针对传统的人工肉眼检测困难，效率低，可靠性差，受到主观性影响较大的问题提出了基于计算机视觉的文档质量检测方法。为精确检测文档质量，该方法首先得通过合理的方法对高速文档打印视频进行静止帧提取；其次，基于计算机视觉的预处理方法对文档图像进行合适的图像预处理；再次，对预处理好得文档图像进行精确的轮廓检测和提取；紧接着，对提取到的文档轮廓图像进行倾斜矫正，使得畸形图像变为正常平铺的文档待检测图像；最后，对待检测图像进行PSNR和MSE质量评估，与模板进行比对，得出文档质量的检测结果。该方法拥有高效性、可靠性、连续性、灵活性等等特点，具有较强的实际应用性。

Description

一种基于计算机视觉的文档质量检测方法

技术领域

本发明涉及计算机视觉与数字图像领域，并将其应用于文档质量检测上，特别是一种基于计算机视觉的文档质量检测方法。

背景技术

随着二十一世纪的社会快速发展，工业与服务业的快速发展与进步，在现代化印刷工业上已经进行高度自动化的生产，在服务业上由于各个企业之间的竞争愈来愈激烈，所以对于文档的外观印刷质量的要求越来越高，对于文档的需求量越来越多，需要对庞大数量的文档进行分类整理也成了头疼的问题。在现代化印刷企业受到时间与成本的压力影响下，传统的肉眼观察只能定性地描述打印质量，而不能大量、快速地对打印质量进行定量描述，也不能将文档快速而又准确的依据某些特征分类进行分类。在这些情况下促使人们迫切寻求高效准确的文档检测与分类的智能***。

而近年来，计算机视觉技术快速发展，基于计算机视觉的各种检测技术在许多实际的应用***中已经得到广泛的使用与发展。计算机视觉是用工业相机和电脑代替人类，在没有人类干预的情况下通过计算机电脑来对目标进行识别、跟踪检测。总的来说，就是用机器代替人眼处理和分析图像。拥有高效性、可靠性、连续性、灵活性等等特点。在现代化工业与服务业中的批量文档印刷中，可能因为印刷机器精度没有达到要求、印刷材料不够，以及印刷技术上的复杂工艺还有环境等等因素。印刷出来的文档可能会存在许许多多质量缺陷，比如保险单作为例子存在，的印刷缺陷有油墨污点、针孔、起皱、文字模糊、文字漏印、瑕疵、刮伤、重影、划痕、错位、套印不准、套色误差等。这些质量缺陷会成为工业企业的发展瓶颈，对于服务业，会造成竞争不过别人的情况。同时，因为人工质量检测效率远远低于机器电脑的效率，这些情况迫使文档快速检测与分类成为必然的发展趋势。

发明内容

本发明的目的在于提供一种基于计算机视觉的文档质量检测方法，以克服现有人工检测存在的缺陷，并解决针对基于计算机视觉的文档质量检测方法。

为实现上述目的，本发明的技术方案是：一种基于计算机视觉的文档质量检测方法，按照如下步骤实现：

步骤S1：对输入的高速影像视频序列进行提取静止帧，即得到需要进行检测处理的文档图像；

步骤S2：将提取好的静止帧进行预处理，进行降噪和边缘加强，排除环境干扰项；

步骤S3：对步骤S2预处理好后的图像进行文档轮廓检测，再按轮廓提取文档图像部分；

步骤S4：在空间变换上对文档图像进行倾斜矫正，使之成为平铺的垂直俯视文档图像；

步骤S5：将步骤S4识别定位到的文档图像通过质量评估算法与模板进行比对，检测出文档的质量水平。

在本发明一实施例中，在所述步骤S1中，通过如下步骤提取待检测的文档图像：

步骤S11：对输入的在打印机下的高速视频采取帧数I，每隔I帧数提取图像，选取预设间隔帧数将输入的视频流化为图像流；

步骤S12：对图像流进行静止帧处理，将图像流中的前后两张图像进行图像算法相减，使相同部分为像素255，不相同部分为0；

步骤S13：统计相减操作后的图像，0像素点个数N，如果N小于预设好的阈值Y，则当前帧为静止帧，否则，抛弃此帧，继续步骤S12。

在本发明一实施例中，在所述步骤S2中，通过如下步骤对静止帧进行预处理：

步骤S21：将待检测图像通过Mean Shift均值漂移算法进行图像平滑处理，MeanShift算法步骤是：

S211：首先在图片随机选取一个像素点作为中心点；

S212：计算中心点的偏移均值M(x)，

其中，x表示中心点横坐标y表示中心点的纵坐标，S_h是一个半径为h的高维球区域：k表示在这n个样本点中有k个落入球S_h中；

S213：移动该点到其偏移均值，X^t+1＝M^t+x^t，M^t为t状态下求得的偏移均值；x^t为t状态下的中心，X^t+1为x^t下一个状态下的中心；然后以此为新的起始点，继续移动，直到满足一定的条件结束；

步骤S22：将待检测图像进行形态学操作开运算，即对图像先腐蚀后膨胀的过程，其数学表达式如下：

dst＝open(src,element)＝dilate(erode(src,element))

其中，src是输入图像，element是定义的核，erode是腐蚀操作，dilate是膨胀操作；

步骤S23：将待检测图像进行二值化处理，选取一个阈值将图像转为灰度图像。

在本发明一实施例中，在所述步骤S3中，对步骤S2预处理好后的图像进行文档轮廓检测的具体实现步骤如下：

步骤S31：采用Canny算子对待检测图像进行轮廓检测，Canny用的卷积算子是

x和y是坐标轴X和Y轴的变量，S_x是其x方向偏导数计算模版，S_y其y方向偏导数计算模版，其x轴方向、y轴方向的一阶偏导数矩阵，梯度幅值以及梯度方向的数学表达式为：

P[i,j]＝(f[i,j+1]-f[i,j]+f[i+1,j+1]-f[i+1,j])/2

Q[i,j]＝(f[i,j]-f[i+1,j]+f[i,j+1]-f[i+1,j+1])/2

θ[i：j]＝arCtan(Q[i：j]P[i：j])

其中，i和j是数组下标，其中f为图像灰度值，P代表X轴方向梯度幅值，Q代表Y轴方向梯度幅值，M是该点幅值，θ是梯度方向，也就是角度；

再根据计算出的梯度幅值进行非极大值抑制，紧接着用双阈值算法检测和连接边缘；

步骤S32：通过轮廓查找函数从二值图中提取出所有轮廓边缘再通过写一个删除算法：计算所有连通域的面积，然后删除那些面积小于预设阈值的连通域，只留下文档的轮廓图；

步骤S33：检测轮廓图中的直线段，采用累计概率霍夫变换，步骤如下：

S331：将图像坐标映射到图像极坐标上，直线表达式为

其中，r是原点到直线的距离，

是X轴坐标，β是Y轴坐标，λ是直线与X轴的倾斜角；

S332：随机抽取图像中的一个特征点，即边缘点，如果该点已经被标定为是某一条直线上的点，则继续在剩下的边缘点中随机抽取一个边缘点，直到所有边缘点都抽取完了为止；

S333：对该点进行霍夫变换，并进行累加和计算；

S334：选取在霍夫空间内值最大的点，如果该点大于阈值的，则进行步骤S335，否则回到步骤S332；

S335：根据霍夫变换得到的最大值，从该点出发，沿着直线的方向位移，从而找到直线的两个端点；

S336：计算直线的长度，如果大于某个阈值，则被认为是好的边缘线段记录下来放在Lines数组里，回到步骤S332。

在本发明一实施例中，在所述步骤S4中，在空间变换上对文档图像进行倾斜矫正的具体实现步骤如下：

步骤S51：文档图像边缘是一个四边形，分为上下左右四个边，分别为A、B、C、D；一条直线条由两个端点决定；通过这两个点坐标将Lines数组中的所有直线段大致按A、B、C、D四个边分类，文档图像左上角a点，取A的左端点和C的上端点中最靠近左上角的点；文档图像右上角b点，取A的右端点和D的上端点中最靠近右上角的点；文档图像左下角c点，取C的下端点和B的左端点中最靠近左下角的点；文档图像右下角d点，取D的下端点和B的右端点中最靠近右下角的点，取出a、b、c、d文档图像的四个角点；

步骤S52：接着，利用透视空间变换对文档图像的畸形图像进行倾斜矫正，首先根据步骤S51中找到的四个角点通过透视变换矩阵算法函数得到畸形图变到长方形的透视变换矩阵，然后通过透视空间变换算法函数进行空间变换完成倾斜矫正。

在本发明一实施例中，所述步骤S5的具体实现步骤如下：

步骤S61：采用PSNR峰值信噪比衡量文档图像的质量水平；将PSNR运用于待检测文档图像与模版图像，2个图像之间PSNR值越大，则越相似；预先设置一个阈值ps作为衡量基准；PSNR公式如下：

其中，MAX表示图像颜色的最大数值，8位采样点表示为255，因此MAX²＝255*255；

MSE表示当前图像P₁和参考图像P₂的均方误差，MSE公式为：

其中，m和n表示图像帧的高和宽，I表示当前在第I行，J表示当前在第J列，K(I,J)表示当前图像P₁的第I行第J列的像素，L(I,J)表示参考图像P₂的第I行第J列的像素；

步骤S62：将待检测图像数组作为K(I,J)代入，模板图像数组作为L(I,J)代入；计算得出待检测文档图像的PSNR值pr，若pr大于阈值ps，则待检测文档质量水平符合条件，否则待检测文档质量水平不合格。

相较于现有技术，本发明具有以下有益效果：本发明综合考虑了环境因素造成的干扰，通过预处理降噪和算法删除面积小的连通域来提高文档定位的准确性和可靠性。同时，通过Canny算子和轮廓查找函数对文档轮廓进行检测和提取。再者，通过累计概率霍夫变换进行直线段提取，再经过设计的算法，定位文档的四个角点坐标。随后，经过透视空间变换倾斜校正，将畸形文档图像拉伸成正常的文档图像。最后，运用PSNR和MSE评估方法对文档质量进行检测。本专利运用和优化了计算机视觉中的算法，可以精确地定位识别文档并且对文档进行质量检测。该方法简单，实现灵活，实用性较强。

附图说明

图1为本发明基于计算机视觉的文档质量检测方法的流程图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

如图1所示，本发明提供一种基于计算机视觉的文档质量检测方法。对传统的人工肉眼检测困难，效率低，可靠性差，受到主观性影响较大的问题提出了基于计算机视觉的文档质量检测方法。为精确检测文档质量，该方法首先得通过合理的方法对高速文档打印视频进行静止帧提取；其次，基于计算机视觉的预处理方法对文档图像进行合适的图像预处理；再次，对预处理好得文档图像进行精确的轮廓检测和提取；紧接着，对提取到的文档轮廓图像进行倾斜矫正，使得畸形图像变为正常平铺的文档待检测图像；最后，对待检测图像进行PSNR和MSE质量评估，与模板进行比对，得出文档质量的检测结果。具体步骤如下：

步骤S1：对输入的高速影像视频序列进行提取静止帧，即得到需要进行检测处理的文档图像；

步骤S2：将提取好的静止帧进行预处理，进行降噪和边缘加强，排除环境干扰项；

步骤S3：对步骤S2预处理好后的图像进行文档轮廓检测，再按轮廓提取文档图像部分；

步骤S4：在空间变换上对文档图像进行倾斜矫正，使之成为平铺的垂直俯视文档图像；

步骤S5：将步骤S4识别定位到的文档图像通过质量评估算法与模板进行比对，检测出文档的质量水平。

在所述步骤S1中，通过如下步骤提取待检测的文档图像：

步骤S11：对输入的在打印机下的高速视频采取合适的帧数I，每隔I帧数提取图像，选取预设间隔帧数将输入的视频流化为图像流；

步骤S12：对图像流进行静止帧处理，将图像流中的前后两张图像进行图像算法相减，使相同部分为像素255(白色像素)，不相同部分为0(黑色像素)；

步骤S13：统计相减操作后的图像，0(黑)像素点个数N，如果N小于预设好的阈值Y，则当前帧为静止帧，否则，抛弃此帧，继续步骤S12。

在所述步骤S2中，通过如下步骤对静止帧进行预处理：

步骤S21：将待检测图像通过Mean Shift均值漂移算法进行图像平滑处理，MeanShift算法步骤是：

S211：首先在图片随机选取一个像素点作为中心点；

S212：计算中心点的偏移均值M(x)，

其中，x表示中心点横坐标，y表示中心点的纵坐标，S_h是一个半径为h的高维球区域：k表示在这n个样本点中有k个落入球S_h中；

S213：移动该点到其偏移均值，X^t+¹＝M^t+x^t，M^t为t状态下求得的偏移均值；x^t为t状态下的中心，X^t+1为x^t下一个状态下的中心；然后以此为新的起始点，继续移动，直到满足一定的条件结束；

步骤S22：将待检测图像进行形态学操作开运算，即对图像先腐蚀后膨胀的过程，其数学表达式如下：

dst＝open(src,element)＝dilate(erode(src,element))

其中，src是输入图像，element是定义的核，erode是腐蚀操作，dilate是膨胀操作；

步骤S23：将待检测图像进行二值化处理，选取一个阈值将图像转为灰度图像。

在所述步骤S3中，对步骤S2预处理好后的图像进行文档轮廓检测的具体实现步骤如下：

步骤S31：采用Canny算子对待检测图像进行轮廓检测，Canny用的卷积算子是

x和y是坐标轴X和Y轴的变量，S_x是其x方向偏导数计算模版，S_y其y方向偏导数计算模版，其x轴方向、y轴方向的一阶偏导数矩阵，梯度幅值以及梯度方向的数学表达式为：

P[i,j]＝(f[i,j+1]-f[i,j]+f[i+1,j+1]-f[i+1,j])/2

Q[i,j]＝(f[i,j]-f[i+1,j]+f[i,j+1]-f[i+1,j+1])/2

θ[i，j]＝arctan(Q[i，j]P[i：j])

其中，i和j是数组下标，其中f为图像灰度值，P代表X轴方向梯度幅值，Q代表Y轴方向梯度幅值，M是该点幅值，θ是梯度方向，也就是角度；

再根据计算出的梯度幅值进行非极大值抑制，紧接着用双阈值算法检测和连接边缘；

步骤S32：通过轮廓查找函数从二值图中提取出所有轮廓边缘再通过写一个删除算法：计算所有连通域的面积，然后删除那些面积小于预设阈值的连通域，只留下文档的轮廓图；

步骤S33：检测轮廓图中的直线段，采用累计概率霍夫变换，步骤如下：

S331：将图像坐标映射到图像极坐标上，直线表达式为

其中，r是原点到直线的距离，

是X轴坐标，β是Y轴坐标，λ是直线与X轴的倾斜角；

S332：随机抽取图像中的一个特征点，即边缘点，如果该点已经被标定为是某一条直线上的点，则继续在剩下的边缘点中随机抽取一个边缘点，直到所有边缘点都抽取完了为止；

S333：对该点进行霍夫变换，并进行累加和计算；

S334：选取在霍夫空间内值最大的点，如果该点大于阈值的，则进行步骤S335，否则回到步骤S332；

S335：根据霍夫变换得到的最大值，从该点出发，沿着直线的方向位移，从而找到直线的两个端点；

S336：计算直线的长度，如果大于某个阈值，则被认为是好的边缘线段记录下来放在Lines数组里，回到步骤S332。

在所述步骤S4中，在空间变换上对文档图像进行倾斜矫正的具体实现步骤如下：

步骤S51：文档图像边缘是一个四边形，分为上下左右四个边，分别为A、B、C、D；一条直线条由两个端点决定；通过这两个点坐标将Lines数组中的所有直线段大致按A、B、C、D四个边分类，文档图像左上角a点，取A的左端点和C的上端点中最靠近左上角的点；文档图像右上角b点，取A的右端点和D的上端点中最靠近右上角的点；文档图像左下角c点，取C的下端点和B的左端点中最靠近左下角的点；文档图像右下角d点，取D的下端点和B的右端点中最靠近右下角的点，取出a、b、c、d文档图像的四个角点；

步骤S52：接着，利用透视空间变换对文档图像的畸形图像进行倾斜矫正，首先根据步骤S51中找到的四个角点通过透视变换矩阵算法函数得到畸形图变到长方形的透视变换矩阵，然后通过透视空间变换算法函数进行空间变换完成倾斜矫正。

所述步骤S5的具体实现步骤如下：

步骤S61：采用PSNR峰值信噪比衡量文档图像的质量水平；将PSNR运用于待检测文档图像与模版图像，2个图像之间PSNR值越大，则越相似；预先设置一个阈值ps作为衡量基准；PSNR公式如下：

其中，MAX表示图像颜色的最大数值，8位采样点表示为255，因此MAX²＝255*255；

MSE表示当前图像P₁和参考图像P₂的均方误差，MSE公式为：

其中，m和n表示图像帧的高和宽，I表示当前在第I行，J表示当前在第J列，K(I,J)表示当前图像P₁的第I行第J列的像素，L(I,J)表示参考图像P₂的第I行第J列的像素；

步骤S62：将待检测图像数组作为K(I,J)代入，模板图像数组作为L(I,J)代入；计算得出待检测文档图像的PSNR值pr，若pr大于阈值ps，则待检测文档质量水平符合条件，否则待检测文档质量水平不合格。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种基于计算机视觉的文档质量检测方法，其特征在于，按照如下步骤实现：

步骤S1：对输入的在打印机下的高速影像视频序列进行提取静止帧，即得到需要进行检测处理的文档图像；

步骤S2：将提取好的静止帧进行预处理，进行降噪和边缘加强，排除环境干扰项；

步骤S3：对步骤S2预处理好后的图像进行文档轮廓检测，再按轮廓提取文档图像部分；

步骤S4：在空间变换上对文档图像进行倾斜矫正，使之成为平铺的垂直俯视文档图像；

步骤S5：将步骤S4识别定位到的文档图像通过质量评估算法与模板进行比对，检测出文档的质量水平；

在所述步骤S2中，通过如下步骤对静止帧进行预处理：

步骤S21：将待检测图像通过Mean Shift均值漂移算法进行图像平滑处理，Mean Shift算法步骤是：

S211：首先在图片随机选取一个像素点作为中心点；

S212：计算中心点的偏移均值M(x₀)，

其中，x₀表示中心点横坐标，S_h是一个半径为h的高维球区域：k表示在n₀个样本点中有k个落入球S_h中；

S213：移动该点到其偏移均值，X^t+1＝M^t+x^t，M^t为t状态下求得的偏移均值；x^t为t状态下的中心，X^t+1为x^t下一个状态下的中心；然后以此为新的起始点，继续移动，直到满足一定的条件结束；

步骤S22：将待检测图像进行形态学操作开运算，即对图像先腐蚀后膨胀的过程，其数学表达式如下：

dst＝open(src,element)＝dilate(erode(src,element))

其中，src是输入图像，element是定义的核，erode是腐蚀操作，dilate是膨胀操作；

步骤S23：将待检测图像进行二值化处理，选取一个阈值将图像转为灰度图像；

在所述步骤S3中，对步骤S2预处理好后的图像进行文档轮廓检测的具体实现步骤如下：

步骤S31：采用Canny算子对待检测图像进行轮廓检测，Canny用的卷积算子是

x和y是坐标轴X和Y轴的变量，S_x是x方向偏导数计算模版，S_y是y方向偏导数计算模版，其x轴方向、y轴方向的一阶偏导数矩阵，梯度幅值以及梯度方向的数学表达式为：

P[i,j]＝(f[i,j+1]-f[i,j]+f[i+1,j+1]-f[i+1,j])/2

Q[i,j]＝(f[i,j]-f[i+1,j]+f[i,j+1]-f[i+1,j+1])/2

θ[i，j]＝arctan(Q[i，j]/P[i，j])

其中，i和j是数组下标，其中f为图像灰度值，P代表X轴方向梯度幅值，Q代表Y轴方向梯度幅值，M是该点幅值，θ是梯度方向，也就是角度；

再根据计算出的梯度幅值进行非极大值抑制，紧接着用双阈值算法检测和连接边缘；

步骤S32：通过轮廓查找函数从二值图中提取出所有轮廓边缘再通过写一个删除算法：计算所有连通域的面积，然后删除那些面积小于预设阈值的连通域，只留下文档的轮廓图；

步骤S33：检测轮廓图中的直线段，采用累计概率霍夫变换，步骤如下：

S331：将图像坐标映射到图像极坐标上，直线表达式为

其中，r是原点到直线的距离，

是X轴坐标，β是Y轴坐标，λ是直线与X轴的倾斜角；

S332：随机抽取图像中的一个特征点，即边缘点，如果该点已经被标定为是某一条直线上的点，则继续在剩下的边缘点中随机抽取一个边缘点，直到所有边缘点都抽取完了为止；

S333：对该点进行霍夫变换，并进行累加和计算；

S334：选取在霍夫空间内值最大的点，如果该点大于阈值的，则进行步骤S335，否则回到步骤S332；

S335：根据霍夫变换得到的最大值，从该点出发，沿着直线的方向位移，从而找到直线的两个端点；

S336：计算直线的长度，如果大于某个阈值，则被认为是好的边缘线段记录下来放在Lines数组里，回到步骤S332；

在所述步骤S4中，在空间变换上对文档图像进行倾斜矫正的具体实现步骤如下：

步骤S51：文档图像边缘是一个四边形，分为上下左右四个边，分别为A、B、C、D；一条直线条由两个端点决定；通过这两个端点坐标将Lines数组中的所有直线段大致按A、B、C、D四个边分类，文档图像左上角a点，取A的左端点和C的上端点中最靠近左上角的点；文档图像右上角b点，取A的右端点和D的上端点中最靠近右上角的点；文档图像左下角c点，取C的下端点和B的左端点中最靠近左下角的点；文档图像右下角d点，取D的下端点和B的右端点中最靠近右下角的点，取出a、b、c、d文档图像的四个角点；

步骤S52：接着，利用透视空间变换对文档图像的畸形图像进行倾斜矫正，首先根据步骤S51中找到的四个角点通过透视变换矩阵算法函数得到畸形图变到长方形的透视变换矩阵，然后通过透视空间变换算法函数进行空间变换完成倾斜矫正。

2.根据权利要求1所述的一种基于计算机视觉的文档质量检测方法，其特征在于，在所述步骤S1中，通过如下步骤提取待检测的文档图像：

步骤S11：对输入的在打印机下的高速视频采取帧数I，每隔I帧数提取图像，选取预设间隔帧数将输入的视频流化为图像流；

步骤S12：对图像流进行静止帧处理，将图像流中的前后两张图像进行图像算法相减，使相同部分为像素255，不相同部分为0；

步骤S13：统计相减操作后的图像，0像素点个数N，如果N小于预设好的阈值Y₀，则当前帧为静止帧，否则，抛弃此帧，继续步骤S12。

3.根据权利要求1所述的一种基于计算机视觉的文档质量检测方法，其特征在于，所述步骤S5的具体实现步骤如下：

步骤S61：采用PSNR峰值信噪比衡量文档图像的质量水平；将PSNR运用于待检测文档图像与模版图像，2个图像之间PSNR值越大，则越相似；预先设置一个阈值ps作为衡量基准；PSNR公式如下：

其中，MAX表示图像颜色的最大数值，8位采样点表示为255，因此MAX²＝255*255；

MSE表示当前图像P₁和参考图像P₂的均方误差，MSE公式为：

其中，m和n表示图像帧的高和宽，I表示当前在第I行，J表示当前在第J列，K(I,J)表示当前图像P₁的第I行第J列的像素，L(I,J)表示参考图像P₂的第I行第J列的像素；

步骤S62：将待检测图像数组作为K(I,J)代入，模板图像数组作为L(I,J)代入；计算得出待检测文档图像的PSNR值pr，若pr大于阈值ps，则待检测文档质量水平符合条件，否则待检测文档质量水平不合格。

Images