CN109741273A - 一种手机拍照低质图像的自动处理与评分方法 - Google Patents

Abstract

本发明提供了一种手机拍照低质图像的自动处理与评分方法，属于计算机视觉领域。在数据库中保存空白试卷信息以及标准答案；答题卡被拍照发送到服务器端，对该低质图像进行去噪；对去噪后的图像进行旋转以及扭曲矫正；对旋转以及扭曲矫正后的图像按题分割；将已识别的客观题答案与数据库中的标准答案进行对比自动评分。本发明在对空白卷格式进行特定的设计后，对拍照所得的低质量图像可以自动处理，即使该图像有较大幅度的形状、比例变化也可以进行试卷分割与自动评分。可有效降低对图像采集设备的要求，拓展了自动阅卷适用的场景。

Description

一种手机拍照低质图像的自动处理与评分方法

技术领域

本发明属于计算机信息处理技术领域，特别是涉及手机拍照低质图像的自动处理与评分方法。

背景技术

传统的考试阅卷中，是通过扫描仪扫描学生的答题试卷或者答题卡，然后对涂卡的题型进行电脑自动阅卷，对主观题进行人工批阅，最终由阅卷***计算总分录入成绩***。该阅卷方法对图像采集设备要求较高，要求采集到的图像平整，对采集图像过程要求严格。

发明内容

本发明所要解决的技术问题是针对上述现有技术提供一种手机拍照低质图像的自动处理与评分方法，学生用手机拍照后就可以上传答题卷，在服务器端完成对试卷的分割以及客观题评分，解决了现有技术中必须用扫描仪进行扫描，设备费用高，不够便捷的问题。

本发明解决上述问题所采用的技术方案为：一种手机拍照低质图像复原与自动处理方法，所述方法包括如下步骤：

步骤1、在服务器端的数据库中保存空白试卷以及标准答案信息；

步骤2、将手机拍照所得的低质图像上传服务器；

步骤3、在服务器端对图像进行去噪，旋转矫正，形变恢复处理；

步骤4、对低质图像进行去模糊处理；

步骤5、在服务器端对图像进行精确的图像分割；

步骤6、将已识别的题目答案与数据库中的标准答案对比并自动评分；

步骤7、将处理结果保存到服务器端。

优选地，步骤1具体包括如下步骤：

试卷区域设置有黑色方形定位块，每页的上方和下方均有数个，大小固定；

根据需要，答题区域外框进行加粗，粗细固定；

根据需要，答题卡黑色定位点块与答题区域外框对齐；

根据需要，答题卡的每个答题单元设置有若干行，若干列。

优选地，步骤3具体包括如下步骤：

整幅图像处理：对整幅图像进行去噪，倾斜矫正，形变恢复。

优选地，所述整幅图像处理具体包括如下步骤：

对低质图像进行去噪；

用积分图算法在已去噪的图像中准确定位黑色方形定位块的位置；

根据黑色方形定位块位置对图像进行形变恢复。

优选地，所述对低质图像进行去噪包括如下步骤：

步骤一：把低质图像划分为若干个子图像，每一个子图像再划分为多个邻域，在每个小区域上运用大津算法，将每个小区域分为背景和前景；

步骤二：以原空白试卷的灰度分布作为直方图规定化标准，对低质试卷图像进行直方图规定化处理：如果待处理试卷图像的窗口的直方图分布和原试卷图像相应窗口的直方图分布相近，那么对该窗口的图像不作处理，否则进行直方图规定化。

优选地，所述对低质图像去模糊处理具体包括如下步骤：

采用基于图像亮度和梯度先验的算法来消除运动模糊，令：

f(x)＝||x||₀

其中x表示图像，f(x)表示图像中非零像素个数，

利用先验知识，有：

式中表示图像梯度，σ为参数，

将F(x)作为正则化项加入传统的去模糊模型中，即：

其中x表示清晰图像，k为模糊核，λ为参数；

求解该模型得到去模糊后的图像，求解方法如下：

首先将x,k分离，得到：

以及

对于上述分离后的①②进行迭代求解可以得到x以及模糊核k，其中，每次迭代求解时，固定其中一个参数求解另一个参数。

优选地，所述在用积分图算法已去噪的图像中准确定位黑色方形定位块位置具体包括如下步骤：

矩形窗口的积分图：定义二值图像中的黑色像素点值为1，白色像素点值为0，矩形窗口的积分图中任一点(x,y)处的i(x,y)表示在原始图像中该点左上角所有像素之和：

从给定图像从上到下，从左到右计算得到的积分图像公式如下：

i(x,y)＝i(x-1,y)+i(x,y)+i(x,y-1)-i(x-1,y-1)

得到积分图后，图像中任意矩形区域内的黑色像素点的像素和通过如下公式计算：

sum(m,n)＝i(x,y)+i(u,v)-i(x,v)-i(u,y)

其中矩形大小为m＝x-u,n＝y-v，矩形左上角顶点坐标为(u，v)，右下角坐标为(x,y)。

优选地，所述根据标记块位置对图像进行形变恢复包括如下步骤：

透视变换：图像的透视变换用公式形式化为：

式中，(x’,y’)表示形变后的图像点坐标，(x,y)表示原图像中对应点的坐标。

a～l均是未知参数，

将上式表示成矩阵相乘：

该式中有八个未知参数a～f,m,l需要求解，对图像进行校正之前，需要得到原图像中的四个标记块坐标以及形变后图像中对应的四个标记块坐标，将得到的八个点坐标记为：原图中的坐标点：(x1,y1)，(x2,y2),(x3,y3)，(x4,y4)，形变后的坐标点：(x1’,y1’)，(x2’,y2’)，(x3’,y3’)，(x4’,y4’)，那么可以得到：

求解即可得到透视变换的参数，得到参数后即可对形变的图像进行透视变换矫正，可以得到未形变的图像。

优选地，步骤4具体包括如下步骤：

答题区域分割：对形变恢复后的试卷图像按照一定规则进行分割，得到分块的答题区域；

答题区域内分割：对于分成数行，数列的填空题，根据其对应的答题处的下划线，对答题区域进行分割，得到答题内容。

优选地，所述答题区域分割具体包括如下步骤：

根据每页方形定位块估算出每页的左右边界；

根据上下已加粗的边框定位答题区域上下边界；

根据得到的区域边界对试卷图像进行裁剪。

优选地，所述答题区域内分割具体包括如下步骤：

根据每页方形定位块估算出每页的左右边界；

根据上下已加粗的边框定位答题区域上下边界；

根据数据库中空白卷信息和得到的区域边界信息进行按题分割。

优选地，步骤5具体包括如下步骤：

定位图像中涂抹区域位置；

根据涂抹位置，按照一定规则转换为对应的答案；

对比数据库中的标准答案，得到评分。

与现有技术相比，本发明的优点在于：

本发明在对空白卷格式进行特定的设计后，对拍照所得的低质量图像可以自动处理，即使该图像有较大幅度的形状、比例变化也可以进行试卷分割与自动评分。可有效降低对图像采集设备的要求，拓展了自动阅卷适用的场景。

附图说明

图1为本发明一种手机拍照试卷低质量图像复原与分割方法的流程图；

图2为按照本发明的服务器端的一优选实施例的流程图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

如附图1和附图2所示，一种基于手机拍照的低质量图像的自动处理以及评分方法，实施该方法的***包括手机客户端和服务器端，所述方法包括以下步骤：

在服务器端的数据库中保存空白试卷信息以及标准答案；

手机拍照所得的低质图像上传服务器，服务器端接收所述图像；

在服务器端对图像进行去噪，旋转矫正，形变恢复；

在服务器端对图像进行精确的图像分割；

将已识别的选择题答案与数据库中的标准答案对比并自动评分；

将处理结果保存到服务器端。

空白试卷以数字化形式存在，标准答案以数字化形式保存，用来对选择题进行评分时对比。除了选择题外，分割后的图像以题目为单位进行保存，其中选择题部分以得分形式保存。

所述空白试卷的信息包括：

试卷区域设置有黑色方形定位块，每页的上方和下方均设置有数个，大小固定；

根据需要，答题区域外框进行加粗，粗细固定；

根据需要，答题卡黑色定位点块与答题区域外框对齐；

根据需要，答题卡的每个答题单元设置若干行，若干列；

所述在服务器端对图像进行去噪，旋转矫正，形变恢复包括：

去噪：按照自适应阈值法去除上传的低质量图像中的噪声以及阴影，方便后续定位块识别；

所述去除上传的低质量图像中的噪声以及阴影包括如下步骤：

由于条件限制，学生上传的图像会存在局部阴影，局部过曝等影响后续定位块识别的情况。因此本发明需要先对低质图像做去阴影，消除过曝等预处理，以下简称光照预处理。光照预处理需要分为两步，第一步是使用局部阈值法对低质图像做初步处理，第二步使用直方图规定法进一步消除图像中的阴影和过曝。

步骤一：把图像划分为若干个子图像(F1，F2，...，Fn)，每一个子图像再划分为多个邻域(M1，M2，...，Mn)，在每个小区域Mi(i＝1...n)上运用大津算法，大津算法步骤是：

设一幅图像的像素点总数为S,r(i)表示i灰度的点出现的频数，那么每个灰度级在一幅图像中出现的频率是：

通过阈值把图像中的点分为前景类和背景类，假设前景类中包含t个点，背景类包含S-t个点，那么前景和背景出现的频率p_a(t),p_b(t)公式可表示为

前景类和背景类的灰度均值m_a(t),m_b(t)和总的均值m_T分别是：

式中：

背景类和前景类的类间方差σ²(t)是：

σ²(t)＝m_a(t)(m_a(t)-m_T)²+m_b(t)(m_b(t)-m_T)²＝

m_a(t)*m_b(t)(m_a(t)-m_b(t))²。

当类间方差取的最大时获得最佳分割阈值T’,即：

在每个区域Mi上使用以上算法就可以得到多个阈值(t1,t2,...,tn)，使用该阈值序列可以将该区域区域分为背景和前景。

步骤二：经过步骤一的处理，低质图像已经得到了一定程度的恢复，但是为了完全消除图像局部阴影和过曝可能对后续定位块识别带来的的负面影响，还需要对图像做进一步的处理。图像直方图是一种重要的图像分析处理工具，它通过统计一幅图像中各个像素灰度级出现的频率来描述图像的灰度分布特性。直方图规定化方法通过规定待处理图像经过处理后的灰度分布来对低质图像进行还原。该算法基本原理如下：

令P(s)和P(t)分别为待处理图像和原试卷图像的灰度概率密度函数。先对待处理图像和原试卷图像均作直方图均衡化处理。则有：

u＝F^-1(U)；

由于都是进行直方图均衡化处理，处理后的原图像概率密度函数及期望图像的概率密度函数是相等的。于是，可以用变换后的原始图像灰度级s代替式u＝F^-1(U)中的U。

即：

u'＝F^-1(s)

此时的灰度级u’便是希望得到的灰度级。对于连续图像，重点是得到逆变换，而对于离散图像，对应的表达式为：

z＝T^-1(v)。

式中N表示像素点总数，P(z_k)表示k级灰度出现的频率，灰度级范围为(0，l-1)。

在本发明中对局部区域有选择的进行处理：如果待处理图像的窗口的直方图分布和原试卷图像相应窗口的直方图分布相近，那么对该窗口的图像不作处理，否则需要进行直方图规定化。由于原试卷是空白的，拍照所得图像在答题区域被填涂，因此该步骤只对原试卷中为非空白区域进行处理，对原试卷中为空白的区域不作直方图规定化。具体步骤是：

定义一个矩形扫描窗口，设定宽度为奇数，大小为(2d+1)*(2d+1)。考虑该窗口内的图像均值和方差，假设图像中心点为(u,v),点(i,j)处的像素值为p(i,j),那么，该窗口的直方图定义为：

其中ζ＝{0，1，2，。。。，256}，S表示矩形窗口内像素总数(2d+1)*(2d+1)。h_uv(g)反映了窗口的灰度分布情况。得到原空白试卷的直方图分布，此分布作为后续处理中的指定直方图。

该窗口的图像均值m_uv和方差σ²分别为：

分别得到待处理试卷的均值和方差m_s,原试卷矩形窗口的均值和方差m_d,若m_s和m_d相近并且和相近，那么说明该窗口和原试卷相似，不需要进行直方图规定化处理，否则，需要进行直方图规定化处理。

形变恢复：定位到标记块坐标后，比照空白卷中的相应定位块位置，按照一定规则进行透视变换；

所述定位标记块坐标具体包括如下步骤：

矩形窗口的积分图：定义二值图像中的黑色像素点值为1，白色像素点值为0。矩形窗口的积分图中任一点(x,y)处的i(x,y)表示在原始图像中该点左上角所有像素之和：

从给定图像从上到下，从左到右计算得到的积分图像公式如下：

i(x,y)＝i(x-1,y)+i(x,y)+i(x,y-1)-i(x-1,y-1)

得到积分图后，图像中任意矩形区域内的黑色像素点的像素和通过如下公式计算：

sum(m,n)＝i(x,y)+i(u,v)-i(x,v)-i(u,y)

其中矩形大小为m＝x-u,n＝y-v，矩形左上角顶点坐标为(u，v)，右下角坐标为(x,y)。

所述按照一定规则进行透视变换具体包括如下步骤：

透视变换：透视变换中通用的变换公式为：

式中，(x’,y’)表示形变后的图像点坐标，(x,y)表示原图像中对应点的坐标。a～l均是未知参数。

将上式表示成矩阵相乘：

该式中有八个未知参数a～f,m,l需要求解，对图像进行校正之前，需要得到原图像中的四个标记块坐标以及形变后图像中对应的四个标记块坐标。将得到的八个点坐标记为：原图中的坐标点：(x1,y1)，(x2,y2),(x3,y3)，(x4,y4)，形变后的坐标点：(x1’,y1’)，(x2’,y2’)，(x3’,y3’)，(x4’,y4’)，那么可以得到：

求解即可得到透视变换的参数，得到参数后即可对形变的图像进行透视变换矫正，可以得到未形变的图像。

所述对低质图像去模糊处理包括：

由于条件限制，学生上传的低质图像会存在运动模糊，图像的运动模糊会导致定位块，文字不清晰，因此需要消除试卷图像的运动模糊。本发明采用一种基于图像亮度和梯度先验的算法来消除运动模糊。对于经过光照预处理后的试卷图像，试卷背景应为白，文字区域为黑。若文本图像未发生运动模糊，其亮度分布应具有以下特点：其像素亮度应具有两极分化的特点，绝大多数像素为白色以及黑色。若图像发生运动模糊，那么模糊后的图像的像素值分布则不具有稀疏分布的特点，其在多个灰度值均有一定数量的像素个数。文本图像的梯度则具有以下特点：运动模糊前的图像梯度应大部分为0，模糊后的文本图像梯度则不会具有以上特点。基于以上观察，令：

f(x)＝||x||₀

其中x表示图像，f(x)表示图像中非零像素个数。

利用以上的先验知识，有：

式中表示图像梯度，σ为参数。

将F(x)作为正则化项加入传统的去模糊模型中，即：

其中x表示清晰图像，k为模糊核，λ为参数。求解该模型得到去模糊后的图像。求解方法如下：

首先将x,k分离，得到：

以及

对于上述分离后的①②进行迭代求解可以得到x以及模糊核k。其中，每次迭代求解时，固定其中一个参数求解另一个参数。

①式计算方法如下：利用半二次***方法，引入辅助变量m,g,m和g分别对应于图像以及图像梯度对应，得到：

此时式中当参数β，μ趋近于无穷大时，③式的解就接近于①式的解。

将③式变量分离，得到：

这样就将难以直接求解的③式分解开，分别得到④⑤⑥，将直接求解③转换为迭代求解④⑤⑥，每次迭代过程中，固定其他无关变量，即求解x时固定m,g，在求解m时，固定x,g，在求解g时，固定x,m。④⑤⑥式的求解如下：

开始时，将m,g都初始化为零矩阵，在求解x时，将m,g代入作为迭代已知解，利用最小二乘法求解④式，其具有解析解：

其中F()表示傅里叶变换，F^-1()表示傅里叶逆变换，表示共轭， 分别表示水平与垂直方向上的差分。

在得到x后,将x作为已知条件，那么⑤⑥式就是个逐像素最小化的问题，解m,g容易得到：

②式的求解方法如下：同上，求解此式需要引入辅助变量s，p，将②式改写为：

引入辅助变量后，再将k,s,p分离，得到：

同样采取固定无关变量，交替迭代的方法对上述三式求解，方法完全同①，得到上式的解。

本发明在实际使用时仅需要20次迭代就可以得到较好的去模糊效果。

所述对图像进行精确分割包括：

答题区域分割：对形变恢复后的试卷图像按照一定规则进行分割，得到分块的答题区域，分割时将答题区域的左右边界适当放宽，有效保留所有答题信息，避免遗漏；

答题区域内分割：对于分成数行，数列的填空题，根据其对应的答题处的下划线，计算出每个待分割题目的位置，对答题区域进行分割，得到答题内容。

所述答题区域分割具体包括如下步骤：

根据每页方形定位块估算出每页的左右边界；

将左右边界适当放宽，有效保留所有答题信息，避免遗漏；

根据上下已加粗的边框定位答题区域上下边界；

将上下边界适当放宽，有效保留所有答题信息，避免遗漏；

若该单元是最终裁剪单元，裁剪后完成每个答题区域分割，分割结束；

所述答题区域内分割具体包括如下步骤：

根据每页方形定位块估算出每页的左右边界；

将左右边界适当放宽，有效保留所有答题信息，避免遗漏；

根据上下已加粗的边框定位答题区域上下边界；

将上下边界适当放宽，有效保留所有答题信息，避免遗漏；

若该单元不是最终裁剪单元，根据数据库中空白卷信息进行分割，裁剪后完成每个答题区域内分割；

所述将识别的选择题答案与标准答案对比并形成自动评分结果具体包括如下步骤：

定位图像中涂抹区域位置；

根据涂抹位置，按照一定规则转换为对应的答案；

对比数据库中的标准答案，得到评分。

一种基于手机拍照的低质量图像的自动处理以及评分方法，实施该方法的硬件设备包括试卷图像采集设备、试卷信息存储设备。

在上述任一方案中优选的是，所述试卷图像采集设备包括安卓手机、苹果手机、平板电脑中的一种，需要安装本发明规定的客户端软件。

在上述任一方案中优选的是，所述试卷信息存储设备用于保存空白试卷信息、标准答案、分割结果。

除上述实施例外，本发明还包括有其他实施方式，凡采用等同变换或者等效替换方式形成的技术方案，均应落入本发明权利要求的保护范围之内。

Claims (12)

1.一种手机拍照低质图像的自动处理与评分方法，其特征在于，所述方法包括如下步骤：

步骤1、在服务器端的数据库中保存空白试卷以及标准答案信息；

步骤2、将手机拍照所得的低质图像上传服务器；

步骤3、在服务器端对图像进行去噪，旋转矫正，形变恢复处理；

步骤4、对低质图像进行去模糊处理；

步骤5、在服务器端对图像进行精确的图像分割；

步骤6、将已识别的题目答案与数据库中的标准答案对比并自动评分；

步骤7、将处理结果保存到服务器端。

2.根据权利要求1所述的一种手机拍照低质图像的自动处理与评分方法，其特征在于，步骤1具体包括如下步骤：

试卷区域设置有黑色方形定位块，每页的上方和下方均有数个，大小固定；

根据需要，答题区域外框进行加粗，粗细固定；

根据需要，答题卡黑色定位点块与答题区域外框对齐；

根据需要，答题卡的每个答题单元设置有若干行，若干列。

3.根据权利要求1所述的一种手机拍照低质图像的自动处理与评分方法，其特征在于，步骤3具体包括如下步骤：

整幅图像处理：对整幅图像进行去噪，倾斜矫正，形变恢复。

4.根据权利要求3所述的一种手机拍照低质图像的自动处理与评分方法，其特征在于，所述整幅图像处理具体包括如下步骤：

对低质图像进行去噪；

用积分图算法在已去噪的图像中准确定位黑色方形定位块的位置；

根据黑色方形定位块位置对图像进行形变恢复。

5.根据权利要求4所述的一种手机拍照低质图像的自动处理与评分方法，其特征在于，所述对低质图像进行去噪包括如下步骤：

步骤一：把低质图像划分为若干个子图像，每一个子图像再划分为多个邻域，在每个小区域上运用大津算法，将每个小区域分为背景和前景；

步骤二：以原空白试卷的灰度分布作为直方图规定化标准，对低质试卷图像进行直方图规定化处理：如果待处理试卷图像的窗口的直方图分布和原试卷图像相应窗口的直方图分布相近，那么对该窗口的图像不作处理，否则进行直方图规定化。

6.根据权利要求1所述的一种手机拍照低质图像的自动处理与评分方法，其特征在于，所述对低质图像去模糊处理具体包括如下步骤：

采用基于图像亮度和梯度先验的算法来消除运动模糊，令：

f(x)＝||x||₀

其中x表示图像，f(x)表示图像中非零像素个数，

利用先验知识，有：

式中表示图像梯度，σ为参数，

将F(x)作为正则化项加入传统的去模糊模型中，即：

其中x表示清晰图像，k为模糊核，λ为参数；

求解该模型得到去模糊后的图像，求解方法如下：

首先将x,k分离，得到：

以及

对于上述分离后的①②进行迭代求解可以得到x以及模糊核k，其中，每次迭代求解时，固定其中一个参数求解另一个参数。

7.根据权利要求4所述的一种手机拍照低质图像的自动处理与评分方法，其特征在于，所述在用积分图算法已去噪的图像中准确定位黑色方形定位块位置具体包括如下步骤：

矩形窗口的积分图：定义二值图像中的黑色像素点值为1，白色像素点值为0，矩形窗口的积分图中任一点(x,y)处的i(x,y)表示在原始图像中该点左上角所有像素之和：

从给定图像从上到下，从左到右计算得到的积分图像公式如下：

i(x,y)＝i(x-1,y)+i(x,y)+i(x,y-1)-i(x-1,y-1)

得到积分图后，图像中任意矩形区域内的黑色像素点的像素和通过如下公式计算：

sum(m,n)＝i(x,y)+i(u,v)-i(x,v)-i(u,y)

其中矩形大小为m＝x-u,n＝y-v，矩形左上角顶点坐标为(u，v)，右下角坐标为(x,y)。

8.根据权利要求4所述的一种手机拍照低质图像的自动处理与评分方法，其特征在于，所述根据标记块位置对图像进行形变恢复包括如下步骤：

透视变换：图像的透视变换用公式形式化为：

式中，(x’,y’)表示形变后的图像点坐标，(x,y)表示原图像中对应点的坐标。a～l均是未知参数，

将上式表示成矩阵相乘：

该式中有八个未知参数a～f,m,l需要求解，对图像进行校正之前，需要得到原图像中的四个标记块坐标以及形变后图像中对应的四个标记块坐标，将得到的八个点坐标记为：原图中的坐标点：(x1,y1)，(x2,y2),(x3,y3)，(x4,y4)，形变后的坐标点：(x1’,y1’)，(x2’,y2’)，(x3’,y3’)，(x4’,y4’)，那么可以得到：

求解即可得到透视变换的参数，得到参数后即可对形变的图像进行透视变换矫正，可以得到未形变的图像。

9.根据权利要求1所述的一种手机拍照低质图像的自动处理与评分方法，其特征在于，步骤4具体包括如下步骤：

答题区域分割：对形变恢复后的试卷图像按照一定规则进行分割，得到分块的答题区域；

答题区域内分割：对于分成数行，数列的填空题，根据其对应的答题处的下划线，对答题区域进行分割，得到答题内容。

10.根据权利要求9所述的一种手机拍照低质图像的自动处理与评分方法，其特征在于，所述答题区域分割具体包括如下步骤：

根据每页方形定位块估算出每页的左右边界；

根据上下已加粗的边框定位答题区域上下边界；

根据得到的区域边界对试卷图像进行裁剪。

11.根据权利要求9所述的一种手机拍照低质图像的自动处理与评分方法，其特征在于，所述答题区域内分割具体包括如下步骤：

根据每页方形定位块估算出每页的左右边界；

根据上下已加粗的边框定位答题区域上下边界；

根据数据库中空白卷信息和得到的区域边界信息进行按题分割。

12.根据权利要求1所述的一种手机拍照低质图像的自动处理与评分方法，其特征在于，步骤5具体包括如下步骤：

定位图像中涂抹区域位置；

根据涂抹位置，按照一定规则转换为对应的答案；

对比数据库中的标准答案，得到评分。