CN104240259A - 基于轮廓分割的高拍仪凭证智能裁边校正***及方法 - Google Patents

Abstract

本发明公开一种基于轮廓分割的高拍仪凭证智能裁边校正***，包括高拍仪摄像头（1）、高拍仪补光灯（2）、显示器（3）和带有图像裁边和校正功能的处理器（4）；高拍仪摄像头（1），用于采集视频中的凭证图像；高拍仪补光灯（2），用于外界环境较暗的情况，增强亮度；高拍仪摄像头（1）、高拍仪补光灯（2）与带有图像裁边和校正功能的处理器（4）连接，通过所述处理器（4）对高拍仪摄像头（1）采集的凭证图像进行裁边和校正处理；所述显示器（3）与处理器（4）相连接；显示器（3），用于显示所述处理器（4）的处理结果，本发明避免人工手动操作，提高凭证票据裁边方法的抗干扰性及适应性。

Description

基于轮廓分割的高拍仪凭证智能裁边校正***及方法

技术领域

本发明涉及一种基于轮廓分割的高拍仪凭证智能裁边校正***以及利用该***进行凭证图像的裁边、倾斜校正的方法，属于数字图像处理领域。

背景技术

银行凭证分重要凭证和普通凭证两大类。重要凭证主要指金融活动中使用的票据(如存单、存折、汇票、支票等)和卡片(如借记卡、***等)，普通凭证主要指金融活动充当过程记录的单据，如通用记账凭证、财务凭证等。随着金融凭证在金融交易中普遍和频繁地使用，且金融凭证种类繁多，对于金融凭证的影像信息进行裁边、倾斜校正的需求越来越迫切。

目前国内外提出的裁边方法有：手动裁边、基于霍夫变换的裁边和基于矩形的裁边等。例如利用人工手动截图式裁边，需要人工不停的校准边界，此方法不仅消耗了大量时间及人力资源，还受到操作者主观放置凭证及主观选定边界而产生误差。又如基于霍夫变换的裁边方法和基于矩形的裁边方法，这两种方法理论相对成熟稳定，但基于霍夫变换的裁边方法只能用于寻找直线型边界，抗干扰性较差；基于矩形的裁边方法，只能用于寻找矩形边界，适应性较差。

这些方法最主要的缺点就是效率低，准确性低，抗干扰性及适应性不强，不能很好的满足市场需求。

发明内容

本发明的目的在于针对上述已有方法的不足，提出一种基于轮廓分割的高拍仪凭证智能裁边校正***，避免人工手动操作，提高凭证票据裁边方法的抗干扰性及适应性。高拍仪(高速影像拍摄仪)采用USB2.0接口，传输速度可达到480Mbps，200\300\500万像素传感器配备300\500\800万高清晰镜头。

为实现上述目的，本发明的基于轮廓分割的高拍仪凭证智能裁边校正***包括：

基于轮廓分割的高拍仪凭证智能裁边校正***，包括高拍仪摄像头、高拍仪补光灯、显示器和带有图像裁边和校正功能的处理器；

高拍仪摄像头，用于采集视频中的凭证图像；

高拍仪补光灯，用于外界环境较暗的情况，增强亮度，提高高拍仪摄像头的拍摄效果；

高拍仪摄像头、高拍仪补光灯与带有图像裁边和校正功能的处理器连接(一般通过USB连接)，通过所述处理器对高拍仪摄像头采集的凭证图像进行裁边和校正处理；所述显示器与处理器相连接；

显示器，用于显示所述处理器的处理结果。

处理器对高拍仪摄像头采集的凭证图像进行裁边和校正处理，所述裁边具体包括以下步骤：

(1)所述处理器接收高拍仪摄像头采集的视频图像，并调整图像大小(按照需求，将图像等比例缩放)，用符号X表示视频图像中的一帧图像；

(2)取比例变量scale,将图像X降采样为图像S，使得图像S的宽和高分别为图像X的宽1/scale和高的1/scale；

(3)对图像数据进行抽取分离后，将图像S的红、绿、蓝三个通道分开为三个图像，分别用R、G、B表示红分量图像、绿分量图像、蓝分量图像；

(4)计算图像S的灰度图Gray，所述图像S的灰度图Gray计算公式为：

Gray＝0.299×R+0.587×G+0.114×B；

(5)对灰度图Gray、红色分量图像R、绿色分量图像G、蓝色分量图像B分别去噪；

(6)分别计算灰度图Gray、红色分量图像R、绿色分量图像G和蓝色分量图像B的边缘，分别得到灰度边缘图、红色分量边缘图、绿色分量边缘图和蓝色分量边缘图，分别用符号GrayEdge、RedEdge、GreenEdge和BlueEdge表示，所述灰度边缘图GrayEdge、红色分量边缘图RedEdge、绿色分量边缘图GreenEdge和蓝色分量边缘图BlueEdge都为二值图像；

(7)计算合成边缘图Edge；

合成边缘图Edge的每个像素为灰度边缘图GrayEdge的像素和红色分量边缘图RedEdge、绿色分量边缘图GreenEdge、蓝色分量边缘图BlueEdge的像素或的结果，用公式表示为：

Edge(i,j)＝GrayEdge(i,j)|RedEdge(i,j)|GreenEdge(i,j)|BlueEdge(i,j)

其中，Edge(i,j)表示合成边缘图像像素值，GrayEdge(i,j)表示灰度边缘图像像素值、RedEdge(i,j)表示红色分量边缘图像像素值、GreenEdge(i,j)表示绿色分量边缘图像像素值和BlueEdge(i,j)表示蓝色分量边缘图像像素值，i表示图像的行数，j表示图像的列数，|表示逻辑或运算；(8)对合成边缘图Edge进行形态学的闭操作，选一个结构元素A(结构元素A的大小不做限定，可以取5×5的矩形)，所述闭操作用公式表示为：

其中，Edge表示合成的边缘图，A表示结构元素A，表示形态学膨胀操作，⊙表示形态学腐蚀操作；

(9)基于形态学膨胀方法，将Edge图膨胀一个像素后减去原始Edge图，寻找到合成边缘图Edge的所有闭合曲线；

(10)在一块全黑的画布上将所述步骤(9)寻找到的闭合曲线用填充的方式画出，将填充画出得到的合成的边缘图表示为Segment；

(11)对图像Segment进行形态学的开操作，其中，选一个结构元素B(结构元素B的大小不做限定，可以取3×3的矩形)结构元素B，开操作用公式表示为：

其中，Segment表示合成的边缘图，B表示结构元素B；

(12)对图像Segment重复步骤(9)的操作，找出图像Segment的所有闭合曲线；

(13)分别计算步骤(12)所得到的每条闭合曲线所包围的面积，并根据该包围面积筛选出限定面积范围内的(限定面积范围具体要求与实际应用有关，在应用中，所拍摄的物体面积大小需要在一定的范围内，因此，会给面积一个上限值和一个下限值，超过该上限值或低于改下限值的即为不属于限定面积范围内)闭合曲线；

(14)计算步骤(13)每个限定面积范围内的闭合曲线的最小外接矩形，并计算所述最小外接矩形的长宽比，并根据长宽比筛选出长宽比在限定范围内的闭合曲线的最小外接矩形(在实际应用中，长宽比根据不同的拍摄对象依据经验设置最大和最小长宽比，要求长宽比就在这两者之间)的闭合曲线的最小外接矩形；

(15)计算所述最小外接矩形的顶点坐标(x′₁,y′₁)、(x′₂,y′₂)、(x′₃,y′₃)、(x′₄,y′₄)，并将所述顶点坐标的横轴系数和纵轴系数分别乘以scale后将坐标变换为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)；

其中，x₁＝x′₁·scale；x₂＝x′₂·scale；x₃＝x′₃·scale；x₄＝x′₄·scale；

y₁＝y′₁·scale；y₂＝y′₂·scale；y₃＝y′₃·scale；y₄＝y′₄·scale；

(16)利用步骤(15)返回的(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)4个坐标，生成一个裁好边的图像。

处理器对高拍仪摄像头采集的凭证图像进行校正处理，具体包括以下步骤：

(1)设所述步骤(16)返回的最小外接矩形的4个顶点坐标(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)为顺时针方向，则该最小外接矩形的长宽为最小外接矩形的顺时针旋转角度为：

$\mathrm{\θ}=\arctan \left(\frac{y_3-y_2}{x_3-x_2}\right)$

(2)以最小外接矩形的中心为中点，对坐标为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)的图像像进行旋转，旋转之后，以最小外接矩形的中心为中点，向上向下分别取width/2，并向左向右分别取length/2，从而获得长为length,宽为width的校正后的矩阵。

基于本发明基于轮廓分割的高拍仪凭证智能裁边校正***，本申请提供一种基于轮廓分割的高拍仪凭证智能裁边校正方法，包括对高拍仪摄像头采集的凭证图像进行裁边和校正处理；

(1)所述裁边处理具体包括以下步骤，

(1-1)所述处理器接收高拍仪摄像头采集的视频图像，并调整图像大小，用符号X表示视频图像中的一帧图像；

(1-2)取比例变量scale,将图像X降采样为图像S，使得图像S的宽和高分别为图像X的宽和高的1/scale；

(1-3)将图像S的红、绿、蓝三个通道分开为三个图像，分别用R、G、B表示红分量图像、绿分量图像、蓝分量图像；

(1-4)计算图像S的灰度图Gray，所述图像S的灰度图Gray计算公式为：

Gray＝0.299×R+0.587×G+0.114×B；

(1-5)对灰度图Gray、红色分量图像R、绿色分量图像G、蓝色分量图像B分别去噪；

(1-6)分别计算灰度图Gray、红色分量图像R、绿色分量图像G和蓝色分量图像B的边缘，分别得到灰度边缘图、红色分量边缘图、绿色分量边缘图和蓝色分量边缘图，分别用符号GrayEdge、RedEdge、GreenEdge和BlueEdge表示，所述边缘图都为二值图像；

(1-7)计算合成边缘图Edge,

合成边缘图Edge的每个像素为灰度边缘图GrayEdge的像素和红色分量边缘图RedEdge、绿色分量边缘图GreenEdge、蓝色分量边缘图BlueEdge的像素或的结果，用公式表示为：

Edge(i,j)＝GrayEdge(i,j)|RedEdge(i,j)|GreenEdge(i,j)|BlueEdge(i,j)

其中，Edge(i,j)表示合成边缘图像像素值，GrayEdge(i,j)表示灰度边缘图像像素值、RedEdge(i,j)表示红色分量边缘图像像素值、GreenEdge(i,j)表示绿色分量边缘图像像素值和BlueEdge(i,j)表示蓝色分量边缘图像像素值，i表示图像的行数，j表示图像的列数，|表示逻辑或运算；

(1-8)对合成边缘图Edge进行形态学的闭操作，选一个结构元素A，所述闭操作用公式表示为：

其中，Edge表示合成的边缘图，A表示结构元素，表示形态学膨胀操作，⊙表示形态学腐蚀操作；

(1-9)基于形态学膨胀方法，即将Edge图膨胀一个像素后减去愿Edge图，从而寻找到合成边缘图Edge的所有闭合曲线。

(1-10)在一块全黑的画布上将第(1-9)步骤寻找到的用填充的方式画出，将填充画出得到的合成的边缘图表示为Segment；

(1-11)对图像Segment进行形态学的开操作，其中，选一个结构元素B，可用公式表示为：

其中，Segment表示合成的边缘图，B表示结构元素；

(1-12)对图像Segment重复步骤(1-9)的操作，找出图像Segment的所有闭合曲线；

(1-13)分别计算步骤(1-12)所得到的每条闭合曲线所包围的面积，并根据该包围面积筛选出限定面积范围内的闭合曲线；

(1-14)计算步骤(1-13)每个限定面积范围内的闭合曲线的最小外接矩形，并计算该最小外接矩形的长宽比，并根据长宽比筛选出长宽比在限定范围内的闭合曲线的最小外接矩形，此处的限定范围与被拍摄物体相关；

(1-15)计算所述最小外接矩形的顶点坐标(x′₁,y′₁)、(x′₂,y′₂)、(x′₃,y′₃)、(x′₄,y′₄)，并将所述顶点坐标的横轴系数和纵轴系数分别乘以scale后将坐标变换为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)；

其中，x₁＝x′₁·scale；x₂＝x′₂·scale；x₃＝x′₃·scale；x₄＝x′₄·scale；

y₁＝y′₁·scale；y₂＝y′₂·scale；y₃＝y′₃·scale；y₄＝y′₄·scale；

由于步骤(1-2)中，对图像X降采样为图像S，使得图像S的宽和高分别为图像X的宽和高的1/scale，本步骤操作为将采样图像S恢复到原始图像X相同大小；

(1-16)利用步骤(1-15)返回的顶点坐标(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)，生成一个裁好边的图像；由于凭证图像为正方形或者长方形图像，已知凭证图像四个顶点坐标的条件下，即可以实现获取裁边图像。

(2)所述校正处理具体包括以下步骤：

(2-1)设所述步骤(16)返回的最小外接矩形的4个顶点坐标(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)为顺时针方向，则该最小外接矩形的长宽为最小外接矩形的顺时针旋转角度为：

$\mathrm{\θ}=\arctan \left(\frac{y_3-y_2}{x_3-x_2}\right)$

(2-2)以最小外接矩形的中心为中点，对坐标为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)的图像进行旋转，旋转之后，以最小外接矩形的中心为中点，向上向下分别取width/2，并向左向右分别取length/2，从而获得长为length,宽为width的校正后的矩阵。

步骤(1-6)中对灰度图Gray求边缘时，加入了以下步骤：

(6-a)取灰度图Gray的上、下、左、右四条边，对所述上、下、左、右四条边做均进行步骤(6-b)-(6-g)的操作：

(6-b)计算上、下、左、右四条边像素值的标准差，当标准差大于限定值时(根据经验取20)，用OTSU方法计算每条边的阈值，并将大于该阈值的像素值设为0，小于等于该阈值的像素值，像素值不变；当标准差小于等于限定值时，像素值不变；

(6-c)计算步骤(6-b)中非零值的个数以及整条边的像素值的和，即上、下、左、右四条边的像素值分别求和，上边、下边、左边、右边的每条边的像素值之和即为各个边上非零像素值的像素值和；

(6-d)计算边非零像素点的平均像素值，即将步骤(6-c)中的上边、下边、左边、右边的每条边的像素值之和分别除以相应边上的非零像素值的个数；

(6-e)扩展背景边界(上边界向上扩展，下边界向下扩展，左边界向左扩展，右边界向右扩展)，扩展的像素点的像素值为非零像素点的平均像素值；

(6-f)对扩展边界后的图像求边缘；

(6-g)去除步骤(6-f)获取的带有边缘图像的扩展的背景边界，并将带有边缘图像且去除扩展背景边界的图像与步骤(1-6)已经得到的灰度边缘图GrayEdge合并；

增加了上述(6-a)～(6-g)步骤后，即使票据有一部分超出边界，在摄像头视野范围外的部分也将被正确裁边。

当步骤(1-15)后，为了得到精确的坐标，还包括以下步骤：

(a)令步骤(1-15)中最小的横坐标为x_min，最大的横坐标为x_max，最小的纵坐标为y_min,最大的纵坐标为y_max，

x_min＝min(x₁,x₂,x₃,x₄)

x_max＝max(x₁,x₂,x₃,x₄)

y_min＝min(y₁,y₂,y₃,y₄)

y_max＝max(y₁,y₂,y₃,y₄)

(b)在原图(坐标为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)的图像)中取子图像，子图像的区域为一个矩形，矩形的左上角坐标为(x_min,y_min)，右下角坐标为(x_max,y_max)；

(c)令scale＝1，并将子图像作为输入，重复前述步骤(1-3)到步骤(1-15)，得到精确的坐标。

本发明具有如下优点：

1、本发明可以自动裁边并倾斜校正，无需人工选定边界裁剪，提高效率，减少人为干扰，提高裁剪准确性；

2、本发明不同于基于霍夫变换的方法，本发明寻找的是拍摄物体的最小外接矩形，而非直接寻找拍摄物体的边缘直线，不仅可以找直线型边界，还可以找曲线边界，提高了裁边方法的抗干扰性和适应性；

3、由于本发明寻找的拍摄物体边缘必须可以形成封闭曲线，而小底板的有一条边缘无法拍摄到，因此无法形成封闭曲线，故而小底板的边缘对本发明没有影响，不仅可以运用于大底板的高拍仪，还适用于小底板的高拍仪，进一步提高了适应性和兼容性；

4、于本发明分别返回所有拍摄物体的最小外接矩形。因此既可以单独使用这些最小外接矩形，也可以将最小外接矩形拼接起来而将整体的矩形框返回，当凭证多于2个时，本发明不仅可以一次将多个凭证整体裁边，还可以分别返回单个凭证的裁边图像，提高了实用性。

附图说明

图1为本发明的***结构示意图；

图2为本发明的实物示意图；

图3为本发明的裁边校正算法的总流程示意图；

图1和图2中：1.高拍仪的摄像头，2.高拍仪的补光灯，3.显示器，4装有凭证图像裁边和倾斜校正软件的高速处理器。

具体实施方式

以下结合附图，清楚、完整地描述本法的基于轮廓分割的高拍仪凭证智能裁边校正***的结构和裁边方法。

参照图1和图2，通过高拍仪的摄像头采集凭证图像，并通过USB2.0将采集到的凭证图像传输到裁边和倾斜校正模块，最后将校正好的裁边图像传输到显示器进行处理结果的输出显示。

基于轮廓分割的高拍仪凭证智能裁边校正***，包括高拍仪摄像头1、高拍仪补光灯2、显示器3和带有图像裁边和校正功能的处理器4；

高拍仪摄像头1，用于采集视频中的凭证图像；

高拍仪补光灯2，用于外界环境较暗的情况，增强亮度，提高高拍仪摄像头1的拍摄效果；

高拍仪摄像头1、高拍仪补光灯2通过USB接口与带有图像裁边和校正功能的处理器4连接，通过所述处理器4对高拍仪摄像头1采集的凭证图像进行裁边和校正处理；所述显示器3与处理器4相连接；

显示器3，用于显示所述处理器4的处理结果。

本发明的裁边算法流程图如图3所示，其具体步骤包括：

处理器4对高拍仪摄像头1采集的凭证图像进行裁边和校正处理，所述裁边具体包括以下步骤：

(1)所述处理器4接收高拍仪摄像头1采集的视频图像，并调整图像大小(本实施例将图像等比例缩放为12万像素的图像)；用符号X表示视频图像中的一帧图像；

(2)取比例变量scale,将图像X降采样为图像S，使得图像S的宽和高分别为图像X的宽1/scale和高的1/scale；

(3)对图像数据进行抽取分离，将图像S的红、绿、蓝三个通道分开为三个图像，分别用R、G、B表示红分量图像、绿分量图像、蓝分量图像；

(4)计算图像S的灰度图Gray，所述图像S的灰度图Gray计算公式为：

Gray＝0.299×R+0.587×G+0.114×B；

(5)对灰度图Gray、红色分量图像R、绿色分量图像G、蓝色分量图像B分别去噪；

(6)通过Canny算子(Canny算子是图像处理的通用算法分别计算灰度图Gray、红色分量图像R、绿色分量图像G和蓝色分量图像B的边缘，分别得到灰度边缘图、红色分量边缘图、绿色分量边缘图和蓝色分量边缘图，分别用符号GrayEdge、RedEdge、GreenEdge和BlueEdge表示，所述灰度边缘图GrayEdge、红色分量边缘图RedEdge、绿色分量边缘图GreenEdge和蓝色分量边缘图BlueEdge都为二值图像；

(7)计算合成边缘图Edge；合成边缘图Edge的每个像素为灰度边缘图GrayEdge的像素和红色分量边缘图RedEdge、绿色分量边缘图GreenEdge、蓝色分量边缘图BlueEdge的像素或的结果，用公式表示为：

Edge(i,j)＝GrayEdge(i,j)|RedEdge(i,j)|GreenEdge(i,j)|BlueEdge(i,j)

其中，Edge(i,j)表示合成边缘图像像素值，GrayEdge(i,j)表示灰度边缘图像像素值、RedEdge(i,j)表示红色分量边缘图像像素值、GreenEdge(i,j)表示绿色分量边缘图像像素值和BlueEdge(i,j)表示蓝色分量边缘图像像素值，i表示图像的行数，j表示图像的列数，|表示逻辑或运算；

(8)对合成边缘图Edge进行形态学的闭操作，选一个结构元素A(结构元素A的大小不做限定，本实施例取5×5的矩形)结构元素A，所述闭操作用公式表示为：

其中，Edge表示合成的边缘图，A表示结构元素，表示形态学膨胀操作，⊙表示形态学腐蚀操作；

(9)基于形态学膨胀方法，将Edge图膨胀一个像素后减去原始Edge图，寻找到合成边缘图Edge的所有闭合曲线；；

(10)在一块全黑的画布上将所述步骤(9)寻找到的闭合曲线用填充的方式画出，将填充画出得到的合成的边缘图表示为Segment；

(11)对图像Segment进行形态学的开操作，其中，选一个结构元素B(结构元素B的大小不做限定，本实施例取3×3的矩形)，可用公式表示为：

其中，Segment表示合成的边缘图，B表示结构元素B；

(12)对图像Segment重复步骤(9)的操作，找出图像Segment的所有闭合曲线；

(13)分别计算步骤(12)所得到的每条闭合曲线所包围的面积，并根据该包围面积筛选出限定面积范围内的(限定面积范围具体要求与实际应用有关，本实施例中，所拍摄的物体面积最大为A4纸的面积，最小为一个U盘的面积，因此，会给面积一个上限值和一个下限值，超过上限值或低于改下限值的即为不属于限定面积范围)闭合曲线；

(14)计算步骤(13)每个限定面积范围内的闭合曲线的最小外接矩形，并计算所述最小外接矩形的长宽比，并根据长宽比进一步筛选出符合要求(与实际应用有关，在实际应用中，找到物体的最大和最小长宽比，长宽比就在这两者之间)的闭合曲线的最小外接矩形；

(15)计算所述最小外接矩形的顶点坐标(x′₁,y′₁)、(x′₂,y′₂)、(x′₃,y′₃)、(x′₄,y′₄)，并将所述顶点坐标的横轴系数和纵轴系数分别乘以scale后将坐标变换为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)；

其中，x₁＝x′₁·scale；x₂＝x′₂·scale；x₃＝x′₃·scale；x₄＝x′₄·scale；

y₁＝y′₁·scale；y₂＝y′₂·scale；y₃＝y′₃·scale；y₄＝y′₄·scale；

由于步骤(1-2)中，对图像X降采样为图像S，使得图像S的宽和高分别为图像X的宽和高的1/scale，本步骤操作为将采样图像S恢复到原始图像X相同大小；

(16)利用步骤(15)返回的顶点坐标(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)，生成一个裁好边的图像；凭证图像为正方形或者长方形图像，已知凭证图像四个顶点坐标的条件下，即可以实现获取裁边图像。

处理器4对高拍仪摄像头1采集的凭证图像进行校正处理，具体包括以下步骤：

(2-1)设所述步骤(16)返回的最小外接矩形的4个顶点坐标(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)为顺时针方向，则该最小外接矩形的长宽为最小外接矩形的顺时针旋转角度为：

$\mathrm{\θ}=\arctan \left(\frac{y_3-y_2}{x_3-x_2}\right)$

(2-2)以最小外接矩形的中心为中点，对坐标为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)的图像像进行旋转，旋转之后，以最小外接矩形的中心为中点，向上向下分别取width/2，并向左向右分别取length/2，从而获得长为length,宽为width的校正后的矩阵。

步骤(6)中对灰度图Gray求边缘时，加入了以下步骤：

(a)取灰度图Gray的上、下、左、右四条边，对所述上、下、左、右四条边做均进行步骤(b)-(g)的操作：

(b)计算上、下、左、右四条边像素值的标准差，当标准差大于20时(20不做限定，根据经验取20)，用OTSU方法计算每条边的阈值，并将大于该阈值的像素值设为0，小于等于该阈值的像素值，像素值不变；当标准差小于等于20时，像素值不变；

(c)计算步骤(b)中非零值的个数以及整条边的像素值的和，即上、下、左、右四条边的像素值分别求和，上边、下边、左边、右边的每条边的像素值之和即为各个边上非零像素值的像素值和；

(d)计算边非零像素点的平均像素值，即将步骤(c)中的上边、下边、左边、右边的每条边的像素值之和分别除以相应边上的非零像素值的个数；

(e)扩展背景边界(上边界向上扩展，下边界向下扩展，左边界向左扩展，右边界向右扩展)，扩展的像素点的像素值为非零像素点的平均像素值；

(f)对扩展边界后的图像求边缘；

(g)去除步骤(f)获取的带有边缘图像的扩展的背景边界，并将带有边缘图像且去除扩展背景边界的图像与步骤(1-6)已经得到的灰度边缘图GrayEdge合并。

通过或步骤(a)-(g)，即使票据有一部分超出边界，在摄像头视野范围外的部分也将被正确裁边。

当步骤(15)后，为了得到精确的坐标，还包括以下步骤：

(a)令步骤(15)中最小的横坐标为x_min，最大的横坐标为x_max，最小的纵坐标为y_min,最大的纵坐标为y_max，

x_min＝min(x₁,x₂,x₃,x₄)

x_max＝max(x₁,x₂,x₃,x₄)

y_min＝min(y₁,y₂,y₃,y₄)

y_max＝max(y₁,y₂,y₃,y₄)

(b)在坐标为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)的图像中取子图像，子图像的区域为一个矩形，矩形的左上角坐标为(x_min,y_min)，右下角坐标为(x_max,y_max)；

(c)令scale＝1，并将子图像作为输入，重新完成步骤(3)到步骤(15)，得到精确的坐标。

以上描述仅是本发明的一个具体实例，并不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (8)

1.基于轮廓分割的高拍仪凭证智能裁边校正***，其特征在于：包括高拍仪摄像头(1)、高拍仪补光灯(2)、显示器(3)和带有图像裁边和校正功能的处理器(4)；

高拍仪摄像头(1)，用于采集视频中的凭证图像；

高拍仪补光灯(2)，用于外界环境较暗的情况，增强亮度；

高拍仪摄像头(1)、高拍仪补光灯(2)与带有图像裁边和校正功能的处理器(4)连接，通过所述处理器(4)对高拍仪摄像头(1)采集的凭证图像进行裁边和校正处理；所述显示器(3)与处理器(4)相连接；

显示器(3)，用于显示所述处理器(4)的处理结果。

2.根据权利要求1所述的基于轮廓分割的高拍仪凭证智能裁边校正***，其特征在于：所述处理器(4)对高拍仪摄像头(1)采集的凭证图像进行裁边和校正处理，所述裁边具体包括以下步骤：

(1)所述处理器(4)接收高拍仪摄像头(1)采集的视频图像，并调整图像大小，用符号X表示视频图像中的一帧图像；

(2)取比例变量scale,将图像X降采样为图像S，使得图像S的宽和高分别为图像X的宽1/scale和高的1/scale；

(3)将图像S的红、绿、蓝三个通道分开为三个图像，分别用R、G、B表示红分量图像、绿分量图像、蓝分量图像；

(4)计算图像S的灰度图Gray，所述图像S的灰度图Gray计算公式为：

Gray＝0.299×R+0.587×G+0.114×B；

(5)对灰度图Gray、红色分量图像R、绿色分量图像G、蓝色分量图像B分别去噪；

(6)分别计算灰度图Gray、红色分量图像R、绿色分量图像G和蓝色分量图像B的边缘，分别得到灰度边缘图、红色分量边缘图、绿色分量边缘图和蓝色分量边缘图，分别用符号GrayEdge、RedEdge、GreenEdge和BlueEdge表示，所述灰度边缘图GrayEdge、红色分量边缘图RedEdge、绿色分量边缘图GreenEdge和蓝色分量边缘图BlueEdge都为二值图像；

(7)计算合成边缘图Edge；

(8)对合成边缘图Edge进行形态学的闭操作，通过结构元素A进行所述形态学的闭操作，所述闭操作用公式表示为：

其中，Edge表示合成的边缘图，A表示结构元素A，表示形态学膨胀操作，⊙表示形态学腐蚀操作；

(9)基于形态学膨胀方法，将Edge图膨胀一个像素后减去原始Edge图，寻找到合成边缘图Edge的所有闭合曲线；

(10)在一块全黑的画布上将所述步骤(9)寻找到的闭合曲线用填充的方式画出，将填充画出得到的合成的边缘图表示为Segment；

(11)对图像Segment进行形态学的开操作，通过结构元素B进行所述形态学的开操作，所述开操作公式表示为：

其中，Segment表示合成的边缘图，B表示结构元素；

(12)对图像Segment重复步骤(9)的操作，找出图像Segment的所有闭合曲线；

(13)分别计算步骤(12)所得到的每条闭合曲线所包围的面积，并根据该包围面积筛选出限定面积范围内的闭合曲线；

(14)计算步骤(13)每个限定面积范围内的闭合曲线的最小外接矩形，并计算所述最小外接矩形的长宽比，并根据长宽比筛选出长宽比在限定范围内的闭合曲线的最小外接矩形；

(15)计算所述最小外接矩形的顶点坐标(x₁',y₁')、(x'₂,y'₂)、(x'₃,y'₃)、(x'₄,y'₄)，并将所述顶点坐标的横轴系数和纵轴系数分别乘以scale后将坐标变换为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)；

其中，x₁＝x₁'·scale；x₂＝x'₂·scale；x₃＝x'₃·scale；x₄＝x'₄·scale；

y₁＝y₁'·scale；y₂＝y'₂·scale；y₃＝y'₃·scale；y₄＝y'₄·scale；

(16)利用步骤(15)返回的(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)四个坐标，生成一个裁边图像。

3.根据权利要求2所述的基于轮廓分割的高拍仪凭证智能裁边校正***，其特征在于：所述处理器(4)对高拍仪摄像头(1)采集的凭证图像进行裁边和校正处理，所述校正处理具体包括以下步骤：

(1)假设所述步骤(16)返回的最小外接矩形的4个顶点坐标(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)为顺时针方向，则该最小外接矩形的长宽为最小外接矩形的顺时针旋转角度为：

$\mathrm{\θ}=\arctan \left(\frac{y_3-y_2}{x_3-x_2}\right)$

(2)以最小外接矩形的中心为中点，对坐标为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)的图像像进行旋转，旋转之后，以最小外接矩形的中心为中点，向上向下分别取width/2，并向左向右分别取length/2，从而获得长为length,宽为width的校正后的矩阵。

4.根据权利要求2所述的基于轮廓分割的高拍仪凭证智能裁边校正***，其特征在于：所述步骤(7)计算合成边缘图Edge；具体包括以下步骤：

合成边缘图Edge的每个像素为灰度边缘图GrayEdge的像素和红色分量边缘图RedEdge、绿色分量边缘图GreenEdge、蓝色分量边缘图BlueEdge的像素或的结果，用公式表示为：

Edge(i,j)＝GrayEdge(i,j)|RedEdge(i,j)|GreenEdge(i,j)|BlueEdge(i,j)

其中，Edge(i,j)表示合成边缘图像像素值，GrayEdge(i,j)表示灰度边缘图像像素值、RedEdge(i,j)表示红色分量边缘图像像素值、GreenEdge(i,j)表示绿色分量边缘图像像素值和BlueEdge(i,j)表示蓝色分量边缘图像像素值，i表示图像的行数，j表示图像的列数，|表示逻辑或运算。

5.基于轮廓分割的高拍仪凭证智能裁边校正方法，其特征在于，包括对高拍仪摄像头采集的凭证图像进行裁边和校正处理；

(1)所述裁边处理具体包括以下步骤，

(1-1)处理器接收高拍仪摄像头采集的视频图像，并调整图像大小，用符号X表示视频图像中的一帧图像；

(1-2)取比例变量scale,将图像X降采样为图像S，使得图像S的宽和高分别为图像X宽的1/scale和高的1/scale；

(1-3)将图像S的红、绿、蓝三个通道分开为三个图像，分别用R、G、B表示红分量图像、绿分量图像、蓝分量图像；

(1-4)计算图像S的灰度图Gray，所述图像S的灰度图Gray计算公式为：

Gray＝0.299×R+0.587×G+0.114×B；

(1-5)对灰度图Gray、红色分量图像R、绿色分量图像G、蓝色分量图像B分别去噪；

(1-6)分别计算灰度图Gray、红色分量图像R、绿色分量图像G和蓝色分量图像B的边缘，分别得到灰度边缘图、红色分量边缘图、绿色分量边缘图和蓝色分量边缘图，分别用符号GrayEdge、RedEdge、GreenEdge和BlueEdge表示，所述灰度边缘图GrayEdge、红色分量边缘图RedEdge、绿色分量边缘图GreenEdge和蓝色分量边缘图BlueEdge均为二值图像；

(1-7)计算合成边缘图Edge：

合成边缘图Edge的每个像素为灰度边缘图GrayEdge的像素和红色分量边缘图RedEdge、绿色分量边缘图GreenEdge、蓝色分量边缘图BlueEdge的像素或的结果，用公式表示为：

Edge(i,j)＝GrayEdge(i,j)|RedEdge(i,j)|GreenEdge(i,j)|BlueEdge(i,j)

其中，Edge(i,j)表示合成边缘图像像素值，GrayEdge(i,j)表示灰度边缘图像像素值、RedEdge(i,j)表示红色分量边缘图像像素值、GreenEdge(i,j)表示绿色分量边缘图像像素值和BlueEdge(i,j)表示蓝色分量边缘图像像素值，i表示图像的行数，j表示图像的列数，|表示逻辑或运算；

(1-8)对合成边缘图Edge进行形态学的闭操作，选一个结构元素A，所述闭操作用公式表示为：

其中，Edge表示合成的边缘图，A表示结构元素A，表示形态学膨胀操作，⊙表示形态学腐蚀操作；

(1-9)基于形态学膨胀方法，将合成边缘图Edge图膨胀一个像素后减去原Edge图，从而寻找到合成边缘图Edge的所有闭合曲线；

(1-10)在一块全黑的画布上将第(1-9)步骤寻找到的用填充的方式画出，将填充画出得到的合成的边缘图表示为Segment；

(1-11)对图像Segment进行形态学的开操作，其中，选一个结构元素B，用公式表示为：

其中，Segment表示合成的边缘图，B表示结构元素B；

(1-12)对图像Segment重复步骤(1-9)的操作，找出图像Segment的所有闭合曲线；

(1-13)分别计算步骤(1-12)所得到的每条闭合曲线所包围的面积，并根据该包围面积筛选出限定面积范围内的闭合曲线；

(1-14)计算步骤(1-13)所述每个限定面积范围内的闭合曲线的最小外接矩形，并计算该最小外接矩形的长宽比，并根据长宽比筛选出所述长宽比在限定范围内的闭合曲线的最小外接矩形；

(1-15)计算所述最小外接矩形的顶点坐标(x₁',y₁')、(x'₂,y'₂)、(x'₃,y'₃)、(x'₄,y'₄)，并将所述顶点坐标的横轴系数和纵轴系数分别乘以scale后将坐标变换为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)；

其中，x₁＝x₁'·scale；x₂＝x'₂·scale；x₃＝x'₃·scale；x₄＝x'₄·scale；

y₁＝y₁'·scale；y₂＝y'₂·scale；y₃＝y'₃·scale；y₄＝y'₄·scale；

(1-16)利用步骤(1-15)返回的顶点坐标(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)，生成一个裁边图像；

(2)所述校正处理具体包括以下步骤：

(2-1)设所述步骤(1-16)返回的最小外接矩形的4个顶点坐标(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)为顺时针方向，则该最小外接矩形的长宽为最小外接矩形的顺时针旋转角度θ为：

$\mathrm{\θ}=\arctan \left(\frac{y_3-y_2}{x_3-x_2}\right)$

(2-2)以最小外接矩形的中心为中点，对原图像进行旋转，旋转之后，以最小外接矩形的中心为中点，向上向下分别取width/2，并向左向右分别取length/2，从而获得长为length,宽为width的校正后的矩阵。

6.根据权利要求5所述的基于轮廓分割的高拍仪凭证智能裁边校正方法，其特征在于，步骤(1-6)中计算灰度图Gray的边缘时，包括以下步骤：

(6-a)取灰度图Gray的上、下、左、右四条边，对所述上、下、左、右四条边均进行步骤(6-b)～(6-g)的操作：

(6-b)计算上、下、左、右四条边像素值的标准差，当标准差大于限定值时，用OTSU方法计算每条边的阈值，并将大于所述阈值的像素值设为0，小于或者等于所述阈值的像素值，像素值不变；当标准差小于或者等于限定值时，像素值不变；

(6-c)计算步骤(6-b)中非零值的个数以及整条边的像素值的和；

(6-d)计算边非零像素点的平均像素值；

(6-e)扩展背景边界，扩展的像素点的像素值为非零像素点的平均像素值；

(6-f)对扩展边界后的图像求边缘；

(6-g)去除所述步骤(6-f)获取的带有边缘的图像的扩展背景边界后，与所述步骤(1-6)得到的灰度边缘图GrayEdge合并。

7.根据权利要求5所述的基于轮廓分割的高拍仪凭证智能裁边校正方法，其特征在于，当步骤(1-15)后，还包括以下步骤：

(a)令步骤(1-15)中最小的横坐标为x_min，最大的横坐标为x_max，最小的纵坐标为y_min,最大的纵坐标为y_max，

x_min＝min(x₁,x₂,x₃,x₄)

x_max＝max(x₁,x₂,x₃,x₄)

y_min＝min(y₁,y₂,y₃,y₄)

y_max＝max(y₁,y₂,y₃,y₄)

(b)在坐标为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)的图像中取子图像，子图像的区域为一个矩形，矩形的左上角坐标为(x_min,y_min)，右下角坐标为(x_max,y_max)；

(c)令scale＝1，并将子图像作为输入，重复所述步骤(1-3)到步骤(1-15)，得到精确的坐标。

8.根据权利要求6所述的基于轮廓分割的高拍仪凭证智能裁边校正方法，其特征在于，所述步骤(6-b)中限定值为20。