CN110490886A - 一种针对倾斜视角下证件图像的自动纠正方法及*** - Google Patents

Abstract

本发明提供一种针对倾斜视角证件图像的自动纠正方法及***，根据影像边缘的强弱，不断调整并找到合适的阈值进行图像分割；利用找到的所有四边形的面积进行筛选，得到证件的边缘轮廓；根据四边形的两条边求取交点的方式得到四个角点；最后通过透视变换将证件图像进行纠正。本发明采用自适应地调节阈值，通过两次多边形拟合不仅提高了角点的精度，而且大大减少了计算量，使得结果在手机上能够快速被处理并返回；并利用了两直线求交点的方法寻找角点，解决了身份证等证件是圆角的问题。

Description

一种针对倾斜视角下证件图像的自动纠正方法及***

技术领域

本发明涉及图像处理领域，具体涉及一种通过四边形检测并进行透视变换实现对倾斜视角下证件图像自动纠正的技术方案。

背景技术

在生活中，很多时候人们需要将自己的某个证件用手机拍摄并发送给其他人，但是在自行拍摄时往往会存在一些倾斜和偏移，使得证件没有办法占据整个屏幕，故纠正证件的方法有其存在的现实意义。在现有技术中，首先可以通过调用手机摄像头拍照获取证件的照片；其次在拍照完成之后，找到四边形的四个特征点，利用透视变换得到目标图像。四个特征点的提取往往又以提取四个角点最为方便，典型的检测角点的方法包括：基于边缘的检测算法和基于灰度的检测算法。基于边缘的检测算法一般先提取图像的边缘信息，然后寻找轮廓上曲率最大的点或者拐点，或进行多边形拟合寻找特征点。此类方法仅处理边界像素，因此计算量小且运算速度快，但是容易受到噪声影响，且对边缘提取的结果具有依赖性。基于灰度的角点检测算法通过对图像的局部结果进行分析，直接利用角点本身的属性特征检测。但是，上述的角点检测算法都存在一定的问题，基于边缘的检测算法对于不同的图像需要选区不同的阈值进行图像分割；基于灰度的角点检测对于处理图片背景中也存在角点的情况时，检测出的角点个数将会大于四个，这会对后面进行透视变换的过程产生很大的影响。

发明内容

本发明所要解决的技术性问题是能够在边缘较弱，证件的拍摄角度较为倾斜，图片的背景中存在干扰的情况下提取四边形的四个角点，目的在于提供一个能够抵抗图片干扰信息，对证件的角点自动提取并纠正的技术方案。

本发明的技术方案提供一种针对倾斜视角证件图像的自动纠正方法，根据影像边缘的强弱，不断调整并找到合适的阈值进行图像分割；利用找到的所有四边形的面积进行筛选，得到证件的边缘轮廓；根据四边形的两条边求取交点的方式得到四个角点；最后通过透视变换将证件图像进行纠正；

实现方式包括采用以下步骤，

步骤A)调用手机的摄像头，将拍照所获得的图片返回并显示在手机上；

步骤B)对获得的图片进行灰度化处理，并对灰度图像进行中值滤波；

步骤C)根据当前的低阈值和高阈值，对图片进行边缘轮廓检测；

步骤D)基于步骤C中检测到的所有轮廓，利用多边形拟合凸包边框，得到低精度拟合结果；

步骤E)筛选寻找面积最大且各个角度都接近直角的四边形轮廓，若筛选不到最大四边形轮廓，调整增加低阈值和高阈值，返回步骤C重新寻找边缘轮廓；成功筛选到则进入步骤F；

步骤F)对于步骤E所得最大四边形轮廓，再度利用多边形拟合凸包边框，获得高精度拟合得到的凸多边形；

步骤G)找到四个精确的角点，实现方式为，

1)设低精度拟合四边形周长的0.02倍记为maxL，筛选出步骤F所得结果与步骤E所得最大四边形轮廓的四个角点的距离小于maxL的点；

2)基于步骤1)筛选的点，在相邻的点之间求边长，然后用2×maxL作为阈值，筛选出步骤F所得高精度拟合得到的凸多边形中距离大于该阈值的四条边；

3)根据步骤2)所得四条边，利用两条直线求交点的方法得到四个角点的坐标；

步骤H)获取目标图像相对于原图像的转换矩阵，并纠正原图像，得到输出图像。

而且，步骤C～步骤E中，在寻找边缘轮廓的过程中动态地改变阈值时，按照高阈值为低阈值的两倍准则进行。

而且，第一次执行步骤C)时，初始的低阈值为10，初始的高阈值为20。

而且，步骤E)的筛选实现方式为，利用拟合多边形的点为4个，以及手机的照相像素相应阈值筛选出满足条件的拟合多边形；再进行面积比较找到面积最大的四边形并保存拟合得到该四边形的轮廓的编号；再以各个角的角度取值在70°～110°为限制条件筛选四边形轮廓。

而且，采用手机APP的方式实现。

本发明还提供一种针对倾斜视角证件图像的自动纠正***，用于执行如上所述针对倾斜视角证件图像的自动纠正方法。

本发明方法具有以下显著效果：

1.本发明利用动态调节Canny算子的阈值，使得检测边缘轮廓的同时可以自适应地调节阈值，直至凸包检测四边形得到的结果不为空。

2.在求解证件的四个角点的时候，利用了两次多边形的拟合，第一次保证找到了最大的四边形，第二次则是找到了角点附近的点，通过两次多边形拟合不仅提高了角点的精度，而且大大减少了计算量，使得结果在手机上能够快速被处理并返回。

附图说明

图1为本发明实施例的整体流程图。

图2为本发明实施例的倾斜视角证件图像自动纠正示意图。

图3为本发明实施例的步骤G的示意图。

具体实施方式

为了更好地理解本发明的技术方案，下面结合附图和实施例对本发明做进一步的详细说明。

本发明据影像边缘的强弱，不断调整并找到合适的阈值进行图像分割；利用找到的所有四边形的面积进行筛选，得到证件的边缘轮廓；根据四边形的两条边求取交点的方式得到四个角点；最后通过透视变换将证件图像进行纠正。

进一步地，本发明提出先利用中值滤波，在保护边缘的情况下除去噪声。之后利用Canny算子(如果未检测到，就使阈值增加，重新检测)获取图像的边缘。将得到的边缘进行膨胀处理，使得边缘之间的缺口被填补。利用凸包计算出新的轮廓点，并用多边形拟合凸包，得到精度较低的四边形边框。对得到的四边形边框，利用面积最大作为条件，找到面积最大的四边形边框，就可以认为该边框是证件的边框。对找到的最大四边形边框再一次进行多边形拟合，这一次的精度较高，拟合的结果可能是大于四条边的多边形。将第一次拟合后的四边形周长的0.02倍maxL作为阈值，保留高精度拟合后到低精度拟合后的四个角点距离小于这个阈值的点保留下来，来减小求取角点的计算量。使用两倍maxL作为阈值，找到长度大于该阈值的四条边，最后利用这四条边两两求交点，得到四边形的四个角点。利用这四个角点的坐标和目标图像四个角点的坐标，通过透视变换，利用H矩阵对原图像变换到目标图像的坐标系并输出图像。该方法相对于常规的角点检测稳定度和准确度都有很大的提高，避免了对于不同的图像需要手动调节阈值，实现了自动寻找Canny算子阈值的功能。同时，通过两次多边形的拟合，第一次来排除其他四边形的干扰，第二次提高了四边形精度，并利用了两直线求交点的方法寻找角点，解决了身份证等证件是圆角的问题。

如图1所示，本发明实施例提供的一种对倾斜视角下证件图像的自动纠正方法，包括如下步骤：

步骤A)调用手机的摄像头获得照片。将拍照所获得的图片返回并显示在手机屏幕上。

步骤B)对获得的图片进行灰度化和去噪处理。

实施例中，首先将图像转化为灰度图像，并根据图像去噪的一般规律，对灰度图像进行5×5的中值滤波。

步骤C)根据当前的低阈值和高阈值，对图片进行边缘轮廓检测。

考虑到，太低的低阈值进行Canny检测的结果往往没有什么价值，而且会使得处理时间加长，因此本发明优选设定高阈值为低阈值的两倍。实施例中，第一次执行步骤C)时，优选以10为初始的低阈值，并按高阈值为低阈值的两倍的准则来获得初始的高阈值，即20。进行Canny算法检测边缘，在边缘检测之后，进行膨胀处理，闭合边缘轮廓之间存在的小缺口。

后续将动态改变边缘检测的阈值。在寻找边缘轮廓的过程中动态地改变阈值，改变时保持高阈值为低阈值的两倍的准则，使得不论是弱边缘还是强边缘都可以被检测到，实现了弱边缘的边缘检测。

步骤D)利用多边形拟合凸包边框(低精度)。

实施例实现如下，

1)对步骤C中检测到的所有轮廓，使用OpenCV(图像处理库)内置的findContours函数(查找轮廓函数)进行轮廓提取，然后采用RETR_EXTERNAL参数(外部轮廓)只获得外部的轮廓；

2)进行多边形拟合。可调用OPENCV中用于拟合轮廓的approxPolyDP函数，将拟合的方式设置为用多边形进行拟合。对于得到的每个轮廓，首先求出最外层凸包点的点号，再将凸包点的点坐标保存起来，最后用周长的0.02倍作为阈值(使得原曲线和拟合直线的最大距离不超过该值)，得到相片中每一个轮廓的拟合多边形，并保存到向量中。

本步骤进行的是第一次拟合，为低精度拟合。

步骤E)寻找面积最大且各个角度都接近直角的四边形。利用拟合多边形的点为4个，以及手机的照相像素相应阈值(例如面积大于40000像素)筛选出满足条件的拟合多边形，这样达到减小计算量的效果，再进行面积比较找到面积最大的四边形并保存拟合得到该四边形的轮廓的编号；鉴于证件照拍摄一般不会过于歪斜，再以各个角的角度取值在70°～110°为限制条件筛选四边形轮廓。

若筛选不到最大四边形轮廓，将低阈值加1，相应地按高阈值为低阈值的两倍的准则对高阈值加2，返回步骤C重新寻找边缘轮廓。

若筛选到最大四边形轮廓，则进入步骤F。

步骤F)对于步骤E所得最大四边形轮廓，再度利用多边形拟合凸包边框(高精度)，获得高精度拟合得到的凸多边形。

实施例中，由于轮廓是存放在向量中的，利用步骤E求得的轮廓编号，对于得到最大的矩形轮廓，求出凸包，利用多边形拟合(较小阈值，精确拟合)凸包边框：

对于得到的轮廓，首先求出最外层凸包点的点号，再将凸包点的点坐标保存起来，最后用3个像素作为阈值(使得原曲线和拟合直线的最大距离不超过该值)，得到该轮廓的拟合多边形。

本步骤进行的是第二次拟合，为低精度拟合。

步骤G)找到四个精确的角点。

在步骤F中，用三个像素作为阈值来进行多边形拟合，来提高最大四边形的精度，但提高精度的同时会导致拟合出来的多边形可能不止四条边。因此，参见图3，本发明提出进行以下处理：

1)由于两次拟合得到的角点都在拟合的同时也存放在了对应的点向量中，根据经验，利用低精度拟合四边形周长的0.02倍maxL作为阈值，筛选出高精度拟合之后(即步骤F所得结果)与低精度拟合四边形(即步骤E所得最大四边形轮廓)的四个角点(四个角点中的某一个)的距离小于maxL的点，这样排除了其他顶点的干扰，从而为角点检测减小了计算量，使得在手机上实现得以保障。

2)基于1)筛选的点，在相邻的点之间求边长，然后用2×maxL作为阈值，筛选出高精度拟合得到的凸多边形中距离大于该阈值的四条边。这样利用三角形两边之和小于第三边(低精度拟合得到的角点和第二次高精度拟合得到的离该点最近的两个点)，有效剔除了同一个角点附近两个凸包点连线的情况。3)最后利用两条直线求交点的方法得到四个角点的坐标存放在点列表Corner中。

步骤H)获取纠正前后照片的坐标系变换矩阵并纠正原图像。用左上角点到右上角点的距离作为长，左上角点到左下角点的距离作为宽，得到目标图片的大小，将目标图片的四个角点存放在点列表Target中，利用OPENCV中getPerspectiveTransform函数(得到两个坐标系透视变换矩阵的函数，通过手机屏幕坐标系的四个角点和Corner可以计算得到H)得到目标图像相对于原图像的转换矩阵H，利用H矩阵对原图像变换到目标图像的坐标系并输出图像。

本发明利用动态调整Canny算子的阈值和进行多边形拟合的方法，既能够提取出弱边缘的边缘信息，同时也避免了四边形内外的其他高频信息对检测角点的影响，最终实现了对证件的角点检测并纠正相片。

具体实施时，可采用软件方式实现流程的自动运行。如图2所示，本发明可在手机上采用APP方式实现，对初始点1、2、3、4处理后，可得到效果理想的目标点1、2、3、4。运行流程的***装置也应当在本发明的保护范围内。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代。

Claims (6)

1.一种针对倾斜视角证件图像的自动纠正方法，其特征在于：根据影像边缘的强弱，不断调整并找到合适的阈值进行图像分割；利用找到的所有四边形的面积进行筛选，得到证件的边缘轮廓；根据四边形的两条边求取交点的方式得到四个角点；最后通过透视变换将证件图像进行纠正；

实现方式包括采用以下步骤，

步骤A)调用手机的摄像头，将拍照所获得的图片返回并显示在手机上；

步骤B)对获得的图片进行灰度化处理，并对灰度图像进行中值滤波；

步骤C)根据当前的低阈值和高阈值，对图片进行边缘轮廓检测；

步骤D)基于步骤C中检测到的所有轮廓，利用多边形拟合凸包边框，得到低精度拟合结果；

步骤E)筛选寻找面积最大且各个角度都接近直角的四边形轮廓，若筛选不到最大四边形轮廓，调整增加低阈值和高阈值，返回步骤C重新寻找边缘轮廓；成功筛选到则进入步骤F；

步骤F)对于步骤E所得最大四边形轮廓，再度利用多边形拟合凸包边框，获得高精度拟合得到的凸多边形；

步骤G)找到四个精确的角点，实现方式为，

1)设低精度拟合四边形周长的0.02倍记为maxL，筛选出步骤F所得结果与步骤E所得最大四边形轮廓的四个角点的距离小于maxL的点；

2)基于步骤1)筛选的点，在相邻的点之间求边长，然后用2×maxL作为阈值，筛选出步骤F所得高精度拟合得到的凸多边形中距离大于该阈值的四条边；

3)根据步骤2)所得四条边，利用两条直线求交点的方法得到四个角点的坐标；

步骤H)获取目标图像相对于原图像的转换矩阵，并纠正原图像，得到输出图像。

2.根据权利要求1所述的一种针对倾斜视角证件图像的自动纠正方法，其特征在于：步骤C～步骤E中，在寻找边缘轮廓的过程中动态地改变阈值时，按照高阈值为低阈值的两倍准则进行。

3.根据权利要求2所述的一种针对倾斜视角证件图像的自动纠正方法，其特征在于：第一次执行步骤C)时，初始的低阈值为10，初始的高阈值为20。

4.根据权利要求1所述的一种针对倾斜视角证件图像的自动纠正方法，其特征在于：步骤E)的筛选实现方式为，利用拟合多边形的点为4个，以及手机的照相像素相应阈值筛选出满足条件的拟合多边形；再进行面积比较找到面积最大的四边形并保存拟合得到该四边形的轮廓的编号；再以各个角的角度取值在70°～110°为限制条件筛选四边形轮廓。

5.根据权利要求1或2或3或4所述的一种针对倾斜视角证件图像的自动纠正方法，其特征在于：采用手机APP的方式实现。

6.一种针对倾斜视角证件图像的自动纠正***，其特征在于：用于执行如权利要求1至5所述针对倾斜视角证件图像的自动纠正方法。