CN102521806B - 基于消失线的长方体表面透视变形的矫正方法 - Google Patents

Abstract

本发明公开了一种长方体表面畸变的矫正方法；它首先利用图像采集***采集长方形图像，通过边缘检测找到长方体表面的四条边并把其围成的区域截取出来，然后再对截取出来的不规则四边形围成的区域进行插值，得到矫正图像。本发明通过确定图像的消失线，在消失线方向和消失线垂直方向对图像按一定比例插值，最终完成对图像的投影变换和仿射变换的矫正。这种方法仅需一幅图像，既可以完成对原来为矩形的图像的恢复，矫正以后的图形的长宽比例和实际矩形面的长宽比例相同。

Description

基于消失线的长方体表面透视变形的矫正方法

技术领域

本发明涉及一种数字图像处理和空间图像变换技术，尤其涉及一种基于消失线的长方体表面透视变形的矫正方法。

背景技术

随着市场经济的发展，企业在不断提高产品内在质量的同时，也更关注产品的外观质量。手工检验产品外观质量的弊端显而易见，这为机器视觉创造了新的应用领域。机器视觉技术是一门多学科融合的科学，融汇了信息处理技术，图像处理技术，生物物理学，心理学等学科，是近几年迅猛发展的学科之一。

物体表面质量自动检测是计算机视觉的一个具体应用，通过对被检测物体的图像采集、去扰动、图像分割、特征提取、相似性测量与判决，从而对产品外观视觉效果能否符合预定要求进行判定。

在对图像进行特征提取和相似性测量时，一般图像都有一定的透视变形，图像的透视变形会对特征的提取和匹配产生不良影响；特别是在区域特征提取的时候，两幅图像上的对应特征点的区域描述会因为透视变形的存在而相差很大，很难进行相似性测量。因此，我们必须找到一种方法，使图的透视变形的影响降到最低，并且使得之后的特征描述和特征点匹配能够得到更有效的结果。

本发明针对图像的透视变形影响特征点的区域描述的问题，提出了一种基于消失线的长方体表面透视变形的矫正方法。用图像采集***采集长方形图像，通过边缘检测找到长方体表面的四条边并把其围成的区域截取出来，然后再对截取出来的不规则四边形围成的区域进行插值。

发明内容

本发明的目的就是为了解决上述问题，提供一种基于消失线的长方体表面透视变形的矫正方法，该方法可以使图像的透视变形对特征提取和特征匹配的不良影响特降到最低。

为了实现上述目的，本发明采用如下技术方案：

一种基于消失线的长方体表面透视变形的矫正方法，该方法的实现步骤如下：

步骤1：利用长方体外包装的产品外观检测***拍摄长方体包装表面图像；

步骤2：用形态学中的腐蚀算法对采集的图像进行边缘检测，对得到的图像边缘用Radon变换算法求出四边形的四条边，并确定其顶点坐标；

步骤3：求出四边形的对边所在直线的交点坐标，得到的两个交点即为图像的消失点，两点确定的直线即为消失线；

步骤4：计算消失线的倾斜角，按此倾斜角旋转图像，使消失线位于图像的下方并且平行于水平方向，旋转后重新得到四边形的顶点坐标，消失点坐标和消失线；

步骤5：保留四条边围成的区域内的点的像素值，其他像素置零；

步骤6：对步骤5中得到的四边形利用插值比例进行插值，然后按一定角度旋转插值后的图像，即可得到矫正后的长方体包装表面图像。

所述的步骤6中插值过程如下：对于一幅R行C列的图像，图像中的第m行m＜R的像素用的比例在水平方向插值，并将插值后的每行按其中点对齐得到一个新的图像矩阵；然后，按照第m行对应与长方体表面图像中的第至行在竖直方向上自上而下依次差值，插值后的图像即为矫正后的图像；其中K₁为大于0小于1的系数，由矩形的邻边互相垂直的性质求出，K为系数常量，K＝N′，n为此行上的像素点到消失线的距离，n＝N′-m。

本发明的有益效果：本发明通过确定图像的消失线，在消失线方向和消失线垂直方向对图像按一定比例插值，最终完成对图像的透视变形的矫正。这种方法仅需一幅图像，不需要对图像采集***事先标定，既可以完成对原来长方体表面图像的恢复，矫正后的图像与原长方体表面相比具有很高的结构相似度，矫正后图像的长宽比例和实际矩形面的长宽比例相同。本发明用在长方体外包装的产品外观检测***中，对检测***拍摄下来的长方体包装表面进行矫正，然后计算矫正后图像和标准图像的结构相似程度，就能够准确的发现产品外包装与标准包装的外观差异，从而判定包装是否合格。

附图说明

图1为图像平面和消失线的示意图；

图2a图像采集***在垂直于消失线的平面上的投影图；

图2b垂直于光轴和消失线的方向上的视图；

图3a为用相机任意角度拍摄的DVD ReWrite包装盒图像；

图3b为用相机任意角度拍摄的DVD ReWrite包装盒图像；

图3c为用相机任意角度拍摄的DVD ReWrite包装盒图像；

图3d为用相机任意角度拍摄的DVD ReWrite包装盒图像；

图4a为提取的对应于图3a中图像的待矫正的长方体表面；

图4b为提取的对应于图3b中图像的待矫正的长方体表面；

图4c为提取的对应于图3c中图像的待矫正的长方体表面；

图4d为提取的对应于图3d中图像的待矫正的长方体表面；

图5a是图4a利用本发明处理后得到的图像；

图5b是图4b利用本发明处理后得到的图像；

图5c是图4c利用本发明处理后得到的图像；

图5d是图4d利用本发明处理后得到的图像；

图5e为DVD ReWrite包装盒图像从四种不同角度矫正后的图像做直观的结构相似性对比图；

图6a为哥伦比亚大学图像数据库coil-100中obj1_45图像；

图6b为哥伦比亚大学图像数据库coil-100中obj1_135图像；

图6c为哥伦比亚大学图像数据库coil-100中obj1_225图像；

图6d为哥伦比亚大学图像数据库coil-100中obj1_315图像；

图7a为提取的对应于图6a中图像的待矫正的长方体表面；

图7b为提取的对应于图6b中图像的待矫正的长方体表面；

图7c为提取的对应于图6c中图像的待矫正的长方体表面；

图7d为提取的对应于图6d中图像的待矫正的长方体表面；

图8a是对应于图7a四个四边形面用本发明处理后的的图像；

图8b是对应于图7b四个四边形面用本发明处理后的的图像；

图8c是对应于图7c四个四边形面用本发明处理后的的图像；

图8d是对应于图7d四个四边形面用本发明处理后的的图像；

图8e为obj1图像从四个不同角度矫正后的图像做直观的结构相似性对比图；

图9为本发明的处理流程图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

本发明首先利用图像采集***采集长方形图像，如图3a-图3d为从任意四个角度拍摄的DVD ReWrite包装盒图像，图6a-图6d为哥伦比亚大学图像数据库coil-100中obj1的四幅图像。通过边缘检测找到长方体表面的四条边并把其围成的区域截取出来，如图4a-图4d为对应于图3a-图3d的提取的待矫正的长方体表面，图7a-图7d为对应于图6a-图6d的提取的待矫正的长方体表面。然后再对截取出来的不规则四边形围成的区域进行插值。该方法流程图如图9所示，详细步骤如下：

Step1：用形态学中的腐蚀算法对采集的图像进行边缘检测，对边缘图像用Radon变换算法找到四边形的四条边，并确定其顶点。

Step2：计算图像中四边形的对边的交点，这两个交点即为两对平行线的消失点，两个消失点确定的直线为消失线。如图1所示，图中L为消失线，Plane为图像平面，V₁，V₂，V₃，V₄为四个顶点，X₁，X₂为两个消失点，线段V₁V₂，V₂V₃，V₃V₄，V₄V₁围成的区域为长方体表面在图像平面上的投影。

Step3：计算消失线的倾斜角，按此倾斜角旋转图像，旋转后重新计算顶点，消失点和消失线，使消失线位于图像的下方并且平行于图像的水平方向。计算图像中兴趣区域(四边形包围的区域)上的像素点到消失线的最远距离，记为N′。

Step4：相邻顶点连线确定四条边，仅保留四条边围成的区域的像素值，其他像素置零。

Step5：对step4得到的四边形图像进行插值；在进行插值前，首先需要计算插值的比例；计算插值比例的过程如下：把图像采集***看作是小孔成像，如图2a所示，图2a中直线L₂为长方体表面所在平面Plane2的投影，直线L₃为图像平面Plane1的投影，L₄为过光心O_c平行于L₂的直线，点X为消失线L的投影，点O_c为光心的投影，点O为光轴与Plane1的交点的投影，点O′为光轴与Plane2的交点的投影，点P₁，P₂为Plane1上平行于消失线的两条直线l₁，l₂的投影，点P₁′，P′₂为在Plane2上分别对应与Plane1上直线l₁，l₂的两条直线l′₁，l′₂的投影。

由图2a可知，在垂直与消失线的方向上，图像平面Plane1上直线l₁，l₂之间的像素，对应于长方体表面所在平面Plane2上直线l′₁，l′₂之间的内容。用n₁表示图2a中点P₁到点X的距离，n₂表示点P₂到点X的距离，N表示点O到点X的距离，摄像机焦距f＝O_cO，光轴长度h＝O_cO′，θ₁＝∠O′O_cP′₁，θ₂＝∠O′O_cP′₂，P₁P₂为图像上任意两像素点之间垂直于消失线方向上的距离；OP₁、OP₂分别为两像素点到光心投影点垂直于消失线方向上的距离。所以P₁P₂＝OP₂-OP₁；O′P₁′、O′P₂′、P₁′P₂′为长方体表面上对应于OP₁、OP₂、P₁P₂的三个距离值，对应有P₁′P₂′＝O′P₂′-O′P₁′。α如图2a所示，则

$\frac{O^{\′}{P}_1^{\′}}{\sin \left({\mathrm{\θ}}_1\right)}=\frac{h}{\sin (\mathrm{\α}-{\mathrm{\θ}}_1)}---\left(1\right)$

$\tan \left(\mathrm{\α}\right)=\frac{N}{f}---\left(2\right)$

$\sin \left({\mathrm{\θ}}_1\right)=\frac{{\mathrm{OP}}_1}{\sqrt{f^2+{\mathrm{OP}}_1^2}}---\left(3\right)$

OP₁＝N-n₁                 (4)

(1)(2)(3)(4)四式联立，可求得 $O^{\′}{P}_1^{\′}=\frac{h}{\cos \left(\mathrm{\α}\right)}*\frac{N-n_1}{n_1};$

同理可求得 $O^{\′}{P}_2^{\′}=\frac{h}{\cos \left(\mathrm{\α}\right)}*\frac{N-n_2}{n_2};$

则对应的 $P_1^{\′}{P}_2^{\′}=\frac{h}{\cos \left(\mathrm{\α}\right)}(\frac{N-n_2}{n_2}-\frac{N-n_1}{n_1});$

即图像平面垂直与消失线方向上距离消失线为n₁和n₂(n₁＞n₂)的直线之间的像素对应与矩形面上的区域。

在平行与消失线的方向上，就直线l₁，l′₁而言，从垂直于光轴和消失线的方向上观察图像采集***，如图2b所示；图像平面Plane1上距离为P₁P₃区域对应与实际矩形面的P₁′P₃′区域，且

$\frac{P_1{P}_3}{P_1^{\′}{P}_3^{\′}}=\frac{O_c{P}_1}{O_c{P}_1^{\′}}---\left(5\right)$

$O_c{P}_1=\sqrt{f^2+{\mathrm{OP}}_1^2}---\left(6\right)$

$O_c{P}_1^{\′}=\frac{h}{\sin (\mathrm{\α}-{\mathrm{\θ}}_1)}*\sin \left({\mathrm{\θ}}_1\right)---\left(7\right)$

(1)(2)(3)(4)(5)(6)(7)联立可得 $P_1^{\′}{P}_3^{\′}=\frac{h}{\cos \left(\mathrm{\α}\right)}*\sin \left(\mathrm{\α}\right)*\frac{1}{n_1}*P_1{P}_3;$

即图像平面上平行与消失线方向距离消失线为n₁的像素对应与长方体表面所在平面上的区域。

令K₁＝sinα，则垂直于消失线方向上，距离消失线为n₁和n₂(n₁＞n₂)的直线之间的像素对应与矩形面上的区域。平行于消失线方向上，距离消失线为n₁的像素对应与长方体表面所在平面上的区域。在实际运算中，我们不用得到和实际矩形面一样大小的图像，所以系数常量K可以不用实际测量值，免去了图像采集***标定的程序，这里一般取K＝N(经验值)。

确定系数K₁，K₁与光轴和矩形面所在平面的夹角α有关，由K₁＝sin(α)可知K₁是由α确定的，但是由于α是图像采集***的外部参数，由一幅图像很难确定，所以不能通过求α来求K₁。我们知道原图像上不规则四边形的四个顶点和四条边，经过伸缩以后相邻两条边相互垂直，我们可以把K₁作为已知参数，来表示伸缩以后的四个顶点的坐标，然后通过相邻两边的相互垂直的性质列出方程，再反求参数K₁，这样我们就可以求出K₁。

K₁的求解过程如下：因为K₁为水平方向上的插值比例的参数，所以K₁仅与校正后四个顶点的纵坐标有关，由上面所求出的插值比例，设四个顶点的坐标(X_i，Y_i(K₁))，其中i＝1，2，3，4。则由矩形邻边的垂直关系可以列出方程式。

(X_i-X_j)(X_i-X_k)+(Y_i(K₁)-Y_j(K₁))(Y_i(K₁)-Y_k(K₁))＝0         (8)

上式中(X_j，Y_j(K₁))、(X_i，Y_i(K₁))、(X_k，Y_k(K₁))为依次相邻的三个顶点坐标，i，j，k＝1，2，3，4。由式(8)即可解出K₁的值。

求出插值比例参数K和K₁后，代入插值公式，对图像进行插值。对于一幅R行C列的图像，图像中的第m(m＜R)行的像素用的比例在水平方向插值，并将插值后的每行按其中点对齐得到一个新的图像矩阵；然后，按照第m行对应与长方体表面图像中的第至行在竖直方向上自上而下依次差值，插值后的图像即为矫正后的图像。其中K₁为大于0小于1的系数，由矩形的邻边互相垂直的性质求出，K为系数常量，K＝N′，n为此行上的像素点到消失线的距离，n＝N′-m；

Step6：计算矫正后的顶点位置，计算旋转角度，旋转图像，即为最终矫正后的图像，根据矫正后的图像，计算矫正后图像和标准图像的结构相似程度，根据相似程度就能够准确的发现产品外包装与标准包装的外观差异，从而判定外包装是否合格。

如图5a-图5d为对应于图4a-图4d四边形区域的矫正结果，如图8a-图8d为对应于图7a-图7d四边形区域的矫正结果。图5e为DVD ReWrite包装盒图像从四种不同角度矫正后的图像做直观的结构相似性对比图，图8e为obj1图像从四个不同角度矫正后的图像做直观的结构相似性对比图。通过比较我们发现，四个角度矫正的图像的结构相似度基本一致。

但是在实际计算过程中，N′表示图像平面中兴趣区域中的像素点到消失线的最远距离，和公式(1)-(7)中的N不同，当用N′代替N时，水平和竖直方向上的插值频率(比例)与理论值成正比关系，仅相差一个比例因子其中f为照相机的焦距(图2a中的O_cO)，N为光心在图像平面的投影到消失线的距离，N′为图像平面中兴趣区域中的像素点到消失线的最远距离，在采集一副图像时，以上三个量都是不变量，即比例因子η为一个系数常量，不影响图像的矫正结果和长和宽的比例值。

实验图像中DVD ReWrite包装盒的长×宽为190mm×200mm，长宽比例为0.95，表1为图3a-图3d中四幅图像经过本发明处理后得到的矩形的长宽比，与实际长宽比比较，发现处理后图像的长宽比与实际相一致。

表1

表2为图6a-图6d四幅图像经过本发明处理后得到的矩形长宽比，比较后发现他们的比例也是基本一致。

表2

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (1)

1.基于消失线的长方体表面透视变形的矫正方法，其特征是，该方法的实现步骤如下：

步骤1：利用长方体外包装的产品外观检测***拍摄长方体包装表面图像；

步骤2：用形态学中的腐蚀算法对采集的图像进行边缘检测，对得到的图像边缘用Radon变换算法求出长方体可见表面的四条边，并确定其顶点坐标；

步骤3：求出四边形的对边所在直线的交点坐标，得到的两个交点即为图像的消失点，两点确定的直线即为消失线；

步骤4：计算消失线的倾斜角，按此倾斜角旋转图像，使消失线位于图像的下方并且平行于水平方向，旋转后重新得到四边形的顶点坐标，消失点坐标和消失线；

步骤5:保留四条边围成的区域内的点的像素值，其他像素置零；

步骤6：对步骤5中得到的四边形利用插值比例进行插值，然后按一定角度旋转插值后的图像，即可得到矫正后的长方体包装表面图像；

所述的步骤6中插值过程如下：对于一幅R行C列的图像，图像中的第m行的像素用的比例在水平方向插值,其中，m＜R，并将插值后的每行按中点对齐得到一个新的图像矩阵；然后，按照第m行对应与长方体表面图像中的第至行在竖直方向上自上而下依次差值，插值后的图像即为矫正后的图像；其中K₁为大于0小于1的系数，由矩形的邻边互相垂直的性质求出，K为系数常量，K＝N'，N'表示图像平面中兴趣区域中的像素点到消失线的最远距离，n为此行上的像素点到消失线的距离，n＝N'-m。