CN102521806B - 基于消失线的长方体表面透视变形的矫正方法 - Google Patents
基于消失线的长方体表面透视变形的矫正方法 Download PDFInfo
- Publication number
- CN102521806B CN102521806B CN201110395973.6A CN201110395973A CN102521806B CN 102521806 B CN102521806 B CN 102521806B CN 201110395973 A CN201110395973 A CN 201110395973A CN 102521806 B CN102521806 B CN 102521806B
- Authority
- CN
- China
- Prior art keywords
- image
- vanishing line
- rectangular parallelepiped
- interpolation
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种长方体表面畸变的矫正方法;它首先利用图像采集***采集长方形图像,通过边缘检测找到长方体表面的四条边并把其围成的区域截取出来,然后再对截取出来的不规则四边形围成的区域进行插值,得到矫正图像。本发明通过确定图像的消失线,在消失线方向和消失线垂直方向对图像按一定比例插值,最终完成对图像的投影变换和仿射变换的矫正。这种方法仅需一幅图像,既可以完成对原来为矩形的图像的恢复,矫正以后的图形的长宽比例和实际矩形面的长宽比例相同。
Description
技术领域
本发明涉及一种数字图像处理和空间图像变换技术,尤其涉及一种基于消失线的长方体表面透视变形的矫正方法。
背景技术
随着市场经济的发展,企业在不断提高产品内在质量的同时,也更关注产品的外观质量。手工检验产品外观质量的弊端显而易见,这为机器视觉创造了新的应用领域。机器视觉技术是一门多学科融合的科学,融汇了信息处理技术,图像处理技术,生物物理学,心理学等学科,是近几年迅猛发展的学科之一。
物体表面质量自动检测是计算机视觉的一个具体应用,通过对被检测物体的图像采集、去扰动、图像分割、特征提取、相似性测量与判决,从而对产品外观视觉效果能否符合预定要求进行判定。
在对图像进行特征提取和相似性测量时,一般图像都有一定的透视变形,图像的透视变形会对特征的提取和匹配产生不良影响;特别是在区域特征提取的时候,两幅图像上的对应特征点的区域描述会因为透视变形的存在而相差很大,很难进行相似性测量。因此,我们必须找到一种方法,使图的透视变形的影响降到最低,并且使得之后的特征描述和特征点匹配能够得到更有效的结果。
本发明针对图像的透视变形影响特征点的区域描述的问题,提出了一种基于消失线的长方体表面透视变形的矫正方法。用图像采集***采集长方形图像,通过边缘检测找到长方体表面的四条边并把其围成的区域截取出来,然后再对截取出来的不规则四边形围成的区域进行插值。
发明内容
本发明的目的就是为了解决上述问题,提供一种基于消失线的长方体表面透视变形的矫正方法,该方法可以使图像的透视变形对特征提取和特征匹配的不良影响特降到最低。
为了实现上述目的,本发明采用如下技术方案:
一种基于消失线的长方体表面透视变形的矫正方法,该方法的实现步骤如下:
步骤1:利用长方体外包装的产品外观检测***拍摄长方体包装表面图像;
步骤2:用形态学中的腐蚀算法对采集的图像进行边缘检测,对得到的图像边缘用Radon变换算法求出四边形的四条边,并确定其顶点坐标;
步骤3:求出四边形的对边所在直线的交点坐标,得到的两个交点即为图像的消失点,两点确定的直线即为消失线;
步骤4:计算消失线的倾斜角,按此倾斜角旋转图像,使消失线位于图像的下方并且平行于水平方向,旋转后重新得到四边形的顶点坐标,消失点坐标和消失线;
步骤5:保留四条边围成的区域内的点的像素值,其他像素置零;
步骤6:对步骤5中得到的四边形利用插值比例进行插值,然后按一定角度旋转插值后的图像,即可得到矫正后的长方体包装表面图像。
所述的步骤6中插值过程如下:对于一幅R行C列的图像,图像中的第m行m<R的像素用的比例在水平方向插值,并将插值后的每行按其中点对齐得到一个新的图像矩阵;然后,按照第m行对应与长方体表面图像中的第至行在竖直方向上自上而下依次差值,插值后的图像即为矫正后的图像;其中K1为大于0小于1的系数,由矩形的邻边互相垂直的性质求出,K为系数常量,K=N′,n为此行上的像素点到消失线的距离,n=N′-m。
本发明的有益效果:本发明通过确定图像的消失线,在消失线方向和消失线垂直方向对图像按一定比例插值,最终完成对图像的透视变形的矫正。这种方法仅需一幅图像,不需要对图像采集***事先标定,既可以完成对原来长方体表面图像的恢复,矫正后的图像与原长方体表面相比具有很高的结构相似度,矫正后图像的长宽比例和实际矩形面的长宽比例相同。本发明用在长方体外包装的产品外观检测***中,对检测***拍摄下来的长方体包装表面进行矫正,然后计算矫正后图像和标准图像的结构相似程度,就能够准确的发现产品外包装与标准包装的外观差异,从而判定包装是否合格。
附图说明
图1为图像平面和消失线的示意图;
图2a图像采集***在垂直于消失线的平面上的投影图;
图2b垂直于光轴和消失线的方向上的视图;
图3a为用相机任意角度拍摄的DVD ReWrite包装盒图像;
图3b为用相机任意角度拍摄的DVD ReWrite包装盒图像;
图3c为用相机任意角度拍摄的DVD ReWrite包装盒图像;
图3d为用相机任意角度拍摄的DVD ReWrite包装盒图像;
图4a为提取的对应于图3a中图像的待矫正的长方体表面;
图4b为提取的对应于图3b中图像的待矫正的长方体表面;
图4c为提取的对应于图3c中图像的待矫正的长方体表面;
图4d为提取的对应于图3d中图像的待矫正的长方体表面;
图5a是图4a利用本发明处理后得到的图像;
图5b是图4b利用本发明处理后得到的图像;
图5c是图4c利用本发明处理后得到的图像;
图5d是图4d利用本发明处理后得到的图像;
图5e为DVD ReWrite包装盒图像从四种不同角度矫正后的图像做直观的结构相似性对比图;
图6a为哥伦比亚大学图像数据库coil-100中obj1_45图像;
图6b为哥伦比亚大学图像数据库coil-100中obj1_135图像;
图6c为哥伦比亚大学图像数据库coil-100中obj1_225图像;
图6d为哥伦比亚大学图像数据库coil-100中obj1_315图像;
图7a为提取的对应于图6a中图像的待矫正的长方体表面;
图7b为提取的对应于图6b中图像的待矫正的长方体表面;
图7c为提取的对应于图6c中图像的待矫正的长方体表面;
图7d为提取的对应于图6d中图像的待矫正的长方体表面;
图8a是对应于图7a四个四边形面用本发明处理后的的图像;
图8b是对应于图7b四个四边形面用本发明处理后的的图像;
图8c是对应于图7c四个四边形面用本发明处理后的的图像;
图8d是对应于图7d四个四边形面用本发明处理后的的图像;
图8e为obj1图像从四个不同角度矫正后的图像做直观的结构相似性对比图;
图9为本发明的处理流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
本发明首先利用图像采集***采集长方形图像,如图3a-图3d为从任意四个角度拍摄的DVD ReWrite包装盒图像,图6a-图6d为哥伦比亚大学图像数据库coil-100中obj1的四幅图像。通过边缘检测找到长方体表面的四条边并把其围成的区域截取出来,如图4a-图4d为对应于图3a-图3d的提取的待矫正的长方体表面,图7a-图7d为对应于图6a-图6d的提取的待矫正的长方体表面。然后再对截取出来的不规则四边形围成的区域进行插值。该方法流程图如图9所示,详细步骤如下:
Step1:用形态学中的腐蚀算法对采集的图像进行边缘检测,对边缘图像用Radon变换算法找到四边形的四条边,并确定其顶点。
Step2:计算图像中四边形的对边的交点,这两个交点即为两对平行线的消失点,两个消失点确定的直线为消失线。如图1所示,图中L为消失线,Plane为图像平面,V1,V2,V3,V4为四个顶点,X1,X2为两个消失点,线段V1V2,V2V3,V3V4,V4V1围成的区域为长方体表面在图像平面上的投影。
Step3:计算消失线的倾斜角,按此倾斜角旋转图像,旋转后重新计算顶点,消失点和消失线,使消失线位于图像的下方并且平行于图像的水平方向。计算图像中兴趣区域(四边形包围的区域)上的像素点到消失线的最远距离,记为N′。
Step4:相邻顶点连线确定四条边,仅保留四条边围成的区域的像素值,其他像素置零。
Step5:对step4得到的四边形图像进行插值;在进行插值前,首先需要计算插值的比例;计算插值比例的过程如下:把图像采集***看作是小孔成像,如图2a所示,图2a中直线L2为长方体表面所在平面Plane2的投影,直线L3为图像平面Plane1的投影,L4为过光心Oc平行于L2的直线,点X为消失线L的投影,点Oc为光心的投影,点O为光轴与Plane1的交点的投影,点O′为光轴与Plane2的交点的投影,点P1,P2为Plane1上平行于消失线的两条直线l1,l2的投影,点P1′,P′2为在Plane2上分别对应与Plane1上直线l1,l2的两条直线l′1,l′2的投影。
由图2a可知,在垂直与消失线的方向上,图像平面Plane1上直线l1,l2之间的像素,对应于长方体表面所在平面Plane2上直线l′1,l′2之间的内容。用n1表示图2a中点P1到点X的距离,n2表示点P2到点X的距离,N表示点O到点X的距离,摄像机焦距f=OcO,光轴长度h=OcO′,θ1=∠O′OcP′1,θ2=∠O′OcP′2,P1P2为图像上任意两像素点之间垂直于消失线方向上的距离;OP1、OP2分别为两像素点到光心投影点垂直于消失线方向上的距离。所以P1P2=OP2-OP1;O′P1′、O′P2′、P1′P2′为长方体表面上对应于OP1、OP2、P1P2的三个距离值,对应有P1′P2′=O′P2′-O′P1′。α如图2a所示,则
OP1=N-n1 (4)
(1)(2)(3)(4)四式联立,可求得
同理可求得
则对应的
即图像平面垂直与消失线方向上距离消失线为n1和n2(n1>n2)的直线之间的像素对应与矩形面上的区域。
在平行与消失线的方向上,就直线l1,l′1而言,从垂直于光轴和消失线的方向上观察图像采集***,如图2b所示;图像平面Plane1上距离为P1P3区域对应与实际矩形面的P1′P3′区域,且
(1)(2)(3)(4)(5)(6)(7)联立可得
即图像平面上平行与消失线方向距离消失线为n1的像素对应与长方体表面所在平面上的区域。
令K1=sinα,则垂直于消失线方向上,距离消失线为n1和n2(n1>n2)的直线之间的像素对应与矩形面上的区域。平行于消失线方向上,距离消失线为n1的像素对应与长方体表面所在平面上的区域。在实际运算中,我们不用得到和实际矩形面一样大小的图像,所以系数常量K可以不用实际测量值,免去了图像采集***标定的程序,这里一般取K=N(经验值)。
确定系数K1,K1与光轴和矩形面所在平面的夹角α有关,由K1=sin(α)可知K1是由α确定的,但是由于α是图像采集***的外部参数,由一幅图像很难确定,所以不能通过求α来求K1。我们知道原图像上不规则四边形的四个顶点和四条边,经过伸缩以后相邻两条边相互垂直,我们可以把K1作为已知参数,来表示伸缩以后的四个顶点的坐标,然后通过相邻两边的相互垂直的性质列出方程,再反求参数K1,这样我们就可以求出K1。
K1的求解过程如下:因为K1为水平方向上的插值比例的参数,所以K1仅与校正后四个顶点的纵坐标有关,由上面所求出的插值比例,设四个顶点的坐标(Xi,Yi(K1)),其中i=1,2,3,4。则由矩形邻边的垂直关系可以列出方程式。
(Xi-Xj)(Xi-Xk)+(Yi(K1)-Yj(K1))(Yi(K1)-Yk(K1))=0 (8)
上式中(Xj,Yj(K1))、(Xi,Yi(K1))、(Xk,Yk(K1))为依次相邻的三个顶点坐标,i,j,k=1,2,3,4。由式(8)即可解出K1的值。
求出插值比例参数K和K1后,代入插值公式,对图像进行插值。对于一幅R行C列的图像,图像中的第m(m<R)行的像素用的比例在水平方向插值,并将插值后的每行按其中点对齐得到一个新的图像矩阵;然后,按照第m行对应与长方体表面图像中的第至行在竖直方向上自上而下依次差值,插值后的图像即为矫正后的图像。其中K1为大于0小于1的系数,由矩形的邻边互相垂直的性质求出,K为系数常量,K=N′,n为此行上的像素点到消失线的距离,n=N′-m;
Step6:计算矫正后的顶点位置,计算旋转角度,旋转图像,即为最终矫正后的图像,根据矫正后的图像,计算矫正后图像和标准图像的结构相似程度,根据相似程度就能够准确的发现产品外包装与标准包装的外观差异,从而判定外包装是否合格。
如图5a-图5d为对应于图4a-图4d四边形区域的矫正结果,如图8a-图8d为对应于图7a-图7d四边形区域的矫正结果。图5e为DVD ReWrite包装盒图像从四种不同角度矫正后的图像做直观的结构相似性对比图,图8e为obj1图像从四个不同角度矫正后的图像做直观的结构相似性对比图。通过比较我们发现,四个角度矫正的图像的结构相似度基本一致。
但是在实际计算过程中,N′表示图像平面中兴趣区域中的像素点到消失线的最远距离,和公式(1)-(7)中的N不同,当用N′代替N时,水平和竖直方向上的插值频率(比例)与理论值成正比关系,仅相差一个比例因子其中f为照相机的焦距(图2a中的OcO),N为光心在图像平面的投影到消失线的距离,N′为图像平面中兴趣区域中的像素点到消失线的最远距离,在采集一副图像时,以上三个量都是不变量,即比例因子η为一个系数常量,不影响图像的矫正结果和长和宽的比例值。
实验图像中DVD ReWrite包装盒的长×宽为190mm×200mm,长宽比例为0.95,表1为图3a-图3d中四幅图像经过本发明处理后得到的矩形的长宽比,与实际长宽比比较,发现处理后图像的长宽比与实际相一致。
表1
表2为图6a-图6d四幅图像经过本发明处理后得到的矩形长宽比,比较后发现他们的比例也是基本一致。
表2
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (1)
1.基于消失线的长方体表面透视变形的矫正方法,其特征是,该方法的实现步骤如下:
步骤1:利用长方体外包装的产品外观检测***拍摄长方体包装表面图像;
步骤2:用形态学中的腐蚀算法对采集的图像进行边缘检测,对得到的图像边缘用Radon变换算法求出长方体可见表面的四条边,并确定其顶点坐标;
步骤3:求出四边形的对边所在直线的交点坐标,得到的两个交点即为图像的消失点,两点确定的直线即为消失线;
步骤4:计算消失线的倾斜角,按此倾斜角旋转图像,使消失线位于图像的下方并且平行于水平方向,旋转后重新得到四边形的顶点坐标,消失点坐标和消失线;
步骤5:保留四条边围成的区域内的点的像素值,其他像素置零;
步骤6:对步骤5中得到的四边形利用插值比例进行插值,然后按一定角度旋转插值后的图像,即可得到矫正后的长方体包装表面图像;
所述的步骤6中插值过程如下:对于一幅R行C列的图像,图像中的第m行的像素用的比例在水平方向插值,其中,m<R,并将插值后的每行按中点对齐得到一个新的图像矩阵;然后,按照第m行对应与长方体表面图像中的第至行在竖直方向上自上而下依次差值,插值后的图像即为矫正后的图像;其中K1为大于0小于1的系数,由矩形的邻边互相垂直的性质求出,K为系数常量,K=N',N'表示图像平面中兴趣区域中的像素点到消失线的最远距离,n为此行上的像素点到消失线的距离,n=N'-m。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110395973.6A CN102521806B (zh) | 2011-12-04 | 2011-12-04 | 基于消失线的长方体表面透视变形的矫正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110395973.6A CN102521806B (zh) | 2011-12-04 | 2011-12-04 | 基于消失线的长方体表面透视变形的矫正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102521806A CN102521806A (zh) | 2012-06-27 |
CN102521806B true CN102521806B (zh) | 2014-10-22 |
Family
ID=46292711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110395973.6A Expired - Fee Related CN102521806B (zh) | 2011-12-04 | 2011-12-04 | 基于消失线的长方体表面透视变形的矫正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102521806B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103679638A (zh) | 2013-12-25 | 2014-03-26 | 广州广电运通金融电子股份有限公司 | 残缺或变形的四边形图像的校正方法 |
KR102279026B1 (ko) * | 2014-11-07 | 2021-07-19 | 삼성전자주식회사 | 적어도 하나의 객체를 포함하는 영상에서 객체를 추출하여 보정한 영상을 제공하는 장치 및 방법 |
CN116134476A (zh) * | 2020-08-03 | 2023-05-16 | Oppo广东移动通信有限公司 | 平面矫正方法及装置、计算机可读介质和电子设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201518172U (zh) * | 2008-12-31 | 2010-06-30 | 瞿宏 | 立方体的一种透视原理演示仪 |
-
2011
- 2011-12-04 CN CN201110395973.6A patent/CN102521806B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201518172U (zh) * | 2008-12-31 | 2010-06-30 | 瞿宏 | 立方体的一种透视原理演示仪 |
Also Published As
Publication number | Publication date |
---|---|
CN102521806A (zh) | 2012-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Scaramuzza et al. | Extrinsic self calibration of a camera and a 3d laser range finder from natural scenes | |
CN106846409B (zh) | 鱼眼相机的标定方法及装置 | |
CN104142157B (zh) | 一种标定方法、装置及设备 | |
JP5713159B2 (ja) | ステレオ画像による3次元位置姿勢計測装置、方法およびプログラム | |
CN1325875C (zh) | 测量方法及测量机 | |
CN107993263B (zh) | 环视***自动标定方法、汽车、标定装置及存储介质 | |
ES2818563T3 (es) | Método y aparato de modelado tridimensional | |
EP2999220B1 (en) | Method for correcting 3d image in tiled display and apparatus therefor | |
US20130002861A1 (en) | Camera distance measurement device | |
CN105551039A (zh) | 结构光三维扫描***的标定方法及装置 | |
CN106709865B (zh) | 一种深度图像合成方法及装置 | |
TW201520508A (zh) | 探針補點系統及方法 | |
CN110969662A (zh) | 鱼眼摄像机内参标定方法、装置、标定装置控制器和*** | |
JP2012247364A (ja) | ステレオカメラ装置、ステレオカメラシステム、プログラム | |
CN106500619B (zh) | 基于视觉测量的相机内部图像传感器安装误差分离方法 | |
JP5773436B2 (ja) | 情報端末装置 | |
US10102631B2 (en) | Edge detection bias correction value calculation method, edge detection bias correction method, and edge detection bias correcting program | |
TWI520099B (zh) | 影像擷取系統的校正方法 | |
CN103473771A (zh) | 一种摄相机标定方法 | |
CN105447877A (zh) | 一种平行双摄像头立体标定的方法 | |
US10348961B2 (en) | Camera modeling system | |
CN105118042A (zh) | 对位贴合方法和设备 | |
CN110035280B (zh) | 利用棋盘格测试表检测模组fov的方法、装置及可读存储介质 | |
CN111340869B (zh) | 快递包裹表面平整度识别方法、装置、设备及存储介质 | |
WO2023273108A1 (zh) | 单目测距方法、装置及智能装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141022 Termination date: 20141204 |
|
EXPY | Termination of patent right or utility model |