CN116182702B - 一种基于主成分分析的线结构光传感器标定方法及*** - Google Patents
一种基于主成分分析的线结构光传感器标定方法及*** Download PDFInfo
- Publication number
- CN116182702B CN116182702B CN202310048321.8A CN202310048321A CN116182702B CN 116182702 B CN116182702 B CN 116182702B CN 202310048321 A CN202310048321 A CN 202310048321A CN 116182702 B CN116182702 B CN 116182702B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- plane
- calibration plate
- calibration
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
- G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种基于主成分分析的线结构光传感器标定方法,包括如下步骤:S1.获取传感器的相机内参和畸变系数;S2.采集同一位置的外部光源照射下的标定板图像和投射有激光条纹的标定板图像,进行畸变矫正;S3.获取标定板每次平移的移动向量;S4.利用单应性矩阵求解特征点在局部坐标系的平面坐标;S5.获取特征点在世界坐标系下的三维坐标;S6.采用主成分分析法将特征点在世界坐标系下的三维坐标重投影为平面坐标;S7.计算光平面到图像平面的单应性矩阵。本发明利用单应性矩阵求解特征点三维坐标,减少了单应性矩阵分解引入的误差,标定精度高于传统基于空间变换的标定方法。
Description
技术领域
本发明涉及线结构光传感器技术领域,尤其是涉及一种基于主成分分析的线结构光传感器标定方法及***。
背景技术
线结构光传感器具有非接触、速度快、精度高的优点,被广泛应用于焊接引导、工业测量和质量检测等领域。光平面高精度标定是实现线结构光传感器精密测量的关键,从原理上光平面标定方法可分为直接标定法和模型标定法。
直接标定法需借助平移机构精确控制标定靶标作平移运动,通过记录靶标上特征点的三维坐标并提取对应的像素坐标,直接建立二者之间的关系。如邹媛媛等采用组合的量块,建立特征点像素坐标与三维坐标的二维查找表,利用相邻四个点采用最小二乘拟合得到三维坐标。邝泳聪等采用线纹尺建立查找表并结合三次插值法计算三维坐标。直接标定法需要提取较多的特征点对才能精确描述三维坐标与像素坐标的映射关系,人工调整工作量较大。
模型标定法对线结构光传感器的光平面描述方式主要有两种,第一种方式是建立光束平面在相机坐标系下的平面方程。如周富强等采用交比不变性原理计算特征点在局部坐标系的坐标,通过单应性矩阵分解,将特征点统一到世界坐标系拟合光平面方程。之后又涌现多种特征点坐标求解的方法,如韩建栋等采用共线三点透视原理求解特征点三维坐标;魏一等采用射线与平面交汇的方法计算特征点坐标;于龙龙等采用空间变换的方法将光条直线方程统一到相机坐标系。上述方法都需要通过空间变换将特征点统一到世界坐标系,因此引入了单应性矩阵分解误差,限制了传感器标定精度。
模型标定法的另一种方式是在光束平面上建立平面坐标系,通过单应性矩阵来描述该坐标系与图像坐标系之间点的对应关系。如徐光佑等提出的基于交比不变性的三维靶标法,段发阶等提出的锯齿靶标法。但是徐光佑等所提方法要求光平面平行于标定块,段发阶等所提方法要求光平面垂直于锯齿面,因此人工调整较为困难,并不适合于工程化应用。Pan等借助平移机构和齿形靶标,利用特征匹配的方法提取一系列特征点对,但同样要求靶标移动方向与光平面平行。陈晓辉等和彭谦之等通过辅助标定仪实现光面与相机坐标系间的单应性矩阵标定来实现光平面标定,但倾斜的标定板与光平面完全贴合调整困难,且对相机景深要求高,小视场近距离结构光模型并不适合。平乙杉等通过移动平台获得多组特征点的三维坐标来求解单应性矩阵,与徐光佑等方法相似的是,该方法需要激光平面垂直于平面标定板,且也需要光平面与移动平台的轴平行,这限制了该方法的适用范围,对于倾斜激光平面将无法实现标定,人工很难保证绝对的平行和垂直。
虽然理论上采用平面靶标标定单应性矩阵的方法可以有效减少映射转换环节,且利用单应性矩阵求解特征点三维坐标,减少了传统方法单应性矩阵分解引入的误差,总的来说,基于单应性矩阵的方法可以减少引入误差和计算量,步骤简单,精度更高。通过以上综述,现存方法存在精度低,标定流程复杂的问题,特别是现存基于单应性矩阵的标定方法往往对平移机构、标定靶标、光平面之间的位置关系有特殊要求,提高了人工调整的难度。
发明内容
本发明提供一种基于主成分分析的线结构光传感器标定方法及***,属于基于主成分分析投影的单应性矩阵光平面标定方法,控制标定板在升降机构上作一组平移运动,不需要人工精确调整标定板的摆放位置、升降位移、激光器的投射方向,具有比传统方法更高的标定精度和便捷性。
本发明实施例的一方面公开了一种基于主成分分析的线结构光传感器标定方法,包括如下步骤:
步骤S1.获取传感器的相机内参和畸变系数;
步骤S2.控制标定板作一组平移运动,采集同一位置的外部光源照射下的标定板图像和投射有激光条纹的标定板图像,并基于相机内参和畸变系数,对所有标定板图像进行畸变矫正;
步骤S3.提取角点坐标,计算标定板平面到图像平面的单应性矩阵,并求解标定板每次平移的移动向量;
步骤S4.拟合光条中心直线方程,在光条直线上间隔提取特征点,并提取特征点的像素坐标,并利用单应性矩阵求解特征点在局部坐标系的平面坐标;
步骤S5.在标定板初始位置建立世界坐标系,将标定板移动向量投影到世界坐标系,并求解特征点在世界坐标系下的三维坐标;
步骤S6.采用主成分分析法将特征点在世界坐标系下的三维坐标重投影为平面坐标,投影平面即为光平面;
步骤S7.利用特征点重投影后的平面坐标和对应像素坐标,计算光平面到图像平面的单应性矩阵,完成光平面标定。
在一些实施例中,在步骤S1中,采用张正友标定法标定扫描仪的相机内参和畸变系数,记相机内参矩阵为K,K如式1所示:
式中fx、fy分别为X、Y轴方向的尺度因子,γ是倾斜因子,(u0,v0)为主点坐标。
在一些实施例中,在步骤S2中,将标定板摆放在升降平台上,保证线激光能投射到标定板且相机能拍摄到完整标定板图像,多次调节升降台高度,每次运动停止后,打开外部光源,控制相机采集标定板图像;然后关闭外部光源,打开线激光器,拍摄同一位姿下投射有激光条纹的标定板图像,至少在2个位置上采集标定板图像;
记采集的所有投射有激光条纹的标定板图像为ML,所有外部光源照射下的标定板图像为MB,ML、MB中图像数目均为n,n≥2,ML中的第i张光条图像记为MLi,同一位姿下的靶标图像记为MBi,然后基于相机内参和畸变系数,对所有标定板图像进行畸变矫正。
在一些实施例中,在步骤S3中,以标定板左下角第一个角点为原点建立局部坐标系Oxiyizi,X轴方向沿标定板长度方向,Y轴方向沿标定板宽度方向,Z轴垂直于标定板;在Ox0y0z0原点处建立世界坐标系Oxyz,坐标轴方向与局部坐标系相同;
线结构光与第i个位置的标定板相交产生的光条记为Li,沿局部坐标系Y轴方向按间隔Δy在Li上取特征点,记Li上第j个特征点为Pm*i+j,其中j=1,2,3……m,m为每个光条上取的特征点数目,Δy等于标定板方格的边长;
采用openCV棋盘格角点提取函数,提取MB中标定板图像角点的像素坐标,根据标定板的尺寸计算得到角点在局部坐标系下的平面坐标,由平面透视投影的原理可得式2:
式中为图像MBi中第n个特征点的像素坐标,/>为对应特征点在局部坐标系下的平面坐标;
采用L-M算法求解相机内参矩阵K,得到各个位置下标定板平面到图像平面的单应性矩阵;
由张正友标定法可知,利用单应性矩阵Hi可分解出相机坐标系到标定板局部坐标系的平移向量ti,平移向量的求解方法为式3:
式中K为相机内参矩阵,为Hi第3列,/>ti为标定板第i个位置下相机坐标系到局部坐标系的平移向量,标定板从第i个位置移动到第i+1位置时,标定板的平移向量为式4:
Δti+1=ti+1-ti。
在一些实施例中,在步骤S4中,采用平方加权灰度重心法提取MLi中Li的光条中心,然后利用随机采样一致性算法拟合光条中心的直线方程,记Li在图像中的直线方程为式5:
[ai,bi,ci]·[u,v,1]T=0;
特征点Pm*i+j为光条Li和局部坐标系Oxiyizi中直线y=(j-1)Δy的交点,其中j=0,1……;
由平面透视投影原理可得,直线y=(j-1)Δy经过射影变换后在图像中的方程为式6:
特征点Pij在图像中的像素坐标为式5和式6两直线方程的交点,由平面透视原理,特征点在局部坐标系下的平面坐标为式7:
在一些实施例中,在步骤S5中,任取一单应性矩阵Hi,平面坐标系Oxiyi中X轴单位方向向量为(1,0,1),该向量与无穷远直线的交点为(1,0,0),记为P,P点投影到图像平面得到图像坐标为式8:
s[u,v,1]T=Hi·[1 0 0]T;
P点的图像坐标(u,v),即为X轴单位方向向量(1,0,1)的消隐点,由消隐点原理可得X轴单位方向向量(1,0,1)在相机坐标系下的坐标为式9:
D=K-1[uv vv 1];
式中uv,vv为消隐点图像坐标,同理可得局部坐标系Y轴在相机坐标系下方向向量;
由于标定板作平移运动,世界坐标系坐标轴的方向向量与局部坐标系相同,Z坐标轴的方向向量为式10:
DZ=DX*DY;
式中DX、DY分别为世界坐标系X、Y轴在相机坐标系下的方向向量;
将标定板平移向量投影到世界坐标系X、Y、Z轴,即可得到标定板平移向量在世界坐标系下的坐标,记Δtk投影到世界坐标系的向量为特征点在世界坐标系下的三维坐标为式11:
式中xi′,j,yi′,j,zi′,j为特征点在世界坐标系的三维坐标,当标定板垂直于标定板平面作平移时,特征点在世界坐标系下的三维坐标为
式12:
在一些实施例中,在步骤S6中,采用主成分分析法将含有噪声的三维坐标点重投影为平面坐标,将特征点的三维坐标按行排列,记为式13:
式中xn、yn、zn为特征点Pn在世界坐标系下的三维坐标,分别为所有特征点在世界坐标系下三个坐标分量的平均值,n为特征点数目,对XTX进行正交分解得到式14:
式中λ1>λ2>λ3;
以为原点建立坐标系OxLyLzL,取X轴沿η1的方向,取Z轴沿η3方向,OxLyL平面即为光平面,将特征点三维坐标重投影到OxLyLzL,并令Z轴坐标为0,得到特征点在平面坐标系OxLyL中的坐标为式15:
在一些实施例中,在步骤S7中,采用L-M算法求解光平面到图像平面的单应性矩阵,完成光平面标定。
本发明实施例的另一方面公开了一种基于主成分分析的线结构光传感器标定***,包括:
获取模块,用于获取传感器的相机内参和畸变系数;
畸变矫正模块,用于通过控制标定板作一组平移运动,采集同一位置的外部光源照射下的标定板图像和投射有激光条纹的标定板图像,并基于相机内参和畸变系数,对所有标定板图像进行畸变矫正;
第一坐标获取模块,用于通过提取角点坐标,计算标定板平面到图像平面的单应性矩阵,并求解标定板每次平移的移动向量;
第二坐标获取模块,用于通过拟合光条中心直线方程,在光条直线上间隔提取特征点,并提取特征点的像素坐标,并利用单应性矩阵求解特征点在局部坐标系的平面坐标;
三维坐标获取模块,用于在标定板初始位置建立世界坐标系,将标定板移动向量投影到世界坐标系,并求解特征点在世界坐标系下的三维坐标;
主成分分析法模块,用于采用主成分分析法将特征点在世界坐标系下的三维坐标重投影为平面坐标,投影平面即为光平面;
标定模块,用于利用特征点重投影后的平面坐标和对应像素坐标,计算光平面到图像平面的单应性矩阵,完成光平面标定。
在一些实施例中,基于主成分分析的线结构光传感器标定***还包括:
处理器,分别与所述获取模块、畸变矫正模块、第一坐标获取模块、第二坐标获取模块、三维坐标获取模块、主成分分析法模块和标定模块连接;
存储器,与所述处理器连接,并存储有可在所述处理器上运行的计算机程序;
其中,当所述处理器执行所述计算机程序时,所述处理器控制所述获取模块、畸变矫正模块、第一坐标获取模块、第二坐标获取模块、三维坐标获取模块、主成分分析法模块和标定模块工作,以实现上述中任一项所述的基于主成分分析的线结构光传感器标定方法。
综上所述,本发明至少具有以下有益效果:
本发明首先标定相机,获得相机内参矩阵和畸变系数,然后控制标定板作一组平移运动,采集靶标板图像和激光条纹图像,计算每一标定板平面到图像平面的单应性矩阵。在标定板上建立局部坐标系,并以标定板初始位置的局部坐标系作为世界坐标系。基于平面射影变换原理,由特征点像素坐标求解其在局部坐标系下的坐标。结合消隐原理求解标定板平移向量在世界坐标系下的坐标,进而得到特征点在世界坐标系下的三维坐标。然后采用主成分分析法将特征点三维坐标投影到第一主分量和第二主分量构成的平面,此投影平面即为光束平面,计算特征点在投影平面的坐标。最后由特征点在投影平面的坐标和对应像素坐标求解投影平面到图像平面的单应性矩阵,完成光平面标定。本发明只需控制标定板作一组平移运动,对标定板摆放位置、光束投射方向没有特殊要求,解决了传统基于单应性矩阵标定方法中需要人工精确调整的问题。本发明采用主成分分析法对特征点三维坐标进行降维并将其投影到光平面上,并通过约束去噪最大程度保留了原始数据的信息,利用单应性矩阵求解特征点三维坐标,减少了单应性矩阵分解引入的误差,标定精度高于传统基于空间变换的标定方法。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明中所涉及的基于主成分分析的线结构光传感器标定方法的步骤示意图。
图2为本发明中所涉及的基于主成分分析的线结构光传感器标定***的模块示意图。
图3为本发明中所涉及的线激光器、相机、升降平台和标定板的示意图。
图4为本发明中所涉及的采集的一组图像示例的示意图。
图5为本发明中所涉及的标定板平移运动模型的示意图。
图6为本发明中所涉及的标定板平移向量求解原理的示意图。
图7为本发明中所涉及的特征点提取效果的示意图。
图8为本发明中所涉及的特征点世界坐标和主成分分析效果的示意图。
附图标记:
1、线激光器,2、相机,3、升降平台,4、标定板。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本发明实施例的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
下文的公开提供了许多不同的实施方式或例子用来实现本发明实施例的不同结构。为了简化本发明实施例的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本发明实施例。此外,本发明实施例可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。
下面结合附图对本发明的实施例进行详细说明。
如图1所示,本发明实施例的一方面公开了一种基于主成分分析的线结构光传感器标定方法,包括如下步骤:
步骤S1.获取传感器的相机内参和畸变系数。
在一些实施例中,在步骤S1中,采用张正友标定法标定扫描仪的相机内参和畸变系数,记相机内参矩阵为K,K如式1所示。
式中fx、fy分别为X、Y轴方向的尺度因子,γ是倾斜因子,(u0,v0)为主点坐标。
步骤S2.控制标定板4作一组平移运动,采集同一位置的外部光源照射下的标定板图像和投射有激光条纹的标定板图像,并基于相机内参和畸变系数,对所有标定板图像进行畸变矫正。
在一些实施例中,在步骤S2中,如图3所示,将棋盘格标定板4摆放在升降平台3上,保证线激光能投射到标定板4且相机2能拍摄到完整标定板图像,多次调节升降台高度,每次运动停止后,打开外部光源,控制相机2采集标定板图像;然后关闭外部光源,打开线激光器1,拍摄同一位姿下投射有激光条纹的标定板图像,至少在2个位置上采集标定板图像(即采集有光条的标定板图像组和无光条的靶标图像组);
记采集的所有投射有激光条纹的标定板图像为ML,所有外部光源照射下的标定板图像为MB,ML、MB中图像数目均为n,n≥2,ML中的第i张光条图像记为MLi,同一位姿下的靶标图像记为MBi,然后基于相机内参和畸变系数,对所有标定板图像进行畸变矫正(即根据相机内参和畸变系数对两组图像组进行去畸变处理,得到图像组);图4为拍摄的一组图像示例,图4中(a)为外部光源照射下的标定板图像(靶标图像),(b)为投射有激光条纹的标定板图像。
步骤S3.提取角点坐标,计算标定板平面到图像平面的单应性矩阵,并求解标定板4每次平移的移动向量。
在一些实施例中,在步骤S3中,图5为标定板4作平移运动的模型,以标定板4左下角第一个角点为原点建立局部坐标系Oxiyizi,X轴方向沿标定板4长度方向,Y轴方向沿标定板4宽度方向,Z轴垂直于标定板4;在Ox0y0z0原点处建立世界坐标系Oxyz,坐标轴方向与局部坐标系相同;
线结构光与第i个位置的标定板4相交产生的光条中心线记为Li,沿局部坐标系Y轴方向按间隔Δy在Li上取特征点,记Li上第j个特征点为Pm*i+j,其中j=1,2,3……m,m为每个光条上取的特征点数目,图5中Δy等于标定板4方格的边长;
采用openCV棋盘格角点提取函数,提取MB中标定板图像角点的像素坐标,根据标定板4的尺寸计算得到角点在局部坐标系下的平面坐标,由平面透视投影的原理可得式2;
式中为图像MBi中第n个特征点的像素坐标,/>为对应特征点在局部坐标系下的平面坐标;
采用L-M算法(Levenberg-Marquardt算法)求解相机内参矩阵K,得到各个位置下标定板平面到图像平面的单应性矩阵;
由张正友标定法可知,利用单应性矩阵Hi可分解出相机坐标系到标定板局部坐标系的平移向量ti,平移向量的求解方法为式3;
式中K为相机内参矩阵,为Hi第3列,/>ti为标定板4第i个位置下相机坐标系到局部坐标系的平移向量,如图6所示,标定板4从第i个位置移动到第i+1位置时,标定板4的平移向量为式4。
Δti+1=ti+1-ti (4)
步骤S4.拟合光条中心直线方程,在光条直线上间隔提取特征点,并提取特征点的像素坐标,并利用单应性矩阵求解特征点在局部坐标系的平面坐标。
在一些实施例中,在步骤S4中,采用平方加权灰度重心法提取MLi中的光条中心,然后利用随机采样一致性算法拟合光条中心的直线Li的方程,记Li在图像中的直线方程为式5;
[ai,bi,ci]·[u,v,1]T=0 (5)
特征点Pm*i+j为光条中心直线Li和局部坐标系Oxiyizi中直线y=(j-1)Δy的交点,其中j=0,1……;
由平面透视投影原理可得,直线y=(j-1)Δy经过射影变换后在图像中的方程为式6;
特征点Pm*i+j在图像中的像素坐标为式5和式6两直线方程的交点,由平面透视原理,特征点在局部坐标系下的平面坐标为式7。
步骤S5.在标定板4初始位置建立世界坐标系,将标定板4移动向量投影到世界坐标系,并求解特征点在世界坐标系下的三维坐标。
在一些实施例中,在步骤S5中,任取一单应性矩阵Hi,平面坐标系Oxiyi中X轴单位方向向量为(1,0,1),该向量与无穷远直线的交点为(1,0,0),记为P,P点投影到图像平面得到图像坐标为式8;
s[u,v,1]T=Hi·[1 0 0]T (8)
P点的图像坐标(u,v),即为X轴单位方向向量(1,0,1)的消隐点,由消隐点原理可得X轴单位方向向量(1,0,1)在相机坐标系下的坐标为式9;
D=K-1[uv vv 1] (9)
式中uv,vv为消隐点图像坐标,同理可得局部坐标系Y轴在相机坐标系下方向向量;
由于标定板4作平移运动,世界坐标系坐标轴的方向向量与局部坐标系相同,Z坐标轴的方向向量为式10;
DZ=DX*DY (10)
式中DX、DY分别为世界坐标系X、Y轴在相机坐标系下的方向向量;
将标定板平移向量投影到世界坐标系X、Y、Z轴,即可得到标定板平移向量在世界坐标系下的坐标,记Δtk投影到世界坐标系的向量为特征点在世界坐标系下的三维坐标为式11;
式中x′i,j,y′i,j,z′i,j为特征点在世界坐标系的三维坐标,当标定板4垂直于标定板平面作平移时,特征点在世界坐标系下的三维坐标为式12。
步骤S6.采用主成分分析法将特征点在世界坐标系下的三维坐标重投影为平面坐标,投影平面即为光平面。
理论上所有特征点都位于光平面,但是由于噪声和特征提取误差的影响,实际计算得到的特征点并不在一个平面上,不能直接用于估计光平面到图像平面的单应性矩阵。
在一些实施例中,在步骤S6中,采用主成分分析法将含有噪声的三维坐标点重投影为平面坐标,将特征点的三维坐标按行排列,记为式13;
式中xn、yn、zn为特征点Pn在世界坐标系下的三维坐标,分别为所有特征点在世界坐标系下三个坐标分量的平均值,n为特征点数目,对XTX进行正交分解得到式14;
式中λ1>λ2>λ3;由主成分分析(PCA)的理论可知,数据点沿最大特征值对应特征向量方向的方差最大,沿最小特征值对应特征向量方向的方差最小。
以为原点建立坐标系OxLyLzL,取X轴沿η1的方向,取Z轴沿η3方向,OxLyL平面即为光平面,将特征点三维坐标重投影到OxLyLzL,并令Z轴坐标为0,得到特征点在平面坐标系OxLyL中的坐标为式15。
步骤S7.利用特征点重投影后的平面坐标和对应像素坐标,计算光平面到图像平面的单应性矩阵,完成光平面标定。
在一些实施例中,在步骤S7中,采用L-M算法求解光平面到图像平面的单应性矩阵,完成光平面标定。
通过实验验证本方法的正确性,图7为特征点提取效果,所取间隔为棋盘格方格尺寸的一半。采用本发明的方法计算得到的特征点三维坐标如图8所示,采用主成分分析法得到的光平面为OxLyL。计算所得特征点坐标的协方差矩阵特征值分别为140.224、74.272、7.187×10-5,其中最小特征值所占的比重极小。将重投影后的平面坐标逆变换为三维坐标,与降维前的数据进行对比,各点的平均欧式距离仅为0.00737。
利用重投影后的特征点平面坐标和对应像素坐标求解得到光平面到图像平面的单应性矩阵为式16;
利用Hp计算得到特征点投影到图像平面的理想坐标值,通过与特征点实际像素坐标对比,二者之间的平均欧式距离仅为0.3566像素,小于标定板平面到图像平面的单应性矩阵的计算误差,证明本发明标定方法的精度较高。
如图2所示,本发明实施例的另一方面公开了一种基于主成分分析的线结构光传感器标定***,包括:
获取模块,用于获取传感器的相机内参和畸变系数;可以执行步骤S1;
畸变矫正模块,用于通过控制标定板4作一组平移运动,采集同一位置的外部光源照射下的标定板图像和投射有激光条纹的标定板图像,并基于相机内参和畸变系数,对所有标定板图像进行畸变矫正;可以执行步骤S2;
第一坐标获取模块,用于通过提取角点坐标,计算标定板平面到图像平面的单应性矩阵,并求解标定板4每次平移的移动向量;可以执行步骤S3;
第二坐标获取模块,用于通过拟合光条中心直线方程,在光条直线上间隔提取特征点,并提取特征点的像素坐标,并利用单应性矩阵求解特征点在局部坐标系的平面坐标;可以执行步骤S4;
三维坐标获取模块,用于在标定板4初始位置建立世界坐标系,将标定板移动向量投影到世界坐标系,并求解特征点在世界坐标系下的三维坐标;可以执行步骤S5;
主成分分析法模块,用于采用主成分分析法将特征点在世界坐标系下的三维坐标重投影为平面坐标,投影平面即为光平面;可以执行步骤S6;
标定模块,用于利用特征点重投影后的平面坐标和对应像素坐标,计算光平面到图像平面的单应性矩阵,完成光平面标定。可以执行步骤S7。
在一些实施例中,基于主成分分析的线结构光传感器标定***还包括:
处理器,分别与所述获取模块、畸变矫正模块、第一坐标获取模块、第二坐标获取模块、三维坐标获取模块、主成分分析法模块和标定模块连接;
存储器,与所述处理器连接,并存储有可在所述处理器上运行的计算机程序;
其中,当所述处理器执行所述计算机程序时,所述处理器控制所述获取模块、畸变矫正模块、第一坐标获取模块、第二坐标获取模块、三维坐标获取模块、主成分分析法模块和标定模块工作,以实现上述中任一项所述的基于主成分分析的线结构光传感器标定方法。
以上所述实施例是用以说明本发明,并非用以限制本发明,所以举例数值的变更或等效元件的置换仍应隶属本发明的范畴。
由以上详细说明,可使本领域普通技术人员明了本发明的确可达成前述目的,实已符合专利法的规定。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,应当指出的是,凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
应当注意的是,上述有关流程的描述仅仅是为了示例和说明,而不限定本说明书的适用范围。对于本领域技术人员来说,在本说明书的指导下可以对流程进行各种修正和改变。然而,这些修正和改变仍在本说明书的范围之内。
上文已对基本概念做了描述,显然,对于阅读此申请后的本领域的普通技术人员来说,上述发明披露仅作为示例,并不构成对本申请的限制。虽然此处并未明确说明,但本领域的普通技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时,本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例有关的某一特征、结构或特性。因此,应当强调并注意的是,本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域的普通技术人员可以理解,本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的过程、机器、产品或物质的组合,或对其任何新的和有用的改进。因此,本申请的各个方面可以完全由硬件实施、可以完全由软件(包括固件、常驻软件、微代码等)实施、也可以由硬件和软件组合实施。以上硬件或软件均可被称为“单元”、“模块”或“***”。此外,本申请的各方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式,其中计算机可读程序代码包含在其中。
本申请各部分操作所需的计算机程序代码可以用任意一种或以上程序设计语言编写,包括如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等的面向对象程序设计语言、如C程序设计语言、VisualBasic、Fortran2103、Perl、COBOL2102、PHP、ABAP的常规程序化程序设计语言、如Python、Ruby和Groovy的动态程序设计语言或其它程序设计语言等。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非权利要求中明确说明,本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如,尽管上述各种组件的实现可以体现在硬件设备中,但是它也可以实现为纯软件解决方案,例如,在现有服务器或移动设备上的安装。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本申请的实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。然而,本申请的该方法不应被解释为反映所申明的客体需要比每个权利要求中明确记载的更多特征的意图。相反,发明的主体应具备比上述单一实施例更少的特征。
Claims (7)
1.一种基于主成分分析的线结构光传感器标定方法,其特征在于,包括如下步骤:
步骤S1.获取传感器的相机内参和畸变系数;
步骤S2.控制标定板作一组平移运动,采集同一位置的外部光源照射下的标定板图像和投射有激光条纹的标定板图像,并基于相机内参和畸变系数,对所有标定板图像进行畸变矫正;
步骤S3.提取角点坐标,计算标定板平面到图像平面的单应性矩阵,并求解标定板每次平移的移动向量;
步骤S4.拟合光条中心直线方程,在光条直线上间隔提取特征点,并提取特征点的像素坐标,并利用单应性矩阵求解特征点在局部坐标系的平面坐标;
步骤S5.在标定板初始位置建立世界坐标系,将标定板移动向量投影到世界坐标系,并求解特征点在世界坐标系下的三维坐标;
步骤S6.采用主成分分析法将特征点在世界坐标系下的三维坐标重投影为平面坐标,投影平面即为光平面;
步骤S7.利用特征点重投影后的平面坐标和对应像素坐标,计算光平面到图像平面的单应性矩阵,完成光平面标定;
在步骤S1中,采用张正友标定法标定扫描仪的相机内参和畸变系数,记相机内参矩阵为K,K如式1所示:
式中fx、fy分别为X、Y轴方向的尺度因子,γ是倾斜因子,(u0,v0)为主点坐标;
在步骤S2中,将标定板摆放在升降平台上,保证线激光能投射到标定板且相机能拍摄到完整标定板图像,多次调节升降台高度,每次运动停止后,打开外部光源,控制相机采集标定板图像;然后关闭外部光源,打开线激光器,拍摄同一位姿下投射有激光条纹的标定板图像,至少在2个位置上采集标定板图像;
记采集的所有投射有激光条纹的标定板图像为ML,所有外部光源照射下的标定板图像为MB,ML、MB中图像数目均为n,n≥2,ML中的第i张光条图像记为MLi,同一位姿下的靶标图像记为MBi,然后基于相机内参和畸变系数,对所有标定板图像进行畸变矫正;
在步骤S3中,以标定板左下角第一个角点为原点建立局部坐标系Oxiyizi,X轴方向沿标定板长度方向,Y轴方向沿标定板宽度方向,Z轴垂直于标定板;在Ox0y0z0原点处建立世界坐标系Oxyz,坐标轴方向与局部坐标系相同;
线结构光与第i个位置的标定板相交产生的光条记为Li,沿局部坐标系Y轴方向按间隔Δy在Li上取特征点,记Li上第j个特征点为Pm*i+j,其中j=1,2,3……m,m为每个光条上取的特征点数目,Δy等于标定板方格的边长;采用openCV棋盘格角点提取函数,提取MB中标定板图像角点的像素坐标,根据标定板的尺寸计算得到角点在局部坐标系下的平面坐标,由平面透视投影的原理可得式2:
式中为图像MBi中第n个特征点的像素坐标,/>为对应特征点在局部坐标系下的平面坐标;
采用L-M算法求解相机内参矩阵K,得到各个位置下标定板平面到图像平面的单应性矩阵;
由张正友标定法可知,利用单应性矩阵Hi可分解出相机坐标系到标定板局部坐标系的平移向量ti,平移向量的求解方法为式3:
式中K为相机内参矩阵,为Hi第3列,/>ti为标定板第i个位置下相机坐标系到局部坐标系的平移向量,标定板从第i个位置移动到第i+1位置时,标定板的平移向量为式4:
Δti+1=ti+1-ti。
2.根据权利要求1所述的基于主成分分析的线结构光传感器标定方法,其特征在于:
在步骤S4中,采用平方加权灰度重心法提取MLi中Li的光条中心,然后利用随机采样一致性算法拟合光条中心的直线方程,记Li在图像中的直线方程为式5:
[ai,bi,ci]·[u,v,1]T=0;
特征点Pm*i+j为光条Li和局部坐标系Oxiyizi中直线y=(j-1)Δy的交点,其中j=0,1……;
由平面透视投影原理可得,直线y=(j-1)Δy经过射影变换后在图像中的方程为式6:
[0,1,-(j-1)Δy]·Hi -1·[u,v,1]T=0;
特征点Pij在图像中的像素坐标为式5和式6两直线方程的交点,由平面透视原理,特征点在局部坐标系下的平面坐标为式7:
[xi,j,yi,j,1]·=Hi -1·[ui,j,vi,j,1]T。
3.根据权利要求2所述的基于主成分分析的线结构光传感器标定方法,其特征在于:
在步骤S5中,任取一单应性矩阵Hi,平面坐标系Oxiyi中X轴单位方向向量为(1,0,1),该向量与无穷远直线的交点为(1,0,0),记为P,P点投影到图像平面得到图像坐标为式8:
s[u,v,1]T=Hi·[1 0 0]T;
P点的图像坐标(u,v),即为X轴单位方向向量(1,0,1)的消隐点,由消隐点原理可得X轴单位方向向量(1,0,1)在相机坐标系下的坐标为式9:
D=K-1[uv vv 1];
式中uv,vv为消隐点图像坐标,同理可得局部坐标系Y轴在相机坐标系下方向向量;
由于标定板作平移运动,世界坐标系坐标轴的方向向量与局部坐标系相同,Z坐标轴的方向向量为式10:
DZ=DX*DY;
式中DX、DY分别为世界坐标系X、Y轴在相机坐标系下的方向向量;
将标定板平移向量投影到世界坐标系X、Y、Z轴,即可得到标定板平移向量在世界坐标系下的坐标,记Δtk投影到世界坐标系的向量为特征点在世界坐标系下的三维坐标为式11:
式中x′i,j,y′i,j,z′i,j为特征点在世界坐标系的三维坐标,当标定板垂直于标定板平面作平移时,特征点在世界坐标系下的三维坐标为式12:
4.根据权利要求3所述的基于主成分分析的线结构光传感器标定方法,其特征在于:
在步骤S6中,采用主成分分析法将含有噪声的三维坐标点重投影为平面坐标,将特征点的三维坐标按行排列,记为式13:
式中xn、yn、zn为特征点Pn在世界坐标系下的三维坐标,分别为所有特征点在世界坐标系下三个坐标分量的平均值,n为特征点数目,对XTX进行正交分解得到式14:
式中λ1>λ2>λ3;
以为原点建立坐标系OxLyLzL,取X轴沿η1的方向,取Z轴沿η3方向,OxLyL平面即为光平面,将特征点三维坐标重投影到OxLyLzL,并令Z轴坐标为0,得到特征点在平面坐标系OxLyL中的坐标为式15:
5.根据权利要求4所述的基于主成分分析的线结构光传感器标定方法,其特征在于:
在步骤S7中,采用L-M算法求解光平面到图像平面的单应性矩阵,完成光平面标定。
6.一种基于主成分分析的线结构光传感器标定方法***,其特征在于,包括:
获取模块,用于获取传感器的相机内参和畸变系数;
畸变矫正模块,用于通过控制标定板作一组平移运动,采集同一位置的外部光源照射下的标定板图像和投射有激光条纹的标定板图像,并基于相机内参和畸变系数,对所有标定板图像进行畸变矫正;
第一坐标获取模块,用于通过提取角点坐标,计算标定板平面到图像平面的单应性矩阵,并求解标定板每次平移的移动向量;
第二坐标获取模块,用于通过拟合光条中心直线方程,在光条直线上间隔提取特征点,并提取特征点的像素坐标,并利用单应性矩阵求解特征点在局部坐标系的平面坐标;
三维坐标获取模块,用于在标定板初始位置建立世界坐标系,将标定板移动向量投影到世界坐标系,并求解特征点在世界坐标系下的三维坐标;
主成分分析法模块,用于采用主成分分析法将特征点在世界坐标系下的三维坐标重投影为平面坐标,投影平面即为光平面;
标定模块,用于利用特征点重投影后的平面坐标和对应像素坐标,计算光平面到图像平面的单应性矩阵,完成光平面标定。
7.根据权利要求6所述的基于主成分分析的线结构光传感器标定***,其特征在于,还包括:
处理器,分别与所述获取模块、畸变矫正模块、第一坐标获取模块、第二坐标获取模块、三维坐标获取模块、主成分分析法模块和标定模块连接;
存储器,与所述处理器连接,并存储有可在所述处理器上运行的计算机程序;其中,当所述处理器执行所述计算机程序时,所述处理器控制所述获取模块、畸变矫正模块、第一坐标获取模块、第二坐标获取模块、三维坐标获取模块、主成分分析法模块和标定模块工作,以实现如权利要求1至5中任一项所述的基于主成分分析的线结构光传感器标定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310048321.8A CN116182702B (zh) | 2023-01-31 | 2023-01-31 | 一种基于主成分分析的线结构光传感器标定方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310048321.8A CN116182702B (zh) | 2023-01-31 | 2023-01-31 | 一种基于主成分分析的线结构光传感器标定方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116182702A CN116182702A (zh) | 2023-05-30 |
CN116182702B true CN116182702B (zh) | 2023-10-03 |
Family
ID=86439705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310048321.8A Active CN116182702B (zh) | 2023-01-31 | 2023-01-31 | 一种基于主成分分析的线结构光传感器标定方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116182702B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116485918B (zh) * | 2023-06-25 | 2023-09-08 | 天府兴隆湖实验室 | 一种标定方法、***及计算机可读存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109443209A (zh) * | 2018-12-04 | 2019-03-08 | 四川大学 | 一种基于单应性矩阵的线结构光***标定方法 |
CN109443245A (zh) * | 2018-11-09 | 2019-03-08 | 扬州市职业大学 | 一种基于单应性矩阵的多线结构光视觉测量方法 |
CN111412856A (zh) * | 2019-12-31 | 2020-07-14 | 吉林大学 | 基于双矩形标识的汽车形貌单目主动视觉重建***与方法 |
CN112161586A (zh) * | 2020-11-20 | 2021-01-01 | 苏州睿牛机器人技术有限公司 | 一种基于编码棋盘格的线结构光视觉传感器标定方法 |
CN113592957A (zh) * | 2021-08-06 | 2021-11-02 | 北京易航远智科技有限公司 | 一种多激光雷达和多相机联合标定方法及*** |
CN113686262A (zh) * | 2021-08-13 | 2021-11-23 | 桂林电子科技大学 | 一种线结构光扫描仪标定方法、装置及存储介质 |
WO2021238923A1 (zh) * | 2020-05-25 | 2021-12-02 | 追觅创新科技(苏州)有限公司 | 相机参数标定方法及装置 |
CN113793392A (zh) * | 2021-09-27 | 2021-12-14 | 浙江大华技术股份有限公司 | 一种相机参数标定方法及装置 |
WO2022052313A1 (zh) * | 2020-09-11 | 2022-03-17 | 苏州中科全象智能科技有限公司 | 3d结构光***的标定方法、电子设备及存储介质 |
CN114283203A (zh) * | 2021-12-08 | 2022-04-05 | 凌云光技术股份有限公司 | 一种多相机***的标定方法及*** |
CN115235379A (zh) * | 2022-07-25 | 2022-10-25 | 江苏梓墨智能科技有限公司 | 一种单目线激光三维视觉传感器参数在位标定装置及方法 |
-
2023
- 2023-01-31 CN CN202310048321.8A patent/CN116182702B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109443245A (zh) * | 2018-11-09 | 2019-03-08 | 扬州市职业大学 | 一种基于单应性矩阵的多线结构光视觉测量方法 |
CN109443209A (zh) * | 2018-12-04 | 2019-03-08 | 四川大学 | 一种基于单应性矩阵的线结构光***标定方法 |
CN111412856A (zh) * | 2019-12-31 | 2020-07-14 | 吉林大学 | 基于双矩形标识的汽车形貌单目主动视觉重建***与方法 |
WO2021238923A1 (zh) * | 2020-05-25 | 2021-12-02 | 追觅创新科技(苏州)有限公司 | 相机参数标定方法及装置 |
WO2022052313A1 (zh) * | 2020-09-11 | 2022-03-17 | 苏州中科全象智能科技有限公司 | 3d结构光***的标定方法、电子设备及存储介质 |
CN112161586A (zh) * | 2020-11-20 | 2021-01-01 | 苏州睿牛机器人技术有限公司 | 一种基于编码棋盘格的线结构光视觉传感器标定方法 |
CN113592957A (zh) * | 2021-08-06 | 2021-11-02 | 北京易航远智科技有限公司 | 一种多激光雷达和多相机联合标定方法及*** |
CN113686262A (zh) * | 2021-08-13 | 2021-11-23 | 桂林电子科技大学 | 一种线结构光扫描仪标定方法、装置及存储介质 |
CN113793392A (zh) * | 2021-09-27 | 2021-12-14 | 浙江大华技术股份有限公司 | 一种相机参数标定方法及装置 |
CN114283203A (zh) * | 2021-12-08 | 2022-04-05 | 凌云光技术股份有限公司 | 一种多相机***的标定方法及*** |
CN115235379A (zh) * | 2022-07-25 | 2022-10-25 | 江苏梓墨智能科技有限公司 | 一种单目线激光三维视觉传感器参数在位标定装置及方法 |
Non-Patent Citations (1)
Title |
---|
武彦林 等. 基于局部单应性矩阵的结构光***标定研究.《科学技术与工程》.2016,第13卷第186-189,195页. * |
Also Published As
Publication number | Publication date |
---|---|
CN116182702A (zh) | 2023-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116182703B (zh) | 一种线结构光传感器标定方法及*** | |
Zhou et al. | Complete calibration of a structured light stripe vision sensor through planar target of unknown orientations | |
CN107564069B (zh) | 标定参数的确定方法、装置及计算机可读存储介质 | |
CN111414798A (zh) | 基于rgb-d图像的头部姿态检测方法及*** | |
US9715730B2 (en) | Three-dimensional measurement apparatus and robot system | |
JP6092530B2 (ja) | 画像処理装置、画像処理方法 | |
JP2016001181A (ja) | カメラのミスキャリブレーションの実行時決定のためのシステムと方法 | |
CN109827521B (zh) | 一种快速多线结构光视觉测量***标定方法 | |
CN116182702B (zh) | 一种基于主成分分析的线结构光传感器标定方法及*** | |
An et al. | Building an omnidirectional 3-D color laser ranging system through a novel calibration method | |
Zhou et al. | Constructing feature points for calibrating a structured light vision sensor by viewing a plane from unknown orientations | |
US11295478B2 (en) | Stereo camera calibration method and image processing device for stereo camera | |
Wei et al. | Flexible calibration of a portable structured light system through surface plane | |
JP6180158B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラム | |
Ricolfe-Viala et al. | Optimal conditions for camera calibration using a planar template | |
CN109773589A (zh) | 对工件表面进行在线测量和加工导引的方法及装置、设备 | |
Li et al. | Extrinsic calibration of non-overlapping multi-camera system with high precision using circular encoded point ruler | |
CN113959362B (zh) | 结构光三维测量***标定方法、巡检数据处理方法 | |
CN113733078B (zh) | 机械臂精调控制量判读方法、计算机可读存储介质 | |
Liu et al. | A novel method to calibrate the rotation axis of a line-structured light 3-dimensional measurement system | |
Liang et al. | An integrated camera parameters calibration approach for robotic monocular vision guidance | |
Dopfer et al. | 3D Active Appearance Model alignment using intensity and range data | |
CN206696898U (zh) | 三维重建*** | |
Mosnier et al. | A New Method for Projector Calibration Based on Visual Servoing. | |
CN113251951B (zh) | 基于单标定面映射的线结构光视觉测量***的标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |