CN113409395B - 导管管端高精度检测定位方法 - Google Patents
导管管端高精度检测定位方法 Download PDFInfo
- Publication number
- CN113409395B CN113409395B CN202010185998.2A CN202010185998A CN113409395B CN 113409395 B CN113409395 B CN 113409395B CN 202010185998 A CN202010185998 A CN 202010185998A CN 113409395 B CN113409395 B CN 113409395B
- Authority
- CN
- China
- Prior art keywords
- camera
- point cloud
- points
- catheter
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 title claims abstract description 17
- 238000005259 measurement Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 238000013178 mathematical model Methods 0.000 abstract 2
- 238000009795 derivation Methods 0.000 description 7
- 230000006978 adaptation Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101100136092 Drosophila melanogaster peng gene Proteins 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种导管管端高精度检测定位方法。其步骤为:首先对双目视觉***进行内外参数标定，然后对导管图像进行同步采集,将采集后的图像进行图像处理得到导管管端投影亚像素边缘，借助于极线约束和顺序一致性约束，求出边缘点的三维空间点坐标，然后分析空间圆透视投影数学模型，建立目标函数，对目标函数进行优化，最终求得精确的管端三维空间点。本发明方法有效地考虑了导管管端投影的数学模型，减小了因管端圆的透视投影形状畸变引起的测量误差，测量精度高，效率高，为实现导管制造过程中无应力装配奠定基础。
Description
技术领域
本发明涉及计算机视觉技术领域,具体的说是一种导管管端高精度检测定位方法。
背景技术
导管管端指的是管路端面中心点。在管路装配前，管路端面中心点的相对位置精度是保证管路准确安装的关键。然而由于导管在弯管机弯曲过程中会发生弹性形变，导致导管两端的端点位置和距离发生变化，而对装配造成影响，因此需要对导管管端进行高精度测量保证无应力装配。
目前对成型的弯管测量方式主要是接触式的，例如靠模法、三坐标测量机、关节式坐标测量机等，这些方法存在对比装置制造困难，容易造成损伤或变形，效率低，过分依赖操作者主观判断，无法重建三维模型以及无定位基准等缺陷。因此如何有效地缩短研制时间、降低研制成本、提高产品质量是弯管快速加工制造的主要目的。
传统的拟合末端轮廓的方法是对导管末端投影进行椭圆拟合，当管径较小时，管路末端的投影无法拟合椭圆，这会带来较大的定位误差。
孙鹏等人在“基于多目视觉的管路端点坐标测量方法研究”中，利用投影倾斜度，将拟合轮廓和中心线的端点定位方法相结合，计算不同角度下的导管端点，然而计算出的端点精度较差。
发明内容
针对现有技术中存在的上述不足之处，本发明要解决的技术问题是提供一种导管管端高精度检测方法，该方法对导管管端建立精确投影模型，对导管末端进行三维重建，操作简单，测量效率较高，能有效提高管路端点的测量精度。
本发明为实现上述目的所采用的技术方案是：导管端面高精度检测定位方法，包括以下步骤：
步骤1：对工业相机进行多目视觉标定，得到相机的内参数、外参数；
步骤2：同步触发相机1和相机2采集分别采集2幅原始导管端面图像；
步骤3：对上述两幅图像分别进行亚像素精度处理，分别获取导管端面投影椭圆的边缘坐标；
步骤4：根据相机的内外参数、极线约束和顺序一致性规则，找到其中一个导管端面投影椭圆的边缘坐标在另一幅图像中的对应匹配点；
步骤5：利用标定好的双目视觉之间的空间位置关系，借助立体视觉三维测量模型，重建所有匹配点的三维空间坐标点云；
步骤6：对匹配点的三维空间坐标点云，利用Ransac算法剔除离群点，利用剩余的点作为点云拟合圆的初始值；
步骤7：建立点云拟合圆的目标函数，目标函数包括：点云上所有点距离点云拟合圆所构成的平面之间的距离和点云上所有点距离点云拟合圆心的距离；
步骤8：对点云拟合圆的目标函数进行线性化处理；
步骤9：利用最小二乘法计算使目标函数为零时的拟合空间圆作为导管端面的定位。
所述内参数为从工业相机坐标系到图像坐标系的变换矩阵，所述外参数为相机坐标系到世界坐标系的变换矩阵，世界坐标系用于之后的实际控制点坐标输出。
是采用二维柔性靶标对每个工业相机的内参数进行标定。
所述外参数是通过旋转矩阵R和平移矩阵T实现。
所述导管放置在背光板上，相机1和相机2拍摄的图像为不同视角下导管的同一个端面图像。
所述立体视觉三维模型，包括：
所述的立体视觉三维模型表示为：
其中，(xi,yi,zi)为重建出的三维空间坐标点pi的坐标，(X1i,Y1i)为相机1下的一个图像边缘点li坐标，(x2i,y2i)为相机2下的一个图像边缘点qi坐标，fm、fn分别为相机1和相机2的焦比，相机1和相机2之间的变换矩阵R12为
因此(r1,r2,r3,r7,r8,r9,t1,t2,t3)为变换矩阵R12的参数值。
所述点云的圆心为点云上所有点的质心，圆半径为点云上所有点到质心的平均距离，拟合圆所在平面的法向量由点云上所有点拟合平面的法向量得到。
所述目标函数f如下所示：
其中，n为点云包含的点个数，(a0,b0,c0,d0)为拟合圆所在平面的法向量，(x0,y0,z0)为点云上所有点的质心，(xi,yi,zi)为点云上任意一点。r0为拟合圆的半径。
本发明具有以下有益效果及优点：
1.本发明所述的导管管端高精度检测方法能有效的重建管端中心点三维坐标。
2.本发明所述的导管管端高精度检测方法测量精度高，可以为导管无应力装配提供有效的保障。
3.本发明所述的导管管端高精度检测方法测量效率高，为导管数字化制造奠定坚实的基础。
附图说明
图1为本发明方法的硬件装置示意图；
图2为本发明方法流程图；
图3(a)为本发明方法相机1下的图像中左侧圆边缘坐标点；
图3(b)为本发明方法相机2下的图像中右侧圆边缘坐标点；
图4为本发明方法重建边缘匹配点的三维空间坐标点云。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
参照附图1，本发明方法的硬件装置包括：背光板、待检测导管、四个工业相机、作为控制器的计算机。其中，工业相机两两结合可以测出导管其中一个端面投影椭圆的定位匹配检测，计算机装有用于方法检测的各个步骤的程序，配合计算机最终检测出导管两端面投影椭圆的定位匹配检测结果输出给上位机，上位机可以根据导管两端面投影椭圆的定位匹配检测结果控制执行器将导管装配在预连接器件上，实现导管装配。
参照附图2、附图3(a)、附图3(b)、附图4，本发明所述的导管管端高精度检测方法的具体步骤如下：
步骤1：将四个工业相机进行多目视觉标定，得到所有相机的内参数，以及所有相机坐标系到世界坐标系的转换矩阵，也就是外参数。
内参数表示从工业相机坐标系到图像坐标系的变换矩阵；每个镜头的畸变程度各不相同，包括径向畸变、偏心畸变；利用二维柔性靶标对每个工业相机的内参数进行标定。
外参数表示从工业相机坐标系到世界坐标系的变换矩阵，通过旋转矩阵R和平移矩阵T实现。世界坐标系用于之后的实际控制点坐标输出。
步骤2：同步触发相机1和相机2这两个工业相机采集放置在背光板上的两幅原始导管图像；
步骤3：分别求出两幅原始导管图像中导管端面投影椭圆的亚像素精度处理后的边缘图像坐标；
步骤4：借助于相机的内外参数、极线约束和顺序一致性，建立其中一个导管端面投影椭圆的亚像素精度边缘坐标在另一幅图像中的对应匹配点关系；
定义相机1下的图像二维边缘坐标点L(l1,l2,...ln)，按照相机的内外参数、极线约束和顺序一致性原则，找到其在相机2下图像的对应二维边缘坐标点Q(q1,q2,...qn)。
步骤5：利用标定好的双目视觉之间的空间位置关系(即，工业相机坐标系、图像坐标系、世界坐标系之间的变换矩阵)，借助立体视觉三维测量模型，重建所有匹配点的三维空间坐标点云P(p1,p2,…pn)；
所述的立体视觉三维模型表示为：
其中，(xi,yi,zi)为重建出的三维空间坐标点pi的坐标，(X1i,Y1i)为相机1下的一个图像边缘点li坐标，(x2i,y2i)为相机2下的一个图像边缘点qi坐标，fm、fn分别为相机1和相机2的焦比，相机1和相机2之间的变换矩阵R12为
因此(r1,r2,r3,r7,r8,r9,t1,t2,t3)为变换矩阵R12的参数值。
步骤6：对匹配点的三维空间坐标点云，利用Ransac算法剔除离群点，利用剩余的点建立点云拟合圆的初始值，其中圆心为点云上所有点的质心，圆半径为点云上所有点到质心的平均距离，拟合圆所在平面的法向量由点云上所有点拟合平面的法向量得到；
步骤7：建立点云拟合圆的目标函数，目标函数由两部分构成，第一部分是点云上所有点距点云拟合圆所构成的平面之间的距离，第二部分是点云上所有点距点云拟合圆心之间的距离，目标函数f如下所示：
其中，n为点云包含的点个数，(a0,b0,c0,d0)为拟合圆所在平面的法向量，(x0,y0,z0)为点云上所有点的质心，(xi,yi,zi)为点云上任意一点。r0为拟合圆的半径。
步骤8：对f线性化，得
其中
①目标函数f对x0进行求导
②目标函数f对y0进行求导
③目标函数f对z0进行求导
④目标函数f对r0进行求导
⑤目标函数f对a0进行求导
⑥目标函数f对b0进行求导
⑦目标函数f对c0进行求导
⑧目标函数f对d0进行求导
步骤9：为了使目标函数f＝0，令
-f0＝Α1x0+Α2y0+Α3z0+Α4a0+Α5b0+Α6c0+Α7d0+Α8r0
利用最小二乘法，可以变换为MX＝B
其中
X＝[x0,y0,z0,a0,b0,c0,r0]T
B＝[f01,f02,…,f0m]T
其中，矩阵M的各行分别为点云各点对各变量求得的偏导值；T为转置符号；矩阵B的各向量分别为点云各点的各变量求得的f0。即可求得最终的空间圆参数值X。
步骤10，利用工业相机3和工业相机4按照步骤2～步骤9同样进行操作，可以得到导管另一端的管端圆参数值。
步骤11，利用得到的导管两端的管端圆参数即可进行导管的装配以及其他操作。
上述程序步骤被加载在现场计算机上，现场设置四个工业相机采集图像发送给现场计算机，并按照上述步骤进行处理，就能获取导管截断面两侧管端实际空间点云圆参数值。最终的空间圆的坐标值传送给机器人或是其他设备用于其他操作。
本方法步骤采用vs2010在Win7***下进行了实验，空间圆测量精度可以达到0.05mm，重复精度可以达到0.01mm。测量精度高，效率高，具有较强的稳定性。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰应视为本发明的保护范围。
Claims (3)
1.导管管端高精度检测定位方法，其特征在于，包括以下步骤：
步骤1：对工业相机进行多目视觉标定，得到相机的内参数、外参数；所述内参数为从工业相机坐标系到图像坐标系的变换矩阵采用二维柔性靶标对每个工业相机的内参数进行标定；所述外参数为相机坐标系到世界坐标系的变换矩阵，通过旋转矩阵R和平移矩阵T实现；世界坐标系用于之后的实际控制点坐标输出；
步骤2：同步触发相机1和相机2分别采集2幅原始导管端面图像；
步骤3：对上述两幅图像分别进行亚像素精度处理，分别获取导管端面投影椭圆的边缘坐标；
步骤4：根据相机的内外参数、极线约束和顺序一致性规则，找到其中一个导管端面投影椭圆的边缘坐标在另一幅图像中的对应匹配点；
步骤5：利用标定好的双目视觉之间的空间位置关系，借助立体视觉三维测量模型，重建所有匹配点的三维空间坐标点云；所述重建的三维空间坐标点云表示为：
其中，(xi,yi,zi)为重建出的三维空间坐标点pi的坐标，(X1i,Y1i)为相机1下的一个图像边缘点li坐标，(X2i,Y2i)为相机2下的一个图像边缘点qi坐标，fm、fn分别为相机1和相机2的焦比，相机1和相机2之间的变换矩阵R12为
因此(r1,r2,r3,r7,r8,r9,t1,t2,t3)为变换矩阵R12的参数值；
步骤6：对匹配点的三维空间坐标点云，利用Ransac算法剔除离群点，利用剩余的点作为点云拟合圆的初始值；
步骤7：建立点云拟合圆的目标函数，目标函数包括：点云上所有点距离点云拟合圆所构成的平面之间的距离和点云上所有点距离点云拟合圆心的距离；所述目标函数f如下所示：
其中，n为点云包含的点个数，(a0,b0,c0,d0)为拟合圆所在平面的法向量，(x0,y0,z0)为点云上所有点的质心，(xi,yi,zi)为点云上任意一点，r0为拟合圆的半径；
步骤8：对点云拟合圆的目标函数进行线性化处理；
步骤9：利用最小二乘法计算使目标函数为零时的拟合空间圆作为导管端面的定位。
2.根据权利要求1所述的导管管端高精度检测定位方法，其特征在于，所述导管放置在背光板上，相机1和相机2拍摄的图像为不同视角下导管的同一个端面图像。
3.根据权利要求1所述的导管管端高精度检测定位方法，其特征在于，所述点云的圆心为点云上所有点的质心，圆半径为点云上所有点到质心的平均距离，拟合圆所在平面的法向量由点云上所有点拟合平面的法向量得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010185998.2A CN113409395B (zh) | 2020-03-17 | 2020-03-17 | 导管管端高精度检测定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010185998.2A CN113409395B (zh) | 2020-03-17 | 2020-03-17 | 导管管端高精度检测定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113409395A CN113409395A (zh) | 2021-09-17 |
| CN113409395B true CN113409395B (zh) | 2024-05-07 |
Family
ID=77677127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010185998.2A Active CN113409395B (zh) | 2020-03-17 | 2020-03-17 | 导管管端高精度检测定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113409395B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112381847B (zh) * | 2020-10-27 | 2024-02-13 | 新拓三维技术(深圳)有限公司 | 管路端头空间位姿测量方法及*** |
| CN114001654B (zh) * | 2021-11-01 | 2024-03-26 | 北京卫星制造厂有限公司 | 工件端面位姿评价方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103196370A (zh) * | 2013-04-01 | 2013-07-10 | 北京理工大学 | 一种导管接头空间位姿参数的测量方法和装置 |
| CN109470170A (zh) * | 2018-12-25 | 2019-03-15 | 山东大学 | 基于最优投影平面的立体视觉空间圆位姿高精度测量方法及*** |
| CN110160442A (zh) * | 2019-04-22 | 2019-08-23 | 南京航空航天大学 | 一种用于导管法兰端面视觉检测的柔性测量工装及其标定方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101876533B (zh) * | 2010-06-23 | 2011-11-30 | 北京航空航天大学 | 一种显微立体视觉校准方法 |
-
2020
- 2020-03-17 CN CN202010185998.2A patent/CN113409395B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103196370A (zh) * | 2013-04-01 | 2013-07-10 | 北京理工大学 | 一种导管接头空间位姿参数的测量方法和装置 |
| CN109470170A (zh) * | 2018-12-25 | 2019-03-15 | 山东大学 | 基于最优投影平面的立体视觉空间圆位姿高精度测量方法及*** |
| CN110160442A (zh) * | 2019-04-22 | 2019-08-23 | 南京航空航天大学 | 一种用于导管法兰端面视觉检测的柔性测量工装及其标定方法 |
Non-Patent Citations (1)
| Title |
|---|
| 数码相机定位的优化设计;张广生;马志霞;王齐峰;史腾飞;张煜;;西南民族大学学报(自然科学版)(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113409395A (zh) | 2021-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106981083B (zh) | 双目立体视觉***摄像机参数的分步标定方法 | |
| CN110378969B (zh) | 一种基于3d几何约束的汇聚式双目相机标定方法 | |
| CN107367229B (zh) | 自由双目立体视觉转轴参数标定方法 | |
| CN111415391B (zh) | 一种采用互拍法的多目相机外部方位参数标定方法 | |
| CN103530880B (zh) | 基于投影高斯网格图案的摄像机标定方法 | |
| CN104266608B (zh) | 视觉传感器现场标定装置和标定方法 | |
| CN108507462B (zh) | 一种全息干涉四轴测量设备旋转轴的标定方法 | |
| WO2020199439A1 (zh) | 基于单双目混合测量的三维点云计算方法 | |
| CN113409395B (zh) | 导管管端高精度检测定位方法 | |
| CN109974618B (zh) | 多传感器视觉测量***的全局标定方法 | |
| CN106500625B (zh) | 一种远心立体视觉测量方法 | |
| CN112648934B (zh) | 一种自动化弯管几何形态检测方法 | |
| CN107941153B (zh) | 一种激光测距优化标定的视觉*** | |
| CN104697463B (zh) | 一种双目视觉传感器的消隐特征约束标定方法及装置 | |
| CN109544642B (zh) | 一种基于n型靶标的tdi-ccd相机参数标定方法 | |
| CN114001651B (zh) | 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法 | |
| CN115187612A (zh) | 一种基于机器视觉的平面面积测量方法、装置及*** | |
| CN105678088B (zh) | 一种靶标测头的平差优化算法 | |
| CN112489141B (zh) | 车载摄像头单板单图带中继镜的产线标定方法及装置 | |
| Zhang et al. | Improved camera calibration method and accuracy analysis for binocular vision | |
| CN109285210B (zh) | 结合拓扑关系和极线约束的管路三维重建方法 | |
| CN115046497A (zh) | 一种基于光栅投影测量***的改进标定方法 | |
| CN114549659A (zh) | 一种基于准三维靶标的摄像机标定方法 | |
| CN110672033B (zh) | 一种利用3d渲染的管道误差测量方法 | |
| CN110706292B (zh) | 一种基于机器视觉的二维工作台误差自标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |