CN115014398B - 单目立体视觉测量***位置姿态校准方法、装置、*** - Google Patents

单目立体视觉测量***位置姿态校准方法、装置、*** Download PDF

Info

Publication number
CN115014398B
CN115014398B CN202210891558.8A CN202210891558A CN115014398B CN 115014398 B CN115014398 B CN 115014398B CN 202210891558 A CN202210891558 A CN 202210891558A CN 115014398 B CN115014398 B CN 115014398B
Authority
CN
China
Prior art keywords
camera
sina
image
cosa
relative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210891558.8A
Other languages
English (en)
Other versions
CN115014398A (zh
Inventor
刘小舟
谭兆
曹动
许凯
饶旭
何江
张建南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rocketech Technology Corp ltd
Original Assignee
Rocketech Technology Corp ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rocketech Technology Corp ltd filed Critical Rocketech Technology Corp ltd
Priority to CN202210891558.8A priority Critical patent/CN115014398B/zh
Publication of CN115014398A publication Critical patent/CN115014398A/zh
Application granted granted Critical
Publication of CN115014398B publication Critical patent/CN115014398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042—Calibration or calibration artifacts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Manufacturing & Machinery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及视觉测量以及图像检测技术领域，提供一种单目立体视觉测量***位置姿态校准方法、装置、***。校准方法包括：单目立体视觉测量***包括一台相机，该相机运动至2个以上运动位置拍摄被测目标；2个以上运动位置包括：基准运动位置和相对运动位置；向被测目标投射3个以上亮点；该相机运动至2各个以上运动位置，分别拍摄带有3个以上亮点的被测目标图像，提取被测目标图像中的像点，分别将像点进行同名像点匹配；计算相机在各个运动位置拍摄的像点的归一化图像坐标；根据同名像点以及各个运动位置拍摄的像点的归一化图像坐标分别求解出相机相对位置姿态。本方案能够在保证测量相对位置姿态精度的同时不局限于各种应用场合。

Description

单目立体视觉测量***位置姿态校准方法、装置、***
技术领域
本发明涉及视觉测量以及图像检测技术领域，特别是涉及一种单目立体视觉测量***位置姿态校准方法、装置、测量被测目标的方法、自校准的测量***。
背景技术
视觉测量是以计算机视觉为理论，采用先进的高密度、低噪声和畸变小的图像传感器，通过高速实时图像采集***，专用图像硬件处理***以及高性能计算机完成对二值或灰度图像的有效处理的先进统。通常采用多台相机对被测目标进行拍摄进而测量被测目标。
单目立体视觉测量***采用一个相机，将一个相机运动至多个位置拍摄被测目标，形成对被测目标的多视角观测结果，再结合各时刻相机的位置和姿态，可计算出被测目标的三维坐标。单目立体视觉测量***各时刻相机的位置姿态精度对单目立体视觉测量结果的精度至关重要。微小的相机间的相对姿态误差都会引起很大的立体视觉测量误差。
为了减小相对位置姿态的误差，现有技术通常的做法有：第一种，在相机上固连位姿传感器，使用过程中实时读出其位姿变化量进行补偿；采用固连传感器增加负荷，高精度位姿传感器成本高，惯导为代表的姿态传感器普遍存在时间积累误差、长时间应用精度低的问题。第二种，在测量视场中布设坐标精确已知的控制点靶标，在测量同时标定相机实时参数；然而测量视场中可能没有布设控制点的条件，如小测量视场中被测目标占满视场的情况，或者如基于运动测量平台时测量视场不断变换的情况。可见，现有技术使用场合局限。
因此，亟需开发一种单目立体视觉测量***位置姿态校准方法、装置、测量被测目标的方法、自校准的测量***，能够在保证测量同一相机运动至不同位置的相对位置姿态精度的同时不局限于各种应用场合。
发明内容
本发明的目的是提供一种单目立体视觉测量***位置姿态校准方法、装置、测量被测目标的方法、自校准的测量***，能够在保证测量同一相机运动至不同位置的相对位置姿态精度的同时不局限于各种应用场合。
为解决上述技术问题，作为本发明的一个方面，提供了一种单目立体视觉测量***对位置姿态校准方法，包括以下步骤：
S1：单目立体视觉测量***用于拍摄被测目标，单目立体视觉测量***包括一台相机，该相机运动至2个以上运动位置拍摄被测目标；2个以上运动位置包括：基准运动位置和相对运动位置，基准运动位置为一个，其余为相对运动位置；向被测目标投射3个以上亮点，3个以上亮点均在该相机的拍摄范围内；
S2：该相机运动至2个以上运动位置，分别拍摄带有3个以上亮点的被测目标图像，提取被测目标图像中3个以上亮点对应的像点，分别将在相对运动位置拍摄的像点与在基准运动位置拍摄的像点进行同名像点匹配；
S3：计算相机在各个运动位置拍摄的像点的归一化图像坐标；
S4：根据同名像点以及各个运动位置拍摄的像点的归一化图像坐标分别求解出运动至基准运动位置时的相机与运动至相对运动位置时的相机相对位置姿态。
根据本发明一示例实施方式，步骤S3中，所述计算相机在各个运动位置拍摄的像点的归一化图像坐标的方法包括：
根据相机的内参计算出像点的归一化图像坐标；
所述相机的内参包括主点坐标、等效焦距；
相机在基准运动位置拍摄的像点归一化图像坐标为：
Figure 659420DEST_PATH_IMAGE001
；
相机在相对运动位置拍摄的像点归一化图像坐标为：
Figure 821407DEST_PATH_IMAGE002
；
其中，相机的主点坐标为(Cx, Cy)，相机的等效焦距为(Fx, Fy)，j=1,2，...，m-1；i=0,1，...，n-1；m为相机运动位置的数量，n为亮点的数量。
根据本发明一示例实施方式，步骤S4中，所述根据同名像点以及各个运动位置拍摄的像点的归一化图像坐标分别求解出运动至基准运动位置时的相机与运动至相对运动位置时的相机相对位置姿态的方法包括：
设定相机相对位置姿态的初值；
根据基准运动位置和相对运动位置的关系建立相对位置姿态方程；
根据所有同名像点列出相对位置姿态方程；
根据初值及列出的相对位置姿态方程求解相对姿态方程，得到修正值。
根据本发明一示例实施方式，所述根据同名像点以及各个运动位置拍摄的像点的归一化图像坐标分别求解出运动至基准运动位置时的相机与运动至相对运动位置时的相机相对位置姿态的方法还包括：得到修正值后，将修正值作为新的初值继续求解出新的修正值；重复迭代初值并求解出新的修正值，直到重复迭代初值至指定次数和/或前后两次更新的初值计算的误差小于指定阈值、或测量被测目标结束。
根据本发明一示例实施方式，所述相对姿态方程为：
Figure 105233DEST_PATH_IMAGE003
；
相机在基准运动位置和相对运动位置的相对位置姿态包括平移向量和/或旋转角；
其中，平移向量为
Figure 921265DEST_PATH_IMAGE004
，旋转矩阵为
Figure 921976DEST_PATH_IMAGE005
，旋转角为
Figure 998473DEST_PATH_IMAGE006
，旋转矩阵是旋转角的三角函数组合；x、y、z为相互垂直的轴，txj、tyj、tzj表示相机在三个轴方向的移动长度，azj、ayj、axj为相机依次绕z、y、x三个轴旋转的角度，r0j=cosayj×cosazj、r1j=sinaxj×sinayj×cosazj-cosaxj×sinazj、r2j=cosaxj×sinayj×cosazj+sinaxj×sinaxzj、r3j=cosayj×sinazj、r4j=sinaxj×sinayj×sinazj+cosaxj×cosazj、r5j=cosaxj×sinayj×sinazj-sinaxj×cosazj、r6j=-sinayj、r7j=sinaxj×cosayj、r8j=cosaxj×cosayj。
根据本发明一示例实施方式，所述根据初值及列出的相对位置姿态方程求解相对姿态方程的方法包括：
采用非线性优化法在初值处将
Figure 957595DEST_PATH_IMAGE007
对平移向量和/或旋转角求偏导；
对
Figure 706327DEST_PATH_IMAGE008
进行泰勒展开，得到关于平移向量和/或旋转角的修正量的线性方程组；
对该线性方程组进行最小二乘法求解，得到修正量；
根据修正量对平移向量和/或旋转角进行修正，得到修正值。
非线性优化法包括牛顿迭代法。
作为本发明的第二个方面，提供了一种测量被测目标的方法，采用所述单目立体视觉测量***位置姿态校准方法校准单目立体视觉测量***的相机；
使用相机对被测目标进行测量。
根据本发明一示例实施方式，所述使用相机对被测目标进行测量的方法包括：根据相机在各个运动位置的相对位置姿态、相机在各个运动位置拍摄的被测目标解算出被测目标的三维坐标。
作为本发明的第三个方面，提供了一种单目立体视觉测量***位置姿态校准装置，包括：
散布亮点照射器，可向被测目标照射3个以上亮点的照射器；
同名像点匹配模块，用于提取被测目标图像中3个以上亮点对应的像点，分别将在相对运动位置拍摄的像点与在基准运动位置拍摄的像点进行同名像点匹配；
图像坐标计算模块，用于计算相机在各个运动位置拍摄的像点的归一化图像坐标；
相对位置姿态计算模块，用于根据同名像点以及各个运动位置拍摄的像点的归一化图像坐标分别求解出运动至基准运动位置时的相机与运动至相对运动位置时的相机相对位置姿态；
其中，所述单目立体视觉测量***用于拍摄被测目标，单目立体视觉测量***包括一台相机，该相机运动至2个以上运动位置拍摄被测目标；2个以上运动位置包括：基准运动位置和相对运动位置，基准运动位置为一个，其余为相对运动位置。
根据本发明一示例实施方式，所述散布亮点照射器为激光器。
作为本发明第四个方面，提供一种自校准的测量***，包括：
所述的单目立体视觉测量***位置姿态校准装置及单目立体视觉测量***。
根据本发明一示例实施方式，该单目立体视觉测量***根据相对位置姿态校准相机在各个运动位置的位置和姿态。
根据本发明一示例实施方式，该单目立体视觉测量***还根据相机在各个运动位置的相对位置姿态、相机在各个运动位置拍摄的被测目标解算出被测目标的三维坐标。
本发明的有益效果是：
本方案采用在被测目标上照射亮点的方式校准相机，可以适应被测目标表面没有稳定纹理、环境光照条件差的情况，同时散布亮点的设备简易，在制备、安装和使用过程中没有结构稳定性和精度要求，适应范围广；可以对单目立体视觉相机相对位置姿态参数进行实时校准，在单目立体视觉测量***参数扰动、变化等情况下，保证单目立体视觉测量的精度，同时亮点因为布设在被测目标上，采用随同单目立体视觉测量***主动照射被测目标区域获取特征点的方式，适应测量场景运动变化、被测目标的区域无法布设标定靶点等情况。
附图说明
图1示意性示出了单目立体视觉测量***位置姿态校准装置的结构图。
图2示意性示出了单目立体视觉测量***位置姿态校准时的位置关系图。
图3示意性示出了相机的成像示意图。
其中，1—被测目标，2—散布亮点照射器，3—相机，C0—基准运动位置，Cj—相对运动位置。
具体实施方式
以下对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
作为本发明的第一个实施方式，提供一种单目立体视觉测量***位置姿态校准装置，如图1所示，包括：散布亮点照射器、同名像点匹配模块、图像坐标计算模块和相对位置姿态计算模块。
散布亮点照射器可向被测目标照射3个以上亮点的照射器。散布亮点照射器采用激光器。
同名像点匹配模块与相机3连接，用于提取被测目标图像中3个以上亮点对应的像点，分别将在相对运动位置拍摄的像点与在基准运动位置拍摄的像点进行同名像点匹配。
图像坐标计算模块与相机3连接，用于计算相机在各个运动位置拍摄的像点的归一化图像坐标。
相对位置姿态计算模块与同名像点匹配模块、图像坐标计算模块连接，用于根据同名像点以及各个运动位置拍摄的像点的归一化图像坐标分别求解出运动至基准运动位置时的相机与运动至相对运动时的相机相对位置姿态。
其中，单目立体视觉测量***用于拍摄被测目标，单目立体视觉测量***包括一台相机，该相机运动至2个以上运动位置拍摄被测目标；2个以上运动位置包括：基准运动位置和相对运动位置，基准运动位置为一个，其余为相对运动位置。基准运动位置可以为相机依次运动的位置中的其中一个，不一定为第一个或最后一个。
采用本方案的装置，可以实时求解出相机在基准运动位置与相机在相对运动位置时的相对位置姿态，精确度高。
作为本发明的第二个实施方式，提供一种单目立体视觉测量***位置姿态校准方法，采用第一个实施方式的装置实现。如图2所示，单目立体视觉测量***用于拍摄被测目标1，单目立体视觉测量***包括一台相机3，该相机3运动至2个以上运动位置拍摄被测目标。2个以上运动位置包括：基准运动位置和相对运动位置，基准运动位置为一个，其余为相对运动位置。基准运动位置可以为相机依次运动的位置中的其中一个，不一定为第一个或最后一个。通过相机3拍摄的被测目标1，可以获得每一个相对运动位置Cj上的相机3与基准运动位置C0上的相机3的相对位置姿态，进而可以对相机3的相对位置姿态进行校准，校准后通过每个运动位置拍摄的被测目标1，解算出被测目标1的三维坐标。图2中运动位置为2个，以相机3在基准运动位置C0为基准，分别计算相机3在相对运动位置Cj与在基准运动位置C0的相对位置姿态，运动位置的数量可以为3、4、5、...、10或更多，增加一个相对运动位置Cj的数量就多计算一个相机3在相对运动位置Cj与在基准运动位置C0的相对位置姿态，不影响本发明要保护的方案。相对运动位置Cj表示第j个相对运动位置。
在校准前，由于相机3的内参是不变的，相机3的内参已经经过标定。相机3的内参包括主点坐标和等效焦距。如图3所示，可知晓相机3拍摄亮点的成像原理。相机光心的真实地理位置坐标为（X0，Y0，Z0），在相机成像的光心坐标即主点坐标为（xc，yc）。相机成像的像面的像元尺寸为（dx，dy），相机焦距为f，在x方向上的等效焦距fx=f/dx，在y方向上的等效焦距fy=f/dy，等效焦距即x轴和y轴上的归一化焦距。在图3中，亮点的真实地理位置坐标为（X，Y，Z），光心和亮点连成一条直线，在相机的像面上即显示出像点（x，y）。
单目立体视觉测量***位置姿态校准方法包括以下步骤：
S1：散布亮点照射器2向被测目标1投射3个以上亮点，3个以上亮点均在相机3的拍摄范围（测量视场）内。亮点的数量根据最终需要求解的相对位置姿态的参数数量而定，亮点的数量要大于或等于相对位置姿态的参数数量，才能够求解出方程。3个以上亮点尽量分布均匀。各亮点的照射角度、散布亮点照射器2与相机3之间的关系不需要已知或标定，不需要保持各亮点照射角度相互关系，也不需要保持散布亮点照射器2与相机3之间的相对关系。
S2：相机3运动至2个以上运动位置，分别拍摄带有3个以上亮点的被测目标1图像，同名像点匹配模块提取被测目标1图像中3个以上亮点对应的像点，分别将在相对运动位置Cj拍摄的像点与在基准运动位置C0拍摄的像点进行同名像点匹配。
散布亮点照射器2照射出3个以上亮点，分别是亮点0、亮点1、亮点2、....、亮点n-1，n为亮点的数量。n个亮点在被测目标1图像中对应的像点分别是像点0、像点1、像点2、...、像点n-1。将在相对运动位置Cj拍摄的像点0与在基准运动位置C0拍摄的像点0进行匹配，将在相对运动位置Cj拍摄的像点1与在基准运动位置C0拍摄的像点1进行匹配，...，以此类推，将在相对运动位置Cj拍摄的像点n-1与在基准运动位置C0拍摄的像点n-1进行匹配。在基准运动位置C0拍摄的像点i与在相对运动位置Cj拍摄的像点i为同名像点。在基准运动位置C0拍摄的像点i的坐标为(x0,i, y0,i)，在相对运动位置Cj拍摄的像点i的坐标为(xj,i,yj,i)，i=0,1，...，n-1。
S3：计算相机在各个运动位置拍摄的像点的归一化图像坐标。
根据相机3的内参计算出像点的归一化图像坐标。
相机3在基准运动位置C0拍摄的像点i归一化图像坐标为：
Figure 740755DEST_PATH_IMAGE001
；
相机3在相对运动位置Cj拍摄的像点i归一化图像坐标为：
Figure 179083DEST_PATH_IMAGE002
；
其中，相机3的主点坐标为(Cx, Cy)，相机3的等效焦距为(Fx, Fy)，j=1,2，...，m-1；i=0,1，...，n-1；m为相机3运动位置的数量，n为亮点的数量。
像点在像面上的坐标可以求出其x和y的坐标，如图3所示，像点在亮点和光心的连线上，只要亮点在这条线上均会在图像上呈现同一位置的像点，因此像点的z坐标未知，需要将像点的z设置为1，对像点坐标进行归一化。归一化图像的坐标值从上到下表示x、y、z归一化之后的数值。
S4：根据同名像点以及各个运动位置拍摄的像点的归一化图像坐标分别求解出运动至基准运动位置C0时的相机3与运动至相对运动位置Cj时的相机3相对位置姿态。
相机3在基准运动位置C0与在一个相对运动位置Cj的相对位置姿态的计算方法相同，以一个相对运动位置Cj与基准运动位置C0相对位置姿态的计算为例。
相机3在相对运动位置Cj和基准运动位置C0相对位置姿态包括平移向量和/或旋转角。
平移向量为
Figure 44794DEST_PATH_IMAGE004
，旋转矩阵为
Figure 270370DEST_PATH_IMAGE009
，旋转角为
Figure 138182DEST_PATH_IMAGE006
，旋转矩阵是旋转角的三角函数组合。旋转矩阵各元素是相对运动位置Cj相对于的基准运动位置C0旋转角axj，ayj，azj的三角函数组合；x、y、z为相互垂直的轴，txj、tyj、tzj表示相机在三个轴方向的移动长度，azj、ayj、axj为相机依次绕z、y、x三个轴旋转的角度，r0j=cosayj×cosazj、r1j=sinaxj×sinayj×cosazj-cosaxj×sinazj、r2j=cosaxj×sinayj×cosazj+sinaxj×sinaxzj、r3j=cosayj×sinazj、r4j=sinaxj×sinayj×sinazj+cosaxj×cosazj、r5j=cosaxj×sinayj×sinazj-sinaxj×cosazj、r6j=-sinayj、r7j=sinaxj×cosayj、r8j=cosaxj×cosayj。
平移向量为三个参数，分别是txj，tyj，tzj；旋转角为三个参数，分别是axj，ayj，azj。如果平移向量已知，只需要求解旋转角的三个参数，亮点的个数n大于或等于3；如果旋转角已知，只需要求解平移向量的三个参数，亮点的个数n大于或等于3，由于很难获取到高精度的姿态数据，旋转角已知的情况较为少见。如果平移向量和旋转角均未知，则需要求解六个参数，亮点的个数大于或等于6。亮点的数量越多，求解方程组越多，获得的数值越精确，但是计算量也越大，一般要求亮点在视场内均匀分布，数量为几十个或数百个。因此，亮点的个数n在20-999为最佳。
S401：设定相机相对位置姿态的初值。位置的初值可以设置为0或设置为接近实际相对位置数值的数据。姿态的初值为3×3单位矩阵。
S402：根据基准运动位置C0和相对运动位置Cj的关系建立相对位置姿态方程。
根据立体视觉成像关系：
Figure 680284DEST_PATH_IMAGE010
；
该式为关于txj，tyj，tzj，axj，ayj，azj的方程，转换为相对姿态方程。
相机3在第j个相对运动位置Cj与基准运动位置C0的相对姿态方程为：
Figure 211235DEST_PATH_IMAGE003
。
S403：根据所有同名像点列出相对位置姿态方程。
列出同名像点0的相对位置姿态方程，列出同名像点1的相对位置姿态方程，...，以此类推，列出同名像点n-1的相对位置姿态方程。
S404：根据初值及列出的相对位置姿态方程求解相对姿态方程，得到修正值。
根据初值及列出的相对位置姿态方程求解相对姿态方程的方法包括：
采用非线性优化法在初值处将
Figure 685292DEST_PATH_IMAGE007
对平移向量和/或旋转角求偏导；
对
Figure 861189DEST_PATH_IMAGE011
进行泰勒展开，得到关于平移向量和/或旋转角的修正量的线性方程组；
对该线性方程组进行最小二乘法求解，得到修正量；
根据修正量对平移向量和/或旋转角进行修正，得到修正值。
非线性优化法包括梯度下降法、牛顿迭代法、高斯牛顿法、列文伯格-马夸尔特方法、Dog-leg方法等。优选牛顿迭代法。
梯度下降法采用对目标函数进行一阶泰勒近似的方法。
牛顿迭代法对目标函数二阶泰勒近似，需要计算Hessain矩阵。
高斯牛顿法采用JTJ近似Hessain矩阵。
列文伯格-马夸尔特方法综合梯度下降法和高斯牛顿法，为保证近似的Hessain矩阵正定，在JTJ上加入阻尼项。
具体的有以下三种情况：
第一种情况，如果修正平移向量和旋转角，txj，tyj，tzj，axj，ayj，azj均为未知：
采用非线性优化法在初值处将
Figure 619584DEST_PATH_IMAGE007
对平移向量txj，tyj，tzj和旋转角axj，ayj，azj求偏导；
对
Figure 321436DEST_PATH_IMAGE008
进行泰勒展开，得到关于平移向量txj，tyj，tzj和旋转角axj，ayj，azj的修正量dtxj，dtyj，dtzj，daxj，dayj，dazj的线性方程组；
对该线性方程组进行最小二乘法求解，得到修正量dtxj，dtyj，dtzj，daxj，dayj，dazj；
根据修正量dtxj，dtyj，dtzj，daxj，dayj，dazj对平移向量txj，tyj，tzj和旋转角axj，ayj，azj进行修正：
Figure 85386DEST_PATH_IMAGE012
，得到修正值。
第二种情况，如果只修正平移向量，txj，tyj，tzj为未知，axj，ayj，azj为已知：
采用非线性优化法在初值处将
Figure 590274DEST_PATH_IMAGE013
对平移向量txj，tyj，tzj求偏导；
对
Figure 779072DEST_PATH_IMAGE013
进行泰勒展开，得到关于平移向量txj，tyj，tzj的修正量dtxj，dtyj，dtzj的线性方程组；
对该线性方程组进行最小二乘法求解，得到修正量dtxj，dtyj，dtzj；
根据修正量dtxj，dtyj，dtzj对平移向量txj，tyj，tzj进行修正：
Figure 619202DEST_PATH_IMAGE014
，得到修正值。
第三种情况，如果只修正旋转角，axj，ayj，azj为未知，txj，tyj，tzj为已知：
采用非线性优化法在初值处将
Figure 57399DEST_PATH_IMAGE015
对旋转角axj，ayj，azj求偏导；
对
Figure 674235DEST_PATH_IMAGE015
进行泰勒展开，得到关于旋转角axj，ayj，azj的修正量daxj，dayj，dazj的线性方程组；
对该线性方程组进行最小二乘法求解，得到修正量daxj，dayj，dazj；
根据修正量daxj，dayj，dazj对旋转角axj，ayj，azj进行修正：
Figure 288844DEST_PATH_IMAGE016
，得到修正值。
第一种情况和第三种情况出现较多，第二种情况较为少见，因为很难获取到高精度的姿态数据（旋转角）。
S405：得到修正值后，将修正值作为新的平移向量txj，tyj，tzj和/或旋转角axj，ayj，azj的初值继续求解出新的修正值；重复迭代初值并求解出新的修正值，直到重复迭代初值至指定次数和/或前后两次更新的初值计算的误差小于指定阈值。也可以根据需要在测量的过程中不断更新初值和修正值，直到测量结束。
指定次数为50-100次。指定阈值为0.001-0.01。
采用本方案，不需要事先对相机3的各个运动位置的相对位置姿态进行精确标定，保证使用时***稳固、参数不变；不需要在相机3上固定连接姿态传感器，不需要在测量视场中布设坐标精确已知的控制点靶标，只需要简易的散布亮点照射器，各个亮点的照射角度、散布亮点照射器与立体视觉相机间的关系等不需要已知或标定，使用过程中不需要保持散布亮点照射器的稳固，不需要保持各亮点照射角度相互关系，也不需要保持散布亮点照射器与立体视觉相机间的相对关系，就能够实时校准立体视觉测量***各个相机间相对位置姿态参数，在单目立体视觉测量***参数扰动、变化等情况下，保证单目立体视觉测量的精度，同时采用能够适应表面没有稳定纹理、环境光照条件差、测量场景运动变化、被测目标的区域无法布设标定靶点的情况。
作为本发明的第三个实施方式，提供一种自校准的测量***，包括第一个实施方式的装置和单目立体视觉测量***。该单目立体视觉测量***根据相对位置姿态校准相机3在各个运动位置（基准运动位置C0和相对运动位置Cj）的位置和姿态j。
作为本发明的第四个实施方式，提供一种测量被测目标的方法，采用第三个实施方式的自校准的测量***。
该方法包括：
采用第二个实施方式的方法校准单目立体视觉测量***的相机3；使用立体视觉相机对被测目标1进行测量。
使用立体视觉相机对被测目标1进行测量的方案包括：根据相机3在各个运动位置的相对位置姿态、相机3在各个运动位置拍摄的被测目标1解算出被测目标1的三维坐标。
根据第四个实施方式，采用单目相机运动至多个位置，通过多个位置拍摄的亮点校准相机的位置和姿态，然后根据校准的位置和姿态、以及相机在各个位置拍摄的被测目标1，就能够获得高精度的被测目标1的三维坐标。单目相机在运动的过程中，实现了拍摄被测目标1，同时实现了自校准，能够应用在多种不同的场景中，不需要额外布设靶标和传感器，应用范围广，省时省力。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种单目立体视觉测量***位置姿态校准方法，其特征在于，包括以下步骤：
S1：单目立体视觉测量***用于拍摄被测目标，单目立体视觉测量***包括一台相机，该相机运动至2个以上运动位置拍摄被测目标；2个以上运动位置包括：基准运动位置和相对运动位置，基准运动位置为一个，其余为相对运动位置；向被测目标投射3个以上亮点，3个以上的亮点均在该相机的拍摄范围内；
S2：该相机运动至2个以上运动位置，分别拍摄带有3个以上亮点的被测目标图像，提取被测目标图像中3个以上亮点对应的像点，分别将在相对运动位置拍摄的像点与在基准运动位置拍摄的像点进行同名像点匹配；
S3：计算相机在各个运动位置拍摄的像点的归一化图像坐标；
S4：根据同名像点以及各个运动位置拍摄的像点的归一化图像坐标分别求解出运动至基准运动位置时的相机与运动至相对运动位置时的相机相对位置姿态；
步骤S4中，所述根据同名像点以及各个运动位置拍摄的像点的归一化图像坐标分别求解出运动至基准运动位置时的相机与运动至相对运动位置时的相机相对位置姿态的方法包括：
设定相机相对位置姿态的初值；
根据基准运动位置和相对运动位置的关系建立相对位置姿态方程；
根据所有同名像点列出相对位置姿态方程；
根据初值及列出的相对位置姿态方程求解相对位置姿态方程，得到修正值；
所述相对位置姿态方程为：
Figure FDA0003992301340000011
相机在基准运动位置和相对运动位置的相对位置姿态包括平移向量和/或旋转角；
其中，平移向量为
Figure FDA0003992301340000012
旋转矩阵为
Figure FDA0003992301340000013
旋转角为[axj,ayj,azj]，旋转矩阵是旋转角的三角函数组合；x、y、z为相互垂直的轴，txj、tyj、tzj表示相机在三个轴方向的移动长度，azj、ayj、axj为相机依次绕z、y、x三个轴旋转的角度，r0j＝cosayj×cosazj、r1j＝sinaxj×sinayj×cosazj-cosaxj×sinazj、r2j＝cosaxj×sinayj×cosazj+sinaxj×sinaxzj、r3j＝cosayj×sinazj、r4j＝sinaxj×sinayj×sinazj+cosaxj×cosazj、r5j＝cosaxj×sinayj×sinazj-sinaxj×cosazj、r6j＝-sinayj、r7j＝sinaxj×cosayj、r8j＝cosaxj×cosayj。
2.根据权利要求1所述的单目立体视觉测量***位置姿态校准方法，其特征在于，步骤S3中，所述计算相机在各个运动位置拍摄的像点的归一化图像坐标的方法包括：
根据相机的内参计算出像点的归一化图像坐标；
所述相机的内参包括主点坐标、等效焦距；
相机在基准运动位置拍摄的像点归一化图像坐标为：
Figure FDA0003992301340000021
相机在相对运动位置拍摄的像点归一化图像坐标为：
Figure FDA0003992301340000022
其中，相机的主点坐标为(Cx,Cy)，相机的等效焦距为(Fx,Fy)，j＝1,2,...,m-1；i＝0,1，...，n-1；m为相机运动位置的数量，n为亮点的数量。
3.根据权利要求1所述的单目立体视觉测量***位置姿态校准方法，其特征在于，所述根据同名像点以及各个运动位置拍摄的像点的归一化图像坐标分别求解出运动至基准运动位置时的相机与运动至相对运动位置时的相机相对位置姿态的方法还包括：得到修正值后，将修正值作为新的初值继续求解出新的修正值；重复迭代初值并求解出新的修正值，直到重复迭代初值至指定次数和/或前后两次更新的初值计算的误差小于指定阈值、或测量被测目标结束。
4.根据权利要求1所述的单目立体视觉测量***位置姿态校准方法，其特征在于，所述根据初值及列出的相对位置姿态方程求解相对位置姿态方程的方法包括：
采用非线性优化法在初值处将φ(txj,tyj,tzj,axj,ayj,azj)对平移向量和/或旋转角求偏导；
对φ(txj,tyj,tzj,axj,ayj,azj)进行泰勒展开，得到关于平移向量和/或旋转角的修正量的线性方程组；
对该线性方程组进行最小二乘法求解，得到修正量；
根据修正量对平移向量和/或旋转角进行修正，得到修正值。
5.一种测量被测目标的方法，其特征在于，采用如权利要求1-4中任一项所述的单目立体视觉测量***位置姿态校准方法校准单目立体视觉测量***的单目立体视觉相机；
使用相机对被测目标进行测量。
6.一种单目立体视觉测量***位置姿态校准装置，其特征在于，包括：
散布亮点照射器，能够向被测目标照射3个以上亮点的照射器；
同名像点匹配模块，用于提取被测目标图像中3个以上亮点对应的像点，分别将相对运动位置拍摄的像点与基准运动位置拍摄的像点进行同名像点匹配；
图像坐标计算模块，用于计算相机在各个运动位置拍摄的像点的归一化图像坐标；
相对位置姿态计算模块，用于根据同名像点以及各个运动位置拍摄的像点的归一化图像坐标分别求解出运动至基准运动位置时的相机与运动至相对运动位置时的相机相对位置姿态；
所述根据同名像点以及各个运动位置拍摄的像点的归一化图像坐标分别求解出运动至基准运动位置时的相机与运动至相对运动位置时的相机相对位置姿态的方法包括：
设定相机相对位置姿态的初值；
根据基准运动位置和相对运动位置的关系建立相对位置姿态方程；
根据所有同名像点列出相对位置姿态方程；
根据初值及列出的相对位置姿态方程求解相对位置姿态方程，得到修正值；
所述相对位置姿态方程为：
Figure FDA0003992301340000041
相机在基准运动位置和相对运动位置的相对位置姿态包括平移向量和/或旋转角；
其中，平移向量为
Figure FDA0003992301340000042
旋转矩阵为
Figure FDA0003992301340000043
旋转角为[axj,ayj,azj]，旋转矩阵是旋转角的三角函数组合；x、y、z为相互垂直的轴，txj、tyj、tzj表示相机在三个轴方向的移动长度，azj、ayj、axj为相机依次绕z、y、x三个轴旋转的角度，r0j＝cosayj×cosazj、r1j＝sinaxj×sinayj×cosazj-cosaxj×sinazj、r2j＝cosaxj×sinayj×cosazj+sinaxj×sinaxzj、r3j＝cosayj×sinazj、r4j＝sinaxj×sinayj×sinazj+cosaxj×cosazj、r5j＝cosaxj×sinayj×sinazj-sinaxj×cosazj、r6j＝-sinayj、r7j＝sinaxj×cosayj、r8j＝cosaxj×cosayj；
其中，单目立体视觉测量***用于拍摄被测目标，单目立体视觉测量***包括一台相机，该相机运动至2个以上运动位置拍摄被测目标；2个以上运动位置包括：基准运动位置和相对运动位置，基准运动位置为一个，其余为相对运动位置。
7.根据权利要求6所述的单目立体视觉测量***位置姿态校准装置，其特征在于，所述散布亮点照射器为激光器。
8.一种自校准的测量***，其特征在于，包括：
如权利要求6或7所述的单目立体视觉测量***位置姿态校准装置及单目立体视觉测量***。
CN202210891558.8A 2022-07-27 2022-07-27 单目立体视觉测量***位置姿态校准方法、装置、*** Active CN115014398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210891558.8A CN115014398B (zh) 2022-07-27 2022-07-27 单目立体视觉测量***位置姿态校准方法、装置、***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210891558.8A CN115014398B (zh) 2022-07-27 2022-07-27 单目立体视觉测量***位置姿态校准方法、装置、***

Publications (2)

Publication Number Publication Date
CN115014398A CN115014398A (zh) 2022-09-06
CN115014398B true CN115014398B (zh) 2023-01-24

Family

ID=83065415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210891558.8A Active CN115014398B (zh) 2022-07-27 2022-07-27 单目立体视觉测量***位置姿态校准方法、装置、***

Country Status (1)

Country Link
CN (1) CN115014398B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116539068B (zh) * 2023-07-03 2023-09-08 国网山西省电力公司电力科学研究院 一种视觉测量***柔性自检调节装置及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9875557B2 (en) * 2012-11-05 2018-01-23 The Chancellor Masters And Scholars Of The University Of Oxford Extrinsic calibration of imaging sensing devices and 2D LIDARs mounted on transportable apparatus
CN103292695B (zh) * 2013-05-10 2016-02-24 河北科技大学 一种单目立体视觉测量方法
CN103528571B (zh) * 2013-10-12 2016-04-06 上海新跃仪表厂 单目立体视觉相对位姿测量方法
US10755428B2 (en) * 2017-04-17 2020-08-25 The United States Of America, As Represented By The Secretary Of The Navy Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model
CN109465830B (zh) * 2018-12-11 2021-12-28 上海应用技术大学 机器人单目立体视觉标定***及方法
CN111784778B (zh) * 2020-06-04 2022-04-12 华中科技大学 基于线性求解非线性优化的双目相机外参标定方法和***

Also Published As

Publication number Publication date
CN115014398A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN110296691B (zh) 融合imu标定的双目立体视觉测量方法与***
CN107358631B (zh) 一种虑及三维畸变的双目视觉重建方法
Zhang et al. A universal and flexible theodolite-camera system for making accurate measurements over large volumes
CN109297436B (zh) 双目线激光立体测量基准标定方法
CN106709955B (zh) 基于双目立体视觉的空间坐标系标定***和方法
Boochs et al. Increasing the accuracy of untaught robot positions by means of a multi-camera system
CN107038753B (zh) 立体视觉三维重建***及方法
CN111486864B (zh) 基于立体正八边结构的多源传感器联合标定方法
CN111915685B (zh) 一种变焦摄像机标定方法
CN112991460B (zh) 一种用于获取汽车零件尺寸的双目测量***、方法及装置
CN104167001B (zh) 基于正交补偿的大视场摄像机标定方法
CN106767895B (zh) 利用标志点定向求解相机外方位元素的***和方法
US20220230348A1 (en) Method and apparatus for determining a three-dimensional position and pose of a fiducial marker
CN113781579B (zh) 一种全景红外相机几何标定方法
CN113724337B (zh) 一种无需依赖云台角度的相机动态外参标定方法及装置
CN112229323A (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
CN115014398B (zh) 单目立体视觉测量***位置姿态校准方法、装置、***
CN114332191A (zh) 三维点云误差补偿方法及装置
CN114964316B (zh) 位置姿态校准方法及装置、测量待测目标的方法、***
Luhmann 3D imaging: how to achieve highest accuracy
CN107976146B (zh) 一种线阵ccd相机的自标定方法及测量方法
Ye et al. A calibration trilogy of monocular-vision-based aircraft boresight system
CN111754584A (zh) 一种远距离大视场相机参数标定***和方法
CN114516051B (zh) 三个及以上自由度机器人视觉测量的前方交会方法及***
Oniga et al. Metric and Non-Metric Cameras Calibration for the Improvement of Real-Time Monitoring Process Results.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant