CN114964316A - 位置姿态校准方法及装置、测量待测目标的方法、*** - Google Patents

位置姿态校准方法及装置、测量待测目标的方法、*** Download PDF

Info

Publication number
CN114964316A
CN114964316A CN202210891478.2A CN202210891478A CN114964316A CN 114964316 A CN114964316 A CN 114964316A CN 202210891478 A CN202210891478 A CN 202210891478A CN 114964316 A CN114964316 A CN 114964316A
Authority
CN
China
Prior art keywords
camera
image
relative position
sina
cosa
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210891478.2A
Other languages
English (en)
Other versions
CN114964316B (zh
Inventor
曹动
饶旭
肖永恒
王宇轩
刘小舟
张建南
何江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rocketech Technology Corp ltd
Original Assignee
Rocketech Technology Corp ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rocketech Technology Corp ltd filed Critical Rocketech Technology Corp ltd
Priority to CN202210891478.2A priority Critical patent/CN114964316B/zh
Publication of CN114964316A publication Critical patent/CN114964316A/zh
Application granted granted Critical
Publication of CN114964316B publication Critical patent/CN114964316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042—Calibration or calibration artifacts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Manufacturing & Machinery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及视觉测量以及图像检测技术领域，提供一种位置姿态校准方法及装置、测量待测目标的方法、***。校准方法包括：立体视觉测量***包括第一相机和第二相机，向待测目标投射n个亮点，立体视觉相机拍摄带有n个亮点的待测目标图像，提取待测目标图像中n个亮点对应的像点，分别将第二相机的像点与第一相机的像点进行同名像点匹配；计算立体视觉相机的像点的归一化图像坐标；根据同名像点以及第一相机和第二相机的像点的归一化图像坐标分别求解出每一台第二相机与第一相机相对位置姿态。本方案能够在保证测量相对位置姿态精度的同时不局限于各种应用场合。

Description

位置姿态校准方法及装置、测量待测目标的方法、***
技术领域
本发明涉及视觉测量以及图像检测技术领域，特别是涉及一种立体视觉测量***相对位置姿态校准方法、装置、测量待测目标的方法、自校准的测量***。
背景技术
视觉测量是以计算机视觉为理论，采用先进的高密度、低噪声和畸变小的图像传感器，通过高速实时图像采集***，专用图像硬件处理***以及高性能计算机完成对二值或灰度图像的有效处理的先进统。通常采用多台相机对待测目标进行拍摄进而测量待测目标。
立体视觉测量***的各相机间的相对位置姿态的精度对立体视觉测量结果的精度至关重要。微小的相机间的相对姿态误差都会引起很大的立体视觉测量误差。
为了减小相对位置姿态的误差，现有技术通常的做法有：第一种，事先对各相机的相对位置姿态进行精确标定，保证使用时***稳固、参数不变；采用这种方式，在使用环境条件恶劣（如冲击振动等）时，难以保证测量***结构的稳固和相机参数稳定不变。第二种，各相机固定连接姿态传感器，使用过程中实时读数出器位姿变化量进而进行补偿；采用这种方式，固定连接的传感器增加符合，高精度位姿传感器成本高，以惯导为代表的姿态传感器普遍存在时间累积误差、长时间应用精度低的问题。第三种，在测量视场中布设坐标精确已知的控制点靶标，在测量同时标定各相机实时参数；测量视场中可能没有布设控制点的条件，如小测量视场中待测目标占满视场的情况，或者如基于运动测量平台时测量视场不断变换的情况。可见，现有技术使用场合局限。
因此，亟需开发一种立体视觉测量***相对位置姿态校准方法、装置、测量待测目标的方法、自校准的测量***，能够在保证测量相对位置姿态精度的同时不局限于各种应用场合。
发明内容
本发明的目的是提供一种立体视觉测量***相对位置姿态校准方法、装置、测量待测目标的方法、自校准的测量***，能够在保证测量相对位置姿态精度的同时不局限于各种应用场合。
为解决上述技术问题，作为本发明的一个方面，提供了一种立体视觉测量***相对位置姿态校准方法，包括以下步骤：
S1：立体视觉测量***用于拍摄待测目标，立体视觉测量***包括m台立体视觉相机，m为大于或等于2的自然数，m台立体视觉相机包括：一台第一相机和m-1台第二相机；m台立体视觉相机从不同角度拍摄待测目标；向待测目标投射n个亮点，n个亮点均在立体视觉相机的拍摄范围内；n为大于或等于3的自然数；
S2：所有立体视觉相机拍摄带有n个亮点的待测目标图像，提取待测目标图像中n个亮点对应的像点，分别将第二相机的像点与第一相机的像点进行同名像点匹配；
S3：计算立体视觉相机的像点的归一化图像坐标；
S4：根据同名像点以及第一相机和第二相机的像点的归一化图像坐标分别求解出每一台第二相机与第一相机相对位置姿态。
根据本发明一示例实施方式，步骤S3中，所述计算立体视觉相机的像点的归一化图像坐标的方法包括：
根据立体视觉相机的内参计算出像点的归一化图像坐标；
所述立体视觉相机的内参包括主点坐标、等效焦距；
第一相机的像点归一化图像坐标为：
Figure 54587DEST_PATH_IMAGE001
；
第二相机的像点归一化图像坐标为：
Figure 156273DEST_PATH_IMAGE002
；
其中，第一相机的主点坐标为(Cx0, Cy0)，第一相机的等效焦距为(Fx0, Fy0)，第二相机的主点坐标为(Cxj, Cyj)，第二相机的等效焦距为(Fxj, Fyj)，j=1,2，...，m-1；i=0,1，...，n-1。
根据本发明一示例实施方式，步骤S4中，所述根据同名像点以及第一相机和第二相机的像点的归一化图像坐标分别求解出每一台第二相机与第一相机相对位置姿态的方法包括：
设定相机相对位置姿态的初值；
根据第一相机和第二相机的关系建立相对位置姿态方程；
根据所有同名像点列出相对位置姿态方程；
根据初值及列出的相对位置姿态方程求解相对姿态方程，得到修正值。
根据本发明一示例实施方式，所述根据同名像点以及第一相机和第二相机的像点的归一化图像坐标分别求解出每一台第二相机与第一相机相对位置姿态的方法还包括：得到修正值后，将修正值作为新的初值继续求解出新的修正值；重复迭代初值并求解出新的修正值，直到重复迭代初值至指定次数和/或前后两次更新的初值计算的误差小于指定阈值、或测量待测目标结束。
根据本发明一示例实施方式，所述相对姿态方程为：
Figure 284504DEST_PATH_IMAGE003
；
第二相机和第一相机相对位置姿态包括平移向量和/或旋转角；
其中，平移向量为
Figure 875977DEST_PATH_IMAGE004
，旋转矩阵为
Figure 773264DEST_PATH_IMAGE005
，旋转角为
Figure 311430DEST_PATH_IMAGE006
，旋转矩阵是旋转角的三角函数组合；x、y、z为相互垂直的轴，txj、tyj、tzj表示相机在三个轴方向的移动长度，azj、ayj、axj为相机依次绕z、y、x三个轴旋转的角度，r0j=cosayj×cosazj、r1j=sinaxj×sinayj×cosazj-cosaxj×sinazj、r2j=cosaxj×sinayj×cosazj+sinaxj×sinaxzj、r3j=cosayj×sinazj、r4j=sinaxj×sinayj×sinazj+cosaxj×cosazj、r5j=cosaxj×sinayj×sinazj-sinaxj×cosazj、r6j=-sinayj、r7j=sinaxj×cosayj、r8j=cosaxj×cosayj。
根据本发明一示例实施方式，所述根据初值及列出的相对位置姿态方程求解相对姿态方程的方法包括：
采用非线性优化法在初值处将
Figure 458116DEST_PATH_IMAGE007
对平移向量和/或旋转角求偏导；
对
Figure 779244DEST_PATH_IMAGE008
进行泰勒展开，得到关于平移向量和/或旋转角的修正量的线性方程组；
对该线性方程组进行最小二乘法求解，得到修正量；
根据修正量对平移向量和/或旋转角进行修正，得到修正值。
非线性优化法包括牛顿迭代法。
作为本发明的第二个方面，提供了一种测量待测目标的方法，采用所述立体视觉测量***相对位置姿态校准方法校准视觉测量***的立体视觉相机；
使用立体视觉相机对待测目标进行测量。
作为本发明的第三个方面，提供了一种立体视觉测量***相对位置姿态校准装置，包括：
散布亮点照射器，可向待测目标照射n个亮点的照射器，n为大于或等于3的自然数；
同名像点匹配模块，用于提取待测目标图像中n个亮点对应的像点，分别将第二相机的像点与第一相机的像点进行同名像点匹配；
图像坐标计算模块，用于计算立体视觉相机的像点的归一化图像坐标；
相对位置姿态计算模块，用于根据同名像点以及第一相机和第二相机的像点的归一化图像坐标分别求解出每一台第二相机与第一相机的相对位置姿态；
其中，所述立体视觉测量***用于拍摄待测目标，立体视觉测量***包括m台立体视觉相机，m为大于或等于2的自然数，m台立体视觉相机包括：一台第一相机和m-1台第二相机；m台立体视觉相机从不同角度拍摄待测目标。
根据本发明一示例实施方式，所述散布亮点照射器为激光器。
作为本发明第四个方面，提供一种自校准的测量***，包括：
所述的立体视觉测量***相对位置姿态校准装置及立体视觉测量***。
根据本发明一示例实施方式，该立体视觉测量***根据相对位置姿态校准第一相机和第二相机。
本发明的有益效果是：
本方案采用在待测目标上照射亮点的方式校准立体视觉相机，可以适应待测目标表面没有稳定纹理、环境光照条件差的情况，同时散布亮点的设备简易，在制备、安装和使用过程中没有结构稳定性和精度要求，适应范围广；可以对立体视觉相机相对位置姿态参数进行实时校准，在立体视觉测量***参数扰动、变化等情况下，保证立体视觉测量的精度，同时亮点因为布设在待测目标上，采用随同立体视觉测量***主动照射待测目标区域获取特征点的方式，适应测量场景运动变化、待测目标的区域无法布设标定靶点等情况。
附图说明
图1示意性示出了立体视觉测量***相对位置姿态校准装置的结构图。
图2示意性示出了立体视觉测量***相对位置姿态校准时的位置关系图。
图3示意性示出了立体视觉相机的成像示意图。
其中，1—待测目标，2—散布亮点照射器，C0—第一相机，Cj—第二相机。
具体实施方式
以下对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
作为本发明的第一个实施方式，提供一种立体视觉测量***相对位置姿态校准装置，如图1所示，包括：散布亮点照射器、同名像点匹配模块、图像坐标计算模块和相对位置姿态计算模块。
散布亮点照射器可向待测目标照射n个亮点的照射器，n为大于或等于3的自然数。散布亮点照射器采用激光器。
同名像点匹配模块与第一相机C0和第二相机Cj连接，用于提取待测目标图像中n个亮点对应的像点，分别将第二相机的像点与第一相机的像点进行同名像点匹配。
图像坐标计算模块与第一相机C0、第二相机Cj连接，用于计算立体视觉相机的像点的归一化图像坐标。
相对位置姿态计算模块与同名像点匹配模块、图像坐标计算模块连接，用于根据同名像点以及第一相机和第二相机的像点的归一化图像坐标分别求解出每一台第二相机与第一相机的相对位置姿态。
其中，立体视觉测量***用于拍摄待测目标，立体视觉测量***包括m台立体视觉相机，m为大于或等于2的自然数，m台立体视觉相机包括：一台第一相机和m-1台第二相机；m台立体视觉相机从不同角度拍摄待测目标。
采用本方案的装置，可以实时求解出每一台第二相机与第一相机的相对位置姿态，精确度高。
作为本发明的第二个实施方式，提供一种立体视觉测量***相对位置姿态校准方法，采用第一个实施方式的装置实现。如图2所示，立体视觉测量***用于拍摄待测目标1，立体视觉测量***包括m台立体视觉相机，m为大于或等于2的自然数，m台立体视觉相机包括：一台第一相机C0和m-1台第二相机Cj，j=1,2，...，m-1。m台立体视觉相机从不同角度拍摄待测目标1。图2中m为2，以第一相机C0为基准，分别计算第二相机Cj与第一相机C0的相对位置姿态，增加一台第二相机Cj的数量就多计算一台第二相机Cj与第一相机C0的相对位置姿态，不影响本发明要保护的方案。第二相机Cj表示第j台第二相机。
在校准前，由于立体视觉相机的内参是不变的，立体视觉相机的内参已经经过标定。立体视觉相机的内参包括主点坐标和等效焦距。如图3所示，立体视觉相机光心的真实地理位置坐标为（X0，Y0，Z0），在相机成像的光心坐标即主点坐标为（xc，yc）。相机成像的像面的像元尺寸为（dx，dy），相机焦距为f，在x方向上的等效焦距fx=f/dx，在y方向上的等效焦距fy=f/dy，等效焦距即x轴和y轴上的归一化焦距。在图3中，亮点的真实地理位置坐标为（X，Y，Z），光心和亮点连成一条直线，在相机的像面上即显示出像点（x，y）。
该校准方法包括以下步骤：
S1：散布亮点照射器2向待测目标1投射n个亮点，n个亮点均在立体视觉相机的拍摄范围（测量视场）内；n为大于或等于3的自然数。n的数量根据最终需要求解的相对位置姿态的参数数量而定，n的数量要大于或等于相对位置姿态的参数数量，才能够求解出方程。n个亮点尽量分布均匀。
S2：所有立体视觉相机拍摄带有n个亮点的待测目标1图像，同名像点匹配模块提取待测目标1图像中n个亮点对应的像点，分别将第二相机Cj的像点与第一相机C0的像点进行同名像点匹配。
散布亮点照射器2照射出n个亮点，分别是亮点0、亮点1、亮点2、....、亮点n-1。n个亮点在待测目标1图像中对应的像点分别是像点0、像点1、像点2、...、像点n-1。将第二相机Cj的像点0与第一相机C0的像点0进行匹配，将第二相机Cj的像点1与第一相机C0的像点1进行匹配，...，以此类推，将第二相机Cj的像点n-1与第一相机C0的像点n-1进行匹配。第一相机C0的像点i与第二相机Cj的像点i为同名像点。第一相机C0的像点i的坐标为(x0,i, y0,i)，第二相机Cj的像点i的坐标为(xj,i, yj,i)，i=0,1，...，n-1。
S3：计算立体视觉相机的像点的归一化图像坐标。
根据立体视觉相机的内参计算出像点的归一化图像坐标。
第一相机C0的像点i归一化图像坐标为：
Figure 593354DEST_PATH_IMAGE001
；
第二相机Cj的像点i归一化图像坐标为：
Figure 517403DEST_PATH_IMAGE002
；
其中，第一相机C0的主点坐标为(Cx0, Cy0)，第一相机C0的等效焦距为(Fx0, Fy0)，第二相机Cj的主点坐标为(Cxj, Cyj)，第二相机Cj的等效焦距为(Fxj, Fyj)，j=1,2，...，m-1；i=0,1，...，n-1。
像点在像面上的坐标可以求出其x和y的坐标，如图3所示，像点在亮点和光心的连线上，只要亮点在这条线上均会在图像上呈现同一位置的像点，因此像点的z坐标未知，需要将像点的z设置为1，对像点坐标进行归一化。归一化图像的坐标值从上到下表示x、y、z归一化之后的数值。
S4：根据同名像点以及第一相机C0和第二相机Cj的像点的归一化图像坐标分别求解出每一台第二相机Cj与第一相机C0相对位置姿态。
每一台第二相机Cj与第一相机C0相对位置姿态的计算方法相同，以一台第二相机Cj与第一相机C0相对位置姿态的计算为例。
第二相机Cj和第一相机C0相对位置姿态包括平移向量和/或旋转角。
平移向量为
Figure 885805DEST_PATH_IMAGE004
，旋转矩阵为
Figure 807363DEST_PATH_IMAGE005
，旋转角为
Figure 148083DEST_PATH_IMAGE006
，旋转矩阵是旋转角的三角函数组合。旋转矩阵各元素是第二相机Cj相对于第一相机C0的旋转角axj，ayj，azj的三角函数组合；x、y、z为相互垂直的轴，txj、tyj、tzj表示相机在三个轴方向的移动长度，azj、ayj、axj为相机依次绕z、y、x三个轴旋转的角度，r0j=cosayj×cosazj、r1j=sinaxj×sinayj×cosazj-cosaxj×sinazj、r2j=cosaxj×sinayj×cosazj+sinaxj×sinaxzj、r3j=cosayj×sinazj、r4j=sinaxj×sinayj×sinazj+cosaxj×cosazj、r5j=cosaxj×sinayj×sinazj-sinaxj×cosazj、r6j=-sinayj、r7j=sinaxj×cosayj、r8j=cosaxj×cosayj。
平移向量为三个参数，分别是txj，tyj，tzj；旋转角为三个参数，分别是axj，ayj，azj。如果平移向量已知，只需要求解旋转角的三个参数，亮点n的个数大于或等于3；如果旋转角已知，只需要求解平移向量的三个参数，亮点n的个数大于或等于3，由于很难获取到高精度的姿态数据，旋转角已知的情况较为少见。如果平移向量和旋转角均未知，则需要求解六个参数，亮点n的个数大于或等于6。亮点n的数量越多，求解方程组越多，获得的数值越精确，但是计算量也越大，一般要求亮点在视场内均匀分布，数量为几十个或数百个。因此，亮点n的个数在20-999为最佳。
S401：设定相机相对位置姿态的初值。位置的初值可以设置为0或设置为接近实际相对位置数值的数据。姿态的初值为3×3单位矩阵。
S402：根据第一相机C0和第二相机Cj的关系建立相对位置姿态方程。
根据立体视觉成像关系：
Figure 293631DEST_PATH_IMAGE009
；
该式为关于txj，tyj，tzj，axj，ayj，azj的方程，转换为相对姿态方程。
第j台第二相机Cj和第一相机C0的相对姿态方程为：
Figure 833152DEST_PATH_IMAGE003
。
S403：根据所有同名像点列出相对位置姿态方程。
列出同名像点0的相对位置姿态方程，列出同名像点1的相对位置姿态方程，...，以此类推，列出同名像点n-1的相对位置姿态方程。
S404：根据初值及列出的相对位置姿态方程求解相对姿态方程，得到修正值。
根据初值及列出的相对位置姿态方程求解相对姿态方程的方法包括：
采用非线性优化法在初值处将
Figure 823980DEST_PATH_IMAGE010
对平移向量和/或旋转角求偏导；
对
Figure 222469DEST_PATH_IMAGE011
进行泰勒展开，得到关于平移向量和/或旋转角的修正量的线性方程组；
对该线性方程组进行最小二乘法求解，得到修正量；
根据修正量对平移向量和/或旋转角进行修正，得到修正值。
非线性优化法包括梯度下降法、牛顿迭代法、高斯牛顿法、列文伯格-马夸尔特方法、Dog-leg方法等。优选牛顿迭代法。
梯度下降法采用对目标函数进行一阶泰勒近似的方法。
牛顿迭代法对目标函数二阶泰勒近似，需要计算Hessain矩阵。
高斯牛顿法采用JTJ近似Hessain矩阵。
列文伯格-马夸尔特方法综合梯度下降法和高斯牛顿法，为保证近似的Hessain矩阵正定，在JTJ上加入阻尼项。
具体的有以下三种情况：
第一种情况，如果修正平移向量和旋转角，txj，tyj，tzj，axj，ayj，azj均为未知：
采用非线性优化法在初值处将
Figure 804498DEST_PATH_IMAGE012
对平移向量txj，tyj，tzj和旋转角axj，ayj，azj求偏导；
对
Figure 819596DEST_PATH_IMAGE013
进行泰勒展开，得到关于平移向量txj，tyj，tzj和旋转角axj，ayj，azj的修正量dtxj，dtyj，dtzj，daxj，dayj，dazj的线性方程组；
对该线性方程组进行最小二乘法求解，得到修正量dtxj，dtyj，dtzj，daxj，dayj，dazj；
根据修正量dtxj，dtyj，dtzj，daxj，dayj，dazj对平移向量txj，tyj，tzj和旋转角axj，ayj，azj进行修正：
Figure 879694DEST_PATH_IMAGE014
，得到修正值。
第二种情况，如果只修正平移向量，txj，tyj，tzj为未知，axj，ayj，azj为已知：
采用非线性优化法在初值处将
Figure 737884DEST_PATH_IMAGE015
对平移向量txj，tyj，tzj求偏导；
对
Figure 428497DEST_PATH_IMAGE016
进行泰勒展开，得到关于平移向量txj，tyj，tzj的修正量dtxj，dtyj，dtzj的线性方程组；
对该线性方程组进行最小二乘法求解，得到修正量dtxj，dtyj，dtzj；
根据修正量dtxj，dtyj，dtzj，对平移向量txj，tyj，tzj进行修正：
Figure 993208DEST_PATH_IMAGE017
，得到修正值。
第三种情况，如果只修正旋转角，axj，ayj，azj为未知，txj，tyj，tzj为已知：
采用非线性优化法在初值处将
Figure 794680DEST_PATH_IMAGE018
对旋转角axj，ayj，azj求偏导；
对
Figure 698919DEST_PATH_IMAGE019
进行泰勒展开，得到关于旋转角axj，ayj，azj的修正量daxj，dayj，dazj的线性方程组；
对该线性方程组进行最小二乘法求解，得到修正量daxj，dayj，dazj；
根据修正量daxj，dayj，dazj对旋转角axj，ayj，azj进行修正：
Figure 622751DEST_PATH_IMAGE020
，得到修正值。
第一种情况和第三种情况出现较多，第二种情况较为少见，因为很难获取到高精度的姿态数据（旋转角）。
S405：得到修正值后，将修正值作为新的平移向量txj，tyj，tzj和/或旋转角axj，ayj，azj的初值继续求解出新的修正值；重复迭代初值并求解出新的修正值，直到重复迭代初值至指定次数和/或前后两次更新的初值计算的误差小于指定阈值。也可以根据需要在测量的过程中不断更新初值和修正值，直到测量结束。
指定次数为50-100次。指定阈值为0.001-0.01。
采用本方案，不需要事先对各相机的相对位置姿态进行精确标定，保证使用时***稳固、参数不变；不需要各相机固定连接姿态传感器，不需要在测量视场中布设坐标精确已知的控制点靶标，只需要简易的散布亮点照射器，各个亮点的照射角度、散布亮点照射器与立体视觉相机间的关系等不需要已知或标定，使用过程中不需要保持散布亮点照射器的稳固，不需要保持各亮点照射角度相互关系，也不需要保持散布亮点照射器与立体视觉相机间的相对关系，就能够实时校准立体视觉测量***各个相机间相对位置姿态参数，在立体视觉测量***参数扰动、变化等情况下，保证立体视觉测量的精度，同时采用能够适应表面没有稳定纹理、环境光照条件差、测量场景运动变化、待测目标的区域无法布设标定靶点的情况。
作为本发明的第三个实施方式，提供一种自校准的测量***，包括第一个实施方式的装置和立体视觉测量***。该立体视觉测量***根据相对位置姿态校准第一相机C0和第二相机Cj。
作为本发明的第四个实施方式，提供一种测量待测目标的方法，采用第三个实施方式的自校准的测量***。
该方法包括：
采用第二个实施方式的方法校准视觉测量***的立体视觉相机；使用立体视觉相机对待测目标1进行测量。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种立体视觉测量***相对位置姿态校准方法，其特征在于，包括以下步骤：
S1：立体视觉测量***用于拍摄待测目标，立体视觉测量***包括m台立体视觉相机，m为大于或等于2的自然数，m台立体视觉相机包括：一台第一相机和m-1台第二相机；m台立体视觉相机从不同角度拍摄待测目标；向待测目标投射n个亮点，n个亮点均在立体视觉相机的拍摄范围内；n为大于或等于3的自然数；
S2：所有立体视觉相机拍摄带有n个亮点的待测目标图像，提取待测目标图像中n个亮点对应的像点，分别将第二相机的像点与第一相机的像点进行同名像点匹配；
S3：计算立体视觉相机的像点的归一化图像坐标；
S4：根据同名像点以及第一相机和第二相机的像点的归一化图像坐标分别求解出每一台第二相机与第一相机相对位置姿态。
2.根据权利要求1所述的立体视觉测量***相对位置姿态校准方法，其特征在于，步骤S3中，所述计算立体视觉相机的像点的归一化图像坐标的方法包括：
根据立体视觉相机的内参计算出像点的归一化图像坐标；
所述立体视觉相机的内参包括主点坐标、等效焦距；
第一相机的像点归一化图像坐标为：
Figure 583279DEST_PATH_IMAGE001
；
第二相机的像点归一化图像坐标为：
Figure 89302DEST_PATH_IMAGE002
；
其中，第一相机的主点坐标为(C x0 , C y0 )，第一相机的等效焦距为(F x0 , F y0 )，第二相机的主点坐标为(C xj , C yj )，第二相机的等效焦距为(F xj , F yj )，j=1,2,...,m-1；i=0,1，...，n-1。
3.根据权利要求1所述的立体视觉测量***相对位置姿态校准方法，其特征在于，步骤S4中，所述根据同名像点以及第一相机和第二相机的像点的归一化图像坐标分别求解出每一台第二相机与第一相机相对位置姿态的方法包括：
设定相机相对位置姿态的初值；
根据第一相机和第二相机的关系建立相对位置姿态方程；
根据所有同名像点列出相对位置姿态方程；
根据初值及列出的相对位置姿态方程求解相对位置姿态方程，得到修正值。
4.根据权利要求3所述的立体视觉测量***相对位置姿态校准方法，其特征在于，所述根据同名像点以及第一相机和第二相机的像点的归一化图像坐标分别求解出每一台第二相机与第一相机相对位置姿态的方法还包括：得到修正值后，将修正值作为新的初值继续求解出新的修正值；重复迭代初值并求解出新的修正值，直到重复迭代初值至指定次数和/或前后两次更新的初值计算的误差小于指定阈值、或测量待测目标结束。
5.根据权利要求3所述的立体视觉测量***相对位置姿态校准方法，其特征在于，所述相对位置姿态方程为：
Figure 508519DEST_PATH_IMAGE003
；
第二相机和第一相机相对位置姿态包括平移向量和/或旋转角；
其中，平移向量为
Figure 808789DEST_PATH_IMAGE004
，旋转矩阵为
Figure 200324DEST_PATH_IMAGE005
，旋转角为
Figure 927847DEST_PATH_IMAGE006
，旋转矩阵是旋转角的三角函数组合；x、y、z为相互垂直的轴，txj、tyj、tzj表示相机在三个轴方向的移动长度，azj、ayj、axj为相机依次绕z、y、x三个轴旋转的角度，r0j=cosayj×cosazj、r1j=sinaxj×sinayj×cosazj-cosaxj×sinazj、r2j=cosaxj×sinayj×cosazj+sinaxj×sinaxzj、r3j=cosayj×sinazj、r4j=sinaxj×sinayj×sinazj+cosaxj×cosazj、r5j=cosaxj×sinayj×sinazj-sinaxj×cosazj、r6j=-sinayj、r7j=sinaxj×cosayj、r8j=cosaxj×cosayj。
6.根据权利要求5所述的立体视觉测量***相对位置姿态校准方法，其特征在于，所述根据初值及列出的相对位置姿态方程求解相对位置姿态方程的方法包括：
采用非线性优化法在初值处将
Figure 377238DEST_PATH_IMAGE007
对平移向量和/或旋转角求偏导；
对
Figure 153302DEST_PATH_IMAGE008
进行泰勒展开，得到关于平移向量和/或旋转角的修正量的线性方程组；
对该线性方程组进行最小二乘法求解，得到修正量；
根据修正量对平移向量和/或旋转角进行修正，得到修正值。
7.一种测量待测目标的方法，其特征在于，采用权利要求1-6中任一项所述的方法校准立体视觉测量***的立体视觉相机；
使用立体视觉相机对待测目标进行测量。
8.一种立体视觉测量***相对位置姿态校准装置，其特征在于，包括：
散布亮点照射器，可向待测目标照射n个亮点的照射器，n为大于或等于3的自然数；
同名像点匹配模块，用于提取待测目标图像中n个亮点对应的像点，分别将第二相机的像点与第一相机的像点进行同名像点匹配；
图像坐标计算模块，用于计算立体视觉相机的像点的归一化图像坐标；
相对位置姿态计算模块，用于根据同名像点以及第一相机和第二相机的像点的归一化图像坐标分别求解出每一台第二相机与第一相机相对位置姿态；
其中，所述立体视觉测量***用于拍摄待测目标，立体视觉测量***包括m台立体视觉相机，m为大于或等于2的自然数，m台立体视觉相机包括：一台第一相机和m-1台第二相机；m台立体视觉相机从不同角度拍摄待测目标。
9.根据权利要求8所述的立体视觉测量***相对位置姿态校准装置，其特征在于，所述散布亮点照射器为激光器。
10.一种自校准的测量***，其特征在于，包括：
权利要求8或9的装置及立体视觉测量***。
CN202210891478.2A 2022-07-27 2022-07-27 位置姿态校准方法及装置、测量待测目标的方法、*** Active CN114964316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210891478.2A CN114964316B (zh) 2022-07-27 2022-07-27 位置姿态校准方法及装置、测量待测目标的方法、***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210891478.2A CN114964316B (zh) 2022-07-27 2022-07-27 位置姿态校准方法及装置、测量待测目标的方法、***

Publications (2)

Publication Number Publication Date
CN114964316A true CN114964316A (zh) 2022-08-30
CN114964316B CN114964316B (zh) 2022-11-01

Family

ID=82968762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210891478.2A Active CN114964316B (zh) 2022-07-27 2022-07-27 位置姿态校准方法及装置、测量待测目标的方法、***

Country Status (1)

Country Link
CN (1) CN114964316B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116753918A (zh) * 2023-06-19 2023-09-15 中国人民解放军61540部队 基于空天线阵传感器的地面目标位置估计方法和装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107255443A (zh) * 2017-07-14 2017-10-17 北京航空航天大学 一种复杂环境下双目视觉传感器现场标定方法及装置
JP2019052983A (ja) * 2017-09-15 2019-04-04 キヤノン株式会社 校正方法、および校正装置
CN110296691A (zh) * 2019-06-28 2019-10-01 上海大学 融合imu标定的双目立体视觉测量方法与***
CN110332887A (zh) * 2019-06-27 2019-10-15 中国地质大学（武汉） 一种基于特征光标点的单目视觉位姿测量***及方法
CN111220120A (zh) * 2019-12-02 2020-06-02 上海航天控制技术研究所 一种动平台双目测距自校准方法及装置
US20200250429A1 (en) * 2017-10-26 2020-08-06 SZ DJI Technology Co., Ltd. Attitude calibration method and device, and unmanned aerial vehicle
CN111784778A (zh) * 2020-06-04 2020-10-16 华中科技大学 基于线性求解非线性优化的双目相机外参标定方法和***
CN113240740A (zh) * 2021-05-06 2021-08-10 四川大学 基于相位引导双目视觉密集标记点匹配的姿态测量方法
CN113538598A (zh) * 2021-07-21 2021-10-22 北京能创科技有限公司 主动立体视觉***标定方法
CN113739765A (zh) * 2021-08-23 2021-12-03 中国人民解放军63660部队 一种无额外控制点的双目协同落点测量方法
US20220180086A1 (en) * 2020-12-04 2022-06-09 Hitachi, Ltd. Calibration device and calibration method
WO2022120567A1 (zh) * 2020-12-08 2022-06-16 深圳先进技术研究院 一种基于视觉引导的自动化标定***
CN114705122A (zh) * 2022-04-13 2022-07-05 成都飞机工业（集团）有限责任公司 一种大视场立体视觉标定方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107255443A (zh) * 2017-07-14 2017-10-17 北京航空航天大学 一种复杂环境下双目视觉传感器现场标定方法及装置
JP2019052983A (ja) * 2017-09-15 2019-04-04 キヤノン株式会社 校正方法、および校正装置
US20200250429A1 (en) * 2017-10-26 2020-08-06 SZ DJI Technology Co., Ltd. Attitude calibration method and device, and unmanned aerial vehicle
CN110332887A (zh) * 2019-06-27 2019-10-15 中国地质大学（武汉） 一种基于特征光标点的单目视觉位姿测量***及方法
CN110296691A (zh) * 2019-06-28 2019-10-01 上海大学 融合imu标定的双目立体视觉测量方法与***
CN111220120A (zh) * 2019-12-02 2020-06-02 上海航天控制技术研究所 一种动平台双目测距自校准方法及装置
CN111784778A (zh) * 2020-06-04 2020-10-16 华中科技大学 基于线性求解非线性优化的双目相机外参标定方法和***
US20220180086A1 (en) * 2020-12-04 2022-06-09 Hitachi, Ltd. Calibration device and calibration method
WO2022120567A1 (zh) * 2020-12-08 2022-06-16 深圳先进技术研究院 一种基于视觉引导的自动化标定***
CN113240740A (zh) * 2021-05-06 2021-08-10 四川大学 基于相位引导双目视觉密集标记点匹配的姿态测量方法
CN113538598A (zh) * 2021-07-21 2021-10-22 北京能创科技有限公司 主动立体视觉***标定方法
CN113739765A (zh) * 2021-08-23 2021-12-03 中国人民解放军63660部队 一种无额外控制点的双目协同落点测量方法
CN114705122A (zh) * 2022-04-13 2022-07-05 成都飞机工业（集团）有限责任公司 一种大视场立体视觉标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHIGANG LI 等: "Estimating Relative Pose between Nonoverlapping Cameras by Four Laser Pointers Based on General Camera Model", 《2017 4TH IAPR ASIAN CONFERENCE ON PATTERN RECOGNITION (ACPR)》 *
王硕 等: "基于共面圆的距离传感器与相机的相对位姿标定", 《自动化学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116753918A (zh) * 2023-06-19 2023-09-15 中国人民解放军61540部队 基于空天线阵传感器的地面目标位置估计方法和装置
CN116753918B (zh) * 2023-06-19 2024-03-19 中国人民解放军61540部队 基于空天线阵传感器的地面目标位置估计方法和装置

Also Published As

Publication number Publication date
CN114964316B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN110296691B (zh) 融合imu标定的双目立体视觉测量方法与***
CN109461190B (zh) 测量数据处理装置及测量数据处理方法
CN109029299B (zh) 舱段销孔对接转角的双相机测量装置及测量方法
Luna et al. Calibration of line-scan cameras
Zhang et al. A robust and rapid camera calibration method by one captured image
CN109238235B (zh) 单目序列图像实现刚***姿参数连续性测量方法
Luhmann Precision potential of photogrammetric 6DOF pose estimation with a single camera
Zhang et al. A universal and flexible theodolite-camera system for making accurate measurements over large volumes
Boochs et al. Increasing the accuracy of untaught robot positions by means of a multi-camera system
CN100376883C (zh) 一种基于像素频率的星敏感器校准方法
CN112229323B (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
CN110488838B (zh) 一种室内自主导航机器人精确重复定位方法
CN114964316B (zh) 位置姿态校准方法及装置、测量待测目标的方法、***
CN113781579B (zh) 一种全景红外相机几何标定方法
CN115014398B (zh) 单目立体视觉测量***位置姿态校准方法、装置、***
Luhmann 3D imaging: how to achieve highest accuracy
Yuan et al. A precise calibration method for line scan cameras
CN108257184B (zh) 一种基于正方形点阵合作目标的相机姿态测量方法
CN106959704B (zh) 三维形貌测量仪的控制方法及其***
Ye et al. A calibration trilogy of monocular-vision-based aircraft boresight system
CN112525161A (zh) 一种旋转轴标定方法
KR20190086951A (ko) 레이저 관측 장비를 이용한 ｍｍｓ의 캘리브레이션을 위한 장치 및 방법
CN111754584A (zh) 一种远距离大视场相机参数标定***和方法
CN113483879B (zh) 一种小卫星颤振高速视频测量方法
Oniga et al. Metric and Non-Metric Cameras Calibration for the Improvement of Real-Time Monitoring Process Results.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant