CN110689579A - 基于合作目标的快速单目视觉位姿测量方法及测量*** - Google Patents

基于合作目标的快速单目视觉位姿测量方法及测量*** Download PDF

Info

Publication number
CN110689579A
CN110689579A CN201910993526.7A CN201910993526A CN110689579A CN 110689579 A CN110689579 A CN 110689579A CN 201910993526 A CN201910993526 A CN 201910993526A CN 110689579 A CN110689579 A CN 110689579A
Authority
CN
China
Prior art keywords
checkerboard
target
image
rapid
precision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910993526.7A
Other languages
English (en)
Other versions
CN110689579B (zh
Inventor
唐小琦
刘永兴
宋宝
李鹏帅
周向东
李含嫣
王国栋
徐迪炜
肖千红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910993526.7A priority Critical patent/CN110689579B/zh
Publication of CN110689579A publication Critical patent/CN110689579A/zh
Application granted granted Critical
Publication of CN110689579B publication Critical patent/CN110689579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于光电测量技术领域,公开了一种基于合作目标的快速单目视觉位姿测量方法及测量***,标定相机内参并记录;实时获取合作目标物的图像;依实时性要求进行图像缩放;基于颜色提取的方法进行目标分割;定位色框角点,使用二维线性插值确定棋盘格角点初始位置并放大至原始尺寸;依据缩放比例进行棋盘格角点亚像素定位;依据PnP算法实现坐标转换获得棋盘格靶标位姿信息。本发明使用特殊设计的含有定位色框与高精度棋盘格的合作靶标作为目标物,其角点坐标精度高,对多点位进行均值处理可减小随机误差,通过降低分辨率的方法,结合依据靶标特性实现的快速定位算法,实现角点识别,再进行亚像素识别,提升精度。

Description

基于合作目标的快速单目视觉位姿测量方法及测量***
技术领域
本发明属于光电测量技术领域,尤其涉及一种基于合作目标的快速单目视觉位姿测量方法及测量***。尤其适用于机床、工业机械臂的末端位姿实时测量。
背景技术
目前,最接近的现有技术:
在航空、航天、航海、工业领域中,小范围内的高速高精度位姿测量是实现加工设备精度检测及高精度控制的重要条件,低成本高精度的实时位姿测量设备在现代高精度设备中需求大幅提高,如机床、机器人的精度检测及全闭环控制均需要实时测量末端位姿。
在机床、机器人等工业设备的末端位姿实时测量中,传统方法使用激光测量设备。激光测量需要配合使用高精度的测量靶标,高精度靶标制造困难、安装难度大,且激光测量设备价格昂贵,无法大规模随设备普及,多数只能使用时安装,无法对量产设备运行过程实时监测。
基于合作目标的单目位姿测量需要一种具有按照要求排布的特征点的合作目标,特征提取的难度低,特征点提取精度高,测量精度高。相对于传统测量方法,基于合作目标的单目视觉测量具有成本低、安装简单、非接触性测量、不受物体形状限制等优势。但现有的使用合作目标的单目视觉测量算法计算量大,计算时间较长,无法满足测量的实时性要求。
激光测量设备精度高,实时性高,但设备昂贵,位姿检测能力不足;传统基于合作目标的视觉测量目标物需要特殊定制,制造成本高,位置与姿态测量能力弱,实时性差,无法充分满足现代加工设备的测量需求。
综上所述,现有技术存在的问题是:
(1)激光测量设备位姿测量能力弱,缺少低成本位置及姿态测量方法。
(2)传统基于合作目标的视觉测量设备目标点位少,精度不足、位姿测量能力不足、实时性较弱。
(3)现有高精度合作目标定位方法计算量大,采样率低,无法实现实时测量。
解决上述技术问题的难度:
(1)低成本地高速高精度测量目标的空间三维位置及姿态,是现有技术的难点之一,激光测量设备无法同时测量位姿信息,视觉测量设备测量速度低。
(2)视觉测量设备中,高测量精度与高测量速度互相矛盾,在保证测量精度的前提下提高测量采样频率是现有技术难点之一。
(3)视觉测量设备在复杂工业环境下如何快速分离合作目标物、快速识别目标物信息具有一定难度。
解决上述技术问题的意义:
(1)低成本高速高精度测量目标的三维位置及姿态信息,是实现现有工业加工等领域中设备精度检测及高精度控制的重要条件。
(2)使用视觉测量设备,在保证测量精度测量范围条件下,提高测量速度即可提高测量采样频率,为动态精度检测及高精度控制提供充足数据。
(3)在复杂工业环境下快速分离目标物、快速识别目标物信息,有效降低计算量,提高计算速度,实现高速测量。
发明内容
针对现有技术存在的问题,本发明提供了一种基于合作目标的快速单目视觉位姿测量方法及测量***。本发明使用特殊设计的可快速识别角点的棋盘格靶标,依据色框标记,使用图像缩放方法,快速确定棋盘格方向,并定位棋盘格角点初始位置,再使用亚像素划分的方式提高角点定位精度,结合PNP算法实现了棋盘格靶标的快速高精位姿测量。
本发明是这样实现的,一种基于合作目标的快速单目视觉位姿测量方法包括:1)位姿测量前的相机标定。
2)获取合作目标物的图像。
3)确定缩放比例进行图像缩放。
4)基于颜色提取的图像分割。
5)使用快速角点定位方法确定棋盘格角点的初始位置。
6)棋盘格角点亚像素定位。
7)位姿计算。
进一步,基于合作目标的快速单目视觉位姿测量方法,包括:S1:获取并记录相机内参。在视觉测量之前,使用高精度棋盘格靶标标定相机内参,并记录相机内参矩阵K:
Figure BDA0002239043410000031
其中:fx、fy为表示焦距的参数,x0、y0为表示主点偏移的参数,s为表示轴倾斜的参数;
S2:使用相机实时获取合作目标物的图像。合作目标物为特殊设计的高精度棋盘格靶标,如图4所示,含有矩形色框和内部的高精度棋盘格,色框角点具有定向黑白色块标记。矩形色框用于复杂背景下的快速定位,定向黑白色块标记确定靶标方向,消除棋盘格对称性影响,高精度棋盘格结合亚像素处理获取角点的高精度亚像素坐标。
S3:依实时性要求进行图像缩放。依据实时性要求与识别率确定缩放比例,将图像缩小至合适尺寸。
S4:基于颜色提取的目标分割。原始图片为RGB空间,转换至HSV空间有利于颜色识别,提取棋盘格色框区域。将RGB图像转换至HSV空间,提取目标颜色并阈值化,将目标物与背景分离。
S5:确定棋盘格角点初始位置。提取目标颜色区域外轮廓,进行四边形拟合,识别出色框角点像素坐标。比较四个色框角点定向黑白色块标记处的灰度值,确定棋盘格方向。依据色框角点与棋盘格角点的坐标关系,使用二维线性插值方法计算出棋盘格角点的初始位置。将识别的棋盘格角点初始位置依据缩放比还原至原始尺寸。
S6:棋盘格角点亚像素定位。依据图片缩放比例确定亚像素搜索范围,进行角点的亚像素精确识别,获得棋盘格图像坐标系下的坐标矩阵Pu。
S7:坐标转换获得棋盘格靶标位姿信息。输入棋盘格目标物的物理尺寸及棋盘格行列数计算得到世界坐标矩阵Po。使用视觉测量中PnP(pespective-n-point)算法,将棋盘格对应的世界坐标系下的坐标矩阵Po、图像坐标系下的坐标矩阵Pu、相机内参矩阵K作为PnP算法参数(公式1),获取棋盘格相对于相机坐标系的位姿关系矩阵:平移矩阵(T)、旋转矩阵(R),完成目标物的姿态确定。利用公式(2)结合世界坐标矩阵Po计算出目标物角点在相机坐标系下的坐标Pc。对Pc均值处理,获得目标物中心点的坐标,完成目标的位置确定。
[R,T]=PnP(Po,Pu,K) (1)
Pc=(R×PoT+T)T (2)
进一步,S3中依据实时性要求确定图像缩放比例k(缩放比例k取1/2、1/4、1/8时,缩放操作计算速度快),对图像使用快速缩小算法进行尺寸压缩,降低图像分辨率,提高处理速度。
进一步,S5中提取外轮廓,进行四边形拟合,获得拟合四边形的四个角点坐标,依据坐标关系确定此时定向黑白标记色块的坐标位姿,计算四个角点对应的标记色块的灰度值即可确定棋盘格的方向。
当棋盘格方向确定时,依据色框角点坐标与棋盘格角点坐标的关系,使用二维线性插值方法计算出棋盘格角点对应的坐标位置。最后,依据图片缩放比例k将识别的棋盘格角点初始位置依据缩放比还原至原始尺寸。
由于采用降低分辨率的方法进行计算加速,该方法对棋盘格初步识别精度降低,棋盘格角点在获得的像素坐标为中心的k×k的矩形内,而无法确定精确像素位置。
进一步,S6中使用亚像素角点处理算法,由于S5中识别精度的降低,在亚像素处理中需要对算法参数中的寻找范围进行适当的扩大,实现棋盘格角点的精确识别。角点识别精度可达到0.1像素至0.01像素,大幅提高视觉测量精度,亚像素角点处理算法的处理精度处理时间与算法迭代次数有关。依据实时性要求,选用合适的迭代精度与次数控制阈值,获取适当的计算时间,以满足亚像素处理算法对精度与实时性的要求。
本发明的另一目的在于提供一种实现所述基于合作目标的快速单目视觉位姿测量方法的信息数据处理终端。
本发明的另一目的在于提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行所述的基于合作目标的快速单目视觉位姿测量方法。
本发明的另一目的在于提供一种实现所述基于合作目标的快速单目视觉位姿测量方法的基于合作目标的快速单目视觉位姿测量***,所述基于合作目标的快速单目视觉位姿测量***包括:
相机标定模块,用于步位姿测量前的相机标定;
合作目标物图像获取模块,用于获取合作目标物的图像;
图像缩放模块,用于确定缩放比例进行图像缩放;
图像分割模块,用于基于颜色提取的图像分割;
初始位置确定模块,用于使用快速角点定位方法确定棋盘格角点的初始位置;
亚像素定位模块,用于棋盘格角点亚像素定位;
位姿计算模块,用于位姿计算。
综上所述,本发明的优点及积极效果为:
与传统方法相比具有以下优势:
Figure BDA0002239043410000061
本发明提供的基于合作目标的快速单目视觉位姿测量方法在视觉测量之前,使用高精度棋盘格靶标标定相机内参并记录;使用相机实时获取合作目标物的图像;依实时性要求进行图像缩放;基于颜色提取的方法进行目标分割;定位色框角点,依据定向标记确定棋盘格方向,使用二维线性插值确定棋盘格角点初始位置并放大至原始尺寸;依据缩放比例进行棋盘格角点亚像素定位;依据PnP算法实现坐标转换获得棋盘格靶标位姿信息。本发明使用特殊设计的含有定位色框与高精度棋盘格的合作靶标作为目标物,其角点坐标精度高,对多点位进行均值处理可减小随机误差,通过降低分辨率的方法,结合依据靶标特性实现的快速定位算法,实现角点识别,再进行亚像素识别,提升精度。该方法在保证识别精度情况下提高角点坐标处理速度,满足小范围高精度快速视觉测量的实时性要求。
相比于现有技术,本发明的优点进一步包括:
本发明测量精度高。使用高精度棋盘格目标物可获得目标物在相机坐标系下的位置与姿态,在小范围测量(20cm*20cm*20cm)中具有较高的精度,测量精度可达0.01mm,将棋盘格目标物固定在测量目标上即可广泛应用于现代工业设备(机床、工业机械臂)测量中,满足现代工业设备对小范围高精度的位姿测量需求。相对于传统测量设备,该方法所需的设备成本低,位姿测量精度高。相对于传统单目视觉测量方法,高精度棋盘格目标物角点精度高,多点位均值处理可减小随机误差。
本发明测量速度快。使用特殊设计的含有定位色框与高精度棋盘格的合作靶标作为目标物。通过降低分辨率的方法以及依据靶标特性实现的快速定位算法进行角点识别再进行亚像素识别的方法在保证识别精度的前提下使得目标物角点识别时间大幅缩短,实现高像素图片的快速处理,速度可达50帧/秒,满足一般情况下测量设备的实时性要求。
附图说明
图1是本发明实施例提供的基于合作目标的快速单目视觉位姿测量方法流程图。
图2是本发明实施例提供的基于合作目标的快速单目视觉位姿测量方法具体实施方式流程图。
图3是本发明实施例提供的快速亚像素角点定位流程图。
图4是本发明实施例提供的特殊设计的棋盘格靶标示意图。
图5是本发明实施例提供的基于合作目标的快速单目视觉位姿测量***示意图。
图中:1、相机标定模块;2、合作目标物图像获取模块;3、图像缩放模块;4、图像分割模块;5、初始位置确定模块;6、亚像素定位模块;7、位姿计算模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
传统基于合作目标的视觉测量设备目标点位少,精度不足、位姿测量能力不足、实时性较弱。而且现有激光测量设备昂贵,成本高。
针对现有技术存在的问题,本发明提供了一种基于合作目标的快速单目视觉位姿测量方法及测量***,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的基于合作目标的快速单目视觉位姿测量方法主要流程有:
S101,位姿测量前的相机标定。
S102,获取合作目标物的图像。
S103,确定缩放比例进行图像缩放。
S104,基于颜色提取的图像分割。
S105,使用快速角点定位方法确定棋盘格角点的初始位置。
S106,棋盘格角点亚像素定位。
S107,位姿计算。
下面结合具体实施例对本发明作进一步描述。
实施例
本实例以具有红色色框的棋盘格数量9*12的棋盘格标靶为目标物,棋盘格排列方式见附图4,角点数目为8*11,棋盘格边长3mm。使用1100万像素摄像头为图像采集设备,图像尺寸为3840像素*2880像素。
如图2所示,本发明实施例提供的基于合作目标的快速单目视觉位姿测量方法具体实施步骤如下所示:
S1:在进行位姿测量之前,使用棋盘格目标靶依据张氏相机标定方法对使用的相机进行标定,获得相机内参矩阵为:
满足
Figure BDA0002239043410000082
形式,其中主点偏移为[1738.24272878019;1502.02983971068]像素。
S2:使用相机获取含有合作目标物的图像,棋盘格与相机夹角小于30度,处于相机成像清晰处,图像占整画幅1/9以上。
S3:依据测试,缩小后图片长度为500像素时计算速度与准确率较为平衡,获得缩放比例k为500/3880=0.1289,取k=0.125时,可实现快速缩放。
S4:基于颜色提取的目标分割,将RGB图片转换至HSV空间,本示例使用具有红色色框的目标物,红色的HSV阈值为[0,10]∪[156,180],为保证效果,进行适当扩大,识别阈值设置为[0,15]∪[140,180]。识别红色并阈值化,将色框与背景分离,降低运算量。
S5:提取S4中阈值化后图像中的外轮廓,首先轮廓面积法去噪,去除面积较小的红色干扰,剩余轮廓进行四边形拟合,定位出合作目标物的色框角点像素坐标。
使用二维线性插值依据色框角点坐标确定定向色块坐标,取合适大小色块获得灰度化均值,并排序比较,依据排序结果对色框角点重新排序,使其满足棋盘格方向要求。依据色框角点与棋盘格角点的坐标关系,使用二维线性插值计算出棋盘格角点初始位置,依据缩放比例k=0.125还原至原始尺寸。将所有棋盘格角点顺序排列为88行2列的矩阵Pu棋盘格图像坐标系下的坐标矩阵。
此外,若对压缩图片进行棋盘格角点处理失败,则按照流程图所示不进行坐标缩放、坐标变换等操作,直接返回错误信息。
S6:棋盘格角点亚像素定位(如图3)。使用压缩加速算法使获得的角点位置精度降低,将亚像素处理算法中有关寻找范围的参数进行适当的扩大,初始寻找范围设置为[3,3],本实例中,缩放比例k=0.125,本示例寻找范围为[3,3]/k即[24,24],即在像素精度所示的角点位置为中心点取应该边长为[24*2+1,24*2+1]=[49,49]的矩形窗口内寻找亚像素角点。
由于本发明对角点识别的精度要求较高,本实例中迭代次数设置为200,迭代控制精度为0.01。
S7:单个棋盘格方块的边长尺寸为3mm,按照棋盘格排列顺序计算获得角点的世界坐标系的数组。其中棋盘格角点数量为11*8,棋盘格边长尺寸为3mm,将棋盘格放在世界坐标下zw=0平面上,按顺序排列为88行3列的矩阵Po。
使用PnP算法,获取棋盘格相对相机坐标系的位姿关系矩阵:平移矩阵(T矩阵)、旋转矩阵(R矩阵)。将棋盘格角点的亚像素坐标、棋盘格角点的世界坐标、相机的内参参数矩阵代入PnP算法,获得平移矩阵(T矩阵)、旋转矩阵(R矩阵)。
利用公式(2)(Pc=(R×PoT+T)T)结合目标物的世界坐标矩阵Po计算出目标物角点在相机坐标系下的坐标Pc。
将目标物角点在相机坐标系下的坐标Pc进行均值处理,降低随机误差的影响,提高提高视觉识别的精度,获得棋盘格中心点在相机坐标系下的坐标R矩阵即为棋盘格在相机坐标系下的旋转矩阵。
作为优选实施例,步骤S7进一步实施如下步骤:坐标转换获得棋盘格靶标位姿信息。输入棋盘格目标物的物理尺寸及棋盘格行列数计算得到世界坐标矩阵Po。使用视觉测量中PnP(pespective-n-point)算法,将棋盘格对应的世界坐标系下的坐标矩阵Po、图像坐标系下的坐标矩阵Pu、相机内参矩阵K作为PnP算法参数(公式1),获取棋盘格相对于相机坐标系的位姿关系矩阵:平移矩阵(T)、旋转矩阵(R),完成目标物的姿态确定。利用公式(2)结合世界坐标矩阵Po计算出目标物角点在相机坐标系下的坐标Pc。对Pc均值处理,获得目标物中心点的坐标,完成目标的位置确定。
[R,T]=PnP(Po,Pu,K) (1)
Pc=(R×PoT+T)T (2)
Figure BDA0002239043410000102
对同一位置进行重复多次测量,对结果进行精度分析,可得Z向范围为50-150mm时,本实例的测量精度可达0.005mm,与传统视觉测量设备相比精度较高,计算时间约20ms,可满足一般情况下的实时性测量需求。
本发明的基于合作目标的单目视觉实时位姿测量方法,扩展了现代工业设备对小范围高速高精度测量的方法选择。本发明使用特殊设计的具有色框及方向标记的棋盘格靶标作为合作目标,角点亚像素检测精度高,对多角点进行均值处理减小随机误差,能够实时测量目标物的位置信息与姿态信息,为设备的控制提供反馈数据。本发明可用于可设置合作目标的位姿测量领域,例如机床定位精度的测量、工业机械臂的末端定位精度的测量、装配零件之间的位置关系测量等。
如图5所示,本发明基于合作目标的快速单目视觉位姿测量***包括:
相机标定模块1,用于步位姿测量前的相机标定。
合作目标物图像获取模块2,用于获取合作目标物的图像。
图像缩放模块3,用于确定缩放比例进行图像缩放。
图像分割模块4,用于基于颜色提取的图像分割。
初始位置确定模块5,用于使用快速角点定位方法确定棋盘格角点的初始位置。
亚像素定位模块6,用于棋盘格角点亚像素定位。
位姿计算模块7,用于位姿计算。
下面结合具体实施实例对本发明作进一步描述。
实施例
1、软硬件组成部分
硬件部分主要有相机型号、标定板数据、计算机相关配置。
表1相机相关参数
Figure BDA0002239043410000111
表2棋盘格标定板相关参数
表3图像处理计算配置参数
Figure BDA0002239043410000121
表4软件版本
Figure BDA0002239043410000122
2、相机标定
在进行位姿测量之前,使用棋盘格目标靶依据张氏相机标定方法对使用的相机进行标定,获得相机内参矩阵为:
Figure BDA0002239043410000123
3、具体测量过程
3.1图像获取
使用相机获取含有合作目标物的图像,棋盘格与相机夹角小于30度,处于相机成像清晰处,图像占整画幅1/9以上。
3.2图像缩放
本实例中,缩小后图片长度为500像素左右时计算速度与准确率较为平衡,获得缩放比例k为500/3880=0.1289,取k=0.125。
3.3目标分割提取
基于颜色提取的目标分割,将RGB图片转换至HSV空间,本示例使用具有红色色框的目标物,红色的HSV阈值为[0,10]∪[156,180],为保证效果,进行适当扩大,识别阈值设置为[0,15]∪[140,180]。识别红色并阈值化,将色框与背景分离,降低运算量。
提取上一步中阈值化后图像中的外轮廓,首先轮廓面积法去噪,去除面积较小的红色干扰,剩余轮廓进行四边形拟合,定位出合作目标物的色框角点像素坐标。
使用二维线性插值依据色框角点坐标确定定向色块坐标,依据色框角点与棋盘格角点的坐标关系,使用二维线性插值计算出棋盘格角点初始位置,依据缩放比例k=0.125还原至原始尺寸。将所有棋盘格角点顺序排列为88行2列的矩阵Pu棋盘格图像坐标系下的坐标矩阵。
3.4亚像素定位
亚像素处理算法初始寻找范围为[3,3],在本实例中,缩放比例k=0.125,本示例寻找范围为[3,3]/k即[24,24],即在像素精度所示的角点位置为中心点取应该边长为[24*2+1,24*2+1]=[49,49]的矩形窗口内寻找亚像素角点。本实例中亚像素计算迭代次数设置为200,迭代控制精度为0.01。
3.5位姿计算
单个棋盘格方块的边长尺寸为3mm,按照棋盘格排列顺序计算获得角点的世界坐标系的数组。其中棋盘格角点数量为11*8,棋盘格边长尺寸为3mm,将棋盘格放在世界坐标下zw=0平面上,按顺序排列为88行3列的矩阵Po。
使用PnP算法,获取棋盘格相对相机坐标系的位姿关系矩阵:平移矩阵(T矩阵)、旋转矩阵(R矩阵)。将棋盘格角点的亚像素坐标、棋盘格角点的世界坐标、相机的内参参数矩阵代入PnP算法,获得平移矩阵(T矩阵)、旋转矩阵(R矩阵)。
利用公式计算出目标物角点在相机坐标系下的坐标Pc。
表4
X/mm Y/mm Z/mm
Pc -16.1532515 2.271247021 135.2428603
对同一位置进行重复多次测量,对结果进行精度分析,可得Z向距离约为135mm时,本实例的测量结果的标准差为0.004096676mm,本***实例的测量精度可达0.005mm,与传统视觉测量设备相比精度较高,计算时间约20ms,可满足一般情况下的实时性测量需求。
表5多次测量结果数据及分析
Figure BDA0002239043410000131
Figure BDA0002239043410000141
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于合作目标的快速单目视觉位姿测量方法,其特征在于,所述基于合作目标的快速单目视觉位姿测量方法包括以下步骤:
步骤一,位姿测量前的相机标定;
步骤二,获取合作目标物的图像;
步骤三,确定缩放比例进行图像缩放;
步骤四,基于颜色提取的图像分割;
步骤五,使用快速角点定位方法确定棋盘格角点的初始位置;
步骤六,棋盘格角点亚像素定位;
步骤七,位姿计算。
2.如权利要求1所述的基于合作目标的快速单目视觉位姿测量方法,其特征在于,步骤一具体包括:在视觉测量前,使用高精度棋盘格靶标标定相机内参并记录;并记录相机内参矩阵K:
Figure RE-FDA0002295995440000011
其中:fx、fy为表示焦距的参数,x0、y0为表示主点偏移的参数,s为表示轴倾斜的参数。
3.如权利要求1所述的基于合作目标的快速单目视觉位姿测量方法,其特征在于,步骤二具体包括:使用相机实时获取合作目标物的图像;合作目标物为高精度棋盘格靶标,含有矩形色框和内部的高精度棋盘格,色框角点具有不同颜色定向色块标记;矩形色框用于复杂背景下的快速定位,定向色块标记确定靶标方向,消除棋盘格对称性影响,高精度棋盘格结合亚像素处理获取角点的高精度亚像素坐标。
4.如权利要求1所述的基于合作目标的快速单目视觉位姿测量方法,其特征在于,步骤三具体包括:依实时性要求进行图像缩放,依据实时性要求与识别率确定缩放比例k取1/2、1/4、1/8,对图像使用快速缩小算法进行尺寸压缩;
步骤四具体包括:原始图片为RGB空间,转换至HSV空间有进行颜色识别,并提取棋盘格色框区域,将RGB图像转换至HSV空间,提取目标颜色并阈值化,将目标物与背景分离。
5.如权利要求1所述的基于合作目标的快速单目视觉位姿测量方法,其特征在于,步骤五具体包括:提取目标颜色区域外轮廓,进行四边形拟合,识别出色框角点像素坐标;比较四个色框角点定向黑白色块标记处的灰度值,确定棋盘格方向;依据色框角点与棋盘格角点的坐标关系,使用二维线性插值方法计算出棋盘格角点的初始位置;将识别的棋盘格角点初始位置依据缩放比还原至原始尺寸。
6.如权利要求5所述的基于合作目标的快速单目视觉位姿测量方法,其特征在于,提取外轮廓,进行四边形拟合,获得拟合四边形的四个角点坐标,依据坐标关系确定此时定向黑白标记色块的坐标位姿,计算四个角点对应的标记色块的灰度值确定棋盘格的方向;
棋盘格方向确定时,依据色框角点坐标与棋盘格角点坐标的关系,使用二维线性插值方法计算出棋盘格角点对应的坐标位置;最后,依据图片缩放比例k将识别的棋盘格角点初始位置依据缩放比还原至原始尺寸。
7.如权利要求1所述的基于合作目标的快速单目视觉位姿测量方法,其特征在于,步骤六具体包括:依据图片缩放比例确定亚像素搜索范围,进行角点的亚像素精确识别,获得棋盘格图像坐标系下的坐标矩阵Pu。
8.如权利要求1所述的基于合作目标的快速单目视觉位姿测量方法,其特征在于,步骤七具体包括:输入棋盘格目标物的物理尺寸及棋盘格行列数计算得到世界坐标矩阵Po;使用视觉测量中PnP算法,将棋盘格对应的世界坐标系下的坐标矩阵Po、图像坐标系下的坐标矩阵Pu、相机内参矩阵K作为PnP算法参数公式(1),获取棋盘格相对于相机坐标系的位姿关系矩阵:平移矩阵(T)、旋转矩阵(R),完成目标物的姿态确定;利用公式(2)结合世界坐标矩阵Po计算出目标物角点在相机坐标系下的坐标Pc;对Pc均值处理,获得目标物中心点的坐标,完成目标的位置确定;
[R,T]=PnP(Po,Pu,K) (1);
Pc=(R×PoT+T)T (2);
9.一种实现权利要求1~8任意一项所述基于合作目标的快速单目视觉位姿测量方法的信息数据处理终端。
10.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1-8任意一项所述的基于合作目标的快速单目视觉位姿测量方法。
11.一种实现权利要求1~8任意一项所述基于合作目标的快速单目视觉位姿测量方法的基于合作目标的快速单目视觉位姿测量***,其特征在于,所述基于合作目标的快速单目视觉位姿测量***包括:
相机标定模块,用于步位姿测量前的相机标定;
合作目标物图像获取模块,用于获取合作目标物的图像;
图像缩放模块,用于确定缩放比例进行图像缩放;
图像分割模块,用于基于颜色提取的图像分割;
初始位置确定模块,用于使用快速角点定位方法确定棋盘格角点的初始位置;
亚像素定位模块,用于棋盘格角点亚像素定位;
位姿计算模块,用于位姿计算。
CN201910993526.7A 2019-10-18 2019-10-18 基于合作目标的快速单目视觉位姿测量方法及测量*** Active CN110689579B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910993526.7A CN110689579B (zh) 2019-10-18 2019-10-18 基于合作目标的快速单目视觉位姿测量方法及测量***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910993526.7A CN110689579B (zh) 2019-10-18 2019-10-18 基于合作目标的快速单目视觉位姿测量方法及测量***

Publications (2)

Publication Number Publication Date
CN110689579A true CN110689579A (zh) 2020-01-14
CN110689579B CN110689579B (zh) 2022-08-30

Family

ID=69113287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910993526.7A Active CN110689579B (zh) 2019-10-18 2019-10-18 基于合作目标的快速单目视觉位姿测量方法及测量***

Country Status (1)

Country Link
CN (1) CN110689579B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111531547A (zh) * 2020-05-26 2020-08-14 华中科技大学 一种基于视觉测量的机器人标定及检测方法
CN111604598A (zh) * 2020-05-06 2020-09-01 大连理工大学 一种机械臂进给式激光刻蚀***的对刀方法
CN111784779A (zh) * 2020-06-15 2020-10-16 南京理工大学 基于卷积神经网络和嵌套轮廓识别的棋盘格图像识别定位***及方法
CN111814918A (zh) * 2020-08-31 2020-10-23 中国计量大学 一种合作靶标及靶标识别方法
CN111833405A (zh) * 2020-07-27 2020-10-27 北京大华旺达科技有限公司 基于机器视觉的标定识别方法及装置
CN111882615A (zh) * 2020-07-30 2020-11-03 珠海市新德汇信息技术有限公司 基于特征色块的卡片方向识别方法、装置及自助设备
CN112146834A (zh) * 2020-09-30 2020-12-29 石家庄铁道大学 结构振动位移测量方法及装置
CN112200778A (zh) * 2020-09-27 2021-01-08 桂林量具刃具有限责任公司 一种非接触式多线缆类型参数测量的方法及***
CN112229323A (zh) * 2020-09-29 2021-01-15 华南农业大学 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
CN112241697A (zh) * 2020-10-10 2021-01-19 上海欧菲智能车联科技有限公司 角点颜色判定方法、装置、终端设备及可读存储介质
CN112258455A (zh) * 2020-09-28 2021-01-22 上海工程技术大学 基于单目视觉检测零件空间位置的检测方法
CN112284330A (zh) * 2020-11-18 2021-01-29 青岛科美创视智能科技有限公司 一种基于鱼眼摄像机的距离测量***及方法
CN112465898A (zh) * 2020-11-20 2021-03-09 上海交通大学 一种基于棋盘格标定板的物体3d位姿标签获取方法
CN112785656A (zh) * 2021-01-29 2021-05-11 北京罗克维尔斯科技有限公司 双立体相机的标定方法及装置、电子设备及存储介质
CN113043334A (zh) * 2021-02-23 2021-06-29 上海埃奇机器人技术有限公司 一种基于机器人的光伏电池串定位方法
CN113112552A (zh) * 2021-04-23 2021-07-13 上汽大通汽车有限公司 一种基于深度学习语义分割的棋盘格检查方法
CN113240747A (zh) * 2021-04-21 2021-08-10 浙江大学 一种基于计算机视觉的户外结构振动位移自动化监测方法
CN113393538A (zh) * 2021-07-14 2021-09-14 南京苏润科技发展有限公司 一种基于双棋盘格标定的闸门门缝检测方法
CN113405528A (zh) * 2021-06-18 2021-09-17 天津市勘察设计院集团有限公司 全站仪辅助的球机姿态测量与整平方法及装置
CN113834638A (zh) * 2021-09-03 2021-12-24 大连中科创达软件有限公司 视场角确定方法、装置、设备及存储介质
CN114511498A (zh) * 2021-12-27 2022-05-17 中国航天空气动力技术研究院 基于单目视觉的螺旋桨振动测量方法
CN114910076A (zh) * 2022-05-20 2022-08-16 泉州装备制造研究所 一种基于gps和imu信息的户外摄像机定位方法及装置
US11423576B1 (en) 2021-07-23 2022-08-23 Ford Global Technologies, Llc Infrastructure node localization with respect to alternative frame of reference
CN115147411A (zh) * 2022-08-30 2022-10-04 启东赢维数据信息科技有限公司 一种基于人工智能的贴标机智能定位方法
CN114926526B (zh) * 2022-05-23 2023-05-05 南京航空航天大学 一种基于变焦相机的位姿测量方法
CN116592899A (zh) * 2023-04-28 2023-08-15 哈尔滨工业大学 一种基于模块化红外靶标的位姿测量***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104729534A (zh) * 2015-03-12 2015-06-24 北京空间飞行器总体设计部 合作目标的单目视觉误差测量***及误差限量化方法
CN108257184A (zh) * 2017-12-28 2018-07-06 中国科学院西安光学精密机械研究所 一种基于正方形点阵合作目标的相机姿态测量方法
CN108510543A (zh) * 2018-03-23 2018-09-07 湖南科技大学 一种棋盘格图像特征中心亚像素定位方法
CN108648240A (zh) * 2018-05-11 2018-10-12 东南大学 基于点云特征地图配准的无重叠视场相机姿态标定方法
WO2019058582A1 (ja) * 2017-09-21 2019-03-28 株式会社日立製作所 距離推定装置及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104729534A (zh) * 2015-03-12 2015-06-24 北京空间飞行器总体设计部 合作目标的单目视觉误差测量***及误差限量化方法
WO2019058582A1 (ja) * 2017-09-21 2019-03-28 株式会社日立製作所 距離推定装置及び方法
CN108257184A (zh) * 2017-12-28 2018-07-06 中国科学院西安光学精密机械研究所 一种基于正方形点阵合作目标的相机姿态测量方法
CN108510543A (zh) * 2018-03-23 2018-09-07 湖南科技大学 一种棋盘格图像特征中心亚像素定位方法
CN108648240A (zh) * 2018-05-11 2018-10-12 东南大学 基于点云特征地图配准的无重叠视场相机姿态标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李若尘 等: ""一种单目物体六自由度位姿检测方法"", 《光学与光电技术》 *
王震 等: ""单目运动目标的位姿实时测量方法"", 《测绘科学》 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111604598A (zh) * 2020-05-06 2020-09-01 大连理工大学 一种机械臂进给式激光刻蚀***的对刀方法
CN111604598B (zh) * 2020-05-06 2021-04-20 大连理工大学 一种机械臂进给式激光刻蚀***的对刀方法
CN111531547A (zh) * 2020-05-26 2020-08-14 华中科技大学 一种基于视觉测量的机器人标定及检测方法
CN111531547B (zh) * 2020-05-26 2021-10-26 华中科技大学 一种基于视觉测量的机器人标定及检测方法
CN111784779A (zh) * 2020-06-15 2020-10-16 南京理工大学 基于卷积神经网络和嵌套轮廓识别的棋盘格图像识别定位***及方法
CN111833405A (zh) * 2020-07-27 2020-10-27 北京大华旺达科技有限公司 基于机器视觉的标定识别方法及装置
CN111833405B (zh) * 2020-07-27 2023-12-08 北京大华旺达科技有限公司 基于机器视觉的标定识别方法及装置
CN111882615B (zh) * 2020-07-30 2024-03-12 珠海市新德汇信息技术有限公司 基于特征色块的卡片方向识别方法、装置及自助设备
CN111882615A (zh) * 2020-07-30 2020-11-03 珠海市新德汇信息技术有限公司 基于特征色块的卡片方向识别方法、装置及自助设备
CN111814918A (zh) * 2020-08-31 2020-10-23 中国计量大学 一种合作靶标及靶标识别方法
CN111814918B (zh) * 2020-08-31 2020-12-29 中国计量大学 一种合作靶标及靶标识别方法
CN112200778A (zh) * 2020-09-27 2021-01-08 桂林量具刃具有限责任公司 一种非接触式多线缆类型参数测量的方法及***
CN112258455A (zh) * 2020-09-28 2021-01-22 上海工程技术大学 基于单目视觉检测零件空间位置的检测方法
CN112229323A (zh) * 2020-09-29 2021-01-15 华南农业大学 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
CN112146834A (zh) * 2020-09-30 2020-12-29 石家庄铁道大学 结构振动位移测量方法及装置
CN112146834B (zh) * 2020-09-30 2022-10-14 石家庄铁道大学 结构振动位移测量方法及装置
CN112241697A (zh) * 2020-10-10 2021-01-19 上海欧菲智能车联科技有限公司 角点颜色判定方法、装置、终端设备及可读存储介质
CN112284330A (zh) * 2020-11-18 2021-01-29 青岛科美创视智能科技有限公司 一种基于鱼眼摄像机的距离测量***及方法
CN112465898B (zh) * 2020-11-20 2023-01-03 上海交通大学 一种基于棋盘格标定板的物体3d位姿标签获取方法
CN112465898A (zh) * 2020-11-20 2021-03-09 上海交通大学 一种基于棋盘格标定板的物体3d位姿标签获取方法
CN112785656A (zh) * 2021-01-29 2021-05-11 北京罗克维尔斯科技有限公司 双立体相机的标定方法及装置、电子设备及存储介质
CN112785656B (zh) * 2021-01-29 2023-11-10 北京罗克维尔斯科技有限公司 双立体相机的标定方法及装置、电子设备及存储介质
CN113043334A (zh) * 2021-02-23 2021-06-29 上海埃奇机器人技术有限公司 一种基于机器人的光伏电池串定位方法
CN113240747B (zh) * 2021-04-21 2022-08-26 浙江大学 一种基于计算机视觉的户外结构振动位移自动化监测方法
CN113240747A (zh) * 2021-04-21 2021-08-10 浙江大学 一种基于计算机视觉的户外结构振动位移自动化监测方法
CN113112552B (zh) * 2021-04-23 2022-05-27 上汽大通汽车有限公司 一种基于深度学习语义分割的棋盘格检查方法
CN113112552A (zh) * 2021-04-23 2021-07-13 上汽大通汽车有限公司 一种基于深度学习语义分割的棋盘格检查方法
CN113405528A (zh) * 2021-06-18 2021-09-17 天津市勘察设计院集团有限公司 全站仪辅助的球机姿态测量与整平方法及装置
CN113393538A (zh) * 2021-07-14 2021-09-14 南京苏润科技发展有限公司 一种基于双棋盘格标定的闸门门缝检测方法
CN113393538B (zh) * 2021-07-14 2024-05-28 南京苏润科技发展有限公司 一种基于双棋盘格标定的闸门门缝检测方法
US11423576B1 (en) 2021-07-23 2022-08-23 Ford Global Technologies, Llc Infrastructure node localization with respect to alternative frame of reference
CN113834638A (zh) * 2021-09-03 2021-12-24 大连中科创达软件有限公司 视场角确定方法、装置、设备及存储介质
CN113834638B (zh) * 2021-09-03 2024-05-24 大连中科创达软件有限公司 视场角确定方法、装置、设备及存储介质
CN114511498A (zh) * 2021-12-27 2022-05-17 中国航天空气动力技术研究院 基于单目视觉的螺旋桨振动测量方法
CN114910076A (zh) * 2022-05-20 2022-08-16 泉州装备制造研究所 一种基于gps和imu信息的户外摄像机定位方法及装置
CN114910076B (zh) * 2022-05-20 2024-04-05 泉州装备制造研究所 一种基于gps和imu信息的户外摄像机定位方法及装置
CN114926526B (zh) * 2022-05-23 2023-05-05 南京航空航天大学 一种基于变焦相机的位姿测量方法
CN115147411A (zh) * 2022-08-30 2022-10-04 启东赢维数据信息科技有限公司 一种基于人工智能的贴标机智能定位方法
CN116592899A (zh) * 2023-04-28 2023-08-15 哈尔滨工业大学 一种基于模块化红外靶标的位姿测量***
CN116592899B (zh) * 2023-04-28 2024-03-29 哈尔滨工业大学 一种基于模块化红外靶标的位姿测量***

Also Published As

Publication number Publication date
CN110689579B (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN110689579B (zh) 基于合作目标的快速单目视觉位姿测量方法及测量***
CN108734744B (zh) 一种基于全站仪的远距离大视场双目标定方法
JP3735344B2 (ja) キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
CN109801333B (zh) 体积测量方法、装置、***及计算设备
Kurka et al. Applications of image processing in robotics and instrumentation
CN111667536A (zh) 一种基于变焦相机深度估计的参数标定方法
CN112132907B (zh) 一种相机标定方法、装置、电子设备及存储介质
CN110223355B (zh) 一种基于双重极线约束的特征标志点匹配方法
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN109448043A (zh) 平面约束下的立木高度提取方法
CN113119129A (zh) 一种基于标准球的单目测距定位方法
CN110930382A (zh) 基于标定板特征点提取的点云拼接精度评估方法及***
CN111707187A (zh) 一种大型零件的测量方法及***
CN111524193B (zh) 一种物体二维尺寸的测量方法及测量装置
Ding et al. A robust detection method of control points for calibration and measurement with defocused images
CN111637851A (zh) 一种基于Aruco码的平面旋转角度视觉测量方法及装置
CN109974618A (zh) 多传感器视觉测量***的全局标定方法
CN114037987A (zh) 一种废钢智能识别方法、装置、介质及设备
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及***
CN113963067A (zh) 一种采用小靶标对大视场视觉传感器进行标定的标定方法
CN110458951B (zh) 一种电网杆塔的建模数据获取方法及相关装置
CN116205993A (zh) 一种用于3d aoi的双远心镜头高精度标定方法
CN113506347B (zh) 一种基于单幅照片的相机内参处理方法及***
CN116125489A (zh) 一种室内物体三维检测方法、计算机设备及存储介质
CN116091401A (zh) 基于目标检测和复合目标码的航天器装配件识别定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant