CN110443879B

CN110443879B - 一种基于神经网络的透视误差补偿方法

Info

Publication number: CN110443879B
Application number: CN201910672485.1A
Authority: CN
Inventors: 余文勇; 来锐; 田小天
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2019-07-24
Filing date: 2019-07-24
Publication date: 2021-06-11
Anticipated expiration: 2039-07-24
Also published as: CN110443879A

Abstract

本发明属于机器人视觉测量领域，并公开了一种基于神经网络的透视误差补偿方法。该方法包括下列步骤：(a)计算标定棋盘的正投影和预设角度之间像素坐标转换的透视变换矩阵；(b)对在预设角度下标定棋盘上每个点的像素坐标进行透视变换获得透视像素坐标，调整透视像素坐标获得每个点的参考坐标；(c)以透视像素坐标为输入，每个点的参考坐标与其在正投影下的像素坐标之差为输出，训练神经网络结构获得神经网络模型；(d)对于机器人视觉测量过程中的待补偿点，将其透视像素坐标输入神经网络模型中获得误差补偿值，对透视像素坐标进行补偿获得最终所需的像素坐标值，以此实现透视误差补偿。通过本发明，提高透视误差补偿精度，简化补偿过程。

Description

一种基于神经网络的透视误差补偿方法

技术领域

本发明属于机器人视觉测量领域，更具体地，涉及一种基于神经网络的透视误差补偿方法。

背景技术

透视变换是中心投影的射影变换，在用非齐次射影坐标表达时是平面的分式线性变换。透视变换常用在移动机器人视觉导航研究中，由于摄像机与地面之间有一倾斜角，而不是直接垂直朝下(正投影)，有时希望将图像校正成正投影的形式，就需要利用透视变换。

把空间坐标系中的三维物体或对象转变为二维图像表示的过程称为投影变换，根据投影中心与投影平面之间距离的不同，投影可分为平行投影和透视投影，透视投影即透视变换，平行投影的投影中心与投影平面之间的距离为无穷大，而对透视变换而言，此距离是有限的，透视投影具有透视缩小效应的特点，即三维物体或对象透视投影的大小与形体到投影中心的距离成反比。例如，等长的两直线段都平行于投影面，但离投影中心近的线段透视投影大，而离投影中心远的线段透视投影小，该效应所产生的视觉效果与人的视觉***类似，与平行投影相比，透视投影的深度感更强，看上去更真实，但透视投影图不能真实地反映物体的精确尺寸和形状。

在传统的机器视觉测量***中，为了获得物体的长度、距离等信息，需要首先通过标定，确定平面像素坐标与世界坐标之间的变换矩阵，然后根据图像中点的像素坐标，获取被测物体的相关参数，然而在成像过程中，由于存在被测物偏离标定平面的情况以及相机内部的成像误差，便会造成透视投影成像误差，对于相机内部的成像误差，多采用传统相机畸变模型以及张氏标定法进行误差补偿，以前的方法大多采用对各种误差分别补偿的策略，不仅忽略了它们之间的耦合性，而且使得误差补偿过程复杂冗长，实际应用困难，因此，目前急需一种误差补偿过程简单，实际应用方便的误差补偿方法。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于神经网络的透视误差补偿方法，其目的在于通过神经网络算法对在机器人视觉神经网络中获得的图像进行透视误差补偿，由此解决现有的透视误差补偿过程中的计算复杂，精度低的技术问题。

为实现上述目的，按照本发明，提供了一种基于神经网络的透视误差补偿方法，该方法包括下列步骤：

(a)对于包括有多个等间距点的标定棋盘，获取其在正投影下和预设角度下的图像，以此获得所述标定棋盘上每个点分别在正投影下和预设角度下的像素坐标，利用所述标定棋盘上的顶点在所述正投影下和预设角度下的像素坐标，计算正投影和预设角度之间像素坐标转换的透视变换矩阵；

(b)利用所述透视变换矩阵对在所述预设角度下所述标定棋盘上每个点的像素坐标进行透视变换，以此获得在所述预设角度下所述标定棋盘上每个点的透视像素坐标，根据所述标定棋盘的点间距调整每个点的所述透视像素坐标，以此获得所述棋盘上每个点对应的参考坐标；

(c)选取神经网络结构，将每个点的所述透视像素坐标作为输入，所述每个点的参考坐标与该点在正投影下的像素坐标之差作为输出，训练所述神经网络结构，以此获得所需的神经网络模型；

(d)对于机器人视觉测量过程中的待补偿点，将其透视像素坐标输入所述神经网络模型中，以此获得其对应的输出值，即误差补偿值，利用该误差补偿值对所述透视像素坐标进行补偿即获得所述待补偿点最终所需的像素坐标值，以此实现机器人视觉测量过程中点的透视误差补偿。

进一步优选地，在步骤(a)中，所述计算正投影和预设角度之间像素坐标转换的透视变换矩阵，优选按照下列步骤进行：

(a1)利用所述标定棋盘的点间距对在所述预设角度下所述标定棋盘上的顶点坐标进行调整，使得调整后的顶点像素坐标形成方形，以此获得所述顶点在所述预设角度下调整后的像素坐标；

(a2)计算所述标定棋盘上多个的顶点在所述正投影下的像素坐标和所述预设角度下调整后的像素坐标之间的转换矩阵，该转换矩阵即为所需的透视变换矩阵。

进一步优选地，在步骤(a1)中，所述使得调整后的顶点像素坐标形成方形，该方形与所述棋盘的尺寸大小相同。

进一步优选地，在步骤(a1)中，所述利用标定棋盘的点间距对在所述预设角度下所述标定棋盘上的顶点坐标进行调整，优选采用最小均方差损失函数进行调整。

进一步优选地，在步骤(a)中，所述标定棋盘为m×n的棋盘，其中，m和n分别为所述标定棋盘水平方向和竖直方向方格的数量。

进一步优选地，在步骤(b)中，所述神经网络结构优选采用BP神经网络结构，其中包括一个输入层，多个全连接中间层和一个输出层。

进一步优选地，在步骤(d)中，所述用该误差值对所述透视像素坐标进行补偿，优选将所述待补偿点的透视像素坐标减去所述补偿值，即获得最终所需的像素坐标值。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、本发明通过利用标定棋盘构建样本数据，一方面考虑到在透视变换过程中的典型性，另一方面标定棋盘中每个点的坐标实时已知，计算方便，简单快捷；

2、本发明通过BP神经网络学***面的透视变换误差，操作简单，可行性高。

附图说明

图1是按照本发明的优选实施例所构建的一种基于神经网络的透视误差补偿方法的流程图；

图2是按照本发明的优选实施例所构建的标定棋盘的正投影图像；

图3是按照本发明的优选实施例所构建的在预设角度下标定棋盘的图像；

图4是按照本发明的优选实施例所构建的图3进行透视变换后获得的图像；

图5是按照本发明的优选实施例所构建的BP神经网络结构示意图；

图6是按照本发明的优选实施例所构建的进行透视补偿后的补偿效果曲线。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，一种基于神经网络的透视误差补偿方法，其包括下列步骤：

步骤1、采集训练样本：通过一副m×n标定棋盘图上的四个关键角点，计算出变换矩阵M，使用变换矩阵对原图进行透视变换，将透视变换后的(m-1)×(n-1)个关键点像素坐标作为训练样本，如图2所示，标定棋盘上的每个点是等间距的，点间距已知，具体地：

1.1在需要进行透视变换的平面上合适的摆放棋盘，使用相机进行拍摄，获得正投影下和预设角度下的两个图像以及图像中每个点的像素坐标，如图2所示，为拍摄的正投影下的棋盘的图像，如3所示，是在预设角度下标定棋盘的图像，提取棋盘格的四个顶点，使用棋盘上的四个顶点计算透视变换矩阵M，对原图使用矩阵M进行透视变换；

1.2对图3图像中的m×n个点进行透视变换获得透视像素坐标，如图4所示，是对图3进行透视变换后获得的图像，将其做为训练样本，根据标定棋盘的点间距调整每个点的透视像素坐标，以此获得棋盘上每个点对应的参考坐标，例如，可设左上角的角点坐标为(0,0)，则其右侧相邻点和下方相邻点的坐标为(100,0)，(0,100)，标定棋盘上相邻的点间距已知，若设每格200个像素，则上面坐标变为(200,0)，(0,200)，这个变换过程中采用最小均方差损失函数进行变换；

1.3参考坐标和透视像素坐标作差求得透视变换误差，将其作为输出；

步骤2、搭建神经网络学习框架：如图5所示，采用BP神经网络，网络包括由两个神经元组成的输入层，三个分别由p个神经元组成的中间层；以及由两个神经元组成的输出层，各层之间采用全连接的连接方式。

步骤3、利用神经网络对训练样本进行训练：输入为透视变换后的关键点坐标，将x坐标像素偏差和y坐标像素偏差作为标签，例如参考坐标为(200,200)，而透视变换后的透视像素坐标为(199.4,200.9)，则误差为(-0.6,0.9)，采用最小均方差损失函数，用Adam优化器优化网络。

步骤4、得到训练模型：得到训练模型，将待补偿的透视变换图像关键点作为输入，通过模型即可得到透视变换的像素误差，由像素误差和变换大小比例即可求得实际的坐标值。

步骤5、对于机器人视觉测量过程中的待补偿点，将其透视像素坐标输入神经网络模型中，以此获得其对应的输出值，即误差补偿值，利用该误差值对透视像素坐标进行补偿即获得待补偿点最终所需的像素坐标值，以此实现机器人视觉测量过程中点的透视误差补偿。

如图6所示，是进行透视误差补偿后获得的点的像素坐标的验证曲线，其中x和y坐标分别对应棋盘格图片上的像素坐标x和y，z坐标表示经过透视变换的图片上的点与其对应的真实正投影图片上的点之间的欧氏距离,图6中的叉点表示校正前的误差，圆圈表示校正后的误差,校正后的误差满足预期精度要求，同时因为是神经网络学习算法，故本发明最终能达到的要求指标取决于所给网络学习的数据集的数据优劣。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于神经网络的透视误差补偿方法，其特征在于，该方法包括下列步骤：

（a）对于包括有多个等间距点的标定棋盘，获取其在正投影下和预设角度下的图像，以此获得所述标定棋盘上每个点分别在正投影下和预设角度下的像素坐标，利用所述标定棋盘上的顶点在所述正投影下和预设角度下的像素坐标，计算正投影和预设角度之间像素坐标转换的透视变换矩阵；

（b）利用所述透视变换矩阵对在所述预设角度下所述标定棋盘上每个点的像素坐标进行透视变换，以此获得在所述预设角度下所述标定棋盘上每个点的透视像素坐标，根据所述标定棋盘的点间距调整每个点的所述透视像素坐标，以此获得所述棋盘上每个点对应的参考坐标；

（c）选取神经网络结构，将每个点的所述透视像素坐标作为输入，所述每个点的参考坐标与该点在正投影下的像素坐标之差作为输出，训练所述神经网络结构，以此获得所需的神经网络模型；

（d）对于机器人视觉测量过程中的待补偿点，将其透视像素坐标输入所述神经网络模型中，以此获得其对应的输出值，即误差补偿值，利用该误差补偿值对所述透视像素坐标进行补偿即获得所述待补偿点最终所需的像素坐标值，以此实现机器人视觉测量过程中点的透视误差补偿。

2.如权利要求1所述的一种基于神经网络的透视误差补偿方法，其特征在于，在步骤（a）中，所述计算正投影和预设角度之间像素坐标转换的透视变换矩阵，按照下列步骤进行：

（a1）利用所述标定棋盘的点间距对在所述预设角度下所述标定棋盘上的顶点坐标进行调整，使得调整后的顶点像素坐标形成方形，以此获得所述顶点在所述预设角度下调整后的像素坐标；

（a2）计算所述标定棋盘上多个的顶点在所述正投影下的像素坐标和所述预设角度下调整后的像素坐标之间的转换矩阵，该转换矩阵即为所需的透视变换矩阵。

3.如权利要求2所述的一种基于神经网络的透视误差补偿方法，其特征在于，在步骤（a1）中，所述使得调整后的顶点像素坐标形成方形，该方形与所述棋盘的尺寸大小相同。

4.如权利要求1所述的一种基于神经网络的透视误差补偿方法，其特征在于，在步骤（a1）中，所述利用标定棋盘的点间距对在所述预设角度下所述标定棋盘上的顶点坐标进行调整，采用最小均方差损失函数进行调整。

5.如权利要求1所述的一种基于神经网络的透视误差补偿方法，其特征在于，在步骤（a）中，所述标定棋盘为m×n的棋盘，其中，m和n分别为所述标定棋盘水平方向和竖直方向方格的数量。

6.如权利要求1所述的一种基于神经网络的透视误差补偿方法，其特征在于，在步骤（b）中，所述神经网络结构采用BP神经网络结构，其中包括一个输入层，多个全连接中间层和一个输出层。

7.如权利要求1～6任一项所述的一种基于神经网络的透视误差补偿方法，其特征在于，在步骤（d）中，所述用该误差值对所述透视像素坐标进行补偿，将所述待补偿点的透视像素坐标减去所述补偿值，即获得最终所需的像素坐标值。