CN111383281A - 一种基于rbf神经网络的摄像机标定方法 - Google Patents

一种基于rbf神经网络的摄像机标定方法 Download PDF

Info

Publication number
CN111383281A
CN111383281A CN201811638531.8A CN201811638531A CN111383281A CN 111383281 A CN111383281 A CN 111383281A CN 201811638531 A CN201811638531 A CN 201811638531A CN 111383281 A CN111383281 A CN 111383281A
Authority
CN
China
Prior art keywords
neural network
output
layer
scale
rbf neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811638531.8A
Other languages
English (en)
Inventor
徐江涛
常宇慧
史兴萍
于子涵
路凯歌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University Marine Technology Research Institute
Original Assignee
Tianjin University Marine Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University Marine Technology Research Institute filed Critical Tianjin University Marine Technology Research Institute
Priority to CN201811638531.8A priority Critical patent/CN111383281A/zh
Publication of CN111383281A publication Critical patent/CN111383281A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

一种基于RBF神经网络的摄像机标定方法，用于智能视觉***的标定；基于动态衰减调节技术的RBF网络模型能够在学习过程中动态地调节自身的拓扑结构：包括动态调整自身的神经网络隐含层节点数目、高斯函数宽度等。利用该神经网络进行摄像机标定时，不需要预先建立成像***的模型结构，直接学习***输入输出数据，归纳出成像***的输入输出关系，计算简单，同时还能够对整个成像过程中的非线性畸变进行矫正和补偿，获得更高的精度。

Description

一种基于RBF神经网络的摄像机标定方法
技术领域
本发明涉及一种摄像机标定方法，涉及机器视觉技术和人工神经网络技术领域，尤其涉及一种基于RBF （Radial Basis Function）神经网络的摄像机标定方法。
背景技术
摄像机的标定是智能视觉***的重要步骤之一，对于智能视觉***来说，准确的摄像机标定参数能够极大地提高***的精确度。但是在实际应用中，视觉***成像的过程中存在很多影响因素，如径向和切向上的畸变以及测量误差等等，这就对摄像机的标定技术提出了新的挑战。
一直以来，摄像机的成像模型吸引了众多研究者的深入探讨，提出并实施了许多种不同的标定方法。然而，由于成像过程中存在很多不同的影响因素，导致成像模型为非线性模型，物点和像点之间的关系也成为了非线性关系，传统的标定方法已经很难将所有的非线性因素考虑在内，同时，复杂的数学模型会带来繁琐的计算过程以及低下的标定效率。
发明内容
为了解决现有技术存在的问题，本发明一种基于RBF神经网络的视觉***标定方法，用于智能视觉***的标定；基于动态衰减调节技术的RBF网络模型能够在学习过程中动态地调节自身的拓扑结构：包括动态调整自身的神经网络隐含层节点数目、高斯函数宽度等。利用该神经网络进行摄像机标定时，不需要预先建立成像***的模型结构，直接学习***输入输出数据，归纳出成像***的输入输出关系，计算简单，同时还能够对整个成像过程中的非线性畸变进行矫正和补偿，获得更高的精度。
一种基于RBF神经网络的摄像机标定方法的整体结构设计：
该网络以RBF神经网络为核心，整体的步骤流程如下：
步骤1：制作黑白棋盘格标定板，使用需要标定的摄像机拍摄标定板不同角度的多组图片；
步骤2：将摄像机采集到的标定板图片进行去噪处理，随后对图像进行二值化处理并使用SIFT方法进行角点检测，提取棋盘格角点；
步骤3：将提取的图像平面上对应点的图像坐标
Figure 814894DEST_PATH_IMAGE001
以及三维世界坐标系中特征点的实际坐标
Figure 12788DEST_PATH_IMAGE002
输入神经网络，对RBF神经网络的参数进行初始化计算，并计算输出的均方根误差（RMS）的值以及对调节权重、中心和宽度参数进行迭代计算；根据已经计算出的参数构造RBF神经网络，求取网络输出的误差E，若E满足循环结束条件时，则求取E中最小值所对应的变化参数的值并固定；
步骤4：将提取的图像平面上对应点的图像坐标
Figure 623634DEST_PATH_IMAGE003
作为神经网络的输入，将三维世界坐标系中特征点的实际坐标
Figure 726719DEST_PATH_IMAGE004
作为神经网络的输出，按照步骤3中确定的神经网络参数值构建神经网络；
步骤5：经过摄像机采集到的坐标数据的训练后，对摄像机进行***标定；经过这样一个RBF神经网络的训练，可以获得物体实际坐标点和图像点之间较为精确的对应关系。
SIFT角点检测
SIFT（Scale-invariant feature transform）是一种检测局部特征的算法，SIFT算法本质在于提取图像关键点，也就是在不同尺度空间下具有方向信息的局部极暗点，SIFT进行角点检测的方法如图2，分为以下步骤：尺度空间极值检测、关键点定位、方向确定和关键点描述；
建立尺度空间的原因是为了模拟数据的多尺度特征，对于一个二维图像的尺度空间定义为：
Figure 433775DEST_PATH_IMAGE005
其中
Figure 938706DEST_PATH_IMAGE006
是尺度可变的高斯函数，
Figure 236963DEST_PATH_IMAGE007
是尺度空间因子，反映了图像被平滑的程度，值越小表征图形被平滑程度越小，相应尺度越小；在SIFT算法中使用尺度空间中的差分高斯（Difference of Gaussina , DOG）子作为极值判别依据,定义如下：
Figure 561765DEST_PATH_IMAGE008
SIFT算法通过对两个相邻高斯尺度空间上的图像相减来得到
Figure 617053DEST_PATH_IMAGE009
，一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点。
RBF神经网络设计
该网络为一种基于高斯核的RBF神经网络拓扑结构，如图三所示，共分为三层：输入层、隐含层和输出层：
第一层输入层：由信号源节点构成，仅起到数据信息的传递作用，对输入信息不做任何变换；
第二层隐含层：节点数视需要而定，隐含层神经元核函数(作用函数)是高斯函数，对输入信息进行空间映射的变换；
第三层输出层，对输入模式做出响应，输出层神经元的作用函数为线性函数，对隐含层神经元输出的信息进行线性加权后输出，作为整个神经网络的输出结果；
对该RBF神经网络的如下参数进行初始化：
1.输入向量X
Figure 586277DEST_PATH_IMAGE010
2.输出向量Y
Figure 524277DEST_PATH_IMAGE011
3.希望输出向量O
Figure 745830DEST_PATH_IMAGE012
4.隐含层至输出层的连接权值
Figure 591426DEST_PATH_IMAGE013
5.隐含层各神经元的中心参数
Figure DEST_PATH_IMAGE014
以及宽度向量；同时确定迭代终止精度ɛ的值；
Figure 556102DEST_PATH_IMAGE015
随后按下式计算网络输出的均方根误差RMS的值，若RMS ≤ ɛ，则训练结束，否则迭代计算调节权重，中心和宽度参数。
Figure 396495DEST_PATH_IMAGE016
一种基于RBF神经网络的摄像机标定算法，可以有效地简化标定步骤，避免了传统标定步骤中复杂的数学计算，同时和传统标定方法相比，有效地提高了标定精度。而与传统的神经网络算法相比，本发明使用了RBF这一新型的神经网络结构，充分利用该种神经网络的动态衰减调节技术，自适应地确定了RBF隐层的节点数和高斯函数中心值，从而提高了计算速度和精度。
附图说明
图1是一种基于RBF神经网络的摄像机标定方法的整体结构设计流程图；
图2是SIFT算法的基本路线流程图；
图3是一种基于高斯核的RBF神经网络拓扑结构示意图。
具体实施方式
以下根据附图和实施例对本发明进行详细说明，但是本发明的保护范围不限于此。
本发明使用SIFT算法处理摄像机拍摄的图像从而提取标定盘角点坐标，并记录对应的三维坐标，用于网络的训练和实验。使用RBF神经网络，不需要预先建立成像***的模型结构，直接学习***的输入输出数据，归纳出成像***的输入输出关系，计算简单，同时还能够对整个成像过程中的非线性畸变进行矫正和补偿，获得更高的精度。
下面结合附图和具体实施例对本发明进一步说明：
如图1所示，本发明的方法包括如下步骤：
1.采集测试数据集：制作黑白棋盘格标定板，使用需要标定的摄像机拍摄标定板不同角度的多组图片。为了更好地进行标定，在平面标靶上设计了100个标定点，每个点的直径设置为15mm,每两个点之间的距离为30mm；
2.将摄像机采集到的标定板图片进行去噪处理，随后对图像进行二值化处理并使用SIFT方法进行角点检测，提取棋盘格角点；
3.将提取的图像平面上对应点的图像坐标
Figure 836834DEST_PATH_IMAGE003
以及三维世界坐标系中特征点的实际坐标
Figure 220542DEST_PATH_IMAGE004
输入神经网络，对RBF神经网络的参数进行初始化计算，并计算输出的均方根误差（RMS）的值,若RMS ≤ ɛ，则训练结束，求取此时所对应的变化参数的值并固定。否则继续迭代计算调节权重，中心和宽度参数；
4.将提取的图像平面上对应点的图像坐标
Figure 492255DEST_PATH_IMAGE003
作为神经网络的输入，将三维世界坐标系中特征点的实际坐标
Figure 28848DEST_PATH_IMAGE004
作为神经网络的输出，按照步骤3中确定的神经网络参数值构建神经网络。每个标定平面使用80个点进行基于RBF神经网络的摄像机标定，获得摄像机的标定模型，其余的20个点主要用于评价该基于RBF神经网络摄像机标定模型的有效性；
5.经过摄像机采集到的坐标数据的训练后，对摄像机进行***标定。经过这样一个RBF神经网络的训练，可以获得物体实际坐标点和图像点之间较为精确的对应关系，而不必做大量的数学计算。

Claims (3)

1.一种基于RBF神经网络的摄像机标定方法，其特征在于：
该网络以RBF神经网络为核心，整体的步骤流程如下：
步骤1：制作黑白棋盘格标定板，使用需要标定的摄像机拍摄标定板不同角度的多组图片；
步骤2：将摄像机采集到的标定板图片进行去噪处理，随后对图像进行二值化处理并使用SIFT方法进行角点检测，提取棋盘格角点；
步骤3：将提取的图像平面上对应点的图像坐标
Figure 724038DEST_PATH_IMAGE001
以及三维世界坐标系中特征点的实际坐标
Figure 570771DEST_PATH_IMAGE002
输入神经网络，对RBF神经网络的参数进行初始化计算，并计算输出的均方根误差RMS的值以及对调节权重、中心和宽度参数进行迭代计算；根据已经计算出的参数构造RBF神经网络，求取网络输出的误差E，若E满足循环结束条件时，则求取E中最小值所对应的变化参数的值并固定；
步骤4：将提取的图像平面上对应点的图像坐标
Figure 109200DEST_PATH_IMAGE003
作为神经网络的输入，将三维世界坐标系中特征点的实际坐标
Figure 41384DEST_PATH_IMAGE002
作为神经网络的输出，按照步骤3中确定的神经网络参数值构建神经网络；
步骤5：经过摄像机采集到的坐标数据的训练后，对摄像机进行***标定；经过这样一个RBF神经网络的训练，可以获得物体实际坐标点和图像点之间较为精确的对应关系。
2.根据权利要求1所述一种基于RBF神经网络的摄像机标定方法，其特征在于：SIFT（Scale-invariant feature transform）是一种检测局部特征的算法，SIFT算法本质在于提取图像关键点，也就是在不同尺度空间下具有方向信息的局部极暗点，SIFT进行角点检测分为以下步骤：尺度空间极值检测、关键点定位、方向确定和关键点描述；
建立尺度空间的原因是为了模拟数据的多尺度特征，对于一个二维图像的尺度空间定义为：
Figure 198827DEST_PATH_IMAGE004
其中
Figure 165646DEST_PATH_IMAGE005
是尺度可变的高斯函数，
Figure 137626DEST_PATH_IMAGE006
是尺度空间因子，反映了图像被平滑的程度，值越小表征图形被平滑程度越小，相应尺度越小；在SIFT算法中使用尺度空间中的差分高斯（Difference of Gaussina , DOG）子作为极值判别依据,定义如下：
Figure 432472DEST_PATH_IMAGE007
SIFT算法通过对两个相邻高斯尺度空间上的图像相减来得到
Figure 924764DEST_PATH_IMAGE008
，一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点。
3.根据权利要求1所述一种基于RBF神经网络的摄像机标定方法，其特征在于：RBF神经网络设计，该网络为一种基于高斯核的RBF神经网络拓扑结构，共分为三层：输入层、隐含层和输出层：
第一层输入层：由信号源节点构成，仅起到数据信息的传递作用，对输入信息不做任何变换；
第二层隐含层：节点数视需要而定，隐含层神经元核函数是高斯函数，对输入信息进行空间映射的变换；
第三层输出层，对输入模式做出响应，输出层神经元的作用函数为线性函数，对隐含层神经元输出的信息进行线性加权后输出，作为整个神经网络的输出结果；
对该RBF神经网络的如下参数进行初始化：
1输入向量X
Figure 480510DEST_PATH_IMAGE009
2输出向量Y
Figure 626321DEST_PATH_IMAGE010
3希望输出向量O
Figure 267518DEST_PATH_IMAGE011
4隐含层至输出层的连接权值
Figure 781412DEST_PATH_IMAGE012
5隐含层各神经元的中心参数
Figure 457244DEST_PATH_IMAGE013
以及宽度向量；同时确定迭代终止精度ɛ的值；
Figure 446060DEST_PATH_IMAGE014
随后按下式计算网络输出的均方根误差RMS的值：
Figure 981077DEST_PATH_IMAGE015
若RMS ≤ ɛ，则训练结束，否则迭代计算调节权重，中心和宽度参数。
CN201811638531.8A 2018-12-29 2018-12-29 一种基于rbf神经网络的摄像机标定方法 Pending CN111383281A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811638531.8A CN111383281A (zh) 2018-12-29 2018-12-29 一种基于rbf神经网络的摄像机标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811638531.8A CN111383281A (zh) 2018-12-29 2018-12-29 一种基于rbf神经网络的摄像机标定方法

Publications (1)

Publication Number Publication Date
CN111383281A true CN111383281A (zh) 2020-07-07

Family

ID=71216660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811638531.8A Pending CN111383281A (zh) 2018-12-29 2018-12-29 一种基于rbf神经网络的摄像机标定方法

Country Status (1)

Country Link
CN (1) CN111383281A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112611331A (zh) * 2021-01-04 2021-04-06 中国神华能源股份有限公司国华电力分公司 一种位移监测装置及测量方法
CN113804124A (zh) * 2021-09-16 2021-12-17 飞亚达精密科技股份有限公司 一种基于神经网络模型的三维测量方法及***
CN114708333A (zh) * 2022-03-08 2022-07-05 智道网联科技(北京)有限公司 自动标定相机外参模型的生成方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1387167A (zh) * 2001-05-22 2002-12-25 北京航空航天大学 结构光三维双视觉模型建模方法
US20030059106A1 (en) * 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Computer vision system and method employing hierarchical object classification scheme
CN103971378A (zh) * 2014-05-29 2014-08-06 福州大学 一种混合视觉***中全景图像的三维重建方法
CN106600651A (zh) * 2016-12-13 2017-04-26 华中科技大学 一种成像***的建模方法
CN107423772A (zh) * 2017-08-08 2017-12-01 南京理工大学 一种新的基于ransac的双目图像特征匹配方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1387167A (zh) * 2001-05-22 2002-12-25 北京航空航天大学 结构光三维双视觉模型建模方法
US20030059106A1 (en) * 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Computer vision system and method employing hierarchical object classification scheme
CN103971378A (zh) * 2014-05-29 2014-08-06 福州大学 一种混合视觉***中全景图像的三维重建方法
CN106600651A (zh) * 2016-12-13 2017-04-26 华中科技大学 一种成像***的建模方法
CN107423772A (zh) * 2017-08-08 2017-12-01 南京理工大学 一种新的基于ransac的双目图像特征匹配方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112611331A (zh) * 2021-01-04 2021-04-06 中国神华能源股份有限公司国华电力分公司 一种位移监测装置及测量方法
CN113804124A (zh) * 2021-09-16 2021-12-17 飞亚达精密科技股份有限公司 一种基于神经网络模型的三维测量方法及***
CN114708333A (zh) * 2022-03-08 2022-07-05 智道网联科技(北京)有限公司 自动标定相机外参模型的生成方法及装置
CN114708333B (zh) * 2022-03-08 2024-05-31 智道网联科技(北京)有限公司 自动标定相机外参模型的生成方法及装置

Similar Documents

Publication Publication Date Title
CN111640157B (zh) 一种基于神经网络的棋盘格角点检测方法及其应用
CN107705328B (zh) 用于3d对准算法的平衡探针位置选择
CN101980250B (zh) 基于降维局部特征描述子和隐条件随机场的目标识别方法
CN110969668A (zh) 一种长焦双目相机的立体标定算法
CN106023298A (zh) 基于局部泊松曲面重建的点云刚性配准方法
CN111383281A (zh) 一种基于rbf神经网络的摄像机标定方法
CN102521816A (zh) 一种云数据中心机房实时宽场景监控合成方法
CN106709943B (zh) 一种基于最优传输的点云配准方法
CN108765476A (zh) 一种偏振图像配准方法
CN112288758B (zh) 一种电力设备红外与可见光图像配准方法
CN109636790B (zh) 一种管路结构的识别方法及装置
CN113361542A (zh) 一种基于深度学习的局部特征提取方法
CN116452644A (zh) 基于特征描述子的三维点云配准方法、装置及存储介质
CN105095913A (zh) 基于近邻正则联合稀疏表示的遥感图像分类方法及***
CN110766657A (zh) 一种激光干扰图像质量评价方法
CN114140623A (zh) 一种图像特征点提取方法及***
Stentoumis et al. A local adaptive approach for dense stereo matching in architectural scene reconstruction
Zhang et al. Intelligent Hough transform with Jaya to detect the diameter of red-hot circular workpiece
CN113379788B (zh) 一种基于三元组网络的目标跟踪稳定性方法
CN112288784B (zh) 一种描述子邻域自适应的弱纹理遥感影像配准方法
CN107833210B (zh) 一种基于神经网络的外观检测方法和***
CN116843725B (zh) 一种基于深度学习光流法的河流表面流速测量方法及***
Wang et al. Target recognition and localization of mobile robot with monocular PTZ camera
CN115331021A (zh) 基于多层特征自身差异融合的动态特征提取与描述方法
CN115063615A (zh) 一种基于Delaunay三角剖分的重复纹理图像匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination