CN110335311A - 基于自动编码器的动态视觉位移测量方法 - Google Patents

基于自动编码器的动态视觉位移测量方法 Download PDF

Info

Publication number
CN110335311A
CN110335311A CN201910620869.9A CN201910620869A CN110335311A CN 110335311 A CN110335311 A CN 110335311A CN 201910620869 A CN201910620869 A CN 201910620869A CN 110335311 A CN110335311 A CN 110335311A
Authority
CN
China
Prior art keywords
characteristic point
obtains
point
binocular
collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910620869.9A
Other languages
English (en)
Inventor
陈志聪
苏忆艳
吴丽君
陈疏影
洪志宸
林培杰
程树英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201910620869.9A priority Critical patent/CN110335311A/zh
Publication of CN110335311A publication Critical patent/CN110335311A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及基于自动编码器的动态视觉位移测量方法，包括以下步骤：步骤S1:构建附于圆柱体表面的特征点；步骤S2:利用双目采集***对附加上特征点的圆柱体进行动态视频数据采集,得到左右视图数据集；步骤S3:根据得到的左右视图数据集，提取目标特征点，得到获得特征角点的图像二维坐标；步骤S4:对双目采集***进行标定处理,得到双目相机的内参和外参矩阵；步骤S5:根据得到双目相机的内参和外参矩阵与特征角点的图像二维坐标，重构出特征点三维世界坐标集；步骤S6:根据圆柱体结构利用特征点三维世界坐标集进行圆柱拟合，并计算得到旋转的欧拉角。本发明采集目标物体的特征点信息便可计算出动态视频中目标的位移、旋转角度信息，无需直接接触目标物体。

Description

基于自动编码器的动态视觉位移测量方法
技术领域
本发明涉及一种基于自动编码器的动态视觉位移测量方法。
背景技术
传统的结构位移测量方法可分为接触型和非接触型的传感器，接触型传感器例如线性可变差动变压器、加速度计、角速度传感器，非接触型传感器如GPS、激光传感器、雷达测量***等方式。由于传统方式受测试技术、成本有效性、存在倾向于改变索缆机械特性的限制，在实际应用中往往存在困难，而随着机器视觉的发展，近年来视觉测量在各个领域获得了越来越广泛的应用。目前基于视觉的位移测量方法主要流程都是：获取二维图像特征信息；通过双目标定求解左右相机的内外参数；进行图像上的特征跟踪，可获位移后相应的二维图像特征信息；利用相机参数与特征信息实现二维到三维的重构，进而获取立***移信息。但其中还有许多可以修改的细节，所以国内外的学者都致力于寻找高效、精准和稳定的基于双目视觉的非接触式位移信息测量方法。
其中，特征点的准确提取可以提升测量的精度。人工标志物由于可以人为地提供明显的特征点，在视觉测量中被广泛应用。但目前基于视觉六自由度位移测量方法仍然不普遍，这其中一个重要的原因是缺乏可以用来表征物体六自由度运动的特征信息。
发明内容
有鉴于此，本发明的目的在于提供一种基于自动编码器的动态视觉位移测量方法，只需要根据提供的编码位数与编码组数量便可以自动产生相应的编码组，而后利用目标分割、特征点检测、三维重构可获得空间位移信息。
为实现上述目的，本发明采用如下技术方案：
一种基于自动编码器的动态视觉位移测量方法，其特征在于，包括以下步骤：
步骤S1:构建附于圆柱体表面的特征点；
步骤S2:利用双目采集***对附加上特征点的圆柱体进行动态视频数据采集,得到左右视图数据集；
步骤S3:根据得到的左右视图数据集，提取目标特征点，得到获得特征角点的图像二维坐标；
步骤S4:对双目采集***进行标定处理,得到双目相机的内参和外参矩阵；
步骤S5:根据得到双目相机的内参和外参矩阵与特征角点的图像二维坐标，重构出特征点三维世界坐标集；
步骤S6:根据圆柱体结构利用特征点三维世界坐标集进行圆柱拟合，并计算得到旋转的欧拉角。
进一步的，所述步骤S1具体为：
步骤S11:根据所需的编码位数和编码组个数，初始化首行二进制编码为0、1相间的编码，获得第一行二进制编码；
步骤S12：根据编码组个数通过数值筛选，筛选出未出现过的二值编码对应的十进制数；
步骤S13：判断前后两个编码之间是否满足角点条件的判断，确认第二行的二进制编码，进行N次，获得不重复的二值编码序列；
步骤S14：将不重复的二进制编码序列生成对应的黑白格图像，其中0对应白格，1对应黑格，贴于圆柱体表面，以编码代表圆柱体表面位置信息，获得附于圆柱体表面的特征点。
进一步的，所述步骤S3具体为：
步骤S31将采集到的左右视图数据集分别分割为帧，以前后两帧为单位对每帧图像进行KCF目标跟踪检测并进行分割。
步骤S32：对分割出的目标进行特征角点提取，获得各自特征角点的图像二维坐标。
进一步的，所述步骤S4具体为：
步骤S41:通过双目采集***采集标定板左右视图数据集；
步骤S42：利用标定板左右视图数据集进行双目标定获得双目相机的内参和外参矩阵。
进一步的，所述特征点求每个特征点周围的四个编码位之间0的个数必须为奇数、或者是两个0分布在对角线的位置上。
本发明与现有技术相比具有以下有益效果：
本发明结合圆柱体表面特征点自动编码器，在提取目标物体的特征点信息便可计算出动态位移、旋转角度等位移信息，所提出的自动编码器产生的编码组可根据所需要的编码位数与编码组数量来自动产生相应的编码组，并提供尽可能多的特征角点，产生的编码图案附于物体表面时，即便在部分特征点被遮挡的情况下也可适用。
附图说明
图1是本发明总体流程图。
图2是本发明特征点自动编码器流程图。
图3是本发明数值筛选流程图。
图4是本发明不满足角点条件的编码情况。
图5是本发明判断是否满足角点条件的流程图。
图6是本发明一实施例的特征点自动编码后的编码图案效果图。
图7是本发明一实施例的对带特征点的目标进行双目采集图。
图8是本发明一实施例的目标检测跟踪流程示意图。
图9是本发明一实施例的目标跟踪结果图。
图10是本发明一实施例的特征角点检测结果图。
图11是本发明一实施例的特征角点三维坐标重构结果图。
图12是本发明一实施例的动态检测结果图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于自动编码器的动态视觉位移测量方法，其特征在于，包括以下步骤：
步骤S1:构建附于圆柱体表面的特征点；
步骤S2:利用双目相机对附加上特征点的圆柱体进行动态视频数据采集,得到左右视图数据集；
步骤S3:根据得到的左右视图数据集，提取目标特征点，得到获得特征角点的图像二维坐标；
步骤S4:对双目相机进行标定处理,得到双目相机的内参和外参矩阵；
步骤S5:根据得到双目相机的内参和外参矩阵与特征角点的图像二维坐标，重构出特征点三维世界坐标集；利用相机坐标系、图像坐标系、像素坐标系、世界坐标系四种坐标系间的关系，可知由二维图像坐标转换为三维图像坐标的转换过程，经过映射计算可获得如图11所示的三维世界坐标图。
步骤S6:根据圆柱体结构利用特征点三维世界坐标集进行圆柱拟合，并计算得到旋转的欧拉角。
在本实施例中，所述步骤S1具体为：
步骤S11:根据所需的编码位数和编码组个数，初始化首行二进制编码为0、1相间的编码，获得第一行二进制编码；如图2所示，初始化第一行二进制编码为0、1相间的编码，获得第一行二进制编码，其中，0、1相间的编码，例如010101或101010。
步骤S12：根据编码组个数通过数值筛选，筛选出未出现过的二值编码对应的十进制数；如图2所示，利用第一行二进制编码对应的十进制数、编码位数和编码组个数进行数值筛选，得到第二行的候选二进制编码对应的十进制数。
步骤S13：判断前后两个编码之间是否满足角点条件的判断，确认第二行的二进制编码，进行N次，获得不重复的二值编码序列；
由于需要位的二进制编码，可构成个数，如图3所示，令，此时其中，若不等于则作为候选二进制编码输出备用，否则进入下一循环，直到产生不等于的候选二进制编码输出备用。利用、，由于各自有位的二进制编码，若编码间满足形成明显特征角点的情况则最多可产生个特征角点。因为需要可提供尽可能多的可区分的特征点得编码，所以要求每个特征点周围的四个编码位之间0的个数必须为奇数、或者是两个且分布在对角线的位置上，此为满足角点的条件，相对应的，四个编码全为0、全为1或者仅有两个0却没有分布在对角线上则判定为不满足设定的角点情况，如图4所示。每个特征点周围的编码位都必须满足形成明显特征角点的情况，都满足则将作为二进制编码输出，否则将退出循环，将判断为不可用的编码，如图5所示。若为不可用的编码，则进行又回到步骤B1，重新进入循环，如图3所示，直到产生满足角点条件的二进制编码为止。
对于所需的编码组个数，依次类推，将所有二进制数、…、组合成为所需的无重复且每行间可产生明显角点的编码组。
步骤S14：将不重复的二进制编码序列生成对应的黑白格图像，其中0对应白格，1对应黑格，如图6所示，贴于圆柱体表面，以编码代表圆柱体表面位置信息，获得附于圆柱体表面的特征点。
在本实施例中，所述步骤S3具体为：
步骤S31将采集到的左右视图数据集分别分割为帧，以前后两帧为单位对每帧图像进行KCF目标跟踪检测并进行分割。使用kcf核相关算法作为目标跟踪检测算法，流程图如图8所示，首先，对含已知目标的图像进行目标框选，循环移位得到的样本训练成分类器；而后，对目标图像实线框区域采样，使用分类器计算响应；最后，将响应最大的框选为目标所在区域。跟踪检测结果如图9所示。
步骤S32：对分割出的目标进行特征角点提取，获得各自特征角点的图像二维坐标。
在本实施例中，所述步骤S4具体为：
步骤S41:通过双目采集***采集标定板左右视图数据集；
步骤S42：利用标定板左右视图数据集进行双目标定获得双目采集***的内参和外参矩阵。利用MATLAB自带双目标定工具箱对左右摄像机采集的标定板图像进行双目标定，可获得左右相机各自内参、，及两相机间外参。
在本实施例中，所述特征点求每个特征点周围的四个编码位之间0的个数必须为奇数、或者是两个0分布在对角线的位置上。
本实施例中，验证本发明方法所提出的自动编码器，假设所需的编码位数和编码组个数为6、10进行实验。表1给出了本发明的实验结果，此实验结果对应的黑白格分布情况如图6所示。
表1：
从表1可以看出，本发明方法产生的编码方式是唯一的，同时，从图6也可以看出本发明方法所提出的自动编码器尽可能多的提供了可区分的特征点。由此可知本发明提及的特征点自动编码器可根据所需要的编码组数量来自动产生相应的编码组，并提供尽可能多的特征角点，可用于基于视觉的位移测量中人工标志物表面位置的编码。
另外，为了验证本发明方法的效果，利用如图6所示的二进制编码附于圆柱筒表面。对本发明的位移测量结果与实际旋转角度与位移进行了比较。表2给出了本发明的位移测量方法在在已知实际旋转角度与位移的对比。并给出了持续旋转的动态检测结果如图11所示。
表2：
从表2和图12可以看出，本发明方法可测出三个方向的位移和旋转角度构成的位移信息。由此可知本发明结合圆柱体表面特征点自动编码器提出的方法，只需要利用左右相机拍摄的两组动态视频中目标物体的特征点的信息便可计算出动态位移、旋转角度等自由度信息，在旋转角度被遮挡的情况下也可适用。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (5)

1.一种基于自动编码器的动态视觉位移测量方法，其特征在于，包括以下步骤：
步骤S1:构建附于圆柱体表面的特征点；
步骤S2:利用双目采集***对附加上特征点的圆柱体进行动态视频数据采集,得到左右视图数据集；
步骤S3:根据得到的左右视图数据集，提取目标特征点，得到获得特征角点的图像二维坐标；
步骤S4:对双目采集***进行标定处理,得到双目相机的内参和外参矩阵；
步骤S5:根据得到双目相机的内参和外参矩阵与特征角点的图像二维坐标，重构出特征点三维世界坐标集；
步骤S6:根据圆柱体结构利用特征点三维世界坐标集进行圆柱拟合，并计算得到旋转的欧拉角。
2.根据权利要求1所述的基于自动编码器的动态视觉位移测量方法，其特征在于：所述步骤S1具体为：
步骤S11:根据所需的编码位数和编码组个数，初始化首行二进制编码为0、1相间的编码，获得第一行二进制编码；
步骤S12：根据编码组个数通过数值筛选，筛选出未出现过的二值编码对应的十进制数；
步骤S13：判断前后两个编码之间是否满足角点条件的判断，确认第二行的二进制编码，进行N次，获得不重复的二值编码序列；
步骤S14：将不重复的二进制编码序列生成对应的黑白格图像，其中0对应白格，1对应黑格，贴于圆柱体表面，以编码代表圆柱体表面位置信息，获得附于圆柱体表面的特征点。
3.根据权利要求1所述的基于自动编码器的动态视觉位移测量方法，其特征在于，所述步骤S3具体为：
步骤S31将采集到的左右视图数据集分别分割为帧，以前后两帧为单位对每帧图像进行KCF目标跟踪检测并进行分割；
步骤S32：对分割出的目标进行特征角点提取，获得各自特征角点的图像二维坐标。
4.根据权利要求书1所述的基于自动编码器的动态视觉位移测量方法，其特征在于，所述步骤S4具体为：
步骤S41:通过双目采集***采集标定板左右视图数据集；
步骤S42：利用标定板左右视图数据集进行双目标定获得双目相机的内参和外参矩阵。
5.根据权利要求1所述的基于自动编码器的动态视觉位移测量方法，其特征在于：所述特征点求每个特征点周围的四个编码位之间0的个数必须为奇数、或者是两个0分布在对角线的位置上。
CN201910620869.9A 2019-07-10 2019-07-10 基于自动编码器的动态视觉位移测量方法 Pending CN110335311A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910620869.9A CN110335311A (zh) 2019-07-10 2019-07-10 基于自动编码器的动态视觉位移测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910620869.9A CN110335311A (zh) 2019-07-10 2019-07-10 基于自动编码器的动态视觉位移测量方法

Publications (1)

Publication Number Publication Date
CN110335311A true CN110335311A (zh) 2019-10-15

Family

ID=68146005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910620869.9A Pending CN110335311A (zh) 2019-07-10 2019-07-10 基于自动编码器的动态视觉位移测量方法

Country Status (1)

Country Link
CN (1) CN110335311A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1332430A (zh) * 2001-07-27 2002-01-23 南开大学 用二维编码对运动物体进行三维跟踪测量的方法
US20170206669A1 (en) * 2016-01-14 2017-07-20 RetailNext, Inc. Detecting, tracking and counting objects in videos
US20170366814A1 (en) * 2016-06-17 2017-12-21 Gopro, Inc. Apparatus and methods for image encoding using spatially weighted encoding quality parameters
CN108734744A (zh) * 2018-04-28 2018-11-02 国网山西省电力公司电力科学研究院 一种基于全站仪的远距离大视场双目标定方法
CN208223391U (zh) * 2018-04-01 2018-12-11 深圳慎始科技有限公司 无滑环式旋转彩色三维建模装置
CN109373912A (zh) * 2018-12-21 2019-02-22 福州大学 一种基于双目视觉的非接触式六自由度位移测量方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1332430A (zh) * 2001-07-27 2002-01-23 南开大学 用二维编码对运动物体进行三维跟踪测量的方法
US20170206669A1 (en) * 2016-01-14 2017-07-20 RetailNext, Inc. Detecting, tracking and counting objects in videos
US20170366814A1 (en) * 2016-06-17 2017-12-21 Gopro, Inc. Apparatus and methods for image encoding using spatially weighted encoding quality parameters
CN208223391U (zh) * 2018-04-01 2018-12-11 深圳慎始科技有限公司 无滑环式旋转彩色三维建模装置
CN108734744A (zh) * 2018-04-28 2018-11-02 国网山西省电力公司电力科学研究院 一种基于全站仪的远距离大视场双目标定方法
CN109373912A (zh) * 2018-12-21 2019-02-22 福州大学 一种基于双目视觉的非接触式六自由度位移测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹焱: ""基于双目立体视觉信息的三维重建方法研究"", 《中国优秀硕士学位论文全文数据库 息科技I辑》 *

Similar Documents

Publication Publication Date Title
CN109949899B (zh) 图像三维测量方法、电子设备、存储介质及程序产品
Werner et al. Rendering real-world objects using view interpolation
CN102032878B (zh) 基于双目立体视觉测量***的精确在线测量方法
CN106951669B (zh) 一种基于视觉认知的滚动轴承变工况故障诊断方法
CN108734744A (zh) 一种基于全站仪的远距离大视场双目标定方法
CN110264573B (zh) 基于结构光的三维重建方法、装置、终端设备及存储介质
Zou et al. A method of stereo vision matching based on OpenCV
CN103714530B (zh) 一种灭点检测及图像矫正方法
CN109373912A (zh) 一种基于双目视觉的非接触式六自由度位移测量方法
CN104616348A (zh) 基于多目立体视觉的织物外观重建方法
Hafeez et al. Image based 3D reconstruction of texture-less objects for VR contents
CN108573231A (zh) 基于运动历史点云生成的深度运动图的人体行为识别方法
CN107374638A (zh) 一种基于双目视觉模块的身高测量***及方法
CN105976431A (zh) 一种基于旋转光场的三维表面重构方法
CN115830135A (zh) 一种图像处理方法、装置及电子设备
Hafeez et al. 3D surface reconstruction of smooth and textureless objects
Luan et al. Research and development of 3D modeling
Gonzalez-Aguilera et al. From point cloud to CAD models: Laser and optics geotechnology for the design of electrical substations
CN110335311A (zh) 基于自动编码器的动态视觉位移测量方法
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
CN108253931A (zh) 一种双目立体视觉测距方法及其测距装置
Zhu et al. Plant Modeling Based on 3D Reconstruction and Its Application in Digital Museum.
Liu et al. New anti-blur and illumination-robust combined invariant for stereo vision in human belly reconstruction
Guo et al. Using facial landmarks to assist the stereo matching in fringe projection based 3D face profilometry
CN104616343B (zh) 一种纹理实时采集在线映射的方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191015