CN107917700B - 基于深度学习的小幅度目标三维姿态角测量方法 - Google Patents

基于深度学习的小幅度目标三维姿态角测量方法 Download PDF

Info

Publication number
CN107917700B
CN107917700B CN201711280980.5A CN201711280980A CN107917700B CN 107917700 B CN107917700 B CN 107917700B CN 201711280980 A CN201711280980 A CN 201711280980A CN 107917700 B CN107917700 B CN 107917700B
Authority
CN
China
Prior art keywords
target
dimensional attitude
training
mark
measuring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711280980.5A
Other languages
English (en)
Other versions
CN107917700A (zh
Inventor
杨嘉琛
满家宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201711280980.5A priority Critical patent/CN107917700B/zh
Publication of CN107917700A publication Critical patent/CN107917700A/zh
Application granted granted Critical
Publication of CN107917700B publication Critical patent/CN107917700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学***；借助角度测量装置，调整目标三维姿态角，对标识进图片拍摄；以确定间隔为步幅进行训练样本获取，每个样本对应一个标签，分别对应一组三维姿态角；进行训练网络的搭建工作；训练卷积神经网络。

Description

基于深度学习的小幅度目标三维姿态角测量方法
技术领域
本发明属于计算机视觉领域，涉及深度学习在实际物体姿态角测量中的应用。
背景技术
机器视觉是基于对人类视觉研究的基础上衍生出的学科,它是人工智能领域一个新的研究热点。近年来,大量的研究人员从事着视觉领域各方面技术的研究,希望突破多方面的限制,使机器视觉技术能够更加成熟。机器视觉技术作为重要的检测测量技术已经应用于很多重要的工业、军事领域中,例如生物医学,环境科学,纺织,航天等。
机器视觉***根据获取图像的传感器个数的不同可以分为单目视觉测量***,双目视觉测量***和多目视觉测量***等。其中，单目视觉测量法设备要求简单，在实际工业需求中较易实现，常被广泛用于图像单目视觉就是利用一个视觉传感器来捕捉图像信息,***结构简单,成本低,对场地环境要求较低,而且视场范围较双目视觉或多目视觉要大得多,不需要进行立体匹配,具有广泛适用性。利用单目视觉来对运动目标进行姿态测量的方法有很多,如几何相似法、几何光学法、特征靶标测量法、激光测距仪辅助测量法均可以对目标物体的三维姿态角进行测量。
发明内容
本发明的目的是提供一种针对小幅度目标的三维姿态角高精度测量方法。本发明将深度学习策略引入姿态角测量过程，通过实际环境模拟，自行制作训练样本，定义训练样本标签，最终构成训练集，通过制作大量训练集投入卷积神经网络进行图像特征提取，优化网络参数，最终实现更高精度测量。技术方案如下：
一种基于深度学习的小幅度目标三维姿态角测量方法，包括如下的步骤：
1)根据实际工程需要，按1:1比例制作符合实际环境的被测目标物模型，并在目标物表面适当位置贴放标识；
2)通过挑选满足工程需要的相机镜头与图像传感器，联合制成视觉测量装置，并完成相机标定与畸变校正；
3)校正后的视觉测量装置确定后，放置已贴放标识的被测目标物模型，位置应满足标识轴心与视觉测量装置轴心连线保持水平；
4)借助角度测量装置，调整目标三维姿态角，对标识进图片拍摄；
5)以确定间隔为步幅进行训练样本获取，每个样本对应一个标签，分别对应一组三维姿态角，将收集好的训练集进行格式转换，使之符合神经网络输入层的数据格式；
6)进行训练网络的搭建工作，训练网络基于VGG-16卷积神经网络，并在此基础上进行改进，使用VGG16的前5层，将FC6，FC7替换为卷积层，并将多尺度特征图同时输出；
7)训练卷积神经网络；
8)构建测试用数据集，任意调整被测目标物模型三维姿态角进行拍照截取，投入训练好的卷积神经网络，得到测试结果。
本发明所采用的基于深度学习的小范围幅度目标三维姿态角测量将克服传统测量方法中存在的误差大、世界坐标系与像素坐标系之间对应关系不易确定的问题，通过高精度卷积神经网络的结构设计，加之高精度、大范围样本的不断训练学习，最终能将测量输出姿态角误差控制在90"(3σ)之内。同时，利用改进后的卷积神经网络实现实时测量，每秒钟测量图片数可达到50张及以上(fps>50)，从而即时输出高精度测量结果。
附图说明
图1小范围三维姿态角测量的卷积神经网络结构
具体实施方式
第一步：根据实际工程需要，按1:1比例制作符合实际环境的被测目标物模型，并在目标物中心贴放自行制作的椭圆标识，椭圆标识的材质、大小可随实际工程需要灵活调整对应。通过挑选满足工程需要的相机镜头与CCD/CMOS图像传感器，联合制成视觉测量装置，并完成相机标定与畸变校正。
第二步：将畸变校正后的视觉测量装置摆放于确定位置，放置已贴放椭圆标识的被测物，位置应满足椭圆标识轴心与视觉测量装置轴心连线保持水平。
第三步：借助现有高精度角度测量装置，调整目标三维姿态角，对椭圆标识物进行图片拍摄。调整策略为每隔3°进行一次调整，最大角度应控制在45°之内，则每方向方位角应有31次采集点(其中包含0°)，由于三维姿态角涉及三类角度，即视觉方位角、视觉俯仰角、视觉滚转角，三方向应最终收集31*31*31种不同姿态的训练样本，为29791类训练样本，每类训练样本数量为1，故得到29791张训练图像，每幅图像对应一个标签，分别对应三类角度。
第四步：将收集好的训练集进行格式转换，使之符合神经网络输入层的数据格式。
第五步：搭建训练网络，训练网络基于VGG-16卷积神经网络，并在此基础上进行改进。使用VGG16的前5层，将FC6，FC7替换为卷积层，并将多尺度特征图同时输出，通过同时识别低尺度特征与高尺度特征，提高识别准确率，以增加识别精度。
第六步：构建测试用数据集，任意调整实际模型三维姿态角进行拍照截取，投入训练好的卷积神经网络，得到测试结果。

Claims (1)

1.一种基于深度学习的小幅度目标三维姿态角测量方法，包括如下的步骤：
1)根据实际工程需要，按1:1比例制作符合实际环境的被测目标物模型，并在目标物表面适当位置贴放标识；
2)通过挑选满足工程需要的相机镜头与图像传感器，联合制成视觉测量装置，并完成相机标定与畸变校正；
3)校正后的视觉测量装置确定后，放置已贴放标识的被测目标物模型，位置应满足标识轴心与视觉测量装置轴心连线保持水平；
4)借助角度测量装置，调整目标三维姿态角，对标识进图片拍摄；
5)对目标三维姿态角的调整策略以一定的角度间隔为步幅，进行训练样本获取，每个样本对应一个标签，分别对应一组三维姿态角，将收集好的训练集进行格式转换，使之符合神经网络输入层的数据格式；
6)进行训练网络的搭建工作，训练网络基于VGG-16卷积神经网络，并在此基础上进行改进，使用VGG-16的前5层，将FC6，FC7替换为卷积层，并将多尺度特征图同时输出；
7)训练卷积神经网络；
8)构建测试用数据集，任意调整被测目标物模型三维姿态角进行拍照截取，投入训练好的卷积神经网络，得到测试结果。
CN201711280980.5A 2017-12-06 2017-12-06 基于深度学习的小幅度目标三维姿态角测量方法 Active CN107917700B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711280980.5A CN107917700B (zh) 2017-12-06 2017-12-06 基于深度学习的小幅度目标三维姿态角测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711280980.5A CN107917700B (zh) 2017-12-06 2017-12-06 基于深度学习的小幅度目标三维姿态角测量方法

Publications (2)

Publication Number Publication Date
CN107917700A CN107917700A (zh) 2018-04-17
CN107917700B true CN107917700B (zh) 2020-06-09

Family

ID=61898406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711280980.5A Active CN107917700B (zh) 2017-12-06 2017-12-06 基于深度学习的小幅度目标三维姿态角测量方法

Country Status (1)

Country Link
CN (1) CN107917700B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108959713B (zh) * 2018-06-05 2023-06-27 天津大学 基于卷积神经网络的目标距离与正对位置偏移测量方法
CN109458990B (zh) * 2018-11-08 2020-12-22 华南理工大学 一种基于免标记锚点检测的仪器设备位姿测量及误差补偿方法
CN109631911B (zh) * 2018-12-17 2021-02-05 浙江大学 一种基于深度学习目标识别算法的卫星姿态转动信息确定方法
CN109636856B (zh) * 2019-01-17 2022-03-04 天津大学 基于hog特征融合算子的物体六维度位姿信息联合测量方法
CN109934872A (zh) * 2019-02-28 2019-06-25 天津大学 基于全连接网络的姿态测量方法
CN111402122A (zh) * 2020-03-20 2020-07-10 北京字节跳动网络技术有限公司 图像的贴图处理方法、装置、可读介质和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411779A (zh) * 2011-08-19 2012-04-11 中国科学院西安光学精密机械研究所 基于图像的物体模型匹配姿态测量方法
CN106534579A (zh) * 2016-12-12 2017-03-22 北京羲和科技有限公司 基于深度学习的手机姿态判断方法及装置
CN106683091A (zh) * 2017-01-06 2017-05-17 北京理工大学 一种基于深度卷积神经网络的目标分类及姿态检测方法
CN106845515A (zh) * 2016-12-06 2017-06-13 上海交通大学 基于虚拟样本深度学习的机器人目标识别和位姿重构方法
CN106951867A (zh) * 2017-03-22 2017-07-14 成都擎天树科技有限公司 基于卷积神经网络的人脸识别方法、装置、***及设备
CN107103613A (zh) * 2017-03-28 2017-08-29 深圳市未来媒体技术研究院 一种三维手势姿态估计方法
CN107239728A (zh) * 2017-01-04 2017-10-10 北京深鉴智能科技有限公司 基于深度学习姿态估计的无人机交互装置与方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9400925B2 (en) * 2013-11-15 2016-07-26 Facebook, Inc. Pose-aligned networks for deep attribute modeling

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411779A (zh) * 2011-08-19 2012-04-11 中国科学院西安光学精密机械研究所 基于图像的物体模型匹配姿态测量方法
CN106845515A (zh) * 2016-12-06 2017-06-13 上海交通大学 基于虚拟样本深度学习的机器人目标识别和位姿重构方法
CN106534579A (zh) * 2016-12-12 2017-03-22 北京羲和科技有限公司 基于深度学习的手机姿态判断方法及装置
CN107239728A (zh) * 2017-01-04 2017-10-10 北京深鉴智能科技有限公司 基于深度学习姿态估计的无人机交互装置与方法
CN106683091A (zh) * 2017-01-06 2017-05-17 北京理工大学 一种基于深度卷积神经网络的目标分类及姿态检测方法
CN106951867A (zh) * 2017-03-22 2017-07-14 成都擎天树科技有限公司 基于卷积神经网络的人脸识别方法、装置、***及设备
CN107103613A (zh) * 2017-03-28 2017-08-29 深圳市未来媒体技术研究院 一种三维手势姿态估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"3D head pose estimation with convolutional neural network trained on synthetic images";Xiabing Liu et al.;《2016 IEEE International Conference on Image Processing》;20161231;第1289-1293页 *
"Head Pose Estimation Based on Robust Convolutional Neural Network";Jiao Bao et al.;《Cybernetics and Information Technologies》;20161231;第16卷(第6期);第133-145页 *

Also Published As

Publication number Publication date
CN107917700A (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
CN107917700B (zh) 基于深度学习的小幅度目标三维姿态角测量方法
CN109360240B (zh) 一种基于双目视觉的小型无人机定位方法
CN108959713B (zh) 基于卷积神经网络的目标距离与正对位置偏移测量方法
CN111340797A (zh) 一种激光雷达与双目相机数据融合检测方法及***
CN102081296B (zh) 仿复眼视觉动目标快速定位及全景图同步获取装置及方法
CN109443321B (zh) 一种监测大型结构形变的串并联像机网络测量方法
CN104268876A (zh) 基于分块的摄像机标定方法
CN110889829A (zh) 一种基于鱼眼镜头的单目测距方法
CN110470226A (zh) 一种基于无人机***的桥梁结构位移测量方法
CN110889873A (zh) 一种目标定位方法、装置、电子设备及存储介质
CN110517284B (zh) 一种基于激光雷达和ptz摄像机的目标追踪方法
CN104079916A (zh) 一种全景三维视觉传感器及使用方法
CN112991460B (zh) 一种用于获取汽车零件尺寸的双目测量***、方法及装置
CN114529605A (zh) 一种基于多视图融合的人体三维姿态估计方法
CN109636856B (zh) 基于hog特征融合算子的物体六维度位姿信息联合测量方法
CN112580683B (zh) 一种基于互相关的多传感器数据时间对齐***及其方法
CN102636081A (zh) 一种基于视觉运动建模的传递对准方法及装置
CN109407115A (zh) 一种基于激光雷达的路面提取***及其提取方法
CN108036791A (zh) 一种部件间高精度自动对接的位姿检测方法
CN112053392A (zh) 一种红外与可见光图像的快速配准与融合方法
CN108759773A (zh) 一种应用于机器人抓取的单目视觉测距方法
CN104123726A (zh) 基于消隐点的大锻件测量***标定方法
CN111950524B (zh) 一种基于双目视觉和rtk的果园局部稀疏建图方法和***
CN115950435A (zh) 无人机巡检影像的实时定位方法
CN110887470B (zh) 基于微透镜阵列二维光学编码标识定向的位姿测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant