CN109636856A - 基于hog特征融合算子的物体六维度位姿信息联合测量方法 - Google Patents

Abstract

本发明涉及一种基于HOG特征融合算子的物体六维度位姿信息联合测量方法，包括下列步骤：搭建实物测量环境：利用六维度物***置与姿态控制平台，完成实物环境搭建工作，将满足实际需求的测量模型与所述平台进行有效结合与固定，利用黑白棋盘格作为特征标识物，并将特征标识物贴放于实物模型表面，完成实物测量环境搭建；制作神经网络训练集；提取特征标识物方向梯度直方图特征HOG；基于keras神经网络框架搭建训练网络；将神经网络与特征标识物HOG特征融合；基于keras神经网络框架，进行测试程序构建。

Description

基于HOG特征融合算子的物体六维度位姿信息联合测量方法

技术领域

本发明属于计算机视觉领域，涉及利用单目视觉测量***在实际物体相对被测量点三维空间位置、三维姿态角测量中的应用。

背景技术

机器视觉是基于对人类视觉研究的基础上衍生出的学科,它是人工智能领域一个新的研究热点。近年来,大量的研究人员从事着视觉领域各方面技术的研究,希望突破多方面的限制,使机器视觉技术能够更加成熟。机器视觉技术作为重要的检测测量技术已经应用于很多重要的工业、军事领域中,例如生物医学,环境科学,纺织,航天等。

机器视觉***根据获取图像的传感器个数的不同可以分为单目视觉测量***,双目视觉测量***和多目视觉测量***等。其中，单目视觉测量法设备要求简单，在实际工业需求中较易实现，常被广泛用于图像单目视觉就是利用一个视觉传感器来捕捉图像信息,***结构简单,成本低,对场地环境要求较低,而且视场范围较双目视觉或多目视觉要大得多,不需要进行立体匹配,具有广泛适用性。利用单目视觉来对运动目标进行目标距离与正对位置偏移的方法有很多,如几何相似法、几何光学法、特征靶标测量法、激光测距仪辅助测量法均可以对目标物体的目标距离与正对位置偏移进行测量。

发明内容

本发明的目的在于克服现有的目标目标距离与正对位置偏移测量方式的缺陷提供一种可以实现更高精度测量的方法，将卷积神经网络与物体在不同位置、姿态下其表面特征标识物的视觉捕获特征分析策略引入目标距离与正对位置偏移测量过程，通过搭建实物测量平台，并控制六维度电机驱动带有特征标识物的被测物体进行确定角度与位置的改变，利用视觉捕获设备进行视觉捕获，并将六维度信息制作成为对应视觉图片的训练集标签。通过制作大量训练集投入卷积神经网络，并将特征标识物HOG特征与网络进行有机结合，优化网络参数，最终实现更高精度测量。技术方案如下：

一种基于HOG特征融合算子的物体六维度位姿信息联合测量方法，包括下列步骤：

第一步：搭建实物测量环境：利用六维度物***置与姿态控制平台，完成实物环境搭建工作，将满足实际需求的测量模型与所述平台进行有效结合与固定，利用黑白棋盘格作为特征标识物，并将特征标识物贴放于实物模型表面，完成实物测量环境搭建；

第二步：制作神经网络训练集：通过控制六维度电机驱动，对带有特征标识物的实物模型进行有效位置和姿态的信息改变，在合理范围内，以电机驱动最小单位进行大范围样本获取，利用相机搭建实物视觉捕获装置，对改变后的图像进行捕获；构建脚本程序，对每次改变的具体六维度信息进行有效测量，记录成为神经网络训练集标签；

第三步：提取特征标识物方向梯度直方图特征HOG；

第四步：将收集好的训练集进行格式转换，使之符合神经网络输入层的数据格式；

第五步：基于keras神经网络框架搭建训练网络；

第六步：将神经网络与特征标识物HOG特征融合：在第一层卷积之前，将特征标识物基础图像与提取到的HOG特征图像同时输入第一层卷积神经网络，神经网络末端构建6维度全连接层，以输出六维度位置与姿态信息；

第七步：基于keras神经网络框架，进行测试程序构建，与此同时，构建测试用数据集，在实际环境中任意调整实际模型目标距离与正对位置偏移进行拍照截取，投入训练好的卷积神经网络，得到测试结果。

本发明将物体空间位置与姿态改变所带来的特征标识物图像改变性和特征标识物具有的HOG图像特征有机结合，提高基于单目视觉位姿测量精度与准确性。同时，本发明所采用的基于深度学习的小范围幅度目标三维姿态角测量将克服传统测量方法中存在的误差大、世界坐标系与像素坐标系之间对应关系不易确定的问题，通过高精度卷积神经网络的结构设计，加之高精度、大范围样本的不断训练学习，最终能将测量输出目标距离误差控制在2毫米(3σ)之内、正对位置偏移测量误差控制在1毫米(3σ)之内。同时，利用贴合实际工程的卷积神经网络实现实时测量，每秒钟测量图片数可达到100张及以上(fps>100)，从而即时输出高精度测量结果。

附图说明

图1具有丰富特征的特征标识物

图2卷积神经网络与特征融合框架

具体实施方式

下面结合实施例对本发明进行说明。

第一步：搭建实物测量环境。利用现有六维度物***置与姿态控制平台，完成实物环境搭建工作。将满足实际需求的测量模型与平台进行有效结合与固定，并将特征标识物贴放于测量模型表面，完成实物测量环境搭建。与此同时，利用黑白棋盘格作为特征标识物，以突出微小空间位置和姿态改变对颜色空间和线条走向所引起的差异性改变。特征标识物如附图1所示。

第二步：制作神经网络训练集。通过控制六维度电机驱动，对带有特征标识物的实物模型进行有效位置和姿态的信息改变，在合理范围内，以电机驱动最小单位进行大范围样本获取。空间位置三维度最小移动步幅为0.01米，三维姿态角最小旋转步幅为0.01°。利用工业相机搭建实物视觉捕获装置，对改变后的图像进行捕获。与此同时，构建脚本程序，对每次改变的具体六维度信息进行有效测量，记录成为神经网络训练集标签。

第三步：利用python程序，提取特征标识物方向梯度直方图特征。方向梯度直方图(Histogram ofOriented Gradient,HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。

第四步：将收集好的训练集进行格式转换，使之符合神经网络输入层的数据格式。

第五步：搭建训练网络，训练网络将基于keras神经网络框架，结合实际工程环境及需求，构建高精度卷积神经网络识别***，提高识别准确率，以增加识别精度。

第六步：将神经网络与标识物HOG特征融合。在第一层卷积之前，将特征标识物基础图像与提取到的HOG特征图像同时输入第一层卷积神经网络。神经网络末端构建6维度全连接层，以输出六维度位置与姿态信息。相关网络与特征融合构建如图2所示。

第七步：基于keras神经网络框架，进行测试程序构建。与此同时，构建测试用数据集，在实际环境中任意调整实际模型目标距离与正对位置偏移进行拍照截取，投入训练好的卷积神经网络，得到测试结果。

Claims (1)

1.一种基于HOG特征融合算子的物体六维度位姿信息联合测量方法，包括下列步骤：

第一步：搭建实物测量环境：利用六维度物***置与姿态控制平台，完成实物环境搭建工作，将满足实际需求的测量模型与所述平台进行有效结合与固定，利用黑白棋盘格作为特征标识物，并将特征标识物贴放于实物模型表面，完成实物测量环境搭建。

第二步：制作神经网络训练集：通过控制六维度电机驱动，对带有特征标识物的实物模型进行有效位置和姿态的信息改变，在合理范围内，以电机驱动最小单位进行大范围样本获取，利用相机搭建实物视觉捕获装置，对改变后的图像进行捕获；构建脚本程序，对每次改变的具体六维度信息进行有效测量，记录成为神经网络训练集标签；

第三步：提取特征标识物方向梯度直方图特征HOG；

第四步：将收集好的训练集进行格式转换，使之符合神经网络输入层的数据格式；

第五步：基于keras神经网络框架搭建训练网络；

第六步：将神经网络与特征标识物HOG特征融合：在第一层卷积之前，将特征标识物基础图像与提取到的HOG特征图像同时输入第一层卷积神经网络，神经网络末端构建6维度全连接层，以输出六维度位置与姿态信息；

第七步：基于keras神经网络框架，进行测试程序构建，与此同时，构建测试用数据集，在实际环境中任意调整实际模型目标距离与正对位置偏移进行拍照截取，投入训练好的卷积神经网络，得到测试结果。