CN110334701A - 数字孪生环境下基于深度学习和多目视觉的数据采集方法 - Google Patents

数字孪生环境下基于深度学习和多目视觉的数据采集方法 Download PDF

Info

Publication number
CN110334701A
CN110334701A CN201910623996.4A CN201910623996A CN110334701A CN 110334701 A CN110334701 A CN 110334701A CN 201910623996 A CN201910623996 A CN 201910623996A CN 110334701 A CN110334701 A CN 110334701A
Authority
CN
China
Prior art keywords
deep learning
index point
radius
obtains
circle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910623996.4A
Other languages
English (en)
Other versions
CN110334701B (zh
Inventor
李�浩
刘根
王昊琪
文笑雨
乔东平
罗国富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University of Light Industry
Original Assignee
Zhengzhou University of Light Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University of Light Industry filed Critical Zhengzhou University of Light Industry
Priority to CN201910623996.4A priority Critical patent/CN110334701B/zh
Publication of CN110334701A publication Critical patent/CN110334701A/zh
Application granted granted Critical
Publication of CN110334701B publication Critical patent/CN110334701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种数字孪生环境下基于深度学习和多目视觉的数据采集方法，步骤如下：S1，设置与环境背景有区分度的球形标志点；S2，获得标志点在视频图像中的球心位置坐标和半径；S3，构建深度学习模型，并进行训练；S4，将标志点附着于带定位的目标物体上，使用步骤S3对空间中的标志点进行定位，实现对目标物体的定位。本发明可用于数字孪生环境下对各种目标物***置和姿态数据的获取，具有很强的普遍适用性。利用标志点辅助，降低了视觉图像分析处理的复杂度，使识别和定位过程更简单，效率更高更加可靠。使用深度学习来定位标志点，使摄像头因图像畸变造成的定位误差降到最低，可适应各种摄像头数量和布局情况。

Description

数字孪生环境下基于深度学习和多目视觉的数据采集方法
技术领域
本发明属于数字采集技术领域，具体涉及一种数字孪生环境下的数据采集方 法，特别是基于深度学习和多目视觉的数据采集方法。
背景技术
数字孪生技术需要对物理设备进行高度仿真，同时需要实时掌握物理设备的 各种状态数据，使仿真模型与物理设备实时状态一致。数字孪生技术依赖于感知 和控制技术及其综合技术集成。物理设备的力学状态信息、电流状态信息、热力 学状态信息以及动作状态信息都需要借助于感知技术来获取。
在数字孪生***的构建中，首先需要等比例构建物理设备的3D模型，然后 再构建其力学、电学、能量等高层次模型。为实现3D模型与物理设备状态的实 时对应关系，需要实时采集物理设备各部分的位置、姿态和动作信息。对物理设 备位置、姿态和动作信息的采集有多种技术手段可供采用。使用传感器是普遍采 用的数据采集方法。
针对不同的数据采集任务，需要设计不同的传感器配置方案。例如采集设备 角度数据需要用到角度传感器，采集设备运转动作信息需要用到激光传感器和惯 性传感器等。这样做的缺点是需要对原有设备进行改动，传感器***需要针对特 定设备做特定的配置，普适性不强。
视觉是获取信息的最关键渠道之一。设备外观、姿态、运转状态、动作信息 等都能通过视觉的办法获取到。通过视觉获取这些信息的一个关键问题是对目标 的定位和跟踪。生产线上原材料的移动，机器人抓取目标物体，无人机确定自身 或目标物体的姿态和位置时，都需要解决目标物体的识别和空间定位问题。
现有的对目标进行识别和定位的方法主要有利用机器视觉的方法，使用超声 波进行定位的方法以及使用电磁波进行识别和定位的方法等几种类型。超声波定 位受到温度、湿度、气压等不确定因素的影响，无法做得很精确。借助于电磁波 进行目标的识别的方法以射频标签技术为代表，能够借助于标签解决目标的识别 问题，但无法解决目标定位问题。仿照雷达原理可以实现利用电磁波对目标的定 位，但这样做***过于复杂庞大，并且限于目前可用于雷达的电磁波波长都在厘 米级以上，那么借助于电磁波的定位精度就无法精确到1厘米以下。
使用视觉的方法能够达到比较高的定位精度。使用视觉的方法对目标进行识 别和定位，一种是直接提取目标特征。这种方法图像处理过程复杂，运算时间长， 针对不同的目标需要设计不同的算法。
另一种是借助于人工标识。对人工标识的识别采用深度学习的方法训练来提 高算法在不同背景中对标识的识别能力，但这种方法在背景环境改变时算法性能 会大幅下降，并且采用深度学习的方法训练量很大。
基于视差原理的双目立体视觉是一种由多幅图像获取物体三维几何信息的 方法。通过两个摄像头从不同的角度获取目标物体的两幅数字图像，也可以由一 个摄像头在不同的位置拍摄两幅数字图像，通过计算这两幅图像的视差还原出目 标物体的三维几何信息。该方法首先要测量出摄像头的焦距，成像尺寸，摄像头 中心点位置和双摄像头间距和角度等信息，因为透镜成像的缺点，物体成像以后 会发生一定程度的畸变，处理这些畸变又需要对计算方法进行修正。
发明内容
根据上述现有技术，本发明要解决的技术问题是使用传感器采集设备数据安 装复杂不具有普适性，使用机器视觉方法直接识别和定位目标物体算法复杂，借 助于标志点间接识别和定位目标物体时采用深度学习算法背景变化时识别的不 稳定问题，以及通过双目或多目视觉定位目标时标定复杂和图像畸变造成的定位 误差问题，从而提供一种数字孪生环境下基于深度学习和多目视觉的数据采集方 法。
为解决上述技术问题，本发明所采用的技术方案如下：
一种数字孪生环境下基于深度学习和多目视觉的数据采集方法，步骤如下：
S1，设置与环境背景有较大区分度的球形标志点。
所述球形标志点，具有与环境背景有较大区分度的特定颜色。
S2，获得标志点在视频图像中的球心位置坐标和半径。
S2.1，在环境中布置至少两个摄像头，且摄像头分布在环境的不同位置，使 摄像头视景体交叉。
S2.2，获得各摄像头的视频图像fi(x，y)，i为第i个摄像头，x为视频图像像 素横坐标，y为视频图像像素纵坐标；
S2.3，使用边缘检测方法，获得视频图像fi(x，y)的边缘图像Fi(x，y)；
图像边缘与周围像素有较大差距，通过对图像数据在x和y两个方向上求导 数，求得一阶导数的极大值处即为图像边缘，即二阶导数的零点处。
S2.3.1，采用Laplace算子对视频图像fi(x，y)求导，得到视频图像的一阶导 数fi′(x，y)：
fi′(x，y)＝-4fi(x，y)+fi(x-1，y)+fi(x+1，y)+fi(x，y-1)+fi(x，y-1)；
S2.3.2，提取一阶导数fi′(x，y)的系数得到获得Laplace算子模板；
S2.3.3，结合Laplace算子模板和视频图像fi(x，y)，获得各边缘图像Fi(x，y) 的像素值，从而得到各边缘图像Fi(x，y)；
将Laplace算子模板覆盖在图像fi(x，y)上，并将图像fi(x，y)的像素与 Laplace算子模板对应位置值相乘，然后相加，得出Laplace算子模板中心位置所 对应像素的值，得到的像素值就是边缘图像Fi(x，y)的像素值；
S2.4，采用霍夫找圆算法找到边缘图像Fi(x，y)中的所有圆形；
S2.4.1，给定圆形的一般方程：
(x-a)2+(y-b)2＝r2；
其中(a，b)为圆心坐标，r为圆的半径；
S2.4.2，将x-y像素坐标系中边缘图像Fi(x，y)的每一个像素点对应到a-b坐标 系中得到与像素点对应的圆，且对应后在a-b坐标系中圆的方程为(a-x)2+ (b-y)2＝r2，(x，y)为圆心坐标，半径r设定为既定值，在a-b坐标系中所有的圆 会交于一点，这一点即为可能的圆心位置；
S2.4.3，调节半径r的值重复步骤S2.4.2直至找到所有半径圆形圆心位置，进 而得到边缘图像Fi(x，y)中的所有圆形；
S2.5，对获得的每一个圆形区域在视频图像fi(x，y)中进行直方图统计找到与 标志点颜色区域最接近的圆形，并得到这个圆形的圆心和半径数据；
S2.5.1，将视频图像fi(x，y)转换为灰度图像；
S2.5.2，将灰度图像分割为三个区间段；
本发明的区间段分别为：[0，85)，[85，170)，[170，255]；
S2.5.3，扫描判断每一个圆形区域像素值落入三个区间段的频率；
S2.5.4，获得标志点在视频图像中的球心位置坐标和半径；
比对圆形区域像素值频率分布与标志点颜色频率分布，排除差异大的圆形， 记录频率分布相似度较高的圆形圆心和半径数据，频率分布相似度较高的圆形圆 心和半径数据就是标志点的圆心和半径；
S3，构建深度学习模型，并进行训练；
基于深度学习算法框架，以每个摄像头获取的图像中的标志点球心二维坐标 和标志点半径为输入数据，以标志点在空间中的三维坐标为输出数据，训练深度 学习算法程序，使其对标志点有准确的定位能力。
具体为：S3.1，获得样本数据；
所述样本数据包括输入数据和输出数据，所述输入数据包括标志点二维坐标 和标志点半径；所述输出数据为标志点空间坐标；
S3.1.1，使用机械人手臂持标志点遍历视景体每一个位置；
S3.1.2，根据步骤S2得到标志点的圆心坐标和半径并作为输入数据，标志点 的圆心坐标就是标志点二维坐标；
S3.1.3，机器人结合标志点的圆心坐标和半径得到标志点空间坐标，标志点 空间坐标为输出数据；
S3.2，构建深度学习模型；
S3.2.1，设计具有一个输入层，一个输出层，两个隐藏层的神经网络结构； 输入层的节点数等于摄像头数量乘以输入参数个数，本发明输入参数是3个，圆 心坐标(x,y)和半径r。
输出层节点数为输出参数个数，为3个，即标志点空间坐标(X,Y,Z)；
隐藏层节点数设置为定值，本发明中为50个。
S3.2.2，优化深度学习模型；
在深度学习模型中引入dropout机制，在训练中以一定的概率P删除一部分 隐藏层节点；
S3.2.2.1，获得神经网络结构的激活函数：
S3.2.2.2，各节点对输入数据加权求和同时加上偏置值得：
S3.2.2.3，结合步骤S3.2.2.1和S3.2.2.2，得到节点输出：
其中，j代表神经网络结构的第j层，mj为蒙版参数，符合伯努利概率分布， mj根据概率P的值而变化。
S3.2.2.4，删除隐含层节点。
当蒙版参数mj为0时，节点输出为0，删除当前节点；
S3.2.2.5，得到优化后深度学习模型，优化后深度学习模型的最终输出为：
空间三维坐标(X，Y，Z)；
其中，X＝G1(W，B，M)，Y＝G2(W，B，M)，Z＝G3(W，B，M)；W为权值w向量， B为偏置值b向量，M为蒙版值m向量。
S3.3，对优化后深度学习模型进行训练。
S3.3.1，将步骤S3.1获得的样本数据分为训练数据和测试数据；
训练数据为样本数据的80％，记为：
测试数据为样本数据的20％，记为：
S3.3.2，给定训练误差计算公式：
S3.3.3，给定梯度计算公式：
S3.3.4，将训练数据代入优化后深度学习模型进行训练并迭代得到W和B。
S3.3.5，将测试数据代入深度学习模型进行验证。
S4，将标志点附着于带定位的目标物体上，使用步骤S3构建的深度优化模 型对空间中的标志点进行定位，进而实现对目标物体的定位。
本发明的有益效果：本发明将机器视觉方法应用于数字孪生技术，通过视觉 方法采集设备位置、动作、姿态等实时数据。并改进机器视觉方法，引入人工标 识从而简化了对目标物体的识别和定位过程，使用常规的图像处理算法,经过组 合运用达到对标志点的较高识别率，经过常规图像处理算法运算得出的数据已经 较为精简，提供给深度学习算法框架使训练的过程更快速训练效果更好，使用深 度学习算法框架用来解决对标志点的定位问题，因为在训练过程中遍历了空间所 有点，所以能够消除因图像畸变导致的定位误差问题，同时采用训练学习方式可 以任意布置摄像头的位置和数量只需视景体有重合就能训练成功。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的***流程图。
图2为本发明中深度学习神经网络原理图。
图3为本发明多目视觉定位结构原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、 完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的 实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前 提下所获得的所有其他实施例，都属于本发明保护的范围。
一种数字孪生环境下基于深度学习和多目视觉的数据采集方法，如图1所示， 步骤如下：
S1，设置与环境背景有较大区分度的球形标志点，如图3中所示。
所述球形标志点，具有与环境背景有较大区分度的特定颜色。
S2，获得标志点在视频图像中的球心位置坐标和半径。
S2.1，在环境中布置至少两个摄像头，如图3所示，摄像头是4个，各摄像 头分布在环境的不同位置，使摄像头视景体交叉，图3中摄像头前方的矩形是摄 像头的图像范围，标志点会成像在摄像头图像范围内一点。
S2.2，获得各摄像头的视频图像fi(x,y)，i为第i个摄像头，x为视频图像像 素横坐标，y为视频图像像素纵坐标。
S2.3，使用边缘检测方法，获得视频图像fi(x，y)的边缘图像Fi(x，y)。
图像边缘与周围像素有较大差距，通过对图像数据在x和y两个方向上求导 数，求得一阶导数的极大值处即为图像边缘，即二阶导数的零点处。
S2.3.1，采用Laplace算子对视频图像fi(x，y)求导，得到视频图像的一阶导 数fi′(x，y)：
fi′(x，y)＝-4fi(x，y)+fi(x-1，y)+fi(x+1，y)+fi(x，y-1)+fi(x，y-1)；
S2.3.2，提取一阶导数fi′(x，y)的系数得到获得Laplace算子模板。
S2.3.3，结合Laplace算子模板和视频图像fi(x，y)，获得各边缘图像Fi(x，y) 的像素值，从而得到各边缘图像Fi(x，y)。
将Laplace算子模板覆盖在图像fi(x，y)上，并将图像fi(x，y)的像素与 Laplace算子模板对应位置值相乘，然后相加，得出Laplace算子模板中心位置所 对应像素的值，得到的像素值就是边缘图像Fi(x，y)的像素值；
S2.4，采用霍夫找圆算法找到边缘图像Fi(x，y)中的所有圆形；
S2.4.1，给定圆形的一般方程：
(x-a)2+(y-b)2＝r2；
其中(a,b)为圆心坐标，r为圆的半径；
S2.4.2，将x-y像素坐标系中边缘图像Fi(x，y)的每一个像素点对应到a-b坐标 系中得到与像素点对应的圆，且对应后在a-b坐标系中圆的方程为(a-x)2+ (b-y)2＝r2，(x，y)为圆心坐标，半径r设定为既定值，在a-b坐标系中所有的圆 会交于一点，这一点即为可能的圆心位置；
S2.4.3，调节半径r的值重复步骤S2.4.2直至找到所有半径圆形圆心位置，进 而得到边缘图像Fi(x,y)中的所有圆形；
S2.5，对获得的每一个圆形区域在视频图像fi(x,y)中进行直方图统计找到与 标志点颜色区域最接近的圆形，并得到这个圆形的圆心和半径数据；
S2.5.1，将视频图像fi(x,y)转换为灰度图像；
S2.5.2，将灰度图像分割为三个区间段；
本发明的区间段分别为：[0,85),[85,170),[170,255]；
S2.5.3，扫描判断每一个圆形区域像素值落入三个区间段的频率；
S2.5.4，获得标志点在视频图像中的球心位置坐标和半径；
比对圆形区域像素值频率分布与标志点颜色频率分布，排除差异大的圆形， 记录频率分布相似度较高的圆形圆心和半径数据，频率分布相似度较高的圆形圆 心和半径数据就是标志点的圆心和半径；
S3，构建深度学习模型，并进行训练；
基于深度学习算法框架，以每个摄像头获取的图像中的标志点球心二维坐标 和标志点半径为输入数据，以标志点在空间中的三维坐标为输出数据，训练深度 学习算法程序，使其对标志点有准确的定位能力。
具体为：S3.1，获得样本数据；
所述样本数据包括输入数据和输出数据，所述输入数据包括标志点二维坐标 和标志点半径；所述输出数据为标志点空间坐标；
S3.1.1，使用如图3中所示的机械人手臂持标志点遍历视景体每一个位置；
S3.1.2，根据步骤S2得到标志点的圆心坐标和半径并作为输入数据，标志点 的圆心坐标就是标志点二维坐标；
S3.1.3，机器人结合标志点的圆心坐标和半径得到标志点空间坐标，标志点 空间坐标为输出数据。
机械臂每经过一个空间位置点，从摄像头拍摄的图像中识别标志点得出标志 点圆心和半径数据作为神经网络输入，机械臂到达的空间点坐标作为神经网络输 出。
S3.2，构建深度学习模型；
S3.2.1，设计具有一个输入层，一个输出层，两个隐藏层的神经网络结构， 如图2所示；输入层的节点数等于摄像头数量乘以输入参数个数，本发明输入参 数是3个，圆心坐标(x，y)和半径r，输入数据为4组，每组都包括图2中所示的 圆心坐标(x1，y1)和半径r1。输出层节点数为输出参数个数，为3个，即标志点空 间坐标(X，Y，Z)；
隐藏层节点数设置为定值，本发明中为50个。
S3.2.2，优化深度学习模型；
在深度学习模型中引入dropout机制，在训练中以一定的概率P删除一部分 隐藏层节点；如图2所示，带有×标记的节点即为在算法中以一定概率删除的节 点。
S3.2.2.1，获得神经网络结构的激活函数：
S3.2.2.2，各节点对输入数据加权求和同时加上偏置值得：
S3.2.2.3，结合步骤S3.2.2.1和S3.2.2.2，得到节点输出：
其中，j代表神经网络结构的第j层，mj为蒙版参数，符合伯努利概率分布， mj根据概率P的值而变化。
S3.2.2.4，删除隐含层节点。
当蒙版参数mj为0时，节点输出为0，删除当前节点；
S3.2.2.5，得到优化后深度学习模型，优化后深度学习模型的最终输出为：
空间三维坐标(X，Y，Z)；
其中，X＝G1(W，B，M)，Y＝G2(W，B，M)，Z＝G3(W，B，M)；W为权值w向量， B为偏置值b向量，M为蒙版值m向量。
S3.3，对优化后深度学习模型进行训练。
S3.3.1，将步骤S3.1获得的样本数据分为训练数据和测试数据；
训练数据为样本数据的80％，记为：
测试数据为样本数据的20％，记为：
S3.3.2，给定训练误差计算公式：
S3.3.3，给定梯度计算公式：
S3.3.4，将训练数据代入优化后深度学习模型进行训练并迭代得到W和B。
S3.3.5，将测试数据代入深度学习模型进行验证。
S4，将标志点附着于带定位的目标物体上，使用步骤S3构建的深度优化模 型对空间中的标志点进行定位，进而实现对目标物体的定位。
如图3中所示，完成训练过程后，机械臂带动标志点运动，摄像机捕捉到标 志点的二维坐标及其半径信息，然后通过训练好的神经网络求出标志点三维空间 坐标，进而间接获得机械臂的空间位置。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限 于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到 的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种数字孪生环境下基于深度学习和多目视觉的数据采集方法，其特征在于，步骤如下：
S1，设置与环境背景有区分度的球形标志点；
所述球形标志点，具有与环境背景有较大区分度的特定颜色；
S2，获得标志点在视频图像中的球心位置坐标和半径；
S3，构建深度学习模型，并进行训练；
S4，将标志点附着于带定位的目标物体上，使用步骤S3构建的深度优化模型对空间中的标志点进行定位，进而实现对目标物体的定位。
2.根据权利要求1所述的数字孪生环境下基于深度学习和多目视觉的数据采集方法，其特征在于，在步骤S2中，具体步骤为：
S2.1，在环境中布置至少两个摄像头，且摄像头分布在环境的不同位置，使摄像头视景体交叉；
S2.2，获得各摄像头的视频图像fi(x，y)，i为第i个摄像头，x为视频图像像素横坐标，y为视频图像像素纵坐标；
S2.3，获得视频图像fi(x，y)的边缘图像Fi(x，y)；
S2.4，采用霍夫找圆算法找到边缘图像Fi(x，y)中的所有圆形；
S2.5，对获得的每一个圆形区域在视频图像fi(x，y)中进行直方图统计找到与标志点颜色区域最接近的圆形，并得到这个圆形的圆心和半径数据。
3.根据权利要求所述的数字孪生环境下基于深度学习和多目视觉的数据采集方法，其特征在于，在步骤S2.3中，具体步骤为：
S2.3.1，采用Laplace算子对视频图像fi(x，y)求导，得到视频图像的一阶导数fi′(x，y)：
fi′(x，y)＝-4fi(x，y)+fi(x-1，y)+fi(x+1，y)+fi(x，y-1)+fi(x，y-1)；
S2.3.2，提取一阶导数fi′(x，y)的系数得到获得Laplace算子模板；
S2.3.3，结合Laplace算子模板和视频图像fi(x，y)，获得各边缘图像Fi(x，y)的像素值，从而得到各边缘图像Fi(x，y)；
将Laplace算子模板覆盖在图像fi(x，y)上，并将图像fi(x，y)的像素与Laplace算子模板对应位置值相乘，然后相加，得出Laplace算子模板中心位置所对应像素的值，得到的像素值就是边缘图像Fi(x，y)的像素值。
4.根据权利要求2所述的数字孪生环境下基于深度学习和多目视觉的数据采集方法，其特征在于，在步骤S2.4中，具体步骤为：
S2.4.1，给定圆形的一般方程：
(x-a)2+(y-b)2＝r2；
其中(a，b)为圆心坐标，r为圆的半径；
S2.4.2，将x-y像素坐标系中边缘图像Fi(x，y)的每一个像素点对应到a-b坐标系中得到与像素点对应的圆，且对应后在a-b坐标系中圆的方程为(a-x)2+(b-y)2＝r2，(x，y)为圆心坐标，半径r设定为既定值；
S2.4.3，调节半径r的值重复步骤S2.4.2直至找到所有半径圆形圆心位置，进而得到边缘图像Fi(x，y)中的所有圆形。
5.根据权利要求2所述的数字孪生环境下基于深度学习和多目视觉的数据采集方法，其特征在于，在步骤S2.5中，具体步骤为：
S2.5.1，将视频图像fi(x，y)转换为灰度图像；
S2.5.2，将灰度图像分割为三个区间段；
S2.5.3，扫描判断每一个圆形区域像素值落入三个区间段的频率；
S2.5.4，获得标志点在视频图像中的球心位置坐标和半径；
比对圆形区域像素值频率分布与标志点颜色频率分布，排除差异大的圆形，记录频率分布相似度较高的圆形圆心和半径数据，频率分布相似度较高的圆形圆心和半径数据就是标志点的圆心和半径。
6.根据权利要求1所述的数字孪生环境下基于深度学习和多目视觉的数据采集方法，其特征在于，在步骤S3中，具体步骤为：
S3.1，获得样本数据；
所述样本数据包括输入数据和输出数据，所述输入数据包括标志点二维坐标和标志点半径；所述输出数据为标志点空间坐标；
S3.2，构建深度学习模型；
S3.3，对优化后深度学习模型进行训练。
7.根据权利要求6所述的数字孪生环境下基于深度学习和多目视觉的数据采集方法，其特征在于，在步骤S3.1中，具体步骤为：
S3.1.1，使用机械人手臂持标志点遍历视景体每一个位置；
S3.1.2，根据步骤S2得到标志点的圆心坐标和半径并作为输入数据，标志点的圆心坐标就是标志点二维坐标；
S3.1.3，机器人结合标志点的圆心坐标和半径得到标志点空间坐标，标志点空间坐标为输出数据。
8.根据权利要求6所述的数字孪生环境下基于深度学习和多目视觉的数据采集方法，其特征在于，在步骤S3.2中，具体步骤为：
S3.2.1，设计具有一个输入层，一个输出层，两个隐藏层的神经网络结构；输入层的节点数等于摄像头数量乘以输入参数个数，输出层节点数为输出参数个数；隐藏层节点数设置为定值；
S3.2.2，优化深度学习模型；
在深度学习模型中引入dropout机制，在训练中以一定的概率P删除一部分隐藏层节点；
S3.2.2.1，获得神经网络结构的激活函数：
S3.2.2.2，各节点对输入数据加权求和同时加上偏置值得：
S3.2.2.3，结合步骤S3.2.2.1和S3.2.2.2，得到节点输出：
其中，j代表神经网络结构的第j层，mj为蒙版参数，符合伯努利概率分布，mj根据概率P的值而变化；
S3.2.2.4，删除隐含层节点；
当蒙版参数mj为0时，节点输出为0，删除当前节点；
S3.2.2.5，得到优化后深度学习模型，优化后深度学习模型的最终输出为：
空间三维坐标(X，Y，Z)；
其中，X＝G1(W，B，M)，Y＝G2(W，B，M)，Z＝G3(W，B，M)；W为权值w向量，B为偏置值b向量，M为蒙版值m向量。
9.根据权利要求6所述的数字孪生环境下基于深度学习和多目视觉的数据采集方法，其特征在于，在步骤S3.3中，具体步骤为：
S3.3.1，将步骤S3.1获得的样本数据分为训练数据和测试数据；
训练数据为样本数据的80％，记为：和(Xtrain，Ytrain，Ztrain)；
测试数据为样本数据的20％，记为：和(Xtest，Ytest，Ztest)；
S3.3.2，给定训练误差计算公式：
S3.3.3，给定梯度计算公式：
S3.3.4，将训练数据代入优化后深度学习模型进行训练并迭代得到W和B；
S3.3.5，将测试数据代入深度学习模型进行验证。
CN201910623996.4A 2019-07-11 2019-07-11 数字孪生环境下基于深度学习和多目视觉的数据采集方法 Active CN110334701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910623996.4A CN110334701B (zh) 2019-07-11 2019-07-11 数字孪生环境下基于深度学习和多目视觉的数据采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910623996.4A CN110334701B (zh) 2019-07-11 2019-07-11 数字孪生环境下基于深度学习和多目视觉的数据采集方法

Publications (2)

Publication Number Publication Date
CN110334701A true CN110334701A (zh) 2019-10-15
CN110334701B CN110334701B (zh) 2020-07-31

Family

ID=68146261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910623996.4A Active CN110334701B (zh) 2019-07-11 2019-07-11 数字孪生环境下基于深度学习和多目视觉的数据采集方法

Country Status (1)

Country Link
CN (1) CN110334701B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563446A (zh) * 2020-04-30 2020-08-21 郑州轻工业大学 一种基于数字孪生的人-机交互安全预警与控制方法
CN112418245A (zh) * 2020-11-04 2021-02-26 武汉大学 基于城市环境物理模型的电磁发射点定位方法
CN113419857A (zh) * 2021-06-24 2021-09-21 广东工业大学 一种基于边缘数字孪生关联的联邦学习方法及***
CN114332741A (zh) * 2022-03-08 2022-04-12 盈嘉互联（北京）科技有限公司 一种面向建筑数字孪生的视频检测方法及***
CN115184563A (zh) * 2022-09-08 2022-10-14 北京中环高科环境治理有限公司 一种基于数字孪生的化工车间现场数据采集方法
CN115631401A (zh) * 2022-12-22 2023-01-20 广东省科学院智能制造研究所 一种视觉感知的机器人自主抓取技能学习***及方法
CN115849202A (zh) * 2023-02-23 2023-03-28 河南核工旭东电气有限公司 基于数字孪生技术的智能起重机操作目标识别方法
CN116524030A (zh) * 2023-07-03 2023-08-01 新乡学院 一种用于数字孪生的起重机摇摆情形下的重建方法及***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226638A (zh) * 2007-01-18 2008-07-23 中国科学院自动化研究所 一种对多相机***的标定方法及装置
CN104463191A (zh) * 2014-10-30 2015-03-25 华南理工大学 一种基于注意机制的机器人视觉处理方法
CN104867158A (zh) * 2015-06-03 2015-08-26 武汉理工大学 基于单目视觉的室内水面船舶精确定位***和方法
WO2018140365A1 (en) * 2017-01-24 2018-08-02 Siemens Aktiengesellschaft System and method for cognitive engineering technology for automation and control of systems
CN108805222A (zh) * 2018-05-08 2018-11-13 南京邮电大学 一种基于arm平台的深度学习数字手写体识别方法
CN109341689A (zh) * 2018-09-12 2019-02-15 北京工业大学 基于深度学习的移动机器人视觉导航方法
CN109448061A (zh) * 2018-10-09 2019-03-08 西北工业大学 一种无需摄像机标定的水下双目视觉定位方法
US20190156477A1 (en) * 2017-11-22 2019-05-23 General Electric Company Multi-modal computer-aided diagnosis systems and methods for prostate cancer
CN109933035A (zh) * 2019-04-24 2019-06-25 中国科学院重庆绿色智能技术研究院 一种基于数字孪生的生产线控制***、方法及生产***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226638A (zh) * 2007-01-18 2008-07-23 中国科学院自动化研究所 一种对多相机***的标定方法及装置
CN104463191A (zh) * 2014-10-30 2015-03-25 华南理工大学 一种基于注意机制的机器人视觉处理方法
CN104867158A (zh) * 2015-06-03 2015-08-26 武汉理工大学 基于单目视觉的室内水面船舶精确定位***和方法
WO2018140365A1 (en) * 2017-01-24 2018-08-02 Siemens Aktiengesellschaft System and method for cognitive engineering technology for automation and control of systems
US20190156477A1 (en) * 2017-11-22 2019-05-23 General Electric Company Multi-modal computer-aided diagnosis systems and methods for prostate cancer
CN108805222A (zh) * 2018-05-08 2018-11-13 南京邮电大学 一种基于arm平台的深度学习数字手写体识别方法
CN109341689A (zh) * 2018-09-12 2019-02-15 北京工业大学 基于深度学习的移动机器人视觉导航方法
CN109448061A (zh) * 2018-10-09 2019-03-08 西北工业大学 一种无需摄像机标定的水下双目视觉定位方法
CN109933035A (zh) * 2019-04-24 2019-06-25 中国科学院重庆绿色智能技术研究院 一种基于数字孪生的生产线控制***、方法及生产***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NEERAJ KAVAN CHAKSHU等: "A semi‐active human digital twin model for detecting severity of carotid stenoses from head vibration—A coupled computational mechanics and computer vision method", 《INT J NUMER METH BIOMED ENGNG》 *
李琳利等: "基于数字孪生的复杂机械产品多学科协同设计建模技术", 《计算机集成制造***》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563446A (zh) * 2020-04-30 2020-08-21 郑州轻工业大学 一种基于数字孪生的人-机交互安全预警与控制方法
CN112418245A (zh) * 2020-11-04 2021-02-26 武汉大学 基于城市环境物理模型的电磁发射点定位方法
CN112418245B (zh) * 2020-11-04 2024-04-26 武汉大学 基于城市环境物理模型的电磁发射点定位方法
CN113419857A (zh) * 2021-06-24 2021-09-21 广东工业大学 一种基于边缘数字孪生关联的联邦学习方法及***
CN114332741A (zh) * 2022-03-08 2022-04-12 盈嘉互联（北京）科技有限公司 一种面向建筑数字孪生的视频检测方法及***
CN114332741B (zh) * 2022-03-08 2022-05-10 盈嘉互联（北京）科技有限公司 一种面向建筑数字孪生的视频检测方法及***
CN115184563A (zh) * 2022-09-08 2022-10-14 北京中环高科环境治理有限公司 一种基于数字孪生的化工车间现场数据采集方法
CN115184563B (zh) * 2022-09-08 2022-12-02 北京中环高科环境治理有限公司 一种基于数字孪生的化工车间现场数据采集方法
CN115631401A (zh) * 2022-12-22 2023-01-20 广东省科学院智能制造研究所 一种视觉感知的机器人自主抓取技能学习***及方法
CN115849202A (zh) * 2023-02-23 2023-03-28 河南核工旭东电气有限公司 基于数字孪生技术的智能起重机操作目标识别方法
CN116524030A (zh) * 2023-07-03 2023-08-01 新乡学院 一种用于数字孪生的起重机摇摆情形下的重建方法及***
CN116524030B (zh) * 2023-07-03 2023-09-01 新乡学院 一种用于数字孪生的起重机摇摆情形下的重建方法及***

Also Published As

Publication number Publication date
CN110334701B (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN110334701A (zh) 数字孪生环境下基于深度学习和多目视觉的数据采集方法
CN110415342B (zh) 一种基于多融合传感器的三维点云重建装置与方法
CN106339006B (zh) 一种飞行器的目标跟踪方法和装置
CN104036488B (zh) 一种基于双目视觉的人体姿态动作研究方法
EP1234452B1 (en) Dynamic visual registration of a 3-d object with a graphical model
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
CN108051002A (zh) 基于惯性测量辅助视觉的运输车空间定位方法及***
CN110268444A (zh) 一种用于经颅磁刺激诊疗的人头姿态跟踪***
CN106529538A (zh) 一种飞行器的定位方法和装置
CN103994765B (zh) 一种惯性传感器的定位方法
WO2024094227A1 (zh) 一种基于卡尔曼滤波和深度学习的手势姿态估计方法
CN104166995B (zh) 一种基于马步测度的Harris‑SIFT双目视觉定位方法
Deng et al. Accurate and flexible calibration method for a class of visual sensor networks
Dai et al. Geometry-based object association and consistent labeling in multi-camera surveillance
CN107633537A (zh) 一种基于投影的摄像头标定方法
CN113487726B (zh) 动作捕捉***和方法
CN110349209A (zh) 基于双目视觉的振捣棒定位方法
Kawai et al. A support system for visually impaired persons to understand three-dimensional visual information using acoustic interface
CN109636856A (zh) 基于hog特征融合算子的物体六维度位姿信息联合测量方法
WO2021248564A1 (zh) 一种全景大数据应用监测管控***
CN113313824A (zh) 一种三维语义地图构建方法
CN115131407B (zh) 面向数字仿真环境的机器人目标跟踪方法、装置和设备
CN112561952A (zh) 用于为目标设置可呈现的虚拟对象的方法和***
CN115100257A (zh) 套管对准方法、装置、计算机设备、存储介质
CN109410272A (zh) 一种变压器螺母识别与定位装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant