CN116645476B - 一种基于多目视觉的棒材三维数据模型重建方法及*** - Google Patents

Abstract

本发明公开了一种基于多目视觉的棒材三维数据模型重建方法及***，包括步骤：获取同一时刻下目标棒材捆的多帧当前棒材捆场景图片，包括基准棒材捆场景图片和校准棒材捆场景图片；基于预设图像坐标系、预设深度学习目标检测网络模型，获取基准棒材捆场景图片中的所有的单位棒材端面图像信息；基于单位棒材端面图像信息从校准棒材捆场景图片中获取对应匹配的图像信息为搜索棒材端面图像信息，根据单位棒材端面图像信息和搜索棒材端面图像信息通过多视角几何计算获取对应的待定位单根棒材的当前端面三维坐标数据。本发明的基于多目视觉的棒材三维数据模型重建方法，受到环境干扰小，能精准确定整捆棒材端面的棒材点云数据的有益效果。

Description

一种基于多目视觉的棒材三维数据模型重建方法及***

技术领域

本发明涉及棒材的自动检测领域技术领域，尤其涉及一种基于多目视觉的棒材三维数据模型重建方法及***。

背景技术

棒材焊牌机器人已经广泛应用于棒材生产打捆末端流水线上，用于替代人工焊接标牌方式。通过在标牌上记录生产的棒材型号、尺寸规格、支数、整捆重量、生产日期等重要信息，方便棒材的管理、运输、质量追溯等。

现有技术中，采用如下几种方法来获取整捆棒材的点云数据并进行最优焊牌点计算：一种方法是通过工装限制整捆棒材端面与单目相机之间的位置，配合打光，通过图像斑点寻找与形态学滤波的方法计算大概位置，完成2D图像层面上的寻找，无法解决参差不齐的整捆棒材端面的点云数据映射，容易引起机器人碰撞损坏焊接夹具；一种是采用双目线扫激光的方案，激光相对于双目垂直轴向旋转原出扫描区域的点云信息，但是存在扫描速度低，棒材端面镜面折射或高反光下产生数据空洞，还存在某些角度下无法左右目同时看到激光束的问题；一种是采用投影结构光的方法进行重建，该方法设备较为昂贵，且设备重量较重大多无法安装在小型机械手臂上，并且对设备安装位置有要求，另外由于设备在棒材生产线上高温环节下，使得投影机灯泡寿命降低；一种是采用传统双目匹配方法，采用传统多目匹配方法获取模拟整捆棒材端面，基于模拟整捆棒材端面确定端面焊点，但是传统多目匹配方法受制于多目图像一致性假设，在实际场景中极易受到光线干扰，需要添加额外遮光设备，获取的模拟整捆棒材端面的棒材点云数据噪声严重，精度无法保证，无法精确获取棒材的深度信息，无法在参差不齐的整捆棒材端面上确定端面焊点，导致在通过机器人自动焊接的过程中出现过多干涉，容易引起机器人碰撞损坏焊接夹具的技术问题。

鉴于此，有必要提出一种基于多目视觉的棒材三维数据模型重建方法及***以解决或至少缓解上述缺陷。

发明内容

本发明的主要目的在于提供一种基于多目视觉的棒材三维数据模型重建方法及***，旨在解决现有技术中采用传统多目匹配进行还原获取整捆棒材端面信息的方法，容易受到环境干扰、无法精准确定整捆棒材端面的棒材点云数据的技术问题。

为实现上述目的，本发明提供一种基于多目视觉的棒材三维数据模型重建方法，包括步骤：S100，获取同一时刻下目标棒材捆的多帧当前棒材捆场景图片，以其中一帧当前棒材捆场景图片为基准棒材捆场景图片，以剩余帧当前棒材捆场景图片为校准棒材捆场景图片，基准棒材捆场景图片和校准棒材捆场景图片之间具有重叠视角和当前相互标定参数；S200，基于预设图像坐标系、预设深度学习目标检测网络模型，获取基准棒材捆场景图片中的所有的单位棒材端面图像信息，单位棒材端面图像信息包括像素起点参数Xi、像素终点参数Yi、像素宽度参数Wi以及像素高度参数Hi，其中，一个单位棒材端面图像信息标定对应的一个待定位单根棒材I；S300，根据预设图像坐标系、当前相互标定参数和预设相似度检测算法，基于单位棒材端面图像信息从校准棒材捆场景图片中获取对应匹配的图像信息为搜索棒材端面图像信息，根据单位棒材端面图像信息和搜索棒材端面图像信息通过多视角几何计算获取对应的待定位单根棒材I的当前端面三维坐标数据Ixyz。

进一步地，在步骤S100中，根据预设条件设置多帧当前棒材捆场景图片的优先级，确定优先级最高的当前棒材捆场景图片为基准棒材捆场景图片；其中，预设条件包括当前棒材捆场景图片拍摄棒材数量信息、拍摄棒材清晰度信息、拍摄棒材位置信息中的一种或多种。

进一步地，步骤S30具体包括：S301，根据当前相互标定参数，获取基准棒材捆场景图片中的待定位单根棒材I映射在校准棒材捆场景图片中的目标搜索范围；S302，根据预设相似度检测算法，从目标搜索范围中获取与单位棒材端面图像信息对应匹配的搜索棒材端面图像信息，一个搜索棒材端面图像信息标定一根映射单位棒材；S303，将单位棒材端面图像信息和搜索棒材端面图像信息拟合匹配关系到亚像素级别；S304，基于预设图像坐标系、当前相互标定参数以及拟合后的单位棒材端面图像信息和搜索棒材端面图像信息，通过多视角几何计算获取待定位单根棒材I的当前端面三维坐标数据Ixyz，多个当前端面三维坐标数据Ixyz组合形成目标棒材捆的棒材捆端面三维坐标集合数据。

进一步地，步骤S30具体包括：S311，根据预设规则按照重要度由高至低将多帧校准棒材捆场景图片进行重要度排序；S312，根据当前相互标定参数，获取基准棒材捆场景图片中的待定位单根棒材I映射在当前重要度最高的校准棒材捆场景图片中的目标搜索范围；S313，根据预设相似度检测算法，从目标搜索范围中获取与单位棒材端面图像信息对应匹配的搜索棒材端面图像信息，一个搜索棒材端面图像信息标定一根映射单位棒材；S314，将单位棒材端面图像信息和搜索棒材端面图像信息拟合匹配关系到亚像素级别；S315，基于预设图像坐标系、当前相互标定参数以及拟合后的单位棒材端面图像信息和搜索棒材端面图像信息，获取待定位单根棒材I的当前端面三维坐标数据Ixyz；S316，标记具有当前端面三维坐标数据Ixyz的待定位单根棒材I为已定位单根棒材，判断基准棒材捆场景图片中待定位单根棒材I是否全部为已定位单根棒材；S317，若基准棒材捆场景图片中待定位单根棒材I全部为获取已定位单根棒材，获取目标棒材捆的棒材捆端面三维坐标集合数据，目标棒材捆的棒材捆端面三维坐标集合数据由所有的当前端面三维坐标数据Ixyz组合形成；S318，若基准棒材捆场景图片中待定位单根棒材I不全部为已定位单根棒材，剔除当前重要度最高的校准棒材捆场景图片并进行更新，对更新后的校准棒材捆场景图片根据预设规则进行重要度排序；重复步骤S312至S318，直至获取目标棒材捆的棒材捆端面三维坐标集合数据。

进一步地，根据当前相互标定参数，计算出基准棒材捆场景图片中的第i个待定位单根棒材I的单位棒材端面图像信息Obj_i映射在校准棒材捆场景图片下的目标搜索范围，目标搜索范围内的所有目标集合{obj_X}；将单位棒材端面图像信息Obj_i和目标集合{obj_X}一同输入预设深度学习目标检测网络模型，获取单位棒材端面图像信息Obj_i与目标集合{obj_X}中各个数值之间的比较余弦值；确比较余弦值最小的为与单位棒材端面图像信息Obj_i对应匹配的搜索棒材端面图像信息。

进一步地，若与基准棒材捆场景图片的重叠视角的范围越大，则校准棒材捆场景图片的重要度越高。

进一步地，基于棒材三维建模***建立预设深度学习目标检测网络模型；棒材三维建模***包括双光源闪光灯***、多目工业相机***、辅助3D测量设备以及边缘计算单元，多目工业相机***用于获取同一时刻下对应位置的多帧建模棒材捆场景图片，双光源闪光灯***用于在多目工业相机***拍摄时提供闪光灯支持，辅助3D测量设备用于获取实际点云数据信息数据，多目工业相机***具有当前相互标定参数，多目工业相机***与辅助3D测量设备具有关联外参；边缘计算单元用于基于当前相互标定参数，以其中一帧建模棒材捆场景图片为模型训练集中的输入数据集，以剩余帧建模棒材捆场景图片为模型训练集中的输出数据集，采用机器学习建立初步深度学习目标检测网络模型；边缘计算单元用于获取输出数据集的建模棒材捆场景图片的实际点云数据信息数据，基于实际点云数据信息数据对初步深度学习目标检测网络模型进行迭代修正，建立预设深度学习目标检测网络模型。

本发明还提供一种基于多目视觉的棒材三维数据模型重建***，包括双光源闪光灯***、当前多目相机***和边缘计算单元，当前多目相机***用于获取同一时刻下目标棒材捆的多帧当前棒材捆场景图片，边缘计算单元与当前多目相机***电性连接，边缘计算单元用于执行上述的基于多目视觉的棒材三维数据模型重建方法的步骤。

与现有技术相比，本发明所提供的一种基于多目视觉的棒材三维数据模型重建方法具有如下的有益效果：

本发明所提供的一种基于多目视觉的棒材三维数据模型重建方法，获取一帧基准棒材捆场景图片，获取至少一帧校准棒材捆场景图片，基准棒材捆场景图片和校准棒材捆场景图片之间具有重叠视角和已知的当前相互标定参数；通过预设图像坐标系、预设深度学习目标检测网络模型获取基准棒材捆场景图片中每一个待定位单根棒材的像素起点参数Xi、像素终点参数Yi、像素宽度参数Wi以及像素高度参数Hi，预先获取处于基准棒材捆场景图片中的所有单位棒材端面图像信息；通过预设图像坐标系、当前相互标定参数和预设相似度检测算法，从校准棒材捆场景图片中寻找与待定位单根棒材对应匹配的映射单位棒材，每一个映射单位棒材均具有搜索棒材端面图像信息；根据单位棒材端面图像信息和搜索棒材端面图像信息通过多视角几何计算获取对应的待定位单根棒材I的当前端面三维坐标数据Ixyz；最终实现了通过各种技术的集合，直接通过多帧当前棒材捆场景图片将目标棒材捆中的待定位单根棒材反投影到空间中，受到环境干扰小，能精准确定整捆棒材端面的棒材点云数据的有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明一个实施例中的基于多目视觉的棒材三维数据模型重建方法的流程示意图；

图2为本发明另一个实施例中的基于多目视觉的棒材三维数据模型重建方法的流程示意图；

图3为本发明再一个实施例中的基于多目视觉的棒材三维数据模型重建方法的流程示意图；

图4为本发明的棒材三维建模***的结构示意图。

本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

另外，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

请参照附图1，本发明提供一种基于多目视觉的棒材三维数据模型重建方法，包括步骤：

S100，获取同一时刻下目标棒材捆的多帧当前棒材捆场景图片，以其中一帧当前棒材捆场景图片为基准棒材捆场景图片，以剩余帧当前棒材捆场景图片为校准棒材捆场景图片，基准棒材捆场景图片和校准棒材捆场景图片之间具有重叠视角和当前相互标定参数；S200，基于预设图像坐标系、预设深度学习目标检测网络模型，获取基准棒材捆场景图片中的所有的单位棒材端面图像信息，单位棒材端面图像信息包括像素起点参数Xi、像素终点参数Yi、像素宽度参数Wi以及像素高度参数Hi，其中，一个单位棒材端面图像信息标定对应的一个待定位单根棒材I；S300，根据预设图像坐标系、当前相互标定参数和预设相似度检测算法，基于单位棒材端面图像信息从校准棒材捆场景图片中获取对应匹配的图像信息为搜索棒材端面图像信息，根据单位棒材端面图像信息和搜索棒材端面图像信息通过多视角几何计算获取对应的待定位单根棒材I的当前端面三维坐标数据Ixyz。

本发明提供的基于多目视觉的棒材三维数据模型重建方法，获取一帧基准棒材捆场景图片，获取至少一帧校准棒材捆场景图片，基准棒材捆场景图片和校准棒材捆场景图片之间具有重叠视角和已知的当前相互标定参数；通过预设图像坐标系、预设深度学习目标检测网络模型获取基准棒材捆场景图片中每一个待定位单根棒材的像素起点参数Xi、像素终点参数Yi、像素宽度参数Wi以及像素高度参数Hi，预先获取处于基准棒材捆场景图片中的所有单位棒材端面图像信息；通过预设图像坐标系、当前相互标定参数和预设相似度检测算法，从校准棒材捆场景图片中寻找与待定位单根棒材对应匹配的映射单位棒材，每一个映射单位棒材均具有搜索棒材端面图像信息；根据单位棒材端面图像信息和搜索棒材端面图像信息通过多视角几何计算获取对应的待定位单根棒材I的当前端面三维坐标数据Ixyz；最终实现了通过各种技术的集合，直接通过多帧当前棒材捆场景图片将目标棒材捆中的待定位单根棒材反投影到空间中，受到环境干扰小，能精准确定整捆棒材端面的棒材点云数据的有益效果。

可以理解地，本发明中通过当前多目相机***获取同一时刻下目标棒材捆的多帧当前棒材捆场景图片。具体地，可以是通过双目相机***同时获取两帧当前棒材捆场景图片，可以是通过三目相机***同时获取三帧当前棒材捆场景图片，还可以是通过四目相机***同时获取四帧当前棒材捆场景图片。可选地，本发明中，当前棒材捆场景图片大于两帧即可。

可以理解地，本发明的方案中，基于棒材三维建模***建立预设深度学习目标检测网络模型。可以理解地，本发明中，根据多种环境场景预先建立预设深度学习目标检测网络模型，然后根据当前棒材捆场景图片基于预设深度学习目标检测网络模型获取基准棒材捆场景图片中的所有的单位棒材端面图像信息。

进一步地，在步骤S100中，根据预设条件设置多帧当前棒材捆场景图片的优先级，确定优先级最高的当前棒材捆场景图片为基准棒材捆场景图片；其中，预设条件包括当前棒材捆场景图片拍摄棒材数量信息、拍摄棒材清晰度信息、拍摄棒材位置信息中的一种或多种。可以理解地，本发明中，若通过当前棒材捆场景图片拍摄棒材数量信息设置优先级时，设置当前棒材捆场景图片拍摄棒材数量信息最多的一帧当前棒材捆场景图片为基准棒材捆场景图片（即通过边界识别设置全景图像为基准棒材捆场景图片），进而可以通过基准棒材捆场景图片还原目标棒材捆的所有待定位单根棒材的点云数据。

更优地，若具有多帧全景图像，通过设置拍摄棒材清晰度信息、拍摄棒材位置信息进行加权处理，进而从多帧全景图像中获取清晰度满足要求以及拍摄角度满足要求的一帧全景图像作为基准棒材捆场景图片，在获取基准棒材捆场景图片后，有利于快速进行识别提高获取单位棒材端面图像信息的处理速度和处理精度。

进一步地，步骤S30具体包括：S301，根据当前相互标定参数，获取基准棒材捆场景图片中的待定位单根棒材I映射在校准棒材捆场景图片中的目标搜索范围；S302，根据预设相似度检测算法，从目标搜索范围中获取与单位棒材端面图像信息对应匹配的搜索棒材端面图像信息，一个搜索棒材端面图像信息标定一根映射单位棒材；S303，将单位棒材端面图像信息和搜索棒材端面图像信息拟合匹配关系到亚像素级别；S304，基于预设图像坐标系、当前相互标定参数以及拟合后的单位棒材端面图像信息和搜索棒材端面图像信息，通过多视角几何计算获取待定位单根棒材I的当前端面三维坐标数据Ixyz，多个当前端面三维坐标数据Ixyz组合形成目标棒材捆的棒材捆端面三维坐标集合数据。

可选地，若当前棒材捆场景图片为两帧时，执行步骤S301至S304。当前棒材捆场景图片为两帧，直接将校准棒材捆场景图片中的所有映射单位棒材与对应匹配的基准棒材捆场景图片中的待定位单根棒材I进行结合处理，能快速获取匹配成功的所有待定位单根棒材I对应的当前端面三维坐标数据Ixyz。

请参考图2，在当前棒材捆场景图片为两帧时，本发明的一实施例中提供一种具体的基于多目视觉的棒材三维数据模型重建方法，包括步骤：

S100，获取同一时刻下目标棒材捆的两帧当前棒材捆场景图片，以其中一帧全景的当前棒材捆场景图片为基准棒材捆场景图片，以剩余的另一帧当前棒材捆场景图片为校准棒材捆场景图片，基准棒材捆场景图片和校准棒材捆场景图片之间具有重叠视角和已知的当前相互标定参数；

S200，基于预设图像坐标系、预设深度学习目标检测网络模型，获取基准棒材捆场景图片中的每一个待定位单根棒材对应的单位棒材端面图像信息，单位棒材端面图像信息包括像素起点参数Xi、像素终点参数Yi、像素宽度参数Wi以及像素高度参数Hi，进而获取处于基准棒材捆场景图片中的所有待定位单根棒材对应的所有单位棒材端面图像信息；

S301，根据当前相互标定参数，获取基准棒材捆场景图片中的待定位单根棒材I映射在校准棒材捆场景图片中的目标搜索范围；

S302，根据预设相似度检测算法，从目标搜索范围中获取与单位棒材端面图像信息对应匹配的搜索棒材端面图像信息，一个搜索棒材端面图像信息标定一根映射单位棒材；

S303，将单位棒材端面图像信息和搜索棒材端面图像信息拟合匹配关系到亚像素级别；

S304，基于预设图像坐标系、当前相互标定参数以及拟合后的单位棒材端面图像信息和搜索棒材端面图像信息，通过多视角几何计算获取待定位单根棒材I的当前端面三维坐标数据Ixyz，多个当前端面三维坐标数据Ixyz组合形成目标棒材捆的棒材捆端面三维坐标集合数据。

在通过双目相机***进行棒材三维数据模型重建时，避免了采用传统多目匹配进行还原获取整捆棒材端面信息的方法，容易受到环境干扰、无法精准确定整捆棒材端面的棒材点云数据的技术问题。

进一步地，步骤S30具体包括：S311，根据预设规则按照重要度由高至低将多帧校准棒材捆场景图片进行重要度排序；S312，根据当前相互标定参数，获取基准棒材捆场景图片中的待定位单根棒材I映射在当前重要度最高的校准棒材捆场景图片中的目标搜索范围；S313，根据预设相似度检测算法，从目标搜索范围中获取与单位棒材端面图像信息对应匹配的搜索棒材端面图像信息，一个搜索棒材端面图像信息标定一根映射单位棒材；S314，将单位棒材端面图像信息和搜索棒材端面图像信息拟合匹配关系到亚像素级别；S315，基于预设图像坐标系、当前相互标定参数以及拟合后的单位棒材端面图像信息和搜索棒材端面图像信息，获取待定位单根棒材I的当前端面三维坐标数据Ixyz；S316，标记具有当前端面三维坐标数据Ixyz的待定位单根棒材I为已定位单根棒材，判断基准棒材捆场景图片中待定位单根棒材I是否全部为已定位单根棒材；S317，若基准棒材捆场景图片中待定位单根棒材I全部为获取已定位单根棒材，获取目标棒材捆的棒材捆端面三维坐标集合数据，目标棒材捆的棒材捆端面三维坐标集合数据由所有的当前端面三维坐标数据Ixyz组合形成；S318，若基准棒材捆场景图片中待定位单根棒材I不全部为已定位单根棒材，剔除当前重要度最高的校准棒材捆场景图片并进行更新，对更新后的校准棒材捆场景图片根据预设规则进行重要度排序；重复步骤S312至S318，直至获取目标棒材捆的棒材捆端面三维坐标集合数据。

请参考图3，若当前棒材捆场景图片大于两帧时，本发明提供的另一实施例中提供一种具体的基于多目视觉的棒材三维数据模型重建方法，包括步骤：

S100，获取同一时刻下目标棒材捆的两帧当前棒材捆场景图片，以其中一帧全景的当前棒材捆场景图片为基准棒材捆场景图片，以剩余的另一帧当前棒材捆场景图片为校准棒材捆场景图片，基准棒材捆场景图片和校准棒材捆场景图片之间具有重叠视角和已知的当前相互标定参数；

S200，基于预设图像坐标系、预设深度学习目标检测网络模型，获取基准棒材捆场景图片中的每一个待定位单根棒材对应的单位棒材端面图像信息，单位棒材端面图像信息包括像素起点参数Xi、像素终点参数Yi、像素宽度参数Wi以及像素高度参数Hi，进而获取处于基准棒材捆场景图片中的所有待定位单根棒材对应的所有单位棒材端面图像信息；

S311，根据预设规则按照重要度由高至低将多帧校准棒材捆场景图片进行重要度排序；

S312，根据当前相互标定参数，获取基准棒材捆场景图片中的待定位单根棒材I映射在当前重要度最高的校准棒材捆场景图片中的目标搜索范围；

S313，根据预设相似度检测算法，从目标搜索范围中获取与单位棒材端面图像信息对应匹配的搜索棒材端面图像信息，一个搜索棒材端面图像信息标定一根映射单位棒材；

S314，将单位棒材端面图像信息和搜索棒材端面图像信息拟合匹配关系到亚像素级别；

S315，基于预设图像坐标系、当前相互标定参数以及拟合后的单位棒材端面图像信息和搜索棒材端面图像信息，获取待定位单根棒材I的当前端面三维坐标数据Ixyz；

S316，标记具有当前端面三维坐标数据Ixyz的待定位单根棒材I为已定位单根棒材，判断基准棒材捆场景图片中待定位单根棒材I是否全部为已定位单根棒材；

S317，若基准棒材捆场景图片中待定位单根棒材I全部为获取已定位单根棒材，获取目标棒材捆的棒材捆端面三维坐标集合数据，目标棒材捆的棒材捆端面三维坐标集合数据由所有的当前端面三维坐标数据Ixyz组合形成；

S318，若基准棒材捆场景图片中待定位单根棒材I不全部为已定位单根棒材，剔除当前重要度最高的校准棒材捆场景图片并进行更新，对更新后的校准棒材捆场景图片根据预设规则进行重要度排序；

重复步骤S312至S318，直至获取目标棒材捆的棒材捆端面三维坐标集合数据。

在通过多目相机***进行棒材三维数据模型重建时，避免了采用传统多目匹配进行还原获取整捆棒材端面信息的方法，容易受到环境干扰、无法精准确定整捆棒材端面的棒材点云数据的技术问题的同时，通过对校准棒材捆场景图片进行重要度排序依次设置优先级，在优先级最高的校准棒材捆场景图片不能全部还原基准棒材捆场景图片中的所有待定位单根棒材时，从下一优先级中的校准棒材捆场景图片进一步还原基准棒材捆场景图片中的剩余的待定位单根棒材，直至获取目标棒材捆的棒材捆端面三维坐标集合数据。

进一步地，根据当前相互标定参数，计算出基准棒材捆场景图片中的第i个待定位单根棒材I的单位棒材端面图像信息Obj_i映射在校准棒材捆场景图片下的目标搜索范围，目标搜索范围内的所有目标集合{obj_X}；将单位棒材端面图像信息Obj_i和目标集合{obj_X}一同输入预设深度学习目标检测网络模型，获取单位棒材端面图像信息Obj_i与目标集合{obj_X}中各个数值之间的比较余弦值；确比较余弦值最小的为与单位棒材端面图像信息Obj_i对应匹配的搜索棒材端面图像信息obj_j。

进一步地，为了提高处理速度和处理精度，基于重叠视角和图像清晰度确定预设规则。具体地，若与基准棒材捆场景图片的重叠视角的范围越大，则校准棒材捆场景图片的重要度越高；若具有多帧与基准棒材捆场景图片的重叠视角相同的校准棒材捆场景图片，则清晰度越高的校准棒材捆场景图片的重要度越高。

请参考图4，进一步地，基于棒材三维建模***建立预设深度学习目标检测网络模型；棒材三维建模***包括双光源闪光灯***、多目工业相机***、辅助3D测量设备以及边缘计算单元，多目工业相机***用于获取同一时刻下对应位置的多帧建模棒材捆场景图片，双光源闪光灯***用于在多目工业相机***拍摄时提供闪光灯支持，辅助3D测量设备用于获取实际点云数据信息数据，多目工业相机***具有当前相互标定参数，多目工业相机***与辅助3D测量设备具有关联外参；边缘计算单元用于基于当前相互标定参数，以其中一帧建模棒材捆场景图片为模型训练集中的输入数据集，以剩余帧建模棒材捆场景图片为模型训练集中的输出数据集，采用机器学习建立初步深度学习目标检测网络模型；边缘计算单元用于获取输出数据集的建模棒材捆场景图片的实际点云数据信息数据，基于实际点云数据信息数据对初步深度学习目标检测网络模型进行迭代修正，建立预设深度学习目标检测网络模型。本发明中，基于多目工业相机***、双光源闪光灯***、辅助3D测量设备以及边缘计算单元预先建立预设深度学习目标检测网络模型，然后基于多目工业相机***、双光源闪光灯***以及边缘计算单元获取待定位单根棒材I的当前端面三维坐标数据Ixyz，避免了采用传统多目匹配进行还原获取整捆棒材端面信息的方法，容易受到环境干扰、无法精准确定整捆棒材端面的棒材点云数据的技术问题。

本发明提供的基于多目视觉的棒材三维数据模型重建方法具体原理包括数据采集、数据训练及部署重建。

数据采集（生产现场采集）：搭建棒材打捆流水线现场的数据采集***，采集并建立棒材数据集。

1）在棒材生产现场建立数据采集***，首先获取双目相机***中的双目相机标定畸变参数、标定内参及标定外参，使得双目相机标定后极线对齐；然后标定双目相机***与辅助3D测量设备之间的关联外参，其中，双目相机***与辅助3D测量设备通过硬件线控的方式连接，便于同时出发进而同步采集数据；

2）对采集后的数据做清洗筛选，对辅助3D测量设备采集到的深度数据做滤波处理，并且去除掉辅助3D测量设备采集到的带有误差和噪声的数据对。

数据训练（生产现场建模）：由于对于棒材三维重建，关注点只在每一个单棒材，无需关注非棒材的背景等物体，提出一种目标级的预设深度学习目标检测网络模型，只对棒材区域做三维重建，其他非棒材区域不做计算。

1）对双目相机***采集到的两帧建模图像数据做数据增强（由于在实际应用中，单棒材的直径尺寸一般会在8mm到40mm之间，光学***在拍照时常常会有棒材停位晃动引起的动态模糊、相机曝光过长引起的图像过曝、逆光干扰产生的曝光不足等情况，征对性的增强了图像的尺寸放缩范围，盘卷区域的模糊处理、马赛克处理、随机椒盐噪声、随机亮度增强及随机亮度降低）。

2）极线对齐后的双目图像（两帧建模图像数据），根据标定畸变参数、标定内参及标定外参，通过辅助3D测量设备的点云投影到左目坐标系下，通过深度约束与极线约束，在左目标注出的棒材目标区域后可以计算出对应的右目目标区域，右目目标区域中包含棒材，对右目目标区域做标注调整修正（本发明中，可以通过人工处理对右目目标区域做标注调整修正），最终建立预设深度学习目标检测网络模型，进而便于获取基准棒材捆场景图片中的所有的单位棒材端面图像信息，一个单位棒材端面图像信息标定对应的一个待定位单根棒材。

具体地，设计了一种两阶段的网络结构，由目标检测网络与目标匹配网络组成。首先通过目标检测网络对双目图像进行棒材目标的推理，得到棒材区域，通过双目极线约束的方法限制搜索区域，在该搜索区域中的目标框再通过目标匹配网络得到最佳匹配结果。由于该网络最终需要部署在边缘计算平台上，所以做了征对性的结构选择，结构设计如图2所示。

部署重建（生产现场使用）：现场拍照获取多帧当前棒材捆场景图片，通过网络结构的处理以及亚像素的位置优化处理，最终基于两帧图片输出目标棒材捆的三维重建点云。

本发明提供的基于多目视觉的棒材三维数据模型重建***的原理如下：

基于多目视觉的棒材三维数据模型重建***在棒材三维建模***剔除辅助3D测量设备后形成，其中，棒材三维建模***包括双光源闪光灯***、多目工业相机、高精度深度相机***以及边缘计算单元，多目工业相机、高精度深度相机***之间刚性连接，双光源闪光灯***光源为白光加红外的双光源组成，设备之间具有标定畸变参数、标定内参、标定外参以及关联外参。在棒材生产线上通过双光源闪光灯***、多目工业相机、高精度深度相机***完成同步触发，对整捆棒材数据通过双光源闪光灯***提供闪光灯模式支持，通过多目工业相机采集多目数据，通过高精度深度相机***采集深度数据，最后筛选去除掉高精度深度相机***采集的噪音数据。具体地，为了减少对现场数据的依赖以及传感器本身噪声带来的数据质量问题，该实施例的数据采集***也可采用数据仿真平台获取，减少对外部设备的依赖，通过unity3D的数字孪生***中构建相机模型，随机组合棒材模型，对棒材模型进行外观渲染，人为构建高精度数据。

然后对采集的数据进行人工加半自动的方法进行标注，进行机器学习，在小数据集上进行人工标注，训练一个大的模型网络当作示教标注网络，对剩余数据做自动标注，人工对自动标注后的数据进行筛查清洗，训练预设深度学习目标检测网络模型。

在工作场景中使用时，基于多目视觉的棒材三维数据模型重建***包括双光源闪光灯***、多目工业相机以及边缘计算单元，工业相机与闪光灯工作采集图像数据，在边缘计算单元中完成神经网络的计算过程，输出目标棒材捆的棒材点云数据。

本发明还提供基于多目视觉的棒材三维数据模型重建***，包括双光源闪光灯***、当前多目相机***和边缘计算单元，当前多目相机***用于获取同一时刻下目标棒材捆的多帧当前棒材捆场景图片，边缘计算单元与当前多目相机***电性连接，边缘计算单元用于执行上述的基于多目视觉的棒材三维数据模型重建方法的步骤。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于多目视觉的棒材三维数据模型重建方法，其特征在于，包括步骤：

S100，获取同一时刻下目标棒材捆的多帧当前棒材捆场景图片，以其中一帧所述当前棒材捆场景图片为基准棒材捆场景图片，以剩余帧所述当前棒材捆场景图片为校准棒材捆场景图片，所述基准棒材捆场景图片和所述校准棒材捆场景图片之间具有重叠视角和当前相互标定参数；

S200，基于预设图像坐标系、预设深度学习目标检测网络模型，获取所述基准棒材捆场景图片中的所有的单位棒材端面图像信息，所述单位棒材端面图像信息包括像素起点参数Xi、像素终点参数Yi、像素宽度参数Wi以及像素高度参数Hi，其中，一个所述单位棒材端面图像信息标定对应的一个待定位单根棒材I；

S300，根据所述预设图像坐标系、所述当前相互标定参数和预设相似度检测算法，基于所述单位棒材端面图像信息从所述校准棒材捆场景图片中获取对应匹配的图像信息为搜索棒材端面图像信息，根据所述单位棒材端面图像信息和所述搜索棒材端面图像信息通过多视角几何计算获取对应的所述待定位单根棒材I的当前端面三维坐标数据Ixyz；

若所述当前棒材捆场景图片为两帧时，步骤S300具体包括：S301，根据所述当前相互标定参数，获取所述基准棒材捆场景图片中的所述待定位单根棒材I映射在所述校准棒材捆场景图片中的目标搜索范围；S302，根据预设相似度检测算法，从所述目标搜索范围中获取与所述单位棒材端面图像信息对应匹配的搜索棒材端面图像信息，一个所述搜索棒材端面图像信息标定一根映射单位棒材；S303，将所述单位棒材端面图像信息和所述搜索棒材端面图像信息拟合匹配关系到亚像素级别；S304，基于所述预设图像坐标系、所述当前相互标定参数以及拟合后的所述单位棒材端面图像信息和所述搜索棒材端面图像信息，通过多视角几何计算获取所述待定位单根棒材I的当前端面三维坐标数据Ixyz，多个所述当前端面三维坐标数据Ixyz组合形成所述目标棒材捆的棒材捆端面三维坐标集合数据；

若所述当前棒材捆场景图片大于两帧时，步骤S300具体包括：S311，根据预设规则按照重要度由高至低将多帧所述校准棒材捆场景图片进行重要度排序；S312，根据所述当前相互标定参数，获取所述基准棒材捆场景图片中的所述待定位单根棒材I映射在当前重要度最高的所述校准棒材捆场景图片中的目标搜索范围；S313，根据预设相似度检测算法，从所述目标搜索范围中获取与所述单位棒材端面图像信息对应匹配的搜索棒材端面图像信息，一个所述搜索棒材端面图像信息标定一根映射单位棒材；S314，将所述单位棒材端面图像信息和所述搜索棒材端面图像信息拟合匹配关系到亚像素级别；S315，基于所述预设图像坐标系、所述当前相互标定参数以及拟合后的所述单位棒材端面图像信息和所述搜索棒材端面图像信息，获取所述待定位单根棒材I的当前端面三维坐标数据Ixyz；S316，标记具有所述当前端面三维坐标数据Ixyz的所述待定位单根棒材I为已定位单根棒材，判断所述基准棒材捆场景图片中所述待定位单根棒材I是否全部为所述已定位单根棒材；S317，若所述基准棒材捆场景图片中所述待定位单根棒材I全部为所述获取所述已定位单根棒材，获取所述目标棒材捆的棒材捆端面三维坐标集合数据，所述目标棒材捆的棒材捆端面三维坐标集合数据由所有的所述当前端面三维坐标数据Ixyz组合形成；S318，若所述基准棒材捆场景图片中所述待定位单根棒材I不全部为所述已定位单根棒材，剔除所述当前重要度最高的所述校准棒材捆场景图片并进行更新，对更新后的所述校准棒材捆场景图片根据预设规则进行重要度排序；重复步骤S312至S318，直至获取所述目标棒材捆的棒材捆端面三维坐标集合数据。

2.根据权利要求1所述的基于多目视觉的棒材三维数据模型重建方法，其特征在于，

在步骤S100中，根据预设条件设置多帧所述当前棒材捆场景图片的优先级，确定优先级最高的所述当前棒材捆场景图片为所述基准棒材捆场景图片；

其中，所述预设条件包括所述当前棒材捆场景图片拍摄棒材数量信息、拍摄棒材清晰度信息、拍摄棒材位置信息中的一种或多种。

3.根据权利要求1或2任一项所述的基于多目视觉的棒材三维数据模型重建方法，其特征在于，

根据所述当前相互标定参数，计算出所述基准棒材捆场景图片中的第i个所述待定位单根棒材I的所述单位棒材端面图像信息Obj_i映射在所述校准棒材捆场景图片下的所述目标搜索范围，所述目标搜索范围内的所有目标集合{obj_X}；

将所述单位棒材端面图像信息Obj_i和所述目标集合{obj_X}一同输入预设深度学习目标检测网络模型，获取所述单位棒材端面图像信息Obj_i与所述目标集合{obj_X}中各个数值之间的比较余弦值；

确所述比较余弦值最小的为与所述单位棒材端面图像信息Obj_i对应匹配的所述搜索棒材端面图像信息。

4.根据权利要求3所述的基于多目视觉的棒材三维数据模型重建方法，其特征在于，

若与基准棒材捆场景图片的重叠视角的范围越大，则所述校准棒材捆场景图片的重要度越高。

5.根据权利要求1所述的基于多目视觉的棒材三维数据模型重建方法，其特征在于，

基于棒材三维建模***建立预设深度学习目标检测网络模型；

所述棒材三维建模***包括双光源闪光灯***、多目工业相机***、辅助3D测量设备以及边缘计算单元，所述多目工业相机***用于获取同一时刻下对应位置的多帧建模棒材捆场景图片，所述双光源闪光灯***用于在所述多目工业相机***拍摄时提供闪光灯支持，所述辅助3D测量设备用于获取实际点云数据信息数据，多目工业相机***具有当前相互标定参数，多目工业相机***与所述辅助3D测量设备具有关联外参；

所述边缘计算单元用于基于所述当前相互标定参数，以其中一帧所述建模棒材捆场景图片为模型训练集中的输入数据集，以剩余帧所述建模棒材捆场景图片为模型训练集中的输出数据集，采用机器学习建立初步深度学习目标检测网络模型；

所述边缘计算单元用于获取所述输出数据集的所述建模棒材捆场景图片的所述实际点云数据信息数据，基于所述实际点云数据信息数据对所述初步深度学习目标检测网络模型进行迭代修正，建立所述预设深度学习目标检测网络模型。

6.一种基于多目视觉的棒材三维数据模型重建***，其特征在于，

包括双光源闪光灯***、当前多目相机***和边缘计算单元，所述当前多目相机***用于获取同一时刻下目标棒材捆的多帧当前棒材捆场景图片，所述边缘计算单元与所述当前多目相机***电性连接，所述边缘计算单元用于执行如权利要求1-5任一项的基于多目视觉的棒材三维数据模型重建方法的步骤。