CN112819953B - 三维重建方法、网络模型训练方法、装置及电子设备 - Google Patents

三维重建方法、网络模型训练方法、装置及电子设备 Download PDF

Info

Publication number
CN112819953B
CN112819953B CN202110213255.6A CN202110213255A CN112819953B CN 112819953 B CN112819953 B CN 112819953B CN 202110213255 A CN202110213255 A CN 202110213255A CN 112819953 B CN112819953 B CN 112819953B
Authority
CN
China
Prior art keywords
image
target object
rectangular area
target
sample set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110213255.6A
Other languages
English (en)
Other versions
CN112819953A (zh
Inventor
凌清
翟光坤
吴兴华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Crownthought Science & Technology Co ltd
Original Assignee
Beijing Crownthought Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Crownthought Science & Technology Co ltd filed Critical Beijing Crownthought Science & Technology Co ltd
Priority to CN202110213255.6A priority Critical patent/CN112819953B/zh
Publication of CN112819953A publication Critical patent/CN112819953A/zh
Application granted granted Critical
Publication of CN112819953B publication Critical patent/CN112819953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种三维重建方法、网络模型训练方法、装置及电子设备，属于计算机技术领域。该三维重建方法包括：获取双目相机采集的图像对，图像对包括第一图像和第二图像；利用预先训练好的识别模型对第一图像中的目标物进行识别，得到目标物所在的矩形区域；将目标物所在的矩形区域作为识别点，在第二图像中找到与矩形区域对应的目标矩形区域；根据目标物所在的矩形区域以及目标矩形区域，得到目标物的三维坐标。本申请实施例中，利用识别模型对第一图像中的目标物进行识别，以便在二维空间上将所需要重建的物体范围确定，从而缩小了三维空间下的重建计算量，进而解决了现有三维重建速度过慢，计算成本过高的问题。

Description

三维重建方法、网络模型训练方法、装置及电子设备
技术领域
本申请属于计算机技术领域，具体涉及一种三维重建方法、网络模型训练方法、装置及电子设备。
背景技术
在物料分拣，零件抓取等工业场景，往往需要获取所抓取物块的三维模型，无论是基于飞行时间(Time Of Flight，TOF)的主动光识别，还是基于深度学习的立体视觉，都会面临三维重建速度过慢，计算成本过高的问题。
发明内容
鉴于此，本申请的目的在于提供一种三维重建方法、网络模型训练方法、装置及电子设备，以改善现有三维重建速度过慢，计算成本过高的问题。
本申请的实施例是这样实现的：
第一方面，本申请实施例提供了一种三维重建方法，包括：获取双目相机采集的图像对，所述图像对包括第一图像和第二图像；利用预先训练好的识别模型对所述第一图像中的目标物进行识别，得到所述目标物所在的矩形区域；将所述目标物所在的矩形区域作为识别点，在所述第二图像中找到与所述矩形区域对应的目标矩形区域；根据所述目标物所在的矩形区域以及所述目标矩形区域，得到所述目标物的三维坐标。本申请实施例中，利用识别模型对第一图像中的目标物进行识别，以便在二维空间上将所需要重建的物体范围确定，然后在将目标物所在的矩形区域作为识别点，在第二图像中找到与矩形区域对应的目标矩形区域，最后再根据目标物所在的矩形区域以及目标矩形区域，便可确定目标物的三维坐标，通过减少三维空间下的重建计算量，进而解决了现有三维重建速度过慢，计算成本过高的问题。
结合第一方面实施例的一种可能的实施方式，将所述目标物所在的矩形区域作为识别点，在所述第二图像中找到与所述矩形区域对应的目标矩形区域，包括：基于双目三维重建算法，将所述目标物所在的矩形区域的各个角的坐标作为识别点，在所述第二图像中找到与所述矩形区域的各个角的坐标各自对应的目标点坐标。本申请实施例中，基于双目三维重建算法，将目标物所在的矩形区域的各个角的坐标作为识别点，在第二图像中找到与矩形区域的各个角的坐标各自对应的目标点坐标，以便于后续基于多个识别点以及对应的多个目标点坐标，计算目标物的多个三维坐标，从而提高目标物的定位精度。
结合第一方面实施例的一种可能的实施方式，在利用预先训练好的识别模型对所述第一图像中的目标物进行识别之前，所述方法还包括：获取训练样本集，所述训练样本集包括：已标注所述目标物的图像以及仅包含所述目标物的图像；利用所述训练样本集对SSD识别网络进行训练，得到所述训练好的识别模型，其中，在训练时，将所述仅包含所述目标物的图像作为标准，对所述SSD识别网络从所述已标注所述目标物的图像中识别出的所述目标物所在的区域图像进行相似度评分，并根据相似度评分更新所述SSD识别网络的模型参数。本申请实施例中，利用已标注目标物的图像以及仅包含目标物的图像的样本集来训练SSD识别网络，并在训练时，将仅包含目标物的图像作为标准，对SSD识别网络从已标注目标物的图像中识别出的目标物所在的区域图像进行相似度评分，并根据相似度评分更新SSD识别网络的模型参数，从而使得该SSD模型能准确、快速的将所需的目标物识别出来。
结合第一方面实施例的一种可能的实施方式，获取训练样本集，包括：对获取的原始图像中的所述目标物进行标注，得到JSON图像；将所述JSON图像中的标注部分以及未标注部分的像素点的值进行修改，得到二值化图像；从所述二值化图像中裁剪出所述目标物所在区域图像，并将所述目标物所在区域图像的尺寸转换成预设标准尺寸，以及将标注后的原始图像的尺寸转换成所述预设标准尺寸，并对转换后的图像进行灰度处理，得到所述训练样本集。本申请实施例中，通过将原始图像中的目标物进行标注，并对得到的JSON图像中的标注部分以及未标注部分的像素点的值进行修改，以便于使标注图像的特征更加明显，然后从中裁剪出目标物所在区域图像，并将其转换成预设标准尺寸，以及将标注后的原始图像的尺寸转换成所述预设标准尺寸，并对转换后的图像进行灰度处理，这样可以提高训练训练的精度，减少无关信息的干扰。
第二方面，本申请实施例还提供了一种网络模型训练方法，包括：获取训练样本集，所述训练样本集包括：已标注目标物的图像以及仅包含所述目标物的图像；利用所述训练样本集对SSD识别网络进行训练，得到训练好的识别模型，其中，在训练时，将所述仅包含所述目标物的图像作为标准，对所述SSD识别网络从所述已标注所述目标物的图像中识别出的所述目标物所在的区域图像进行相似度评分，并根据相似度评分更新所述SSD识别网络的模型参数。
结合第二方面实施例的一种可能的实施方式，获取训练样本集，包括：对获取的原始图像中的所述目标物进行标注，得到JSON图像；将所述JSON图像中的标注部分以及未标注部分的像素点的值进行修改，得到二值化图像；从所述二值化图像中裁剪出所述目标物所在区域图像，并将所述目标物所在区域图像的尺寸转换成预设标准尺寸，以及将标注后的原始图像的尺寸转换成所述预设标准尺寸，并对转换后的图像进行灰度处理，得到所述训练样本集。
第三方面，本申请实施例还提供了一种三维重建装置，包括：获取模块、识别模块以及重建模块；获取模块，用于获取双目相机采集的图像对，所述图像对包括第一图像和第二图像；识别模块，用于利用预先训练好的识别模型对所述第一图像中的目标物进行识别，得到所述目标物所在的矩形区域；重建模块，用于将所述目标物所在的矩形区域作为识别点，在所述第二图像中找到与所述矩形区域对应的目标矩形区域；以及根据所述目标物所在的矩形区域以及所述目标矩形区域，得到所述目标物的三维坐标。
第四方面，本申请实施例还提供了一种网络模型训练装置，包括：获取模块、训练模块；获取模块，用于获取训练样本集，所述训练样本集包括：已标注目标物的图像以及仅包含所述目标物的图像；训练模块，用于利用所述训练样本集对SSD识别网络进行训练，得到训练好的识别模型，其中，在训练时，将所述仅包含所述目标物的图像作为标准，对所述SSD识别网络从所述已标注所述目标物的图像中识别出的所述目标物所在的区域图像进行相似度评分，并根据相似度评分更新所述SSD识别网络的模型参数。
第五方面，本申请实施例还提供了一种电子设备，包括：存储器和处理器，所述处理器与所述存储器连接；所述存储器，用于存储程序；所述处理器，用于调用存储于所述存储器中的程序，以执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法，或者，以执行上述第一方面实施例和/或结合第一方面实施例的一种可能的实施方式提供的方法。
第六方面，本申请实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法，或者，以执行上述第一方面实施例和/或结合第一方面实施例的一种可能的实施方式提供的方法。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。通过附图所示，本申请的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本申请的主旨。
图1示出了本申请实施例提供的一种网络模型训练方法的流程示意图。
图2示出了本申请实施例提供的一种获取训练样本集的原理示意图。
图3示出了本申请实施例提供的一种基于双目视觉的三维重建方法的流程示意图。
图4示出了本申请实施例提供的一种双目检测原理示意图。
图5示出了本申请实施例提供的一种网络模型训练装置的模块示意图。
图6示出了本申请实施例提供的一种基于双目视觉的三维重建装置的模块示意图。
图7示出了本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
再者，本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
鉴于现有三维重建速度过慢，计算成本过高的问题。本申请发明人通过对现有各种三维重建的方案进行分析，发现三维重建大部分的时间成本在于它需要重建视野中所有的三维物体，例如三维重建的目标物体只有一小部分，但是实际在点云重建中，往往需要花费大量时间去将目标物体与背景分离，由于点云数据的无序性，这项操作会消耗大量的时间。基于此，本申请实施例提供了一种基于双目视觉的三维重建方法，通过在二维空间上将所需要重建的物体范围确定，从而缩小了三维空间下的重建计算量，进而解决了现有三维重建速度过慢，计算成本过高的问题。
需要说明的是，针对现有方案所存在的缺陷的原因，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案，都应该是发明人在本发明过程中对本发明做出的贡献。
为了便于理解本申请实施例提供的基于双目视觉的三维重建方法，下面先对其中涉及到的识别模型的训练方法进行说明。下面将结合图1，对本申请实施例提供的网络模型训练方法进行说明。
步骤S101：获取训练样本集，所述训练样本集包括：已标注目标物的图像以及仅包含所述目标物的图像。
在物料分拣，零件抓取等工业场景中，针对抓取物品操作时定位耗时长、三维重建速度过慢的问题，本申请实施例中，获取包含目标物(待抓取目标)的图像的训练样本集，来训练网络模型。其中，根据不同的应用场景，其标注的目标物不同。
其中，可以通过以下方式获得训练样本集：对获取的原始图像中的目标物进行标注，得到JSON图像，将JSON图像中的标注部分以及未标注部分的像素点的值进行修改(将标注部分的像素点的值修改为255，将未标注部分的像素点的值修改为0)，得到二值化图像，然后从二值化图像中裁剪出目标物所在区域图像，并将目标物所在区域图像的尺寸转换成预设标准尺寸，以及将标注后的原始图像的尺寸转换成预设标准尺寸，并对转换后的图像进行灰度处理，便可得到训练样本集。
其中，为了便于理解，可以结合图2所示的原理图，对获取训练样本集的过程进行说明。在获取到原始图像后，可以使用标注软件对原始图像中的目标物进行标注，例如，利用labelme软件打开原始图像，将所要抓取的物体(目标物)进行标注，经过标注后，该软件会输出一个JSON图像，该JSON图像保存了用户的标注信息。为了使标注图像的特征更加明显，将JSON图像中的标注部分以及未标注部分的像素点的值进行修改，例如，将标注部分的像素点的值修改为255，将未标注部分的像素点的值修改为0，得到二值化图像，然后从二值化图像中裁剪出目标物所在区域图像，得到仅包含目标物的图像，并将目标物所在区域图像的尺寸转换成预设标准尺寸，例如转换为300*300；以及将标注后的原始图像的尺寸转换成预设标准尺寸，例如转换为300*300，并对转换后的图像进行灰度处理，这样便可得到训练样本数据。其中，在将裁剪后的目标物所在区域图像转换成预设标准尺寸图像后，还可以重新二值化图像，将其中值为0的像素点的值修改为255。
其中，预设标准尺寸与待训练的网络模型所支持的尺寸有关，并不限于上述示例的300*300，不同的类型的网络模型所支持的尺寸不同，对应的预设标准尺寸也不同。
步骤S102：利用所述训练样本集对SSD识别网络进行训练，得到训练好的识别模型，其中，在训练时，将所述仅包含所述目标物的图像作为标准，对所述SSD识别网络从所述已标注所述目标物的图像中识别出的所述目标物所在的区域图像进行相似度评分，并根据相似度评分更新所述SSD识别网络的模型参数。
在获取到训练样本集后，利用训练样本集对SSD(Single Shot MultiBoxDetector)识别网络进行训练，其中，在训练时，将仅包含目标物的图像作为标准，对SSD识别网络从已标注目标物的图像中识别出的目标物所在的区域图像进行相似度评分，并根据相似度评分更新SSD识别网络的模型参数，直至SSD识别网络从已标注目标物的图像中识别出的目标物所在的区域图像与仅包含目标物的图像的相似度评分大于阈值为止，便可得到训练好的识别模型。其中，SSD识别网络是一种one-stage的物体检测识别网络，SSD识别网络的主干网络为VGG16。
在得到识别模型后，便可利用训练好的识别模型来识别需要重建的物体，从而在二维空间上将所需要重建的物体范围确定。下面将结合图3，对本申请实施例提供的基于双目视觉的三维重建方法进行说明。
步骤S201：获取双目相机采集的图像对，所述图像对包括第一图像和第二图像。
获取双目相机采集的图像对，该图像对包括双目相机中的左相机、右相机各自对同一目标物采集的图像，也即第一图像和第二图像。
其中，第一图像可以是左相机采集的图像，相应地，第二图像为右相机采集的图像，第二图像可以是左相机采集的图像，相应地，第一图像为右相机采集的图像。
步骤S202：利用预先训练好的识别模型对所述第一图像中的目标物进行识别，得到所述目标物所在的矩形区域。
本申请中，为了减少三维重建的点云数量，利用预先训练好的识别模型对第一图像中的目标物进行识别，得到目标物所在的矩形区域，也即，将第一图像输入预先训练好的识别模型，利用该识别模型对第一图像中的目标物所在的矩形区域进行识别，输出目标物所在的矩形区域，也即rect区域。其中，输出结果中包含矩形区域的各个角的坐标。通过在二维空间上将所需要重建的物体范围确定，从而缩小了三维空间下的重建计算量。
一种实施方式下，该识别模型可以是SSD(Single Shot MultiBox Detector)识别网络，例如可以是基于Mobilenet-v2的SSD识别网络。此外除了采用SSD识别网络外，还可以采用其余的识别网络，如YOLO网络。
其中，训练该识别模型的过程可以参照上述所示的网络模型训练方法所示的过程。其中，训练样本集中的图像中的已标注的目标物应与所需识别的目标物一致，或者两者属于同一类型的目标物。
步骤S203：将所述目标物所在的矩形区域作为识别点，在所述第二图像中找到与所述矩形区域对应的目标矩形区域。
基于双目三维重建算法，将目标物所在的矩形区域作为识别点，在第二图像中找到与矩形区域对应的目标矩形区域。通过将目标物所在的矩形区域作为识别点，而不再是将整个第一图像中的点云数据作为识别点，从而减少了三维重建的点云数量。
双目三维重建算法一般采用的是基于视差法的像素点匹配，假设本申请所用的目标识别采用基于左目的目标识别，所以在使用视差法的时候，将目标物所在的矩形区域作为左目的识别点，在右目的第二图像中寻找与矩形区域对应的目标矩形区域。
其中，将目标物所在的矩形区域作为识别点，在第二图像中找到与矩形区域对应的目标矩形区域的过程可以是：基于双目三维重建算法，将所述目标物所在的矩形区域的各个角的坐标作为识别点，在所述第二图像中找到与所述矩形区域的各个角的坐标各自对应的目标点坐标。假设采用基于左目的目标识别，则可以将SSD识别模型输出的rect区域结果输入给左目坐标系，利用左目的点作为识别点，在右目中寻找与矩形区域的各个角的坐标各自对应的目标点坐标。例如，将矩形区域的左上角的坐标作为识别点，在右目中寻找与矩形区域的左上角的点对应的目标点，将矩形区域的右上角的坐标作为识别点，在右目中寻找与矩形区域的右上角的点对应的目标点，将矩形区域的左下角的坐标作为识别点，在右目中寻找与矩形区域的左下角的点对应的目标点，将矩形区域的右下角的坐标作为识别点，在右目中寻找与矩形区域的右下角的点对应的目标点。
步骤S204：根据所述目标物所在的矩形区域以及所述目标矩形区域，得到所述目标物的三维坐标。
在第二图像中找到与矩形区域对应的目标矩形区域后，根据目标物所在的矩形区域以及目标矩形区域，便可得到目标物的三维坐标。在得到左右目的对应点的坐标后，然后建立三角关系，便可计算该对应点的三维坐标。
其中，为了便于理解，下面将结合图4所示的原理图，对如何基于左右目的对应点的坐标计算该对应点的三维坐标的过程进行说明。假设以双目视觉中的左相机为原点OL的坐标系，假设空间场景点P(X，Y，Z)在左、右相机成像平面图像上的坐标分别为P1(u1，v1)和P2(u2，v2)，左、右相机的投影中心分别为O1、O2，主光轴与左图像平面相交的点的坐标(u0，v0)；则有，X＝b.(u1-u0)/(u1-u2)；Y＝b.(v1-v0)/(u1-u2)；Z＝b.f/(u1-u2)。其中，b为左、右相机的投影中心的基线距离，f为左、右相机的焦距。
通过上述的方式便可计算左右目相匹配的各个点(如左上角、左下角、右上角、右下角)对应的三维坐标。
本申请实施例提供了一种网络模型训练装置100，如图5所示，该网络模型训练装置100包括：获取模块110以及训练模块120。
获取模块110，用于获取训练样本集，所述训练样本集包括：已标注目标物的图像以及仅包含所述目标物的图像。可选地，获取模块110具体用于：对获取的原始图像中的所述目标物进行标注，得到JSON图像；将所述JSON图像中的标注部分以及未标注部分的像素点的值进行修改，得到二值化图像；从所述二值化图像中裁剪出所述目标物所在区域图像，并将所述目标物所在区域图像的尺寸转换成预设标准尺寸，以及将标注后的原始图像的尺寸转换成所述预设标准尺寸，并对转换后的图像进行灰度处理，得到所述训练样本集。
训练模块120，用于利用所述训练样本集对SSD识别网络进行训练，得到训练好的识别模型，其中，在训练时，将所述仅包含所述目标物的图像作为标准，对所述SSD识别网络从所述已标注所述目标物的图像中识别出的所述目标物所在的区域图像进行相似度评分，并根据相似度评分更新所述SSD识别网络的模型参数。
本申请实施例所提供的网络模型训练装置100，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本申请实施例还提供了一种三维重建装置200，如图6所示。该三维重建装置200包括：获取模块210、识别模块220、重建模块230。
获取模块210，用于获取双目相机采集的图像对，所述图像对包括第一图像和第二图像。
识别模块220，用于利用预先训练好的识别模型对所述第一图像中的目标物进行识别，得到所述目标物所在的矩形区域。
重建模块230，用于将所述目标物所在的矩形区域作为识别点，在所述第二图像中找到与所述矩形区域对应的目标矩形区域；以及根据所述目标物所在的矩形区域以及所述目标矩形区域，得到所述目标物的三维坐标。
可选地，重建模块230，具体用于基于双目三维重建算法，将所述目标物所在的矩形区域的各个角的坐标作为识别点，在所述第二图像中找到与所述矩形区域的各个角的坐标各自对应的目标点坐标。
可选地，三维重建装置200还包括训练模块，相应地，获取模块210，还用于获取训练样本集，所述训练样本集包括：已标注所述目标物的图像以及仅包含所述目标物的图像。
训练模块，用于利用所述训练样本集对SSD识别网络进行训练，得到所述训练好的识别模型，其中，在训练时，将所述仅包含所述目标物的图像作为标准，对所述SSD识别网络从所述已标注所述目标物的图像中识别出的所述目标物所在的区域图像进行相似度评分，并根据相似度评分更新所述SSD识别网络的模型参数。
可选地，获取模块210，还具体用于：对获取的原始图像中的所述目标物进行标注，得到JSON图像；将所述JSON图像中的标注部分以及未标注部分的像素点的值进行修改，得到二值化图像；从所述二值化图像中裁剪出所述目标物所在区域图像，并将所述目标物所在区域图像的尺寸转换成预设标准尺寸，以及将标注后的原始图像的尺寸转换成所述预设标准尺寸，并对转换后的图像进行灰度处理，得到所述训练样本集。
本申请实施例所提供的三维重建装置200，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
如图7所示，图7示出了本申请实施例提供的一种的电子设备300的结构框图。所述电子设备300包括：收发器310、存储器320、通讯总线330以及处理器340。
所述收发器310、所述存储器320、处理器340各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线330或信号线实现电性连接。其中，收发器310用于收发数据。存储器320用于存储计算机程序，如存储有图5或图6中所示的软件功能模块，即图5所示的网络模型训练装置100或图6所示的三维重建装置200。其中，网络模型训练装置100或三维重建装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器320中或固化在所述电子设备300的操作***(operating system，OS)中的软件功能模块。
其中，所述处理器340，用于执行网络模型训练装置100包括的软件功能模块或计算机程序时，处理器340，用于获取训练样本集，所述训练样本集包括：已标注目标物的图像以及仅包含所述目标物的图像；利用所述训练样本集对SSD识别网络进行训练，得到训练好的识别模型，其中，在训练时，将所述仅包含所述目标物的图像作为标准，对所述SSD识别网络从所述已标注所述目标物的图像中识别出的所述目标物所在的区域图像进行相似度评分，并根据相似度评分更新所述SSD识别网络的模型参数。
其中，所述处理器340，用于执行三维重建装置200包括的软件功能模块或计算机程序时，处理器340，用于获取双目相机采集的图像对，所述图像对包括第一图像和第二图像；利用预先训练好的识别模型对所述第一图像中的目标物进行识别，得到所述目标物所在的矩形区域；将所述目标物所在的矩形区域作为识别点，在所述第二图像中找到与所述矩形区域对应的目标矩形区域；根据所述目标物所在的矩形区域以及所述目标矩形区域，得到所述目标物的三维坐标。
其中，存储器320可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器340可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器340也可以是任何常规的处理器等。
其中，上述的电子设备300，包括但不限于计算机、服务器等。
本申请实施例还提供了一种非易失性计算机可读取存储介质(以下简称存储介质)，该存储介质上存储有计算机程序，该计算机程序被计算机如上述的电子设备300运行时，执行上述所示的三维重建方法或网络模型训练方法。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，笔记本电脑,服务器，或者电子设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种三维重建方法，其特征在于，包括：
获取双目相机采集的图像对，所述图像对包括第一图像和第二图像；
利用预先训练好的识别模型对所述第一图像中的目标物进行识别，得到所述目标物所在的矩形区域；
将所述目标物所在的矩形区域作为识别点，在所述第二图像中找到与所述矩形区域对应的目标矩形区域；
根据所述目标物所在的矩形区域以及所述目标矩形区域，得到所述目标物的三维坐标。
2.根据权利要求1所述的方法，其特征在于，将所述目标物所在的矩形区域作为识别点，在所述第二图像中找到与所述矩形区域对应的目标矩形区域，包括：
基于双目三维重建算法，将所述目标物所在的矩形区域的各个角的坐标作为识别点，在所述第二图像中找到与所述矩形区域的各个角的坐标各自对应的目标点坐标。
3.根据权利要求1所述的方法，其特征在于，在利用预先训练好的识别模型对所述第一图像中的目标物进行识别之前，所述方法还包括：
获取训练样本集，所述训练样本集包括：已标注所述目标物的图像以及仅包含所述目标物的图像；
利用所述训练样本集对SSD识别网络进行训练，得到所述训练好的识别模型，其中，在训练时，将所述仅包含所述目标物的图像作为标准，对所述SSD识别网络从所述已标注所述目标物的图像中识别出的所述目标物所在的区域图像进行相似度评分，并根据相似度评分更新所述SSD识别网络的模型参数。
4.根据权利要求3所述的方法，其特征在于，获取训练样本集，包括：
对获取的原始图像中的所述目标物进行标注，得到JSON图像；
将所述JSON图像中的标注部分以及未标注部分的像素点的值进行修改，得到二值化图像；
从所述二值化图像中裁剪出所述目标物所在区域图像，并将所述目标物所在区域图像的尺寸转换成预设标准尺寸，以及将标注后的原始图像的尺寸转换成所述预设标准尺寸，并对转换后的图像进行灰度处理，得到所述训练样本集。
5.一种网络模型训练方法，其特征在于，包括：
获取训练样本集，所述训练样本集包括：已标注目标物的图像以及仅包含所述目标物的图像；
利用所述训练样本集对SSD识别网络进行训练，得到训练好的识别模型，其中，在训练时，将所述仅包含所述目标物的图像作为标准，对所述SSD识别网络从所述已标注所述目标物的图像中识别出的所述目标物所在的区域图像进行相似度评分，并根据相似度评分更新所述SSD识别网络的模型参数。
6.根据权利要求5所述的方法，其特征在于，获取训练样本集，包括：
对获取的原始图像中的所述目标物进行标注，得到JSON图像；
将所述JSON图像中的标注部分以及未标注部分的像素点的值进行修改，得到二值化图像；
从所述二值化图像中裁剪出所述目标物所在区域图像，并将所述目标物所在区域图像的尺寸转换成预设标准尺寸，以及将标注后的原始图像的尺寸转换成所述预设标准尺寸，并对转换后的图像进行灰度处理，得到所述训练样本集。
7.一种三维重建装置，其特征在于，包括：
获取模块，用于获取双目相机采集的图像对，所述图像对包括第一图像和第二图像；
识别模块，用于利用预先训练好的识别模型对所述第一图像中的目标物进行识别，得到所述目标物所在的矩形区域；
重建模块，用于将所述目标物所在的矩形区域作为识别点，在所述第二图像中找到与所述矩形区域对应的目标矩形区域；以及根据所述目标物所在的矩形区域以及所述目标矩形区域，得到所述目标物的三维坐标。
8.一种网络模型训练装置，其特征在于，包括：
获取模块，用于获取训练样本集，所述训练样本集包括：已标注目标物的图像以及仅包含所述目标物的图像；
训练模块，用于利用所述训练样本集对SSD识别网络进行训练，得到训练好的识别模型，其中，在训练时，将所述仅包含所述目标物的图像作为标准，对所述SSD识别网络从所述已标注所述目标物的图像中识别出的所述目标物所在的区域图像进行相似度评分，并根据相似度评分更新所述SSD识别网络的模型参数。
9.一种电子设备，其特征在于，包括：
存储器和处理器，所述处理器与所述存储器连接；
所述存储器，用于存储程序；
所述处理器，用于调用存储于所述存储器中的程序，以执行如权利要求1-4中任一项所述的方法，或者，执行如权利要求5-6中任一项所述的方法。
10.一种存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器运行时，执行如权利要求1-4中任一项所述的方法，或者，执行如权利要求5-6中任一项所述的方法。
CN202110213255.6A 2021-02-24 2021-02-24 三维重建方法、网络模型训练方法、装置及电子设备 Active CN112819953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110213255.6A CN112819953B (zh) 2021-02-24 2021-02-24 三维重建方法、网络模型训练方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110213255.6A CN112819953B (zh) 2021-02-24 2021-02-24 三维重建方法、网络模型训练方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112819953A CN112819953A (zh) 2021-05-18
CN112819953B true CN112819953B (zh) 2024-01-19

Family

ID=75863889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110213255.6A Active CN112819953B (zh) 2021-02-24 2021-02-24 三维重建方法、网络模型训练方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112819953B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327324A (zh) * 2021-06-25 2021-08-31 广东博智林机器人有限公司 三维建筑模型的构建方法、装置、计算机设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960015A (zh) * 2017-05-24 2018-12-07 优信拍（北京）信息科技有限公司 一种基于深度学习的车系自动识别方法及装置
JP2019086294A (ja) * 2017-11-01 2019-06-06 オムロン株式会社 ３次元測定装置、３次元測定方法及びプログラム
CN110009722A (zh) * 2019-04-16 2019-07-12 成都四方伟业软件股份有限公司 三维重建方法及装置
CN110310315A (zh) * 2018-03-21 2019-10-08 北京猎户星空科技有限公司 网络模型训练方法、装置及物***姿确定方法、装置
JP2020013573A (ja) * 2018-07-19 2020-01-23 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ 車両の三次元画像再構成方法
CN111062400A (zh) * 2018-10-16 2020-04-24 浙江宇视科技有限公司 目标匹配方法及装置
CN111243085A (zh) * 2020-01-20 2020-06-05 北京字节跳动网络技术有限公司 图像重建网络模型的训练方法、装置和电子设备
CN111783637A (zh) * 2020-06-30 2020-10-16 上海木木聚枞机器人科技有限公司 关键点标注方法及装置、目标物空间位姿确定方法及装置
CN111862296A (zh) * 2019-04-24 2020-10-30 京东方科技集团股份有限公司 三维重建方法及装置、***、模型训练方法、存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960015A (zh) * 2017-05-24 2018-12-07 优信拍（北京）信息科技有限公司 一种基于深度学习的车系自动识别方法及装置
JP2019086294A (ja) * 2017-11-01 2019-06-06 オムロン株式会社 ３次元測定装置、３次元測定方法及びプログラム
CN110310315A (zh) * 2018-03-21 2019-10-08 北京猎户星空科技有限公司 网络模型训练方法、装置及物***姿确定方法、装置
JP2020013573A (ja) * 2018-07-19 2020-01-23 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ 車両の三次元画像再構成方法
CN111062400A (zh) * 2018-10-16 2020-04-24 浙江宇视科技有限公司 目标匹配方法及装置
CN110009722A (zh) * 2019-04-16 2019-07-12 成都四方伟业软件股份有限公司 三维重建方法及装置
CN111862296A (zh) * 2019-04-24 2020-10-30 京东方科技集团股份有限公司 三维重建方法及装置、***、模型训练方法、存储介质
CN111243085A (zh) * 2020-01-20 2020-06-05 北京字节跳动网络技术有限公司 图像重建网络模型的训练方法、装置和电子设备
CN111783637A (zh) * 2020-06-30 2020-10-16 上海木木聚枞机器人科技有限公司 关键点标注方法及装置、目标物空间位姿确定方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
基于三维VR技术的小区域目标重建研究;郭亮;;现代电子技术(第19期);全文 *
基于二维激光雷达点云的物体轮廓识别;蔡泽宇;金诚谦;;应用激光(第03期);全文 *
基于双目立体视觉的目标识别与定位;王德海;洪伟;程群哲;;吉林大学学报(信息科学版)(第02期);全文 *
基于双目视觉的物体识别定位与抓取;高智伟;谭晓东;刘客;;科学技术与工程(第20期);全文 *
基于双目视觉的目标识别与定位研究;蒋萌;王尧尧;陈柏;;机电工程(第04期);全文 *

Also Published As

Publication number Publication date
CN112819953A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
WO2022083402A1 (zh) 障碍物检测方法、装置、计算机设备和存储介质
CN111222395B (zh) 目标检测方法、装置与电子设备
WO2019223382A1 (zh) 单目深度估计方法及其装置、设备和存储介质
CN110705405B (zh) 目标标注的方法及装置
CN109063768B (zh) 车辆重识别方法、装置及***
CN113379718B (zh) 一种目标检测方法、装置、电子设备以及可读存储介质
CN109754009B (zh) 物品识别方法、装置、售货***和存储介质
US20190188451A1 (en) Lightweight 3D Vision Camera with Intelligent Segmentation Engine for Machine Vision and Auto Identification
CN110349212B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN111639970A (zh) 基于图像识别的物品价格确定方法及相关设备
CN115797736B (zh) 目标检测模型的训练和目标检测方法、装置、设备和介质
CN114140527A (zh) 一种基于语义分割的动态环境双目视觉slam方法
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN113281780B (zh) 对图像数据进行标注的方法、装置及电子设备
CN112819953B (zh) 三维重建方法、网络模型训练方法、装置及电子设备
CN114842466A (zh) 目标检测方法、计算机程序产品和电子设备
CN118015190A (zh) 一种数字孪生模型的自主构建方法及装置
CN111753766A (zh) 一种图像处理方法、装置、设备及介质
CN114429631B (zh) 三维对象检测方法、装置、设备以及存储介质
CN116012712A (zh) 基于物体通用特征的目标检测方法、装置、设备及介质
CN113240723A (zh) 一种单目深度估计方法、装置以及深度评估设备
CN114997264A (zh) 训练数据生成、模型训练及检测方法、装置及电子设备
CN112989869B (zh) 人脸质量检测模型的优化方法、装置、设备及存储介质
CN115457282A (zh) 一种点云数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant