CN110930344B - 一种目标的质量确定方法、装置、***及电子设备 - Google Patents

一种目标的质量确定方法、装置、***及电子设备 Download PDF

Info

Publication number
CN110930344B
CN110930344B CN201810998166.5A CN201810998166A CN110930344B CN 110930344 B CN110930344 B CN 110930344B CN 201810998166 A CN201810998166 A CN 201810998166A CN 110930344 B CN110930344 B CN 110930344B
Authority
CN
China
Prior art keywords
target
dimensional model
detected
sample
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810998166.5A
Other languages
English (en)
Other versions
CN110930344A (zh
Inventor
李朝林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810998166.5A priority Critical patent/CN110930344B/zh
Publication of CN110930344A publication Critical patent/CN110930344A/zh
Application granted granted Critical
Publication of CN110930344B publication Critical patent/CN110930344B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例提供了一种目标的质量确定方法、装置、***及电子设备，该方法包括：获得在不同视点处针对待测目标所采集的图像，作为待测图像；基于所获得的待测图像，构建得到待测目标的三维模型；基于待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系，确定待测目标的质量。本发明实施例中，基于目标的三维模型与目标的质量之间的拟合关系，以及针对待测目标构建的三维模型，得到待测目标的质量，实现基于目标的三维模型，估算得到目标的质量。

Description

一种目标的质量确定方法、装置、***及电子设备
技术领域
本发明涉及图像处理技术领域，特别是涉及一种目标的质量确定方法、装置、***及电子设备。
背景技术
三维重建是指基于针对目标所采集的单视点的图像或多视点的图像，重建目标的三维信息的过程，其中，上述目标可以为人或任一类型的物体等。目前，针对目标进行三维重建的方法存在多种多样。
相关的三维重建的过程，可以为：获得在不同视点处针对目标所采集的图像；针对所获得的每一图像，基于预设的特征点提取算法，从该图像中提取特征点，并确定各特征点的特征描述符，即特征向量；针对每一对位置相邻的视点处所采集的图像，基于该对图像中每一图像的各特征点的特征向量，进行特征点匹配，得到该对图像对应的特征点对；将所得到的各对图像对应的特征点对中的特征点，基于各视点对应的图像采集设备的参数信息，将每一特征点的坐标位置从其各自所在的图像采集设备坐标系转换至同一预设的三维直角坐标系，生成三维点云；后续的，对该三维点云进行曲面拟合，构建得到该目标的三维模型，其中，该三维模型可以标示出该目标的表面，实现对该目标的三维重建。其中，上述预设的特征点提取算法可以包括：SIFT(Scale-invariant feature transform，尺度不变特征转换)特征点提取算法以及Harris特征点提取算法等。上述预设的三维直角坐标系可以为世界坐标系，也可以为上述图像采集设备坐标系中的任一坐标系。
随着用户需求的增多，相关技术中通过所建立的三维模型，可以预估目标的体积以及表面积等参量。在一些场景中，用户存在估算目标的质量的需求，例如：在建筑工地，需要对沙堆、土堆和砖块堆的质量进行预估。那么，如何提供一种基于目标的三维模型，估算该目标的质量的方法成为亟待解决的问题。
发明内容
本发明实施例的目的在于提供一种目标的质量确定方法、装置、***及电子设备，以实现基于目标的三维模型，估算得到目标的质量。具体技术方案如下：
一方面，本发明实施例提供了一种目标的质量确定方法，所述方法包括：
获得在不同视点处针对待测目标所采集的图像，作为待测图像；
基于所获得的待测图像，构建得到所述待测目标的三维模型，所述待测目标的三维模型为：由表征待测目标的表面的三维点云构建的模型，所述待测目标的三维点云基于所获得的待测图像确定；
基于所述待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系，确定所述待测目标的质量。
可选地，所述拟合关系包含：表征目标的三维模型所包含的点的总个数与该目标的质量之间的关系的数学关系式；
其中，所述目标的三维模型所包含的点包括：所述目标的三维模型表面的满足第一预设条件的点，和/或内部的满足第二预设条件的点；
所述基于所述待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系，确定所述待测目标的质量的步骤，包括：
统计所述待测目标的三维模型所包含的点的总个数，作为待测总个数，其中，所述待测目标的三维模型所包含的点包括：所述待测目标的三维模型表面的满足所述第一预设条件的点，和/或内部的满足所述第二预设条件的点；
将所述待测总个数输入所述数学关系式，得到所述待测目标的质量。
可选地，所述第一预设条件为：所述目标的三维模型表面的特征点，所述第二预设条件为：所述目标的三维模型内部的各坐标值为预设长度的整数倍的点，所述目标的三维模型表面的特征点为：拟合得到所述目标的三维模型表面的点。
可选地，所述基于所获得的待测图像，构建得到所述待测目标的三维模型的步骤，包括：
针对每一待测图像，从该待测图像中，检测并提取出包含所述待测目标的区域图像，作为该待测图像对应的待测区域图像；
针对每一待测区域图像，基于预设的特征点提取算法，从该待测区域图像中提取特征点，并确定每一特征点的特征向量；
针对每一对位置相邻的两视点各自对应的待测区域图像，基于该对待测区域图像中特征点的特征向量，确定该对待测区域图像的匹配特征点对；
基于各视点对应的图像采集设备的参数信息，将每一匹配特征点对中的特征点的位置坐标，从该特征点所在图像采集设备坐标系转换至预设的空间直角坐标系，得到待测目标的三维点云；
对所述待测目标的三维点云进行曲面拟合，得到所述待测目标的三维模型。
可选地，所述从该待测图像中，检测并提取出包含所述待测目标的区域图像，作为该待测图像对应的待测区域图像的步骤，包括：
针对每一待测图像，从该待测图像中，检测并提取出包含预设CAD特征的区域图像，作为该待测图像对应的待测区域图像，其中，所述预设CAD特征为：用于表征待测目标的表面轮廓的特征，包括：直线特征和/或曲线特征。
可选地，不同视点处对应不同的图像采集设备；
在所述获得在不同视点处针对待测目标所采集的图像，作为待测图像的步骤之前，所述方法还包括：
基于预设标定规则，对每一视点处的图像采集设备进行标定，得到每一视点处的图像采集设备的参数信息。
可选地，所述拟合关系通过以下方式确定：
获得多个样本目标各自对应的多个样本图像以及所述多个样本目标各自的样本质量，其中，所述多个样本目标的类型与所述待测目标的类型相同，每一样本目标对应的多个样本图像为：从不同视点处针对该样本目标所采集的图像；
针对每一样本目标，基于该样本目标对应的多个样本图像，构建得到该样本目标的三维模型，所述样本目标的三维模型为：由表征样本目标的表面的三维点云构建的模型，所述样本目标的三维点云基于所获得的样本图像确定；
针对每一样本目标，统计得到该样本目标的三维模型所包含的点的总个数，作为样本总个数，其中，所述样本目标的三维模型所包含的点包括：所述样本目标的三维模型表面的满足所述第一预设条件的点，和/或内部的满足所述第二预设条件的点，所述第一预设条件为：所述样本目标的三维模型表面的特征点，所述第二预设条件为：所述样本目标的三维模型内部的各坐标值为预设长度的整数倍的点，所述样本目标的三维模型表面的特征点为：拟合得到所述样本目标的三维模型表面的点；
基于每一样本目标对应的样本总个数，以及该样本目标的样本质量，拟合得到拟合关系。
又一方面，本发明实施例提供了一种目标的质量确定装置，所述装置包括：
获得模块，用于获得在不同视点处针对待测目标所采集的图像，作为待测图像；
构建模块，用于基于所获得的待测图像，构建得到所述待测目标的三维模型，所述待测目标的三维模型为：由表征待测目标的表面的三维点云构建的模型，所述待测目标的三维点云基于所获得的待测图像确定；
确定模块，用于所述待测目标的三维模型为：由表征待测目标的表面的三维点云构建的模型，所述待测目标的三维点云基于所获得的待测图像确定。
可选地，所述拟合关系包含：表征目标的三维模型所包含的点的总个数与该目标的质量之间的关系的数学关系式；
其中，所述目标的三维模型所包含的点包括：所述目标的三维模型表面的满足第一预设条件的点，和/或内部的满足第二预设条件的点；
所述确定模块，具体用于
统计所述待测目标的三维模型所包含的点的总个数，作为待测总个数，其中，所述待测目标的三维模型所包含的点包括：所述待测目标的三维模型表面的满足所述第一预设条件的点，和/或内部的满足所述第二预设条件的点；
将所述待测总个数输入所述数学关系式，得到所述待测目标的质量。
可选地，所述第一预设条件为：所述目标的三维模型表面的特征点，所述第二预设条件为：所述目标的三维模型内部的各坐标值为预设长度的整数倍的点，所述目标的三维模型表面的特征点为：拟合得到所述目标的三维模型表面的点。
可选地，所述构建模块包括：
检测提取单元，用于针对每一待测图像，从该待测图像中，检测并提取出包含所述待测目标的区域图像，作为该待测图像对应的待测区域图像；
第一确定单元，用于针对每一待测区域图像，基于预设的特征点提取算法，从该待测图像中提取特征点，并确定每一特征点的特征向量；
第二确定单元，用于针对每一对位置相邻的两视点各自对应的待测区域图像，基于该对待测区域图像中特征点的特征向量，确定该对待测区域图像的匹配特征点对；
转换单元，用于基于各视点对应的图像采集设备的参数信息，将每一匹配特征点对中的特征点的位置坐标，从该特征点所在图像采集设备坐标系转换至预设的空间直角坐标系，得到待测目标的三维点云；
拟合单元，用于对所述待测目标的三维点云进行曲面拟合，得到所述待测目标的三维模型。
可选地，所述检测提取单元，具体用于
针对每一待测图像，从该待测图像中，检测并提取出包含预设CAD特征的区域图像，作为该待测图像对应的待测区域图像，其中，所述预设CAD特征为：用于表征待测目标的表面轮廓的特征，包括：直线特征和/或曲线特征。
可选地，不同视点处对应不同的图像采集设备；
所述装置还包括：
标定模块，用于在所述获得在不同视点处针对待测目标所采集的图像，作为待测图像之前，基于预设标定规则，对每一视点处的图像采集设备进行标定，得到每一视点处的图像采集设备的参数信息。
可选地，所述装置还包括：关系确定模块，用于确定所述拟合关系，包括：
获得单元，用于获得多个样本目标各自对应的多个样本图像以及所述多个样本目标各自的样本质量，其中，所述多个样本目标的类型与所述待测目标的类型相同，每一样本目标对应的多个样本图像为：从不同视点处针对该样本目标所采集的图像；
构建单元，用于针对每一样本目标，基于该样本目标对应的多个样本图像，构建得到该样本目标的三维模型，所述样本目标的三维模型为：由表征样本目标的表面的三维点云构建的模型，所述样本目标的三维点云基于所获得的样本图像确定；
统计单元，用于针对每一样本目标，统计得到该样本目标的三维模型所包含的点的总个数，作为样本总个数，其中，所述样本目标的三维模型所包含的点包括：所述样本目标的三维模型表面的满足所述第一预设条件的点，和/或内部的满足所述第二预设条件的点，所述第一预设条件为：所述样本目标的三维模型表面的特征点，所述第二预设条件为：所述样本目标的三维模型内部的各坐标值为预设长度的整数倍的点，所述样本目标的三维模型表面的特征点为：拟合得到所述样本目标的三维模型表面的点；
拟合单元，用于基于每一样本目标对应的样本总个数，以及该样本目标的样本质量，拟合得到拟合关系。
又一方面，本发明实施例提供了一种目标的质量确定***，包括：
图像采集设备，用于在不同视点处针对待测目标采集图像待测图像；
处理设备，用于获得所述图像采集设备在不同视点处针对所述待测目标所采集的图像，，所述待测目标的三维模型为：由表征待测目标的表面的三维点云构建的模型，所述待测目标的三维点云基于所获得的待测图像确定；基于所述待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系，确定所述待测目标的质量。
又一方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的计算机程序时，实现本发明实施例所提供的任一所述的目标的质量确定方法步骤。
又一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例所提供的任一所述的目标的质量确定方法步骤。
本发明实施例，获得在不同视点处针对待测目标所采集的图像，作为待测图像；基于所获得的待测图像，构建得到待测目标的三维模型，待测目标的三维模型为：由表征待测目标的表面的三维点云构建的模型，待测目标的三维点云基于所获得的待测图像确定；基于待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系，确定待测目标的质量。可见，本发明实施例中，基于目标的三维模型与目标的质量之间的拟合关系，以及针对待测目标构建的三维模型，得到待测目标的质量，实现基于目标的三维模型，估算得到目标的质量。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种目标的质量确定方法的流程示意图；
图2为一种待测图像的采集场景意图；
图3为本发明实施例所提供的一种建立拟合关系的流程示意图；
图4为曲面拟合的一种示意图；
图5为本发明实施例所提供的一种目标的质量确定装置的结构示意图；
图6本发明实施例所提供的一种目标的质量确定***的结构示意图；
图7为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在对本发明涉及的目标的质量确定方法进行详细介绍之前，先对本发明涉及的术语进行简单的介绍。
本发明的术语解释如下：
三维模型，是物体的多边形表示，通常用计算机或者其它视频设备进行显示。
SIFT(Scale-invariant feature transform，尺度不变特征转换)特征点提取算法，是一种不随图像尺度旋转变化而变化的特征，因此SIFT特征不会随着图像的放大缩小，或者旋转而改变，同时由于在提取特征时做的一些特殊处理，使得SIFT特征对于光照变化也有比较强的适应性。
三维重建，是指根据单视图或者多视图的图像重建物体的三维信息的过程。
视点，图像采集设备所处位置，图像采集设备在该位置处针对目标采集图像。
三维点云，基于图像所确定出的目标的表面的海量点的集合，可以用三维坐标标识点的坐标。
预设CAD特征为：用于表征目标的表面轮廓的特征，可以包括：直线特征和/或曲线特征。
本发明的发明构思如下：
首先获得在不同视点处针对待测目标所采集的图像，作为待测图像，其中该待测图像存在至少两张。利用相关的任一三维重建方法，基于所获得的待测图像，构建该待测目标的三维模型，进而基于上述待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系，确定出待测目标的质量。
在一种实现方式中，上述目标的三维模型与目标的质量之间的拟合关系的建立过程，可以是：获得多个样本目标各自对应的多个样本图像以及多个样本目标各自的样本质量；并针对每一样本目标，基于该样本目标对应的多个样本图像，构建样本目标的三维模型；进而，基于上述每一样本目标的三维模型以及该样本目标的样本质量，拟合得到样本三维模型和样本质量之间的关系，即得到拟合关系。
其中，上述基于每一样本目标的三维模型以及该样本目标的样本质量，拟合得到样本三维模型和样本质量之间的关系，即得到拟合关系的过程，可以是：针对每一样本目标的三维模型，统计得到样本目标的三维模型所包含点的个数，其中，上述所包含点为满足预设条件的点，进而拟合得到上述统计得到的点的个数和样本质量之间的关系，例如：通过数学关系式表征上述关系。上述数学关系式可以为一元一次方程，也可以是一元m次方程，m可以为大于1的数值。
进而，当构建得到待测目标的三维模型后，可以统计得到待测目标的三维模型所包含点的个数，进而将上述统计得到待测目标的三维模型所包含点的个数，代入上述数学关系式，得到待测目标的质量。
其中，为了保证所确定的质量的准确性，上述样本目标的类型与待测目标的类型相同，例如上述待测目标的类型为沙堆，上述样本目标的类型为沙堆。
在一种实现方式中，为了在一定程度上减少建模的计算量，上述基于所获得的待测图像构建该待测目标的三维模型的过程，可以是：首先从每一待测图像中，检测并提取出包含待测目标的区域图像，作为该待测图像对应的待测区域图像，将待检测图像中除待测目标所在区域外的其他图像均去除，在一定程度上可以减少后续的建模的计算量。进而仅基于待测图像对应的待测区域图像，构建得到待测目标的三维模型。
其中，上述检测并提取出包含待测目标的区域图像所利用方式，可以是：通过预设的检测算法，从待测图像中检测并提取出包含预设CAD特征的区域图像，其中，上述预设的检测算法可以为hough算法。或者，可以是：基于预设的目标检测模型，从待测图像中检测并提取出包含待测目标的区域图像。上述预设的目标检测模型可以为：基于包含样本目标的图像，即训练图像，以及机器学习算法，训练所得的目标检测模型，上述机器学习算法可以为：卷积神经网络算法以及支持向量机算法等等。
上述基于待测图像对应的待测区域图像，构建得到待测目标的三维模型的过程，可以是：首先利用SIFT特征点提取算法，从每一待测区域图像中提取出特征点，进而针对每一对位置相邻的两视点所采集的待测图像，利用该对待测区域图像内的SIFT特征点，进行特征点匹配，确定出相互匹配的特征点对；进而基于所确定出的所有的特征点对，构建待测目标的三维点云，也称体积像素云，对上述三维点云进行曲面拟合，得到待测目标的三维模型。
可见，应用上述方案，根据针对待测目标构建的三维模型以及目标的三维模型与目标的质量之间的拟合关系，可以确定出待测目标的质量，使得实现基于目标的三维模型，估算得到目标的质量。
基于相同的发明构思，本发明实施例提供了一种目标的质量确定方法、装置、***及电子设备，以实现基于目标的三维模型，估算得到目标的质量。
如图1所示，本发明实施例提供了一种目标的质量确定方法，可以包括如下步骤：
S101：获得在不同视点处针对待测目标所采集的图像，作为待测图像；
可以理解的是，本发明实施例提供的目标的质量确定方法，可以应用于电子设备，一种情况中，该电子设备可以为智能手机以及电脑等等，此时，该电子设备可以与图像采集设备连接，以能够获得图像采集设备针对待测目标所采集的图像，即待测图像，进而执行后续的目标的质量确定流程。在另一种情况中，上述电子设备可以为图像采集设备，例如：相机以及摄像头等等，该图像采集设备可以在获得上述待测图像后，执行后续的目标的质量确定流程。
在一种情况中，不同视点处可以设置有不同的图像采集设备，即每一视点处设置有一图像采集设备，以用于在所在视点处针对待测目标采集图像。此时，电子设备可以与上述所有视点处的图像采集设备连接，以能够获得处于上述视点处的图像采集设备针对待测目标采集的图像。当电子设备为：一图像采集设备时，该电子设备可以为：上述所有视点处的图像采集设备中的任一图像采集设备。此时，执行本发明实施例所提供的目标的质量确定流程的图像采集设备，可以与上述所有视点处的其他图像采集设备均连接，以使得执行本发明实施例所提供的目标的质量确定流程的图像采集设备，能够获得上述在不同视点处针对待测目标所采集的图像。
在上述情况中，上述图像采集设备的姿态可以是固定的，也可以是不固定的，当视点位置图像采集设备的姿态是固定的时，理论上可以针对每一图像采集设备执行一次标定流程即可，上述标定流程即为：计算每一图像采集设备的内部参数以及外部参数的流程。实际中，为了保证后续的三维建模的准确性，可以周期性地针对每一图像采集设备执行标定流程。其中，上述图像采集设备的姿态可以包括：图像采集设备的所处位置以及俯仰角。当图像采集设备的姿态是不固定的时，在获得该图像采集设备所采集的图像之前，需要先针对该图像采集设备执行标定流程，以获得该图像采集设备的内部参数以及外部参数。在一种实现方式中，对上述图像采集设备执行标定流程时，可以采用传统的标定算法进行标定，例如：张正友标定法。
在另一种情况中，一图像采集设备可以分别被设置于不同视点处，以针对待测目标采集图像，此时，电子设备可以与该图像采集设备连接，以获得该图像采集设备在不同视点处针对待测目标所采集的图像。当电子设备为该图像采集设备，可以基于自身获得在不同视点处针对待测目标所采集的图像。在该情况中，当获得图像采集设备在某一视点处采集的图像之前，需要首先对该图像采集设备执行标定流程，以获得该图像采集设备在该视点处的内部参数以及外部参数。
其中，为了构建出效果较好地待测目标的三维模型，上述视点可以存在至少三个，其中，上述处于该至少三个视点可以均匀的分布于该待测目标的四周，以使得处于该至少三个视点的图像采集设备针对该待测目标所采集的图像，能够包含该待测目标的完整的表面，进而，可以构建出效果较好地待测目标的三维模型。举例而言，当上述视点存在三个时，上述三个视点中位置相邻的两个视点之间的夹角可以为120度，如图2所示，其中，图2中所示的长方体可以标识待测目标，图2中所示的图像采集设备存在3个，分别为“相机1”、“相机2”和“相机3”，该三个图像采集设备分布于待测目标的四周，且3个图像采集设备之间位置相邻的两图像采集设备的图像采集视角存在重叠，即位置相邻的两图像采集设备所采集的图像存在重叠；当上述视点存在四个时，上述四个视点中位置相邻的两个视点之间的夹角可以为90度。
其中，不同视点中位置相邻的两视点处的图像采集设备的视场角存在重叠。通过在不同视点处针对待测目标采集图像，可以获得针对待测目标的多视角图像，进而可以基于所获得的多视角图像，构建该待测目标的三维模型。
上述待测目标可以为人也可以为任意类型的物体，例如：沙堆、土堆、砖块以及水果(例如：苹果、梨等)等等。本发明实施例并不对待测目标的类型进行限定。
S102：基于所获得的待测图像，构建得到待测目标的三维模型；
待测目标的三维模型为：由表征待测目标的表面的三维点云构建的模型，待测目标的三维点云基于所获得的待测图像确定；
本步骤中，电子设备可以利用相关的任一三维重建方法，基于所获得的待测图像，构建得到待测目标的三维模型。具体的，电子设备可以针对每一待测图像，基于预设的特征点提取算法，从该待测图像提取特征点，并计算每一特征点的特征向量，即特征描述符；进而，可以针对每一对特征点，进行特征点匹配，得到该对待测图像对应的特征点对，基于各视点对应的图像采集设备的参数信息，将所得到的各特征点对中的特征点的坐标位置从各自所在的图像采集设备坐标系转换至同一预设的空间直角坐标系，生成该目标对应的三维点云。进而，对该三维点云进行曲面拟合，构建得到该目标的三维模型。其中，上述预设的空间直角坐标系可以为世界坐标系，也可以为各视点对应的图像采集设备坐标系。其中，上述对该三维点云进行曲面拟合，构建得到该目标的三维模型的过程中，可以利用相关的任一曲面拟合算法，本发明实施例并不对上述曲面拟合算法作限定。其中，上述预设的特征点提取算法可以包括：SIFT特征点提取算法以及Harris特征点提取算法。
其中，SIFT特征点提取算法所提取的SIFT特征点具有尺度不变性，即使改变旋转角度，图像亮度或拍摄视角，仍然能够得到好的检测效果。本发明实施例中，为了提取得到效果更好的特征点，可以利用SIFT特征点提取算法，从待测图像中提取SIFT特征点。当利用SIFT特征点提取算法，从待测图像中提取SIFT特征点时，一般流程可以为：首先针对待测图像构建尺度空间，即针对待测图像，基于预设的高斯卷积核，生成该待测图像对应的高斯差分金字塔(DOG金字塔)；进而检测尺度空间内的极值点，即基于该所构建的尺度空间，检测并筛选出该待测图像的空间极值点，具体的：针对每一点，将该点与其所有的相邻点进行比较，确定该点对应的值是否最大或最小，当确定最大或最小时，确定该点为空间极值点，其中，该点的相邻点包括：本尺度的8邻域的点，相邻尺度中与自身位置相同的点，相邻尺度中与8邻域的点位置相同的点；对空间极值点进行精确定位，具体的：通过拟合三维二次函数以确定最终的空间极值点的位置和尺度，即SIFT特征点；为每一SIFT特征点指定方向参数，即确定每一SIFT特征点的特征向量。
其中，针对上述特征点匹配过程，举例而言：位置相邻的两视点所采集的待测图像分别为待测图像I1和待测图像I2，针对待测图像I1中的特征点Pi，从待测图像I2中的特征点Q中，查找是存在与上述特征点Pi匹配的特征点Qj，当确定存在时，确定该与上述特征点Pi匹配的特征点Qj；并将特征点Pi与特征点Qj确定为一组特征点对。具体的匹配过程为：针对特征点Pi，基于该特征点Pi的特征向量，分别与待测图像I2中的特征点Q的特征向量，计算该特征点Pi对应的欧氏距离，从待测图像I2中的特征点Q中，确定出与特征点Pi的欧氏距离最小和次小的特征点，并判断上述最小欧氏距离与上述次小欧氏距离之间的比值，是否小于预设阈值，当小于预设阈值时，确定存在与上述特征点Pi匹配的特征点Qj。其中，该特征点Qj即为：待测图像I2中的特征点Q中与特征点Pi的欧氏距离最小的特征点。
S103：基于待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系，确定待测目标的质量。
其中，为了保证所确定的待测目标的质量的准确性，上述目标的类型与上述待测目标的类型相同。例如：待测目标为土堆时，上述目标为土堆；当待测目标为苹果时，上述目标为苹果。在一种情况中，上述作为目标的苹果可以与作为待测目标的苹果同品种。
上述目标的三维模型所在坐标系与该待测三维模型所在坐标系的尺寸相同，即目标的三维模型所在坐标系与该待测三维模型所在坐标系之间的，各坐标轴的单位长度均相同。例如：目标的三维模型所在坐标系的横轴与该待测三维模型所在坐标系的横轴的单位长度相同，目标的三维模型所在坐标系的横轴与该待测三维模型所在坐标系的纵轴的单位长度相同，目标的三维模型所在坐标系的横轴与该待测三维模型所在坐标系的竖轴的单位长度相同。
本发明实施例中，上述拟合关系可以表征：某一类型的目标的三维模型与该类型的目标的质量之间的对应关系。基于上述拟合关系以及构建所得的待测目标的三维模型，可以确定出待测目标的质量，即可以确定出待测目标的重量。
在一种实现方式中，上述拟合关系包含：表征目标的三维模型的体积与该目标的质量之间的关系，例如为：可以表征目标的三维模型的体积与该目标的质量之间的关系的数学关系式，为了描述方便，称之为第一数学关系式；此时，电子设备可以在确定出上述待测目标的三维模型后，可以计算得到待测目标的三维模型的体积，进而，将计算所得待测目标的三维模型的体积输入上述第一数学关系式内，计算得到上述待测目标的质量。其中，上述第一数据关系式可以是：基于历史目标的三维模型以及该历史目标的质量所建立的。
在上述实现方式中，电子设备可以获得多个历史目标的三维模型以及每一历史目标的质量，电子设备可以基于上述每一历史目标的三维模型，以及每一历史目标的质量，拟合得到上述第一数学关系式，其中，在拟合得到上述第一数学关系式时，可以利用最小二乘法，以基于上述每一历史目标的三维模型，以及每一历史目标的质量，拟合得到上述第一数学关系式。其中，该多个历史目标的类型与该待测目标的类型相同，且该多个历史目标的三维模型所在坐标系与该待测目标的三维模型所在坐标系的尺寸相同，即该多个历史目标的三维模型所在坐标系与该待测目标的三维模型所在坐标系之间的，各坐标轴的单位长度均相同。例如：该多个历史目标的三维模型所在坐标系的横轴与该待测目标的三维模型所在坐标系的横轴的单位长度相同，该多个历史目标的三维模型所在坐标系的横轴与该待测目标的三维模型所在坐标系的纵轴的单位长度相同，该多个历史目标的三维模型所在坐标系的横轴与该待测目标的三维模型所在坐标系的竖轴的单位长度相同。其中，该历史目标可以为本发明实施例提到的目标。
应用本发明实施例，获得在不同视点处针对待测目标所采集的图像，作为待测图像；基于所获得的待测图像，构建得到待测目标的三维模型，待测目标的三维模型为：由表征待测目标的表面的三维点云构建的模型，待测目标的三维点云基于所获得的待测图像确定；基于待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系，确定待测目标的质量。可见，本发明实施例中，基于目标的三维模型与目标的质量之间的拟合关系，以及针对待测目标构建的三维模型，得到待测目标的质量，实现基于目标的三维模型，估算得到目标的质量。
在一种实现方式中，拟合关系包含：表征目标的三维模型所包含的点的总个数与该目标的质量之间的关系的数学关系式；
其中，目标的三维模型所包含的点包括：目标的三维模型表面的满足第一预设条件的点，和/或内部的满足第二预设条件的点；
所述基于待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系，确定待测目标的质量的步骤，可以包括：
统计待测目标的三维模型所包含的点的总个数，作为待测总个数，其中，待测目标的三维模型所包含的点包括：待测目标的三维模型表面的满足第一预设条件的点，和/或内部的满足第二预设条件的点；
将待测总个数输入数学关系式，得到待测目标的质量。
在本发明实施例中，拟合关系可以包含：表征目标的三维模型所包含的点的总个数与该目标的质量之间的关系，例如为：可以表征目标的三维模型所包含的点的总个数与该目标的质量之间的关系的数学关系式，为了描述方便，称之为第二数学关系式。在一种情况中，上述第二数学关系式为一元一次方程，例如为：M＝kN+b，其中，上述M标识目标的质量，上述N标识该目标的三维模型所包含的点的总个数，上述k为拟合所得的一次元系数，上述b为拟合所得的常数项。上述目标可以至少包括样本目标。
其中，目标的三维模型所包含的点可以包括：目标的三维模型表面的满足第一预设条件的点，和/或内部的满足第二预设条件的点。可以理解的是，目标的三维模型为立体模型，且该三维模型可以标示出目标的表面，当确定出目标的三维模型之后，该三维模型表面以及内部的点即可确定，进而，三维模型表面的满足第一预设条件的点，和/或内部的满足第二预设条件的点即可确定，进而可以通过最小二乘法，基于上述目标的三维模型所包含的点以及目标的质量，拟合得到上述第二数学关系式。
其中，可以理解的是，当拟合得到上述第二数学关系式时，所利用的目标的三维模型所包含的点包括：三维模型表面的满足第一预设条件的点时，在统计得到待测目标的三维模型所包含的点的总个数时，仅统计待测目标的三维模型表面的满足第一预设条件的点；当所利用的目标的三维模型所包含的点包括：三维模型内部的满足第二预设条件的点时，在统计得到待测目标的三维模型所包含的点的总个数时，仅统计待测目标的三维模型内部的满足第二预设条件的点；当所利用的目标的三维模型所包含的点包括：表面的满足第一预设条件的点，和三维模型内部的满足第二预设条件的点时，在统计得到待测目标的三维模型所包含的点的总个数时，统计待测目标的三维模型表面的满足第一预设条件的点，和内部的满足第二预设条件的点。
后续的，电子设备将统计得到的待测目标的三维模型所包含点的总个数，即待测总个数，输入上述第二数学关系式，可以得到待测目标的质量。
在一种情况中，上述第一预设条件可以为：目标的三维模型表面的特征点，第二预设条件可以为：目标的三维模型内部的各坐标值为预设长度的整数倍的点，目标的三维模型表面的特征点可以为：拟合得到目标的三维模型表面的点。
可以理解的是，针对每一目标，构建其三维模型的过程，一般为：获得在不同视点处针对该目标所采集的图像，进而，基于预设的特征点提取算法，从每一图像中提取出特征点，并确定每一特征点的特征向量；可以理解的是，位置相邻的两视点所采集的图像之间存在重叠区域，针对每对在位置相邻的两视点所采集的图像，基于该对图像中每一图像的各特征点的特征向量，进行特征点匹配，得到该对图像对应的特征点对，进而基于各视点对应的图像采集设备的参数信息，将所得到的各对图像对应的特征点对中的特征点，基于各视点对应的图像采集设备的参数信息，将每一特征点的坐标位置从其各自所在的图像采集设备坐标系转换至同一坐标系，生成该目标对应的三维点云，进而，对该三维点云进行曲面拟合，构建得到该目标的三维模型。即每一目标的三维模型均由：从针对该目标所采集的图像中所提取的特征点，并通过特征点匹配过程所筛选保留的特征点，进行拟合得到。当目标的三维模型确定时，该三维模型的表面的特征点即确定。
可以理解的是，目标的三维模型内部的点均对应一坐标，该坐标包含横轴坐标值、纵轴坐标值以及竖轴坐标值，本发明实施例中，上述第二预设条件为：目标的三维模型内部的各坐标值为预设长度的整数倍的点，例如：当上述预设长度等于所对应坐标轴的单位长度时，可以理解为：上述满足第二预设条件的点为：目标的三维模型内部的，各坐标值均为整数值的所有点，例如坐标为：(1，1，1)、(1，1，2)、(1，2，2)以及(2，2，2)的点等。当上述预设长度等于所对应坐标轴的D倍的单位长度时，D可以取任何数值，例如：D等于0.5，上述满足第二预设条件的点为：目标的三维模型内部的，在各坐标值为所对应坐标轴的0.5倍的单位长度的整数倍的所有点，例如坐标为：(0.5，0.5，0.5)、(0.5，0.5，1)、(0.5，1，1)以及(1.5，1，1)的点等。
其中，每一坐标值可以对应的一预设长度，每一坐标值对应的预设长度可以相同，也可以不同，这都是可以的。
在一种实现方式中，所述方法还可以包括：建立拟合关系的过程，其中，如图3所示，拟合关系可以通过以下方式确定：
S301：获得多个样本目标各自对应的多个样本图像以及多个样本目标各自的样本质量；
其中，多个样本目标的类型与待测目标的类型相同，每一样本目标对应的多个样本图像为：从不同视点处针对该样本目标所采集的图像；
S302：针对每一样本目标，基于该样本目标对应的多个样本图像，构建得到该样本目标的三维模型；
样本目标的三维模型为：由表征样本目标的表面的三维点云构建的模型，样本目标的三维点云基于所获得的样本图像确定；
S303：针对每一样本目标，统计得到该样本目标的三维模型所包含的点的总个数，作为样本总个数；
其中，该样本目标的三维模型所包含的点包括：样本目标的三维模型的表面以及内部所包含的满足预设条件的点，其中，预设条件为：样本目标的三维模型内部的各坐标值为预设长度的整数倍的点，和/或样本目标的三维模型表面的特征点，样本目标的三维模型表面的特征点为：拟合得到样本目标的三维模型表面的点；
S304：基于每一样本目标对应的样本总个数，以及该样本目标的样本质量，拟合得到拟合关系。
可以理解的是，上述拟合关系可以为：电子设备基于样本目标的三维模型与样本目标的质量所建立的拟合关系。上述样本目标的类型均相同，且均与待测目标的类型相同。
电子设备可以首先获得每一样本目标各自对应的多个样本图像，该多个样本图像为：从不同视点处针对该样本目标所采集的图像。其中，上述视点可以存在至少三个，且上述至少三个视点所采集的图像可以包含：该样本目标的全部表面，且在上述至少三个视点中位置相邻的两视点处所采集的图像之间，存在重叠区域。
电子设备获得每一样本目标的质量，其中，上述质量可以为：对所对应的样本目标进行称重所得到的质量。
电子设备获得每一样本目标各自对应的多个样本图像后，可以针对每一样本图像，基于该样本目标对应的多个样本图像，构建得到该样本目标的三维模型；进而，针对每一样本目标，统计得到该样本目标对应的样本三维模型所包含的点的总个数，作为样本总个数。其中，对于针对每一样本目标，统计得到该样本目标的样本总个数的统计过程，与上述针对待测目标，统计得到该待测目标的待测总个数的统计过程相似，不再进行赘述。
电子设备基于每一样本目标对应的样本总个数，以及该样本目标的样本质量，利用最小二乘法拟合得到拟合关系。具体的，可以是针对每一样本目标，建立样本总个数与质量之间的方程式，进而利用最小二乘法，求解上述方程式，进而拟合得到拟合关系。例如：针对每一样本目标，建立样本总个数与质量之间的方程式为一元一次方程式：Y＝kX+b，其中，Y标识样本目标的样本总个数，X标识样本目标的质量，k和b为待求解的未知数，将每一样本目标的样本总个数与质量，代入上述方程式，并进行联立，利用最小二乘法，求解得到k和b的值，以得到拟合关系。该一元一次方程式可以表征出目标对应的三维模型所包含点的个数与目标的质量之间的关系，通过该一元一次方程式，以及所确定出待测目标的三维模型所包含点的个数，可以确定出待测目标的质量。
又例如：针对每一样本目标，建立样本总个数与质量之间的方程式为一元m次方程式：Y＝kXm+b，其中，Y标识样本目标的样本总个数，X标识样本目标的质量，k、b以及m为待求解的未知数，将每一样本目标的样本总个数与质量，代入上述方程式，并进行联立，利用最小二乘法，求解得到k、b以及m的值，以得到拟合关系。这都是可以的。上述的方程式均可以表征出目标的三维模型中点的个数与目标的质量之间的关系。进而通过上述的方程式，以及所确定出待测目标的三维模型中的点的个数，可以确定出待测目标的质量。该一元m次方程式也可以表征出目标的三维模型所包含点的个数与目标的质量之间的关系，通过该一元m次方程式，以及所确定出待测目标的三维模型所包含的点的个数，可以确定出待测目标的质量。
在一种情况中，当上述预设长度等于所对应坐标轴的n倍的单位长度时，n可以取任何数值时，在样本目标的数量确定时，上述n所取的数值越小，统计所得的每一样本目标的三维模型所包含的点的个数越多，基于上述样本目标的的三维模型所包含的点的个数与该样本目标的质量，拟合所得的拟合关系越稳定，基于该拟合关系所得到的待测目标的质量的准确性越高。
其中，建立上述拟合关系时所利用的样本目标的三维模型所包含的点的类型，与确定待测目标的质量时所利用的待测目标的三维模型所包含的点的类型相同。例如：建立上述拟合关系时所利用的样本目标的三维模型所包含的点包括：样本目标的三维模型表面的满足第一预设条件的点，和内部的满足第二预设条件的点时，确定待测目标的质量时，所利用的待测目标的三维模型所包含的点包括：待测目标的三维模型表面的满足第一预设条件的点，和内部的满足第二预设条件的点。
在另一种情况中，在建立上述拟合关系时，上述样本目标的数量越多，拟合得到的拟合关系越稳定，基于该拟合关系所得到的待测目标的质量的准确性越高。
在一种实现方式中，所述基于所获得的待测图像，构建得到待测目标的三维模型的步骤，可以包括：
针对每一待测图像，从该待测图像中，检测并提取出包含待测目标的区域图像，作为该待测图像对应的待测区域图像；
针对每一待测区域图像，基于预设的特征点提取算法，从该待测图像中提取特征点，并确定每一特征点的特征向量；其中，预设的特征点提取算法可以包括SIFT特征点提取算法以及Harris特征点提取算法等；
针对每一对位置相邻的两视点各自对应的待测区域图像，基于该对待测区域图像中特征点的特征向量，确定该对待测区域图像的匹配特征点对；后续的，可以将每一待测图像中，不属于任一匹配特征点对内的特征点的特征点删除；
基于各视点对应的图像采集设备的参数信息，将每一匹配特征点对中的特征点的位置坐标，从该特征点所在图像采集设备坐标系转换至预设的空间直角坐标系，得到待测目标的三维点云；
对待测目标的三维点云进行曲面拟合，得到待测目标的三维模型。
可以理解的是，视点与待测图像存在对应关系，待测图像与待测区域图像存在对应关系，因此，视点与待测区域图像存在对应关系。
在一种实现方式中，电子设备可以通过预设的检测算法，从待测图像中检测并提取出包含待测目标的区域图像。可以理解的是，一般的待测目标会存在一些预设的CAD(Computer Aided Design，计算机辅助设计)特征，在一种实现方式中，电子设备可以通过预设的检测算法，从待测图像中检测并提取出包含预设CAD特征的区域图像，其中，预设CAD特征可以为：用于表征待测目标的表面轮廓的特征，可以包括：直线特征和/或曲线特征，上述预设的检测算法可以为hough算法。举例而言：电子设备可以利用上述hough算法从待测图像中检测直线和/或曲线即圆弧，当检测到直线和/或曲线时，将包含上述直线和/或曲线的最小区域提取出，并作为该待测图像对应的待测区域图像。上述最小区域可以为最小的矩形区域，或者其他形状的区域，这都是可以的。具体的，所述从该待测图像中，检测并提取出包含待测目标的区域图像，作为该待测图像对应的待测区域图像的步骤，可以包括：
针对每一待测图像，从该待测图像中，检测并提取出包含预设CAD特征的区域图像，作为该待测图像对应的待测区域图像，其中，预设CAD特征为：用于表征待测目标的表面轮廓的特征，包括：直线特征和/或曲线特征。
在另一种实现方式中，电子设备可以基于预设的目标检测模型，从待测图像中检测并提取出包含待测目标的区域图像。在一种情况中，上述预设的目标检测模型可以为：基于包含样本目标的图像，即训练图像，以及机器学习算法，训练所得的目标检测模型，上述机器学习算法可以为：卷积神经网络算法以及支持向量机算法等等。
本发明实施例中，通过确定每一待测图像对应的待测区域图像，后续的可以仅针对上述待测区域图像进行特征点提取、匹配等过程，不再需要对整张图像进行特征点提取、匹配等过程，在一定程度上可以减少后续的目标的质量确定流程的计算量，节省电子设备资源。
电子设备可以基于从每一待测图像中提取的待测区域图像，进行后续的构建待测目标的三维模型的流程。本发明实施例中，电子设备可以在确定每一对待测区域图像的匹配特征点对后，获得各视点对应的图像采集设备的参数信息，进而基于所获得的各视点对应的图像采集设备的参数信息，将每一匹配特征点对中的特征点，从该特征点所在图像采集设备坐标系转换至预设的空间直角坐标系，得到待测目标的三维点云。其中，上述得到待测目标的三维点云的过程，可以利用相关的任一可以坐标转换方法，以将每一匹配特征点对中的特征点，从该特征点所在图像采集设备坐标系转换至预设的空间直角坐标系，本发明实施例并不对上述坐标转换方法进行限定。
上述参数信息可以包括：实现对图像坐标系与图像采集设备坐标系之间的转换的内参数，实现对图像采集设备坐标系与世界坐标系之间的转换的外参数，以及畸变系数。
其中，上述内参数包括：dx、dy、u0、v0和f，其中，dx和dy分别标识：横向x方向和纵向y方向的一个像素分别占多少长度单位，即一个像素代表的实际物理值的大小，其是实现图像坐标系与图像采集设备坐标系之间的转换的关键。u0，v0分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向像素数和纵向像素数，(u0，v0)可以标识像主点的坐标，像主点为图像采集设备的光轴与像平面的交点。F标识图像采集设备的焦距。上述外参数可以包括旋转矩阵R以及平移矩阵T。上述畸变系数可以包括径向畸变系数和切向畸变系数。径向畸变发生在图像采集设备坐标系与图像坐标系的过程中，而切向畸变是发生在图像采集设备制作过程，由于感光元平面跟透镜不平行。
电子设备在获得上述待测目标的三维点云之后，可以对待测目标的三维点云进行曲面拟合，得到待测目标的三维模型。在一种情况中，电子设备在对待测目标的三维点云进行曲面拟合时，可以是先进行曲线拟合，进而基于所拟合出的各曲线，进行曲面拟合。在进行曲线拟合时，可以是：电子设备可以首先固定竖轴坐标值，即针对三维点云中竖轴坐标值相同的点，进行曲线拟合，如图4所示，拟合出某一竖轴坐标值Z＝n(平面)内的曲线，进而基于所拟合出的曲线，拟合出曲面。本发明实施例中，电子设备可以利用相关的任一曲面拟合算法，对该三维点云进行曲面拟合，构建得到该目标的三维模型。本发明实施例并不对上述曲面拟合算法作限定。
在一种实现方式中，不同视点处对应不同的图像采集设备；
为了保证所得到的图像采集设备的参数的准确性，保证后续的三维建模的准确性，本发明实施例中，电子设备可以对每一视点处的图像采集设备进行标定，得到每一视点处的图像采集设备的参数信息。在上述获得在不同视点处针对待测目标所采集的图像，作为待测图像的步骤之前，所述方法还可以包括：
基于预设标定规则，对每一视点处的图像采集设备进行标定，得到每一视点处的图像采集设备的参数信息。
本发明实施例中，可以通过张正友标定法等标定法，对每一视点处的图像采集设备进行标定，得到每一视点处的图像采集设备的参数信息。后续的，利用所得到的每一视点处的图像采集设备的参数信息，实现将各待测图像中经过特征点匹配过程后，所保留的特征点的坐标位置，从各自所在的图像采集设备坐标系转换至同一预设的三维直角坐标系，生成三维点云。其中，上述预设的三维直角坐标系可以为世界坐标系，也可以为上述图像采集设备坐标系中的任一坐标系，这都是可以的。
在一种情况中，对每一视点处的图像采集设备进行标定的过程，可以是：假设平面标定板(棋盘格)位于世界坐标系竖轴Z＝0的位置，根据图像采集设备线性成像模型可以得出：
Figure BDA0001782345720000221
其中，s为预设的比例因子，A为图像采集设备的内参数，[R t]为旋转矩阵R和平移矩阵的组合，表征世界坐标系和图像采集设备坐标系之间的关系，即图像采集设备的外参数，ri为旋转矩阵R的第i列。
令H＝A[r1 r2 t]，根据平面标定板上标定点的坐标与该标定点成像对应点，可以得到H，hi设H标识的第i列，可以得到
[h1 h2 h3]＝A[r1 r2 t]   (2)
由于r1与r2为旋转矩阵的两列，r1与r2相互正交且模均为1，可以得到内参数的两个约束条件：
Figure BDA0001782345720000231
令
Figure BDA0001782345720000232
其中，B为对称矩阵，满足B＝BT。获得预选定义的六维向量[h1 h2 h3]＝A[r1 r2t]，再令H矩阵的第i列hi＝[hi1 hi2 hi3]T，得到
hT iBhj＝vijb(4)，其中，vij＝[hi1hj1,hi1hj2+hi2hj1,hi2hj2,hi3hj1+hi1hj3,hi3hj2+hi2hj3,hi3hj3]
基于H矩阵得出的两个约束条件(3)，可以标识成两个齐次方程：
Figure BDA0001782345720000233
从所获得的从多个E视点处针对平面标定板，可以得到E如公式(5)的方程：
Vb＝0(6)
其中，V为一个2E*6的矩阵，如果E大于或等于3，可以得到唯一的解b，当得到b后，可以进一步得到图像采集设备的内参数，最后可以对上述内参数进行Levenberg-Marqurdt的非线性优化，从而得到图像采集设备的内参数、外参数。进一步的，可以基于上述计算结果，通过最小二乘法可以计算得到畸变系数。
相应于上述方法实施例，本发明实施例提供了一种目标的质量确定装置，如图5所述，如图所述装置包括：
获得模块510，用于获得在不同视点处针对待测目标所采集的图像，作为待测图像；
构建模块520，用于基于所获得的待测图像，构建得到所述待测目标的三维模型，所述待测目标的三维模型为：由表征待测目标的表面的三维点云构建的模型，所述待测目标的三维点云基于所获得的待测图像确定；
确定模块530，用于基于所述待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系，确定所述待测目标的质量。
应用本发明实施例，获得在不同视点处针对待测目标所采集的图像，作为待测图像；基于所获得的待测图像，构建得到待测目标的三维模型，待测目标的三维模型为：由表征待测目标的表面的三维点云构建的模型，待测目标的三维点云基于所获得的待测图像确定；基于待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系，确定待测目标的质量。可见，本发明实施例中，基于目标的三维模型与目标的质量之间的拟合关系，以及针对待测目标构建的三维模型，得到待测目标的质量，实现基于目标的三维模型，估算得到目标的质量。
在一种实现方式中，所述拟合关系包含：表征目标的三维模型所包含的点的总个数与该目标的质量之间的关系的数学关系式；
其中，所述目标的三维模型所包含的点包括：所述目标的三维模型表面的满足第一预设条件的点，和/或内部的满足第二预设条件的点；
所述确定模块530，具体用于
统计所述待测目标的三维模型所包含的点的总个数，作为待测总个数，其中，所述待测目标的三维模型所包含的点包括：所述待测目标的三维模型表面的满足所述第一预设条件的点，和/或内部的满足所述第二预设条件的点；
将所述待测总个数输入所述数学关系式，得到所述待测目标的质量。
在一种实现方式中，所述第一预设条件为：所述目标的三维模型表面的特征点，所述第二预设条件为：所述目标的三维模型内部的各坐标值为预设长度的整数倍的点，所述目标的三维模型表面的特征点为：拟合得到所述目标的三维模型表面的点。
在一种实现方式中，所述构建模块520包括：
检测提取单元，用于针对每一待测图像，从该待测图像中，检测并提取出包含所述待测目标的区域图像，作为该待测图像对应的待测区域图像；
第一确定单元，用于针对每一待测区域图像，基于预设的特征点提取算法，从该待测图像中提取特征点，并确定每一特征点的特征向量；
第二确定单元，用于针对每一对位置相邻的两视点各自对应的待测区域图像，基于该对待测区域图像中特征点的特征向量，确定该对待测区域图像的匹配特征点对；
转换单元，用于基于各视点对应的图像采集设备的参数信息，将每一匹配特征点对中的特征点的位置坐标，从该特征点所在图像采集设备坐标系转换至预设的空间直角坐标系，得到待测目标的三维点云；
拟合单元，用于对所述待测目标的三维点云进行曲面拟合，得到所述待测目标的三维模型。
在一种实现方式中，所述检测提取单元，具体用于
针对每一待测图像，从该待测图像中，检测并提取出包含预设CAD特征的区域图像，作为该待测图像对应的待测区域图像，其中，所述预设CAD特征为：用于表征待测目标的表面轮廓的特征，包括：直线特征和/或曲线特征。
在一种实现方式中，不同视点处对应不同的图像采集设备；
所述装置还可以包括：
标定模块，用于在所述获得在不同视点处针对待测目标所采集的图像，作为待测图像之前，基于预设标定规则，对每一视点处的图像采集设备进行标定，得到每一视点处的图像采集设备的参数信息。
在一种实现方式中，所述装置还包括：关系确定模块，用于确定所述拟合关系，包括：
获得单元，用于获得多个样本目标各自对应的多个样本图像以及所述多个样本目标各自的样本质量，其中，所述多个样本目标的类型与所述待测目标的类型相同，每一样本目标对应的多个样本图像为：从不同视点处针对该样本目标所采集的图像；
构建单元，用于针对每一样本目标，基于该样本目标对应的多个样本图像，构建得到该样本目标的三维模型，所述样本目标的三维模型为：由表征样本目标的表面的三维点云构建的模型，所述样本目标的三维点云基于所获得的样本图像确定；
统计单元，用于针对每一样本目标，统计得到该样本目标的三维模型所包含的点的总个数，作为样本总个数，其中，所述样本目标的三维模型所包含的点包括：所述样本目标的三维模型表面的满足所述第一预设条件的点，和/或内部的满足所述第二预设条件的点，所述第一预设条件为：所述样本目标的三维模型表面的特征点，所述第二预设条件为：所述样本目标的三维模型内部的各坐标值为预设长度的整数倍的点，所述样本目标的三维模型表面的特征点为：拟合得到所述样本目标的三维模型表面的点；
拟合单元，用于基于每一样本目标对应的样本总个数，以及该样本目标的样本质量，拟合得到拟合关系。
相应于上述方法实施例，本发明实施例提供了一种目标的质量确定***，如图6所示，包括：
图像采集设备610，用于在不同视点处针对待测目标采集图像待测图像；
处理设备620，用于获得所述图像采集设备610在不同视点处针对所述待测目标所采集的图像，作为待测图像；基于所获得的待测图像，构建得到所述待测目标的三维模型，所述待测目标的三维模型为：由表征待测目标的表面的三维点云构建的模型，所述待测目标的三维点云基于所获得的待测图像确定；基于所述待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系，确定所述待测目标的质量。
其中，该处理设备620可以为任一具有数据处理功能的设备。
应用本发明实施例，获得在不同视点处针对待测目标所采集的图像，作为待测图像；基于所获得的待测图像，构建得到待测目标的三维模型，待测目标的三维模型为：由表征待测目标的表面的三维点云构建的模型，待测目标的三维点云基于所获得的待测图像确定；基于待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系，确定待测目标的质量。可见，本发明实施例中，基于目标的三维模型与目标的质量之间的拟合关系，以及针对待测目标构建的三维模型，得到待测目标的质量，实现基于目标的三维模型，估算得到目标的质量。
在一种实现方式中，所述拟合关系包含：表征目标的三维模型所包含的点的总个数与该目标的质量之间的关系的数学关系式；
其中，所述目标的三维模型所包含的点包括：所述目标的三维模型表面的满足第一预设条件的点，和/或内部的满足第二预设条件的点；
所述处理设备620，用于统计所述待测目标的三维模型所包含的点的总个数，作为待测总个数，其中，所述待测目标的三维模型所包含的点包括：所述待测目标的三维模型表面的满足所述第一预设条件的点，和/或内部的满足所述第二预设条件的点；
将所述待测总个数输入所述数学关系式，得到所述待测目标的质量。
在一种实现方式中，所述第一预设条件为：所述目标的三维模型表面的特征点，所述第二预设条件为：所述目标的三维模型内部的各坐标值为预设长度的整数倍的点，所述目标的三维模型表面的特征点为：拟合得到所述目标的三维模型表面的点。
在一种实现方式中，所述处理设备620，用于针对每一待测图像，从该待测图像中，检测并提取出包含所待测目标的区域图像，作为该待测图像对应的待测区域图像；
针对每一待测区域图像，基于预设的特征点提取算法，从该待测区域图像中提取特征点，并确定每一特征点的特征向量；
针对每一对位置相邻的两视点各自对应的待测区域图像，基于该对待测区域图像中特征点的特征向量，确定该对待测区域图像的匹配特征点对；
基于各视点对应的图像采集设备的参数信息，将每一匹配特征点对中的特征点的位置坐标，从该特征点所在图像采集设备坐标系转换至预设的空间直角坐标系，得到待测目标的三维点云；
对所述待测目标的三维点云进行曲面拟合，得到所述待测目标的三维模型。
在一种实现方式中，所述处理设备620，用于针对每一待测图像，从该待测图像中，检测并提取出包含预设CAD特征的区域图像，作为该待测图像对应的待测区域图像，其中，所述预设CAD特征为：用于表征待测目标的表面轮廓的特征，包括：直线特征和/或曲线特征。
在一种实现方式中，不同视点处对应不同的图像采集设备；
所述处理设备620，用于在所述获得在不同视点处针对待测目标所采集的图像，作为待测图像的步骤之前，基于预设标定规则，对每一视点处的图像采集设备进行标定，得到每一视点处的图像采集设备的参数信息。
在一种实现方式中，所述处理设备620，用于通过以下方式确定所述拟合关系：
获得多个样本目标各自对应的多个样本图像以及所述多个样本目标各自的样本质量，其中，所述多个样本目标的类型与所述待测目标的类型相同，每一样本目标对应的多个样本图像为：从不同视点处针对该样本目标所采集的图像；
针对每一样本目标，基于该样本目标对应的多个样本图像，构建得到该样本目标的三维模型，所述样本目标的三维模型为：由表征样本目标的表面的三维点云构建的模型，所述样本目标的三维点云基于所获得的样本图像确定；
针对每一样本目标，统计得到该样本目标的三维模型所包含的点的总个数，作为样本总个数，其中，所述样本目标的三维模型所包含的点包括：所述样本目标的三维模型表面的满足所述第一预设条件的点，和/或内部的满足所述第二预设条件的点，所述第一预设条件为：所述样本目标的三维模型表面的特征点，所述第二预设条件为：所述样本目标的三维模型内部的各坐标值为预设长度的整数倍的点，所述样本目标的三维模型表面的特征点为：拟合得到所述样本目标的三维模型表面的点；
基于每一样本目标对应的样本总个数，以及该样本目标的样本质量，拟合得到拟合关系。
相应于上述方法实施例，本发明实施例还提供了一种电子设备，如图7所示，包括处理器710、通信接口720、存储器730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信，
存储器730，用于存放计算机程序；
处理器710，用于执行存储器730上所存放的计算机程序时，实现如下步骤：
获得在不同视点处针对待测目标所采集的图像，作为待测图像；
基于所获得的待测图像，构建得到所述待测目标的三维模型，所述待测目标的三维模型为：由表征待测目标的表面的三维点云构建的模型，所述待测目标的三维点云基于所获得的待测图像确定；
基于所述待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系，确定所述待测目标的质量。
应用本发明实施例，获得在不同视点处针对待测目标所采集的图像，作为待测图像；基于所获得的待测图像，构建得到待测目标的三维模型，所述待测目标的三维模型为：由表征待测目标的表面的三维点云构建的模型，所述待测目标的三维点云基于所获得的待测图像确定；基于所述待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系，确定所述待测目标的质量。可见，本发明实施例中，基于目标的三维模型与目标的质量之间的拟合关系，以及针对待测目标构建的三维模型，得到待测目标的质量，实现基于目标的三维模型，估算得到目标的质量。
在一种实现方式中，所述拟合关系包含：表征目标的三维模型所包含的点的总个数与该目标的质量之间的关系的数学关系式；
其中，所述目标的三维模型所包含的点包括：所述目标的三维模型表面的满足第一预设条件的点，和/或内部的满足第二预设条件的点；
所述基于所述待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系的步骤，包括：
统计所述待测目标的三维模型所包含的点的总个数，作为待测总个数，其中，所述待测目标的三维模型所包含的点包括：所述待测目标的三维模型表面的满足所述第一预设条件的点，和/或内部的满足所述第二预设条件的点；
将所述待测总个数输入所述数学关系式，得到所述待测目标的质量。
在一种实现方式中，所述第一预设条件为：所述目标的三维模型表面的特征点，所述第二预设条件为：所述目标的三维模型内部的各坐标值为预设长度的整数倍的点，所述目标的三维模型表面的特征点为：拟合得到所述目标的三维模型表面的点。
在一种实现方式中，所述基于所获得的待测图像，构建得到所述待测目标的三维模型的步骤，包括：
针对每一待测图像，从该待测图像中，检测并提取出包含所述待测目标的区域图像，作为该待测图像对应的待测区域图像；
针对每一待测区域图像，基于预设的特征点提取算法，从该待测区域图像中提取特征点，并确定每一特征点的特征向量；
针对每一对位置相邻的两视点各自对应的待测区域图像，基于该对待测区域图像中特征点的特征向量，确定该对待测区域图像的匹配特征点对；
基于各视点对应的图像采集设备的参数信息，将每一匹配特征点对中的特征点的位置坐标，从该特征点所在图像采集设备坐标系转换至预设的空间直角坐标系，得到待测目标的三维点云；
对所述待测目标的三维点云进行曲面拟合，得到所述待测目标的三维模型。
在一种实现方式中，所述从该待测图像中，检测并提取出包含所述待测目标的区域图像，作为该待测图像对应的待测区域图像的步骤，包括：
针对每一待测图像，从该待测图像中，检测并提取出包含预设CAD特征的区域图像，作为该待测图像对应的待测区域图像，其中，所述预设CAD特征为：用于表征待测目标的表面轮廓的特征，包括：直线特征和/或曲线特征。
在一种实现方式中，不同视点处对应不同的图像采集设备；
所述处理器710还用于实现如下步骤：在所述获得在不同视点处针对待测目标所采集的图像，作为待测图像的步骤之前，基于预设标定规则，对每一视点处的图像采集设备进行标定，得到每一视点处的图像采集设备的参数信息。
在一种实现方式中，所述处理器710还用于实现如下步骤：通过以下方式确定所述拟合关系：
获得多个样本目标各自对应的多个样本图像以及所述多个样本目标各自的样本质量，其中，所述多个样本目标的类型与所述待测目标的类型相同，每一样本目标对应的多个样本图像为：从不同视点处针对该样本目标所采集的图像；
针对每一样本目标，基于该样本目标对应的多个样本图像，构建得到该样本目标的三维模型，所述样本目标的三维模型为：由表征样本目标的表面的三维点云构建的模型，所述样本目标的三维点云基于所获得的样本图像确定；
针对每一样本目标，统计得到该样本目标的三维模型所包含的点的总个数，作为样本总个数，其中，所述样本目标的三维模型所包含的点包括：所述样本目标的三维模型表面的满足所述第一预设条件的点，和/或内部的满足所述第二预设条件的点，所述第一预设条件为：所述样本目标的三维模型表面的特征点，所述第二预设条件为：所述样本目标的三维模型内部的各坐标值为预设长度的整数倍的点，所述样本目标的三维模型表面的特征点为：拟合得到所述样本目标的三维模型表面的点；
基于每一样本目标对应的样本总个数，以及该样本目标的样本质量，拟合得到拟合关系。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
相应于上述方法实施例，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获得在不同视点处针对待测目标所采集的图像，作为待测图像；
基于所获得的待测图像，构建得到所述待测目标的三维模型，所述待测目标的三维模型为：由表征待测目标的表面的三维点云构建的模型，所述待测目标的三维点云基于所获得的待测图像确定；
基于所述待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系，确定所述待测目标的质量。
应用本发明实施例，获得在不同视点处针对待测目标所采集的图像，作为待测图像；基于所获得的待测图像，构建得到待测目标的三维模型，所述待测目标的三维模型为：由表征待测目标的表面的三维点云构建的模型，所述待测目标的三维点云基于所获得的待测图像确定；基于所述待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系，确定所述待测目标的质量。可见，本发明实施例中，基于目标的三维模型与目标的质量之间的拟合关系，以及针对待测目标构建的三维模型，得到待测目标的质量，实现基于目标的三维模型，估算得到目标的质量。
在一种实现方式中，所述拟合关系包含：表征目标的三维模型所包含的点的总个数与该目标的质量之间的关系的数学关系式；
其中，所述目标的三维模型所包含的点包括：所述目标的三维模型表面的满足第一预设条件的点，和/或内部的满足第二预设条件的点；
所述基于所述待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系的步骤，包括：
统计所述待测目标的三维模型所包含的点的总个数，作为待测总个数，其中，所述待测目标的三维模型所包含的点包括：所述待测目标的三维模型表面的满足所述第一预设条件的点，和/或内部的满足所述第二预设条件的点；
将所述待测总个数输入所述数学关系式，得到所述待测目标的质量。
在一种实现方式中，所述第一预设条件为：所述目标的三维模型表面的特征点，所述第二预设条件为：所述目标的三维模型内部的各坐标值为预设长度的整数倍的点，所述目标的三维模型表面的特征点为：拟合得到所述目标的三维模型表面的点。
在一种实现方式中，所述基于所获得的待测图像，构建得到所述待测目标的三维模型的步骤，包括：
针对每一待测图像，从该待测图像中，检测并提取出包含所述待测目标的区域图像，作为该待测图像对应的待测区域图像；
针对每一待测区域图像，基于预设的特征点提取算法，从该待测区域图像中提取特征点，并确定每一特征点的特征向量；
针对每一对位置相邻的两视点各自对应的待测区域图像，基于该对待测区域图像中特征点的特征向量，确定该对待测区域图像的匹配特征点对；
基于各视点对应的图像采集设备的参数信息，将每一匹配特征点对中的特征点的位置坐标，从该特征点所在图像采集设备坐标系转换至预设的空间直角坐标系，得到待测目标的三维点云；
对所述待测目标的三维点云进行曲面拟合，得到所述待测目标的三维模型。
在一种实现方式中，所述从该待测图像中，检测并提取出包含所述待测目标的区域图像，作为该待测图像对应的待测区域图像的步骤，包括：
针对每一待测图像，从该待测图像中，检测并提取出包含预设CAD特征的区域图像，作为该待测图像对应的待测区域图像，其中，所述预设CAD特征为：用于表征待测目标的表面轮廓的特征，包括：直线特征和/或曲线特征。
在一种实现方式中，不同视点处对应不同的图像采集设备；
所述计算机程序被处理器执行时还用于实现如下步骤：在所述获得在不同视点处针对待测目标所采集的图像，作为待测图像的步骤之前，基于预设标定规则，对每一视点处的图像采集设备进行标定，得到每一视点处的图像采集设备的参数信息。
在一种实现方式中，所述计算机程序被处理器执行时还用于实现如下步骤：通过以下方式确定所述拟合关系：
获得多个样本目标各自对应的多个样本图像以及所述多个样本目标各自的样本质量，其中，所述多个样本目标的类型与所述待测目标的类型相同，每一样本目标对应的多个样本图像为：从不同视点处针对该样本目标所采集的图像；
针对每一样本目标，基于该样本目标对应的多个样本图像，构建得到该样本目标的三维模型，所述样本目标的三维模型为：由表征样本目标的表面的三维点云构建的模型，所述样本目标的三维点云基于所获得的样本图像确定；
针对每一样本目标，统计得到该样本目标的三维模型所包含的点的总个数，作为样本总个数，其中，所述样本目标的三维模型所包含的点包括：所述样本目标的三维模型表面的满足所述第一预设条件的点，和/或内部的满足所述第二预设条件的点，所述第一预设条件为：所述样本目标的三维模型表面的特征点，所述第二预设条件为：所述样本目标的三维模型内部的各坐标值为预设长度的整数倍的点，所述样本目标的三维模型表面的特征点为：拟合得到所述样本目标的三维模型表面的点；
基于每一样本目标对应的样本总个数，以及该样本目标的样本质量，拟合得到拟合关系。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (17)

1.一种目标的质量确定方法，其特征在于，所述方法包括：
获得在不同视点处针对待测目标所采集的图像，作为待测图像；
基于所获得的待测图像，构建得到所述待测目标的三维模型，所述待测目标的三维模型为：由表征待测目标的表面的三维点云构建的模型，所述待测目标的三维点云基于所获得的待测图像确定；
基于所述待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系，确定所述待测目标的质量；
其中，所述拟合关系包含：表征目标的三维模型所包含的点的总个数与该目标的质量之间的关系的数学关系式；
其中，所述目标的三维模型所包含的点包括：所述目标的三维模型表面的满足第一预设条件的点，和/或内部的满足第二预设条件的点。
2.根据权利要求1所述的方法，其特征在于，所述基于所述待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系，确定所述待测目标的质量的步骤，包括：
统计所述待测目标的三维模型所包含的点的总个数，作为待测总个数，其中，所述待测目标的三维模型所包含的点包括：所述待测目标的三维模型表面的满足所述第一预设条件的点，和/或内部的满足所述第二预设条件的点；
将所述待测总个数输入所述数学关系式，得到所述待测目标的质量。
3.根据权利要求2所述的方法，其特征在于，所述第一预设条件为：所述目标的三维模型表面的特征点，所述第二预设条件为：所述目标的三维模型内部的各坐标值为预设长度的整数倍的点，所述目标的三维模型表面的特征点为：拟合得到所述目标的三维模型表面的点。
4.根据权利要求1所述方法，其特征在于，所述基于所获得的待测图像，构建得到所述待测目标的三维模型的步骤，包括：
针对每一待测图像，从该待测图像中，检测并提取出包含所述待测目标的区域图像，作为该待测图像对应的待测区域图像；
针对每一待测区域图像，基于预设的特征点提取算法，从该待测区域图像中提取特征点，并确定每一特征点的特征向量；
针对每一对位置相邻的两视点各自对应的待测区域图像，基于该对待测区域图像中特征点的特征向量，确定该对待测区域图像的匹配特征点对；
基于各视点对应的图像采集设备的参数信息，将每一匹配特征点对中的特征点的位置坐标，从该特征点所在图像采集设备坐标系转换至预设的空间直角坐标系，得到待测目标的三维点云；
对所述待测目标的三维点云进行曲面拟合，得到所述待测目标的三维模型。
5.根据权利要求4所述的方法，其特征在于，所述从该待测图像中，检测并提取出包含所述待测目标的区域图像，作为该待测图像对应的待测区域图像的步骤，包括：
针对每一待测图像，从该待测图像中，检测并提取出包含预设CAD特征的区域图像，作为该待测图像对应的待测区域图像，其中，所述预设CAD特征：为用于表征待测目标的表面轮廓的特征，包括：直线特征和/或曲线特征。
6.根据权利要求1所述的方法，其特征在于，不同视点处对应不同的图像采集设备；
在所述获得在不同视点处针对待测目标所采集的图像，作为待测图像的步骤之前，所述方法还包括：
基于预设标定规则，对每一视点处的图像采集设备进行标定，得到每一视点处的图像采集设备的参数信息。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述拟合关系通过以下方式确定：
获得多个样本目标各自对应的多个样本图像以及所述多个样本目标各自的样本质量，其中，所述多个样本目标的类型与所述待测目标的类型相同，每一样本目标对应的多个样本图像为：从不同视点处针对该样本目标所采集的图像；
针对每一样本目标，基于该样本目标对应的多个样本图像，构建得到该样本目标的三维模型，所述样本目标的三维模型为：由表征样本目标的表面的三维点云构建的模型，所述样本目标的三维点云基于所获得的样本图像确定；
针对每一样本目标，统计得到该样本目标的三维模型所包含的点的总个数，作为样本总个数，其中，所述样本目标的三维模型所包含的点包括：所述样本目标的三维模型表面的满足所述第一预设条件的点，和/或内部的满足所述第二预设条件的点，所述第一预设条件为：所述样本目标的三维模型表面的特征点，所述第二预设条件为：所述样本目标的三维模型内部的各坐标值为预设长度的整数倍的点，所述样本目标的三维模型表面的特征点为：拟合得到所述样本目标的三维模型表面的点；
基于每一样本目标对应的样本总个数，以及该样本目标的样本质量，拟合得到拟合关系。
8.一种目标的质量确定装置，其特征在于，所述装置包括：
获得模块，用于获得在不同视点处针对待测目标所采集的图像，作为待测图像；
构建模块，用于基于所获得的待测图像，构建得到所述待测目标的三维模型，所述待测目标的三维模型为：由表征待测目标的表面的三维点云构建的模型，所述待测目标的三维点云基于所获得的待测图像确定；
确定模块，用于基于所述待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系，确定所述待测目标的质量；
所述拟合关系包含：表征目标的三维模型所包含的点的总个数与该目标的质量之间的关系的数学关系式；
其中，所述目标的三维模型所包含的点包括：所述目标的三维模型表面的满足第一预设条件的点，和/或内部的满足第二预设条件的点。
9.根据权利要求8所述的装置，其特征在于，所述确定模块，具体用于
统计所述待测目标的三维模型所包含的点的总个数，作为待测总个数，其中，所述待测目标的三维模型所包含的点包括：所述待测目标的三维模型表面的满足所述第一预设条件的点，和/或内部的满足所述第二预设条件的点；
将所述待测总个数输入所述数学关系式，得到所述待测目标的质量。
10.根据权利要求9所述的装置，其特征在于，所述第一预设条件为：所述目标的三维模型表面的特征点，所述第二预设条件为：所述目标的三维模型内部的各坐标值为预设长度的整数倍的点，所述目标的三维模型表面的特征点为：拟合得到所述目标的三维模型表面的点。
11.根据权利要求8所述装置，其特征在于，所述构建模块包括：
检测提取单元，用于针对每一待测图像，从该待测图像中，检测并提取出包含所述待测目标的区域图像，作为该待测图像对应的待测区域图像；
第一确定单元，用于针对每一待测区域图像，基于预设的特征点提取算法，从该待测图像中提取特征点，并确定每一特征点的特征向量；
第二确定单元，用于针对每一对位置相邻的两视点各自对应的待测区域图像，基于该对待测区域图像中特征点的特征向量，确定该对待测区域图像的匹配特征点对；
转换单元，用于基于各视点对应的图像采集设备的参数信息，将每一匹配特征点对中的特征点的位置坐标，从该特征点所在图像采集设备坐标系转换至预设的空间直角坐标系，得到待测目标的三维点云；
拟合单元，用于对所述待测目标的三维点云进行曲面拟合，得到所述待测目标的三维模型。
12.根据权利要求11所述的装置，其特征在于，所述检测提取单元，具体用于
针对每一待测图像，从该待测图像中，检测并提取出包含预设CAD特征的区域图像，作为该待测图像对应的待测区域图像，其中，所述预设CAD特征为：用于表征待测目标的表面轮廓的特征，包括：直线特征和/或曲线特征。
13.根据权利要求8所述的装置，其特征在于，不同视点处对应不同的图像采集设备；
所述装置还包括：
标定模块，用于在所述获得在不同视点处针对待测目标所采集的图像，作为待测图像之前，基于预设标定规则，对每一视点处的图像采集设备进行标定，得到每一视点处的图像采集设备的参数信息。
14.根据权利要求8至13任一项所述的装置，其特征在于，所述装置还包括：关系确定模块，用于确定所述拟合关系，包括：
获得单元，用于获得多个样本目标各自对应的多个样本图像以及所述多个样本目标各自的样本质量，其中，所述多个样本目标的类型与所述待测目标的类型相同，每一样本目标对应的多个样本图像为：从不同视点处针对该样本目标所采集的图像；
构建单元，用于针对每一样本目标，基于该样本目标对应的多个样本图像，构建得到该样本目标的三维模型，所述样本目标的三维模型为：由表征样本目标的表面的三维点云构建的模型，所述样本目标的三维点云基于所获得的样本图像确定；
统计单元，用于针对每一样本目标，统计得到该样本目标的三维模型所包含的点的总个数，作为样本总个数，其中，所述样本目标的三维模型所包含的点包括：所述样本目标的三维模型表面的满足所述第一预设条件的点，和/或内部的满足所述第二预设条件的点，所述第一预设条件为：所述样本目标的三维模型表面的特征点，所述第二预设条件为：所述样本目标的三维模型内部的各坐标值为预设长度的整数倍的点，所述样本目标的三维模型表面的特征点为：拟合得到所述样本目标的三维模型表面的点；
拟合单元，用于基于每一样本目标对应的样本总个数，以及该样本目标的样本质量，拟合得到拟合关系。
15.一种目标的质量确定***，其特征在于，包括：
图像采集设备，用于在不同视点处针对待测目标采集图像待测图像；
处理设备，用于获得所述图像采集设备在不同视点处针对所述待测目标所采集的图像，作为待测图像；基于所获得的待测图像，构建得到所述待测目标的三维模型，所述待测目标的三维模型为：由表征待测目标的表面的三维点云构建的模型，所述待测目标的三维点云基于所获得的待测图像确定；基于所述待测目标的三维模型以及目标的三维模型与目标的质量之间的拟合关系，确定所述待测目标的质量；
其中，所述拟合关系包含：表征目标的三维模型所包含的点的总个数与该目标的质量之间的关系的数学关系式；
其中，所述目标的三维模型所包含的点包括：所述目标的三维模型表面的满足第一预设条件的点，和/或内部的满足第二预设条件的点。
16.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的计算机程序时，实现权利要求1至7任一所述的目标的质量确定方法步骤。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任一所述的目标的质量确定方法步骤。
CN201810998166.5A 2018-08-29 2018-08-29 一种目标的质量确定方法、装置、***及电子设备 Active CN110930344B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810998166.5A CN110930344B (zh) 2018-08-29 2018-08-29 一种目标的质量确定方法、装置、***及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810998166.5A CN110930344B (zh) 2018-08-29 2018-08-29 一种目标的质量确定方法、装置、***及电子设备

Publications (2)

Publication Number Publication Date
CN110930344A CN110930344A (zh) 2020-03-27
CN110930344B true CN110930344B (zh) 2023-05-05

Family

ID=69854896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810998166.5A Active CN110930344B (zh) 2018-08-29 2018-08-29 一种目标的质量确定方法、装置、***及电子设备

Country Status (1)

Country Link
CN (1) CN110930344B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884057B (zh) * 2021-03-04 2022-03-18 晶仁光电科技(苏州)有限公司 基于点云数据的三维曲面质量分类方法、***及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101478694A (zh) * 2008-12-04 2009-07-08 上海大学 基于光线空间的自由视点图像质量评价方法
GB201214042D0 (en) * 2012-08-07 2012-09-19 Toshiba Res Europ Ltd Methods and systems for generating a 3D representation of a subject
CN104408772A (zh) * 2014-11-14 2015-03-11 江南大学 一种基于网格投影的自由曲面三维重建方法
WO2016187752A1 (zh) * 2015-05-22 2016-12-01 华为技术有限公司 一种测量天线姿态的方法和装置
CN107335788A (zh) * 2017-05-22 2017-11-10 宁夏共享模具有限公司 一种电炉出铁过程中出铁量的称量方法
CN108090960A (zh) * 2017-12-25 2018-05-29 北京航空航天大学 一种基于几何约束的目标重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101478694A (zh) * 2008-12-04 2009-07-08 上海大学 基于光线空间的自由视点图像质量评价方法
GB201214042D0 (en) * 2012-08-07 2012-09-19 Toshiba Res Europ Ltd Methods and systems for generating a 3D representation of a subject
CN104408772A (zh) * 2014-11-14 2015-03-11 江南大学 一种基于网格投影的自由曲面三维重建方法
WO2016187752A1 (zh) * 2015-05-22 2016-12-01 华为技术有限公司 一种测量天线姿态的方法和装置
CN107335788A (zh) * 2017-05-22 2017-11-10 宁夏共享模具有限公司 一种电炉出铁过程中出铁量的称量方法
CN108090960A (zh) * 2017-12-25 2018-05-29 北京航空航天大学 一种基于几何约束的目标重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
On-barn pig weight estimation based on body measurements by a Kinect v1 depth camera;Andrea Pezzuoloa等;《Computers and Electronics in Agriculture》;20180531;1,6,8,13,15-17 *

Also Published As

Publication number Publication date
CN110930344A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN111627072B (zh) 一种对多传感器进行标定的方法、装置和存储介质
CN112367474B (zh) 一种自适应光场成像方法、装置及设备
CN105989603A (zh) 机器视觉图像传感器校准
CN112270719B (zh) 相机标定方法、装置及***
US20190082173A1 (en) Apparatus and method for generating a camera model for an imaging system
CN105335952B (zh) 匹配代价计算方法和装置、以及视差值计算方法和设备
CN109214254B (zh) 一种确定机器人位移的方法及装置
CN107272899B (zh) 一种基于动态手势的vr交互方法、装置及电子设备
CN108596032B (zh) 一种视频中打架行为检测方法、装置、设备及介质
CN111144349A (zh) 一种室内视觉重定位方法及***
JP2012103758A (ja) 局所特徴量算出装置及び方法、並びに対応点探索装置及び方法
CN109598674B (zh) 一种图像拼接方法及装置
CN107067441B (zh) 摄像机标定方法及装置
CN110930344B (zh) 一种目标的质量确定方法、装置、***及电子设备
CN104966283A (zh) 图像分层配准方法
CN112800806B (zh) 物***姿检测追踪方法、装置、电子设备及存储介质
US11004205B2 (en) Hardware accelerator for histogram of oriented gradients computation
CN109496326B (zh) 一种图像处理方法、设备及***
US9378555B2 (en) Enhanced outlier removal for 8 point algorithm used in camera motion estimation
CN116430069A (zh) 机器视觉流体流速测量方法、装置、计算机设备及存储介质
CN112927276B (zh) 图像配准方法、装置、电子设备及存储介质
CN115861443A (zh) 一种多相机内参标定方法、装置、电子设备及存储介质
CN108734175A (zh) 一种图像特征的提取方法、装置及电子设备
CN109919998B (zh) 卫星姿态确定方法、装置和终端设备
JP6262949B2 (ja) キャリブレーション装置およびキャリブレーションプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant