CN116665139B - 堆状物料体积识别方法、装置、电子设备及存储介质 - Google Patents

堆状物料体积识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116665139B
CN116665139B CN202310961014.9A CN202310961014A CN116665139B CN 116665139 B CN116665139 B CN 116665139B CN 202310961014 A CN202310961014 A CN 202310961014A CN 116665139 B CN116665139 B CN 116665139B
Authority
CN
China
Prior art keywords
structured light
target
piled
light images
volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310961014.9A
Other languages
English (en)
Other versions
CN116665139A (zh
Inventor
赵忠杨
李鑫玉
魏树臣
邓波
常红宾
侯绪彬
刘壮壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Eighth Bureau First Digital Technology Co ltd
Original Assignee
China Construction Eighth Bureau First Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Eighth Bureau First Digital Technology Co ltd filed Critical China Construction Eighth Bureau First Digital Technology Co ltd
Priority to CN202310961014.9A priority Critical patent/CN116665139B/zh
Publication of CN116665139A publication Critical patent/CN116665139A/zh
Application granted granted Critical
Publication of CN116665139B publication Critical patent/CN116665139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例涉及一种堆状物料体积识别方法、装置、电子设备及存储介质，包括：获取多组双目结构光传感器分别采集的目标堆状物料对应的第一结构光图像，得到多个第一结构光图像；基于所述多组双目结构光传感器的安装方案预先确定的计算参数对所述多个第一结构光图像进行拼接处理，得到拼接后的第二结构光图像；提取所述第二结构光图像的图像特征并基于所述图像特征建立所述目标堆状物料的三维模型；基于所述三维模型计算所述目标堆状物料的体积。由此，基于多组双目结构光传感器对堆状物料进行体积识别，能够快速、准确、适应识别任意大小料仓的堆状物料的体积，减少人力成本。

Description

堆状物料体积识别方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及物料体积测量技术领域，尤其涉及一种堆状物料体积识别方法、装置、电子设备及存储介质。
背景技术
目前针对料仓中堆状物料的体积识别往往采用人工测算的方式。物料仓库存放的面积大、料堆表面不平，采用人为划定高度线，人为丈量，凭借经验粗略估算。这种方式存在工作量大、耗费人力、测量误差大、测量时间长的问题，不利于料仓物料管理统计工作。
发明内容
鉴于此，为解决上述技术问题或部分技术问题，本发明实施例提供一种堆状物料体积识别方法、装置、电子设备及存储介质。
第一方面，本发明实施例提供一种堆状物料体积识别方法，包括：
获取多组双目结构光传感器分别采集的目标堆状物料对应的第一结构光图像，得到多个第一结构光图像；
基于所述多组双目结构光传感器的安装方案预先确定的计算参数对所述多个第一结构光图像进行拼接处理，得到拼接后的第二结构光图像；
提取所述第二结构光图像的图像特征并基于所述图像特征建立所述目标堆状物料的三维模型；
基于所述三维模型计算所述目标堆状物料的体积。
在一个可能的实施方式中，所述方法还包括：
向每个双目结构光传感器下发图片采集指令，以使每个双目结构光传感器响应所述图片采集指令通过发射IR光线扫描对应的覆盖区域并拍摄所述覆盖区域的照片，得到所述目标堆状物料对应的多个第一结构光图像。
在一个可能的实施方式中，所述方法还包括：
对所述多个第一结构光图像进行点云数据配准，确定每相邻的两个第一结构光图像之间的重叠度；
基于所述重叠度确定每相邻的两个第一光结构图像的待裁剪区域；
通过预设的图像处理程序将每相邻的两个第一光结构图像的待裁剪区域裁剪掉，并将裁剪后的多个第一结构光图像进行拼接处理，得到拼接后的第二结构光图像。
在一个可能的实施方式中，所述方法还包括：
通过角点检测算法检测每相邻的两个第一结构光图像的有效匹配点以及两个第一结构光图像的总角点数；
将所述有效匹配点与所述总角点数的商值作为每相邻的两个第一结构光图像之间的重叠度。
在一个可能的实施方式中，所述方法还包括：
提取所述第二结构光图像中每个像素点的深度信息；
基于所述深度信息，确定每个像素点对应的摄像头镜头到所述目标堆状物料的表面的第一距离信息；
基于所述第一距离信息建立所述目标堆状物料的三维模型。
在一个可能的实施方式中，所述方法还包括：
将所述三维模型分割成多个立方体并计算每个立方体的体积；
将计算得到的每个立方体的体积之和作为所述目标堆状物料的体积。
在一个可能的实施方式中，所述方法还包括：
将每组双目结构光传感器的摄像头镜头正下方的像素点作为中心点；
获取所述中心点到存放所述目标堆状物料的料仓底部的高度信息、所述中心点到其他每个像素点的第二距离信息以及所述中心点到其他每个像素点对应的夹角信息；
基于所述高度信息、第二距离信息和夹角信息确定其他每个像素点到存放所述目标堆状物料的料仓底部的深度信息。
第二方面，本发明实施例提供一种堆状物料体积识别装置，包括：
获取模块，用于获取多组双目结构光传感器分别采集的目标堆状物料对应的第一结构光图像，得到多个第一结构光图像；
处理模块，用于基于所述多组双目结构光传感器的安装方案预先确定的计算参数对所述多个第一结构光图像进行拼接处理，得到拼接后的第二结构光图像；
建立模块，用于提取所述第二结构光图像的图像特征并基于所述图像特征建立所述目标堆状物料的三维模型；
识别模块，用于基于所述三维模型计算所述目标堆状物料的体积。
第三方面，本发明实施例提供一种电子设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的堆状物料体积识别程序，以实现上述第一方面中所述的堆状物料体积识别方法。
第四方面，本发明实施例提供一种存储介质，包括：所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面中所述的堆状物料体积识别方法。
本发明实施例提供的堆状物料体积识别方案，通过获取多组双目结构光传感器分别采集的目标堆状物料对应的第一结构光图像，得到多个第一结构光图像；基于所述多组双目结构光传感器的安装方案预先确定的计算参数对所述多个第一结构光图像进行拼接处理，得到拼接后的第二结构光图像；提取所述第二结构光图像的图像特征并基于所述图像特征建立所述目标堆状物料的三维模型；基于所述三维模型计算所述目标堆状物料的体积。相比于现有的人工测算物料体积出现的工作量大、耗费人力、测量误差大、测量时间长的问题，由本方案，基于多组双目结构光传感器对堆状物料进行体积识别，能够快速、准确、适应识别任意大小料仓的堆状物料的体积，减少人力成本。
附图说明
图1为本发明实施例提供的一种堆状物料体积识别方法的流程示意图；
图2为本发明实施例提供的另一种堆状物料体积识别方法的流程示意图；
图3为本发明实施例提供的一种单传感器吊装示意图；
图4为本发明实施例提供的一种多传感器吊装示意图；
图5为本发明实施例提供的一种图片拼接示意图；
图6为本发明实施例提供的一种结构光深度图；
图7为本发明实施例提供的一种三维空间模型图；
图8为本发明实施例提供的一种堆状物料体积识别装置的结构示意图；
图9为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。
本发明实施例提供的一种堆状物料体积识别方法的***架构主要包括：双目结构光传感器、扰流风扇、USB扩展坞、光纤USB转换传入器、网络交换机、设备安装箱、平板支架、边缘计算终端及其配套算法与软件。
图1为本发明实施例提供的一种堆状物料体积识别方法的流程示意图，如图1所示，该方法具体包括：
S11、获取多组双目结构光传感器分别采集的目标堆状物料对应的第一结构光图像，得到多个第一结构光图像。
本发明实施例中，双目结构光摄像头的主要硬件有投射仪、相机，通过投射仪主动发射肉眼不可见的IR红外光到被测量物体的表面，然后通过两个相机拍摄被测物体来获取结构光图像，将数据发送到计算单元，通过三角测量原理等数学方法计算获取位置和深度信息。双目结构光具有技术成熟、功耗小、成本低的优点。因此，首先，制定双目结构光传感器IR红外光投影方案：对存放目标堆状物的料仓现场进行踏勘，根据料仓形状、宽度、长度、料仓距离仓顶的距离绘制投影技术方案草图，在草图中标注每组双目结构光传感器的安装位置与投影面积，确定安装位置时，尽量用最少的设备完成整个料仓的投影覆盖。同时，标注说明每个双目结构光传感器的投影范围和角度、安装距离。
进一步的，获取多组双目结构光传感器分别采集的目标堆状物料对应的第一结构光图像：首先边缘计算终端通过USB接口向多组双目结构光传感器发送开始采集结构光信号，控制多组双目结构光传感器向目标堆状物料表面发射IR红外光，驱动相机采集多个结构光图像，相机将采集到的多个结构光图像回传到边缘计算终端。
S12、基于所述多组双目结构光传感器的安装方案预先确定的计算参数对所述多个第一结构光图像进行拼接处理，得到拼接后的第二结构光图像。
对多个第一结构光图像进行拼接处理：边缘计算终端根据多组双目结构光传感器的安装方案预先设置计算参数，通过预先设置的计算参数对多个结构光图像依次进行拼接处理，得到拼接后的第二结构光图像。
S13、提取所述第二结构光图像的图像特征并基于所述图像特征建立所述目标堆状物料的三维模型。
通过图像处理算法对拼接完成的第二结构光图像进行数据配准以及图像特征信息提取。进一步的，基于图像特征建立目标堆状物料的三维模型，通过分析获取拼接后的第二结构光图像上的每个像素点的深度信息，可以得到每个像素点对应的双目结构光传感器的摄像头镜头到物料表面的距离，从而在三维空间下模拟出目标堆状物料的三维模型。
S14、基于所述三维模型计算所述目标堆状物料的体积。
利用数学积分策略，边缘计算终端通过数学算法计算分析获得料仓中的目标堆状物料的体积。
本发明实施例提供的堆状物料体积识别方法，通过获取多组双目结构光传感器分别采集的目标堆状物料对应的第一结构光图像，得到多个第一结构光图像；基于所述多组双目结构光传感器的安装方案预先确定的计算参数对所述多个第一结构光图像进行拼接处理，得到拼接后的第二结构光图像；提取所述第二结构光图像的图像特征并基于所述图像特征建立所述目标堆状物料的三维模型；基于所述三维模型计算所述目标堆状物料的体积。相比于现有的人工测算物料体积出现的工作量大、耗费人力、测量误差大、测量时间长的问题，由本方法，基于多组双目结构光传感器对堆状物料进行体积识别，能够快速、准确、适应识别任意大小料仓的堆状物料的体积，减少人力成本。
图2为本发明实施例提供的另一种堆状物料体积识别方法的流程示意图，如图2所示，该方法具体包括：
S21、向每个双目结构光传感器下发图片采集指令，以使每个双目结构光传感器响应所述图片采集指令通过发射IR光线扫描对应的覆盖区域并拍摄所述覆盖区域的照片，得到所述目标堆状物料对应的多个第一结构光图像。
本发明实施例中，首先，制定双目结构光传感器IR红外光投影方案：对存放目标堆状物的料仓现场进行踏勘，根据料仓形状、宽度、长度、料仓距离仓顶的距离绘制投影技术方案草图，在草图中标注每组双目结构光传感器的安装位置与投影面积，所得现场技术方案草图如图3、图4所示，确定双目结构光传感器的安装位置时，尽量用最少的设备完成整个料仓的投影覆盖。同时，标注说明每个双目结构光传感器的投影范围和角度、安装距离。
具体的，每个双目结构光传感器的视场角大约为87°× 55°，现场料仓顶棚高度为12米，料仓料坑围墙高度为2.4米，假设沙子最高2米计算，可以将双目结构光传感器安装在料仓顶棚上面，垂直向下拍摄。双目结构光传感器在顶棚上距离料坑底部的距离大概为12米，其87°的横向视场角，恰好可以对应料坑的20米宽度，其55°的纵向测量范围，可以覆盖料坑总长度中的10米，由于料坑总长度为50米，因此单个料坑需要用到5-6个双目结构光传感器、1个边缘计算终端、5-6个光纤USB转换器、5-6个平板支架，1个设备安装箱、一个交换机（8口），12个扰流风扇。其中，扰流风扇需要安装在双目结构光传感器的两侧，目的是为了减少料仓扬尘吸附到传感器镜头上，从而延长维护保养周期，减少成本。
进一步的，获取多组双目结构光传感器分别采集的目标堆状物料对应的第一结构光图像：首先边缘计算终端通过USB接口向多组双目结构光传感器发送开始采集结构光信号，控制多组双目结构光传感器向目标堆状物料表面发射IR红外光，扫描对应的覆盖区域并驱动相机拍摄覆盖区域的照片，得到目标堆状物料对应的多个结构光图像，相机将采集到的多个结构光图像回传到边缘计算终端。
S22、对所述多个第一结构光图像进行点云数据配准，确定每相邻的两个第一结构光图像之间的重叠度。
S23、基于所述重叠度确定每相邻的两个第一光结构图像的待裁剪区域。
S24、通过预设的图像处理程序将每相邻的两个第一光结构图像的待裁剪区域裁剪掉，并将裁剪后的多个第一结构光图像进行拼接处理，得到拼接后的第二结构光图像。
以下对S22~S24进行统一说明：
通过角点检测算法检测每相邻的两个第一结构光图像的有效匹配点以及两个第一结构光图像的总角点数；然后将有效匹配点与总角点数的商值作为每相邻的两个第一结构光图像之间的重叠度。
具体的，通过安装方案预先确定的计算参数对传感器的结构光点云数据进行配准，本发明实施例使用了6组双目结构光传感器，理论上每个传感器覆盖区域的重叠度为16.7%，但是由于安装时角度无法准确保证100%垂直向下，因此可以使用角点检测算法构建角点响应函数与非极大值抑制算法，随后计算最大、最小响应值。将输入的两幅图像合并成一张图像，然后对这张图像进行角点检测。角点检测的目的是在图像中找出明显的拐角或交叉点，将其提取出来。涉及到的计算公式如下：
最大响应值：
（1）
其中，表示角点检测算法输出的角点坐标，/>表示初始坐标(或极值)为零的角点，/>表示向量运算，取正值则得到最大响应值。
最小响应值：
（2）
其中，表示角点检测算法输出的角点坐标，/>表示初始坐标(或极值)为零的角点，/>表示向量运算，取正值则得到最小响应值。
在非极大值抑制算法中，需要计算每个角点对应的非极大值抑制阈值，则角点响应函数可以表示为：
（3）
其中，表示抑制算法输出的响应函数，/>表示角点检测算法输出的角点坐标。
对于每个角点，在两幅图像中寻找最近的匹配点，在提取出来的角点中，有些角点在输入的两幅图像中是匹配的，即它们的坐标在输入图像中是相邻的，这种情况下，可以将这些角点视为有效匹配点。对于每个有效匹配点，需要计算它在两幅图像中的坐标差异，然后根据一些阈值来判断是否为有效匹配点。例如，可以使用最近邻匹配算法来寻找有效匹配点。假设将输入的两幅图像合并成一张图像，然后对所有角点进行匹配。对于每个角点，将它在两个输入图像中的坐标分别存储起来，然后计算它们之间的欧几里得距离，如果该距离小于阈值，则该角点被视为有效匹配点。
进一步的，将所有有效匹配点的数量除以两幅图像中总的角点数，即可得到两幅图像的重叠度。还可以通过与理论重叠度进行加权平均，从而获得更为准确的重叠度，目前计算后的重叠度与理论重叠度仅相差0.2%至1.7%，通过相邻两幅图像得到匹配点，计算每组匹配点到图像相邻边的距离，可以得到两幅图像被裁剪的区域。在计算机程序中，图像被看作包含宽、高、通道数的三维矩阵，使用计算机程序语言沿图5所示裁剪掉两幅图像的重叠部分，然后将两个矩阵合并为一个更大的矩阵，并使用高斯模糊对合成边界缝隙进行模糊处理，即可得到一个更真实的拼接图像，两两一组依次进行，最终可以得到6组传感器拼接后的结构光图像数据。
S25、提取所述第二结构光图像中每个像素点的深度信息。
S26、基于所述深度信息，确定每个像素点对应的摄像头镜头到所述目标堆状物料的表面的第一距离信息。
S27、基于所述第一距离信息建立所述目标堆状物料的三维模型。
以下对S25~S27进行统一说明：
将每组双目结构光传感器的摄像头镜头正下方的像素点作为中心点；获取中心点到存放目标堆状物料的料仓底部的高度信息、中心点到其他每个像素点的第二距离信息以及中心点到其他每个像素点对应的夹角信息；基于高度信息、第二距离信息和夹角信息确定其他每个像素点到存放目标堆状物料的料仓底部的深度信息。
具体的，由于摄像头为垂直向下拍摄，严格意义上图像中只有一个像素点在双目结构光传感器的正下方，该像素点距离双目结构光传感器中心点的距离记为，其余像素点到双目结构光传感器中心点的距离分别记为/>，/>，······/>。双目结构光传感器距离料仓底部高度记为h，传感器中心点到每个像素点对应的夹角记为/>、/>、······/>，通过三角函数计算得到像素点到平面O的距离分别为/>、/>、/>、······/>。通过分析获取拼接后图像上的每个像素点的深度信息（/>、/>、/>、······/>），绘制深度图如图6所示，进而得到每个像素点对应的摄像头镜头到物料表面的距离，从而在三维空间下模拟出物料的三维模型，如图7所示。该步骤用到的计算公式如下：
（4）
其中，的取值范围为0到n，/>为每个像素点到平面O的距离，/>为每个像素点到双目结构光传感器中心点的距离，/>传感器中心点到每个像素点的夹角角度。
S28、将所述三维模型分割成多个立方体并计算每个立方体的体积。
S29、将计算得到的每个立方体的体积之和作为所述目标堆状物料的体积。
以下对S28~S29进行统一说明：
根据三维空间模型，利用积分的思想原理，可以将三维空间模型拆成多个立方体，对每一个立方体计算体积后再求和，从而得到整个物料堆的总体积。体积计算公式如下：
（5）
其中，V为物料总体积，为三维模型中的每个立方体的体积。经过上述计算后，即可识别整个料仓堆状物料的体积。
本发明实施例提供的堆状物料体积识别方法，通过获取多组双目结构光传感器分别采集的目标堆状物料对应的第一结构光图像，得到多个第一结构光图像；基于所述多组双目结构光传感器的安装方案预先确定的计算参数对所述多个第一结构光图像进行拼接处理，得到拼接后的第二结构光图像；提取所述第二结构光图像的图像特征并基于所述图像特征建立所述目标堆状物料的三维模型；基于所述三维模型计算所述目标堆状物料的体积。由本方法，基于多组双目结构光传感器对堆状物料进行体积识别，能够快速、准确、适应识别任意大小料仓的堆状物料的体积，减少人力成本。
图8为本发明实施例提供的一种堆状物料体积识别装置的结构示意图，具体包括：
获取模块801，用于获取多组双目结构光传感器分别采集的目标堆状物料对应的第一结构光图像，得到多个第一结构光图像。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。
处理模块802，用于基于所述多组双目结构光传感器的安装方案预先确定的计算参数对所述多个第一结构光图像进行拼接处理，得到拼接后的第二结构光图像。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。
建立模块803，用于提取所述第二结构光图像的图像特征并基于所述图像特征建立所述目标堆状物料的三维模型。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。
识别模块804，用于基于所述三维模型计算所述目标堆状物料的体积。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。
本实施例提供的堆状物料体积识别装置可以是如图8中所示的堆状物料体积识别装置，可执行如图1-2中堆状物料体积识别方法的所有步骤，进而实现图1-2所示堆状物料体积识别方法的技术效果，具体请参照图1-2相关描述，为简洁描述，在此不作赘述。
图9示出了本发明实施例的一种电子设备，如图9所示，该电子设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图9中以通过总线连接为例。
处理器901可以为中央处理器（Central Processing Unit，CPU）。处理器901还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中所提供方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的方法。
上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）、随机存储记忆体（Random Access Memory，RAM）、快闪存储器（Flash Memory）、硬盘（Hard Disk Drive，缩写：HDD）或固态硬盘（Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (7)

1.一种堆状物料体积识别方法，其特征在于，包括：
获取多组双目结构光传感器分别采集的目标堆状物料对应的第一结构光图像，得到多个第一结构光图像；
基于所述多组双目结构光传感器的安装方案预先确定的计算参数对所述多个第一结构光图像进行拼接处理，得到拼接后的第二结构光图像；
提取所述第二结构光图像的图像特征并基于所述图像特征建立所述目标堆状物料的三维模型；
基于所述三维模型计算所述目标堆状物料的体积；
所述基于所述多组双目结构光传感器的安装方案预先确定的计算参数对所述多个第一结构光图像进行拼接处理，得到拼接后的第二结构光图像，包括：
对所述多个第一结构光图像进行点云数据配准，确定每相邻的两个第一结构光图像之间的重叠度；
基于所述重叠度确定每相邻的两个第一光结构图像的待裁剪区域；
通过预设的图像处理程序将每相邻的两个第一光结构图像的待裁剪区域裁剪掉，并将裁剪后的多个第一结构光图像进行拼接处理，得到拼接后的第二结构光图像；
所述提取所述第二结构光图像的图像特征并基于所述图像特征建立所述目标堆状物料的三维模型，包括：
提取所述第二结构光图像中每个像素点的深度信息；
基于所述深度信息，确定每个像素点对应的摄像头镜头到所述目标堆状物料的表面的第一距离信息；
基于所述第一距离信息建立所述目标堆状物料的三维模型；
所述提取所述第二结构光图像中每个像素点的深度信息，包括：
将每组双目结构光传感器的摄像头镜头正下方的像素点作为中心点；
获取所述中心点到存放所述目标堆状物料的料仓底部的高度信息、所述中心点到其他每个像素点的第二距离信息以及所述中心点到其他每个像素点对应的夹角信息；
基于所述高度信息、第二距离信息和夹角信息确定其他每个像素点到存放所述目标堆状物料的料仓底部的深度信息。
2.根据权利要求1所述的方法，其特征在于，所述获取多组双目结构光传感器分别采集的目标堆状物料对应的第一结构光图像，得到多个第一结构光图像，包括：
向每个双目结构光传感器下发图片采集指令，以使每个双目结构光传感器响应所述图片采集指令通过发射IR光线扫描对应的覆盖区域并拍摄所述覆盖区域的照片，得到所述目标堆状物料对应的多个第一结构光图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述多个第一结构光图像进行点云数据配准，确定每相邻的两个第一结构光图像之间的重叠度，包括：
通过角点检测算法检测每相邻的两个第一结构光图像的有效匹配点以及两个第一结构光图像的总角点数；
将所述有效匹配点与所述总角点数的商值作为每相邻的两个第一结构光图像之间的重叠度。
4.根据权利要求1所述的方法，其特征在于，所述基于所述三维模型计算所述目标堆状物料的体积，包括：
将所述三维模型分割成多个立方体并计算每个立方体的体积；
将计算得到的每个立方体的体积之和作为所述目标堆状物料的体积。
5.一种堆状物料体积识别装置，其特征在于，包括：
获取模块，用于获取多组双目结构光传感器分别采集的目标堆状物料对应的第一结构光图像，得到多个第一结构光图像；
处理模块，用于基于所述多组双目结构光传感器的安装方案预先确定的计算参数对所述多个第一结构光图像进行拼接处理，得到拼接后的第二结构光图像；
建立模块，用于提取所述第二结构光图像的图像特征并基于所述图像特征建立所述目标堆状物料的三维模型；
识别模块，用于基于所述三维模型计算所述目标堆状物料的体积；
所述处理模块，用于对所述多个第一结构光图像进行点云数据配准，确定每相邻的两个第一结构光图像之间的重叠度；基于所述重叠度确定每相邻的两个第一光结构图像的待裁剪区域；通过预设的图像处理程序将每相邻的两个第一光结构图像的待裁剪区域裁剪掉，并将裁剪后的多个第一结构光图像进行拼接处理，得到拼接后的第二结构光图像；
所述建立模块，用于提取所述第二结构光图像中每个像素点的深度信息；基于所述深度信息，确定每个像素点对应的摄像头镜头到所述目标堆状物料的表面的第一距离信息；基于所述第一距离信息建立所述目标堆状物料的三维模型；
所述建立模块，用于将每组双目结构光传感器的摄像头镜头正下方的像素点作为中心点；获取所述中心点到存放所述目标堆状物料的料仓底部的高度信息、所述中心点到其他每个像素点的第二距离信息以及所述中心点到其他每个像素点对应的夹角信息；基于所述高度信息、第二距离信息和夹角信息确定其他每个像素点到存放所述目标堆状物料的料仓底部的深度信息。
6.一种电子设备，其特征在于，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的堆状物料体积识别程序，以实现权利要求1~4中任一项所述的堆状物料体积识别方法。
7.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1~4中任一项所述的堆状物料体积识别方法。
CN202310961014.9A 2023-08-02 2023-08-02 堆状物料体积识别方法、装置、电子设备及存储介质 Active CN116665139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310961014.9A CN116665139B (zh) 2023-08-02 2023-08-02 堆状物料体积识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310961014.9A CN116665139B (zh) 2023-08-02 2023-08-02 堆状物料体积识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116665139A CN116665139A (zh) 2023-08-29
CN116665139B true CN116665139B (zh) 2023-12-22

Family

ID=87724686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310961014.9A Active CN116665139B (zh) 2023-08-02 2023-08-02 堆状物料体积识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116665139B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011145B (zh) * 2023-09-22 2024-02-23 杭州未名信科科技有限公司 智慧工地物料的全息图像显示拼接方法及应用其的***

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102042814A (zh) * 2010-06-24 2011-05-04 中国人民解放军国防科学技术大学 大型堆场三维形貌的投影辅助摄像测量方法
CN106097318A (zh) * 2016-06-06 2016-11-09 北京理工大学 一种粮食体积测量***和方法
CN107024174A (zh) * 2017-05-18 2017-08-08 北京市建筑工程研究院有限责任公司 基于三维激光扫描技术的粉状堆料体积测量装置及方法
CN109816778A (zh) * 2019-01-25 2019-05-28 北京百度网讯科技有限公司 物料堆三维重建方法、装置、电子设备和计算机可读介质
CN110349251A (zh) * 2019-06-28 2019-10-18 深圳数位传媒科技有限公司 一种基于双目相机的三维重建方法及装置
CN110738618A (zh) * 2019-10-14 2020-01-31 河海大学常州校区 一种基于双目相机的不规则堆料体积测量方法
CN111429504A (zh) * 2020-03-02 2020-07-17 武汉大学 基于三维点云的物料堆自动提取和体积测量方法及***
CN112017234A (zh) * 2020-08-25 2020-12-01 河海大学常州校区 一种基于稀疏点云重建的堆料体积测量方法
CN112053324A (zh) * 2020-08-03 2020-12-08 上海电机学院 一种基于深度学习的复杂物料体积测量方法
CN112561983A (zh) * 2020-12-19 2021-03-26 浙江大学 一种测算表面弱纹理且不规则堆料体积的装置及方法
CN112945137A (zh) * 2021-02-01 2021-06-11 中国矿业大学(北京) 一种基于单线激光雷达与测距仪的仓储矿堆扫描装备
CN113240801A (zh) * 2021-06-08 2021-08-10 矿冶科技集团有限公司 一种物料堆三维重构方法、装置、电子设备及存储介质
US11282291B1 (en) * 2021-02-09 2022-03-22 URC Ventures, Inc. Determining object structure using fixed-location cameras with only partial view of object
CN114296099A (zh) * 2021-12-19 2022-04-08 复旦大学 一种基于固态面阵激光雷达的仓料体积探测方法
CN114862938A (zh) * 2022-05-06 2022-08-05 中国科学院西北生态环境资源研究院 雪堆体积的检测方法、电子设备及存储介质
CN114993175A (zh) * 2022-05-26 2022-09-02 云南师范大学 一种基于激光扫描测量物料堆积体积的方法及***
CN115018902A (zh) * 2022-06-10 2022-09-06 北京瓦特曼智能科技有限公司 用于确定媒堆库存的方法及处理器
CN115063458A (zh) * 2022-07-27 2022-09-16 武汉工程大学 一种基于三维激光点云的料堆体积计算方法
CN115482354A (zh) * 2022-09-19 2022-12-16 国晟航科(苏州)智能科技有限公司 全自动大型料堆测量方法
CN116229016A (zh) * 2023-01-31 2023-06-06 内蒙古北方蒙西发电有限责任公司 一种料堆模型检测方法及装置
CN116245937A (zh) * 2023-02-08 2023-06-09 深圳市城市公共安全技术研究院有限公司 货物堆垛的堆高预测方法及装置、设备、存储介质
CN116258832A (zh) * 2022-12-13 2023-06-13 厦门大学 基于铲装前后物料堆三维重构的铲装体积获取方法及***
CN116337192A (zh) * 2022-12-15 2023-06-27 欧冶云商股份有限公司 测量方法、测量装置及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10151839B2 (en) * 2012-06-01 2018-12-11 Agerpoint, Inc. Systems and methods for determining crop yields with high resolution geo-referenced sensors

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102042814A (zh) * 2010-06-24 2011-05-04 中国人民解放军国防科学技术大学 大型堆场三维形貌的投影辅助摄像测量方法
CN106097318A (zh) * 2016-06-06 2016-11-09 北京理工大学 一种粮食体积测量***和方法
CN107024174A (zh) * 2017-05-18 2017-08-08 北京市建筑工程研究院有限责任公司 基于三维激光扫描技术的粉状堆料体积测量装置及方法
CN109816778A (zh) * 2019-01-25 2019-05-28 北京百度网讯科技有限公司 物料堆三维重建方法、装置、电子设备和计算机可读介质
CN110349251A (zh) * 2019-06-28 2019-10-18 深圳数位传媒科技有限公司 一种基于双目相机的三维重建方法及装置
CN110738618A (zh) * 2019-10-14 2020-01-31 河海大学常州校区 一种基于双目相机的不规则堆料体积测量方法
CN111429504A (zh) * 2020-03-02 2020-07-17 武汉大学 基于三维点云的物料堆自动提取和体积测量方法及***
CN112053324A (zh) * 2020-08-03 2020-12-08 上海电机学院 一种基于深度学习的复杂物料体积测量方法
CN112017234A (zh) * 2020-08-25 2020-12-01 河海大学常州校区 一种基于稀疏点云重建的堆料体积测量方法
CN112561983A (zh) * 2020-12-19 2021-03-26 浙江大学 一种测算表面弱纹理且不规则堆料体积的装置及方法
CN112945137A (zh) * 2021-02-01 2021-06-11 中国矿业大学(北京) 一种基于单线激光雷达与测距仪的仓储矿堆扫描装备
US11282291B1 (en) * 2021-02-09 2022-03-22 URC Ventures, Inc. Determining object structure using fixed-location cameras with only partial view of object
CN113240801A (zh) * 2021-06-08 2021-08-10 矿冶科技集团有限公司 一种物料堆三维重构方法、装置、电子设备及存储介质
CN114296099A (zh) * 2021-12-19 2022-04-08 复旦大学 一种基于固态面阵激光雷达的仓料体积探测方法
CN114862938A (zh) * 2022-05-06 2022-08-05 中国科学院西北生态环境资源研究院 雪堆体积的检测方法、电子设备及存储介质
CN114993175A (zh) * 2022-05-26 2022-09-02 云南师范大学 一种基于激光扫描测量物料堆积体积的方法及***
CN115018902A (zh) * 2022-06-10 2022-09-06 北京瓦特曼智能科技有限公司 用于确定媒堆库存的方法及处理器
CN115063458A (zh) * 2022-07-27 2022-09-16 武汉工程大学 一种基于三维激光点云的料堆体积计算方法
CN115482354A (zh) * 2022-09-19 2022-12-16 国晟航科(苏州)智能科技有限公司 全自动大型料堆测量方法
CN116258832A (zh) * 2022-12-13 2023-06-13 厦门大学 基于铲装前后物料堆三维重构的铲装体积获取方法及***
CN116337192A (zh) * 2022-12-15 2023-06-27 欧冶云商股份有限公司 测量方法、测量装置及计算机可读存储介质
CN116229016A (zh) * 2023-01-31 2023-06-06 内蒙古北方蒙西发电有限责任公司 一种料堆模型检测方法及装置
CN116245937A (zh) * 2023-02-08 2023-06-09 深圳市城市公共安全技术研究院有限公司 货物堆垛的堆高预测方法及装置、设备、存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Calculation of Salt Heap Volume Based on Point Cloud Surface Reconstruction;Chuang Liu等;《 2022 4th International Conference on Robotics and Computer Vision (ICRCV)》;200-203 *
基于深度学习点云分割的散料堆体积测量方法的研究;崔峥;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;第2023年卷(第2期);C028-1066 *
基于车辆立体视觉的物料堆三维测量研究;冯昊文;《中国优秀硕士学位论文全文数据库 信息科技辑》;第2020年卷(第7期);I138-727 *

Also Published As

Publication number Publication date
CN116665139A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN112132972B (zh) 一种激光与图像数据融合的三维重建方法及***
WO2022170878A1 (zh) 一种无人机测量输电线路影像距离的***及方法
US9996746B1 (en) Systems and methods for autonomous perpendicular imaging with a target field of view
US10430961B2 (en) Using satellite imagery to enhance a 3D surface model of a real world cityscape
CN109074083B (zh) 移动控制方法、移动机器人及计算机存储介质
US10089530B2 (en) Systems and methods for autonomous perpendicular imaging of test squares
Golparvar-Fard et al. Evaluation of image-based modeling and laser scanning accuracy for emerging automated performance monitoring techniques
EP3629052A1 (en) Data collecting method and system
CN111492403A (zh) 用于生成高清晰度地图的激光雷达到相机校准
CN110111388B (zh) 三维物***姿参数估计方法及视觉设备
CN116665139B (zh) 堆状物料体积识别方法、装置、电子设备及存储介质
CN102917171B (zh) 基于像素的小目标定位方法
US20210266461A1 (en) Defect detection system using a camera equipped uav for building facades on complex asset geometry with optimal automatic obstacle deconflicted flightpath
US10810426B2 (en) Systems and methods for autonomous perpendicular imaging of test squares
CN109213202B (zh) 基于光学伺服的货物摆放方法、装置、设备和存储介质
CN113167569B (zh) 体积测量装置、***、方法和程序
CN103065323A (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN111383279A (zh) 外参标定方法、装置及电子设备
CN103324936A (zh) 一种基于多传感器融合的车辆下边界检测方法
KR20130133596A (ko) 전주 기울기 측정 방법 및 장치
CN112749584A (zh) 一种基于图像检测的车辆定位方法及车载终端
CN112082486B (zh) 一种手持式智能3d信息采集设备
CN112254676B (zh) 一种便携式智能3d信息采集设备
CN106248058B (zh) 一种对于仓储运输工具的定位方法、装置及***
CN111780744A (zh) 移动机器人混合导航方法、设备及存储装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant