CN117422709A - 基于rgb图像和深度图像的坍落度预测方法及装置 - Google Patents

基于rgb图像和深度图像的坍落度预测方法及装置 Download PDF

Info

Publication number
CN117422709A
CN117422709A CN202311709417.0A CN202311709417A CN117422709A CN 117422709 A CN117422709 A CN 117422709A CN 202311709417 A CN202311709417 A CN 202311709417A CN 117422709 A CN117422709 A CN 117422709A
Authority
CN
China
Prior art keywords
image sequence
rgb
branch
slump
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311709417.0A
Other languages
English (en)
Other versions
CN117422709B (zh
Inventor
杨建红
林柏宏
黄文景
张宝裕
黄骁民
陈焕森
黄伟晴
韩明芝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Fujian South Highway Machinery Co Ltd
Original Assignee
Huaqiao University
Fujian South Highway Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University, Fujian South Highway Machinery Co Ltd filed Critical Huaqiao University
Priority to CN202311709417.0A priority Critical patent/CN117422709B/zh
Publication of CN117422709A publication Critical patent/CN117422709A/zh
Application granted granted Critical
Publication of CN117422709B publication Critical patent/CN117422709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于RGB图像和深度图像的坍落度预测方法及装置，涉及坍落度预测领域，该方法包括：获取混凝土搅拌阶段采集到的混凝土表面的原始RGB图像序列和原始深度图像序列，对原始RGB图像序列和原始深度图像序列进行预处理，得到RGB图像序列和深度图像序列；构建基于双模态特征融合的坍落度预测模型并训练，得到经训练的坍落度预测模型；将RGB图像序列中的RGB图像及其对应的深度图像序列中的深度图像输入经训练的坍落度预测模型，得到坍落度的预测值，以解决在混凝土搅拌过程中实时检测坍落度的问题。

Description

基于RGB图像和深度图像的坍落度预测方法及装置
技术领域
本发明涉及坍落度预测领域，具体涉及一种基于RGB图像和深度图像的坍落度预测方法及装置。
背景技术
混凝土坍落度是评价混凝土流动性的指标之一，用于指导工程的施工进行。目前，混凝土坍落度的检测主要依赖于使用坍落度桶进行人工检测，这种检测方式发生在混凝土生产完成后进行的，具有后发性，这意味着一旦检测出本批次混凝土的坍落度不符合要求，则会造成资源浪费和拖延施工的进行。
由于混凝土的原材料含水率波动较大，无法直接通过配方控制混凝土坍落度达到要求，需要定期测量混凝土坍落度以调整配方，因此后发性的人工检测坍落度的方式难以满足实时调整混凝土配方的生产需求，因此需要一种能够在混凝土搅拌过程中实时检测坍落度的方法。
发明内容
针对上述提到的技术问题。本申请的实施例的目的在于提出了一种基于RGB图像和深度图像的坍落度预测方法及装置，来解决以上背景技术部分提到的技术问题。
第一方面，本发明提供了一种基于RGB图像和深度图像的坍落度预测方法，包括以下步骤：
获取混凝土搅拌阶段采集到的混凝土表面的原始RGB图像序列和原始深度图像序列，对原始RGB图像序列和原始深度图像序列进行预处理，得到RGB图像序列和深度图像序列；
构建基于双模态特征融合的坍落度预测模型并训练，得到经训练的坍落度预测模型；
将RGB图像序列中的RGB图像及其对应的深度图像序列中的深度图像输入经训练的坍落度预测模型，得到坍落度的预测值。
作为优选，坍落度预测模型包括依次连接的第一卷积层、最大池化层、第一残差模块、第二残差模块、第三残差模块、第四残差模块、平均池化层、展平层和全连接层，RGB图像序列中的RGB图像及其对应的深度图像序列的深度图像进行拼接后输入第一卷积层，通过全连接层输出坍落度的预测值。
作为优选，坍落度预测模型包括第一支路和第二支路，第一支路和第二支路均包括依次连接的第一卷积层、最大池化层、第一残差模块、第二残差模块、第三残差模块和第四残差模块，第一支路的第一残差模块的输出与第二支路的第一残差模块的输出相加后输入第一支路的第二残差模块，第一支路的第二残差模块的输出与第二支路的第二残差模块的输出相加后输入第一支路的第三残差模块，第一支路的第三残差模块的输出与第二支路的第三残差模块的输出相加后输入第一支路的第四残差模块，第一支路的第四残差模块的输出与第二支路的第四残差模块的输出相加后输入依次连接的平均池化层、展平层和全连接层，RGB图像序列中的RGB图像及其对应的深度图像序列中的深度图像分别输入第一支路的第一卷积层和第二支路的第一卷积层，通过全连接层输出坍落度的预测值。
作为优选，坍落度预测模型包括第一支路和第二支路，第一支路和第二支路均包括依次连接的第一卷积层、最大池化层、第一残差模块、第二残差模块、第三残差模块、第四残差模块、平均池化层和展平层，第一支路的展平层的输出和第二支路的展平层的输出拼接后输入全连接层，RGB图像序列中的RGB图像及其对应的深度图像序列中的深度图像分别输入第一支路的第一卷积层和第二支路的第一卷积层，通过全连接层输出坍落度的预测值。
作为优选，第一残差模块、第二残差模块、第三残差模块、第四残差模块分别包括依次连接的3个残差块、依次连接的4个残差块、依次连接的6个残差块和依次连接的3个残差块，每个残差块包括构成残差连接的第二卷积模块和第三卷积模块，第二卷积模块和第三卷积模块均包括依次连接的第二卷积层和Relu激活函数层，第一卷积层的卷积核大小为7×7，第二卷积层的卷积核大小为3×3，最大池化层的池化核大小为3×3，平均池化层的池化核大小为1×1。
作为优选，对原始RGB图像序列和原始深度图像序列进行预处理，得到RGB图像序列和深度图像序列，具体包括：
对原始深度图像序列中的原始深度图像进行噪点去除，得到经处理的原始深度图像序列；
对原始RGB图像序列中的原始RGB图像进行亮度提高，得到经处理的原始RGB图像序列；
将经处理的原始深度图像序列和经处理的原始RGB图像序列根据对应的搅拌时刻进行对齐，得到对齐后的原始深度图像序列和对齐后的原始RGB图像序列；
将对齐后的原始深度图像序列和对齐后的原始RGB图像序列进行时间段截取，得到截取后的原始深度图像序列和截取后的原始RGB图像序列；
将截取后的原始深度图像序列和截取后的原始RGB图像序列进行尺寸变换和归一化处理，得到RGB图像序列和深度图像序列。
作为优选，时间段截取所对应的图像为混凝土搅拌轴旋转一周的图像。
第二方面，本发明提供了一种基于RGB图像和深度图像的坍落度预测装置，包括：
图像处理模块，被配置为获取混凝土搅拌阶段采集到的混凝土表面的原始RGB图像序列和原始深度图像序列，对原始RGB图像序列中的原始RGB图像和原始深度图像序列中的原始深度图像进行预处理，得到RGB图像序列和深度图像序列；
模型构建模块，被配置为构建基于双模态特征融合的坍落度预测模型并训练，得到经训练的坍落度预测模型；
执行模块，被配置为将RGB图像序列中的RGB图像及其对应的深度图像序列中的深度图像输入经训练的坍落度预测模型，得到坍落度的预测值。
第三方面，本发明提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
相比于现有技术，本发明具有以下有益效果：
（1）本申请提出的基于RGB图像和深度图像的坍落度预测方法通过融合RGB图像和深度图像建立坍落度预测模型，无需人工实验测试坍落度，从而实现搅拌过程中实时检测混凝土的坍落度。
（2）本申请提出的基于RGB图像和深度图像的坍落度预测方法采集的是RGB图像序列和深度图像序列，由于混凝土的流体运动分是横向和纵向的复合运动，能够同时记录搅拌过程中两个方向的运动信息，基于双模态特征融合的坍落度预测模型学习到更多的特征信息，从而建立起RGB图像和深度图像与坍落度值之间的联系，能够有效提高预测的准确度，根据不同的需求可在早期阶段，中期阶段或后期阶段实现特征融合，灵活性更高。
（3）本申请提出的基于RGB图像和深度图像的坍落度预测方法只需要在搅拌机上安装摄像头便能够实现实时坍落度检测，便于实时调整坍落度以符合工程需要。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的一个实施例可以应用于其中的示例性装置架构图；
图2为本申请的实施例的基于RGB图像和深度图像的坍落度预测方法的流程示意图；
图3为本申请的实施例的基于RGB图像和深度图像的坍落度预测方法的RGB图像与深度图像对齐的示意图；
图4为本申请的实施例一的基于RGB图像和深度图像的坍落度预测方法的坍落度预测模型的结构示意图；
图5为本申请的实施例二的基于RGB图像和深度图像的坍落度预测方法的坍落度预测模型的结构示意图；
图6为本申请的实施例三的基于RGB图像和深度图像的坍落度预测方法的坍落度预测模型的结构示意图；
图7为本申请的实施例的基于RGB图像和深度图像的坍落度预测装置的示意图；
图8是适于用来实现本申请实施例的电子设备的计算机装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了可以应用本申请实施例的基于RGB图像和深度图像的坍落度预测方法或基于RGB图像和深度图像的坍落度预测装置的示例性装置架构100。
如图1所示，装置架构100可以包括终端设备一101、终端设备二102、终端设备三103，网络104和服务器105。网络104用以在终端设备一101、终端设备二102、终端设备三103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备一101、终端设备二102、终端设备三103通过网络104与服务器105交互，以接收或发送消息等。终端设备一101、终端设备二102、终端设备三103上可以安装有各种应用，例如数据处理类应用、文件处理类应用等。
终端设备一101、终端设备二102、终端设备三103可以是硬件，也可以是软件。当终端设备一101、终端设备二102、终端设备三103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备一101、终端设备二102、终端设备三103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块（例如用来提供分布式服务的软件或软件模块），也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备一101、终端设备二102、终端设备三103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理，生成处理结果。
需要说明的是，本申请实施例所提供的基于RGB图像和深度图像的坍落度预测方法可以由服务器105执行，也可以由终端设备一101、终端设备二102、终端设备三103执行，相应地，基于RGB图像和深度图像的坍落度预测装置可以设置于服务器105中，也可以设置于终端设备一101、终端设备二102、终端设备三103中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述装置架构可以不包括网络，而只需服务器或终端设备。
图2示出了本申请的实施例提供的一种基于RGB图像和深度图像的坍落度预测方法，包括以下步骤：
S1，获取混凝土搅拌阶段采集到的混凝土表面的原始RGB图像序列和原始深度图像序列，对原始RGB图像序列和原始深度图像序列进行预处理，得到RGB图像序列和深度图像序列。
在具体的实施例中，对原始RGB图像序列和原始深度图像序列进行预处理，得到RGB图像序列和深度图像序列，具体包括：
对原始深度图像序列中的原始深度图像进行噪点去除，得到经处理的原始深度图像序列；
对原始RGB图像序列中的原始RGB图像进行亮度提高，得到经处理的原始RGB图像序列；
将经处理的原始深度图像序列和经处理的原始RGB图像序列根据对应的搅拌时刻进行对齐，得到对齐后的原始深度图像序列和对齐后的原始RGB图像序列；
将对齐后的原始深度图像序列和对齐后的原始RGB图像序列进行时间段截取，得到截取后的原始深度图像序列和截取后的原始RGB图像序列；
将截取后的原始深度图像序列和截取后的原始RGB图像序列进行尺寸变换和归一化处理，得到RGB图像序列和深度图像序列。
在具体的实施例中，时间段截取所对应的图像为混凝土搅拌轴旋转一周的图像。
具体的，在混凝土搅拌阶段采集清晰的视频，并提取视频中的视频帧，并且在视频帧中选择一个合理的区域作为感兴趣区域，该感兴趣区域应该包含丰富的混凝土表面纹理特征，不应该包含例如缸壁等与混凝土搅拌过程无关的事物。感兴趣区域选择的大小视情况而定，一般来说，感兴趣区域越大其特征信息越多，但是计算成本也会增加，需要综合考量计算成本和收益。采用普通彩色相机采集到的视频所选择的感兴趣区域作为原始RGB图像，并与时间序列结合构成原始RGB图像序列，采用深度相机采集到的视频所选择的感兴趣区域作为深度图像，并与时间序列结合构成原始深度序列。
从深度方向考虑，混凝土的翻转运动是在一定深度范围内波动，超出这个深度范围的数值有可能是飞溅颗粒和漂浮的粉尘所造成，根据实验中所用搅拌装置的尺寸，设定深度范围为0.4~4米，在对原始深度序列中的原始深度图像进行噪点去除时，将原始深度图像中的深度值超出这个深度范围的该位置像素的深度值置为0。
另外，对于原始RGB序列中的RGB图像需要进行一定亮度的提升以提高图像的质量。由于录制的视频起始帧的叶片状态不同，需要进行对齐，对齐后的原始深度图像序列和对齐后的原始RGB图像序列进行截取，通常截取得到的是混凝土搅拌轴旋转一周的图像序列，截取后的原始深度图像序列和截取后的原始RGB图像序列之间的搅拌叶片状态一致，如图3所示。截取后的原始深度图像序列和截取后的原始RGB图像序列需要经过尺寸变换和归一化处理以适应后续坍落度预测模型的输入，尺寸变换和归一化的参数可参考不同坍落度预测模型的建议参数。因此为了适应后续坍落度预测模型的输入，将图像的尺寸改为224×224像素，该输入尺寸契合下述三个实施例提出的坍落度预测模型。同时将图像的像素值大小根据比例归一化为0-1之间的数值。
S2，构建基于双模态特征融合的坍落度预测模型并训练，得到经训练的坍落度预测模型。
具体的，基于双模态特征融合的坍落度预测模型将采用实施例一、实施例二和实施例三所提出的网络模型，下面将具体阐述，在此不再赘述。其原理为：不同坍落度的混凝土在搅拌过程时所表现的稀疏程度、纹理特征等各不相同，而这些特征错综复杂，使用基于双模态特征融合的坍落度预测模型提取RGB图像序列中的RGB图像上的特征及其对应的深度图像序列中的深度图像上的特征并进行特征融合以建立起图像与坍落度之间的关系。该坍落度预测模型的训练过程中所采用的损失函数为MSE（均方误差）损失函数。
S3，将RGB图像序列中的RGB图像及其对应的深度图像序列中的深度图像输入经训练的坍落度预测模型，得到坍落度的预测值。
具体的，将经训练的坍落度预测模型部署在工业机中，将混凝土搅拌过程中的实时获取到的RGB图像序列的RGB图像及其对应的深度图像序列中的深度图像输入经训练的坍落度预测模型中进行预测，得到坍落度的预测值。
下面采用具体的实施例对本申请的实施例提出的坍落度预测模型的网络结构进行说明。
实施例一
参考图4，本申请的实施例一所采用的坍落度预测模型包括依次连接的第一卷积层、最大池化层、第一残差模块、第二残差模块、第三残差模块、第四残差模块、平均池化层、展平层和全连接层，RGB图像序列中的RGB图像及其对应的深度图像序列的深度图像进行拼接后输入第一卷积层，依次经过最大池化层、第一残差模块、第二残差模块、第三残差模块、第四残差模块、平均池化层、展平层后，最终通过全连接层输出坍落度的预测值。该坍落度预测模型的特征融合过程体现在早期阶段，即在输入坍落度预测模型之前，就将RGB图像序列中的RGB图像及其对应的深度图像序列的深度图像进行拼接。
在具体的实施例中，第一残差模块、第二残差模块、第三残差模块、第四残差模块分别包括依次连接的3个残差块、依次连接的4个残差块、依次连接的6个残差块和依次连接的3个残差块，每个残差块包括构成残差连接的第二卷积模块和第三卷积模块，第二卷积模块和第三卷积模块均包括依次连接的第二卷积层和Relu激活函数层，第一卷积层的卷积核大小为7×7，第二卷积层的卷积核大小为3×3，最大池化层的池化核大小为3×3，平均池化层的池化核大小为1×1。
具体的，在图像预处理之后，在输入坍落度预测模型之前，先将RGB图像序列中的RGB图像及其对应的深度图像序列的深度图像进行特征融合，经过特征融合后，RGB图像序列中的RGB图像及其对应的深度图像序列的深度图像合二为一，后续对其进行特征提取，提取的特征同时拥有RGB图像和深度图像两者的特征信息，最终将这些特征送入全连接层中与坍落度值建立坍落度与RGB-D图像之间的数学关系。完成该坍落度预测模型的训练后，输入RGB图像序列中的RGB图像及其对应的深度图像序列的深度图像，该模型能够输出坍落度的预测值。
实施例二
参考图5，本申请的实施例二与实施例一的区别在于：所采用的坍落度预测模型包括第一支路和第二支路，第一支路和第二支路均包括依次连接的第一卷积层、最大池化层、第一残差模块、第二残差模块、第三残差模块和第四残差模块，第一支路的第一残差模块的输出与第二支路的第一残差模块的输出相加后输入第一支路的第二残差模块，第一支路的第二残差模块的输出与第二支路的第二残差模块的输出相加后输入第一支路的第三残差模块，第一支路的第三残差模块的输出与第二支路的第三残差模块的输出相加后输入第一支路的第四残差模块，第一支路的第四残差模块的输出与第二支路的第四残差模块的输出相加后输入依次连接的平均池化层、展平层和全连接层，RGB图像序列中的RGB图像及其对应的深度图像序列中的深度图像分别输入第一支路的第一卷积层和第二支路的第一卷积层，再分别依次经过对应支路的最大池化层、第一残差模块、第二残差模块、第三残差模块和第四残差模块以及最终的平均池化层、展平层和全连接层，输出坍落度的预测值。该坍落度预测模型的特征融合过程体现在中期阶段，即两个分支中的前一个残差模块的输出需要进行相加，再输入第一分支的后一个残差模块。
具体的，每个支路中的第一卷积层、最大池化层、第一残差模块、第二残差模块、第三残差模块和第四残差模块以及平均池化层、展平层和全连接层的参数参考实施例一，在此不再赘述。
实施例三
参考图6，本申请的实施例三与实施例一的区别在于：所采用的坍落度预测模型包括第一支路和第二支路，第一支路和第二支路均包括依次连接的第一卷积层、最大池化层、第一残差模块、第二残差模块、第三残差模块、第四残差模块、平均池化层和展平层，第一支路的展平层的输出和第二支路的展平层的输出拼接后输入全连接层，RGB图像序列中的RGB图像及其对应的深度图像序列中的深度图像分别输入第一支路的第一卷积层和第二支路的第一卷积层，依次经过对应分支的最大池化层、第一残差模块、第二残差模块、第三残差模块、第四残差模块、平均池化层和展平层，两个分支的展平层的输出进行拼接后输入全连接层，最终通过全连接层输出坍落度的预测值。该坍落度预测模型的特征融合过程体现在后期阶段，即将两个分支的展平层的输出进行拼接后再输入全连接层。
具体的，每个支路中的第一卷积层、最大池化层、第一残差模块、第二残差模块、第三残差模块和第四残差模块以及平均池化层、展平层和全连接层的参数参考实施例一，在此不再赘述。
对实施例一至实施例三所提出的坍落度预测模型进行测试，参考表1-4，表1为实施例一至实施例三所提出的坍落度预测模型的预测精度结果，表2为实施例一所提出的坍落度预测模型的预测的坍落度值与实测值的对比结果，表3为实施例二所提出的坍落度预测模型的预测的坍落度值与实测值的对比结果，表4为实施例三所提出的坍落度预测模型的预测的坍落度值与实测值的对比结果。
表1 实施例一至实施例三所提出的坍落度预测模型的预测精度
注：当-30mm≤实测值-预测值≤30mm时，认为该样本预测正确。
表2 实施例一所提出的坍落度预测模型的预测结果与实测值的对比
表3 实施例二所提出的坍落度预测模型的预测结果与实测值的对比
表4实施例三所提出的坍落度预测模型的预测结果与实测值的对比
综上所述，实施例一至实施例三所提出的坍落度预测模型均满足坍落度偏差要求，其中实施例一所提出的坍落度预测模型的准确率最高，平均偏差最小。
进一步参考图7，作为对上述各图所示方法的实现，本申请提供了一种基于RGB图像和深度图像的坍落度预测装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
本申请实施例提供了一种基于RGB图像和深度图像的坍落度预测装置，包括：
图像处理模块1，被配置为获取混凝土搅拌阶段采集到的混凝土表面的原始RGB图像序列和原始深度图像序列，对原始RGB图像序列中的原始RGB图像和原始深度图像序列中的原始深度图像进行预处理，得到RGB图像序列和深度图像序列；
模型构建模块2，被配置为构建基于双模态特征融合的坍落度预测模型并训练，得到经训练的坍落度预测模型；
执行模块3，被配置为将RGB图像序列中的RGB图像及其对应的深度图像序列中的深度图像输入经训练的坍落度预测模型，得到坍落度的预测值。
下面参考图8，其示出了适于用来实现本申请实施例的电子设备（例如图1所示的服务器或终端设备）的计算机装置800的结构示意图。图8示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，计算机装置800包括中央处理单元（CPU）801和图形处理器（GPU）802，其可以根据存储在只读存储器（ROM）803中的程序或者从存储部分809加载到随机访问存储器（RAM）804中的程序而执行各种适当的动作和处理。在RAM 804中，还存储有装置800操作所需的各种程序和数据。CPU801、GPU802、ROM 803以及RAM 804通过总线805彼此相连。输入/输出（I/O）接口806也连接至总线805。
以下部件连接至I/O接口806：包括键盘、鼠标等的输入部分807；包括诸如、液晶显示器（LCD）等以及扬声器等的输出部分808；包括硬盘等的存储部分809；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分810。通信部分810经由诸如因特网的网络执行通信处理。驱动器811也可以根据需要连接至I/O接口806。可拆卸介质812，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器811上，以便于从其上读出的计算机程序根据需要被安装入存储部分809。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分810从网络上被下载和安装，和/或从可拆卸介质812被安装。在该计算机程序被中央处理单元（CPU）801和图形处理器（GPU）802执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，也可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，该模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取混凝土搅拌阶段采集到的混凝土表面的原始RGB图像序列和原始深度图像序列，对原始RGB图像序列和原始深度图像序列进行预处理，得到RGB图像序列和深度图像序列；构建基于双模态特征融合的坍落度预测模型并训练，得到经训练的坍落度预测模型；将RGB图像序列中的RGB图像及其对应的深度图像序列中的深度图像输入经训练的坍落度预测模型，得到坍落度的预测值。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于RGB图像和深度图像的坍落度预测方法，其特征在于，包括以下步骤：
获取混凝土搅拌阶段采集到的混凝土表面的原始RGB图像序列和原始深度图像序列，对所述原始RGB图像序列和原始深度图像序列进行预处理，得到RGB图像序列和深度图像序列；
构建基于双模态特征融合的坍落度预测模型并训练，得到经训练的坍落度预测模型；
将所述RGB图像序列中的RGB图像及其对应的所述深度图像序列中的深度图像输入所述经训练的坍落度预测模型，得到坍落度的预测值。
2.根据权利要求1所述的基于RGB图像和深度图像的坍落度预测方法，其特征在于，所述坍落度预测模型包括依次连接的第一卷积层、最大池化层、第一残差模块、第二残差模块、第三残差模块、第四残差模块、平均池化层、展平层和全连接层，所述RGB图像序列中的RGB图像及其对应的所述深度图像序列的深度图像进行拼接后输入所述第一卷积层，通过所述全连接层输出所述坍落度的预测值。
3.根据权利要求1所述的基于RGB图像和深度图像的坍落度预测方法，其特征在于，所述坍落度预测模型包括第一支路和第二支路，所述第一支路和第二支路均包括依次连接的第一卷积层、最大池化层、第一残差模块、第二残差模块、第三残差模块和第四残差模块，所述第一支路的第一残差模块的输出与第二支路的第一残差模块的输出相加后输入所述第一支路的第二残差模块，所述第一支路的第二残差模块的输出与第二支路的第二残差模块的输出相加后输入所述第一支路的第三残差模块，所述第一支路的第三残差模块的输出与第二支路的第三残差模块的输出相加后输入所述第一支路的第四残差模块，所述第一支路的第四残差模块的输出与第二支路的第四残差模块的输出相加后输入依次连接的平均池化层、展平层和全连接层，所述RGB图像序列中的RGB图像及其对应的所述深度图像序列中的深度图像分别输入所述第一支路的第一卷积层和第二支路的第一卷积层，通过所述全连接层输出所述坍落度的预测值。
4.根据权利要求1所述的基于RGB图像和深度图像的坍落度预测方法，其特征在于，所述坍落度预测模型包括第一支路和第二支路，所述第一支路和第二支路均包括依次连接的第一卷积层、最大池化层、第一残差模块、第二残差模块、第三残差模块、第四残差模块、平均池化层和展平层，所述第一支路的展平层的输出和第二支路的展平层的输出拼接后输入全连接层，所述RGB图像序列中的RGB图像及其对应的所述深度图像序列中的深度图像分别输入所述第一支路的第一卷积层和第二支路的第一卷积层，通过所述全连接层输出所述坍落度的预测值。
5.根据权利要求2-4中任一项所述的基于RGB图像和深度图像的坍落度预测方法，其特征在于，所述第一残差模块、第二残差模块、第三残差模块、第四残差模块分别包括依次连接的3个残差块、依次连接的4个残差块、依次连接的6个残差块和依次连接的3个残差块，每个残差块包括构成残差连接的第二卷积模块和第三卷积模块，所述第二卷积模块和第三卷积模块均包括依次连接的第二卷积层和Relu激活函数层，所述第一卷积层的卷积核大小为7×7，所述第二卷积层的卷积核大小为3×3，所述最大池化层的池化核大小为3×3，所述平均池化层的池化核大小为1×1。
6.根据权利要求1所述的基于RGB图像和深度图像的坍落度预测方法，其特征在于，所述对所述原始RGB图像序列和原始深度图像序列进行预处理，得到RGB图像序列和深度图像序列，具体包括：
对所述原始深度图像序列中的原始深度图像进行噪点去除，得到经处理的原始深度图像序列；
对所述原始RGB图像序列中的原始RGB图像进行亮度提高，得到经处理的原始RGB图像序列；
将所述经处理的原始深度图像序列和所述经处理的原始RGB图像序列根据对应的搅拌时刻进行对齐，得到对齐后的原始深度图像序列和对齐后的原始RGB图像序列；
将所述对齐后的原始深度图像序列和所述对齐后的原始RGB图像序列进行时间段截取，得到截取后的原始深度图像序列和截取后的原始RGB图像序列；
将所述截取后的原始深度图像序列和所述截取后的原始RGB图像序列进行尺寸变换和归一化处理，得到RGB图像序列和深度图像序列。
7.根据权利要求6所述的基于RGB图像和深度图像的坍落度预测方法，其特征在于，所述时间段截取所对应的图像为混凝土搅拌轴旋转一周的图像。
8.一种基于RGB图像和深度图像的坍落度预测装置，其特征在于，包括：
图像处理模块，被配置为获取混凝土搅拌阶段采集到的混凝土表面的原始RGB图像序列和原始深度图像序列，对所述原始RGB图像序列中的原始RGB图像和原始深度图像序列中的原始深度图像进行预处理，得到RGB图像序列和深度图像序列；
模型构建模块，被配置为构建基于双模态特征融合的坍落度预测模型并训练，得到经训练的坍落度预测模型；
执行模块，被配置为将所述RGB图像序列中的RGB图像及其对应的所述深度图像序列中的深度图像输入所述经训练的坍落度预测模型，得到坍落度的预测值。
9.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202311709417.0A 2023-12-13 2023-12-13 基于rgb图像和深度图像的坍落度预测方法及装置 Active CN117422709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311709417.0A CN117422709B (zh) 2023-12-13 2023-12-13 基于rgb图像和深度图像的坍落度预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311709417.0A CN117422709B (zh) 2023-12-13 2023-12-13 基于rgb图像和深度图像的坍落度预测方法及装置

Publications (2)

Publication Number Publication Date
CN117422709A true CN117422709A (zh) 2024-01-19
CN117422709B CN117422709B (zh) 2024-04-16

Family

ID=89528632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311709417.0A Active CN117422709B (zh) 2023-12-13 2023-12-13 基于rgb图像和深度图像的坍落度预测方法及装置

Country Status (1)

Country Link
CN (1) CN117422709B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927184A (zh) * 2021-01-15 2021-06-08 重庆交通大学 基于深度学习的自密实混凝土性能检测方法及装置
CN113902725A (zh) * 2021-10-19 2022-01-07 中国联合网络通信集团有限公司 坍落度的测量方法、装置、设备及存储介质
CN114266989A (zh) * 2021-11-15 2022-04-01 北京建筑材料科学研究总院有限公司 一种混凝土拌合物和易性测定方法和装置
CN115908271A (zh) * 2022-10-26 2023-04-04 北京建筑材料科学研究总院有限公司 一种泵送混凝土坍落度在线监测方法、装置及设备
KR20230049410A (ko) * 2021-10-06 2023-04-13 주식회사 에스에이치엘에이비 슬럼프 측정 방법, 그리고 이를 수행하는 측정 장치 및 시스템
CN116862883A (zh) * 2023-07-13 2023-10-10 西安理工大学 基于图像语义分割的混凝土坍落度检测方法
CN117218118A (zh) * 2023-11-07 2023-12-12 福建南方路面机械股份有限公司 基于图像序列的坍落度监测方法、装置及可读介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927184A (zh) * 2021-01-15 2021-06-08 重庆交通大学 基于深度学习的自密实混凝土性能检测方法及装置
KR20230049410A (ko) * 2021-10-06 2023-04-13 주식회사 에스에이치엘에이비 슬럼프 측정 방법, 그리고 이를 수행하는 측정 장치 및 시스템
CN113902725A (zh) * 2021-10-19 2022-01-07 中国联合网络通信集团有限公司 坍落度的测量方法、装置、设备及存储介质
CN114266989A (zh) * 2021-11-15 2022-04-01 北京建筑材料科学研究总院有限公司 一种混凝土拌合物和易性测定方法和装置
CN115908271A (zh) * 2022-10-26 2023-04-04 北京建筑材料科学研究总院有限公司 一种泵送混凝土坍落度在线监测方法、装置及设备
CN116862883A (zh) * 2023-07-13 2023-10-10 西安理工大学 基于图像语义分割的混凝土坍落度检测方法
CN117218118A (zh) * 2023-11-07 2023-12-12 福建南方路面机械股份有限公司 基于图像序列的坍落度监测方法、装置及可读介质

Also Published As

Publication number Publication date
CN117422709B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
US11334763B2 (en) Image processing methods, training methods, apparatuses, devices, media, and programs
CN110866471A (zh) 人脸图像质量评价方法及装置、计算机可读介质、通信终端
CN110021052B (zh) 用于生成眼底图像生成模型的方法和装置
WO2020093724A1 (zh) 生成信息的方法和装置
CN110413812B (zh) 神经网络模型的训练方法、装置、电子设备及存储介质
CN112419179B (zh) 修复图像的方法、装置、设备和计算机可读介质
CN110059623B (zh) 用于生成信息的方法和装置
CN111915480A (zh) 生成特征提取网络的方法、装置、设备和计算机可读介质
CN112580481A (zh) 基于边缘节点和云端协同视频处理方法、装置、服务器
CN117218118B (zh) 基于图像序列的坍落度监测方法、装置及可读介质
CN118097157B (zh) 基于模糊聚类算法的图像分割方法及***
WO2023168899A1 (zh) 圆锥破碎机排料口尺寸智能调整方法、装置及可读介质
CN116051719A (zh) 一种基于神经辐射场模型的图像渲染方法及装置
CN112631947A (zh) 应用程序的测试控制方法、装置、电子设备及存储介质
CN110555861A (zh) 光流计算方法、装置及电子设备
CN117422709B (zh) 基于rgb图像和深度图像的坍落度预测方法及装置
CN115731341A (zh) 三维人头重建方法、装置、设备及介质
CN115656189B (zh) 基于光度立体与深度学习算法的缺陷检测方法及装置
CN111292406A (zh) 模型渲染方法、装置、电子设备及介质
CN108256451B (zh) 用于检测人脸的方法和装置
CN112418233B (zh) 图像处理方法、装置、可读介质及电子设备
CN111680754B (zh) 图像分类方法、装置、电子设备及计算机可读存储介质
CN116188254A (zh) 基于傅里叶域的超分图像处理方法、装置、设备及介质
CN110222777B (zh) 图像特征的处理方法、装置、电子设备及存储介质
CN113554068A (zh) 一种实例分割数据集的半自动标注方法、装置及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant