CN112016533A - 物料检测方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本发明提供了一种物料检测方法、装置、电子设备和计算机可读存储介质，涉及自动装车技术领域，该方法包括获取待检测物料装载车厢的视频监控数据；对视频监控数据的视频图像进行预处理，得到目标监控图像；每幅目标监控图像包含有车厢图像和内部物料图像；对目标监控图像进行语义分割，并基于语义分割结果确定待检测物料装载车厢的物料装载信息。本发明降低了图像获取的成本，在检测方式更加简便的同时实现了车厢物料堆型的检测。

Description

物料检测方法、装置、电子设备和计算机可读存储介质

技术领域

本发明涉及自动装车技术领域，尤其是涉及一种物料检测方法、装置、电子设备和计算机可读存储介质。

背景技术

在汽车自动装车***的设计与实施中，由于装料时的车速、装料速度、车辆装载能力等不确定性因素的存在，常常出现装料过多造成的撒料以及装料不足造成的空载浪费，因此需要使用传感器对当前车辆装载情况进行实时测量，反馈调节装载速度以及车速，以实现均匀装料，避免撒料等情况的发生。

当前进行料堆实时监测测量的解决方案主要包括激光雷达、双目相机、单/双目相机搭配线结构光等，其原理主要为获取装载处的三维点云数据或者深度数据，从而计算已经装载的物料量，但这些方案成本较高，同时容易受到灰尘、落料等因素的干扰。

因此，目前自动装车检测成本较高，且物料信息计算方法复杂的问题尚未有效的解决方案。

发明内容

本发明的目的在于提供一种物料检测方法、装置、电子设备和计算机可读存储介质，降低了图像获取的成本，在检测方式更加简便的同时实现了车厢物料堆型的检测。

第一方面，本发明实施例提供一种物料检测方法，方法包括：获取待检测物料装载车厢的视频监控数据；对视频监控数据的视频图像进行预处理，得到目标监控图像；每幅目标监控图像包含有车厢图像和内部物料图像；对目标监控图像进行语义分割，并基于语义分割结果确定待检测物料装载车厢的物料装载信息。

在可选的实施方式中，获取待检测物料装载车厢的视频监控数据的步骤，包括：通过监控相机获取待检测物料装载车厢的视频监控数据。

在可选的实施方式中，通过监控相机获取待检测物料装载车厢的视频监控数据的步骤，包括：采取侧向拍摄的方式通过监控相机获取待检测物料装载车厢的视频监控数据；监控相机设置于待检测物料装载车厢的上方预设位置处。

在可选的实施方式中，对视频监控数据的视频图像进行预处理，得到目标监控图像的步骤，包括：提取视频监控数据的视频图像的感兴趣区域；对感兴趣区域进行仿射变换，得到目标监控图像；目标监控图像中只包含有车厢图像和内部物料图像；车厢图像为水平图像。

在可选的实施方式中，对目标监控图像进行语义分割，并基于语义分割结果确定待检测物料装载车厢的物料装载信息的步骤，包括：通过预先训练好的语义分割模型对目标监控图像进行语义分割，得到语义分割结果；语义分割结果包括物料像素面积和车厢边界像素面积；基于物料像素面积和车厢边界像素面积判别待检测物料装载车厢的物料装载信息。

在可选的实施方式中，基于物料像素面积和车厢边界像素面积判别待检测物料装载车厢的物料装载信息的步骤，包括：预先设置第一判别阈值范围；确定物料像素面积和车厢边界像素面积的面积比值；如果面积比值处于第一判别阈值范围，则判别待检测物料装载车厢的物料装载信息为装载合格。

在可选的实施方式中，基于物料像素面积和车厢边界像素面积判别待检测物料装载车厢的物料装载信息的步骤，包括：预先设置第二判别阈值范围；确定物料像素面积和车厢边界像素面积的面积差值；如果面积差值处于第二判别阈值范围，则判别待检测物料装载车厢的物料装载信息为装载合格。

第二方面，本发明实施例提供一种物料检测装置，装置包括：数据获取模块，用于获取待检测物料装载车厢的视频监控数据；数据处理模块，用于对视频监控数据的视频图像进行预处理，得到目标监控图像；每幅目标监控图像包含有车厢图像和内部物料图像；物料检测模块，用于对目标监控图像进行语义分割，并基于语义分割结果确定待检测物料装载车厢的物料装载信息。

第三方面，本发明实施例提供一种电子设备，包括处理器和存储器；存储器上存储有计算机程序，计算机程序在被处理器运行时执行如第一方面任一项的方法。

第四方面，本发明实施例提供一种计算机可读存储介质，用于储存如第一方面任一项方法所用的计算机软件指令。

本发明提供的物料检测方法、装置、电子设备和计算机可读存储介质，该方法首先获取待检测物料装载车厢的视频监控数据，进而对视频监控数据的视频图像进行预处理，得到目标监控图像，其中，每幅目标监控图像包含有车厢图像和内部物料图像；对目标监控图像进行语义分割，并基于语义分割结果确定待检测物料装载车厢的物料装载信息。上述方式无需采用成本较高的图像获取设备（诸如激光雷达、双目相机、单/双目相机搭配线结构光等）获取车厢图像数据，通过获取视频监控数据并检测待检测物料装载车厢的装载情况，降低了图像获取的成本；通过采用预处理和语义分割对获取的视频监控数据进行处理，无需进行三维点云分析，在检测方式更加简便的同时实现了车厢物料堆型的检测。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种物料检测方法的流程示意图；

图2为本发明实施例提供的一种视频监控数据获取的示意图；

图3为本发明实施例提供的一种目标监控图像经过语义分割后的语义分割结果的示意图；

图4为本发明实施例提供的另一种物料检测方法的流程示意图；

图5为本发明实施例提供的一种物料检测模型的训练流程示意图；

图6为本发明实施例提供的一种物料检测装置的结构示意图；

图7为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

考虑到目前自动装车检测成本较高，且物料信息计算方法复杂，本发明实施例提供了一种物料检测方法、装置、电子设备和计算机可读存储介质，有效降低了图像获取的成本，在检测方式更加简便的同时实现了车厢物料堆型的检测。

为便于理解，首先对本发明实施例提供的一种物料检测方法进行详细说明，参见图1所示的一种物料检测方法的流程示意图，该方法主要包括如下步骤S102至步骤S106：

步骤S102，获取待检测物料装载车厢的视频监控数据。

视频监控数据为当前的待检测物料装载车厢在进行装料时的视频数据，通过获取该视频监控数据可以获知当前的待检测物料装载车厢的装料图像，在一种实施方式中，待检测物料装载车厢的视频监控数据可以通过监控相机进行获取，由于监控相机成本较低，与现有技术中采用激光雷达、双目相机、单/双目相机搭配线结构光等方式相比，可以较大程度的节约成本。除监控相机以外，还可以采用其他低成本的图像采集设备对待检测物料装载车厢的视频监控数据进行获取，此处不作具体限定。

步骤S104，对视频监控数据的视频图像进行预处理，得到目标监控图像。

在一种实施方式中，通过获取的视频监控数据确定不同时刻的视频图像，由于视频监控数据的视频图像的质量依赖于监控相机的设置位置等因素，导致获取的视频图像可以包含有出车厢和物料以外的其他的图像，考虑到提升车厢在装载物料时的检测效果，对获取的视频监控数据的视频图像进行预处理，处理后的目标监控图像中尽可能的只包含有车厢图像和内部物料图像的目标监控图像，从而便于对目标监控图像中的车厢部分和物料部分进行语义分割。

步骤S106，对目标监控图像进行语义分割，并基于语义分割结果确定待检测物料装载车厢的物料装载信息。

通过上述预处理得到的目标监控图像，可以更加清晰准确的对当前待检测物料装载车厢的装载进度进行实时获取，通过对目标监控图像进行语义分割，可以确定物料与车厢的相对关系，诸如，物料高度与车厢边缘的相对关系，并进一步根据确定的物料与车厢的相对关系定性的判断车厢是否装载完成。可以理解的是，当检测到物料的高度在距离车厢边缘的距离小于指定阈值时，可以判别物料装载完成。为了实现均匀装料，避免撒料等情况，则可以设定物料高度与车厢边缘的相对关系范围，从而实现有效的装料。

本发明实施例提供的物料检测方法，无需采用成本较高的图像获取设备（诸如激光雷达、双目相机、单/双目相机搭配线结构光等）获取车厢图像数据，通过获取视频监控数据并检测待检测物料装载车厢的装载情况，降低了图像获取的成本；通过采用预处理和语义分割对获取的视频监控数据进行处理，无需进行三维点云分析，在检测方式更加简便的同时实现了车厢物料堆型的检测。

为便于理解，参见图2所示的一种视频监控数据获取的示意图，图中所示为监控相机的一种设置方式，图中物料堆型检测***也即本实施例中执行物料检测方法的***，在一种实施方式中，监控相机可以采取侧向拍摄的方式通过监控相机获取待检测物料装载车厢的视频监控数据，侧向拍摄也即将监控相机倾斜设置，以便监控相机拍摄到车厢内部侧面的画面，从而获取车厢内物料的高度。可以理解的是，由于物料装载时的垛型原因，采取侧向拍摄的方式可以更加准确的获取物料装载的情况。此外，图2中所示监控相机设置于车厢正上方，在实际应用时，监控相机可以设置于待检测物料装载车厢的上方预设位置处，该预设位置可以为诸如车厢上方（也即车厢顶部）的前、后、左、右、上、下等各个方向，根据具体情况进行监控相机的安装，此处仅作示意，不作具体限定。

在一种实施方式中，上述对视频监控数据的视频图像进行预处理，得到目标监控图像的步骤，包括以下步骤（1）和步骤（2）：

步骤（1），提取视频监控数据的视频图像的感兴趣区域。通过在视频图像上提取感兴趣区域（region of interest，ROI），可以更加有针对性的获知需要检测物料的装料位置，以便对该感兴趣区域（也可以称为ROI检测区域）进行图像分析。感兴趣区域诸如可以为整个获取的视频图像的范围，也可以为待检测物料装载车厢的某一部分的区域，在实际应用时，根据实际需求进行设定。

步骤（2），对感兴趣区域进行仿射变换，得到目标监控图像。考虑到监控相机获取的视频图像可能并不标准，诸如，视频图像可能存在上下倾斜或左右倾斜的情况，由于图像倾斜可能会导致检测结果存在较大误差，因此对感兴趣区域进行仿射变换，得到车厢图像为水平图像的仿射处理后的目标监控图像，同时该目标监控图像中只包含有车厢图像和内部物料图像。可以理解的是，感兴趣区域中的车厢图像为水平图像，也即在感兴趣区域中，车厢的边缘（诸如车厢上边缘）为水平。通过处理得到水平的车厢图像，当车厢在装载物料时，可以根据车厢和物料的相对关系，较为准确的判断物料的装载程度，避免了由于车厢图像倾斜导致的物料高度判断有误的情况。

当得到上述目标监控图像后，对目标监控图像进行语义分割，以便得到目标监控图像中分割后的车厢图像和物料图像，进而可以基于语义分割结果确定待检测物料装载车厢的物料装载信息，具体可以包括以下步骤1和步骤2：

步骤1，通过预先训练好的语义分割模型对目标监控图像进行语义分割，得到语义分割结果，在本实施例中，预先训练好的语义分割诸如可以采用训练好的实例分割模型（Mask-Regions with CNN features，Mask-Rcnn），也可以采用其他的卷积神经网络的深度学习语义分割网络，使用但不限于任何分割网络、任何损失函数、任何深度学习框架，同时包括机器学习等其他方法。对目标监控图像进行语义分割后的语义分割结果可以参见图3所示，图中白色部分为物料图像，黑色部分为车厢图像，通过进行语义分割，语义分割结果包括物料像素面积和车厢边界像素面积，从而可以更加直观准确的获取物料与车厢的相对关系。

步骤2，基于物料像素面积和车厢边界像素面积判别待检测物料装载车厢的物料装载信息，在判别检测物料装载车厢的物料装载信息时可以进一步包括以下两种计算方式A和计算方式B：

计算方式A：预先设置第一判别阈值范围，该第一判别阈值范围诸如可以是数值范围，通过确定物料像素面积和车厢边界像素面积的面积比值，如果面积比值处于第一判别阈值范围，则判别待检测物料装载车厢的物料装载信息为装载合格。诸如，可以设置第一判别阈值范围为[x,y]，当（物料像素面积/车厢边界像素面积）处于该阈值范围内时，则认为待检测物料装载车厢的物料装载信息为装载合格，也即此时装载的物料不会太少浪费车厢，也不会太多造成撒料等情况。进而当（物料像素面积/车厢边界像素面积）<x时认为装料过低，当（物料像素面积/车厢边界像素面积）>y时认为装料过高。

计算方式B：预先设置第二判别阈值范围，该第二判别阈值范围也可以诸如是一个数值范围，该数值范围根据实际情况进行设置，通过确定物料像素面积和车厢边界像素面积的面积差值，如果面积差值处于第二判别阈值范围，则判别待检测物料装载车厢的物料装载信息为装载合格。诸如，可以设置第一判别阈值范围为[m,n]，当（车厢边界像素面积-物料像素面积）处于该阈值范围内时，则认为待检测物料装载车厢的物料装载信息为装载合格，也即此时装载的物料不会太少浪费车厢，也不会太多造成撒料等情况。进而当（车厢边界像素面积-物料像素面积）<m时认为装料过低，当（车厢边界像素面积-物料像素面积）>n时认为装料过高。

此外，本发明实施例提供的物料检测方法，还可以参见图4所示的另一种物料检测方法的流程示意图，首先进行图像数据获取与训练，进而进行数据采集与预处理，数据采集也即上述获取待检测物料装载车厢的视频监控数据，并对该视频监控数据进行预处理，进一步进行语义分割和状态判断，确定待检测物料装载车厢的装料状态。

上述图4中的图像数据获取也即首先获取车厢装载物料的图像数据，以便对本实施例采用的物料检测模型进行训练，物料检测模型的训练可以参见图5所示的一种物料检测模型的训练流程示意图，首先进行设备部署安装，设备也即上述监控相机，进而通过监控相机采集的数据对物料检测模型进行训练，训练好后模型部署现场使用，现场使用也即上述图4所示的各个实施步骤，并进一步根据现场使用的结果进行反馈，以便对模型进行优化，从而提升物料检测模型的检测效果。

综上，通过采用该方法，可以在图像分析的角度解决了高度测量的问题，从而无需采用成本较高的图像获取设备（诸如激光雷达、双目相机、单/双目相机搭配线结构光等）获取车厢图像数据，降低了图像获取的成本；也无需进行三维点云分析，在检测方式更加简便的同时实现了车厢物料堆型的检测。

本发明实施例提供一种物料检测装置，参见图6所示的一种物料检测装置的结构示意图，该装置主要包括以下部分：

数据获取模块602，用于获取待检测物料装载车厢的视频监控数据；

数据处理模块604，用于对视频监控数据的视频图像进行预处理，得到目标监控图像；每幅目标监控图像包含有车厢图像和内部物料图像；

物料检测模块606，用于对目标监控图像进行语义分割，并基于语义分割结果确定待检测物料装载车厢的物料装载信息。

本发明实施例提供的物料检测装置，无需采用成本较高的图像获取设备（诸如激光雷达、双目相机、单/双目相机搭配线结构光等）获取车厢图像数据，通过获取视频监控数据并检测待检测物料装载车厢的装载情况，降低了图像获取的成本；通过采用预处理和语义分割对获取的视频监控数据进行处理，无需进行三维点云分析，在检测方式更加简便的同时实现了车厢物料堆型的检测。

在一种实施方式中，上述数据获取模块602，进一步用于通过监控相机获取待检测物料装载车厢的视频监控数据。

在一种实施方式中，上述数据获取模块602，进一步用于采取侧向拍摄的方式通过监控相机获取待检测物料装载车厢的视频监控数据；监控相机设置于待检测物料装载车厢的上方预设位置处。

在一种实施方式中，上述数据处理模块604，进一步用于提取视频监控数据的视频图像的感兴趣区域；对感兴趣区域进行仿射变换，得到目标监控图像；目标监控图像中只包含有车厢图像和内部物料图像；车厢图像为水平图像。

在一种实施方式中，物料检测模块606，用于通过预先训练好的语义分割模型对目标监控图像进行语义分割，得到语义分割结果；语义分割结果包括物料像素面积和车厢边界像素面积；基于物料像素面积和车厢边界像素面积判别待检测物料装载车厢的物料装载信息。

在一种实施方式中，上述物料检测模块606，进一步用于预先设置第一判别阈值范围；确定物料像素面积和车厢边界像素面积的面积比值；如果面积比值处于第一判别阈值范围，则判别待检测物料装载车厢的物料装载信息为装载合格。

在一种实施方式中，上述物料检测模块606，进一步用于预先设置第二判别阈值范围；确定物料像素面积和车厢边界像素面积的面积差值；如果面积差值处于第二判别阈值范围，则判别待检测物料装载车厢的物料装载信息为装载合格。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例提供了一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。

图7为本发明实施例提供的一种电子设备的结构示意图，该电子设备100包括：处理器70，存储器71，总线72和通信接口73，所述处理器70、通信接口73和存储器71通过总线72连接；处理器70用于执行存储器71中存储的可执行模块，例如计算机程序。

其中，存储器71可能包含高速随机存取存储器（RAM，RandomAccessMemory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口73（可以是有线或者无线）实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线72可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器71用于存储程序，所述处理器70在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流程定义的装置所执行的方法可以应用于处理器70中，或者由处理器70实现。

处理器70可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器70中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器70可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器71，处理器70读取存储器71中的信息，结合其硬件完成上述方法的步骤。

本发明实施例所提供的物料检测方法、装置、电子设备和计算机可读存储介质的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。

本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种物料检测方法，其特征在于，包括：

获取待检测物料装载车厢的视频监控数据；

对所述视频监控数据的视频图像进行预处理，得到目标监控图像；每幅所述目标监控图像包含有车厢图像和内部物料图像；

对所述目标监控图像进行语义分割，并基于语义分割结果确定所述待检测物料装载车厢的物料装载信息。

2.根据权利要求1所述的方法，其特征在于，所述获取待检测物料装载车厢的视频监控数据的步骤，包括：

通过监控相机获取所述待检测物料装载车厢的所述视频监控数据。

3.根据权利要求2所述的方法，其特征在于，所述通过监控相机获取所述待检测物料装载车厢的所述视频监控数据的步骤，包括：

采取侧向拍摄的方式通过所述监控相机获取所述待检测物料装载车厢的所述视频监控数据；所述监控相机设置于所述待检测物料装载车厢的上方预设位置处。

4.根据权利要求1所述的方法，其特征在于，所述对所述视频监控数据的视频图像进行预处理，得到目标监控图像的步骤，包括：

提取所述视频监控数据的视频图像的感兴趣区域；

对所述感兴趣区域进行仿射变换，得到所述目标监控图像；所述目标监控图像中只包含有车厢图像和内部物料图像；所述车厢图像为水平图像。

5.根据权利要求1所述的方法，其特征在于，所述对所述目标监控图像进行语义分割，并基于语义分割结果确定所述待检测物料装载车厢的物料装载信息的步骤，包括：

通过预先训练好的语义分割模型对所述目标监控图像进行语义分割，得到语义分割结果；所述语义分割结果包括物料像素面积和车厢边界像素面积；

基于所述物料像素面积和所述车厢边界像素面积判别所述待检测物料装载车厢的所述物料装载信息。

6.根据权利要求5所述的方法，其特征在于，所述基于所述物料像素面积和所述车厢边界像素面积判别所述待检测物料装载车厢的所述物料装载信息的步骤，包括：

预先设置第一判别阈值范围；

确定所述物料像素面积和所述车厢边界像素面积的面积比值；

如果所述面积比值处于所述第一判别阈值范围，则判别所述待检测物料装载车厢的所述物料装载信息为装载合格。

7.根据权利要求5所述的方法，其特征在于，所述基于所述物料像素面积和所述车厢边界像素面积判别所述待检测物料装载车厢的所述物料装载信息的步骤，包括：

预先设置第二判别阈值范围；

确定所述物料像素面积和所述车厢边界像素面积的面积差值；

如果所述面积差值处于所述第二判别阈值范围，则判别所述待检测物料装载车厢的所述物料装载信息为装载合格。

8.一种物料检测装置，其特征在于，所述装置包括：

数据获取模块，用于获取待检测物料装载车厢的视频监控数据；

数据处理模块，用于对所述视频监控数据的视频图像进行预处理，得到目标监控图像；每幅所述目标监控图像包含有车厢图像和内部物料图像；

物料检测模块，用于对所述目标监控图像进行语义分割，并基于语义分割结果确定所述待检测物料装载车厢的物料装载信息。

9.一种电子设备，其特征在于，包括处理器和存储器；

所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，用于储存如权利要求1至7任一项所述方法所用的计算机软件指令。

Images