CN112348894B - 废钢货车位置及状态识别方法、***、设备及介质 - Google Patents

废钢货车位置及状态识别方法、***、设备及介质 Download PDF

Info

Publication number
CN112348894B
CN112348894B CN202011210829.6A CN202011210829A CN112348894B CN 112348894 B CN112348894 B CN 112348894B CN 202011210829 A CN202011210829 A CN 202011210829A CN 112348894 B CN112348894 B CN 112348894B
Authority
CN
China
Prior art keywords
scrap
truck
wagon
trucks
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011210829.6A
Other languages
English (en)
Other versions
CN112348894A (zh
Inventor
庞殊杨
袁钰博
刘斌
郭强
田君仪
周文靖
李邈
龚强
贾鸿盛
毛尚伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CISDI Chongqing Information Technology Co Ltd
Original Assignee
CISDI Chongqing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CISDI Chongqing Information Technology Co Ltd filed Critical CISDI Chongqing Information Technology Co Ltd
Priority to CN202011210829.6A priority Critical patent/CN112348894B/zh
Publication of CN112348894A publication Critical patent/CN112348894A/zh
Application granted granted Critical
Publication of CN112348894B publication Critical patent/CN112348894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种废钢货车位置及状态识别方法、***、设备及介质，包括：采集废钢料厂中当前堆卸废钢物料区域下包含废钢货车的图像；预处理所述图像生成数据集，利用卷积神经网络训练所述数据集得到检测废钢货车位置的检测模型；调用所述检测模型识别待测图像内每辆废钢货车的位置信息；对比识别的废钢货车的位置信息与感兴趣区域的位置信息，根据所述感兴趣区域内废钢货车的外观特征确定所述废钢货车的类型，判断当前所述废钢货车的状态。本申请相比现有技术，实现了智能化识别废钢货车的位置和状态，具有效率高、准确率高的优点，为后续自动化处理提供强有力依据。

Description

废钢货车位置及状态识别方法、***、设备及介质
技术领域
本申请属于图像处理领域，具体涉及冶金领域，特别是涉及一种废钢货车位置及状态识别方法、***、设备及介质。
背景技术
钢厂每年都要收储大量的废钢料，其主要是通过货车运输废钢料，例如，采用废钢堆料货车和废钢卸料货车在指定的场地区域进行堆料和卸料。废钢堆料货车是由废钢料厂统一提供的，形状和外观统一的货车；废钢卸料货车是由外部渠道进入的，与废钢堆料货车形状和外观不同且为种类多样的货车。
为了实时监控废钢货车堆卸料情况，通常采用人工方式统计废钢货车所在位置，判断指定区域内废钢货车的状态；然而，采用人工方式不仅工作量大、操作繁琐、还容易因人为因素导致统计遗漏的现象。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种废钢货车位置及状态识别方法、***、设备及介质，用于识别废钢货车的位置及状态，确保对废钢料厂的情况实时监控。
为实现上述目的及其他相关目的，本申请提供一种废钢货车位置及状态识别方法，包括：
采集废钢料厂中当前堆卸废钢物料区域下包含废钢货车的图像；
预处理所述图像生成数据集，利用卷积神经网络训练所述数据集得到检测废钢货车位置的检测模型；
调用所述检测模型识别待测图像内每辆废钢货车的位置信息；
对比识别的废钢货车的位置信息与感兴趣区域的位置信息，根据所述感兴趣区域内废钢货车的外观特征确定所述废钢货车的类型，判断当前所述废钢货车的状态。
本申请的目的在于提供一种废钢货车位置及状态识别***，包括：
图像采集模块，用于采集废钢料厂中当前堆卸废钢物料区域下包含废钢货车的图像；
检测模型生成模块，用于预处理所述图像生成数据集，利用卷积神经网络训练所述数据集得到检测废钢货车位置的检测模型；
位置信息识别模块，用于调用所述检测模型识别待测图像内每辆废钢货车的位置信息；
状态识别模块，用于对比识别的废钢货车的位置信息与感兴趣区域的位置信息，根据所述感兴趣区域内废钢货车的外观特征确定所述废钢货车的类型，判断当前所述废钢货车的状态。
本申请另一目的在于提供一种电子设备，包括：
一个或多个处理装置；
存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置执行所述废钢货车位置及状态识别方法。
本申请还一目的在于提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于使所述计算机执行所述废钢货车位置及状态识别方法。
如上所述，本申请的废钢货车位置及状态识别方法、***、设备及介质，具有以下有益效果：
基于机器视觉采集废钢料厂中当前堆卸废钢物料区域下包含废钢货车的图像，利用卷积神经网络构建检测废钢货车位置信息的检测模型，通过对比识别废钢货车的位置信息与感兴趣区域的位置信息，利用废钢货车的外观特征确定所述废钢货车的类型，从而确定废钢货车类型、数量以及状态，相比现有技术，实现了智能化识别废钢货车的位置和状态，具有效率高、准确率高的优点，为后续自动化处理提供强有力依据。
附图说明
图1显示为本申请提供的一种废钢货车位置及状态识别方法流程图；
图2显示为本申请提供的一种废钢料厂摄像装置设置场景示意图；
图3显示为本申请提供的一种废钢货车位置及状态识别方法的一实施例流程图；
图4显示为本申请提供的一种废钢货车位置及状态识别***结构框图；
图5显示为本申请提供的一种电子设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，为本申请提供的一种废钢货车位置及状态识别方法流程图，包括：
步骤S1，采集废钢料厂中当前堆卸废钢物料区域下包含废钢货车的图像；
具体地，废钢货车包括废钢堆料货车和废钢卸料货车，在指定的场地区域(堆卸废钢物料区域)下进行堆料和卸料，通过摄像装置采集废钢料厂中当前堆卸废钢物料区域下包含废钢货车的图像。
步骤S2，预处理所述图像生成数据集，利用卷积神经网络训练所述数据集得到检测废钢货车位置的检测模型；
步骤S3，调用所述检测模型识别待测图像内每辆废钢货车的位置信息；
步骤S4，对比识别的废钢货车的位置信息与感兴趣区域的位置信息，根据所述感兴趣区域内废钢货车的外观特征确定所述废钢货车的类型，判断当前所述废钢货车的状态。
在本实施例中，通过卷积神经网络构建检测模型，利用检测模型识别待测图像中的每辆废钢货车的位置信息，通过比对识别的废钢货车的位置信息与感兴趣区域的位置信息，根据废钢货车的外观特征确定所述废钢货车的类型，从而确定废钢货车类型、数量以及状态，相比现有技术，实现了智能化识别废钢货车的位置和状态，具有效率高、准确率高的优点，为后续自动化处理提供强有力依据。
请参阅图3，为本申请提供的一种废钢货车位置及状态识别方法的一实施例流程图，详述如下：
在上述实施例的基础上，在步骤S1之前还包括：
利用位于所述废钢料厂横梁上的摄像装置采集图像，将所述图像内堆卸废钢物料区域设置为感兴趣区域。
具体地，在废钢料厂的横梁上设置摄像装置，即，摄像头或相机，根据相机位和实际场景将相机画面内的堆卸废钢物料区域设置为识别感兴趣区域；其中相机包含工业，IP(球机，枪机)等相机，在横梁设置多个相机，详见图2，为废钢料厂摄像装置设置场景示意图，确保每个相机拍摄的画面都覆盖感兴趣区域，即，堆卸废钢物料区域，使得相机能够采集包含在卸废钢物料区域下的废钢货车的图像。
其中，步骤S2进一步包括：
采集堆卸废钢物料区域内包含废钢货车的图像，标注所述图像内废钢货车的位置信息形成数据集；
将所述数据集内图像输入基于深度学习的卷积神经网络进行训练，建立用于检测废钢货车位置的检测模型；其中，所述卷积神经网络包括SSD(Single Shot MultiBoxDetector)、yolo(you only look once)或faster-rcnn(RPN+CNN+ROI)中的任意一种目标检测模型；其所述网络包括SSD、yolo系列、faster-rcnn等目标检测网络，也可以用其他目标检测网络替代。
具体地，采用SSD目标检测模型结合了YOLO中的回归思想和Faster R-CNN中的anchor机制，使用全图各个位置的多尺度区域特征进行回归，既保持了YOLO速度快的特性，也保证了窗口预测的跟Faster R-CNN一样比较精准。采用YOLO目标检测模型将目标检测任务转换成一个回归问题，大大加快了检测的速度，使得YOLO可以每秒处理45张图像；同时，由于每个网络预测目标窗口时使用的是全图信息，使得误报率大幅降低。而采用faster-rcnn目标检测模型基于深度学习目标检测的流程变得越来越精简，识别精度越来越高，识别速度也越来越快。
例如，所述SSD目标检测模型可为MobileNetV2-SSD深度学习神经网络，其中，所述MobileNetV2网络包括用于提高图像特征精度的反转残差模块(InvertedResidua)和用于防止非线性函数Relu信息丢失的线性瓶颈模块(Linear Bottleneck)，所述SSD网络包括基础网络和金字塔网络，其中基础网络是可以变换的。
具体地，MobileNetV2网络中，反转残差模块主要用来增加图像特征的提取以提高精度，而线性瓶颈模块主要用来避免非线性的激活函数ReLU的信息丢失。MobileNetV2网络结构包括：反转残差模块Linear Bottleneck包括用于增加维度的维度层、用于采样的采样层以及用于降低维度的输出层。首先，在维度层中，维度层通过第一卷积核和激活函数将图像信息维度由k维增加至tk维，例如，输入通过1×1的第一卷积核conv以及激活函数ReLU将维度从k维增加到tk维；之后，在采样层中，采样层通过第二卷积核和激活函数将图像信息进行采样，例如，通过3×3的第二卷积核conv卷积核以及激活函数ReLU可分离卷积对图像进行降采样(步长/stride>1时)，此时特征维度已经为tk维度；最后，输出层通过第三卷积核将图像信息进行降低维度，图像信息的维度由tk维降低至k’维，例如，通过1×1第三卷积核conv(无ReLU)进行降维，维度从tk降低到k’维。
此外，对于线性瓶颈模块模块Linear Bottleneck，在线性瓶颈模块模块的神经网络层中，当卷积核的步长为1时，则将神经网络层的输入连接至输出会使用elementwise的sum将输入和输出特征连接；当步长为2时，则无shortcut连接输入和输出特征。
在一些实施过程中，可采用SSD(single-stage)的目标检测算法，利用不同尺度的特征图去预测不同框大小的目标。SSD网络包括基础网络和金字塔网络，其中基础网络是可以变换的，例如，SSD的基础网络是VGG-16的前4层网络，金字塔网络是特征图逐渐变小的简单卷积网络由5部分构成。
又例如，可将MobileNetV2网络替换原始SSD网络架构中的VGG-16，从Conv0到Conv13的配置与MobileNetV2模型相适应，并且去掉MobileNetV2最后的全局平均池化、全连接层和Softmax层,可采用Conv6和Conv7分别替代了原VGG-16的FC6和FC7。在一些实施过程中，利用MobileNetV2-SSD深度学习神经网络先用MobileNetV2网络提取图像特征输出特征图再用SSD目标检测算法对MobileNetV2网络输出的多个特征图上的信息进行检测。
具体地，所述废钢货车位置信息的内容及格式为：
[Truckxmin，Truckymin，Truckxmax，Truckymax]
其中，Truckxmin、Truckymin分别为废钢货车矩形目标框在图像中的左上角x、y坐标，Truckxmax、Truckymax分别为废钢货车矩形目标框在图像中的右下角x、y坐标。
在步骤S3中，调用建立的废钢货车目标检测模型，识别并记录视频中每一个废钢货车目标的位置信息；调用该模型后可以获得视频图像内所有废钢货车的位置信息，其位置信息的内容与格式为：
Figure BDA0002758669150000041
每一行分别对应一个废钢货车矩形目标框；Truck1xmin、Truck1ymin分别为第一个废钢货车识别框左上角点的x、y坐标；Truck1xmax、Truck1ymax分别为第一个废钢货车识别框右下角点的x、y坐标；TruckN为第N个废钢货车识别框。
其中，步骤4进一步包括：
将识别的废钢货车位置信息与感兴趣区域位置信息进行对比，根据感兴趣区域内的废钢货车的外观特征分类；所述外观特征中形状和外观统一的废钢货车为废钢堆料货车；与所述废钢堆料货车形状和外观不同且种类多样的废钢货车为废钢卸料货车；
根据感兴趣区域内的废钢货车数量和种类，判断当前的废钢货车状态。
其中，将识别的废钢货车位置信息与废钢堆卸料感兴趣区域位置信息进行对比，其所述堆卸料感兴趣区域在图像中位置信息的内容与格式为：
[ROIxmin，ROIymin，ROIxmax，ROIymax]
其中，ROIxmin、ROIymin分别为感兴趣区域在图像中的左上角x、y坐标，ROIxmax、ROIymax分别为感兴趣区域在图像中的右下角x、y坐标。
对于检测得到的每一个废钢货车目标，若其位置信息满足Truckxmin＞ROIxmin，Truckymin＞ROIymin,Truckxmax＜ROIxmax,Truckymax＜ROIymax,则判定目标废钢货车位于识别感兴趣区域内，对其进行下一步分类处理；若不满足，则不作处理；
将在感兴趣区域内的废钢货车根据外观特征进行分类，分为形状和外观统一的废钢堆料货车TruckD，和与废钢堆料货车形状和外观不同且种类多样的废钢卸料货车Truckx。根据两种货车不同的外观特征，可以对其进行分类标注。其标注格式为[Class],即目标类别，内容为废钢堆料货车TruckD或废钢卸料货车Truckx。
具体地，废钢货车分类实施的具体方法为，根据获取到的感兴趣区域内废钢货车位置信息，将图像内每个[Truckxmin，Truckymin，Truckxmax，Truckymax]部分进行截取，得到关于废钢货车的初始图像，将得到的图像根据废钢货车类别进行标注，将标注图像进行训练分析，得到废钢货车的目标分类模型。
根据废钢堆卸料感兴趣区域内的废钢货车数量和种类，判断当前画面的废钢货车状态。其状态主要分为：
Figure BDA0002758669150000051
其中，Flag为当前画面的废钢货车状态，sum(TruckD)为画面内存在的废钢堆料货车数量，sum(Truckx)为画面内存在的废钢卸料货车数量。Flag分为0～6种状态，分别代表废钢堆卸料感兴趣区域内不存在废钢货车、存在一辆废钢堆料货车、存在一辆废钢卸料货车、存在一辆废钢堆料货车和一辆废钢卸料货车、存在多辆废钢堆料货车、存在多辆废钢卸料货车、同时存在多辆废钢堆料货车和废钢卸料货车。
具体地，将上述所获废钢堆料货车和废钢卸料货车位置信息及画面状态返回外部设备***，供工人检测和后续识别使用。
在本实施例中，由于视频监控中画面图像内的废钢货车数量和种类不定，采用上述状态表示方式能够有效展示感兴趣区域内废钢货车的种类与数量，实现废钢料厂自动化堆卸料，有助于工人对场地内堆卸料情况的掌握，并为后续自动化处理提供支持。
请参阅图4，为本申请提供的一种废钢货车位置及状态识别***流程图，包括：
图像采集模块1，用于采集废钢料厂中当前堆卸废钢物料区域下包含废钢货车的图像；
在图像采集模块之前，还包括：利用位于所述废钢料厂横梁上的摄像装置采集图像，将所述图像内堆卸废钢物料区域设置为感兴趣区域。
检测模型生成模块2，用于预处理所述图像生成数据集，利用卷积神经网络训练所述数据集得到检测废钢货车位置的检测模型；
具体地，采集堆卸废钢物料区域内包含废钢货车的图像，标注所述图像内废钢货车的位置信息形成数据集；
将所述数据集内图像输入基于深度学习的卷积神经网络进行训练，建立用于检测废钢货车位置的检测模型；其中，所述卷积神经网络包括SSD、yolo或faster-rcnn中的任意一种。
位置信息识别模块3，用于调用所述检测模型识别待测图像内每辆废钢货车的位置信息；
具体地，调用所述检测模型识别待测图像中每辆废钢货车的位置信息，该位置信息的内容与格式为：
Figure BDA0002758669150000061
式中，每一行分别对应一个废钢货车矩形目标框；Truck1xmin、Truck1ymin分别为第一个废钢货车识别框左上角点的x、y坐标；Truck1xmax、Truck1ymax分别为第一个废钢货车识别框右下角点的x、y坐标；TruckN为第N个废钢货车识别框。
状态识别模块4，用于对比识别的废钢货车的位置信息与感兴趣区域的位置信息，根据所述感兴趣区域内废钢货车的外观特征确定所述废钢货车的类型，判断当前所述废钢货车的状态；
将识别的废钢货车位置信息与感兴趣区域位置信息进行对比，根据感兴趣区域内的废钢货车的外观特征分类；所述外观特征中形状和外观统一的废钢货车为废钢堆料货车；与所述废钢堆料货车形状和外观不同且种类多样的废钢货车为废钢卸料货车；
其中所述感兴趣区域位置信息的格式与内容为：[ROIxmin，ROIymin，ROIxmax，ROIymax]；式中，ROIxmin、ROIymin分别为感兴趣区域在图像中的左上角x、y坐标，ROIxmax、ROIymax分别为感兴趣区域在图像中的右下角x、y坐标；
将识别的废钢货车位置信息与感兴趣区域位置信息进行对比，如果所述位置信息满足Truckxmin＞ROIxmin,Truckymin＞ROIymin,Truckxmax＜ROIxmax,Truckymax＜ROIymax，则判定所述废钢货车在所述感兴趣区域内，根据所述废钢货车的外观特征分类确定其类型，当所述外观特征中形状和外观统一时，则所述废钢货车为废钢堆料货车TruckD；当所述外观特征与废钢堆料货车形状和外观不同且种类多样时，则所述废钢货车为废钢卸料货车。
根据感兴趣区域内的废钢货车数量和种类，判断当前的废钢货车状态。
Figure BDA0002758669150000071
式中，Flag为当前废钢货车状态，sum(TruckD)为废钢堆料货车数量，sum(Truckx)为废钢卸料货车数量。Flag分为0～6种状态，分别代表废钢堆卸料感兴趣区域内不存在废钢货车、存在一辆废钢堆料货车、存在一辆废钢卸料货车、存在一辆废钢堆料货车和一辆废钢卸料货车、存在多辆废钢堆料货车、存在多辆废钢卸料货车、同时存在多辆废钢堆料货车和废钢卸料货车。
其中，还需要说明的是，废钢货车位置及状态识别方法与废钢货车位置及状态识别***为一一对应的关系，在此，废钢货车位置及状态识别***所涉及的技术细节与技术效果和上述识别方法相同，在此不一一赘述，请参照上述废钢货车位置及状态识别方法。
下面参考图5，其示出了适于用来实现本公开实施例的电子设备(例如终端设备或服务器500的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：执行上述步骤S1到步骤S4的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
综上所述，本申请基于机器视觉采集废钢料厂中当前堆卸废钢物料区域下包含废钢货车的图像，利用卷积神经网络构建检测废钢货车位置信息的检测模型，通过对比识别废钢货车的位置信息与感兴趣区域的位置信息对比，利用废钢货车的外观特征确定所述废钢货车的类型，从而确定废钢货车类型、数量以及状态，相比现有技术，实现了智能化识别废钢货车的位置和状态，具有效率高、准确率高的优点，为后续自动化处理提供强有力依据。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (9)

1.一种废钢货车位置及状态识别方法，其特征在于，包括：
采集废钢料厂中当前堆卸废钢物料区域下包含废钢货车的图像；
预处理所述图像生成数据集，利用卷积神经网络训练所述数据集得到检测废钢货车位置的检测模型；
调用所述检测模型识别待测图像内每辆废钢货车的位置信息；
对比识别的废钢货车的位置信息与感兴趣区域的位置信息，根据所述感兴趣区域内废钢货车的外观特征确定所述废钢货车的类型，判断当前所述废钢货车的状态；其中，所述感兴趣区域位置信息的格式与内容为：[RoIxmin，ROIymin，ROIxmax，ROIymax]
其中，ROIxmin、ROIymin分别为感兴趣区域在图像中的左上角x、y坐标，ROIxmax、ROIymax分别为感兴趣区域在图像中的右下角x、y坐标；
将识别的废钢货车位置信息与感兴趣区域位置信息进行对比，如果所述位置信息满足Truckxmin＞ROIxmin，Truckymin＞ROIymin，Truckxmax＜ROIxmax，Truckymax＜ROIymax，则判定所述废钢货车在所述感兴趣区域内，根据所述废钢货车的外观特征分类确定其类型，当所述外观特征中形状和外观统一时，则所述废钢货车为废钢堆料货车TruckD；当所述外观特征与废钢堆料货车形状和外观不同且种类多样时，则所述废钢货车为废钢卸料货车。
2.根据权利要求1所述的废钢货车位置及状态识别方法，其特征在于，所述采集废钢料厂中当前堆卸废钢物料区域下包含废钢货车的图像的步骤之前，还包括：利用位于所述废钢料厂横梁上的摄像装置采集图像，将所述图像内堆卸废钢物料区域设置为感兴趣区域。
3.根据权利要求1所述的废钢货车位置及状态识别方法，其特征在于，所述预处理所述图像生成数据集，所述利用卷积神经网络训练所述数据集得到检测废钢货车位置的检测模型的步骤包括：
采集堆卸废钢物料区域内包含废钢货车的图像，标注所述图像内废钢货车的位置信息形成数据集；
将所述数据集内图像输入基于深度学习的卷积神经网络进行训练，建立用于检测废钢货车位置的检测模型；其中，所述卷积神经网络包括SSD、yolo或faster-rcnn中的任意一种。
4.根据权利要求1、2或3所述的废钢货车位置及状态识别方法，其特征在于，所述调用所述检测模型识别待测图像内每辆废钢货车的位置信息的步骤，包括：调用所述检测模型识别待测图像中每辆废钢货车的位置信息，该位置信息的内容与格式为：
Figure FDA0003693303170000021
式中，每一行分别对应一个废钢货车矩形目标框；Truck1xmin、Truck1ymin分别为第一个废钢货车识别框左上角点的x、y坐标；Truck1xmax、Truck1ymax分别为第一个废钢货车识别框右下角点的x、y坐标；TruckN为第N个废钢货车识别框。
5.根据权利要求1所述的废钢货车位置及状态识别方法，其特征在于，所述对比识别的废钢货车的位置信息与感兴趣区域的位置信息，根据所述感兴趣区域内废钢货车的外观特征确定所述废钢货车的类型，判断当前所述废钢货车的状态的步骤，包括：
将识别的废钢货车位置信息与感兴趣区域位置信息进行对比，根据感兴趣区域内的废钢货车的外观特征分类；所述外观特征中形状和外观统一的废钢货车为废钢堆料货车；与所述废钢堆料货车形状和外观不同且种类多样的废钢货车为废钢卸料货车；
根据感兴趣区域内的废钢货车数量和种类，判断当前的废钢货车状态。
6.根据权利要求5所述的废钢货车位置及状态识别方法，其特征在于，所述根据感兴趣区域内的废钢货车数量和种类，判断当前的废钢货车状态的步骤，包括：
Figure FDA0003693303170000022
式中，Flag为当前废钢货车状态，Sum(TruckD)为废钢堆料货车数量，sum(Truckx)为废钢卸料货车数量；Flag分为0～6种状态，分别代表废钢堆卸料感兴趣区域内不存在废钢货车、存在一辆废钢堆料货车、存在一辆废钢卸料货车、存在一辆废钢堆料货车和一辆废钢卸料货车、存在多辆废钢堆料货车、存在多辆废钢卸料货车、同时存在多辆废钢堆料货车和废钢卸料货车。
7.一种废钢货车位置及状态识别***，其特征在于，包括：
图像采集模块，用于采集废钢料厂中当前堆卸废钢物料区域下包含废钢货车的图像；
检测模型生成模块，用于预处理所述图像生成数据集，利用卷积神经网络训练所述数据集得到检测废钢货车位置的检测模型；
位置信息识别模块，用于调用所述检测模型识别待测图像内每辆废钢货车的位置信息；
状态识别模块，用于对比识别的废钢货车的位置信息与感兴趣区域的位置信息，根据所述感兴趣区域内废钢货车的外观特征确定所述废钢货车的类型，判断当前所述废钢货车的状态；其中，所述感兴趣区域位置信息的格式与内容为：
[ROIxmin，ROIymin，ROIxmax，ROIymax]，其中，ROIxmin、ROIymin分别为感兴趣区域在图像中的左上角x、y坐标，ROIxmax、ROIymax分别为感兴趣区域在图像中的右下角x、y坐标；
将识别的废钢货车位置信息与感兴趣区域位置信息进行对比，如果所述位置信息满足Truckxmin＞ROIxmin，Truckymin＞ROIymin，Truckxmax＜ROIxmax，Truckymax＜ROIymax，则判定所述废钢货车在所述感兴趣区域内，根据所述废钢货车的外观特征分类确定其类型，当所述外观特征中形状和外观统一时，则所述废钢货车为废钢堆料货车TruckD；当所述外观特征与废钢堆料货车形状和外观不同且种类多样时，则所述废钢货车为废钢卸料货车。
8.一种电子设备，其特征在于：包括：
一个或多个处理装置；
存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现权利要求1至6中任一所述的废钢货车位置及状态识别方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序用于使所述计算机执行权利要求1至6中任一所述的废钢货车位置及状态识别方法。
CN202011210829.6A 2020-11-03 2020-11-03 废钢货车位置及状态识别方法、***、设备及介质 Active CN112348894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011210829.6A CN112348894B (zh) 2020-11-03 2020-11-03 废钢货车位置及状态识别方法、***、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011210829.6A CN112348894B (zh) 2020-11-03 2020-11-03 废钢货车位置及状态识别方法、***、设备及介质

Publications (2)

Publication Number Publication Date
CN112348894A CN112348894A (zh) 2021-02-09
CN112348894B true CN112348894B (zh) 2022-07-29

Family

ID=74356868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011210829.6A Active CN112348894B (zh) 2020-11-03 2020-11-03 废钢货车位置及状态识别方法、***、设备及介质

Country Status (1)

Country Link
CN (1) CN112348894B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743210A (zh) * 2021-07-30 2021-12-03 阿里巴巴达摩院(杭州)科技有限公司 图像识别方法和废钢等级的识别方法
CN114860359B (zh) * 2022-04-06 2024-05-14 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、***和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101692628B1 (ko) * 2014-12-24 2017-01-04 한동대학교 산학협력단 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템
CN108073864B (zh) * 2016-11-15 2021-03-09 北京市商汤科技开发有限公司 目标对象检测方法、装置及***和神经网络结构
CN107766789B (zh) * 2017-08-21 2020-05-29 浙江零跑科技有限公司 一种基于车载单目相机的车辆检测定位方法
CN107633505A (zh) * 2017-08-24 2018-01-26 南京理工大学 一种基于目标灰度分布特性的飞机起落架检测方法
US10614318B1 (en) * 2019-10-25 2020-04-07 7-Eleven, Inc. Sensor mapping to a global coordinate system using a marker grid
CN109829386B (zh) * 2019-01-04 2020-12-11 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN110070083A (zh) * 2019-04-24 2019-07-30 深圳市微埃智能科技有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN111079747B (zh) * 2019-12-12 2020-10-09 哈尔滨市科佳通用机电股份有限公司 铁路货车转向架侧架断裂故障图像识别方法
CN111242088B (zh) * 2020-01-22 2023-11-28 上海商汤临港智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
CN111325146B (zh) * 2020-02-20 2021-06-04 吉林省吉通信息技术有限公司 一种货车车型和轴型识别方法和***
CN111340027A (zh) * 2020-03-05 2020-06-26 中冶赛迪重庆信息技术有限公司 一种堆钢识别方法、***、电子设备及介质

Also Published As

Publication number Publication date
CN112348894A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN111178183B (zh) 人脸检测方法及相关装置
CN108230357B (zh) 关键点检测方法、装置、存储介质和电子设备
CN112348894B (zh) 废钢货车位置及状态识别方法、***、设备及介质
CN111652869B (zh) 基于深度学习的板坯空洞识别方法、***、介质及终端
CN108647587B (zh) 人数统计方法、装置、终端及存储介质
CN111582263A (zh) 车牌识别方法、装置、电子设备及存储介质
CN112669344A (zh) 一种运动物体的定位方法、装置、电子设备及存储介质
CN110659391A (zh) 一种视频侦查方法及装置
CN111291587A (zh) 一种基于密集人群的行人检测方法、存储介质及处理器
CN111274934A (zh) 在仓储管理中智能监控叉车运行轨迹的实现方法和***
CN108805902A (zh) 一种自适应尺度的时空上下文目标跟踪方法
CN115311632A (zh) 一种基于多摄像头的车辆重识别方法和设备
CN113065379A (zh) 融合图像质量的图像检测方法、装置、电子设备
CN113470065B (zh) 移动物体检测和跟踪方法以及装置
CN117422905A (zh) 目标识别方法、装置、设备及存储介质
CN111310595B (zh) 用于生成信息的方法和装置
CN110222576B (zh) 拳击动作识别方法、装置和电子设备
CN111582012A (zh) 一种检测小目标船只方法及装置
CN114550102A (zh) 货物堆积检测方法、装置、设备和***
CN104299002B (zh) 一种基于监控***的塔吊图像检测方法
CN112560700A (zh) 一种基于动作分析的信息关联方法、装置及电子设备
CN112101139A (zh) 人形检测方法、装置、设备及存储介质
CN111428632A (zh) 一种绞车状态检测方法及矿工行为检测方法
CN111724337B (zh) 一种冷床冲顶识别方法、***、电子设备及介质
CN113435352B (zh) 文明城市评分方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing

Patentee after: MCC CCID information technology (Chongqing) Co.,Ltd.

Address before: 20-24 / F, No.7 Longjing Road, North New District, Yubei District, Chongqing

Patentee before: CISDI CHONGQING INFORMATION TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address