CN114187280A - 一种检测受铁状态的方法以及装置 - Google Patents

Abstract

本申请的一些实施例一种检测受铁状态的方法以及装置，所述方法包括：获取多路铁口视频流数据；对所述多路铁口视频流数据进行解码得到多帧铁口图像，其中，每个铁口对应至少一帧铁口图像；将所述多帧铁口图像输入目标识别检测网络，通过所述目标识别检测网络得到至少部分铁口的铁流检测信息，其中，所述目标识别检测网络包括多尺度特征提取模块、通道注意力模块以及预测回归模块，所述多尺度特征提取模块被配置为基于输入的铁口图像获取同一铁口的不同尺度的特征图，所述通道注意力模块用于增强所述特征图的通道注意力，所述预测回归模块被配置为根据所述通道注意力模块输出的特征图获取所述至少部分铁口的铁流检测信息。

Description

一种检测受铁状态的方法以及装置

技术领域

本申请涉及受铁状态检测领域，具体而言本申请实施例涉及一种检测受铁状态的方法以及装置。

背景技术

高炉冶炼是把铁矿石还原成生铁的连续生产过程，铁水是高炉的主要产品。高炉出铁时，一般将铁罐子(又称鱼雷罐、铁包)运送至相应的铁口下面，然后铁水盛放到铁罐里面，每个铁罐从开始盛装铁水到结束为一次受铁。在受铁过程中对铁流的状态进行实时检测显得尤为重要，检测内容主要包括铁流检测、受铁安全检测、铁流温度检测等。

现有的检测方法如图1所示：对于铁流的检测，采用传统的图像处理方法，首先获取铁流视频帧，然后进行图像预处理，再进行霍夫变换、特征检测、图像分割，从而识别出铁流。对于铁流的温度检测，主要采用人工采集铁水进行手动测温，或者使用红外热像仪拍摄整个受铁口，对铁水进行实时测温。对于受铁的安全检测，主要通过人工观测受铁的监控视频进行判断，观测铁水是否大量喷射到罐车外。

不难理解的是，对于铁流的检测，采用传统的图像处理方法，环境因素对铁流的检测效果影响很大，检测算法的鲁棒性太低；由于需要同时对多个铁口进行铁流实时检测，如果每个铁口分别单独获取视频流进行检测，对于整个检测***来说效率太低；对于铁流的温度检测，人工采集太繁琐，而且测量过程不连续。采用红外热像仪进行检测，通常是在拍摄范围内设置固定的测量区域，如果铁流的波动较大，可能导致无法测量到铁流的温度。对于受铁的安全检测，人工观测的方式，通过人眼判断铁流是否大量喷射溢出罐车外，效率太低，而且只能进行抽检，不能进行实时检测。

因此如何提升现有的受铁状态检测的效果成了亟待解决的技术问题。

发明内容

本申请实施例的目的在于提供一种检测受铁状态的方法以及装置，在本申请的一些实施例中使用GPU解码框架对多路视频流进行图像帧处理，极大的提高了图像获取效率。在本申请的一些实施例中，基于深度学习的方法，对铁流和罐车受铁口进行检测分割，算法鲁棒性较高，检测精度高。在本申请的一些实施例中，使用可见光与红外图像融合配准的方法，提高了铁流测温的准确度，同时对于铁流波动较大的状态检测效果良好。在本申请的一些实施例中，基于图像检测的方法，实时监控受铁的安全状态，当铁水大量溢出时，能够实现及时预警。

第一方面，本申请的一些实施例提供一种检测受铁状态的方法，所述方法包括：获取多路铁口视频流数据；对所述多路铁口视频流数据进行解码得到多帧铁口图像，其中，每个铁口对应至少一帧铁口图像；将所述多帧铁口图像输入目标识别检测网络，通过所述目标识别检测网络得到至少部分铁口的铁流检测信息，其中，所述目标识别检测网络包括依次连接的多尺度特征提取模块、通道注意力模块以及预测回归模块，所述多尺度特征提取模块被配置为基于输入的铁口图像获取同一铁口的不同尺度的特征图，所述通道注意力模块用于增强所述特征图的通道注意力，所述预测回归模块被配置为根据所述通道注意力模块输出的特征图获取所述至少部分铁口的铁流检测信息，所述铁流检测信息包括识别得到的铁流目标框和铁流掩码。

本申请的一些实施例对受铁各阶段不同尺度的铁流均能实现良好的识别检测，且本申请的一些实施例添加了注意力机制，增强特征图的通道注意力，并最终提升了得到的铁流检测信息的准确性。本申请的一些实施例将多个铁口的多帧图像同时输入一个目标检测识别网络，然后输出所有铁口的检测结果。

在一些实施例中，所述方法还包括：通过所述目标识别检测网络得到罐口车检测信息；根据所述罐口车检测信息设置安全受铁区域；通过确认所述铁流目标框是否位于所述安全受铁区域内得到受铁过程安全性检测结果。

本申请的一些实施例通过同时检测铁流检测信息以及罐口车检测信息实时监控受铁的安全状态，当铁水大量溢出时，能够实现及时预警。

在一些实施例中，所述通过确认所述铁流目标框是否位于所述安全受铁区域内得到受铁过程安全性检测结果，包括：若确认所述铁流目标框位于所述安全受铁区域内，则判断受铁过程安全；若确认至少部分所述铁流目标框位于所述安全受铁区域之外，则判断铁流存在溢出。

本申请的一些实施例通过目标识别检测网络分割出铁流和罐车口，根据检测到的罐车口设置铁水溢出区域，再计算铁流(即铁流检测信息)与溢出区域的重合度(IOU)，通过设置合理的阈值，判断受铁过程中是否存在大量铁水溢出，有效克服了人工观测的方式导致的检测效率低不能进行实时检测的问题。

在一些实施例中，所述方法还包括：获取多路铁口红外视频流数据；从所述红外视频流数据中提取多帧红外图像；根据所述多帧红外图像和所述铁流检测信息获取受铁温度测量结果。

本申请的一些实施例通过红外图像和可见光图像综合测量铁流温度，提升了测量获取的温度值的准确性。

在一些实施例中，所述根据所述多帧红外图像和所述铁流检测信息获取受铁温度测量结果，包括：获取红外图像与可见光图像的图像尺度因子，其中，所述可见光图像是对所述多路铁口视频流数据进行解析得到的；获取任一帧红外图像与对应帧的可见光图像的像素偏移量；根据所述图像尺度因子和所述像素偏移量，将所述铁流检测信息叠加到所述红外图像上，完成测温。

本申请的一些实施例通过获取图像尺度因子和像素偏移量来建立红外图像和可见光图像之间的映射关系，最终提升温度测量的准确性。

在一些实施例中，所述获取红外图像与可见光图像的图像尺度因子，包括：采用标定的方法，计算标定板两两圆心之间的在所述红外图像和所述可见光图像间的像素差，得到图像的缩放比例，其中，所述图像的缩放比例用于表征所述图像尺度因子。

本申请的一些实施例采用标定的方法，计算标定板两两圆心之间的在红外和可见光图像间的像素差，得到图像的缩放比例，将空间物体在两种图像上的尺寸统一。

在一些实施例中，所述获取任一帧红外图像与对应帧的可见光图像的像素偏移量，包括：根据所述标定板中圆形的坐标位置在所述红外图像和所述可见光图像的像素坐标位置，计算对应点的像素差，得到所述像素偏移量。

本申请的一些实施例需要确定像素偏移量，以完成红外图像和对应可见光图像的对齐操作，最终实现将铁流检测信息叠加到红外图像上。

在一些实施例中，所述对所述多路铁口视频流数据进行解码得到多帧铁口图像，包括：通过GPU解码框架对所述多路铁口视频流数据进行解码得到所述多帧铁口图像。

本申请的一些实施例使用GPU解码框架对多路视频流进行图像帧处理，极大的提高了图像获取效率。

在一些实施例中，所述目标识别检测网络是对识别检测网络进行训练得到的，其中，在训练过程中，对同一批的数据的均值和方差进行求解，进而进行归一化操作，推理阶段时所使用的均值和方差，是求整个训练样本的均值和方差期望值，作为我们进行推理时进行BN的均值和方差。

本申请的一些实施例通过这种训练方法提升了得到的网络模型的性能。

在本申请的一些实施例中，所述通道注意力模块根据批归一化中的比例因子确定各像素的重要性。

与相关技术采用池化方法来衡量像素重要性的方法不同，本申请的实施例将批归一化中的比例因子应用于空间维度，来衡量像素的重要性，提升了结果准确性。

第二方面，本申请的一些实施例提供一种检测受铁状态的装置，所述装置包括：多路铁口视频流数据获取模块，被配置为获取多路铁口视频流数据；解码模块，被配置为对所述多路铁口视频流数据进行解码得到多帧铁口图像，其中，每个铁口对应至少一帧铁口图像；铁流检测信息获取模块，被配置为将所述多帧铁口图像输入目标识别检测网络，通过所述目标识别检测网络得到至少部分铁口的铁流检测信息，其中，所述目标识别检测网络包括依次连接的多尺度特征提取模块、通道注意力模块以及预测回归模块，所述多尺度特征提取模块被配置为基于输入的铁口图像中获取同一铁口的不同尺度的特征图，所述通道注意力模块用于增强所述特征图的通道注意力，所述预测回归模块被配置为根据所述通道注意力模块输出的特征图获取所述至少部分铁口的铁流检测信息，所述铁流检测信息包括识别得到的铁流目标框和铁流掩码。

第三方面，本申请的一些实施例提供一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如第一方面任一实施例所述的方法。

第四方面，本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如第一方面任一实施例所述的方法。

第五方面，本申请的一些实施例提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现如第一方面任一实施例所述的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为相关实施例提供的检测受铁状态的方法流程图；

图2为本申请实施例提供的识别检测网络的架构图之一；

图3为本申请实施例提供的检测受铁状态的方法的流程图之一；

图4为本申请实施例识别检测网络的架构图之二；

图5为本申请实施例提供的通道注意力模块的架构图；

图6为本申请实施例提供的设置的合理受铁区域与铁流目标框之间的关系图之一；

图7为本申请实施例提供的检测受铁状态的方法的流程图之二；

图8为本申请实施例提供的检测受铁状态的装置的组成框图；

图9为本申请实施例提供的电子设备的组成示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

至少为了克服背景技术部分存在的诸多问题，本申请的一些实施例对于铁流的检测，需要获取多路视频流数据，并采用GPU解码框架对视频帧进行解码，然后将图像帧输入到目标识别检测网络，大大提高了图像获取的效率，解决现有方案的缺点。本申请的一些实施例针对铁流的目标识别检测，设计了基于卷积神经网络的目标检测器，使用深度学习结合传统图像处理的方法，对铁流和罐车受铁口进行检测和分割，鲁棒性大大提高，解决现有方案的缺点。在本申请的一些实施例中，对于铁流温度的测量，采用红外图像与可见光图像融合的方法，同时获取到红外图像帧和可见光图像帧，然后进行图像配准，根据可见光图像中识别出的铁流信息，由配准后的图像得到铁流的温度，因此铁流如果波动较大，在可见光中也能够很好的识别出铁流，从而能更准确的得到铁流的温度，解决现有方案的缺点。在本申请的另一些实施例中，为了实时监控受铁过程中，铁水是否大量溢出，将铁流的检测信息与罐车口的检测信息进行融合，进行安全检测。例如，由识别检测网络分割出铁流和罐车口，根据检测到的罐车口设置铁水溢出区域，再计算铁流与溢出区域的重合度(IOU)，通过设置合理的阈值，判断受铁过程中是否存在大量铁水溢出，解决现有方案的存在的诸多缺陷。

请参考图2，本申请的一些实施例提供了一种识别检测网络，通过对该识别检测网络进行训练可以得到目标识别检测网络，该目标识别检测网络对输入的图像进行处理得到输入图像上包括的铁流、铁流位置(即铁流目标框)以及罐口车、罐口车位置(即罐口车对应的目标框)等。也就是说，通过图2提供的识别检测网络得到的目标识别检测网络具备对图像进行实例分割的功能，识别出图像上包括的各类目标以及各目标的位置和具体分类，在本申请的实施例中，图像上需要识别的目标至少包括铁流以及罐口车。

图2的识别检测网络包括依次连接的特征提取模块110、通道注意力模块120以及预测回归模块130。特征提取模块110被配置为接收输入的训练图像或者待分割图像等，并提取这些图像上多个尺度的特征得到多尺度特征图，这样可以有效克服在受铁不同阶段铁流的尺寸变换较大而导致的技术方案不能应用的缺陷。通道注意力模块120被配置为接收特征提取模块110输出的多尺度特征图，并增强通道注意力，以排除火焰等对铁流检测结果的影响。预测回归模块130可以输出预测的第i目标分类值、第i目标目标框位置(例如，输出目标框的顶点坐标)以及第i目标分割掩码(即第i目标在图像上的边缘)。例如，在本申请的一些实施例中，第i目标分别包括铁流以及罐口车。

下面简单阐述对图2的识别检测网络进行训练的过程。对输入的训练图片进行图像增强操作：水平翻转、变形缩放等。对输入的训练图片进行reshape操作，保证尺度为2^n，且n>＝6，保证下采样后不产生小数。在训练时，本申请的一些实施例会对同一批的数据的均值和方差进行求解，进而进行归一化操作。推理阶段时所使用的均值和方差，是求整个训练样本的均值和方差期望值，作为我们进行推理时进行批块归一化(BatchNormalization)BN的均值和方差。

也就是说，本申请的一些实施例所述目标识别检测网络是对识别检测网络进行训练得到的，其中，在训练过程中，对同一批的数据的均值和方差进行求解，进而进行归一化操作，推理阶段时所使用的均值和方差，是求整个训练样本的均值和方差期望值，作为我们进行推理时进行BN的均值和方差。

下面示例性阐述根据训练得到的目标识别检测网络获取受铁过程的相关参量的过程。

下面结合图3示例性阐述获取铁流检测结果的过程。

如图3所示，本申请的一些实施例提供一种检测受铁状态的方法，该方法包括：S101，获取多路铁口视频流数据；S102，对所述多路铁口视频流数据进行解码得到多帧铁口图像，其中，每个铁口对应至少一帧铁口图像；S103，将所述多帧铁口图像输入目标识别检测网络，通过所述目标识别检测网络得到至少部分铁口的铁流检测信息，其中，所述目标识别检测网络包括多尺度特征提取模块、通道注意力模块以及预测回归模块，所述多尺度特征提取模块被配置为基于输入的铁口图像获取同一铁口的不同尺度的特征图，所述通道注意力模块用于增强所述特征图的通道注意力，所述预测回归模块被配置为根据所述通道注意力模块输出的特征图获取所述至少部分铁口的铁流检测信息，所述铁流检测信息包括识别得到的铁流目标框和铁流掩码。

不难理解的是，由于对多个铁口都设置了铁流图像获取单元，对多个铁口均进行处理因此可以同时获取多个铁口的铁流检测信息。另外由于目标识别检测网络模型的多尺度特征提取模块实现了对受铁各阶段不同尺度的铁流均能实现良好的识别检测，且由于本申请的一些实施例在目标识别检测网络模型中引入了通道注意力模块添加了注意力机制，增强特征图的通道注意力，并最终提升了得到的铁流检测信息的准确性。

下面结合图4的网络模型简要阐述本申请一些实施例获取的铁流检测结果的特点。图4与图2的差异在于，图4提供了图2各模块的一个示例性实现架构。

如图4所示，本申请一些实施例的检测受铁状态的方法包括：获取待分割的铁流图像，将待分割的铁流图像输入图4的特征提取网络(对应图2的特征提取模块)，然后使用ResNet101-FPN作为骨干网络backbone进行特征提取得到多尺度特征图。接着将多尺度特征图经过通道注意力模块(CAM)进行增强通道注意力，再将多尺度注意力图输入到预测回归网络中进行物体类别、回归框和掩码的预测。

由于本申请一些实施例检测的目标是铁流，而在实际受铁过程中铁流的尺寸是多变的，在受铁的初始时刻铁流较大，在受铁即将结束的时刻铁流较小，因此本申请的一些实施例的网络模型需要对大尺度和小尺度都有较好的识别能力，才能保证在整个受铁过程中对铁流的准确识别。例如，输入图片首先经过ResNet101进行特征提取，ResNet101也就是图4中的(C1、C2、C3、C4以及C5)五部分，其中每部分代表一个卷积层，经过四次下采样后分别得到P2、P3、P4以及P5的多尺度特征图，然后进一步使用3x3的卷积对特征进行重构，得到重构后的多尺度特征P2、P3、P4以及P5。不难理解的是，采用图4的特征提取网络可以对受铁各阶段不同尺度的铁流均能实现良好的识别检测。

由于铁流的特征与火焰极为相似，其特征与整个环境的特征区别较为明显，并且类似火焰的特征具有通道相似性，因此本申请的一些实施例在网络模型中添加了注意力机制(即通道注意力模块)，增强特征图的通道注意力，这样网络选择性的增强信息量最大的特征，后期处理充分利用这些特征并抑制无用的特征。

例如，通道注意力模块即CAM模块具体结构如图5所示，F1表示输入特征，Mc表示输出特征，γ是每个通道的比例因子，权值为Wγ,并且将BN的比例因子应用于空间维度，来衡量像素的重要性，即像素归一化。

通道注意力模块使用批归一化(BN)中的比例因子，该因子的计算公式如下，比例因子测量通道的方差并指出它们的重要性，其中μB为均值，δB为标准差，γ和β是可训练的仿射变换参数。

其中，Bin为输入数值集合，取值于输入图像像素值。BN(Bin)和BN(out)为输出结果。μB为均值，取值于输入图像的像素均值(也就是对Bin求平均值)。δB为标准差，取值于输入图像的像素标准差(也就是对Bin求标准差)。ε是为了防止分母为0，添加的一个常数，值为0.00001。γ和β是分别是可训练的仿射变换参数，取值情况是网络训练得到，初始值为随机值。

多尺度注意力特征图输入到图4的预测回归网络(对应图1的预测回归模块)，首先对多尺度特征图中的每一点设定预定个的感兴趣区域(Region of interest)RoI，从而获得多个候选RoI，并使用区域建议网络(RPN)过滤掉一部分候选的RoI，然后对剩下的RoI进行RoIAlign操作，最后通过全连接层(FC)进行类别和坐标预测，通过全卷积网络(FCN)进行掩码(mask)预测。

下面示例性阐述获取受铁过程安全性检测的方法。

在本申请的一些实施例中，图3所述的检测受铁状态的方法还包括：获取受铁过程安全性检测结果的过程，该过程示例性包括：通过所述目标识别检测网络得到罐口车检测信息；根据所述罐口车检测信息设置安全受铁区域；通过确认所述铁流目标框(即图3得到铁流检测信息中包括该铁流目标框)是否位于所述安全受铁区域内得到受铁过程安全性检测结果。也就是说，本申请的一些实施例通过同时检测铁流检测信息以及罐口车检测信息实时监控受铁的安全状态，当铁水大量溢出时，能够实现及时预警。例如，在本申请的一些实施例中，所述通过确认所述铁流目标框是否位于所述安全受铁区域内得到受铁过程安全性检测结果，包括：若确认所述铁流目标框位于所述安全受铁区域内，则判断受铁过程安全；若确认至少部分所述铁流目标框位于所述安全受铁区域之外，则判断铁流存在溢出。

本申请的一些实施例通过目标识别检测网络分割出铁流和罐车口，根据检测到的罐车口设置铁水溢出区域，再计算铁流(即铁流检测信息)与溢出区域的重合度(IOU)，通过设置合理的阈值，判断受铁过程中是否存在大量铁水溢出，有效克服了人工观测的方式导致的检测效率低不能进行实时检测的问题。

需要说明的是，受铁安全检测方法示意图如图6所示，该图中深色框501为检测的铁流目标框BBox，浅色框502为根据检测到的罐车口设置的合理受铁区域(即安全受铁区域)，通过判断铁流的BBox是否在受铁区域BBox内来判断受铁过程是否安全进行，如果铁流大量溢出(即受铁过程不安全或存在危险)，则会进行报警。

下面示例性阐述获取铁流温度的过程。

在本申请的一些实施例中，所述检测受铁状态的方法还包括获取铁流温度测量结果的过程，例如该过程示例性包括：获取多路铁口红外视频流数据；从所述红外视频流数据中提取多帧红外图像；通过融合所述多帧红外图像和所述铁流检测信息获取铁流温度测量结果。本申请的一些实施例通过红外图像和可见光图像综合测量铁流温度，提升了测量获取的温度值的准确性。

对红外图像和所述铁流检测信息进行融合时需要采用本申请一些实施例的技术手段解决如下技术问题。由于红外和可见光的焦距不一样，导致空间物体在两种图像上成像大小不一样，同时，使用的红外/可见光硬件***光心在Y方向上存在偏差，即使根据焦距大小对图像进行缩放也并不能使得同一物体在不同图像上的成像大小相同。本申请的一些实施例采用标定的方法，计算标定板两两圆心之间的在红外和可见光图像间的像素差，得到图像的缩放比例，将空间物体在两种图像上的尺寸统一。此外，将红外和可见光图像缩放到统一大小之后，将小尺寸的红外图像移动到可见光图像上需要知道偏移距离(x,y)，因此本申请的一些实施例还需要确定像素偏移量，以完成红外图像和对应可见光图像的对齐操作，最终实现将铁流检测信息叠加到红外图像上。

也就是说，在一些实施例中，上述通过融合所述多帧红外图像和所述铁流检测信息获取铁流温度测量结果，包括：获取红外图像与可见光图像的图像尺度因子，其中，所述可见光图像是对所述多路铁口视频流数据进行解析得到的；获取任一帧红外图像与对应帧的可见光图像的像素偏移量；根据所述图像尺度因子和所述像素偏移量，将所述铁流检测信息叠加到所述红外图像上，完成测温。本申请的一些实施例通过获取图像尺度因子和像素偏移量来建立红外图像和可见光图像之间的映射关系，最终提升温度测量的准确性。

例如，获取图像尺度因子的过程示例性包括：采用标定的方法，计算标定板两两圆心之间的在所述红外图像和所述可见光图像间的像素差，得到图像的缩放比例，其中，所述图像的缩放比例用于表征所述图像尺度因子。本申请的一些实施例采用标定的方法，计算标定板两两圆心之间的在红外和可见光图像间的像素差，得到图像的缩放比例，将空间物体在两种图像上的尺寸统一。

例如，获取像素偏移量(即所述获取任一帧红外图像与对应帧的可见光图像的像素偏移量)的过程示例性包括：根据所述标定板中圆形的坐标位置在所述红外图像和所述可见光图像的像素坐标位置，计算对应点的像素差，得到所述像素偏移量。本申请的一些实施例需要确定像素偏移量，以完成红外图像和对应可见光图像的对齐操作，最终实现将铁流检测信息叠加到红外图像上。

为了提升图像获取效率，在本申请的一些实施例中，所述对所述多路铁口视频流数据进行解码得到多帧铁口图像，包括：通过GPU解码框架对所述多路铁口视频流数据进行解码得到所述多帧铁口图像。也就是说，本申请的一些实施例使用GPU解码框架对多路视频流进行图像帧处理，极大的提高了图像获取效率。

下面结合图7示例性阐述本申请一些实施例的检测高炉铁流的受铁状态检测过程。

如图7所示，在本申请的一些实施例中受铁状态检测方法包括：获取多路视频流，即获取多路铁口视频流并获取多路铁口红外视频流，对获取的多路铁口视频流采用GPU解码得到多帧可见光图像，将这些图像输入目标识别检测网络同时获取罐车口检测信息以及铁流检测信息。另外根据铁流检测信息和罐车口检测信息获取受铁安全检测结果，输出安全检测信息。另外，从获取的多路铁口红外视频流中提取图像帧，得到各铁口的红外图像，将红外图像与对应帧的铁流检测信息进行图像配准融合得到铁流温度信息。至此就获取的铁流检测信息、安全检测信息以及铁流温度信息，判断视频流是否结束，如果未结束则重复上述过程获取下一帧的处理结果，如果视频流结束，则检测受铁状态的方法结束。

请参考图8，图8示出了本申请实施例提供的检测受铁状态的装置，应理解，该装置与上述图3方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置的具体功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。装置包括至少一个能以软件或固件的形式存储于存储器中或固化在装置的操作***中的软件功能模块，该检测受铁状态的装置，包括：多路铁口视频流数据获取模块101、解码模块102以及铁流检测信息获取模块103。

多路铁口视频流数据获取模块101被配置为获取多路铁口视频流数据。

解码模块102被配置为对所述多路铁口视频流数据进行解码得到多帧铁口图像，其中，每个铁口对应至少一帧铁口图像。

铁流检测信息获取模块103被配置为将所述多帧铁口图像输入目标识别检测网络，通过所述目标识别检测网络得到至少部分铁口的铁流检测信息，其中，所述目标识别检测网络包括多尺度特征提取模块、通道注意力模块以及预测回归模块，所述多尺度特征提取模块被配置为基于输入的铁口图像中获取同一铁口的不同尺度的特征图，所述通道注意力模块用于增强所述特征图的通道注意力，所述预测回归模块被配置为根据所述通道注意力模块输出的特征图获取所述至少部分铁口的铁流检测信息，所述铁流检测信息包括识别得到的铁流目标框和铁流掩码。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。

本申请的一些实施例提供一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现上述检测受铁状态的方法中的任一实施例。

本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现上述检测受铁状态的方法中的任一实施例。

如图9所示，本申请的一些实施例提供一种电子设备500，该电子设备500包括存储器510、处理器520以及存储在所述存储器510上并可在所述处理器520上运行的计算机程序，其中，所述处理器520通过总线530从存储器510读取程序并执行所述程序时可实现上述检测受铁状态的方法中的任一实施例。

处理器520可以处理数字信号，可以包括各种计算结构。例如复杂指令集计算机结构、结构精简指令集计算机结构或者一种实行多种指令集组合的结构。在一些示例中，处理器520可以是微处理器。

存储器510可以用于存储由处理器520执行的指令或指令执行过程中相关的数据。这些指令和/或数据可以包括代码，用于实现本申请实施例描述的一个或多个模块的一些功能或者全部功能。本公开实施例的处理器520可以用于执行存储器510中的指令以实现图3中所示的方法。存储器510包括动态随机存取存储器、静态随机存取存储器、闪存、光存储器或其它本领域技术人员所熟知的存储器。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (14)

1.一种检测受铁状态的方法，其特征在于，所述方法包括：

获取多路铁口视频流数据；

对所述多路铁口视频流数据进行解码得到多帧铁口图像，其中，每个铁口对应至少一帧铁口图像；

将所述多帧铁口图像输入目标识别检测网络，通过所述目标识别检测网络得到至少部分铁口的铁流检测信息，其中，所述目标识别检测网络包括依次连接的多尺度特征提取模块、通道注意力模块以及预测回归模块，所述多尺度特征提取模块被配置为基于输入的铁口图像获取同一铁口的不同尺度的特征图，所述通道注意力模块用于增强所述特征图的通道注意力，所述预测回归模块被配置为根据所述通道注意力模块输出的特征图获取所述至少部分铁口的铁流检测信息，所述铁流检测信息包括识别得到的铁流目标框和铁流掩码。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

通过所述目标识别检测网络得到罐口车检测信息；

根据所述罐口车检测信息设置安全受铁区域；

通过确认所述铁流目标框是否位于所述安全受铁区域内得到受铁过程安全性检测结果。

3.如权利要求2所述的方法，其特征在于，所述通过确认所述铁流目标框是否位于所述安全受铁区域内得到受铁过程安全性检测结果，包括：

若确认所述铁流目标框位于所述安全受铁区域内，则判断受铁过程安全；

若确认至少部分所述铁流目标框位于所述安全受铁区域之外，则判断铁流存在溢出。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

获取多路铁口红外视频流数据；

从所述红外视频流数据中提取多帧红外图像；

通过融合所述多帧红外图像和所述铁流检测信息获取铁流温度测量结果。

5.如权利要求4所述的方法，其特征在于，所述通过融合所述多帧红外图像和所述铁流检测信息获取受铁温度测量结果，包括：

获取红外图像与可见光图像的图像尺度因子，其中，所述可见光图像是对所述多路铁口视频流数据进行解析得到的；

获取任一帧红外图像与对应帧的可见光图像的像素偏移量；

根据所述图像尺度因子和所述像素偏移量，将所述铁流检测信息叠加到所述红外图像上，完成测温。

6.如权利要求5所述的方法，其特征在于，所述获取红外图像与可见光图像的图像尺度因子，包括：采用标定的方法，计算标定板两两圆心之间的在所述红外图像和所述可见光图像间的像素差，得到图像的缩放比例，其中，所述图像的缩放比例用于表征所述图像尺度因子。

7.如权利要求6所述的方法，其特征在于，所述获取任一帧红外图像与对应帧的可见光图像的像素偏移量，包括：根据所述标定板中圆形的坐标位置在所述红外图像和所述可见光图像的像素坐标位置，计算对应点的像素差，得到所述像素偏移量。

8.如权利要求1-7任一项所述的方法，其特征在于，所述对所述多路铁口视频流数据进行解码得到多帧铁口图像，包括：通过GPU解码框架对所述多路铁口视频流数据进行解码得到所述多帧铁口图像。

9.如权利要求1所述的方法，其特征在于，所述目标识别检测网络是对识别检测网络进行训练得到的，其中，在训练过程中，对同一批的数据的均值和方差进行求解，进而进行归一化操作，推理阶段时所使用的均值和方差，是求整个训练样本的均值和方差期望值，作为我们进行推理时进行BN的均值和方差。

10.如权利要求1所述的方法，其特征在于，所述通道注意力模块根据批归一化中的比例因子确定各像素的重要性。

11.一种检测受铁状态的装置，其特征在于，所述装置包括：

多路铁口视频流数据获取模块，被配置为获取多路铁口视频流数据；

解码模块，被配置为对所述多路铁口视频流数据进行解码得到多帧铁口图像，其中，每个铁口对应至少一帧铁口图像；

铁流检测信息获取模块，被配置为将所述多帧铁口图像输入目标识别检测网络，通过所述目标识别检测网络得到至少部分铁口的铁流检测信息，其中，所述目标识别检测网络包括依次连接的多尺度特征提取模块、通道注意力模块以及预测回归模块，所述多尺度特征提取模块被配置为基于输入的铁口图像中获取同一铁口的不同尺度的特征图，所述通道注意力模块用于增强所述特征图的通道注意力，所述预测回归模块被配置为根据所述通道注意力模块输出的特征图获取所述至少部分铁口的铁流检测信息，所述铁流检测信息包括识别得到的铁流目标框和铁流掩码。

12.一种计算机程序产品，其特征在于，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如权利要求1-10中任意一项权利要求所述的方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时可实现权利要求1-10中任意一项权利要求所述的方法。

14.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现权利要求1-10中任意一项权利要求所述的方法。

Images