CN110647851A - 生产线产能监控方法、装置及*** - Google Patents

Abstract

本申请属于机器视觉技术领域，提供了一种生产线产能监控方法、装置及***，该方法包括：从摄像装置拍摄流水线得到的视频数据中提取若干待检测帧；对所述待检测帧进行图像预处理；从处理后的待检测帧中筛选出包含物料信息的托盘图像；根据预设的图像分割规则对所述托盘图像进行分割；通过图像分类模型对所述托盘图像中每一分割区域进行物料分类并计数，输出物料类型和所述物料类型对应的计数结果；根据每种物料类型的计数结果，生成产能平衡方案。本申请实施例解决无法对多种物料的产能进行统计并提出产能优化建议的问题。

Description

生产线产能监控方法、装置及***

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种生产线产能监控方法、装置 及***。

背景技术

流水线作业是一种常见的提高工厂工业生产效率的作业手段，在通过流水 线作业时，每个工位仅负责完成一种工作。由于流水线作业具有灵活性高可扩 展能力强的特点，被广泛的利用在工业生产中。对流水线不同工段进行产能统 计是把控流水线当前生产情况的重要手段之一，然而由于自动化程度较低，多 数工厂仍依赖工人自主计数报数来完成产能统计工作。

为了避免工人自主计数报数带来的统计误差，现有技术通过在测试工段两 侧安装对射传感器，发射器不间断向接收器发射光束，当无产品经过时，接收 器能正常接收信号；当有产品放置时，光束被打断，接收器无法接收信号，触 发计数器计数。但上述方法采用针对芯片产品的特化型拓扑结构，无法适配其 他产品，当统计点来料种类较多时，无法完成多种工件的产能统计任务，也不 能对产能优化提出建议。

发明内容

有鉴于此，本发明实施例提供了一种生产线产能监控方法、装置及***， 以解决无法对多种物料的产能进行统计并提出产能优化建议的问题。

本发明实施例的第一方面提供了一种生产线产能监控方法，包括：

从摄像装置拍摄流水线得到的视频数据中提取若干待检测帧；

对所述待检测帧进行图像预处理；

从处理后的待检测帧中筛选出包含物料信息的托盘图像；

根据预设的图像分割规则对所述托盘图像进行分割；

通过图像分类模型对所述托盘图像中每一分割区域进行物料分类并计数， 输出物料类型和所述物料类型对应的计数结果；

根据每种物料类型的计数结果，生成产能平衡方案。

在一个实施示例中，所述从摄像装置拍摄流水线得到的视频数据中提取若 干待检测帧，包括：

实时检测摄像装置拍摄流水线得到的视频数据中每一帧图像是否包含托盘 信息；

若任意一帧图像包含托盘信息，则确定包含托盘信息的所述图像以及在所 述视频数据中所述图像之后连续的N-1帧图像作为待检测帧；N>1；

在确定所述待检测帧后，间隔预设时间重新实时检测所述视频数据中每一 帧图像是否包含托盘信息；所述预设时间根据托盘经过所述摄像装置的耗时设 定。

在一个实施示例中，所述方法还包括：

控制所述摄像装置以预设采样频率采集所述流水线的背景图像，并对存储 的背景图像进行更新。

在一个实施示例中，所述根据预设的图像分割规则对所述托盘图像进行分 割，包括：

根据所述物料和所述托盘的颜色区别特征从所述托盘图像中提取物料区域；

根据预设的网格参数对所述物料区域进行网格分割。

在一个实施示例中，所述通过图像分类模型对所述托盘图像中每一分割区 域进行物料分类并计数，输出物料类型和所述物料类型对应的计数结果，包括：

通过特征识别网络对所述物料区域中每一分割区域进行图像识别，输出物 料类型，并对所述物料类型的计数结果加一。

在一个实施示例中，所述对所述待检测帧进行图像预处理，包括：

根据背景图像将所述待检测帧的背景剔除；

对剔除背景后的待检测帧二值化处理突出图像中的托盘区域。

在一个实施示例中，所述根据每种物料类型的计数结果，生成产能平衡方 案包括：

根据每种物料类型的计数结果生成产能曲线；

获取每种所述物料类型的生产依赖关系和生产指标；

根据所述生产指标和所述每种物料类型的计数结果确定生产工序出现滞缓 的物料类型，生成所述滞缓的物料类型的提示信息；

根据所述生产依赖关系查找与所述滞缓的物料类型相关联的上游物料类型；

生成调节所述上游物料类型生产效率的产能平衡方案。

本发明实施例的第二方面提供了一种生产线产能监控装置，包括：

待检测帧提取模块，用于从摄像装置拍摄流水线得到的视频数据中提取若 干待检测帧；

图像预处理模块，用于对所述待检测帧进行图像预处理；

筛选模块，用于从处理后的待检测帧中筛选出包含物料信息的托盘图像；

图像分割模块，用于根据预设的图像分割规则对所述托盘图像进行分割；

分类计数模块，用于通过图像分类模型对所述托盘图像中每一分割区域进 行物料分类并计数，输出物料类型和所述物料类型对应的计数结果；

方案生成模块，用于根据每种物料类型的计数结果，生成产能平衡方案。

本发明实施例的第三方面提供了一种生产线产能监控***，包括：摄像装 置和与摄像装置通信连接的控制装置；其中，

所述摄像装置设于流水线上方，用于对流水线进行拍摄；

所述控制装置执行第一方面中生产线产能监控方法。

本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可 读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一 方面所述方法的步骤。

本发明实施例的第五方面提供了一种生产线产能监控装置，包括：存储器、 处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述 处理器执行所述计算机程序时实现第一方面中生产线产能监控方法。

本发明实施例提供的一种生产线产能监控方法、装置、***及存储介质， 通过从摄像装置拍摄流水线得到的视频数据中提取若干待检测帧；对所述待检 测帧进行图像预处理；从处理后的待检测帧中筛选出包含物料信息的托盘图像； 根据预设的图像分割规则对所述托盘图像进行分割；通过图像分类模型对所述 托盘图像中每一分割区域进行物料分类并计数，输出物料类型和所述物料类型 对应的计数结果；根据每种物料类型的计数结果，生成产能平衡方案。通过从 摄像装置拍摄的视频数据提取若干待检测帧实现非接触式流水线监控，并且每 一待检测帧对应一个所述流水线运输的用于盛放物料的托盘，使得不遗漏流水 线上运输的托盘中的物料信息。将待检测帧中没有物料信息的图像帧筛除后，根据预设图像分割规则对待检测帧中托盘图像分割后将每一分割区域输入图像 分类模型输出物料类型和每种物料类型对应的计数结果完成流水线上各类物料 的产能统计。根据每种物料类型的计数结果，生成产能平衡方案，从而有效对 流水线产能进行优化。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技 术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅 仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳 动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的生产线产能监控方法的流程示意图；

图2是本发明实施例二提供的生产线产能监控方法的流程示意图；

图3是本发明实施例三提供的生产线产能监控装置的结构示意图；

图4是本发明实施例四提供的生产线产能监控***的结构示意图；

图5是本发明实施例五提供的生产线产能监控装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施 例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的 实施例是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施 例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施 例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“包括”以及它们任何 变形，意图在于覆盖不排他的包含。例如包含一系列步骤或单元的过程、方法 或***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有 列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的 其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不 同对象，而非用于描述特定顺序。

实施例一

如图1所示，是本发明实施例一提供的生产线产能监控方法的流程示意图。 本实施例可适用于对多条产品生产流水线的产能进行监控的应用场景，该方法 可以由控制装置执行，该控制装置可为服务器、智能终端、平板或PC等；在 本发明实施例中以控制装置作为执行主体进行说明，该方法具体包括如下步骤：

S110、从摄像装置拍摄流水线得到的视频数据中提取若干待检测帧；

为解决设于流水线传输带上的红外计数装置占用流水线空间的问题，可在 生产流水线的传输带上方设置摄像装置对流水线进行拍摄，摄像装置与控制装 置通信连接。控制装置接收并分析摄像装置拍摄得到的视频数据实现统计产品 生产流水线的产能，统计每一流水线生产传输的物料的数量。可选的，摄像装 置可通过可伸缩支架架设在流水线的若干个预设的统计点上方，不占用流水线 作业空间。多个摄像装置可通过交换机与控制装置连接。

控制装置接收到摄像装置拍摄流水线得到的视频数据后，为统计流水线生 产产能需对物料产量进行统计。控制装置可从视频数据中提取若干待检测帧， 每一待检测帧包含有摄像装置对应拍摄的流水线上传输的用于盛放物料的托盘 信息。每一待检测帧中可能存在一个或多个托盘；若待检测帧中存在多个托盘； 控制装置选取每一待检测帧中距离图像中心位置最近的一个托盘作为目标托盘， 并对该目标托盘进行检测分析。

在一个实施示例中，控制装置从视频数据中提取若干待检测帧的过程可为： 实时检测摄像装置拍摄流水线得到的视频数据中每一帧图像是否包含托盘信息； 若任意一帧图像包含托盘信息，则确定包含托盘信息的所述图像以及在所述视 频数据中所述图像之后连续的N-1帧图像作为待检测帧；N>1；在确定所述待 检测帧后，间隔预设时间重新实时检测所述视频数据中每一帧图像是否包含托 盘信息；所述预设时间根据托盘经过所述摄像装置的耗时设定。

摄像装置可架设于流水线的预设统计点上方，预设统计点可位于流水线中 物料产出位置，运输物料的托盘被机器或生产人员放置在物料产出位置的传输 带上传输至仓库或下一工序，在此传输过程中每一托盘均能被架设于流水线上 方的摄像装置采集到。由于托盘何时经过摄像装置的时间是不确定的，控制装 置实时检测摄像装置拍摄流水线得到的视频数据中每一帧图像是否包含托盘信 息，以判断是否有被流水线传输的托盘经过摄像装置的拍摄区域；当检测到任 意一帧图像包含托盘信息时，确定包含托盘信息的此帧图像以及在视频数据中 此帧图像之后连续的N-1帧图像作为待检测帧；N>1；以完成在视频数据中对 此时经过摄像装置拍摄区域的托盘对应的待检测帧的提取。其中，提取到的N 帧(如5帧)有效的待检测帧均包含用于盛放物料的同一托盘的信息。

为了避免对流水线上同一个托盘检测多次，每检测到连续有效的N帧图像 后，控制装置需等待一定时间即托盘经过摄像装置后再继续对视频数据中的每 一帧图像进行实时检测。可根据流水线运输托盘经过摄像装置的耗时预先设定 预设时间。控制装置在确定N帧待检测帧时，间隔预设时间(如2秒)后再重 新实时检测从摄像装置拍摄流水线得到的视频数据中每一帧图像是否包含托盘 信息。

具体地，检测摄像装置拍摄流水线得到的视频数据中每一帧图像是否包含 托盘信息，可通过对比每帧图像中背景颜色与托盘颜色或通过将图像中托盘形 状与原有托盘形状进行比较，判断图像中是否包含完整的托盘信息，从而确定 每一帧图像是否均包含托盘信息。可选的，还可通过判断每帧图像的灰度值、 纹理或频域等数据是否满足预设阈值，实现每帧图像中背景颜色与托盘颜色或 将图像中托盘形状与原有托盘形状进行比较。

S120、对所述待检测帧进行图像预处理；

控制装置从获取到的视频数据中提取若干待检测帧后，在对待检测帧进行 图像分析前还需对提取到的待检测帧进行图像预处理，以突出待检测帧中的托 盘区域，使得控制装置能够更快速准确的获取到待检测帧中的物料信息。

在一个实施示例中，控制装置对待检测帧进行图像预处理的具体过程可为： 根据背景图像将所述待检测帧的背景剔除，并对剔除背景后的待检测帧二值化 处理突出图像中的托盘区域。

由于在流水线上传输的托盘上可盛放有多个物料，可选地，可预先采用绿 色的流水线与红色的托盘进行颜色区分。因此，控制装置可将待检测帧输入 (R+R-B-G)通道(R：红色通道，G：绿色通道，B：蓝色通道)进行灰度化得到 灰度图，以保证当流水线上盛放有物料的托盘经过时，能根据其托盘所具有的 颜色(红色)的突出部分进行有效寻找。然后可采用背景差分法将进行灰度化 处理后的待检测帧的背景剔除，具体可为获取控制装置中存储的背景图像，将 灰度化处理后的待检测帧与该背景图像相减从而剔除待检测帧的背景。控制装 置对剔除背景后的待检测帧二值化处理突出图像中的托盘区域，特别是突出盛 放有物料的托盘区域。可选的，还可通过帧间差分法、ViBe算法、ViBe+算法 等方法根据背景图像将每一待检测帧中的背景剔除。

在一个实施示例中，控制装置还能够对摄像装置进行控制，控制装置控制 摄像装置以预设采样频率采集所述流水线的背景图像，并对存储的背景图像进 行更新。具体地，当没有物料流过统计点时，控制装置控制摄像装置连续抓取 多帧预设统计点图像，控制装置取抓取的多帧图像的平均值作为背景图像。针 对流水线背景可能会在一段时间内发生变化的情况，控制装置通过预设背景图 像刷新频率的方式，以预设采样频率自动获取新背景图像并对存储的背景图像 进行更新。实现对背景图像进行重采集和刷新，以适应流水线复杂多变的情况。

S130、从处理后的待检测帧中筛选出包含物料信息的托盘图像；

由于经过图像预处理后的若干待检测帧更加突出了图像中盛放有物料的托 盘区域，控制装置可通过判断处理后的各待检测帧是否包含有物料信息，判断 各待检测帧中的托盘是否盛放有物料，从而可将不包含物料信息的托盘图像剔 除。

具体地，控制装置可通过判断处理后的各待检测帧的灰度值是否大于灰度 阈值，判断各待检测帧是否包含物料信息。对每一处理后的待检测帧进行判断， 若处理后的待检测帧的灰度值大于预设灰度阈值即满足灰度阈值则该待检测帧 包含物料信息。控制装置从处理后的各待检测帧中筛选出满足灰度阈值的托盘 图像，实现将若干待检测帧中包含物料信息即托盘盛放有物料的托盘图像筛选 出来，便于物料统计。可选的，控制装置还可根据各待检测帧的纹理等其它图 像信息判断各待检测帧是否包含物料信息。

S140、根据预设的图像分割规则对所述托盘图像进行分割；

可选的，流水线上盛放物料的托盘可采用一种由防静电棉制成的棉式托盘； 其中，托盘具有不同的规格(不同的宽度、长度以及高度等)导致托盘上盛放 的物料的数量有差别。控制装置通过对筛选得到的托盘图像进行分割以进行物 料数量统计。具体地，控制装置可根据托盘规格选择对应的预设图像分割规则 对每一托盘图像进行分割。

在一个实施示例中，控制装置根据预设的图像分割规则对托盘图像进行分 割，具体过程包括：根据所述物料和所述托盘的颜色区别特征从所述托盘图像 中提取物料区域；根据预设的网格参数对所述物料区域进行网格分割。在控制 装置对托盘图像进行图像分割之前，根据物料与托盘的颜色区别特征从每一托 盘图像中提取物料区域。根据托盘规格确定对应的预设网格参数对物料区域进 行网格分割。具体地，若托盘图像中托盘的规格为宽M、长N；则可预设该规 格对应的预设网格参数为M×N个网格，从而控制装置根据预设网格参数在横向 上将物料区域分割为M等分，在纵向上将物料区域分割为N等分得到M×N个分割区域。实现将托盘上盛放的物料进行网格划分，使得每一分割区域对应托 盘上一个物料的摆放位置，若该摆放位置上放置有物料则该分割区域包含有对 应的物料信息。

S150、通过图像分类模型对所述托盘图像中每一分割区域进行物料分类并 计数，输出物料类型和所述物料类型对应的计数结果；

当控制装置根据预设的图像分割规则对每一托盘图像进行分割得到每一托 盘图像对应的若干分割区域后，控制装置通过将每一托盘图像的分割区域逐一 输入图像分类模型中，通过图像分类模型对所述托盘图像中每一分割区域进行 物料分类并计数，输出每一托盘图像包含的物料类型和所述物料类型对应的计 数结果。确定包含的物料类型最多和物料类型对应的计数结果最多的任一托盘 图像的物料分类和计数结果作为N帧待检测帧对应的托盘的检测结果。实现流 水线多种物料的产能监控，能够应对流水线上游来料种类不单一的情况，对流 过统计点的不同种类物料进行分类计数。

在一个实施示例中，控制装置可通过特征识别网络对所述物料区域中每一 分割区域进行图像识别，输出物料类型，并对所述物料类型的计数结果加一。 具体地，特征识别网络可由特征提取网络和分类器这两部分组成。其中，特征 提取的卷积网络结构可以根据检测问题的复杂程度来决定，可采用的网络结构 有VGG16、GoogLeNet、ResNet等。分类器可采用Softmax损失函数，若流 水线传上可能经过统计点的物料种类为i种，则分类器共有i种可能得到的分类 结果。将托盘图像的分割区域逐一输入训练好的特征识别网络得到图像特征数 据后输入分类器得到物料类型，并对该物料类型对应的计数结果加一。例如， 若通过图像分类模型对所述托盘图像中分割区域1进行物料分类输出物料类型 为电池，则对电池的计数结果加一。

S160、根据每种物料类型的计数结果，生成产能平衡方案。

由于同一流水线不同时段可能生产不同物料(产品)，通过控制装置对摄 像装置实时采集多条流水线生成的视频数据进行处理分析，得到当前流水线中 生产的每种物料类型的计数结果，生成产能平衡方案。

本发明实施例提供的一种生产线产能监控方法，通过从摄像装置拍摄流水 线得到的视频数据中提取若干待检测帧；对所述待检测帧进行图像预处理；从 处理后的待检测帧中筛选出包含物料信息的托盘图像；根据预设的图像分割规 则对所述托盘图像进行分割；通过图像分类模型对所述托盘图像中每一分割区 域进行物料分类并计数，输出物料类型和所述物料类型对应的计数结果；根据 每种物料类型的计数结果，生成产能平衡方案。通过从摄像装置拍摄的视频数 据提取若干待检测帧实现非接触式流水线监控，并且每一待检测帧对应一个所 述流水线运输的用于盛放物料的托盘，使得不遗漏流水线上运输的托盘中的物 料信息。将待检测帧中没有物料信息的图像帧筛除后，根据预设图像分割规则对待检测帧中托盘图像分割后将每一分割区域输入图像分类模型输出物料类型 和每种物料类型对应的计数结果完成流水线上各类物料的产能统计。根据每种 物料类型的计数结果，生成产能平衡方案，从而有效对流水线产能进行优化。

实施例二

如图2所示的是本发明实施例二提供的生产线产能监控方法的流程示意图。 在实施例一的基础上，本实施例还提供了根据每种物料类型的计数结果生成产 能平衡方案的过程，从而进行产能优化。该方法具体包括：

S210、根据每种物料类型的计数结果生成产能曲线；

当控制装置对摄像装置实时采集多条流水线生成的视频数据进行处理分析， 得到各流水线中生产的每种物料类型的计数结果后，可根据每种物料类型的计 数结果生成每种物料类型的产能曲线。

具体地，控制装置上可具有显示屏以显示软件显示窗口。可选地，软件显 示窗口可由视频拍摄装置配置界面、流水线实时显示画面、产能曲线绘制界面、 产能数据显示界面以及建议窗口五部分构成。其中，视频配置界面用于配置摄 像装置(如USB摄像机)参数或设置IPC地址；流水线显示画面显示当前流水 线上各个统计点的实时生产画面；产能曲线绘制界面根据每种物料类型的计数 结果分别绘制各个统计点当前小时和当天的产能曲线，使流水线管理人员能够 直观的观察到流水线的产能变化情况；产能数据显示界面以数字的形式显示各 工序的产能。

S220、获取每种所述物料类型的生产依赖关系和生产指标；

从存储装置或数据库中获取每种物料类型对应的生产依赖关系和每种物料 类型对应的生产指标或生产计划。

S230、根据所述生产指标和所述每种物料类型的计数结果确定生产工序出 现滞缓的物料类型，生成所述滞缓的物料类型的提示信息；

控制装置根据获取到的生产指标和每种物料类型的计数结果，确定生产产 能低于预设的产能预警值的物料类型，从而生成该物料类型对应的生产工序的 提示信息或警报信息。具体地，可在控制装置的显示屏显示的软件建议窗口发 出提示信息或警报信息。具体地，如若当前物料B工序出现滞缓，则可以抛出 提示信息，告知管理人员该处滞缓；也可以直接提示应该增派人手及数量。

S240、根据所述生产依赖关系查找与所述滞缓的物料类型相关联的上游物 料类型；

生产依赖关系包括不同工件之间的组装层级和先后逻辑，根据生产依赖关 系可查找与所述滞缓的物料类型相关联的上游物料类型。

S250、生成调节所述上游物料类型生产效率的产能平衡方案。

由于产品生产中同一层级组装度的物料(工件)，产能较小的容易成为产 能瓶颈。并且组装层级高的物料(工件)需要根据前序即上游物料(工件)的 产能和本工序的耗时来综合判断产能是否不足。控制装置根据生产依赖关系和 生产指标生成调节所述上游物料类型生产效率的产能平衡方案。具体地，若物 料A的组装依赖于物料B工序和物料C工序的完成，而物料B和C工序为独 立工序无依赖关系，则控制装置可生成平衡物料B和C产能的建议，从而提升 A工序的生产效率。可选地，可在控制装置的显示屏显示的建议窗口中显示控制装置根据每种物料类型的计数结果监测到产线生产工序出现严重效率不匹配 时生成产能平衡方案，优化流水线产能。

实施例三

如图3所示的是本发明实施例三提供的生产线产能监控装置。在实施例一 或二的基础上，本发明实施例还提供了一种生产线产能监控装置3，该装置包 括：

待检测帧提取模块301，用于从摄像装置拍摄流水线得到的视频数据中提 取若干待检测帧；

在一个实施示例中，从摄像装置拍摄流水线得到的视频数据中提取若干待 检测帧时，待检测帧提取模块301包括：

第一检测单元，用于实时检测摄像装置拍摄流水线得到的视频数据中每一 帧图像是否包含托盘信息；

待检测帧确定单元，用于若任意一帧图像包含托盘信息，则确定包含托盘 信息的所述图像以及在所述视频数据中所述图像之后连续的N-1帧图像作为待 检测帧；N>1；

第二检测单元，用于在确定所述待检测帧后，间隔预设时间重新实时检测 所述视频数据中每一帧图像是否包含托盘信息；所述预设时间根据托盘经过所 述摄像装置的耗时设定。

图像预处理模块302，用于对所述待检测帧进行图像预处理；

在一个实施示例中，对所述待检测帧进行图像预处理时，图像预处理模块 302包括：

背景剔除单元，用于根据背景图像将所述待检测帧的背景剔除；

托盘区域突出单元，用于对剔除背景后的待检测帧二值化处理突出图像中 的托盘区域。

筛选模块303，用于从处理后的待检测帧中筛选出包含物料信息的托盘图 像；

图像分割模块304，用于根据预设的图像分割规则对所述托盘图像进行分 割；

在一个实施示例中，根据预设的图像分割规则对所述托盘图像进行分割时， 图像分割模块304包括：

物料区域提取单元，用于根据所述物料和所述托盘的颜色区别特征从所述 托盘图像中提取物料区域；

图像分割单元，用于根据预设的网格参数对所述物料区域进行网格分割。

分类计数模块305，用于通过图像分类模型对所述托盘图像中每一分割区 域进行物料分类并计数，输出物料类型和所述物料类型对应的计数结果；

在一个实施示例中，通过图像分类模型对所述托盘图像中每一分割区域进 行物料分类并计数，输出物料类型和所述物料类型对应的计数结果时，分类计 数模块305包括：

物料分类和计数单元，用于通过特征识别网络对所述物料区域中每一分割 区域进行图像识别，输出物料类型，并对所述物料类型的计数结果加一。

方案生成模块306，用于根据每种物料类型的计数结果，生成产能平衡方 案。

在一个实施示例中，根据每种物料类型的计数结果，生成产能平衡方案时 方案生成模块306包括：

产能曲线生成单元，用于根据每种物料类型的计数结果生成产能曲线；

数据获取单元，用于获取每种所述物料类型的生产依赖关系和生产指标；

提示信息生成单元，用于根据所述生产指标和所述每种物料类型的计数结 果确定生产工序出现滞缓的物料类型，生成所述滞缓的物料类型的提示信息；

上游物料类型查找单元，用于根据所述生产依赖关系查找与所述滞缓的物 料类型相关联的上游物料类型；

产能平衡方案生成单元，用于生成调节所述上游物料类型生产效率的产能 平衡方案。

在一个实施示例中，生产线产能监控装置还包括：背景图像更新模块，用 于控制所述摄像装置以预设采样频率采集所述流水线的背景图像，并对存储的 背景图像进行更新。

本发明实施例提供的一种生产线产能监控装置，通过从摄像装置拍摄流水 线得到的视频数据中提取若干待检测帧；对所述待检测帧进行图像预处理；从 处理后的待检测帧中筛选出包含物料信息的托盘图像；根据预设的图像分割规 则对所述托盘图像进行分割；通过图像分类模型对所述托盘图像中每一分割区 域进行物料分类并计数，输出物料类型和所述物料类型对应的计数结果；根据 每种物料类型的计数结果，生成产能平衡方案。通过从摄像装置拍摄的视频数 据提取若干待检测帧实现非接触式流水线监控，并且每一待检测帧对应一个所 述流水线运输的用于盛放物料的托盘，使得不遗漏流水线上运输的托盘中的物 料信息。将待检测帧中没有物料信息的图像帧筛除后，根据预设图像分割规则对待检测帧中托盘图像分割后将每一分割区域输入图像分类模型输出物料类型 和每种物料类型对应的计数结果完成流水线上各类物料的产能统计。根据每种 物料类型的计数结果，生成产能平衡方案，从而有效对流水线产能进行优化。

实施例四

图4是本发明实施例四提供的生产线产能监控***的结构示意图。本发明 实施例还提供一种生产线产能监控***，包括：摄像装置41和与摄像装置通信 连接的控制装置42；其中，

摄像装置41设于流水线上方，用于对流水线进行拍摄。

控制装置42实现实施例一或实施例二中的生产线产能监控方法的步骤。

当然,本发明实施例所提供的控制装置42包括处理器可执行指令的计算机 可读存储介质，其处理器可执行指令不限于如上所述的方法操作,还可以执行本 发明任意实施例所提供的生产线产能监控方法中的相关操作。

实施例五

图5是本发明实施例五提供的生产线产能监控装置的结构示意图。该装置 5包括：处理器1、存储器2以及存储在所述存储器2中并可在所述处理器1上 运行的计算机程序3，例如用于生产线产能监控方法的程序。所述处理器1执 行所述计算机程序3时实现上述生产线产能监控方法实施例中的步骤，例如图 1所示的步骤S110至S160。

示例性的，所述计算机程序3可以被分割成一个或多个模块，所述一个或 者多个模块被存储在所述存储器2中，并由所述处理器1执行，以完成本申请。 所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该 指令段用于描述所述计算机程序3在所述装置中的执行过程。例如，所述计算 机程序3可以被分割成待检测帧提取模块、图像预处理模块、筛选模块、图像 分割模块、分类计数模块和方案生成模块，各模块具体功能如下：

待检测帧提取模块，用于从摄像装置拍摄流水线得到的视频数据中提取若 干待检测帧；

图像预处理模块，用于对所述待检测帧进行图像预处理；

筛选模块，用于从处理后的待检测帧中筛选出包含物料信息的托盘图像；

图像分割模块，用于根据预设的图像分割规则对所述托盘图像进行分割；

分类计数模块，用于通过图像分类模型对所述托盘图像中每一分割区域进 行物料分类并计数，输出物料类型和所述物料类型对应的计数结果；

方案生成模块，用于根据每种物料类型的计数结果，生成产能平衡方案。

所述装置可包括，但不仅限于，处理器1、存储器2以及存储在所述存储 器2中的计算机程序3。本领域技术人员可以理解，图5仅仅是生产线产能监 控装置的示例，并不构成对装置的限定，可以包括比图示更多或更少的部件， 或者组合某些部件，或者不同的部件，例如所述装置还可以包括输入输出设备、 网络接入设备、总线等。

所述处理器1可以是中央处理单元(Central Processing Unit，CPU)，还可以 是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集 成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或 者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理 器也可以是任何常规的处理器等。

所述存储器2可以是所述控制装置的内部存储单元，例如控制装置的硬盘 或内存。所述存储器2也可以是外部存储设备，例如摄像装置上配备的插接式 硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD) 卡，闪存卡(Flash Card)等。进一步地，所述存储器2还可以既包括装置的内 部存储单元也包括外部存储设备。所述存储器2用于存储所述计算机程序以及 生产线产能监控方法所需的其他程序和数据。所述存储器2还可以用于暂时地 存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上 述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上 述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不 同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功 能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在， 也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬 件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模 块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上 述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程， 在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详 述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示 例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来 实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用 和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现 所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法， 可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示 意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现 时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一 个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间 的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或 通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为 单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者 也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部 单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元 中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的 形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品 销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解， 本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指 令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中， 该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中， 所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、 对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括： 能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、 磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机 存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软 件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法 管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根 据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照 前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其 依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特 征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发 明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种生产线产能监控方法，其特征在于，包括：

从摄像装置拍摄流水线得到的视频数据中提取若干待检测帧；

对所述待检测帧进行图像预处理；

从处理后的待检测帧中筛选出包含物料信息的托盘图像；

根据预设的图像分割规则对所述托盘图像进行分割；

通过图像分类模型对所述托盘图像中每一分割区域进行物料分类并计数，输出物料类型和所述物料类型对应的计数结果；

根据每种物料类型的计数结果，生成产能平衡方案。

2.如权利要求1所述的生产线产能监控方法，其特征在于，所述从摄像装置拍摄流水线得到的视频数据中提取若干待检测帧，包括：

实时检测摄像装置拍摄流水线得到的视频数据中每一帧图像是否包含托盘信息；

若任意一帧图像包含托盘信息，则确定包含托盘信息的所述图像以及在所述视频数据中所述图像之后连续的N-1帧图像作为待检测帧；N>1；

在确定所述待检测帧后，间隔预设时间重新实时检测所述视频数据中每一帧图像是否包含托盘信息；所述预设时间根据托盘经过所述摄像装置的耗时设定。

3.如权利要求1所述的生产线产能监控方法，其特征在于，所述方法还包括：

控制所述摄像装置以预设采样频率采集所述流水线的背景图像，并对存储的背景图像进行更新。

4.如权利要求1所述的生产线产能监控方法，其特征在于，所述根据预设的图像分割规则对所述托盘图像进行分割，包括：

根据所述物料和所述托盘的颜色区别特征从所述托盘图像中提取物料区域；

根据预设的网格参数对所述物料区域进行网格分割。

5.如权利要求4所述的生产线产能监控方法，其特征在于，所述通过图像分类模型对所述托盘图像中每一分割区域进行物料分类并计数，输出物料类型和所述物料类型对应的计数结果，包括：

通过特征识别网络对所述物料区域中每一分割区域进行图像识别，输出物料类型，并对所述物料类型的计数结果加一。

6.如权利要求1所述的生产线产能监控方法，其特征在于，所述对所述待检测帧进行图像预处理，包括：

根据背景图像将所述待检测帧的背景剔除；

对剔除背景后的待检测帧二值化处理突出图像中的托盘区域。

7.如权利要求1-6中任一所述的生产线产能监控方法，其特征在于，所述根据每种物料类型的计数结果，生成产能平衡方案包括：

根据每种物料类型的计数结果生成产能曲线；

获取每种所述物料类型的生产依赖关系和生产指标；

根据所述生产指标和所述每种物料类型的计数结果确定生产工序出现滞缓的物料类型，生成所述滞缓的物料类型的提示信息；

根据所述生产依赖关系查找与所述滞缓的物料类型相关联的上游物料类型；

生成调节所述上游物料类型生产效率的产能平衡方案。

8.一种生产线产能监控装置，其特征在于，包括：

待检测帧提取模块，用于从摄像装置拍摄流水线得到的视频数据中提取若干待检测帧；

图像预处理模块，用于对所述待检测帧进行图像预处理；

筛选模块，用于从处理后的待检测帧中筛选出包含物料信息的托盘图像；

图像分割模块，用于根据预设的图像分割规则对所述托盘图像进行分割；

分类计数模块，用于通过图像分类模型对所述托盘图像中每一分割区域进行物料分类并计数，输出物料类型和所述物料类型对应的计数结果；

方案生成模块，用于根据每种物料类型的计数结果，生成产能平衡方案。

9.一种生产线产能监控***，其特征在于，包括摄像装置和与摄像装置通信连接的控制装置；其中，

所述摄像装置设于流水线上方，用于对流水线进行拍摄；

所述控制装置执行权利要求1-7任一项所述生产线产能监控方法。

10.一种生产线产能监控装置，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述生产线产能监控方法的步骤。

Images