CN115330687A - 基于fidt的工件计数方法、装置、计算机可读存储介质 - Google Patents

基于fidt的工件计数方法、装置、计算机可读存储介质 Download PDF

Info

Publication number
CN115330687A
CN115330687A CN202210830288.XA CN202210830288A CN115330687A CN 115330687 A CN115330687 A CN 115330687A CN 202210830288 A CN202210830288 A CN 202210830288A CN 115330687 A CN115330687 A CN 115330687A
Authority
CN
China
Prior art keywords
target
image
workpiece
fidt
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210830288.XA
Other languages
English (en)
Inventor
翟懿奎
梁雅淇
廖锦锐
江子义
周文略
蒋润锦
张俊亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN202210830288.XA priority Critical patent/CN115330687A/zh
Publication of CN115330687A publication Critical patent/CN115330687A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于FIDT的工件计数方法、装置、计算机可读存储介质，方法包括：获取包括多个工件图像的目标图像，根据目标图像建立FIDT；根据预设的局部极大值检测策略从FIDT中获取多个目标局部极大值，并确定各个目标局部极大值对应的目标坐标信息，各个目标坐标信息表征各个工件图像的中心位置的坐标信息；根据预设的聚类算法计算各个目标坐标信息对应的各个工件图像的实例大小；根据各个实例大小生成各个包围框；根据预设的迭代对象检测算法对各个包围框和目标图像进行目标检测处理，得到目标工件计数结果。本申请实施例利用FIDT算法实现工件计数，对于摆放姿态不同且摆放密集的工件也能实现准确计数，从而提高工件计数结果的准确率。

Description

基于FIDT的工件计数方法、装置、计算机可读存储介质
技术领域
本申请涉及但不限于图像处理技术领域，尤其涉及一种基于FIDT的工件计数方法、装置、计算机可读存储介质。
背景技术
在生产车间对工件数量进行统计的过程中，大多采用人工计数的方式，这种计数方式不仅任务繁杂，工作效率不高，耗费一定的人力成本，还很容易因为人的疲劳等因素造成计数误差。随着人工智能算法的不断发展，出现了基于视觉算法的工件计数算法，实现对工件的自动化计数，降低了人力成本的消耗，但是传统的视觉算法难以识别和定位不同姿态且密集摆放的工件等问题，工件计数结果的准确率不高。
发明内容
本申请实施例提供了一种基于FIDT的工件计数方法、装置、计算机可读存储介质，能够有效提高工件计数结果的准确率。
第一方面，本申请实施例提供了一种基于焦点反距离图FIDT的工件计数方法，包括：
获取目标图像，根据所述目标图像建立FIDT，其中，所述目标图像包括多个工件图像；
获取预设的局部极大值检测策略，根据所述局部极大值检测策略从所述FIDT中获取多个目标局部极大值，并确定各个所述目标局部极大值对应的目标坐标信息，其中，各个所述目标坐标信息表征各个所述工件图像的中心位置的坐标信息；
根据预设的聚类算法计算各个所述目标坐标信息对应的各个所述工件图像的实例大小；
根据各个所述实例大小生成各个包围框；
根据预设的迭代对象检测算法对各个所述包围框和所述目标图像进行目标检测处理，得到目标工件计数结果。
在一些实施例中，所述获取目标图像，包括：
获取待处理图像，确定所述待处理图像的感兴趣区域，所述感兴趣区域为所述待处理图像中存在多个所述工件图像的区域；
对所述待处理工件图像进行裁剪，得到所述目标图像，所述目标图像归属于所述感兴趣区域。
在一些实施例中，在所述根据所述目标图像建立FIDT之前，所述方法还包括：
根据预设的预处理规则对所述目标图像进行图像预处理。
在一些实施例中，所述目标图像还包括与各个工件图像对应的标注点；所述根据所述目标图像建立FIDT，包括：
获取所述目标图像的像素点，计算各个所述像素点与各个所述标注点之间的欧氏距离；
根据各个所述欧氏距离建立所述FIDT。
在一些实施例中，所述根据预设的迭代对象检测算法对各个所述包围框和所述目标图像进行目标检测处理，得到目标工件计数结果，包括：
获取第一图像，所述第一图像为包括各个所述包围框的图像，所述第一图像与所述目标图像尺寸相同；
对所述第一图像中全部的所述包围框附上掩码，得到第二图像；
将所述第二图像和所述目标图像输入至预设的对象检测器进行迭代检测处理，得到第一工件计数结果；
当满足预设条件，将全部的所述第一工件计数结果之和确定为所述目标工件计数结果。
在一些实施例中，所述预设条件至少包括如下之一：
所述对象检测器对所述第二图像和所述目标图像进行迭代检测处理的迭代次数超过预设迭代次数阈值；
或者，
所述第一工件计数结果为0。
在一些实施例中，所述聚类算法为最邻近规则分类KNN算法。
第二方面，本申请实施例提供了一种基于FIDT的工件计数装置，包括：
FIDT建立模块，所述FIDT建立模块用于获取目标图像，根据所述目标图像建立FIDT，其中，所述目标图像包括多个工件图像；
目标坐标信息获取模块，所述目标坐标信息获取模块用于获取预设的局部极大值检测策略，根据所述局部极大值检测策略从所述FIDT中获取多个目标局部极大值，并确定各个所述目标局部极大值对应的目标坐标信息，其中，各个所述目标坐标信息表征各个所述工件图像的中心位置的坐标信息；
实例大小计算模块，所述实例大小计算模块用于根据预设的聚类算法计算各个所述目标坐标信息对应的各个所述工件图像的实例大小；
包围框生成模块，所述包围框生成模块用于根据各个所述实例大小生成各个包围框；
工件计数结果获取模块，所述工件计数结果获取模块用于根据预设的迭代对象检测算法对各个所述包围框和所述目标图像进行目标检测处理，得到目标工件计数结果。
第三方面，本申请实施例提供了一种基于FIDT的工件计数装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于FIDT的工件计数方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如第一方面所述的基于FIDT的工件计数方法。
本申请实施例提供了一种基于FIDT的工件计数方法、装置、计算机可读存储介质，其中，方法包括：获取目标图像，根据所述目标图像建立FIDT，其中，所述目标图像包括多个工件图像；获取预设的局部极大值检测策略，根据所述局部极大值检测策略从所述FIDT中获取多个目标局部极大值，并确定各个所述目标局部极大值对应的目标坐标信息，其中，各个所述目标坐标信息表征各个所述工件图像的中心位置的坐标信息；根据预设的聚类算法计算各个所述目标坐标信息对应的各个所述工件图像的实例大小；根据各个所述实例大小生成各个包围框；根据预设的迭代对象检测算法对各个所述包围框和所述目标图像进行目标检测处理，得到目标工件计数结果。根据本申请实施例提供的方案，能够利用FIDT算法实现工件计数，对于摆放姿态不同且摆放密集的工件也能实现准确计数，从而提高工件计数结果的准确率。
附图说明
图1是本申请一个实施例提供的基于FIDT的工件计数方法的步骤流程图；
图2是本申请另一个实施例提供的获取目标图像的步骤流程图；
图3是本申请另一个实施例提供的对目标图像进行图像预处理的步骤流程图；
图4是本申请另一个实施例提供的建立FIDT的步骤流程图；
图5是本申请另一个实施例提供的得到目标工件计数结果的步骤流程图；
图6是本申请另一个实施例提供的基于FIDT的工件计数装置的模块示意图；
图7是本申请另一个实施例提供的基于FIDT的工件计数装置的结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
可以理解的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请提供了一种基于FIDT的工件计数方法、装置、计算机可读存储介质，其中，方法包括：获取目标图像，根据所述目标图像建立FIDT，其中，所述目标图像包括多个工件图像；获取预设的局部极大值检测策略，根据所述局部极大值检测策略从所述FIDT中获取多个目标局部极大值，并确定各个所述目标局部极大值对应的目标坐标信息，其中，各个所述目标坐标信息表征各个所述工件图像的中心位置的坐标信息；根据预设的聚类算法计算各个所述目标坐标信息对应的各个所述工件图像的实例大小；根据各个所述实例大小生成各个包围框；根据预设的迭代对象检测算法对各个所述包围框和所述目标图像进行目标检测处理，得到目标工件计数结果。根据本申请实施例提供的方案，能够利用FIDT算法实现工件计数，对于摆放姿态不同且摆放密集的工件也能实现准确计数，从而提高工件计数结果的准确率。
下面结合附图，对本申请实施例作进一步阐述。
如图1所示，图1是本申请一个实施例提供的基于FIDT的工件计数方法的步骤流程图，本申请实施例提供了一种基于FIDT的工件计数方法，该方法包括但不限于有以下步骤：
步骤S110，获取目标图像，根据目标图像建立FIDT，其中，目标图像包括多个工件图像；
步骤S120，根据预设的局部极大值检测策略从FIDT中获取多个目标局部极大值，并确定各个目标局部极大值对应的目标坐标信息，其中，各个目标坐标信息表征各个工件图像的中心位置的坐标信息；
步骤S130，根据预设的聚类算法计算各个目标坐标信息对应的各个工件图像的实例大小；
步骤S140，根据各个实例大小生成各个包围框；
步骤S150，根据预设的迭代对象检测算法对各个包围框和目标图像进行目标检测处理，得到目标工件计数结果。
需要说明的是，本申请实施例提供的基于FIDT的工件计数方法可以应用于后台服务器，本申请实施例并不限制目标图像的具体获取方式，例如，通过移动设备拍摄生产车间中待识别区域的图像作为目标图像，并将该目标图像通过5G网络实时传送至后台服务器；可以理解的是，获取包括多个工件图像的目标图像，能够为得到准确的工件计数结果提供有效的数据基础。
可以理解的是，根据目标图像建立的焦点反距离图(Focal Inverse DistanceTransform，FIDT)能够表示出工件图像的密集程度，相比密度图更加分散，更加便于定位各个工件图像；获取预设的局部极大值检测策略，通过局部极大值检测策略预测出FIDT中的多个局部极大值，工件图像的计数结果对应FIDT中的局部极大值的个数，确定各个局部极大值对应的目标坐标信息，目标坐标信息对应各个工件图像的中心坐标信息；根据预设的聚类算法计算各个目标坐标信息对应的各个工件图像的实例大小，根据各个实例大小生成各个包围框，根据预设的迭代对象检测算法对各个包围框和目标图像进行目标检测处理，得到目标工件计数结果，本申请实施例利用FIDT算法实现工件计数，对于摆放姿态不同且摆放密集的工件也能实现准确计数，从而提高工件计数结果的准确率。
需要说明的是，本申请通过局部极大值检测策略提取FIDT中的多个目标坐标信息的具体步骤可以如下：利用卷积核尺寸为3*3的最大池化层来获得FIDT中全部的局部极大值，全部的局部极大值中可能存在误差(例如目标图像背景被误认为是工件图像)，FIDT中的局部极大值可以理解为像素值，真阳性的像素值远远大于假阳性的像素值，将FIDT中真阳性像素值确定为目标局部极大值，通过预设一个局部极大值阈值对全部的局部极大值进行过滤处理，过滤掉假阳性的像素值，得到可用的像素值，即得到目标局部极大值，再确定该目标局部极大值对应的目标坐标信息。本申请实施例并不限制局部极大值阈值的具体数值，本领域技术人员可以根据实际情况进行确定。
另外，在通过局部极大值检测策略提取FIDT中的多个目标坐标信息之前，本申请实施例提供的工件计数方法还包括：对FIDT进行损失计算，从而提高FIDT的质量，本申请实施例使用的损失函数的具体公式如下：
L＝LMSE+L1-S；
其中，LMSE为为均方误差损失；L1-s为独立I-SSIM损失，具体的，L1-s的公式如下：
Figure BDA0003747959180000041
其中，N为总工件数，En和Gn为第N个独立实例区域的估计图和真实标签图；对于所有的数据集，每个实例的区域大小设置为30*30；Ls的公式如下：
LS＝1-SSIM(E,G)；
其中，SSIM的具体公式如下：
Figure BDA0003747959180000042
其中，E为估计图；G为真实标签图；μ为均值；σ为方差；λ1和λ2分别取0.0001和0.0009，以避免被0整除，SSIM的取值范围为[-1,1]，当SSIM＝1，表示表示估计图与真实标签图相同。
可以理解的是，SSIM损失函数利用滑动窗口扫描整个FIDT，不区分前景(工件图像所在区域)和背景，而对于定位任务，通过检测局部极大值来计数，结构损失应集中在局部极大值区域；全局SSIM损失可能产生高响应，导致在背景中一些虚假的局部极大值，而I-SSIM损失使得模型更容易在特征级学习独立区域表示，更好地识别局部极大值，因此提出均方误差损失以及独立SSIM(I-SSIM)损失作为本申请实施例的最终损失函数，能够保障从FIDT中获取的目标局部极大值的真实性。
需要说明的是，本申请实施例中预设的聚类算法可以是KNN算法，具体公式如下：
Figure BDA0003747959180000051
其中，S(x,y)表示坐标信息为(x,y)的工件图像的实例大小；P是局部极大值(即预测工件中心位置)的集合；
Figure BDA0003747959180000052
为坐标信息(x,y)与其k个近邻之间的平均距离，用标量因子f来约束
Figure BDA0003747959180000053
的大小；预设的聚类算法还可以是K均值算法或学习向量化算法，本领域技术人员根据实际情况选用即可，再次不多做限制。
另外，参照图2，在一实施例中，图1所示实施例中的步骤S110还包括但不限于有以下步骤：
步骤S210，获取待处理图像，确定待处理图像的感兴趣区域，感兴趣区域为待处理图像中存在多个工件图像的区域；
步骤S220，对待处理工件图像进行裁剪，得到目标图像，目标图像归属于感兴趣区域。
可以理解的是，图1所示实施例中获取包括多个工件图像的目标图像的步骤为：通过对移动设备获取到的待处理图像进行识别感兴趣区域，并对该待处理图像进行裁剪，得到归属于感兴趣区域的目标图像，能够有效去除待处理图像中的非感兴趣区域的图像信息(即不包含工件图像的部分)，从而有效提高工件计数结果的获取效率以及提高工件计数结果的准确度。
另外，参照图3，在一实施例中，在执行图1所示实施例中的步骤S110中的根据目标图像建立FIDT之前，本申请提供的基于FIDT的工件计数方法还包括但不限于有以下步骤：
步骤S310，根据预设的预处理规则对目标图像进行图像预处理。
可以理解的是，对目标图像进行图像预处理主要目的是消除目标图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而提高后续目标图像应用的可靠性。
需要说明的是，本申请实施例并不限制对目标图像进行图像预处理的具体方法，可以是对目标图像进行图像随机数旋转处理、归一化处理或图像二值化处理等等，本领域技术人员可以根据实际情况进行选用图像预处理的具体方式。
另外，在一实施例中，目标图像还包括与各个工件图像对应的标注点，参照图4，图1所示实施例中的步骤S110还包括但不限于有以下步骤：
步骤S410，获取目标图像的像素点，计算各个像素点与各个标注点之间的欧氏距离；
步骤S420，根据各个欧氏距离建立FIDT。
可以理解的是，获取目标图像的像素点的具体公式如下：
Figure BDA0003747959180000061
其中，B为目标图像中全部标注点的集合；(x,y)为目标图像中的任意像素点；(x′,y′)为目标图像中的标注点；P(x,y)为各个像素点与各个标注点之间的欧氏距离；根据欧氏距离建立FIDT的具体公式如下：
Figure BDA0003747959180000062
其中，I为FIDT；α的数值为0.02；β的数值为0.75；C是一个额外常数(设C＝1)，以避免被0除。
另外，在一实施例中，目标图像还包括与各个工件图像对应的标注点，参照图5，图1所示实施例中的步骤S150还包括但不限于有以下步骤：
步骤S510，获取第一图像，第一图像为包括各个包围框的图像，第一图像与目标图像尺寸相同；
步骤S520，对第一图像中全部的包围框附上掩码，得到第二图像；
步骤S530，将第二图像和目标图像输入至预设的对象检测器进行迭代检测处理，得到第一工件计数结果；
步骤S540，当满足预设条件，将全部的第一工件计数结果之和确定为目标工件计数结果。
可以理解的是，本申请实施例提供的对象检测器用于将前一次迭代处理后生成的历史特征图像(对应第一图像)中的全部包围框附上掩码，将附上掩码后的历史特征图像(对应第二图像)重新建立新的FIDT，对新的FIDT进行局部极大值检测处理，得到新的FIDT的多个新的目标局部极大值，并确定各个新的目标局部极大值对应的新的目标坐标信息，再根据预设的聚类算法计算各个新的目标坐标信息对应的各个工件图像的实例大小，根据各个实例大小生成新的包围框，将包含新的包围框的图像与目标图像进行合并处理，得到新的历史特征图像，将新的历史特征图像中的包围框附上掩码，将附上掩码后的新的历史特征图像重新进行上述步骤的迭代操作，直到满足预设条件，结束迭代检测处理步骤；可以理解的是，本申请实施例记录下每次迭代步骤生成的历史特征图像所对应的包围框个数，即记录下每次迭代检测处理步骤完成后得到的第一工件计数结果，当迭代过程结束，将全部的第一工件计数结果之和确定为目标工件计数结果。需要说明的是，本申请实施例中的预设条件可以包括如下之一：对象检测器对第二图像和目标图像进行迭代检测处理的迭代次数超过预设迭代次数阈值；或者，第一工件计数结果为0。
在一实施例中，对象检测器对第二图像和目标图像进行迭代检测处理的具体公式如下：
Figure BDA0003747959180000063
其中，
Figure BDA0003747959180000064
B为包围框组合；w为各个包围框的宽度；h为各个包围框的高度；H∈Zw×h为每次迭代输入至对象检测器的历史特征图像(对应第一图像)，历史特征图像的每个像素包含覆盖该像素的已检测框的数量；I为目标图像。
基于上述公式，并参考上述实施例的描述，迭代过程可以表示为：给定目标图像I，根据目标图像I依次建立FIDT、进行局部极大值检测处理并生成一组包围框B，第一次迭代时，历史特征图像H1为空，对象检测器将输入图像I和H1映射到一组包围框B1，将包含包围框B1的图像记为新的历史特征图像H2；第二次迭代时，将H2映射至目标图像I，并附上掩码，然后对象检测器将输入图像I和附上掩码后的H2映射到新的一组包围框B2，将包含包围框B2的图像记为新的历史特征图像H3...当迭代次数达到极限或在第m次迭代过程中的包围框集合|Bm|＝0时，即第m次迭代过程中未检测到新的包围框，迭代过程结束，最终输出每次迭代过程得到的包围框全集，具体公式如下：
Figure BDA0003747959180000071
其中，m表示总迭代次数；Bt为每次迭代对象检测器预测的包围框集合。
本申请实施例
另外，在迭代过程中，本申请实施例所提供的技术方案还包括如下步骤：随机将包围框集合B分为两个子集Bold和Bnew，Bold和Bnew之间的关系表示为：
Figure BDA0003747959180000072
Bold∪Bnew＝φ；
将Bold映射到历史特征图像H，并强制对象检测器来预测H中缺失的边界盒Bnew，通过反向传播预测框B和目标框Bnew之间的误差来优化对象检测器的损失，同时，通过不同随机划分Bold和Bnew，达到了数据增强的效果。
另外，在获取目标工件计数结果后，本申请实施例的技术方案还包括：将该目标算法结果返回至前端设备进行展示，为后续的统计、校正、历史记录的工作提供有效的数据基础。
另外，参照图6，在一实施例中，本申请实施例提供了一种基于FIDT的工件计数装置600，该基于FIDT的工件计数装置600包括：
FIDT建立模块610，FIDT建立模块610用于获取目标图像，根据目标图像建立FIDT，其中，目标图像包括多个工件图像；
目标坐标信息获取模块620，目标坐标信息获取模块620用于获取预设的局部极大值检测策略，根据局部极大值检测策略从FIDT中获取多个目标局部极大值，并确定各个目标局部极大值对应的目标坐标信息，其中，各个目标坐标信息表征各个工件图像的中心位置的坐标信息；
实例大小计算模块630，实例大小计算模块630用于根据预设的聚类算法计算各个目标坐标信息对应的各个工件图像的实例大小；
包围框生成模块640，包围框生成模块640用于根据各个实例大小生成各个包围框；
工件计数结果获取模块650，工件计数结果获取模块650用于根据预设的迭代对象检测算法对各个包围框和目标图像进行目标检测处理，得到目标工件计数结果。
另外，参考图7，图7是本申请另一个实施例提供的基于FIDT的工件计数装置的结构图，本申请的一个实施例还提供了一种基于FIDT的工件计数装置700，该基于FIDT的工件计数装置700包括：存储器710、处理器720及存储在存储器710上并可在处理器720上运行的计算机程序。
处理器720和存储器710可以通过总线或者其他方式连接。
实现上述实施例的基于FIDT的工件计数方法所需的非暂态软件程序以及指令存储在存储器710中，当被处理器720执行时，执行上述实施例中的基于FIDT的工件计数方法，例如，执行以上描述的图1中的方法步骤S110至步骤S150、图2中的方法步骤S210至步骤S220、图3中的方法步骤S310、图4中的方法步骤S410至步骤S420、图5中的方法步骤S510至步骤S540。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
此外，本申请的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述基于FIDT的工件计数装置700实施例中的一个处理器720执行，可使得上述处理器720执行上述实施例中的基于FIDT的工件计数方法，例如，执行以上描述的图1中的方法步骤S110至步骤S150、图2中的方法步骤S210至步骤S220、图3中的方法步骤S310、图4中的方法步骤S410至步骤S420、图5中的方法步骤S510至步骤S540。本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种基于焦点反距离图FIDT的工件计数方法，其特征在于，包括：
获取目标图像，根据所述目标图像建立FIDT，其中，所述目标图像包括多个工件图像；
根据预设的局部极大值检测策略从所述FIDT中获取多个目标局部极大值，并确定各个所述目标局部极大值对应的目标坐标信息，其中，各个所述目标坐标信息表征各个所述工件图像的中心位置的坐标信息；
根据预设的聚类算法计算各个所述目标坐标信息对应的各个所述工件图像的实例大小；
根据各个所述实例大小生成各个包围框；
根据预设的迭代对象检测算法对各个所述包围框和所述目标图像进行目标检测处理，得到目标工件计数结果。
2.根据权利要求1所述的方法，其特征在于，所述获取目标图像，包括：
获取待处理图像，确定所述待处理图像的感兴趣区域，所述感兴趣区域为所述待处理图像中存在多个所述工件图像的区域；
对所述待处理工件图像进行裁剪，得到所述目标图像，所述目标图像归属于所述感兴趣区域。
3.根据权利要求1所述的方法，其特征在于，在所述根据所述目标图像建立FIDT之前，所述方法还包括：
根据预设的预处理规则对所述目标图像进行图像预处理。
4.根据权利要求1所述的方法，其特征在于，所述目标图像还包括与各个工件图像对应的标注点；所述根据所述目标图像建立FIDT，包括：
获取所述目标图像的像素点，计算各个所述像素点与各个所述标注点之间的欧氏距离；
根据各个所述欧氏距离建立所述FIDT。
5.根据权利要求1所述的方法，其特征在于，所述根据预设的迭代对象检测算法对各个所述包围框和所述目标图像进行目标检测处理，得到目标工件计数结果，包括：
获取第一图像，所述第一图像为包括各个所述包围框的图像，所述第一图像与所述目标图像尺寸相同；
对所述第一图像中全部的所述包围框附上掩码，得到第二图像；
将所述第二图像和所述目标图像输入至预设的对象检测器进行迭代检测处理，得到第一工件计数结果；
当满足预设条件，将全部的所述第一工件计数结果之和确定为所述目标工件计数结果。
6.根据权利要求5所述的方法，其特征在于，所述预设条件至少包括如下之一：
所述对象检测器对所述第二图像和所述目标图像进行迭代检测处理的迭代次数超过预设迭代次数阈值；
或者，
所述第一工件计数结果为0。
7.根据权利要求1所述的方法，其特征在于，所述聚类算法为最邻近规则分类KNN算法。
8.一种基于FIDT的工件计数装置，其特征在于，包括：
FIDT建立模块，所述FIDT建立模块用于获取目标图像，根据所述目标图像建立FIDT，其中，所述目标图像包括多个工件图像；
目标坐标信息获取模块，所述目标坐标信息获取模块用于根据预设的局部极大值检测策略从所述FIDT中获取多个目标局部极大值，并确定各个所述目标局部极大值对应的目标坐标信息，其中，各个所述目标坐标信息表征各个所述工件图像的中心位置的坐标信息；
实例大小计算模块，所述实例大小计算模块用于根据预设的聚类算法计算各个所述目标坐标信息对应的各个所述工件图像的实例大小；
包围框生成模块，所述包围框生成模块用于根据各个所述实例大小生成各个包围框；
工件计数结果获取模块，所述工件计数结果获取模块用于根据预设的迭代对象检测算法对各个所述包围框和所述目标图像进行目标检测处理，得到目标工件计数结果。
9.一种基于FIDT的工件计数装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的基于FIDT的工件计数方法。
10.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1至7中任意一项所述的基于FIDT的工件计数方法。
CN202210830288.XA 2022-07-15 2022-07-15 基于fidt的工件计数方法、装置、计算机可读存储介质 Pending CN115330687A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210830288.XA CN115330687A (zh) 2022-07-15 2022-07-15 基于fidt的工件计数方法、装置、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210830288.XA CN115330687A (zh) 2022-07-15 2022-07-15 基于fidt的工件计数方法、装置、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115330687A true CN115330687A (zh) 2022-11-11

Family

ID=83918393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210830288.XA Pending CN115330687A (zh) 2022-07-15 2022-07-15 基于fidt的工件计数方法、装置、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115330687A (zh)

Similar Documents

Publication Publication Date Title
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN109118473B (zh) 基于神经网络的角点检测方法、存储介质与图像处理***
CN109934847B (zh) 弱纹理三维物体姿态估计的方法和装置
CN107784288B (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN113012157B (zh) 一种设备缺陷视觉检测方法及***
CN111639653B (zh) 一种误检图像确定方法、装置、设备和介质
CN113111716B (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN111275040B (zh) 定位方法及装置、电子设备、计算机可读存储介质
CN111523463B (zh) 基于匹配-回归网络的目标跟踪方法及训练方法
AU2020272936B2 (en) Methods and systems for crack detection using a fully convolutional network
JP2013016168A (ja) 画像におけるテキスト領域を位置決めする方法及び装置
CN111091101A (zh) 基于一步法的高精度行人检测方法、***、装置
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及***
CN115527050A (zh) 图像特征匹配方法、计算机设备和可读存储介质
CN115049731B (zh) 一种基于双目摄像头的视觉建图和定位方法
CN110334775B (zh) 一种基于宽度学习的无人机线路故障识别方法和装置
CN115187879A (zh) 一种基于YOLOv5的楼栋检测与楼层定位方法及装置
CN113421210A (zh) 一种基于双目立体视觉的表面点云重建方法
CN114119970B (zh) 目标跟踪方法及装置
CN115330687A (zh) 基于fidt的工件计数方法、装置、计算机可读存储介质
CN115830310A (zh) 基于通道注意力机制的工件点云分割方法、装置、介质
CN115578594A (zh) 基于计算机视觉的边缘定位方法、装置及相关设备
Williams et al. Detecting marine animals in underwater video: Let's start with salmon
CN114842506A (zh) 一种人体姿态估计方法及***
CN118518093A (zh) 一种基于多帧空间占用率的激光slam方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination