CN116935363A - 刀具识别方法、装置、电子设备及可读存储介质 - Google Patents

刀具识别方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN116935363A
CN116935363A CN202310815863.3A CN202310815863A CN116935363A CN 116935363 A CN116935363 A CN 116935363A CN 202310815863 A CN202310815863 A CN 202310815863A CN 116935363 A CN116935363 A CN 116935363A
Authority
CN
China
Prior art keywords
cutter
tool
image
training
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310815863.3A
Other languages
English (en)
Other versions
CN116935363B (zh
Inventor
李安平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Weizhen Technology Co ltd
Original Assignee
Dongguan Weizhen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Weizhen Technology Co ltd filed Critical Dongguan Weizhen Technology Co ltd
Priority to CN202310815863.3A priority Critical patent/CN116935363B/zh
Publication of CN116935363A publication Critical patent/CN116935363A/zh
Application granted granted Critical
Publication of CN116935363B publication Critical patent/CN116935363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种刀具识别方法、装置、电子设备及计算机可读存储介质，方法先获取目标刀具的刀具图像，对刀具图像进行归一化处理，然后将进行归一化处理后的刀具图像输入至预先训练好的卷积神经网络，得到刀具分类向量；将刀具分类向量输入至归一化指数函数，得到归一化数组；将归一化数组中的最大值作为识别置信度，当识别置信度大于预设阈值，将归一化数组中与归一化数组中的最大值对应的索引值作为目标刀具的标记号，标记号能够表征目标刀具的类型信息。因此本申请示例的刀具识别方法，能够确定刀具图像中的刀具类型。

Description

刀具识别方法、装置、电子设备及可读存储介质
技术领域
本申请涉及刀具识别技术领域，特别涉及一种刀具识别方法、装置、电子设备及计算机可读存储介质。
背景技术
随着制造业朝自动化、智能化方向的发展，数控加工中心的广泛使用，越来越多的加工中心辅助***也应运而生，如机床防撞报警***、刀具磨损监测***。加工中心辅助***的诞生很大程度的提升了加工效率，节约了加工成本，为企业提升了经济效益。
但相关技术的辅助***无法识别刀具的类型，导致辅助***在运行时，对不同类型的刀具的处理方法相同，例如在机床防撞报警***中，不同类型的刀具采用相同的防撞报警阈值，从而导致出现漏报或者误报的情况。因此，亟需一种能够识别刀具类型的方法。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种刀具识别方法、装置、电子设备及计算机可读存储介质，能够将刀具图像输入至预先训练好的卷积神经网络，从而确定刀具图像中的刀具类型。
本申请的第一方面实施例提供了一种刀具识别方法，包括：
获取目标刀具的刀具图像；
对所述刀具图像进行归一化处理；
将进行所述归一化处理后的所述刀具图像输入至预先训练好的卷积神经网络，得到刀具分类向量；
将所述刀具分类向量输入至归一化指数函数，得到归一化数组；
将所述归一化数组中的最大值作为识别置信度，当所述识别置信度大于预设阈值，将所述归一化数组中与所述归一化数组中的最大值对应的索引值作为所述目标刀具的标记号；所述标记号表征所述目标刀具的类型。
根据本申请实施例的刀具识别方法，至少具有如下有益效果：刀具识别方法先获取目标刀具的刀具图像，对刀具图像进行归一化处理，然后将进行归一化处理后的刀具图像输入至预先训练好的卷积神经网络，得到刀具分类向量；将刀具分类向量输入至归一化指数函数，得到归一化数组；将归一化数组中的最大值作为识别置信度，当识别置信度大于预设阈值，将归一化数组中与归一化数组中的最大值对应的索引值作为目标刀具的标记号，标记号能够表征目标刀具的类型信息。因此本申请示例的刀具识别方法，能够确定刀具图像中的刀具类型。
根据本申请的一些实施例，所述卷积神经网络的训练步骤包括：
获取刀具训练图像，对所述刀具训练图像进行分类，并给每种刀具类型分配所述标记号；其中，所述刀具类型与所述标记号一一对应；
对所述刀具训练图像进行增强处理；
对进行所述增强处理后的所述刀具训练图像进行所述归一化处理，得到训练集；
将所述训练集输入至初始的所述卷积神经网络，得到刀具训练分类向量；
将所述刀具训练分类向量输入至所述归一化指数函数，得到训练归一化数组；
根据与所述刀具训练图像对应的标记号真实分布、所述训练归一化数组、损失函数，计算得到损失值；
根据所述损失值对所述卷积神经网络的参数进行更新。
根据本申请的一些实施例，所述损失函数为：
其中，Loss为所述损失值，y为所述标记号真实分布，为所述训练归一化数组，c为所述标记号的总数量，i为0，1，...c。
根据本申请的一些实施例，所述将所述训练集输入至初始的所述卷积神经网络，得到刀具训练分类向量，包括：
将所述训练集输入至主干网络，得到图像训练特征向量；
将所述图像训练特征向量输入至卷积网络分类层，得到所述刀具训练分类向量。
根据本申请的一些实施例，所述归一化指数函数为：
其中，为所述训练归一化数组，P(c＝k)为所述刀具训练图像的所述标记号为k时的概率，Zi为所述刀具训练分类向量的第i位的值，Zk为所述图像训练特征向量的第k位的值，i为0，1，...c；k为0，1，...c；c为所述标记号的总数量。
根据本申请的一些实施例，所述对所述刀具图像进行归一化处理，包括：
根据所述刀具图像，计算所述刀具图像的绿色通道亮度平均值、绿色通道亮度标准差；
根据所述刀具图像，计算所述刀具图像的红色通道亮度平均值、红色通道亮度标准差；
根据所述刀具图像，计算所述刀具图像的蓝色通道亮度平均值、蓝色通道亮度标准差；
将每个所述刀具图像的红色通道亮度值减去所述红色通道亮度平均值，再除以所述红色通道亮度标准差；
将每个所述刀具图像的绿色通道亮度值减去所述绿色通道亮度平均值，再除以所述绿色通道亮度标准差；
将每个所述刀具图像的蓝色通道亮度值减去所述蓝色通道亮度平均值，再除以所述蓝色通道亮度标准差。
根据本申请的一些实施例，所述根据所述损失值对所述卷积神经网络的参数进行更新，包括：
采用随机梯度下降算法对所述卷积神经网络的参数进行更新。
本申请第二方面实施例提供了一种刀具识别装置，包括：
获取模块，所述获取模块用于获取目标刀具的刀具图像；
图像归一化模块，所述归一化模块用于对所述刀具图像进行归一化处理；
识别模块，所述识别模块用于将进行所述归一化处理后的所述刀具图像输入至预先训练好的卷积神经网络，得到刀具分类向量；
向量归一化模块，所述向量归一化模块用于将所述刀具分类向量输入至归一化指数函数，得到归一化数组；
标记号确定模块，所述标记号确定模块用于将所述归一化数组中的最大值作为识别置信度，当所述识别置信度大于预设阈值，将所述归一化数组中与所述归一化数组中的最大值对应的索引值作为所述目标刀具的标记号。
本申请第三方面实施例提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面实施例任一项所述的刀具识别方法。
本申请第四方面实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时第一方面实施例中任一项所述的刀具识别方法。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
下面结合附图和实施例对本申请做进一步的说明，其中：
图1为本申请一些实施例的刀具识别方法的流程示意图；
图2为本申请一些实施例的刀具识别方法的进行归一化的流程示意图；
图3为本申请一些实施例的刀具识别方法的卷积神经网络的训练流程示意图；
图4为本申请另一些实施例的刀具识别方法的卷积神经网络的训练子流程示意图；
图5为本申请一些实施例的刀具识别装置的结构示意图；
图6为本申请一些实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
在本申请的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
在本申请的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本申请的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本申请中的具体含义。
本申请的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
参照图1，本申请第一方面实施例提供了一种刀具识别方法，包括但不限于以下步骤：
步骤S110，获取目标刀具的刀具图像；
步骤S120，对刀具图像进行归一化处理；
步骤S130，将进行归一化处理后的刀具图像输入至预先训练好的卷积神经网络，得到刀具分类向量；
步骤S140，将刀具分类向量输入至归一化指数函数，得到归一化数组；
步骤S150，将归一化数组中的最大值作为识别置信度，当识别置信度大于预设阈值，将归一化数组中与归一化数组中的最大值对应的索引值作为目标刀具的标记号；标记号表征目标刀具的类型。
本申请实施例的刀具识别方法通过步骤S110至步骤S150，刀具识别方法先获取目标刀具的刀具图像，对刀具图像进行归一化处理，然后将进行归一化处理后的刀具图像输入至预先训练好的卷积神经网络，得到刀具分类向量；将刀具分类向量输入至归一化指数函数，得到归一化数组；将归一化数组中的最大值作为识别置信度，当识别置信度大于预设阈值，将归一化数组中与归一化数组中的最大值对应的索引值作为目标刀具的标记号，标记号能够表征目标刀具的类型信息。因此本申请示例的刀具识别方法，能够确定刀具图像中的刀具类型，无需人工确认刀具类型。
需要说明的是，在步骤S110之前，例如在训练卷积神经网络时，需要先构建刀具信息数据库，刀具信息数据库包括各种刀具类型，以及每种刀具类型对应的规格信息，并给每个刀具类型分配一个标记号，标记号与刀具类型一一对应。在步骤S150之后，确定标记号后，通过标记号，根据刀具信息数据库能够获取与该标记号对应的刀具类型以及刀具规格信息，然后将刀具类型以及刀具规格信息发送至加工中心辅助***，以使加工中心辅助***能够确定刀具类型以及刀具规格信息，以便于加工中心辅助***根据刀具类型以及刀具规格信息执行相应的操作。例如，刀具规格信息包括刀具尺寸信息，加工中心辅助***为机床防撞报警***，在机床防撞***获取到刀具尺寸信息后，能够根据刀具尺寸信息执行相应操作，避免机床与刀具相撞导致损坏。机床防撞报警***可以为现有技术的***，本申请实施例不多做赘述。
可以理解的是，在步骤S110中，先获取刀具图像，可以通过给机床配置摄像头，通过摄像头获取刀具图像。在另一些实施例中，通过摄像头获取刀具的视频，再从视频中提取刀具图像。
需要说明的是，本申请实施例的刀具识别方法在应用时，只需在原有机床***中，添加视觉设备用于获取刀具图像，无需改动机床，无损安装，不会对机床PLC***及NC***产生任何影响。本申请实施例的刀具识别方法在应用时部署成本低，无需PLC专业人员即可部署应用于机床***。
可以理解的是，参照图2，步骤S120可以包括但不限于以下步骤：
步骤S210，根据刀具图像，计算刀具图像的绿色通道亮度平均值、绿色通道亮度标准差；
步骤S220，根据刀具图像，计算刀具图像的红色通道亮度平均值、红色通道亮度标准差；
步骤S230，根据刀具图像，计算刀具图像的蓝色通道亮度平均值、蓝色通道亮度标准差；
步骤S240，将每个刀具图像的红色通道亮度值减去红色通道亮度平均值，再除以红色通道亮度标准差；
步骤S250，将每个刀具图像的绿色通道亮度值减去绿色通道亮度平均值，再除以绿色通道亮度标准差；
步骤S260，将每个刀具图像的蓝色通道亮度值减去蓝色通道亮度平均值，再除以蓝色通道亮度标准差。
值得注意的是，获取的刀具图像通常是多个的，本申请对刀具图像的具体数量不作出限定。通过步骤S210至步骤S230，计算刀具图像的RGB各个通道的亮度平均值和亮度标准差，具体为：
其中，n为刀具图像的数量，i为0，1....n；meanR为所有刀具图像的红色通道亮度平均值，XR(i)为第i个刀具图像的红色通道的亮度值；meanG为所有刀具图像的绿色通道亮度平均值，XG(i)为第i个刀具图像的率色通道的亮度值；meanB为所有刀具图像的蓝色通道亮度平均值，XB(i)为第i个刀具图像的蓝色通道的亮度值；stdR为所有刀具图像的红色通道亮度标准差，stdG为所有刀具图像的绿色通道亮度标准差，stdB为所有刀具图像的蓝色通道亮度标准差。
在步骤S230之后，通过步骤S240至步骤S260，将每个刀具图像的RGB亮度值进行归一化，从而得到归一化处理后的刀具图像，具体为：
其中，XR_new为归一化处理后的刀具图像的红色通道亮度值；XG_new为归一化处理后的刀具图像的绿色通道亮度值；XB_new为归一化处理后的刀具图像的蓝色通道亮度值。
可以理解的是，在步骤S150中，将归一化数组中的最大值作为识别置信度，当识别置信度大于预设阈值，将归一化数组中与归一化数组中的最大值对应的索引值作为目标刀具的标记号。若识别置信度小于或等于预设阈值时，则重复执行步骤S110至步骤S140，直至识别置信度大于预设阈值。当识别置信度大于预设阈值时，得到的目标刀具的标记号才具备可靠性。需要说明的是，本申请实施例对预设阈值不作出具体限定，本领域技术人员可以根据实际需要设定预设阈值。
可以理解的是，参照图3，卷积神经网络的训练步骤包括但不限于以下步骤：
步骤S310，获取刀具训练图像，对刀具训练图像进行分类，并给每种刀具类型分配标记号；其中，刀具类型与标记号一一对应；
步骤S320，对刀具训练图像进行增强处理；
步骤S330，对进行增强处理后的刀具训练图像进行归一化处理，得到训练集；
步骤S340，将训练集输入至初始的卷积神经网络，得到刀具训练分类向量；
步骤S350，将刀具训练分类向量输入至归一化指数函数，得到训练归一化数组；
步骤S360，根据与刀具训练图像对应的标记号真实分布、训练归一化数组、损失函数，计算得到损失值；
步骤S370，根据损失值对卷积神经网络的参数进行更新。
通过循环步骤S310至S370，对卷积神经网络的参数进行迭代更新，直至达到训练停止条件，得到训练好的卷积神经网络。卷积神经网络的的参数可以指的是卷积神经网络中的所有卷积层的权重或偏置矩阵，训练停止条件可以是循环次数达到预设循环阈值，或者损失值低于预设损失值。本申请实施例对预设损失值和预设循环阈值不作出具体限定。
值得注意的是，在步骤S310中，获取刀具训练图像，对刀具训练图像进行分类，并给每种刀具类型分配标记号。可以通过摄像机对各种类型的刀具进行拍摄，从而得到刀具训练图像，图像采集需要从不同视角、不同光照、不同焦距下采集，以确保不同状态下的刀具都有采集图像。然后构建刀具信息数据库，刀具信息数据库包括各种刀具类型，以及每种刀具类型对应的规格信息，并给每个刀具类型分配一个标记号，标记号与刀具类型一一对应。
值得注意的是，在步骤S320中，对刀具训练图像进行增强处理，刀具图像进行颜色变化、旋转变化、随机裁剪等操作，以增强刀具图像样本。
值得注意的是，在步骤S330中，对进行增强处理后的刀具训练图像进行归一化处理，得到训练集。刀具训练图像通常是多个，本申请对刀具训练图像的具体数量不作出限定。根据刀具训练图像，计算刀具训练图像的绿色通道亮度平均值、绿色通道亮度标准差；根据刀具训练图像，计算刀具训练图像的红色通道亮度平均值、红色通道亮度标准差；根据刀具训练图像，计算刀具训练图像的蓝色通道亮度平均值、蓝色通道亮度标准差；将每个刀具训练图像的红色通道亮度值减去红色通道亮度平均值，再除以红色通道亮度标准差；将每个刀具训练图像的绿色通道亮度值减去绿色通道亮度平均值，再除以绿色通道亮度标准差；将每个刀具训练图像的蓝色通道亮度值减去蓝色通道亮度平均值，再除以蓝色通道亮度标准差。从而得到进行归一化处理后的刀具训练图像，并将部分刀具训练图像作为训练集，将另一部刀具训练图像作为验证集。
在一实施例中，在对刀具训练图像进行归一化处理时，还需要将刀具训练图像按照预设尺寸进行裁剪，例如，将所有的刀具训练图像裁剪成尺寸为418*418。
在一实施例中，每执行完一次步骤S310至步骤S360，则通过验证集，计算验证集输入到卷积神经网络时的损失值，并通过损失值对卷积神经网络的参数进行更新，直至将验证集输入到卷积神经网络时的损失值低于预设损失值。
可以理解的是，损失函数为：
其中，Loss为损失值，y为标记号真实分布，为训练归一化数组，c为标记号的总数量，i为0，1，...c。
可以理解的是，参照图4，步骤S340，将训练集输入至初始的卷积神经网络，得到刀具训练分类向量，可以包括但不限于以下步骤：
步骤S410，将训练集输入至主干网络，得到图像训练特征向量；
步骤S420，将图像训练特征向量输入至卷积网络分类层，得到刀具训练分类向量。
本申请实施例的卷积神经网络包括主干网络和卷积网络分类层，在训练时，先将训练集输入至主干网络，得到图像训练特征向量；然后将图像训练特征向量输入至卷积网络分类层，得到刀具训练分类向量。在一些实施例中，主干网络采用resnet108网络，卷积网络分类层类型为全连接网路，其中输入维度为M*N，输出维度为M*C，其中M为输入的样本数量，N为图像特征转为一维向量后的大小，C为刀具的标记号的总数量。对应的，在步骤S130中，先将进行归一化处理后的刀具图像输入至预先训练好的卷积神经网络的主干网络，对刀具图像进行特征提取，得到刀具图像特征向量，在将刀具图像特征向量输入至预先训练好的卷积神经网络的卷积网络分类层，得到刀具分类向量。
可以理解的是，归一化指数函数softmax为：
其中，为训练归一化数组，P(c＝k)为刀具训练图像的标记号为k时的概率，Zi为刀具训练分类向量的第i位的值，Zk为图像训练特征向量的第k位的值，i为0，1，...c；k为0，1，...c；c为标记号的总数量。需要说明的是，在步骤S130中，需要先将进行归一化处理后的刀具图像输入至预先训练好的卷积神经网络的主干网络，对刀具图像进行特征提取，得到刀具图像特征向量，在将刀具图像特征向量输入至预先训练好的卷积神经网络的卷积网络分类层，得到刀具分类向量，且此时的归一化指数函数中，/>为归一化数组，P(c＝k)为刀具图像的标记号为k时的概率，Zi为刀具分类向量的第i位的值，Zk为刀具图像特征向量的第k位的值，i为0，1，...c；k为0，1，...c；c为标记号的总数量。
可以理解的是，在一实施例中，步骤S370，根据损失值对卷积神经网络的参数进行更新，可以包括以下步骤：
采用随机梯度下降算法对卷积神经网络的参数进行更新。
具体的，通过以下公式对卷积神经网络的参数进行更新：
其中为θi+1表征第i+1次迭代训练的参数，θi为第i次迭代训练的参数；α表征学习率，是一个常数；表征偏导数，J(θ,ε,∈,…)为卷积神经网络中所有参数组成的函数表达式，实际为卷积神经网络的参数。θ,ε,∈分别代表卷积神经网络的参数集中的一个参数，例如可以是卷积神经网络中的所有卷积层的权重或偏置矩阵，具体的参数对应本申请不作出具体限定。本申请实施例通过采用随机梯度下降算法对卷积神经网络的参数进行更新，直至将验证集输入至卷积神经网络的损失值趋于稳定，从而得到预先训练好的卷积神经网络。
参照图5，本申请第二方面实施例提供了一种刀具识别装置，包括：
获取模块510，获取模块510用于获取目标刀具的刀具图像；
图像归一化模块520，归一化模块520用于对刀具图像进行归一化处理；
识别模块530，识别模块530用于将进行归一化处理后的刀具图像输入至预先训练好的卷积神经网络，得到刀具分类向量；
向量归一化模块540，向量归一化模块540用于将刀具分类向量输入至归一化指数函数，得到归一化数组；
标记号确定模块550，标记号确定模块550用于将归一化数组中的最大值作为识别置信度，当识别置信度大于预设阈值，将归一化数组中与归一化数组中的最大值对应的索引值作为目标刀具的标记号。
刀具识别装置先通过获取模块510获取目标刀具的刀具图像，然后通过图像归一化模块520对刀具图像进行归一化处理，然后通过识别模块530将进行归一化处理后的刀具图像输入至预先训练好的卷积神经网络，得到刀具分类向量；通过向量归一化模块540将刀具分类向量输入至归一化指数函数，得到归一化数组；通过标记号确定模块550将归一化数组中的最大值作为识别置信度，当识别置信度大于预设阈值，将归一化数组中与归一化数组中的最大值对应的索引值作为目标刀具的标记号，标记号能够表征目标刀具的类型信息。因此本申请示例的刀具识别方法，能够确定刀具图像中的刀具类型。
需要说明的是，该刀具识别装置的具体实施方式与上述刀具识别方法的具体实施例基本相同，在此不再赘述。
第三方面，本申请实施例还提供了一种电子设备，电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述刀具识别方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
请参阅图6，图6示意了另一实施例的电子设备的硬件结构，电子设备包括：
处理器601，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；
存储器602，可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器602可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器602中，并由处理器601来调用执行本申请实施例的刀具识别方法；
输入/输出接口603，用于实现信息输入及输出；
通信接口604，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；
总线605，在设备的各个组件(例如处理器601、存储器602、输入/输出接口603和通信接口604)之间传输信息；
其中处理器601、存储器602、输入/输出接口603和通信接口604通过总线605实现彼此之间在设备内部的通信连接。
第四方面，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述刀具识别方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。此外，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

Claims (10)

1.一种刀具识别方法，其特征在于，包括：
获取目标刀具的刀具图像；
对所述刀具图像进行归一化处理；
将进行所述归一化处理后的所述刀具图像输入至预先训练好的卷积神经网络，得到刀具分类向量；
将所述刀具分类向量输入至归一化指数函数，得到归一化数组；
将所述归一化数组中的最大值作为识别置信度，当所述识别置信度大于预设阈值，将所述归一化数组中与所述归一化数组中的最大值对应的索引值作为所述目标刀具的标记号；所述标记号表征所述目标刀具的类型。
2.根据权利要求1所述的刀具识别方法，其特征在于，所述卷积神经网络的训练步骤包括：
获取刀具训练图像，对所述刀具训练图像进行分类，并给每种刀具类型分配所述标记号；其中，所述刀具类型与所述标记号一一对应；
对所述刀具训练图像进行增强处理；
对进行所述增强处理后的所述刀具训练图像进行所述归一化处理，得到训练集；
将所述训练集输入至初始的所述卷积神经网络，得到刀具训练分类向量；
将所述刀具训练分类向量输入至所述归一化指数函数，得到训练归一化数组；
根据与所述刀具训练图像对应的标记号真实分布、所述训练归一化数组、损失函数，计算得到损失值；
根据所述损失值对所述卷积神经网络的参数进行更新。
3.根据权利要求2所述的刀具识别方法，其特征在于，所述损失函数为：
其中，Loss为所述损失值，y为所述标记号真实分布，为所述训练归一化数组，c为所述标记号的总数量，i为0，1，...c。
4.根据权利要求2所述的刀具识别方法，其特征在于，所述将所述训练集输入至初始的所述卷积神经网络，得到刀具训练分类向量，包括：
将所述训练集输入至主干网络，得到图像训练特征向量；
将所述图像训练特征向量输入至卷积网络分类层，得到所述刀具训练分类向量。
5.根据权利要求4所述的刀具识别方法，其特征在于，所述归一化指数函数为：
其中，为所述训练归一化数组，P(c＝k)为所述刀具训练图像的所述标记号为k时的概率，Zi为所述刀具训练分类向量的第i位的值，Zk为所述图像训练特征向量的第k位的值，i为0，1，...c；k为0，1，...c；c为所述标记号的总数量。
6.根据权利要求1所述的刀具识别方法，其特征在于，所述对所述刀具图像进行归一化处理，包括：
根据所述刀具图像，计算所述刀具图像的绿色通道亮度平均值、绿色通道亮度标准差；
根据所述刀具图像，计算所述刀具图像的红色通道亮度平均值、红色通道亮度标准差；
根据所述刀具图像，计算所述刀具图像的蓝色通道亮度平均值、蓝色通道亮度标准差；
将每个所述刀具图像的红色通道亮度值减去所述红色通道亮度平均值，再除以所述红色通道亮度标准差；
将每个所述刀具图像的绿色通道亮度值减去所述绿色通道亮度平均值，再除以所述绿色通道亮度标准差；
将每个所述刀具图像的蓝色通道亮度值减去所述蓝色通道亮度平均值，再除以所述蓝色通道亮度标准差。
7.根据权利要求2所述的刀具识别方法，其特征在于，所述根据所述损失值对所述卷积神经网络的参数进行更新，包括：
采用随机梯度下降算法对所述卷积神经网络的参数进行更新。
8.一种刀具识别装置，其特征在于，包括：
获取模块，所述获取模块用于获取目标刀具的刀具图像；
图像归一化模块，所述归一化模块用于对所述刀具图像进行归一化处理；
识别模块，所述识别模块用于将进行所述归一化处理后的所述刀具图像输入至预先训练好的卷积神经网络，得到刀具分类向量；
向量归一化模块，所述向量归一化模块用于将所述刀具分类向量输入至归一化指数函数，得到归一化数组；
标记号确定模块，所述标记号确定模块用于将所述归一化数组中的最大值作为识别置信度，当所述识别置信度大于预设阈值，将所述归一化数组中与所述归一化数组中的最大值对应的索引值作为所述目标刀具的标记号。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的刀具识别方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的刀具识别方法。
CN202310815863.3A 2023-07-04 2023-07-04 刀具识别方法、装置、电子设备及可读存储介质 Active CN116935363B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310815863.3A CN116935363B (zh) 2023-07-04 2023-07-04 刀具识别方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310815863.3A CN116935363B (zh) 2023-07-04 2023-07-04 刀具识别方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN116935363A true CN116935363A (zh) 2023-10-24
CN116935363B CN116935363B (zh) 2024-02-23

Family

ID=88376648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310815863.3A Active CN116935363B (zh) 2023-07-04 2023-07-04 刀具识别方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN116935363B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598709A (zh) * 2019-08-12 2019-12-20 北京智芯原动科技有限公司 一种卷积神经网络训练方法以及车牌识别方法及装置
CN110796161A (zh) * 2019-09-18 2020-02-14 平安科技（深圳）有限公司 识别模型训练、眼底特征的识别方法、装置、设备及介质
CN111368893A (zh) * 2020-02-27 2020-07-03 Oppo广东移动通信有限公司 图像识别方法、装置、电子设备及存储介质
WO2020221278A1 (zh) * 2019-04-29 2020-11-05 北京金山云网络技术有限公司 视频分类方法及其模型的训练方法、装置和电子设备
WO2020248581A1 (zh) * 2019-06-11 2020-12-17 中国科学院自动化研究所 图数据识别方法、装置、计算机设备和存储介质
CN112990432A (zh) * 2021-03-04 2021-06-18 北京金山云网络技术有限公司 目标识别模型训练方法、装置及电子设备
CN114462479A (zh) * 2021-12-23 2022-05-10 浙江大华技术股份有限公司 模型训练方法、检索方法以及模型、设备和介质
CN115170926A (zh) * 2022-09-08 2022-10-11 南京邮电大学 轻量化目标图像识别方法、装置及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020221278A1 (zh) * 2019-04-29 2020-11-05 北京金山云网络技术有限公司 视频分类方法及其模型的训练方法、装置和电子设备
WO2020248581A1 (zh) * 2019-06-11 2020-12-17 中国科学院自动化研究所 图数据识别方法、装置、计算机设备和存储介质
CN110598709A (zh) * 2019-08-12 2019-12-20 北京智芯原动科技有限公司 一种卷积神经网络训练方法以及车牌识别方法及装置
CN110796161A (zh) * 2019-09-18 2020-02-14 平安科技（深圳）有限公司 识别模型训练、眼底特征的识别方法、装置、设备及介质
WO2021051519A1 (zh) * 2019-09-18 2021-03-25 平安科技（深圳）有限公司 识别模型训练、眼底特征的识别方法、装置、设备及介质
CN111368893A (zh) * 2020-02-27 2020-07-03 Oppo广东移动通信有限公司 图像识别方法、装置、电子设备及存储介质
CN112990432A (zh) * 2021-03-04 2021-06-18 北京金山云网络技术有限公司 目标识别模型训练方法、装置及电子设备
CN114462479A (zh) * 2021-12-23 2022-05-10 浙江大华技术股份有限公司 模型训练方法、检索方法以及模型、设备和介质
CN115170926A (zh) * 2022-09-08 2022-10-11 南京邮电大学 轻量化目标图像识别方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王晓斌;黄金杰;刘文举;: "基于优化卷积神经网络结构的交通标志识别", 计算机应用, no. 02, 10 February 2017 (2017-02-10) *
贾宇霞;樊帅昌;易晓梅;: "基于显著性增强和迁移学习的鱼类识别研究", 渔业现代化, no. 01, 15 February 2020 (2020-02-15) *

Also Published As

Publication number Publication date
CN116935363B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN110930353B (zh) 孔位保护门状态检测方法、装置、计算机设备和存储介质
CN107622274B (zh) 用于图像处理的神经网络训练方法、装置以及计算机设备
CN106845890B (zh) 一种基于视频监控的仓储监控方法及装置
CN107832780B (zh) 基于人工智能木板分选低置信度样本处理方法及***
CN113095438B (zh) 晶圆缺陷分类方法及其装置、***、电子设备和存储介质
JP2018182724A5 (zh)
CN108701224A (zh) 可视车辆停车占用传感器
CN108460346B (zh) 指纹识别方法及装置
CN113077462B (zh) 晶圆缺陷分类方法、装置、***、电子设备和存储介质
KR20200045023A (ko) 학습 모델 기반의 차대번호 인식 방법 및 그 장치
CN114553591B (zh) 随机森林模型的训练方法、异常流量检测方法及装置
US11538238B2 (en) Method and system for performing image classification for object recognition
CN110705531A (zh) 缺失字符检测、缺失字符检测模型的建立方法及装置
CN113033451A (zh) 基于深度学习的架空线路故障识别方法及***
CN116935363B (zh) 刀具识别方法、装置、电子设备及可读存储介质
CN114581419A (zh) 变压器绝缘套管缺陷检测方法、相关设备及可读存储介质
CN108900895B (zh) 一种对视频流的目标区域的屏蔽方法及其装置
CN112232295B (zh) 一种新增目标船只的确认方法、装置及电子设备
CN116645337A (zh) 基于联邦学习的多产线陶瓷缺陷检测方法及***
CN115526859A (zh) 生产缺陷识别的方法、分布式处理平台、设备及存储介质
CN114972540A (zh) 目标定位方法、装置、电子设备及存储介质
CN109559450A (zh) 一种智能货柜管理***
CN110634120A (zh) 一种车辆损伤判别方法及装置
CN113298166A (zh) 缺陷分类器和缺陷分类方法、装置、设备及存储介质
WO2008023886A1 (en) Method for optimizing image for vehicle's identification plate

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant