CN115861162A - 定位目标区域的方法、装置及计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种定位目标区域的方法，包括：根据特征点识别模型获取待检测图像中的目标点的坐标；根据所述目标点的坐标定位所述目标区域。其中，待检测图像包括成像不稳定的目标区域，目标区域的目标对象包括成像稳定的第一子部和成像不稳定的第二子部，目标点包括所述第一子部上的特征点。通过该方法能够提高目标区域定位的准确性和效率。

Description

定位目标区域的方法、装置及计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，更为具体地，涉及一种定位目标区域的方法及装置。

背景技术

目标区域定位是指在通过计算机识别出图像中的具体目标并定位该目标在图像中的位置，以便于进行后续的识别和分析等步骤，其中目标区域是指图像中特定目标所在的区域。然而由于图像内容的多样性和复杂性，以及图像采集过程中的环境条件不同，采集到的图像中常常会存在与目标区域相类似的噪声，影响目标区域的分辨，进而影响目标区域定位的准确率和效率。

发明内容

本申请实施例提供了一种定位目标区域的方法及装置，能够提高定位目标区域的准确性和效率。

第一方面，提供了一种定位目标区域的方法，包括：根据特征点识别模型获取待检测图像中的目标点的坐标；根据目标点的坐标定位所述目标区域。其中，待检测图像包括成像不稳定的目标区域，目标区域的目标对象包括成像稳定的第一子部和成像不稳定的第二子部，目标点包括第一子部上的特征点。

以上技术方案中，待检测图像中包括待定位的目标区域，目标区域中包括目标对象，目标对象包括成像稳定的第一子部和成像不稳定的第二子部。成像稳定的第一子部是指在对同一目标对象采集的多张图像中，能够清晰显示形状、纹理等结构特征的图像数量大于或等于一定比例的目标对象的区域。成像不稳定的第二子部是指在同一产品或同类产品采集的多张图像中，能够清晰显示形状、纹理等结构特征的图像数量小于或等于一定比例的目标对象的区域。

本申请的技术方案中，通过将目标区域中包含的目标对象分为成像稳定的第一子部和成像不稳定的第二子部，再从待检测图像中提取位于第一子部上的特征点坐标，并基于该特征点坐标在待检测图像中定位目标区域，从而能够在图像中不能完全显示目标对象的全部特征时，也能够根据目标对象上成像稳定的部分区域确定目标区域，能够提高因成像或噪声等因素干扰而不能完整显示目标对象的图像中目标区域定位的效率和准确性。

在第一方面一些可能的实施方式中，可以直接以目标点为角点构成目标区域，也可以对目标点构成的区域进行适当的调整而得到目标区域。因此能够根据实际需求确定目标区域的大小，以适应于后续的图像分析或处理。

在第一方面一些可能的实施方式中，在根据特征点识别模型获取待检测图像中的目标点坐标之前，该方法还包括：根据训练数据训练所述特征点识别模型；训练数据包括标注特征点，标注特征点包括第一子部上的特征点。

通过以上实施方式，能够获取合适的特征点识别模型。

在第一方面一些可能的实施方式中，根据样本图像训练所述特征点识别模型包括：获取训练数据，该训练数据包括训练图像集和特征点数据集；将训练数据集输入待训练神经网络模型进行特征提取，得到特征点坐标预测值；根据特征点坐标的预测值和所述训练数据集中与特征点坐标的预测值对应的真实值确定第一损失函数的函数值；第一损失函数的函数值用于指示所述特征点坐标预测值与所述真实值之间的偏差；根据所述第一损失函数的函数值更新所述待训练神经网络模型的参数；确定第一损失函数的函数值收敛到第一阈值，以当前的神经网络模型作为特征点识别模型。

通过以上实施方式，能够获得鲁棒性强的特征点识别模型。

在第一方面一些可能的实施方式中，获取训练数据包括：根据包含目标区域的深度图生成训练图像；对训练图像进行特征点标注，得到训练图像集。

通过以上实施方式，能够利用深度图中包含的深度信息准确识别图像中的物体，能够提高标注过程的准确率和效率。

在第一方面一些可能的实施方式中，获取训练数据包括：对训练图像上的特征点进行排序，获得特征点数据集。

通过以上实施方式，能够获得特征点之间的基本关系，以经过排序的特征点作为训练神经网络模型的数据，能够根据实际目标对象的结构特点提升模型的性能。

在第一方面一些可能的实施方式中，特征点数据集中包括所述特征点的坐标和序号。还可以包括所述特征点的描述符和所述特征点之间的相对位置关系。

通过以上实施方式，能够使神经网络模型的训练数据包含的信息更为充分，有利于从图像中形状或结构相似的目标中提取出正确的特征点，保证模型输出的准确性。

在第一方面一些可能的实施方式中，在将待检测图像输入特征点识别模型前，该方法还包括：获取原始图像；将所述原始图像转化为png格式的图像，得到所述待检测图像。

通过以上实施方式，能够在保留定位目标区域所需的数据特征的同时有效降低数据的存储需求。

在第一方面一些可能的实施方式中，特征点数据集以JSON格式存储。

通过以上实施方式，能够以易读性强，通用性强，且可以兼容多种程序语言数据格式存储特征点的信息。使该数据集的信息能够被充分利用。

在第一方面一些可能的实施方式中，在确定所述第一损失函数的函数值收敛到所述第一阈值后，该方法还包括：以训练图像集作为特征点识别模型的测试集输入特征点识别模型，得到特征点预测值；根据特征点预测值和与训练图像集对应的真实特征点坐标值计算精度评价指标。

通过以上实施方式能够获知训练好的特征点识别模型的精度是否符合实际需求，当精度不满足实际需求时能够及时对特征点识别模型进行参数调整。

在第一方面一些可能的实施方式中，上述精度评价指标为特征点预测值和与训练图像集对应的真实特征点坐标值的欧几里得平方根均值。

通过以上实施方式，能够有效地评价模型的精度。

在第一方面一些可能的实施方式中，待训练神经网络模型包括主干特征提取神经网络，该主干特征提取神经网络为ResNet18神经网络。

通过以上实施方式，能够在满足特征点识别需求的同时降低训练和识别过程对于设备的硬件需求。

在第一方面一些可能的实施方式中，第一损失函数为Smooth L1损失函数。

通过以上实施方式能够使特征点识别模型的训练过程易于收敛且稳定性强。

在第一方面一些可能的实施方式中，待检测图像是为电池单体内焊接后的转接片与极柱的图像；目标区域包括所述极柱和所述转接片的焊接区域。

通过以上实施方式，得到的目标区域可以用于后续的转接片缺陷检测，从而有利于提升出厂电池的良品率，保证其功能性和安全性。

在第一方面一些可能的实施方式中，目标对象为转接片，转接片包括极耳连接部和极柱连接部，极耳连接部的一端与所述极柱连接部相连；第一子部为极耳连接部，目标点包括位于所述极耳连接部两端的坐标点。

通过以上实施方式，当目标区域为电池单体内部包括极柱和转接片的区域时，能够实现目标区域的准确和稳定获取。

第二方面，提供了一种定位目标区域的装置，包括：特征点提取模块，用于根据特征点识别模型获取待检测图像中的目标点的坐标；目标区域定位模块，用于根据目标点的坐标定位所述目标区域。其中，待检测图像包括成像不稳定的目标区域，目标区域的目标对象包括成像稳定的第一子部和成像不稳定的第二子部，目标点包括第一子部上的特征点。

在第二方面一些可能的实施方式中，所述装置还包括：训练模块，用于在根据特征点识别模型获取待检测图像中的目标点坐标之前，根据训练数据训练所述特征点识别模型；训练数据包括标注特征点，其中，标注特征点包括第一子部上的特征点。

在第二方面一些可能的实施方式中，所述装置还包括：获取模块，用于获取训练数据；存储模块，用于存储训练数据。所述训练数据包括训练图像集和特征点数据集；所述训练模块用于：将所述训练数据集输入待训练神经网络模型进行特征提取，得到特征点坐标预测值；根据所述特征点坐标的预测值和所述训练数据集中与所述特征点坐标的预测值对应的真实值确定第一损失函数的函数值；所述第一损失函数的函数值用于指示所述特征点坐标预测值与所述真实值之间的偏差；根据所述第一损失函数的函数值更新所述待训练神经网络模型的参数；确定所述第一损失函数的函数值收敛到第一阈值，以当前的神经网络模型作为特征点识别模型。

在第二方面一些可能的实施方式中，获取模块用于：根据包含目标区域的深度图生成所述训练图像；对训练图像进行特征点标注，得到训练图像集。

在第二方面一些可能的实施方式中，获取模块用于：对训练图像上的特征点进行排序，获得特征点数据集。

在第二方面一些可能的实施方式中，存储模块用于存储特征点的坐标和序号。

在第二方面一些可能的实施方式中，存储模块用于存储特征点的描述符和所述特征点之间的相对位置关系。

在第二方面一些可能的实施方式中，该装置还包括图像预处理模块，用于：获取原始图像；将原始图像转化为png格式的图像，得到待检测图像。

在第二方面一些可能的实施方式中，存储模块用于：以JSON格式存储特征点数据集。

在第二方面一些可能的实施方式中，装置还包括精度评价模块，用于：在确定所述第一损失函数的函数值收敛到所述第一阈值后，以训练图像集作为所述特征点识别模型的测试集输入所述特征点识别模型，得到特征点预测值；根据所述特征点预测值和与训练图像集对应的真实特征点坐标值计算精度评价指标。

在第二方面一些可能的实施方式中，精度评价模块用于：计算特征点预测值和与训练图像集对应的真实特征点坐标值的欧几里得平方根均值。

在第二方面一些可能的实施方式中，待训练神经网络模型包括主干特征提取神经网络，主干特征提取神经网络为ResNet18神经网络。

在第二方面一些可能的实施方式中，第一损失函数为Smooth L1损失函数。

在第二方面一些可能的实施方式中，待检测图像是为电池单体内焊接后的转接片与极柱的图像；所述目标区域包括所述极柱和所述转接片的焊接区域。特征点提取模块用于：从电池单体内焊接后的转接片与极柱的图像中提取特征点；目标区域定位模块用于：根据特征点在电池单体内焊接后的转接片与极柱的图像中定位目标区域。

在第二方面一些可能的实施方式中，目标对象为转接片，转接片包括极耳连接部和极柱连接部，极耳连接部的一端与所述极柱连接部相连；第一子部为极耳连接部，目标点包括位于极耳连接部两端的坐标点。

第三方面，提供了一种处理图像的装置，包括处理器和存储器，该存储器用于存储程序，该处理器用于从存储器中调用并运行上述程序以执行上述第一方面或第一方面的任一可能的实施方式中的定位目标区域的方法。

第四方面，提供了一种计算机可读存储介质，用于存储计算机程序，当该计算机程序在计算机上运行时，使得所述计算机执行上述第一方面或第一方面的任一可能的实施方式中的定位目标区域的方法。

附图说明

图1是本申请提供的***架构示意图；

图2是本申请一实施例提供的定位目标区域的方法的示意性流程图；

图3是本申请一实施例提供的特征点识别模型参数调节过程的示意性流程图；

图4是本申请一实施例提供的特征点识别模型训练过程的示意性流程图；

图5是本申请一实施例提供的原始图像；

图6是本申请一实施例提供的特征区域示意图；

图7是本申请一实施例提供的特征点标注示意图；

图8是本申请实施例的一种定位目标区域的装置的示意性结构框图；

图9是本申请实施例的一种定位目标区域的装置的硬件结构示意图。

具体实施方式

下面结合附图和实施例对本申请的实施方式作进一步详细描述。以下实施例的详细描述和附图用于示例性地说明本申请的原理，但不能用来限制本申请的范围，即本申请不限于所描述的实施例。应理解，本文中的具体的例子只是为了帮助本领域技术人员更好地理解本申请实施例，而非限制本申请实施例的范围。

还应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。本说明书中描述的各种实施方式，既可以单独实施，也可以组合实施，本申请实施例对此并不限定。

除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。本申请所使用的术语“和/或”包括一个或多个相关的所列项的任意的和所有的组合。

在图像采集过程中，采集环境和采集设备与目标的相对位置等因素难以保证完全相同，因此采集到的多张待检测图像中，目标对象的位置和形状可能存在差异，影响对目标区域的准确定位。尽管目标对象的位置和形状存在差异，但在待检测图像中，仍有一部分结构的成像是相对稳定的，即在图像中显示出的形状特征是清晰可辩的，因此，该相对稳定的结构能够有助于对目标区域的准确定位。本申请实施例适用于利用该成像相对稳定的结构对待检测图像进行目标区域的定位。本申请公开的实施例中对待检测图像的格式、类型不作限定。本申请实施例包括但不限于对X射线成像设备采集的图像的目标区域定位，也可以用于对其他类型的图像进行目标区域定位，本申请公开的实施例对图像的采集方式和采集设备不作限定。

为了更好地理解本申请实施例的方案，下面先结合图1对本申请实施例可能的应用场景进行简单的介绍。

如图1所示，本申请实施例提供了一种***架构100。在图1中，数据采集设备160用于采集样本图像。针对本申请实施例的定位目标区域的方法来说，样本图像可以是包括待定位目标区域的样本图像。

在采集到样本图像之后，数据采集设备160将这些样本图像存入数据库130，训练设备120基于数据库130中维护的样本图像训练得到目标模型/规则101。

上述目标模型/规则101能够用于实现本申请实施例的定位目标区域的方法。本申请实施例中的目标模型/规则101具体可以为神经网络。需要说明的是，在实际的应用中，所述数据库130中维护的样本图像不一定都来自于数据采集设备160的采集，也有可能是从其他设备接收得到的。另外需要说明的是，训练设备120也不一定完全基于数据库130维护的样本图像进行目标模型/规则101的训练，也有可能从云端或其他地方获取样本图像进行模型训练，上述描述不应该作为对本申请实施例的限定。

根据训练设备120训练得到的目标模型/规则101可以应用于不同的***或设备中，如应用于图1所示的执行设备110，所述执行设备110可以是终端，如手机终端，平板电脑，笔记本电脑等，还可以是服务器或者云端等。在图1中，执行设备110配置输入/输出(input/output，I/O)接口112，用于与外部设备进行数据交互，用户可以通过客户设备140向I/O接口112输入数据，所述输入数据在本申请实施例中可以包括：客户设备140输入的待检测图像。

在一些实施方式中，该客户设备140可以与上述执行设备110为同一设备，例如，客户设备140可以与上述执行设备110均为终端设备。

在另一些实施方式中，该客户设备140可以与上述执行设备110为不同设备，例如，客户设备140为终端设备，而执行设备110为云端、服务器等设备，客户设备140可以通过任何通信机制/通信标准的通信网络与执行设备310进行交互，通信网络可以是广域网、局域网、点对点连接等方式，或它们的任意组合。

执行设备110的计算模块111用于根据I/O接口112接收到的输入数据(如待检测图像)进行处理。在执行设备110的计算模块111执行计算等相关的处理过程中，执行设备110可以调用数据存储***150中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储***150中。

最后，I/O接口112将处理结果，如上述得到的目标区域定位结果返回给客户设备140，从而提供给用户。

值得说明的是，训练设备120可以针对不同的目标或称不同的任务，基于不同的训练数据生成相应的目标模型/规则101，该相应的目标模型/规则101即可以用于实现上述目标或完成上述任务，从而为用户提供所需的结果。

在图1中所示情况下，用户可以手动给定输入数据，该手动给定可以通过I/O接口112提供的界面进行操作。另一种情况下，客户设备140可以自动地向I/O接口112发送输入数据，如果要求客户设备140自动发送输入数据需要获得用户的授权，则用户可以在客户设备140中设置相应权限。用户可以在客户设备140查看执行设备110输出的结果，具体的呈现形式可以是显示、声音、动作等具体方式。客户设备140也可以作为数据采集端，采集如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果作为新的样本数据，并存入数据库130。当然，也可以不经过客户设备140进行采集，而是由I/O接口112直接将如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果，作为新的样本数据存入数据库130。

值得注意的是，图1仅是本申请实施例提供的一种***架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图1中，数据存储***150相对执行设备110是外部存储器，在其它情况下，也可以将数据存储***150置于执行设备110中。

如图1所示，根据训练设备120训练得到目标模型/规则101，该目标模型/规则101在本申请实施例中可以是神经网络，具体的，本申请实施例的神经网络可以为卷积神经网络(convolutional neuron network，CNN)、区域卷积神经网络(region CNN，RCNN)或者其它类型的神经网络等等，本申请对此不做具体限定。

动力锂电池的生产过程包括多个环节，由于工艺、设备或加工环境的限制，电池可能会产生缺陷，因此，在生产各环节会采用多种方式对电池进行缺陷检测，以提升良品率，保证电池的质量和安全性。对锂电池极柱和转接片连接处进行的缺陷检测称为转接片检测。转接片是连接电池盖板与电芯的关键部件，必须同时考虑到电池的过流、强度和低飞溅的要求。转接片通常以焊接的方式与锂电池的极柱连接，其连接处的强度直接影响到电池的功能性和安全性，但由于转接片与顶盖极柱连接处受到材料性质、尺寸和工艺的影响，可能会发生形变和断裂，因此在电池出厂前，对转接片与极柱的连接处进行缺陷检测是至关重要的一环，通过该检测能够筛选出转接片与极柱连接处存在缺陷的电池，保证出厂电池的功能性和安全性。然而，由于转接片被电池端盖封装在电池内部，通常的工业视觉检测方法无法检出其缺陷，因此通常采用X射线成像对其进行检测。但检测目标位置的材料与电芯内部其他材料的种类和致密度均较为接近，X射线成像方式获取到的图像中会包含大量与检测目标相似的噪声，同时，由于需要检测的部位由电池端盖和外壳封闭在电池内部，该成像过程中难以将需要检测的目标控制在每张图像的相同位置，因此影响了对检测目标区域进行定位的精度和效率，给电池的内部缺陷检测带来了困难。

鉴于此，本申请实施例提供了一种定位目标区域的方法，通过本申请实施例公开的方法能够通过将目标区域中包含的目标对象分为成像稳定的第一子部和成像不稳定的第二子部，再从待检测图像中提取位于第一子部上的特征点坐标，并基于该特征点坐标在待检测图像中定位目标区域，从而能够在图像中不能完全显示目标对象的全部特征时，也能够根据目标对象上成像稳定的部分区域确定目标区域，能够提高因成像或噪声等因素干扰而不能完整显示目标对象的图像中目标区域定位的效率和准确性。

本申请实施例提供的定位目标区域的方法和装置可以但不限用于X成像设备获取的图像，还可以应用于其他具有密集噪声特征的图像的目标区域提取；本申请实施例的应用场景也不限于电池内部的缺陷检测，还可以应用于现代工业制造中的其他各类产品的缺陷检测。

图2示出了本申请实施例的定位目标区域的方法200的流程示意图。该定位目标区域的方法200包括以下步骤：

210，根据特征点识别模型获取待检测图像中的目标点的坐标。其中，待检测图像包括待定位的目标区域，该目标区域中包括目标对象。目标对象包括成像稳定的第一子部和成像不稳定的第二子部。其中成像稳定的第一子部是指在对同一目标对象采集的多张图像中，能够清晰显示形状、纹理等结构特征的图像数量大于或等于一定比例的目标对象的区域。成像不稳定的第二子部是指在同一产品或同类产品采集的多张图像中，能够清晰显示形状、纹理等结构特征的图像数量小于或等于一定比例的目标对象的区域。

目标点包括所述第一子部上的特征点。目标点是指用于定位目标对象从而获取目标区域的点，特征点是指具有特征性质，能够反映目标对象的本质特征，从而能够标识目标对象的点。

220,根据所述目标点的坐标定位所述目标区域。其中，目标区域是指包含目标对象的区域。对图像处理和分析时，大多数情况下不需要整幅图像中的全部信息，而是希望获得感兴趣区域的信息，通过提取目标区域能够将感兴趣的区域分离出来，从而提高后续处理的效率。

可选地，在步骤220中，可以根据目标点直接确定目标区域，例如，以目标点作为目标区域的角点，以目标点构成的多边形作为目标区域。也可以根据目标点间接确定目标区域，即通过目标点确定目标区域的位置、角点、边长等几何参数，例如将目标点构成的多边形的边进行平移，获得不同面积的目标区域。

通过本申请实施例公开的方法，通过将目标区域中包含的目标对象分为成像稳定的第一子部和成像不稳定的第二子部，再从待检测图像中提取位于第一子部上的特征点坐标，并基于该特征点坐标在待检测图像中定位目标区域，从而能够在图像中不能完全显示目标对象的全部特征时，也能够根据目标对象上成像稳定的部分区域确定目标区域，能够提高因成像或噪声等因素干扰而不能完整显示目标对象的图像中目标区域定位的效率和准确性。

可选地，步骤210中，待检测图像可以是电荷耦合元件(charge coupled device，CCD)相机拍摄的图片，也可以是X光成像设备采集的图片，也可以是其他相机拍摄的图片，本申请对此不作限定。

可选地，步骤210中，特征点识别模型是预先训练的神经网络模型。

可选地，在所述根据特征点识别模型获取待检测图像中的目标点坐标之前，该方法还包括：根据训练数据训练所述特征点识别模型；其中，训练数据包括标注特征点，标注特征点包括第一子部上的特征点。

图3示出了本申请实施例中特征点识别模型参数调节过程的示意性流程图。该训练过程包括以下步骤：

步骤1：获取训练数据集。可选地，该训练数据集包括图像数据集和特征点数据集。训练数据集是指用于训练神经网络模型的数据构成的集合。其中，图像数据集包括由包含目标区域的深度图生成的正样本图像集和负样本图像集，其中，正样本图像集是指包含目标对象的图像的集合，负样本是指不包含目标对象的图像的集合。深度图也可以称为距离影像，即记录拍摄设备到场景中各点的距离，能够反映场景中物体的几何形状的图像，深度图像中包含的信息更为丰富，有利于提高特征点标注的效率。特征点数据集是根据图像数据集进行标注后获得的特征点坐标和顺序构成的集合。

可选地，该图像数据集可以是图像采集设备所采集的图像转换为4通道8bits的png格式的图像构成的图像集，采用该格式的图像集作为神经网络的训练集能够在保留所需数据特征的同时有效降低数据存储需求。在本申请的一些实施例中，数据存储需求能够降低92％。

可选地，该特征点数据集是对上述图像数据集进行特征点标注后获得的数据集。特征点数据集中可以包括特征点的坐标和序号；特征点数据集中还可以包括特征点的名称、描述符和特征点之间的相对位置关系。

可选地，该特征点数据集可以以JSON格式进行存储，以JSON格式存储的数据具有简单且清晰的层次结构，易于读取且能够被多种语言解析，泛用性强。

步骤2：将训练数据集输入待训练神经网络模型进行特征提取，得到特征点坐标的预测值。

可选地，该待训练神经网络包括主干特征提取神经网络和输出层。其学习的对象是特征点与图像之间的关系。可选地，主干特征提取神经网络为ResNet18神经网络，也可以为RestNet50、HRnet等神经网络，但在本申请实施例中，ResNet18神经网路为能够满足需求的前提下的最小模型，采用该神经网络作为主干特征提取神经网络，能够降低运算过程对图形处理器(graphics processing unit，GPU)等硬件的需求，控制运算成本。

步骤3：根据特征点坐标预测值和训练数据集中与特征点坐标预测值对应的真实值确定第一损失函数的函数值。其中，第一损失函数的函数值用于指示所述特征点坐标预测值与所述真实值之间的偏差。可选地，该第一损失函数可以为SmoothL1 loss损失函数，也可以为L1损失函数或L2 loss损失函数，其中在本申请实施例中SmoothL1 loss损失函数相比于其他损失函数更易于收敛，且能保证训练过程的稳定性。

步骤4：根据第一损失函数的函数值更新所述待训练神经网络模型的参数，对神经网络进行迭代训练；确定第一损失函数的函数值收敛到预设的第一阈值，以当前的神经网络模型作为特征点识别模型。

可选地，在本申请一些实施例中，该定位目标区域的方法还包括：根据所述特征点识别模型的输出值和对应的真实值(gt,ground truth)计算第一精度评价指标，即在训练完成后，对模型进行推理，根据神经网络的输出值和对应的真实值之间的误差，来衡量模型的精度，从而能够根据所需精度及时调整模型的参数。可选地，精度评价指标为所述输出值与对应的真实值的欧几里得平方根均值。

以下通过实施例对本申请提供的定位目标区域的方法进行进一步说明，为便于说明，在该实施例中，以X射线成像设备采集的电池单体内部图像作为用于目标区域定位的待检测图像，该电池单体的极柱与转接片焊接连接，并由电池的顶盖和外壳封装在电池内部，在该实施例中，目标区域即是转接片和极柱连接处的区域。

X射线具有强大的穿透性，能够穿过一般可见光不可穿透的物质，因此常被用于零件探伤，可以检查金属与非金属材料及其制品的内部缺陷，例如焊缝中的焊渣、未焊透等体积性缺陷，在通过X射线获取的图像中，致密度较低的部分颜色相对较浅，可以通过明暗对比来识别物体中的缺陷。但对于本实施例中的卷绕形锂电池而言，完成生产后，转接片和极耳的连接处由电池的外壳和端盖封装在电池内部。由于制成转接片、锂电池端盖和极耳的材料和致密度均较为接近，且上述元件互相连接，因此通过X射线成像后，在图像上难以区分。

图5是本申请一实施例提供的原始图像；如图5所示，该电池单体的转接片为对称结构，图像中显示转接片的横截面形状为U形，该转接片包括两个极耳连接部和一个极柱连接部，两个极耳连接部分别位于极柱连接部两侧并与极柱连接部成一定角度，极耳连接部的一端用于与电池的极耳连接，另一端与极柱连接部相连，极柱连接部与电池的极柱相焊接。在该实施例中，极耳连接部在图像中呈现清晰且对称的八字形结构，因此以极耳连接部为第一子部，而极柱连接部由于与极柱焊接，在图像中不能清晰显示，在该实施例中，极柱连接部即为第二子部。图4是该实施例提供的特征点识别模型训练过程的示意性流程图；如图4所示，该特征点识别模型训练过程包括以下步骤：

S410、获取用于训练神经网络的图像数据集：通过X射线成像设备对电芯极柱进行成像，获取6通道8bits的tiff格式的深度图像，再将该深度图像转换为4通道8bits的png格式的深度图像。

深度图像(Depth Map)中不仅包含物体可见表面的几何形状，也能够反映物体到相机平面的距离，因此在标注过程中，能够更有利于目标对象和特征点的确定。

S420、获取用于训练神经网络的特征点数据集：对获得的png格式的深度图像进行分析，确定特征点，并对特征点进行标注。图6是该实施例中的目标区域示意图；如图6所示，本实施例中的目标区域为包括转接片与极耳焊接部位的区域，即图6中虚线框内部的区域。

图7是本申请一实施例提供的特征点标注示意图。如图7所示，在步骤S420中，选择位于转接片左侧的端部的点0为第一特征点，位于左侧的弯折部的点1为第二特征点，位于右侧的弯折部的点2为第三特征点，位于右侧端部的点4为第四特征点，上述特征点的数据构成一个特征点数据集，特征点数据集中包括特征点的坐标和编号。

在本实施例中，将特征点序列化为JSON数据交换格式的数据，JSON数据交换格式具有语法格式简单、层次结构清晰、易读性和传输效率高等优点，能够提升有效数据量与总数据包比，从而进一步降低存储需求，且有利于后续的数据处理。

步骤S430、将图像数据集和特征点数据集作为待训练神经网络模型的输入，对待训练神经网络模型进行训练，获得特征点识别模型。在该实施例中，待训练神经网络模型包括特征提取层和输出层。待训练神经网络模型输出特征点在PNG图像上的坐标，在本实施例中，以SmoothL1损失函数(Smooth L1Loss)作为训练神经网络模型的损失函数，当损失函数收敛时或迭代达到预设的一定次数时，以当前的神经网络作为特征点识别模型，输出特征点识别模型的模型参数。

可选地，为了按需调整神经网络预测的精度内，在步骤S430后，该方法还可以包括：

步骤S440、对特征点识别模型进行精度评价：将经过标注的PNG图像作为测试集输入特征点识别模型，计算神经网络输出的特征点坐标与标注的特征点坐标之间的误差。当误差值大于或等于设定的阈值时，说明神经网络的预测精度值不符合预测需求，此时可根据需求对神经网络进行重新训练，或调整神经网络的参数。

可选地，可以采用RMSE(均方根误差)、MSE(均方误差)、MAE(平均绝对误差)、SD(标准差)等作为神经网络的预测评价指标。在本实施例中，采用RMSE作为预测评价指标，能够对精度进行更有效的评估。

上文详细地描述了本申请实施例的方法实施例，下面描述本申请实施例的装置实施例，装置实施例与方法实施例相互对应，因此未详细描述的部分可参见前面方法实施例，装置可以实现上述方法中任意可能实现的方式。

图8示出了本申请一个实施例的缺陷检测的装置500的示意性框图。该装置500可以执行上述本申请实施例的缺陷检测的方法，例如，该装置500可以为前述处理装置110。

如图8所示，该装置包括：特征提取模块510，用于根据所述特征点识别模型提取与待检测图像对应的特征点坐标；目标区域定位模块520，用于根据所述几何要素在待检测图像中定位所述目标区域。

通过以上实施方式，从待检测图像中提取特征点坐标，并基于该特征点坐标确定构成目标区域的几何要素，继而在待检测图像中定位目标区域。能够通过神经网络预测的特征点坐标获得目标区域，能够提高噪声较多的图像中目标区域定位的效率和准确性。

可选地，在一些实施例中，该特征点识别模型为预先训练的神经网络模型，装置包括：获取模块，用于获取训练数据集；存储模块，用于存储模型参数和训练数据集；处理模块，用于：将训练数据集输入待训练神经网络模型进行特征提取，得到特征点坐标预测值；根据特征点坐标预测值和训练数据集中与特征点坐标预测值对应的真实值确定第一损失函数的函数值；第一损失函数的函数值用于指示特征点坐标预测值与真实值之间的偏差；根据第一损失函数的函数值更新待训练神经网络模型的参数；确定第一损失函数的函数值收敛到第一阈值，以当前的神经网络模型作为特征点识别模型。

可选地，在一些实施例中，该训练数据集包括训练图像集和特征点数据集。可选地，在一些实施例中，该装置还包括：样本图像生成模块，用于根据包含目标区域的深度图生成训练图像集，所述训练图像集包括正样本图像集和负样本图像集。可选地，在一些实施例中，该装置还包括：特征点标注模块，用于对训练图像集进行特征点标注，生成特征点数据集。可选地，在一些实施例中，该特征点标注模块用于：在训练图像集中标注所述特征点的坐标和序号。可选地，在一些实施例中，该特征点标注模块用于：在训练图像集中标注所述特征点的描述符和各特征点的相对位置关系。可选地，在一些实施例中，该待训练神经网络模型包括主干特征提取神经网络，所述主干特征提取神经网络为ResNet18神经网络。可选地，在一些实施例中，该第一损失函数为Smooth L1损失函数。可选地，在一些实施例中，该装置还包括：预处理模块，用于：获取原始图像；将原始图像转化为4通道8bits的png格式图像，得到待检测图像。可选地，在一些实施例中，存储模块用于以JSON格式存储所述特征点数据集。可选地，在一些实施例中，该装置还包括，精度评价模块，用于根据特征点识别模型的输出值和对应的真实值计算第一精度评价指标。可选地，在一些实施例中，该精度评价模块用于计算第一精度评价指标为所述输出值与对应的真实值的欧几里得平方根均值。可选地，在一些实施例中，该几何要素获取模块用于根据所述特征点坐标获取目标区域的形状、角点坐标、边长、圆心坐标和半径中的一项或多项。

可选地，在一些实施例中，该原始图像为电池单体内焊接后的转接片与极柱的图像，目标区域为包括极柱和转接片的焊接区域。目标对象为转接片，转接片包括极耳连接部和极柱连接部。其中，极耳连接部的一端与极柱连接部相连；第一子部为所述极耳连接部，目标点包括位于所述极耳连接部两端的坐标点。

图9是本申请实施例的处理图像的装置的硬件结构示意图。图9所示的处理图像的装置600包括存储器601、处理器602、通信接口603以及总线604。其中，存储器601、处理器602、通信接口603通过总线604实现彼此之间的通信连接。

存储器601可以是只读存储器(read-only memory，ROM)，静态存储设备和随机存取存储器(random access memory，RAM)。存储器601可以存储程序，当存储器601中存储的程序被处理器602执行时，处理器602和通信接口603用于执行本申请实施例的处理图形符号的方法的各个步骤。

处理器602可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，图形处理器(graphics processing unit，GPU)或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的处理图形符号的装置中的单元所需执行的功能，或者执行本申请实施例的处理图形符号的方法。

处理器602还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请实施例的处理图形符号的方法的各个步骤可以通过处理器602中的硬件的集成逻辑电路或者软件形式的指令完成。

上述处理器602还可以是通用处理器、数字信号处理器(digital signalprocessing，DSP)、ASIC、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器601，处理器602读取存储器601中的信息，结合其硬件完成本申请实施例的处理图形符号的装置中包括的单元所需执行的功能，或者执行本申请实施例的处理图形符号的方法。

通信接口603使用例如但不限于收发器一类的收发装置，来实现装置600与其他设备或通信网络之间的通信。例如，可以通过通信接口603获取未知设备的流量数据。

总线604可包括在装置600各个部件(例如，存储器601、处理器602、通信接口603)之间传送信息的通路。

应注意，尽管上述装置600仅仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，装置600还可以包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，装置600还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，装置600也可仅仅包括实现本申请实施例所必须的器件，而不必包括图9中所示的全部器件。

本申请实施例还提供了一种计算机可读存储介质，该存储介质上存储有用于设备执行的程序代码，程序代码包括用于执行上述处理图形符号的方法中的步骤的指令。

本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行上述处理图形符号的方法。

上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”和“所述”旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。

所描述的实施例中的各方面、实施方式、实现或特征能够单独使用或以任意组合的方式使用。所描述的实施例中的各方面可由软件、硬件或软硬件的结合实现。所描述的实施例也可以由存储有计算机可读代码的计算机可读介质体现，该计算机可读代码包括可由至少一个计算装置执行的指令。所述计算机可读介质可与任何能够存储数据的数据存储装置相关联，该数据可由计算机***读取。用于举例的计算机可读介质可以包括只读存储器、随机存取存储器、紧凑型光盘只读储存器(Compact Disc Read-Only Memory，CD-ROM)、硬盘驱动器(Hard Disk Drive，HDD)、数字视频光盘(Digital Video Disc，DVD)、磁带以及光数据存储装置等。所述计算机可读介质还可以分布于通过网络联接的计算机***中，这样计算机可读代码就可以分布式存储并执行。

上述技术描述可参照附图，这些附图形成了本申请的一部分，并且通过描述在附图中示出了依照所描述的实施例的实施方式。虽然这些实施例描述的足够详细以使本领域技术人员能够实现这些实施例，但这些实施例是非限制性的；这样就可以使用其它的实施例，并且在不脱离所描述的实施例的范围的情况下还可以做出变化。比如，流程图中所描述的操作顺序是非限制性的，因此在流程图中阐释并且根据流程图描述的两个或两个以上操作的顺序可以根据若干实施例进行改变。作为另一个例子，在若干实施例中，在流程图中阐释并且根据流程图描述的一个或一个以上操作是可选的，或是可删除的。另外，某些步骤或功能可以添加到所公开的实施例中，或两个以上的步骤顺序被置换。所有这些变化被认为包含在所公开的实施例以及权利要求中。

另外，上述技术描述中使用术语以提供所描述的实施例的透彻理解。然而，并不需要过于详细的细节以实现所描述的实施例。因此，实施例的上述描述是为了阐释和描述而呈现的。上述描述中所呈现的实施例以及根据这些实施例所公开的例子是单独提供的，以添加上下文并有助于理解所描述的实施例。上述说明书不用于做到无遗漏或将所描述的实施例限制到本申请的精确形式。根据上述教导，若干修改、选择适用以及变化是可行的。在某些情况下，没有详细描述为人所熟知的处理步骤以避免不必要地影响所描述的实施例。虽然已经参考优选实施例对本申请进行了描述，但在不脱离本申请的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，各个实施例中所提到的各项技术特征均可以任意方式组合起来。本申请并不局限于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。

Claims (18)

1.一种定位目标区域的方法，其特征在于，所述方法包括：

根据特征点识别模型获取待检测图像中的目标点的坐标；所述待检测图像包括成像不稳定的目标区域，所述目标区域的目标对象包括成像稳定的第一子部和成像不稳定的第二子部，所述目标点包括所述第一子部上的特征点；

根据所述目标点的坐标定位所述目标区域。

2.根据权利要求1所述的方法，其特征在于，在所述根据特征点识别模型获取待检测图像中的目标点坐标之前，所述方法还包括：

根据训练数据训练所述特征点识别模型；所述训练数据包括标注特征点，所述标注特征点包括所述第一子部上的特征点。

3.根据权利要求2所述的方法，其特征在于，所述根据样本图像训练所述特征点识别模型包括：

获取所述训练数据，所述训练数据包括训练图像集和特征点数据集；

将所述训练数据集输入待训练神经网络模型进行特征提取，得到特征点坐标预测值；

根据所述特征点坐标预测值和所述训练数据集中与所述特征点坐标预测值对应的真实值确定第一损失函数的函数值；所述第一损失函数的函数值用于指示所述特征点坐标预测值与所述真实值之间的偏差；

根据所述第一损失函数的函数值更新所述待训练神经网络模型的参数；

确定所述第一损失函数的函数值收敛到第一阈值，以当前的神经网络模型作为特征点识别模型。

4.根据权利要求3所述的方法，其特征在于，所述获取训练数据包括：

根据包含所述目标区域的深度图生成所述训练图像；

对所述训练图像进行特征点标注，得到所述训练图像集。

5.根据权利要求3或4所述的方法，其特征在于，所述获取训练数据包括：

对所述训练图像上的特征点进行排序，获得所述特征点数据集。

6.根据权利要求3至5中任一项所述的方法，其特征在于，所述特征点数据集中包括所述特征点的坐标和序号。

7.根据权利要求3至6中任一项所述的方法，其特征在于，所述特征点数据集中包括所述特征点的描述符和所述特征点之间的相对位置关系。

8.根据权利要求1至7任一项所述的方法，其特征在于，在所述将待检测图像输入所述特征点识别模型前，所述方法还包括：

获取原始图像；

将所述原始图像转化为png格式的图像，得到所述待检测图像。

9.根据权利要求3至8中任一项所述的方法，其特征在于，所述特征点数据集以JSON格式存储。

10.根据权利要求3至9中任一项所述的方法，其特征在于，在确定所述第一损失函数的函数值收敛到所述第一阈值后，所述方法还包括：

以所述训练图像集作为所述特征点识别模型的测试集输入所述特征点识别模型，得到特征点预测值；

根据所述特征点预测值和与训练图像集对应的真实特征点坐标值计算精度评价指标。

11.根据权利要求10所述的方法，其特征在于，所述精度评价指标为所述特征点预测值和与所述训练图像集对应的真实特征点坐标值的欧几里得平方根均值。

12.根据权利要求3至11中任一项所述的方法，其特征在于，所述待训练神经网络模型包括主干特征提取神经网络，所述主干特征提取神经网络为ResNet18神经网络。

13.根据权利要求3至12中任一项所述的方法，其特征在于，所述第一损失函数为Smooth L1损失函数。

14.根据权利要求1至13中任一项所述的方法，其特征在于，所述待检测图像是为电池单体内焊接后的转接片与极柱的图像；所述目标区域包括所述极柱和所述转接片的焊接区域。

15.根据权利要求14所述的方法，其特征在于，所述目标对象为所述转接片，所述转接片包括极耳连接部和极柱连接部，所述极耳连接部的一端与所述极柱连接部相连；所述第一子部为所述极耳连接部，所述目标点包括位于所述极耳连接部两端的坐标点。

16.一种定位目标区域的装置，其特征在于，所述装置包括：

特征点提取模块，用于根据特征点识别模型获取待检测图像中的目标点的坐标；所述待检测图像包括成像不稳定的目标区域；所述目标点包括所述目标区域中的成像稳定的目标对象上的特征点；

目标区域定位模块，用于根据所述目标点的坐标定位所述目标区域。

17.一种定位目标区域的装置，其特征在于，包括处理器和存储器，所述存储器用于存储程序，所述处理器用于从所述存储器中调用并运行所述程序以执行权利要求1至15中任一项所述的定位目标区域的方法。

18.一种计算机可读存储介质，其特征在于，所述介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行权利要求1至15中任一项所述的定位目标区域的方法。

Images