CN115359471A - 图像处理及联合检测模型训练方法、装置、设备和存储介质 - Google Patents

Abstract

本公开提供了一种图像处理及联合检测模型训练方法、装置、设备和存储介质，涉及人工智能技术领域，具体为深度学习、图像处理、计算机视觉技术领域，可应用于OCR、车牌脱敏等场景。图像处理方法包括：通过将待处理图像输入联合检测模型进行图像处理，同步得到车辆所在的第一区域和车辆目标部件的第二区域；从第二区域中获取位于所述第一区域内的第三区域；根据所述第三区域确定包括车牌的第四区域。本公开可以提高车牌定位的准确度。

Description

图像处理及联合检测模型训练方法、装置、设备和存储介质

技术领域

本公开涉及人工智能技术领域，具体为深度学习、图像处理、计算机视觉技术领域，可应用于光学字符识别(Optical Character Recognition，OCR)、车牌脱敏等场景，尤其涉及一种图像处理及联合检测模型训练方法、装置、设备和存储介质。

背景技术

车载数据制作和更新是重要的数据来源，车载数据通常包括车牌图像，为了保护数据隐私和安全，需要对车牌图像进行车牌脱敏。

车牌脱敏需要定位车牌位置，以便基于车牌位置对其文字进行脱敏处理。

发明内容

本公开提供了一种图像处理及模型训练方法、装置、设备和存储介质。

根据本公开的一方面，提供了一种图像处理方法，包括：通过将待处理图像输入联合检测模型进行图像处理，同步得到车辆所在的第一区域和车辆目标部件的第二区域；从第二区域中获取位于所述第一区域内的第三区域；根据所述第三区域确定包括车牌的第四区域。

根据本公开的另一方面，提供了一种联合检测模型训练方法，包括：通过将图像样本输入联合检测模型进行图像处理，同步得到车辆的第一预测区域信息，以及车辆目标部件的第二预测区域信息；基于所述第一预测区域信息和所述车牌的第一真实区域信息，以及所述第二预测区域信息和所述车辆目标部件的第二真实区域信息，构建损失函数；基于所述损失函数，调整所述联合检测模型的模型参数。

根据本公开的另一方面，提供了一种图像处理装置，包括：第一确定模块，用于通过将待处理图像输入联合检测模型进行图像处理，同步得到车辆所在的第一区域和车辆目标部件的第二区域；第二确定模块，用于从第二区域中获取位于所述第一区域内的第三区域；第三确定模块，用于根据所述第三区域确定包括车牌的第四区域。

根据本公开的另一方面，提供了一种联合检测模型训练装置，包括：确定模块，用于通过将图像样本输入联合检测模型进行图像处理，同步得到车辆的第一预测区域信息，以及车辆目标部件的第二预测区域信息；构建模块，用于基于所述第一预测区域信息和所述车牌的第一真实区域信息，以及所述第二预测区域信息和所述车辆目标部件的第二真实区域信息，构建损失函数；调整模块，用于基于所述损失函数，调整所述联合检测模型的模型参数。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。

根据本公开的技术方案，可以提高车牌定位的准确度。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开实施例提供的一种图像处理方法的流程图；

图2是用来实现本公开实施例的图像处理方法或模型训练方法的应用场景的示意图；

图3是本公开实施例提供的车牌车辆联合检测模型的检测结果的示意图；

图4是本公开实施例提供的另一种图像处理方法的流程图；

图5是本公开实施例提供的一种模型训练方法的流程图；

图6是本公开实施例提供的一种图像处理装置的结构图；

图7是本公开实施例提供的一种模型训练装置的结构图；

图8是用来实现本公开实施例的图像处理方法或模型训练方法的电子设备的示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

相关技术中，存在一些车牌定位方案，通常是仅考虑单一的车牌因素，准确度有待提升。

为了提高车牌定位的准确度，本公开提供如下实施例。

图1是本公开实施例提供的一种图像处理方法的流程图，如图1所示，本实施例提供的图像处理方法包括：

101、通过将待处理图像输入联合检测模型进行图像处理，同步得到车辆所在的第一区域和车辆目标部件的第二区域。

102、从第二区域中获取位于所述第一区域内的第三区域。

103、根据所述第三区域确定包括车牌的第四区域。

其中，待处理图像可以是车辆利用相机等设备采集的图像，或者对相机采集的视频进行分帧后获得的图像，待处理图像中可以包含车牌图像以及车辆图像。

联合检测模型是一种多目标检测模型，即，联合检测模型的输入是待处理图像，输出是待处理图像中的多种目标的检测结果。本实施例中，多种目标包括车辆和车辆目标部件。

车辆所在的区域可以称为第一区域，车辆目标部件所在的区域可以称为第二区域。

同步确定图像中的第一区域和第二区域，是指针对整张图像进行处理，一次性确定第一区域和第二区域；相对应地，异步确定第一区域和第二区域，例如可以是先对整张图像进行处理，以确定出第一区域；再基于第一区域对整张图像进行截取，以获得第一区域对应的部分图像；再对上述的部分图像进行处理，以确定出第二区域。

因此，相对于异步方式，同步确定第一区域和第二区域，可以明显提高处理速度，提高检测效率。

正常来讲，针对某个车辆，以车辆目标部件是车牌为例，该车辆的车牌所在的第二区域，是位于该车辆所在的第一区域内的，但是，实际采用联合检测模型进行目标检测时，联合检测模型得到的车牌位置信息可能存在误差，例如，待处理图像中可能存在红绿灯，联合检测模型可能将红绿灯误检为车牌。因此，可以基于第一区域和第二区域的关系定位车牌位置，提高车牌定位的准确度。

由于联合检测模型的误检问题，采用联合检测模型获得的第二区域不一定位于第一区域内，可以基于第一区域将误检区域进行过滤，保留位于第一区域内的第二区域，作为第三区域。

针对第三区域，可以将第三区域作为最终的车牌区域，或者，还可以进一步对第三区域进行过滤，将过滤后的第三区域作为最终的车牌区域。最终的车牌区域可以称为第四区域。

本实施例中，从第二区域中获取位于第一区域内的第三区域，基于第三区域确定包括车牌的第四区域，由于考虑了第一区域与第二区域之间的关系，针对位于第一区域内的第二区域进一步确定最终的车牌区域，即考虑了车牌和车辆的因素，相对于仅考虑单一的车牌因素，可以提高车牌定位的准确度。另外，同步确定第一区域和第二区域，可以提高检测速度，进而提高车牌定位的效率。

为了更好地理解本公开实施例，下面对本公开实施例适用的应用场景进行说明。本实施例以车辆采集的图像为例。

如图2所示，车辆201可以采集车辆周围环境的图像，车辆可以通过通信网络将采集的图像发送至服务器202，由服务器针对图像进行车牌脱敏处理。或者，也可以是车辆201采集到图像后，由车辆在本地对图像进行车牌脱敏处理。本实施例以车辆将图像发送至服务器，由服务器进行脱敏处理为例。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

以服务器进行图像处理为例，服务器可以预先获得车牌车辆联合检测模型，服务器可以是自身训练获得的，或者从其他设备获得的。

联合检测模型可以具体称为车牌车辆联合检测模型，车牌车辆联合检测模型是一种深度神经网络模型，例如为卷积神经网络(Convolutional Neural Network，CNN模型)，具体可以为YOLO系列的v3(YOLO v3)模型。

YOLO(you only look once)模型是一种目标检测模型，其输入是图像，输出是图像中所有目标的检测结果，检测结果包括目标的边界框(bounding box)信息和类别信息，bounding box信息可以包括如下的5个参数：中心位置(x,y)、高(h)、宽(w)和置信度。类别信息用于表示目标的类别，例如为行人、汽车、自行车等。在本实施例中，目标的类别包括：车辆和车牌。

将YOLO模型应用到车牌车辆联合检测时，车牌车辆联合检测模型的输入是图像，输出是图像中的车辆的检测结果以及车牌的检测结果，车辆的检测结果包括车辆的边界框的信息和类别信息，车牌的检测结果包括车牌的边界框的信息和类别信息。

其中，假设车辆的边界框称为第一边界框，车牌的边界框称为第二边界框，则第一区域为第一边界框所包围的区域，第二区域为第二边界框所包围的区域。

如图3所示，第一边界框分别用301a～301d表示，第二边界框分别用302b～302d表示。

获得第一区域和第二区域后，可以将位于第一区域内的第二区域作为第三区域。

例如，由于第二边界框302b～302d所对应的第二区域分别位于第一边界框301b～301d所对应的第一区域内，因此，第二边界框302b～302d所对应的第二区域均为第三区域。

上述以采用车牌车辆联合检测模型检测车辆位置和车牌位置为例，还可以是分别训练两个模型，称为车牌检测模型和车辆检测模型，图像可以输入到车牌检测模型和车辆检测模型，采用车牌检测模型输出车牌的第二边界框，采用车辆检测模型输出车辆的第一边界框，进而基于第二边界框所包围的第二区域，以及第一边界框所包围的第一区域之间的关系，确定候选车牌区域。

针对每个第三区域，可以将第三区域作为最终的车牌区域，即包括车牌的第四区域；或者，还可以结合第三区域内的文字确定第四区域，例如，采用OCR识别技术获得各个第三区域内的文字，若第三区域内的文字包含预设文字，则确定对应的第三区域是第四区域，即，第四区域内的文字包括预设文字，预设文字是表明地区的文字，例如，京、津、冀等。

确定出第四区域后，可以对第四区域内的文字进行脱敏处理，以获得脱敏处理后的车牌数据。

脱敏处理例如包括：对文字进行模糊化处理。

结合上述的应用场景，本公开还提供一种图像处理方法。

图4是本公开实施例提供的另一种图像处理方法的流程图，本实施例以联合检测模型具体称为车牌车辆联合检测模型为例，本实施例提供的图像处理方法包括：

401、获取待处理图像。

例如，车辆采用安装在车辆上的相机等设备采集到周围环境的图像或视频。之后，车辆可以将采集的图像或视频发送给服务器，从而服务器可以获取车辆采集的图像或视频。针对视频，可以提取出视频中的每帧图像，针对图像进行处理。

402、通过将待处理图像输入联合检测模型进行图像处理，得到输出的所述车辆的第一边界框信息和所述车辆目标部件的第二边界框信息。

其中，车牌车辆联合检测模型是一种深度神经网络模型，其输入是图像，输出是图像中的车牌的检测结果以及车辆的检测结果。

车牌车辆联合检测模型的骨干网络可以是YOLO v3模型，将整张图像输入到车牌车辆联合检测模型中进行目标检测处理，车牌车辆联合检测模型可以同步输出第一边界框信息和第二边界框信息。例如，如图3所示，车辆的检测结果包括车辆的第一边界框信息，如301a～301d，车牌的检测结果包括车牌的第二边界框信息，如302b～302d。

403、根据所述第一边界框信息确定第一区域；以及，根据所述第二边界框信息确定第二区域。

其中，以第一边界框为例，第一边界框信息可以包括：车辆的中心位置(x,y)、高(h)、宽(w)和置信度。

基于中心位置(x,y)、高(h)、宽(w)可以框出一个区域，将该区域作为第一区域。例如，针对301b，将边界框301b所包围的区域作为第一区域。

本实施例中，采用车牌车辆联合检测模型获得第一边界框信息和第二边界框信息，由于车牌车辆联合检测模型是单一模型，且该单一模型可以同步确定多种目标(即车牌和车辆)的信息，相对于采用多个模型分别检测车牌信息和车辆信息的方式，可以降低资源开销，提升运算效率，特别适合在车辆本地进行脱敏的场景。另外，联合考虑车牌信息和车辆信息，相对于分别单一考虑车牌信息和车辆信息，可以结合多种信息进行目标检测，可以提高车牌和车辆的检测结果的准确度。

进一步地，由于YOLO v3检测出的边界框的数量较多，为了降低运算量、降低存储开销等，可以对模型进行压缩处理。

其中，针对压缩处理，可以包括：所述车牌车辆联合检测模型的模型参数是量化处理后的模型参数，和/或，剪枝处理后的模型参数。

进一步地，针对剪枝处理，所述联合检测模型是多个候选联合检测模型中测试运行时间最小的候选联合检测模型，且所述多个候选联合检测模型中任一个候选联合检测模型具有的通道数均小于已有的预训练模型的通道数。

关于车牌车辆联合检测模型的训练过程，以及量化或剪枝的内容可以参见后续实施例。

本实施例中，模型参数是量化后的模型参数，和/或剪枝后的模型参数，可以降低参数量，进而降低运算量、降低存储开销，提升检测效率。

404、判断是否存在位于所述第一区域内的所述第二区域，若是，执行405，否则执行410。

其中，可以基于第一边界框信息以及第二边界框信息，判断第一边界框对应的第一区域内是否包含第二边界框对应的第二区域。

例如，针对301a所对应的第一区域，其内不存在第二区域；针对301b所对应的第一区域，其内存在第二区域。

405、从第二区域中获取位于所述第一区域内的第三区域。

在检测过程中，可能仅识别出第一区域，其内不包含第二区域，例如图3的301a，此时，可以认为车牌过小，可以过滤掉该位置；还可能仅识别出第二区域，其外不存在第一区域，此时由于不存在车辆可以认为车牌是误检，过滤掉该位置。

将包含第一区域和第二区域，且位于第一区域内的第二区域作为第三区域。例如，参见图3，第二边界框302b～302d所包围的各个第二区域均为第三区域。

406、获取所述第三区域内的文字。

其中，可以采用OCR技术识别各个第三区域内的文字。

例如，可以截取第三区域对应的图像，作为车牌图像，将车牌图像输入到文字识别模型中，文字识别模型对输入的车牌图像进行文字识别处理，以输出第三区域内的文字。

文字识别模型是一种深度神经网络模型，用于识别图像中的文字。文字识别模型可以是连接时序分类(Connectionist temporal classification，CTC)模型，其骨干网络(backbone)可以选择为resnet34。

407、判断所述第三区域内的文字是否包含预设文字，若是，执行408，否则执行410。

其中，预设文字是表明地区的文字，例如，京、津、冀等。

408、将所述第三区域确定为包括车牌的第四区域。

本实施例中，通过结合文字确定第四区域，可以进一步提高车牌定位的准确度。

409、对所述第四区域内的文字进行脱敏处理。

其中，脱敏处理例如包括：对第四区域内的文字进行模糊化处理。

本实施例中，由于第四区域是通过上述方式获得的精准的车牌区域，通过对第四区域内的文字进行脱敏处理，可以提高脱敏处理的准确性，进而更好的保护用户隐私数据。

410、结束。

本实施例中，采用车牌车辆联合检测模型获得第一区域以及第二区域，将位于第一区域内的第二区域作为第三区域，结合第三区域内的文字确定第四区域，由于参考了车牌、车辆以及文字信息，可以提高车牌定位的准确度；进而通过对第四区域内的文字进行脱敏处理，可以提高车牌脱敏处理的准确度。相关技术中，由于仅考虑车牌的单一因素，误检率较高，例如，红绿灯、栏杆、车道线等都可能被误检为车牌，从而扩大了待脱敏数据的范围，不仅浪费脱敏处理所需的资源，还由于对不应该脱敏的数据进行了脱敏数据，造成数据的不完整，影响数据的完整性和准确性。

上述描述了车牌定位过程，其中涉及了车牌车辆联合检测模型。本公开实施例还提供了车牌车辆联合检测模型的训练方法。

图5是本公开实施例提供的一种联合检测模型训练方法的流程图，如图5所示，本实施例提供的联合检测模型训练方法包括：

501、通过将图像样本输入联合检测模型进行图像处理，同步得到车辆的第一预测区域信息，以及车辆目标部件的第二预测区域信息。

502、基于所述第一预测区域信息和所述车牌的第一真实区域信息，以及所述第二预测区域信息和所述车辆目标部件的第二真实区域信息，构建损失函数。

503、基于所述损失函数，调整所述联合检测模型的模型参数。

其中，可以从已有的样本集中获得图像样本，并对图像样本进行人工标注获得标签数据，以车辆目标部件是车牌为例，标签数据可以包括图像样本中的车牌的标签数据，以及车辆的标签数据，之后可以将图像样本及其标签数据作为训练数据训练联合检测模型。

通常的车牌检测模型是基于单一的车牌数据执行的，例如，每组训练数据可以表示为<图像样本，图像样本中的车牌的标签数据>。

而本实施例中，不仅考虑车牌数据，还考虑车牌数据。例如，每组训练数据可以表示为<图像样本，图像样本中的车牌的标签数据和图像样本中的车牌的标签信息>。

车辆的标签数据可以包括：车辆的第一真实区域信息以及第一类别信息，车辆的标签数据可以包括：车牌的第二真实区域信息以及第二类别信息。

其中，车牌和车辆可以对应标注，比如，图3中的301a，由于其内车牌过小，无法标注车牌区域，因此在标注时，也可以不标注301a。

获得图像样本及其标签数据后，可以将图像样本输入到待训练的联合检测模型中，该模型的输出信息包括图像样本中车辆所在的第一预测区域信息以及车牌所在的第二预测区域信息。

上述的区域信息可以具体是边界框信息。

获得预测信息后，可以基于预测信息与真实信息构建损失函数，采用损失函数调整模型参数，直至达到预设的迭代次数，获得最终的模型。

具体的损失函数可以基于模型的骨干网络对应的损失函数确定，例如，车牌车辆联合检测模型的骨干网络可以是YOLO v3模型，可以采用YOLO v3模型对应的损失函数，该损失函数的具体公式可以参见已有的YOLO v3模型的说明。

本实施例中，基于图像样本中车辆所在的第一预测区域信息及所述车辆所在的第一真实区域信息，以及所述图像样本中车牌所在的第二预测区域信息及所述车牌所在的第二真实区域信息，构建损失函数，基于损失函数调整模型参数，可以在模型训练过程中，不仅考虑车辆目标部件因素，还可以考虑车辆因素，相对于仅考虑单一的车辆目标部件因素，可以提高模型的精准度，进而基于模型进行车牌定位时，可以提高车牌定位的准确度。

其中，检测模型是一种深度神经网络模型，其骨干网络例如为YOLO v3模型。

YOLO算法的基本思想是：将图像分为预设数量的栅格单元(grid cell)，例如，13*13。针对每个栅格单元，预测中心点落入该栅格单元中的目标的固定数量的bounding box，以及目标在各个类别上的置信度。固定数量可以用B表示，其中，YOLO v1中B＝2，YOLO v2中B＝5，YOLO v3中B＝3；类别的数量可以用C表示；其中，B和C都是正整数。由于B可以用5个参数表示，中心位置、宽、高和置信度，因此，YOLO模型输出的维度是B*(5+C)，或者B*5+C。

YOLO v3中，针对3个尺度(scale)进行融合，其他两个scale的大小分别是26*26和52*52，在多个scale的feature map上做检测，对于小目标的检测效果提升比较明显。YOLOv3采用了多个scale的特征融合，所以bounding box的数量较多。

模型一般部署在中央处理器(Central Processing Unit，CPU)上，为了保证CPU的运行效率等性能，可以对模型进行压缩处理。

压缩处理可以包括：剪枝处理，和/或，量化处理。

其中，针对量化，可以包括：对调整后的模型参数进行量化处理，以获得量化处理后的模型参数。

针对剪枝，可以包括：获取多个候选联合检测模型中每个候选联合检测模型在目标硬件上的测试运行时间；以及，将所述测试运行时间最小的候选联合检测，作为最终的联合检测模型；其中，所述多个候选联合检测模型中任一个候选联合检测模型具有的通道数均小于已有的预训练模型的通道数。

已有的预训练模型例如为通常的YOLO v3模型。

目标硬件是指联合检测模型最终应用的硬件，例如某个CPU。

其中，剪枝处理可以具体是降低模型的通道(channel)数，例如，YOLO v3模型中涉及的通道数分别是64、128、256、512，可以降低至少一个通道的通道数，采用的手段可以是卷积操作时减少卷积核的数量。以通道数是64为例，针对64通道，现有的YOLO v3模型采用64个卷积核进行处理，本实施例中可以采用32个卷积核进行处理，从而获得32通道的输出特征，从而相对于64通道，可以降低通道数。具体通道数可以是设置的固定值，如32，还可以是基于网络搜索，在多种可选的通道数中根据模型的测试结果选择性能最好所对应的通道数。针对剪枝处理，最终应用到目标检测时的模型是剪枝处理后的模型，例如，通常的YOLOv3模型中涉及的通道数分别是64、128、256、512，经过剪枝处理的模型涉及的相应通道数可以分别是32、64、128、256。

针对量化处理，模型参数一般是32位浮点数，可以将其量化为8位定点数。可以采用相关的浮点数到定点数的量化方案实现。另外，量化处理时，可以是每次迭代过程中对该次更新后的模型参数进行量化处理，或者，还可以是达到预设迭代次数获得最终的浮点数模型参数后，对该浮点数模型参数进行量化处理。针对量化处理，最终应用到目标检测时的模型参数是量化处理后的模型参数。

本实施例中，通过对已有的预训练模型进行剪枝处理，和/或，对模型参数进行量化处理，可以降低车牌车辆联合检测模型的参数量，节省存储资源，并且在应用模型时，可以降低检测所需的计算量，提高检测效率。

图6是本公开实施例提供的一种图像处理装置的结构图，如图6所示，该装置600包括：第一确定模块601、第二确定模块602和第三确定模块603。

第一确定模块601用于通过将待处理图像输入联合检测模型进行图像处理，同步得到车辆所在的第一区域和车辆目标部件的第二区域；第二确定模块602用于从第二区域中获取位于所述第一区域内的第三区域；第三确定模块603用于根据所述第三区域确定包括车牌的第四区域。

本实施例中，将所述第一区域内的第二区域，作为第三区域，基于第三区域确定第四区域，由于考虑了第一区域与第二区域之间的关系，针对位于第一区域内的第二区域进一步确定第四区域，即考虑了车牌和车辆的因素，相对于仅考虑单一的车牌因素，可以提高车牌定位的准确度。另外，同步确定第一区域和第二区域，可以提高检测速度，进而提高车牌定位的效率。

一些实施例中，所述第四区域内的文字包含预设文字。

本实施例中，通过结合文字确定第四区域，可以进一步提高车牌定位的准确度。

一些实施例中，第一确定模块601进一步用于：通过将待处理图像输入联合检测模型进行图像处理，得到输出的所述车辆的第一边界框信息和所述车辆目标部件的第二边界框信息；根据所述第一边界框信息确定所述第一区域；根据所述第二边界框信息确定所述第二区域。

本实施例中，采用车牌车辆联合检测模型获得第一边界框的信息和第二边界框的信息，由于车牌车辆联合检测模型是单一模型，且该单一模型可以同步确定多种目标(即车牌和车辆)的信息，相对于采用多个模型分别检测车牌信息和车辆信息的方式，可以降低资源开销，提升运算效率，特别适合在车辆本地进行脱敏的场景。另外，联合考虑车牌信息和车辆信息，相对于分别单一考虑车牌信息和车辆信息，可以结合多种信息进行目标检测，可以提高车牌和车辆的检测结果的准确度。

一些实施例中，所述联合检测模型满足如下项中的至少一项：所述联合检测模型是多个候选联合检测模型中测试运行时间最小的候选联合检测模型，且所述多个候选联合检测模型中任一个候选联合检测模型具有的通道数均小于已有的预训练模型的通道数；所述联合检测模型的模型参数是量化后的模型参数。

本实施例中，模型参数是量化后的模型参数，和/或剪枝后的模型参数，可以降低参数量，进而降低运算量、降低存储开销，提升检测效率。

一些实施例中，该装置600还包括：脱敏模块。脱敏模块用于对所述第四区域内的文字进行脱敏处理。

本实施例中，由于第四区域是通过上述方式获得的精准的车牌区域，通过对第四区域内的文字进行脱敏处理，可以提高脱敏处理的准确性，进而更好的保护用户隐私数据。

图7是本公开实施例提供的一种模型训练装置的结构图，如图7所示，该装置700包括：确定模块701、构建模块702和调整模块703。

确定模块701用于通过将图像样本输入联合检测模型进行图像处理，同步得到车辆的第一预测区域信息，以及车辆目标部件的第二预测区域信息；构建模块702用于基于所述第一预测区域信息和所述车牌的第一真实区域信息，以及所述第二预测区域信息和所述车辆目标部件的第二真实区域信息，构建损失函数；调整模块703用于基于所述损失函数，调整所述联合检测模型的模型参数。

本实施例中，基于图像样本中车辆所在的第一预测区域信息及所述车辆所在的第一真实区域信息，以及所述图像样本中车牌所在的第二预测区域信息及所述车牌所在的第二真实区域信息，构建损失函数，基于损失函数调整模型参数，可以在模型训练过程中，不仅考虑车牌因素，还可以考虑车辆因素，相对于仅考虑单一的车牌因素，可以提高模型的精准度，进而基于模型进行车牌定位时，可以提高车牌定位的准确度。

一些实施例中，该装置700还包括：压缩模块，用于执行如下项中的至少一项：

获取多个候选联合检测模型中每个候选联合检测模型在目标硬件上的测试运行时间；以及，将所述测试运行时间最小的候选联合检测，作为最终的联合检测模型；其中，所述多个候选联合检测模型中任一个候选联合检测模型具有的通道数均小于已有的预训练模型的通道数；

对调整后的模型参数进行量化处理。

本实施例中，通过对已有的预训练模型进行剪枝处理，和/或，对模型参数进行量化处理，可以降低车牌车辆联合检测模型的参数量，节省存储资源，并且在应用模型时，可以降低检测所需的计算量，提高检测效率。

可以理解的是，本公开实施例中的“第一”、“第二”等只是用于区分，不表示重要程度高低、时序先后等。

可以理解的是，本公开实施例中，不同实施例中的相同或相似内容可以相互参考。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储电子设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

电子设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如模型训练方法或图像处理方法。例如，在一些实施例中，模型训练方法或图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的模型训练方法或图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模型训练方法或图像处理方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式***的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种图像处理方法，包括：

通过将待处理图像输入联合检测模型进行图像处理，同步得到车辆所在的第一区域和车辆目标部件的第二区域；

从第二区域中获取位于所述第一区域内的第三区域；

根据所述第三区域确定包括车牌的第四区域。

2.根据权利要求1所述的方法，其中，所述第四区域内的文字包含预设文字。

3.根据权利要求1所述的方法，其中，所述通过将待处理图像输入联合检测模型进行图像处理，同步得到车辆所在的第一区域和车辆目标部件的第二区域，包括：

通过将待处理图像输入联合检测模型进行图像处理，得到输出的所述车辆的第一边界框信息和所述车辆目标部件的第二边界框信息；

根据所述第一边界框信息确定所述第一区域；

根据所述第二边界框信息确定所述第二区域。

4.根据权利要求1所述的方法，其中，所述联合检测模型满足如下项中的至少一项：

所述联合检测模型是多个候选联合检测模型中测试运行时间最小的候选联合检测模型，且所述多个候选联合检测模型中任一个候选联合检测模型具有的通道数均小于已有的预训练模型的通道数；

所述联合检测模型的模型参数是量化后的模型参数。

5.根据权利要求1-4任一项所述的方法，所述确定所述第四区域之后，所述方法还包括：

对所述第四区域内的文字进行脱敏处理。

6.一种联合检测模型训练方法，包括：

通过将图像样本输入联合检测模型进行图像处理，同步得到车辆的第一预测区域信息，以及车辆目标部件的第二预测区域信息；

基于所述第一预测区域信息和所述车牌的第一真实区域信息，以及所述第二预测区域信息和所述车辆目标部件的第二真实区域信息，构建损失函数；

基于所述损失函数，调整所述联合检测模型的模型参数。

7.根据权利要求6所述的方法，还包括如下项中的至少一项：

获取多个候选联合检测模型中每个候选联合检测模型在目标硬件上的测试运行时间；以及，将所述测试运行时间最小的候选联合检测，作为最终的联合检测模型；其中，所述多个候选联合检测模型中任一个候选联合检测模型具有的通道数均小于已有的预训练模型的通道数；

对调整后的模型参数进行量化处理。

8.一种图像处理装置，包括：

第一确定模块，用于通过将待处理图像输入联合检测模型进行图像处理，同步得到车辆所在的第一区域和车辆目标部件的第二区域；

第二确定模块，用于从第二区域中获取位于所述第一区域内的第三区域；

第三确定模块，用于根据所述第三区域确定包括车牌的第四区域。

9.根据权利要求8所述的装置，其中，所述第四区域内的文字包含预设文字。

10.根据权利要求8所述的装置，其中，所述第一确定模块进一步用于：

通过将待处理图像输入联合检测模型进行图像处理，得到输出的所述车辆的第一边界框信息和所述车辆目标部件的第二边界框信息；

根据所述第一边界框信息确定所述第一区域；

根据所述第二边界框信息确定所述第二区域。

11.根据权利要求8所述的装置，其中，所述联合检测模型满足如下项中的至少一项：

所述联合检测模型是多个候选联合检测模型中测试运行时间最小的候选联合检测模型，且所述多个候选联合检测模型中任一个候选联合检测模型具有的通道数均小于已有的预训练模型的通道数；

所述联合检测模型的模型参数是量化后的模型参数。

12.根据权利要求8-11任一项所述的装置，还包括：

脱敏模块，用于对所述第四区域内的文字进行脱敏处理。

13.一种联合检测模型训练装置，包括：

确定模块，用于通过将图像样本输入联合检测模型进行图像处理，同步得到车辆的第一预测区域信息，以及车辆目标部件的第二预测区域信息；

构建模块，用于基于所述第一预测区域信息和所述车牌的第一真实区域信息，以及所述第二预测区域信息和所述车辆目标部件的第二真实区域信息，构建损失函数；

调整模块，用于基于所述损失函数，调整所述联合检测模型的模型参数。

14.根据权利要求13所述的装置，还包括：

压缩模块，用于执行如下项中的至少一项：

获取多个候选联合检测模型中每个候选联合检测模型在目标硬件上的测试运行时间；以及，将所述测试运行时间最小的候选联合检测，作为最终的联合检测模型；其中，所述多个候选联合检测模型中任一个候选联合检测模型具有的通道数均小于已有的预训练模型的通道数；

对调整后的模型参数进行量化处理。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。

Images