CN118135347A - 在线训练方法、安检图像识别方法、装置、设备和介质 - Google Patents

Abstract

提供了一种安检图像识别模型的在线训练方法，涉及安检技术领域。用于在线端的在线训练方法包括：从N个识别端获取具有特定识别结果的M张待检对象图像；获得所述M张待检对象图像中每张待检对象图像的数据标注结果；将所述每张待检对象图像及其数据标注结果作为训练样本进行在线训练，获得第一安检图像识别模型。用于识别端的在线训练方法包括：从对应安检机获取S张待检对象图像；确定所述S张待检对象图像中每张待检对象图像的识别结果；将具有特定识别结果的至少一张待检对象图像发送至在线端。能够提升从安检机的现场图像数据到识别模型的转化效率，提高了整个数据流转过程的自动化程度，还能够提升识别模型对实际安检现场的适用性。

Description

在线训练方法、安检图像识别方法、装置、设备和介质

技术领域

本公开涉及安检技术领域，更具体地，涉及一种安检图像识别模型的在线训练方法、在线训练***、安检图像识别方法、装置、设备、介质和程序产品。

背景技术

在需要安检的场所通常设置安检机对过检对象进行扫描，根据扫描图像判断是否存在安全问题。相关技术中可以使用基于人工智能的安检图像识别模型对扫描图像进行自动识别。上述安检图像识别模型是通过离线训练得到的，例如将实际安检现场的含有违禁品的安检X光图像收集起来，由智能识别技术厂家进行内部标注、训练，生成识别算法模型，再手动更新到现场的设备中。

在实现本公开发明构思的过程中，发明人发现：离线训练方法需经过一系列人工操作的过程，流程长，耗时耗力。并且有些现场的违禁品图像受信息安全限制，可能无法收集发回技术厂家，导致缺失该部分图像后最终生成的算法模型与实际应用现场不能完全匹配。

发明内容

鉴于上述问题，本公开提供了一种不同于离线训练方法的安检图像识别模型的在线训练方法、在线训练***、安检图像识别方法、装置、设备、介质和程序产品。

本公开实施例的一个方面提供了一种安检图像识别模型的在线训练方法，包括：从N个识别端获取具有特定识别结果的M张待检对象图像，其中每个识别端用于确定来自对应安检机的待检对象图像的识别结果，M、N分别大于或等于1；获得所述M张待检对象图像中每张待检对象图像的数据标注结果；将所述每张待检对象图像及其数据标注结果作为训练样本进行在线训练，获得第一安检图像识别模型。

根据本公开的实施例，在获得所述第一安检图像识别模型后，所述方法还包括：将所述第一安检图像识别模型发送至所述N个识别端，其中，所述N个识别端被配置为在本地部署所述第一安检图像识别模型。

根据本公开的实施例，在将所述第一安检图像识别模型发送至所述N个识别端之前，所述方法还包括：获得所述第一安检图像识别模型的评估指标；在所述评估指标符合预设条件时，向所述N个识别端发送模型更新指令，其中，所述N个识别端被配置为响应于所述模型更新指令获取所述第一安检图像识别模型。

根据本公开的实施例，所述从N个识别端获取具有特定识别结果的M张待检对象图像包括：接收所述N个识别端上传的所述M张待检对象图像。

根据本公开的实施例，所述获得所述M张待检对象图像中每张待检对象图像的数据标注结果包括：按照任务类型分发所述M张待检对象图像，所述任务类型根据所述每张待检对象图像的识别结果确定；获取分发后所述每张待检对象图像的数据标注结果。

根据本公开的实施例，所述每张待检对象图像的数据标注结果包括该张待检对象图像中至少一个待检对象的对象类型，和/或至少一个待检对象的位置信息。

根据本公开的实施例，所述将所述每张待检对象图像及其数据标注结果作为训练样本进行在线训练，获得第一安检图像识别模型包括：对预先部署在所述每个识别端的第二安检图像识别模型进行在线训练，获得所述第一安检图像识别模型；和/或对预先训练好的第三安检图像识别模型进行在线训练，获得所述第一安检图像识别模型；和/或对未经训练的第四安检图像识别模型进行在线训练，获得所述第一安检图像识别模型。

根据本公开的实施例，所述M张待检对象图像属于至少一个任务类型，所述将所述每张待检对象图像及其数据标注结果作为训练样本进行在线训练，获得第一安检图像识别模型包括：将相同任务类型的至少一张待检对象图像及其数据标注结果作为训练样本进行在线训练，获得该任务类型对应的第一安检图像识别模型。

根据本公开的实施例，所述将所述每张待检对象图像及其数据标注结果作为训练样本进行在线训练，获得第一安检图像识别模型包括：在所述训练样本的数量大于或等于预设阈值的情况下，自动进行在线训练获得所述第一安检图像识别模型。

本公开实施例的另一个方面提供了一种安检图像识别模型的在线训练方法，用于识别端，包括：从对应安检机获取S张待检对象图像，S大于或等于1；确定所述S张待检对象图像中每张待检对象图像的识别结果；将具有特定识别结果的至少一张待检对象图像发送至在线端，其中，所述在线端用于执行如上所述的在线训练方法获得第一安检图像识别模型。

根据本公开的实施例，所述识别端与所述安检机通信连接，所述从对应安检机获取S张待检对象图像包括：在所述安检机对过检对象进行扫描获得每张待检对象图像后，实时获取该张待检对象图像。

根据本公开的实施例，所述方法还包括：从所述在线端获取所述第一安检图像识别模型；自动部署所述第一安检图像识别模型。

根据本公开的实施例，在从所述在线端获取所述第一安检图像识别模型之前，所述方法还包括：接收所述在线端发送的模型更新指令。

本公开实施例的另一个方面提供了一种安检图像识别方法，用于识别端，包括：从对应安检机获取Q张待检对象图像，Q大于或等于1；利用第一安检图像识别模型对所述Q张待检对象图像进行识别，获得识别结果，其中，所述第一安检图像识别模型根据如上所述的在线训练方法获得。

本公开实施例的另一个方面提供了一种安检图像识别模型的在线训练***，包括N个识别端和在线端，N大于或等于1，其中：所述N个识别端中每个识别端包括识别设备，所述识别设备用于确定来自对应安检机的待检对象图像的识别结果，并将具有特定识别结果的至少一张待检对象图像发送至所述在线端；所述在线端包括数据管理平台和在线训练平台，其中：所述数据管理平台用于接收所述识别设备发送的所述至少一张待检对象图像，并将所述至少一张待检对象图像及数据标注结果发送至所述在线训练平台；所述在线训练平台用于将所述至少一张待检对象图像及数据标注结果作为训练样本进行在线训练，获得第一安检图像识别模型。

根据本公开的实施例，其中：所述在线训练平台还用于将所述第一安检图像识别模型发送至所述识别设备；所述识别设备用于接收并自动部署所述第一安检图像识别模型。

本公开实施例的另一个方面提供了一种安检图像识别模型的在线训练装置，包括：第一图像模块，用于从N个识别端获取具有特定识别结果的M张待检对象图像，其中每个识别端用于确定来自对应安检机的待检对象图像的识别结果，M、N分别大于或等于1；数据标注模块，用于获得所述M张待检对象图像中每张待检对象图像的数据标注结果；在线训练模块，用于将所述每张待检对象图像及其数据标注结果作为训练样本进行在线训练，获得第一安检图像识别模型。

本公开实施例的另一个方面提供了一种安检图像识别模型的在线训练装置，用于识别端，包括：第二图像模块，用于从对应安检机获取S张待检对象图像，S大于或等于1；第一识别模块，用于确定所述S张待检对象图像中每张待检对象图像的识别结果；第三图像模块，用于将具有特定识别结果的至少一张待检对象图像发送至在线端，其中，所述在线端用于执行如上所述的在线训练方法获得第一安检图像识别模型。

本公开实施例的另一个方面提供了一种安检图像识别装置，用于识别端，包括：第四图像模块，用于从对应安检机获取Q张待检对象图像，Q大于或等于1；第二识别模块，用于利用第一安检图像识别模型对所述Q张待检对象图像进行识别，获得识别结果，其中，所述第一安检图像识别模型根据如上所述的方法获得。

本公开实施例的另一方面提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行如上所述的方法。

本公开实施例的另一方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行如上所述的方法。

本公开实施例的另一方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述的方法。

上述一个或多个实施例至少具有如下有益效果：在线训练的过程提升了从图像数据到识别模型的转化效率，整个数据流转实现了高度自动化，相较旧的离线方案，大大减少了人工的参与部分。由于采用在线训练方案，某些受信息安全限制的现场没有离线处理数据所以符合信息安全要求，故将现场图像作为训练样本得到的识别模型更适用于实际现场，提升了识别模型的适用性。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的用于在线端的在线训练方法的流程图；

图2示意性示出了根据本公开实施例的模型更新的流程图；

图3示意性示出了根据本公开实施例的获取数据标注结果的流程图；

图4示意性示出了根据本公开实施例的用于识别端的在线训练方法的流程图；

图5示意性示出了根据本公开另一实施例的模型更新的流程图；

图6示意性示出了根据本公开实施例的安检图像识别方法的流程图；

图7示意性示出了根据本公开实施例的在线训练***的架构图；

图8示意性示出了根据本公开实施例的在线训练***的数据闭环流向图；

图9示意性示出了根据本公开实施例的用于在线端的在线训练装置的结构框图；

图10示意性示出了根据本公开实施例的用于识别端的在线训练装置的结构框图；

图11示意性示出了根据本公开实施例的用于识别端的安检图像识别装置的结构框图；以及

图12示意性示出了根据本公开实施例的适于实现在线训练方法或识别方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。

在本公开的技术方案中，所涉及的用户安检图像的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

相关技术中离线训练方法会在安检现场收集一定量的违禁品(如武器、毒品、***、走私物品、走私生物或其他被安检场所禁止的物品)图像，再经过内部处理，再到现场设备手动更新，需要经过一系列人工操作的过程，成本高、效率低。而在机场、海关或具有信息安全要求的安检场所，可能内部网络与外部网络相隔离，如安检机的扫描图像等数据不允许离开内网而拷贝到外部技术厂家，厂家只能从其他途径采集所需图像，一方面厂家收集到足够数量的违禁品图像需要较长时间，另一方面厂家收集到的图像与实际安检现场存在一定的差异，造成最终生成的算法模型与应用现场不能完全匹配，导致操作受限、匹配度差。

本公开的实施例提供了安检图像识别模型的在线训练方法、在线训练***、安检图像识别方法、装置、设备、介质和程序产品，在线训练的过程提升了从图像数据到算法模型的转化效率，整个数据流转实现了高度自动化，相较旧的离线方案，大大减少了人工的参与部分。由于采用在线训练方案，某些受信息安全限制的现场没有离线处理数据所以符合信息安全要求，故作为训练样本得到的算法模型更适用于实际现场，提升了算法模型的适用性。

以下将结合图1～图12进一步详细介绍。

图1示意性示出了根据本公开实施例的用于在线端的在线训练方法的流程图。

如图1所示，该实施例的安检图像识别模型的在线训练方法包括操作S110～操作S130。在一些实施例中，还可以包括操作S140。

在操作S110，从N个识别端获取具有特定识别结果的M张待检对象图像，其中每个识别端用于确定来自对应安检机的待检对象图像的识别结果，M、N分别大于或等于1。

示例性地，安检机可以包括X射线安检机，其通过X光对过检对象进行扫描得到图像。识别端可以包括能够进行图像的终端设备或服务器，终端设备可以包括具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

终端设备上可以安装有人工判图应用和/或自动判图应用，例如人工判图应用可以将待检对象图像展示给判图员，来获得判图员输入的判图结果，即作为确定的识别结果。又例如自动判图应用可以调用安检图像识别模型进行自动识别，获得识别结果。

示例性地，识别结果可以包括各张待检对象图像中的待检对象类型，如衣服、食品、电子产品或违禁品等。特定识别结果可以包括识别出包含违禁品的结果。例如对于某个识别端，其在某时间段内从100张待检对象图像中识别出5张图像中包含违禁品，则将该5张图像作为具有特定识别结果的图像。

在一些实施例中，在线端可以接收N个识别端上传的M张待检对象图像。例如每个识别端与在线端之间配置有数据传输接口，识别端通过调用该接口可以在线发送M张待检对象图像。

在另一些实施例中，例如每个识别端可以将各自确定出具有特定识别结果的待检对象图像上传到共享数据库或云服务器，在线端可以从该共享数据库或云服务器获取M张待检对象图像。

根据本公开的实施例，与离线训练方法中需要人工拷贝不同，识别端和在线端之间的待检对象图像传输在线上进行，即可以减少人工操作节省时间，又可以避免离线导致的信息安全问题。

在操作S120，获得M张待检对象图像中每张待检对象图像的数据标注结果。

示例性地，数据标注结果可以是识别端在识别时自动标注的，该情况下从识别端获得。还可以是在获取到M张待检对象图像让人工进行标注，或者使用自动标注软件实现自动标注。

在一些实施例中，每张待检对象图像的数据标注结果包括该张待检对象图像中至少一个待检对象的对象类型，和/或至少一个待检对象的位置信息。

其中，对象类型可以包括具体的待检对象名称，如打火机、手机、刀、枪、***、毒品等，还可以包括违禁品类型，如武器类型、易燃易爆类型或生物类型等。位置信息可以包括在图像上的对象标注框，可以框选出待检对象的位置。

在操作S130，将每张待检对象图像及其数据标注结果作为训练样本进行在线训练，获得第一安检图像识别模型。

例如第一安检图像识别模型根据卷积神经网络算法构建获得，并进行在线训练。每个训练样本可以包括一张待检对象图像和其中的违禁品类型标签与位置标签，在线训练的过程即将多个训练样本输入至初始化的第一安检图像识别模型，通过不断迭代和反向传播来更新模型中的参数，直至模型的目标函数符合要求或迭代结束。

在一些实施例中，将每张待检对象图像及其数据标注结果作为训练样本进行在线训练，获得第一安检图像识别模型包括：在训练样本的数量大于或等于预设阈值的情况下，自动进行在线训练获得第一安检图像识别模型。

离线训练方式是将预先收集好的所有的训练样本集中起来同时进行学习，当数据量比较大时其训练时间较长，无法实时调整模型以适应可能发生变化的实际安检现场(如出现新的违禁品)，同样地，由于涉及到多处人工环节，也会导致耗时较长而最终生成的模型无法适应。

在线训练的方式等训练样本的数量大于或等于预设阈值时即可自动运行，能够很好地适应实际安检现场，并且能够很好地适应于可能出现新型违禁品或藏匿方式的场景中。

在一些实施例中，也可以根据用户需求手动启动训练，例如取消自动训练，无论在训练样本的数量大于或等于预设阈值或小于预设阈值时皆等待手动启动训练。又例如保留数量大于或等于预设阈值时自动启动训练的方式，而在训练样本的数量小于预设阈值时，亦可以手动启动训练。

根据本公开的实施例，能够提升从安检机的现场图像数据到识别模型的转化效率，提高了整个数据流转过程的自动化程度，还能够提升识别模型对实际安检现场的适用性。

在一些实施例中，将每张待检对象图像及其数据标注结果作为训练样本进行在线训练，获得第一安检图像识别模型包括：对预先部署在每个识别端的第二安检图像识别模型进行在线训练，获得第一安检图像识别模型。或对预先训练好的第三安检图像识别模型进行在线训练，获得第一安检图像识别模型。或对未经训练的第四安检图像识别模型进行在线训练，获得第一安检图像识别模型。

根据本公开的实施例，在线端可以提供多种训练措施。通过对第二安检图像识别模型在线训练，可以进一步在识别端原有的识别效果基础上提升准确度和适用性，降低训练成本。第三安检图像识别模型可能是预先训练好但未进行部署，以迁移学习的方式对第三安检图像识别模型继续训练可以获得更好的识别效果，且训练成本也会降低。第四安检图像识别模型可以是初始化得到的，对其进行训练得到的模型可以更好应用到实际安检场景。

在一些实施例中，使用在线训练的方式得到第一安检图像识别模型后，可以自动部署到N个识别端。在操作S140，将第一安检图像识别模型发送至N个识别端，其中，N个识别端被配置为在本地部署第一安检图像识别模型。

根据本公开的实施例，识别端可以将实际安检现场的图像发送至在线端，而在线端利用上述图像在线训练得到第一安检图像识别模型后又可以部署到识别端，换言之，通过在线数据闭环，利用现场图像数据完成新模型训练生成，再将新模型反馈到现场智能识别设备中，因此实现了安检图像识别模型的在线训练和升级。

在一些实施例中，在线端可以直接将第一安检图像识别模型推送到识别端，也可以如图2向识别端发送模型更新指令，具体如下。

图2示意性示出了根据本公开实施例的模型更新的流程图。

在将第一安检图像识别模型发送至N个识别端之前，如图2所示，可以包括操作S210～操作S220。

在操作S210，获得第一安检图像识别模型的评估指标。

示例性地，可以将测试集中的样本输入至模型，根据识别结果获得该模型的准确率、精确率、召回率或F1值等评估指标。可以给出新模型的指标评估报告由用户选择是否进行模型更新，也执行“新模型和旧模型指标比较”的步骤，若新模型优于旧模型则自动更新。

在操作S220，在评估指标符合预设条件时，向N个识别端发送模型更新指令，其中，N个识别端被配置为响应于模型更新指令获取第一安检图像识别模型。

根据本公开的实施例，向N个识别端发送模型更新指令后，何时更新可以由识别端决定，可以考虑到识别端本地的实际情况灵活更新。

图3示意性示出了根据本公开实施例的获取数据标注结果的流程图。

如图3所示，在操作S130中获得M张待检对象图像中每张待检对象图像的数据标注结果包括操作S310～操作S320。

在操作S310，按照任务类型分发M张待检对象图像，任务类型根据每张待检对象图像的识别结果确定。

其中，任务类型可以与违禁品类型对应，如武器类型、易燃易爆类型或生物类型等。举例而言，某张待检对象图像的识别结果为存在刀具，则归属为武器类型，某张待检对象图像的识别结果为存在***，则归属为易燃易爆类型。

在操作S320，获取分发后每张待检对象图像的数据标注结果。

示例性地，分发可以包括按照任务类型发送到不同的标注人员手中，由人工对该类型的图像进行标注。还可以包括调用自动标注应用按照不同的任务类型设置标注任务。还可以包括在数据量大时发送到不同的服务器进行自动标注。

在一些实施例中，M张待检对象图像属于至少一个任务类型，将每张待检对象图像及其数据标注结果作为训练样本进行在线训练，获得第一安检图像识别模型包括：将相同任务类型的至少一张待检对象图像及其数据标注结果作为训练样本进行在线训练，获得该任务类型对应的第一安检图像识别模型。

其中，可以具有多个第一安检图像识别模型，例如利用武器类型的样本训练得到的模型用于识别武器，利用易燃易爆类型的样本训练得到的模型用于识别烟花、***等易燃易爆物品。在一些实施例中，仅有一个第一安检图像识别模型，其可以通过多个任务类型的样本训练获得，以识别不同类型的对象。

根据本公开的实施例，对每个任务类型在线训练得到对应的第一安检图像识别模型，可以提高对待检对象图像识别的准确性。

图4示意性示出了根据本公开实施例的用于识别端的在线训练方法的流程图。

如图4所示，该实施例的安检图像识别模型的在线训练方法包括操作S410～操作S430，其可以应用到N个识别端中任一识别端。

在操作S410，从对应安检机获取S张待检对象图像，S大于或等于1。

在一些实施例中，识别端与安检机通信连接，从对应安检机获取S张待检对象图像包括：在安检机对过检对象进行扫描获得每张待检对象图像后，实时获取该张待检对象图像。

示例性地，安检机借助于输送带将过检对象(如行李)送入X射线检查通道，行李进入X射线检查通道，触发X射线的射线源发射X射线束。X射线束穿过输送带上的过检对象，被过检对象吸收，最后轰击安装在通道内的探测器。探测器把X射线转变为信号，并实时送到识别端，这些信号处理后就可以形成图像，并可以在显示屏显示出来，即完成了实时获取该张待检对象图像。

在操作S420，确定S张待检对象图像中每张待检对象图像的识别结果。

在人工判图时，安保人员通过显示屏根据物品轮廓以及物品成像颜色进行识别违禁品，并作出判图结论，该判图结论即为识别结果。在自动判图时，如运行安检图像识别模型处理图像，则可以不配置显示屏，模型自动输出识别结果。从而根据识别结果可以有效的排除人员携带的随身包裹里面是否携带了违禁物品。

在操作S430，将具有特定识别结果的至少一张待检对象图像发送至在线端，其中，在线端用于执行图1～图3对应的一个或多个实施例来获得第一安检图像识别模型。

根据本公开的实施例，识别端可以直接将待检对象图像发送至在线端，图像传输在线上进行，提高了数据流转效率，降低了耗时成本，保证了数据安全。

图5示意性示出了根据本公开另一实施例的模型更新的流程图。

如图5所示，该实施例的模型更新包括操作S510～操作S520。

在操作S510，从在线端获取第一安检图像识别模型。

示例性地，识别端可以监控在线端的模型更新情况，也可以定时向在线端发送模型是否更新的查询指令，还可以接收在线端发送的第一安检图像识别模型。

在一些实施例中，在从在线端获取第一安检图像识别模型之前，还包括：接收在线端发送的模型更新指令。识别端在接收到模型更新指令后，可以自动去在线端获取第一安检图像识别模型。

在操作S520，自动部署第一安检图像识别模型。

在一些实施例中，识别端可能原本是由人工判图，该情况下可以自动安装第一安检图像识别模型。

在另一些实施例中，识别端可以利用预先部署的第二安检图像识别模型获得识别结果，该情况下可以自动完成模型升级。在另一些实施例中，区别于操作S520，可以通过手动升级的方式部署模型。

根据本公开的实施例，通过在线数据闭环的方式，将利用现场图像数据获得的第一安检图像识别在线反馈到识别端，避免了离线训练方法还需要外部厂家安排人工去现场手动升级的缺陷。

图6示意性示出了根据本公开实施例的安检图像识别方法的流程图。

如图6所示，该实施例的安检图像识别方法包括操作S610～操作S620，其可以应用到N个识别端中任一识别端。

在操作S610，从对应安检机获取Q张待检对象图像，Q大于或等于1。

示例性地，该Q张待检对象图像也可以是在过检对象进入安检机扫描后通过数据传输实时获得。

在操作S620，利用第一安检图像识别模型对Q张待检对象图像进行识别，获得识别结果，其中，第一安检图像识别模型根据图1～图5对应的一个或多个实施例获得。

如上述在线训练和升级第一安检图像识别模型之后，可以运行该模型以对Q张待检对象图像进行识别，从而能够得到更准确的识别结果，对当前实际安检现场具有更好的适用性。

图7示意性示出了根据本公开实施例的在线训练***的架构图。

如图7所示，该实施例的在线训练***包括N个识别端和在线端，具体包括N个安检机(如711-安检机1、712-安检机2……713-安检机N)、N个识别设备(如721-识别设备1、722-识别设备2……723-识别设备N)、数据管理平台731和在线训练平台732。其中，N个识别端可以包括N个识别设备和N个安检机，在线端包括数据管理平台和731在线训练平台732。在一些实施例中，数据管理平台731和在线训练平台732也可以合并为一个平台。上述平台包括实现对应功能所需要的计算机硬件和/或软件的操作环境。需要说明的是，图7所示的架构图仅是示例性地，在实现本公开实施例的在线训练模型的构思下，可以对在线训练***的架构进行变形，例如在一些实施例中，1个识别设备可以对应多个安检机，并不需要一一对应，而数据管理平台依然可以接收一个或多个识别设备传输的图像。

参照图7，每个识别端包括识别设备，识别设备用于确定来自对应安检机的待检对象图像的识别结果，并将具有特定识别结果的至少一张待检对象图像发送至在线端。

在线端包括数据管理平台731和在线训练平台732，其中：数据管理平台731用于接收N个识别设备发送的至少一张待检对象图像，并将至少一张待检对象图像及数据标注结果发送至在线训练平台732。在线训练平台732用于将至少一张待检对象图像及数据标注结果作为训练样本进行在线训练，获得第一安检图像识别模型。

在另一些实施例中，在线训练平台还用于将第一安检图像识别模型发送至N个识别设备。N个识别设备用于接收并自动部署第一安检图像识别模型。

该实施例的识别端可以执行上述图1～图3描述的用于识别端的在线训练方法的一个或多个步骤，在线端可以执行图4～图5描述的上述用于在线端的在线训练方法的一个或多个步骤。

尤其说明，图7中的箭头为数据流向图，下面以711-安检机1和721-识别设备1，数据管理平台731和在线训练平台732举例，通过图8展开对在线训练***运行过程数据流向的说明。

图8示意性示出了根据本公开实施例的在线训练***的数据闭环流向图。

如图8所示，该实施例的在线训练***运行过程中的数据闭环流向过程包括操作S810～操作S880。

操作S810，711-安检机1对过检对象进行X光扫描，将信号传输到721-识别设备1。

操作S820，721-识别设备1对安检机的过机X光图像进行实时违禁品识别。

操作S830，721-识别设备1将智能识别出违禁品的X光图像上传到数据管理平台731。721-识别设备1也可以从外部***获得X光图像的人工判图结论，然后将人工判图有违禁品的X光图像上传到数据管理平台731。

操作S840，数据管理平台731将上传来的X光图像按照任务类型分发到图像标注终端，由人工进行X光图像标注或是自动标注。

操作S850，数据管理平台731将标注后的X光图像及数据上传到在线训练平台732。

操作S860，当标注后的X光图像积累到一定数量后，在线训练平台732使用这些图像自动进行训练学习，生成新的算法模型，并同时给出新模型的指标评估报告。

操作S870，用户根据评估报告的情况，选择是否对721-识别设备1的现有算法模型进行更新。如执行更新，则向721-识别设备1发送模型更新指令。

操作S880，如执行更新指令，则721-识别设备1将获取指定的算法模型完成自动升级。

根据本公开实施例，采用在线训练的方案，包含智能识别设备、数据管理平台、在线训练平台几个组成部分，通过在实际安检现场实时采集含有违禁品的安检X光图像，来实现智能识别算法模型的在线训练和升级。

基于上述用于在线端的安检图像识别模型的在线训练方法，本公开还提供了一种用于在线端的安检图像识别模型的在线训练装置。以下将结合图9对该装置进行详细描述。

图9示意性示出了根据本公开实施例的用于在线端的在线训练装置的结构框图。

如图9所示，该实施例的在线训练装置900包括第一图像模块910，数据标注模块920和数据标注模块930。

第一图像模块910可以执行操作S110，用于从N个识别端获取具有特定识别结果的M张待检对象图像，其中每个识别端用于确定来自对应安检机的待检对象图像的识别结果，M、N分别大于或等于1。

在一些实施例中，第一图像模块910用于接收N个识别端上传的M张待检对象图像。

数据标注模块920可以执行操作S120，用于获得M张待检对象图像中每张待检对象图像的数据标注结果。

在一些实施例中，数据标注模块920可以执行操作S310～操作S320，在此不做赘述。

在线训练模块930可以执行操作S130，用于将每张待检对象图像及其数据标注结果作为训练样本进行在线训练，获得第一安检图像识别模型。

在一些实施例中，在线训练模块930用于对预先部署在每个识别端的第二安检图像识别模型进行在线训练，获得第一安检图像识别模型。和/或对预先训练好的第三安检图像识别模型进行在线训练，获得第一安检图像识别模型。和/或对未经训练的第四安检图像识别模型进行在线训练，获得第一安检图像识别模型。

在一些实施例中，在线训练模块930用于将相同任务类型的至少一张待检对象图像及其数据标注结果作为训练样本进行在线训练，获得该任务类型对应的第一安检图像识别模型。

在一些实施例中，在训练样本的数量大于或等于预设阈值的情况下，自动进行在线训练获得第一安检图像识别模型。

在一些实施例中，在线训练装置900还可以包括模型发送模块，可以执行操作S140，用于将第一安检图像识别模型发送至N个识别端。在一些实施例中，该模块还可以执行操作S210～操作S220，在此不做赘述。

基于上述用于识别端的安检图像识别模型的在线训练方法，本公开还提供了一种用于识别端的安检图像识别模型的在线训练装置。以下将结合图10对该装置进行详细描述。

图10示意性示出了根据本公开实施例的用于识别端的在线训练装置的结构框图。

如图10所示，该实施例的在线训练装置1000包括第二图像模块1010、第一识别模块1020和第三图像模块1030。

第二图像模块1010可以执行操作S410，用于从对应安检机获取S张待检对象图像，S大于或等于1。

在一些实施例中，第二图像模块1010用于在安检机对过检对象进行扫描获得每张待检对象图像后，实时获取该张待检对象图像。

第一识别模块1020可以执行操作S420，用于确定S张待检对象图像中每张待检对象图像的识别结果。

第三图像模块1030可以执行操作S430，用于将具有特定识别结果的至少一张待检对象图像发送至在线端，其中，在线端用于执行图1～图3示出的在线训练方法获得第一安检图像识别模型。

在一些实施例中，在线训练装置1000还可以包括模型升级模块，可以执行操作S510～操作S520，在此不做赘述。在一些实施例中，模型升级模块用于在从在线端获取第一安检图像识别模型之前，接收在线端发送的模型更新指令。

基于上述用于识别端的安检图像识别方法，本公开还提供了一种用于识别端的安检图像识别装置。以下将结合图11对该装置进行详细描述。

图11示意性示出了根据本公开实施例的用于识别端的安检图像识别装置的结构框图。

如图11所示，该实施例的安检图像识别装置1100包括第四图像模块1110和第二识别模块1120。

第四图像模块1110可以执行操作S610，用于从对应安检机获取Q张待检对象图像，Q大于或等于1。

第二识别模块1120可以执行操作S620，用于利用第一安检图像识别模型对Q张待检对象图像进行识别，获得识别结果，其中，第一安检图像识别模型根据图1～图5描述的在线训练方法获得。

需要说明的是，各个装置部分实施例中各模块/单元/子单元等的实施方式、解决的技术问题、实现的功能、以及达到的技术效果分别与方法部分实施例中各对应的步骤的实施方式、解决的技术问题、实现的功能、以及达到的技术效果相同或类似，在此不再赘述。

根据本公开的实施例，在线训练装置900、在线训练装置1000或安检图像识别装置1100中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。

根据本公开的实施例，在线训练装置900、在线训练装置1000或安检图像识别装置1100中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，在线训练装置900、在线训练装置1000或安检图像识别装置1100中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图12示意性示出了根据本公开实施例的适于实现在线训练方法或识别方法的电子设备的方框图。

如图12所示，根据本公开实施例的电子设备1200包括处理器1201，其可以根据存储在只读存储器(ROM)1202中的程序或者从存储部分1208加载到随机访问存储器(RAM)1203中的程序而执行各种适当的动作和处理。处理器1201例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器1201还可以包括用于缓存用途的板载存储器。处理器1201可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 1203中，存储有电子设备1200操作所需的各种程序和数据。处理器1201、ROM 1202以及RAM 1203通过总线1204彼此相连。处理器1201通过执行ROM 1202和/或RAM1203中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，程序也可以存储在除ROM 1202和RAM 1203以外的一个或多个存储器中。处理器1201也可以通过执行存储在一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备1200还可以包括输入/输出(I/O)接口1205，输入/输出(I/O)接口1205也连接至总线1204。电子设备1200还可以包括连接至I/O接口1205的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1206。包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1207。包括硬盘等的存储部分1208。以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分1208。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/***中所包含的。也可以是单独存在，而未装配入该设备/装置/***中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1202和/或RAM 1203和/或ROM 1202和RAM1203以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机***中运行时，该程序代码用于使计算机***实现本公开实施例所提供的方法。

在该计算机程序被处理器1201执行时执行本公开实施例的***/装置中限定的上述功能。根据本公开的实施例，上文描述的***、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1209被下载和安装，和/或从可拆卸介质1211被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被处理器1201执行时，执行本公开实施例的***中限定的上述功能。根据本公开的实施例，上文描述的***、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (22)

1.一种安检图像识别模型的在线训练方法，包括：

从N个识别端获取具有特定识别结果的M张待检对象图像，其中每个识别端用于确定来自对应安检机的待检对象图像的识别结果，M、N分别大于或等于1；

获得所述M张待检对象图像中每张待检对象图像的数据标注结果；

将所述每张待检对象图像及其数据标注结果作为训练样本进行在线训练，获得第一安检图像识别模型。

2.根据权利要求1所述的方法，其中，在获得所述第一安检图像识别模型后，所述方法还包括：

将所述第一安检图像识别模型发送至所述N个识别端，其中，所述N个识别端被配置为在本地部署所述第一安检图像识别模型。

3.根据权利要求2所述的方法，其中，在将所述第一安检图像识别模型发送至所述N个识别端之前，所述方法还包括：

获得所述第一安检图像识别模型的评估指标；

在所述评估指标符合预设条件时，向所述N个识别端发送模型更新指令，其中，所述N个识别端被配置为响应于所述模型更新指令获取所述第一安检图像识别模型。

4.根据权利要求1所述的方法，其中，所述从N个识别端获取具有特定识别结果的M张待检对象图像包括：

接收所述N个识别端上传的所述M张待检对象图像。

5.根据权利要求4所述的方法，其中，所述获得所述M张待检对象图像中每张待检对象图像的数据标注结果包括：

按照任务类型分发所述M张待检对象图像，所述任务类型根据所述每张待检对象图像的识别结果确定；

获取分发后所述每张待检对象图像的数据标注结果。

6.根据权利要求5所述的方法，其中，所述每张待检对象图像的数据标注结果包括该张待检对象图像中至少一个待检对象的对象类型，和/或至少一个待检对象的位置信息。

7.根据权利要求5所述的方法，其中，所述将所述每张待检对象图像及其数据标注结果作为训练样本进行在线训练，获得第一安检图像识别模型包括：

对预先部署在所述每个识别端的第二安检图像识别模型进行在线训练，获得所述第一安检图像识别模型；和/或

对预先训练好的第三安检图像识别模型进行在线训练，获得所述第一安检图像识别模型；和/或

对未经训练的第四安检图像识别模型进行在线训练，获得所述第一安检图像识别模型。

8.根据权利要求7所述的方法，其中，所述M张待检对象图像属于至少一个任务类型，所述将所述每张待检对象图像及其数据标注结果作为训练样本进行在线训练，获得第一安检图像识别模型包括：

将相同任务类型的至少一张待检对象图像及其数据标注结果作为训练样本进行在线训练，获得该任务类型对应的第一安检图像识别模型。

9.根据权利要求1～8任一项所述的方法，其中，所述将所述每张待检对象图像及其数据标注结果作为训练样本进行在线训练，获得第一安检图像识别模型包括：

在所述训练样本的数量大于或等于预设阈值的情况下，自动进行在线训练获得所述第一安检图像识别模型。

10.一种安检图像识别模型的在线训练方法，用于识别端，包括：

从对应安检机获取S张待检对象图像，S大于或等于1；

确定所述S张待检对象图像中每张待检对象图像的识别结果；

将具有特定识别结果的至少一张待检对象图像发送至在线端，其中，所述在线端用于执行权利要求1～9中任一项所述的方法获得第一安检图像识别模型。

11.根据权利要求10所述的方法，其中，所述识别端与所述安检机通信连接，所述从对应安检机获取S张待检对象图像包括：

在所述安检机对过检对象进行扫描获得每张待检对象图像后，实时获取该张待检对象图像。

12.根据权利要求10所述的方法，其中，所述方法还包括：

从所述在线端获取所述第一安检图像识别模型；

自动部署所述第一安检图像识别模型。

13.根据权利要求12所述的方法，其中，在从所述在线端获取所述第一安检图像识别模型之前，所述方法还包括：

接收所述在线端发送的模型更新指令。

14.一种安检图像识别方法，用于识别端，包括：

从对应安检机获取Q张待检对象图像，Q大于或等于1；

利用第一安检图像识别模型对所述Q张待检对象图像进行识别，获得识别结果，其中，所述第一安检图像识别模型根据权利要求1～13中任一项所述的方法获得。

15.一种安检图像识别模型的在线训练***，包括N个识别端和在线端，N大于或等于1，其中：

所述N个识别端中每个识别端包括识别设备，所述识别设备用于确定来自对应安检机的待检对象图像的识别结果，并将具有特定识别结果的至少一张待检对象图像发送至所述在线端；

所述在线端包括数据管理平台和在线训练平台，其中：

所述数据管理平台用于接收所述识别设备发送的所述至少一张待检对象图像，并将所述至少一张待检对象图像及数据标注结果发送至所述在线训练平台；

所述在线训练平台用于将所述至少一张待检对象图像及数据标注结果作为训练样本进行在线训练，获得第一安检图像识别模型。

16.根据权利要求15所述的在线训练***，其中：

所述在线训练平台还用于将所述第一安检图像识别模型发送至所述识别设备；

所述识别设备用于接收并自动部署所述第一安检图像识别模型。

17.一种安检图像识别模型的在线训练装置，包括：

第一图像模块，用于从N个识别端获取具有特定识别结果的M张待检对象图像，其中每个识别端用于确定来自对应安检机的待检对象图像的识别结果，M、N分别大于或等于1；

数据标注模块，用于获得所述M张待检对象图像中每张待检对象图像的数据标注结果；

在线训练模块，用于将所述每张待检对象图像及其数据标注结果作为训练样本进行在线训练，获得第一安检图像识别模型。

18.一种安检图像识别模型的在线训练装置，用于识别端，包括：

第二图像模块，用于从对应安检机获取S张待检对象图像，S大于或等于1；

第一识别模块，用于确定所述S张待检对象图像中每张待检对象图像的识别结果；

第三图像模块，用于将具有特定识别结果的至少一张待检对象图像发送至在线端，其中，所述在线端用于执行权利要求1～9中任一项所述的方法获得第一安检图像识别模型。

19.一种安检图像识别装置，用于识别端，包括：

第四图像模块，用于从对应安检机获取Q张待检对象图像，Q大于或等于1；

第二识别模块，用于利用第一安检图像识别模型对所述Q张待检对象图像进行识别，获得识别结果，其中，所述第一安检图像识别模型根据权利要求1～13中任一项所述的方法获得。

20.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～14中任一项所述的方法。

21.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～14中任一项所述的方法。

22.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～14中任一项所述的方法。