CN116126367A - 模型更新方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种模型更新方法、装置、电子设备及存储介质，模型更新方法包括：响应于模型更新的触发事件，通过沙盒环境的数据接口从生产环境的数据库获取模型调试数据；沙盒环境是从生产环境隔离出的；基于模型调试数据对历史版本模型进行更新调试，生成新版本模型；响应于生产环境中运行的当前版本模型需要更新，则基于新版本模型对当前版本模型进行更新。本申请能够基于沙盒环境中生成的新版本模型对当前版本模型进行更新，避免了数据迁移导致的模型不可用的问题，且由于不需要下线生产环境中的历史版本模型，还能避免了生产环境在调试过程中无模型可用的问题。

Description

模型更新方法、装置、电子设备及存储介质

技术领域

本申请涉及人工智能技术领域，特别是涉及模型更新方法、装置、电子设备及存储介质。

背景技术

在客户***中，语音客服或在线客服会与用户产生海量对话录音或对话文本，利用质检模型从海量对话录音或对话文本中检测坐席的风险行为，有利于对坐席的风险进行管控，提升企业服务质量。

随着时间的推移，为了提高质检的准确性，质检模型可能会需要更新。目前质检模型的更新方式通常为：1)克隆一份与生产环境初始配置相同的测试环境，在测试环境中构建质检模型和调试模型，在模型调优完成后，将训练完成的质检模型迁移到生产环境；2)将质检模型下线，修改模型配置以及调试模型后，重新将模型发布至生产环境中。

然而，由于测试环境只是克隆生产环境的初始配置，而生产环境的数据是不断更新的，这就导致测试环境所用到的数据与生产环境的数据存在区别，更新覆盖已有数据的逻辑非常复杂，容易导致数据迁移后的新版本模型不可用。方法2)中需要下线模型进行调试(直接在生产环境修改模型配置会造成模型不可用、或效果不达预期的风险)，对模型的调试周期较长，导致生产环境中长时间不能使用质检模型进行质检任务，不利于及时检测风险行为。因此，如何提供一种高效的模型更新方法成为当今研究的热点问题之一。

发明内容

本申请主要解决的技术问题是提供模型更新方法、装置、电子设备及存储介质，提供了一种高效的模型更新方法。

一方面，本申请提供一种模型更新方法，包括：响应于模型更新的触发事件，通过沙盒环境的数据接口从生产环境的数据库获取模型调试数据；沙盒环境是从生产环境隔离出的；基于模型调试数据对历史版本模型进行更新调试，生成新版本模型；响应于生产环境中运行的当前版本模型需要更新，则基于新版本模型对当前版本模型进行更新。

另一方面，本申请提供一种模型更新装置，包括：获取单元，用于响应于模型更新的触发事件，通过沙盒环境的数据接口从生产环境的数据库获取模型调试数据；沙盒环境是从生产环境隔离出的；调试单元，用于基于模型调试数据对历史版本模型进行更新调试，生成新版本模型；更新单元，用于响应于生产环境中运行的当前版本模型需要更新，则基于新版本模型对当前版本模型进行更新。

又一方面，本申请提供一种电子设备，包括：存储器，用于存储程序数据，程序数据被执行时实现如上述任一项所述的模型更新方法中的步骤；处理器，用于执行存储器存储的程序数据以实现如上述任一项所述的模型更新方法中的步骤。

另一方面，本申请提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述任一项所述的模型更新方法中的步骤。

本申请的有益效果是：区别于现有技术，本申请提供的模型更新方法，通过在生产环境中隔离出沙盒环境，并通过沙盒环境的数据接口从生产环境的数据库获取模型调试数据，能够使沙盒环境与生产环境使用相同的模型调试数据。沙盒环境的数据结构与生产环境的数据库可以连通，以便于沙盒环境可以随时将生产环境中获取的数据更新至沙盒环境中，并在沙盒模型中调试历史版本模型并生成新版本模型，且在生产环境中运行的当前版本模型需要更新时，能够基于新版本模型对当前版本模型进行更新，避免了数据迁移导致的模型不可用的问题。进一步地，由于对历史版本模型的调试是在沙盒环境中进行的，因而不需要下线生产环境中的历史版本模型，从而避免了生产环境在调试过程中无模型可用的问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请模型更新方法一实施方式的流程示意图；

图2是在沙盒环境中对初级版本模型进行训练的方法一实施方式的流程示意图；

图3是图2中S21一具体实施方式的流程示意图；

图4是本申请中模型管理页一实施方式的示意图；

图5是图2中S22一具体实施方式的流程示意图；

图6是本申请初级版本模型进行命中测试的示意图；

图7是本申请模型更新装置一实施方式的结构示意图；

图8是本申请电子设备一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本申请保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，本文中使用的术语“包括”、“包含”或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本申请提出一种模型更新方法，利用沙盒环境的数据接口从生产环境的数据库中获取模型调试数据，并基于模型调试数据对历史版本进行调试，以生成新版本模型，从而在生产环境中的当前版本模型需要更新时，基于新版本模型对生成环境中的当前版本模型进行替换。

本申请所提供的模型更新方法可以应用在服务质检场景中，历史版本模型是指历史版本的服务质检模型，服务质检模型用于对客服与客户接触交流过程中产生的对话录音或对话文本进行质量检测。需要检测的内容可以包括客服与客户进行沟通的语音是否触发了哪些关键字或者预先设定的法规。

本申请所提供的模型更新方法还可以应用在工业质检场景中，历史版本模型是指历史版本的工业质检模型，工业质检模型用于对工业生产线上生产的工件进行检测。

请参阅图1，为本申请实施例提供的一种模型更新方法的流程示意图。图1所述的模型更新方法可由电子设备执行，具体可由电子设备的处理器执行。该电子设备可以是终端设备，比如手机、笔记本电脑、智能语音交互设备或者车载终端等等；或者，该电子设备该可以是服务器，比如独立的物理服务器、服务器集群或者是能够进行云计算的云服务器。图1所述的模型更新方法包括如下步骤：

S11：响应于模型更新的触发事件，通过沙盒环境的数据接口从生产环境的数据库获取模型调试数据；沙盒环境是从生产环境隔离出的。

其中，生产环境为某个应用提供对外服务的环境。也就是说基于这个生产环境，某个应用能够被用户所使用。该应用在具体被用户使用过程中产生的数据，也会存储在生产环境的数据库中。沙盒环境是一个dll(dynamic link library，动态链接库文件)，是通过在电子设备中创建虚拟磁盘来隔离运行的一个虚拟的环境，在沙盒环境里处理各种操作指令都不会对生产环境造成任何影响。

具体实现中，电子设备可以根据预设的配置模板在生产环境所在的服务端生成沙盒环境。配置模板中使用的表结构与生产环境中使用的表结构相同，以基于相同的表结构使用相同的底层数据。

具体地，沙盒环境独立于生产环境，其所使用的表结构与生产环境中是一致的，且沙盒环境中的数据接口对应的是生产环境中的数据库，即沙盒环境中部署的程序数据虽然与生产环境隔离，但由于底层数据是相同的，能够确保沙盒环境中训练出的模型能够直接迁移至生产环境中。也就是说，虽然沙盒环境中构建的表结构与生产环境中使用的表结构与底层数据是相同的，但是两者的模型是相互独立的，沙盒环境中用作测试训练的表结构是供研发或测试人员使用，生产环境中的表结构是供质检人员使用。

其中，表结构指的是数据库中一个表的字段、类型、主键、外键、索引等基本属性，用于定义不同表之间的关系。表结构根据主键将不同的实体联系起来，表示字段与字段之间的基本的属性与约束。沙盒环境与生产环境中使用的表结构是相同的，表明其约束关系与底层逻辑相同，在此基础上，沙盒环境中的表结构与生产环境中的表结构调用数据的路径相同。

本实施方式中，生产环境的数据库中存储有用户使用过程中产生的数据，沙盒环境的数据接口对应生产环境的数据库，以在更新调试时能够与生产环境共用同一套模型调试数据。

本实施方式中，生产环境与沙盒环境可以建立在同一个管理***中，两者可以是相互独立的，沙盒环境中的模型调用生产环境中存储的数据进行测试和训练，并将训练好的模型发布在生产环境中。由于沙盒环境和生产环境是相互独立的，所以在沙盒环境中的训练不会影响到生产环境中模型的使用。因此，本申请的方案可以保证即使在沙盒环境中对历史版本模型进行更新，也不会影响生产环境中当前版本模型的使用。

在一个具体的实施场景中，当模型更新方法应用于服务质检场景中时，生产环境的数据库包括语音客服或在线客服产生的海量对话录音或对话文本，模型包括质检模型。

S12：基于模型调试数据对历史版本模型进行更新调试，生成新版本模型。

本实施方式中，历史版本模型包括生产环境中运行的当前版本模型，或者，沙盒环境中最后一次更新得到的中间版本模型，本申请对此不作限定。

在一个具体的实施场景中，若历史版本模型包括当前版本模型，则步骤S11中模型更新的触发事件是指：对生产环境中产生的数据进行处理的处理结果与复核结果之间的匹配度小于预设匹配度。其中，处理结果是通过当前版本模型对生产环境中产生的数据进行处理得到的。

可以理解地，随着投产时间的推移，当前版本模型不能完全覆盖所有的业务场景，因而当前版本模型对数据的处理结果的准确率会逐步降低，当处理结果与复核结果之间的匹配度小于预设匹配度时，表明当前版本模型的准确率不符合预期，因而需要质检人员主动触发模型更新事件，以在沙盒环境中对历史版本模型进行更新调试，生成新版本模型，以便后续基于新版本模型对生产环境中的当前版本模型进行更新，以使用更新的版本模型继续进行测试，从而提高对数据的检测准确率。

在另一个具体的实施场景中，若历史版本模型包括中间版本模型，步骤S11中模型更新的触发事件是指：模型更新周期到达，或者，接收到模型更新指令。

可以理解地，可以预先为沙盒环境设置一个模型更新周期，每当模型更新周期到达时，沙盒环境中最后一次更新的中间版本模型会进行更新。这样做可以达到如下有益效果：节省模型优化时间，能够在生产环境中的当前版本模型需要更新的情况下，以最短时间基于沙盒环境中最新的中间版本模型对生产环境中的当前版本模型进行更新。从而保证，对生产环境中业务进行检测的准确率及时得到提升。

利用模型更新周期到达对沙盒环境中的中间版本模型进行更新，可以在沙盒环境中先针对中间版本模型进行优化，并对生成的新版本模型进行保存，同时检查生产环境中的当前版本模型，如果当前版本模型的检测准确率仍较高，可以暂时不优化当前版本模型，继续等待下一个模型更新周期；进一步地，如果在下一个模型更新周期内，在沙盒环境中对上一次保存的中间版本模型进行更新后，发现需要对当前版本模型进行更新，则可以基于这次更新的中间版本模型(也可以认为是最新版本模型)对生产环境中运行的当前版本模型进行更新处理。

可以理解地，若针对中间版本模型进行优化生成的新版本模型应用到生产环境中后，其效果符合预期，则在该模型更新周期内可以直接在生产环境中使用该新版本模型。若效果不符合预期，则会接收到质检人员发出的模型更新指令，在沙盒环境中对新版本模型进行再次优化处理，得到更新版本模型。

利用模型周期到达进行更新调试，可以优先通过研发人员进行调试，待调试完毕后再通知质检人员检查生产环境中的当前版本模型是否符合预期，能够减少模型更新的时间，从而提高模型更新的效率。

在一个实施例中，假设生产环境中使用的模型被定义为当前版本模型，该当前版本模型可以是在沙盒环境中对初级版本模型进行训练完成后投入到生产环境使用的。具体地，请参阅图2，是本申请实施例提供的一种在沙盒环境中对初级版本模型进行训练的流程示意图。可包括：

S21：在沙盒环境中构建初级版本模型。

该初级版本模型可以是电子设备基于用户配置的质检规则构建的初级质检版本模型。在其他实施方式中，初级版本模型还可以为其余学习模型或检测模型，本申请对此不作限定。具体地，请参阅图3，是本申请实施例提供的一种S21的实现流程图。由图3可见，步骤S21在沙盒环境中构建初级版本模型，可包括：S211：在沙盒环境中构建原子规则集合；S212：根据逻辑关系对多个原子规则进行组合，建立多条质检规则；其中，一条质检规则包括至少一个原子规则；S213：对多条质检规则进行组合，形成初级版本模型。

具体实现中，在步骤S211中，首先基于原子知识梳理出对应业务的业务词库与敏感词库。

本实施方式中，原子规则包括基于文本检测的关键字检测规则以及基于语音检测的服务抢断规则与静音检测规则。其中，关键字检测规则是通过正则表达式构建，用于基于预设的业务词汇库判断客服数据中是否有对应的业务词汇以及敏感词汇，服务抢断规则用于判断客服是否抢断客户发言，静音检测规则用于判断客服对应的终端设备是否静音。

具体地，正则表达式(regular expression)是由普通字符(例如字符a到z)以及特殊字符(称为“元字符”)组成的文字模式，描述了一种字符串匹配的模式(pattern)。正则表达式作为一个模板，将某个字符模式与所搜索的字符串进行匹配，可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。正则表达式的组件可以是单个的字符、字符集合、字符范围、字符间的选择或者所有这些组件的任意组合。

在一个具体的实施场景中，如果初级版本模型是用于催收行业的，由于催收行业中容易出现催收人员冒充公检法国家权力机关身份或者冒充银行等相关部门或机构进行催收的情形，因此，需要梳理出催收行业对应的业务词库以及包括冒充公检法或冒充银行等词汇的敏感词库，继而利用原子规则中的关键字检测规则对催收行业中客服的对话文本进行检测，能够利用正则表达式与对话文本中的各个词或词语进行匹配，并基于匹配结果确定该对话文本是否出现业务词汇或敏感词汇。

在步骤S212中根据用户输入的逻辑关系以及检测范围将多个原子规则进行组合，以建立多条质检规则。其中，逻辑关系包括满足全部、满足任一、不满足和满足预设个数其中任一一项或多项组合。

在一个具体的实施场景中，基于催收行业的业务词汇与敏感词汇，利用正则表达式构建的两个原子规则可以为：原子规则1：客服冒充公检法；原子规则2：客服冒充银行。将检测范围设定为整通录音的客服话术，则基于逻辑关系构建出两条质检规则：质检规则1＝原子规则1+检测范围，即质检规则1＝客服冒充公检法+整通录音的客服话术；质检规则2＝原子规则2+检测范围，即质检规则2＝客服冒充银行+整通录音的客服话术。

在一个具体的实施场景中，在质检规则1＝客服冒充公检法+整通录音的客服话术与质检规则2＝客服冒充银行+整通录音的客服话术时，将质检规则1与质检规则2进行组合，以构建“冒充公检法、银行”的初级版本模型。其中，该初级版本模型为质检规则1or质检规则2。

具体地，请参阅图4，图4是本申请中模型管理页一实施方式的示意图。该初级版本模型包括质检规则1or质检规则2，质检规则1包括客服冒充公检法，质检规则2包括客服冒充银行。在生成最终可以应用到生产环境中的当前版本模型的过程中，沙盒环境可以保存多个中间版本模型，在接收到用户通过测试界面按下的“发布”按钮的指令时，才会将沙盒环境中训练完成的版本模型应用到生产环境中，以在生产环境中启用该版本模型作为当前版本模型对生产环境的数据库中获取的客服对话录音或客服对话文本进行质检，如果后续效果不符预期，可以对当前版本模型进行下线操作。在实际使用过程中，还可以对当前版本模型进行编辑、测试、复制、查看以及删除等操作。

S22：利用标注语料对初级版本模型进行训练，得到当前版本模型；其中，标注语料包括从生产环境的数据库中获取的设定数量的数据样本以及每个数据样本的评判信息。

其中，评判信息包括人工标注的数据样本是否包括业务词汇以及是否包括敏感词汇。具体地，请参阅图5，图5是图2中S22一具体实施方式的流程示意图。在本实施方式中，利用标注语料对初级版本模型进行训练，得到当前版本模型的步骤具体包括：

S221：利用每条质检规则中的至少一个原子规则对每个数据样本进行分析，生成原子规则分析结果。

本实施方式中，确定需要进行分析的每个数据样本中所包括的整通录音信息，根据初级版本模型对选取的多个原子规则按照逻辑关系进行组合，得到多个质检规则，并根据多条质检规则中所包含的每条原子规则对该录音信息中客服的每一句话进行分析，并生成原子规则分析结果。

其中，原子规则分析结果指的是每条质检规则中所包括的全部原子规则对每个数据样本中的每一句话进行分析的结果，每个数据样本根据其所述包括的语句数量均对应相应数量的原子规则分析结果。

在一个具体的实施场景中，一条质检规则中设置对话选取规则和正则表达式，对话选取规则中将选择客服前三句话或后三句话规定为匹配成功条件，正则表达式中将匹配到“公安局”或“警号”规定为匹配成功条件，将这两条原子规则按照逻辑关系“且”进行组合构建该条质检规则，利用该条质检规则对录音信息对应的文本进行分析，如果发现客服的第二句话命中了对话选取规则的“前三句话”，且这句话匹配到“公安局”或“警号”，命中了正则表达式，则表明该条质检规则命中该句话，并基于该句话生成对应的原子规则分析结果。

S222：利用多条质检规则中原子规则之间的逻辑关系对原子规则分析结果进行统计，获取多条质检规则的命中次数。

利用多条质检规则中原子规则间的逻辑关系对原子规则分析结果进行统计，判断该条质检规则是否命中以及命中的次数。遍历全部质检规则，以获取到全部质检规则的命中次数。

在一个具体的实施场景中，一条质检规则中设置对话选取规则和正则表达式，对话选取规则中将选择客服的每一句话规定为匹配成功条件，正则表达式中将匹配到“银行”或“柜台”规定为匹配成功条件，将这两条原子规则按照逻辑关系“且”进行组合构建该条质检规则，利用该条质检规则对录音信息对应的文本进行分析，若该文本共包括五句话，则发现客服的任意一句话均命中对话选取规则；若其中某一句话匹配到“银行”或“柜台”，则表明该句话命中了正则表达式。基于对话选取规则以及正则表达式对该文本的每一句话的匹配情况，生成对应的多条原子规则分析结果，原子规则分析结果中包括每条原子规则对该句话的命中信息。

S223：基于命中次数与每个数据样本对应的评判信息获取初级版本模型对设定数量的数据样本的预测准确率与预测召回率。

本实施方式中，基于命中次数与数据样本的评判信息获取到初级版本模型对标注语料的预测准确率与预测召回率。

其中，预测检测率是指是否质检规则是否命中业务词汇，预测召回率是指质检规则是否命中敏感词汇。

具体地，请参阅图6，图6是本申请初级版本模型进行命中测试的示意图。

如图6所示，在一个具体的实施场景中，若测试数据集中包括757个数据样本以及对应内的评判信息，且757个数据样本中均包括业务词汇(债务)与敏感词汇(客服冒充公检法或银行)，若初级版本模型对全部样本均进行了分析，则成功条数为757条，未成功条数为0，如果对包括敏感词汇的样本命中次数为444次，则预测准确率为100％，预测召回率为58.65％。

在又一个具体的实施场景中，若测试数据集中包括1160个数据样本以及对应内的评判信息，且757个数据样本中均包括业务词汇(债务)，但不包括敏感词汇(客服冒充公检法或银行)，若初级版本模型对全部样本均进行了分析，则成功条数为1160条，未成功条数为0，如果对包括敏感词汇的样本命中次数为0次，则预测准确率为100％，预测召回率为100％。

S224：响应于多条质检规则对设定数量的数据样本的预测准确率与预测召回率均大于或等于设定阈值，输出当前版本模型。

本实施方式中，设定阈值为90％。在其他实施方式中，设定阈值还可以为80％、85％、95％或其他数值，本申请对此不作限定。

本实施方式中，响应于全部质检规则对标注语料的预测准确率与预测召回率小于设定阈值，则查看命中详情，以对对初级版本模型中的原子规则以及质检规则进行修改。每进行一次修改，均生成沙盒环境中对应的一个模型版本，并利用对应的模型版本测试命中效果，直至预测准确率与预测召回率不小于设定阈值，并将预测准确率与预测召回率不小于设定阈值的模型版本作为当前版本模型进行输出。

其中，修改指的是增加或删除对应的正则表达式，以适应多种复杂的业务场景。具体地，召回率低是覆盖场景不够，场景没有覆盖全，覆盖度不够，需要新增正则表达式，以覆盖更多场景。例如，客户话术基于扣分规则进行了调整，则需要增加对新的敏感词汇进行检测的正则表达式。准确率低是某些场景没有排除，需要排除部分场景。例如，样本中有其余类似业务词汇，如金融领域中有部分业务词汇与催收行业相同，需要缩小业务词汇的范围，即删除对部分业务词汇进行检测的正则表达式，以提高对检测场景的准确率。

本实施方式中，将当前版本模型应用到生产环境中，以通过当前版本模型对生产环境的数据库中获取的待质检数据进行质检，并输出处理结果，继而将处理结果与复核结果进行匹配。

本实施方式中，对生产环境中产生的数据进行处理的处理结果，与复核结果之间的匹配度小于预设匹配度是指：通过当前版本模型对生产环境中产生的数据进行质检，并输出质检结果，质检结果与复核结果的匹配度小于预设匹配度。其中，质检结果包括当前版本模型中多条质检规则中每条质检规则对已完成检测的数据的命中次数、以及当前版本模型对已完成检测的数据的预测准确率与预测召回率。

在一个具体的实施场景中，获取到设定数量的已检测完成的数据，对设定数量的已检测完成的数据进行人工复核，以获取对设定数量的已检测完成的数据的实际准确率与实际召回率。继而将质检结果中的预测准确率以及预测召回率与复核结果中的实际召回率进行匹配。响应于质检结果中的预测准确率与复核结果中的实际准确率的差值不小于第一预设差值，和/或，质检结果中的预测召回率与复核结果中的实际召回率的差值不小于第二预设差值，表明质检结果与复核结果的匹配度小于预设匹配度。

其中，第一预设差值可以为5％，第二预设差值可以为5％。在其他实施方式中，第一预设差值与第二预设差值还可以为10％或其他数值，本申请对此不作限定。

本实施方式中，基于模型调试数据对历史版本模型中的原子规则以及质检规则进行修改后，从生产环境的数据库中获取到更新后的多条数据样本作为新的标注语料，以基于修改后的原子规则与修改后的质检规则利用新的标注语料对历史版本模型进行训练。

具体地，基于模型调试数据在沙盒环境中保存的当前版本模型中新增或删减部分关键字检测规则，利用从生产环境的数据库中获取到更新后的多条数据样本对模型进行迭代训练，直至满足要求。

其中，新增部分关键字检测规则是为了提高对场景的覆盖度，以提高召回率，删减部分关键字检测规则是为了排除部分场景，以提高准确率。

本实施方式中，在沙盒环境中调试模型时，不影响生产环境中当前版本模型的跑批任务。

S13：响应于生产环境中运行的当前版本模型需要更新，则基于新版本模型对当前版本模型进行更新。

本实施方式中，将当前版本模型替换为新版本模型；或者，对新版本模型进行再次优化处理，得到更新版本模型，并将当前版本模型替换为更新版本模型，本申请对此不作限定。

在一个具体的实施场景中，响应于历史版本模型包括当前版本模型，且触发事件是指对生产环境中产生的数据进行处理的处理结果与复核结果之间的匹配度小于预设匹配度，则将生产环境中运行的当前版本模型直接替换为沙盒环境中生成的新版本模型。

可以理解地，触发事件为处理结果与复核结果之间的匹配度小于预设匹配度，表明沙盒环境中的更新调试是直接针对当前版本模型存在的问题进行的，因而调试完成后所生成的新版本模型可以直接用于生产环境中。

在另一个具体的实施场景中，响应于历史版本模型包括中间版本模型，且触发事件是模型更新周期到达，则对新版本模型进行再次优化处理，得到更新版本模型，并将当前版本模型替换为更新版本模型。

可以理解地，模型更新周期到达后对中间版本模型进行优化生成新版本模型后，如果质检人员发现生产环境中的当前版本模型的检测准确率仍较高，一般会选择不替换当前版本模型，并继续等待下一个模型更新周期。如果在下一个模型更新周期内，质检人员发现需要对当前版本模型进行更新，则可以对保存的新版本模型进行再次优化处理，得到更新版本模型，并将当前版本模型替换为更新版本模型。

在又一个具体的实施场景中，响应于历史版本模型包括中间版本模型，且触发事件是接收到模型更新指令，则对新版本模型进行再次优化处理，得到更新版本模型，并将当前版本模型替换为更新版本模型。

可以理解地，模型更新周期到达后对中间版本模型进行优化生成新版本模型后，如果质检人员发现生产环境中的当前版本模型的检测准确率不符合预期，可以利用新版本模型直接替换当前版本模型，如果发现新版本模型的检测准确率依然不符合预期，沙盒环境中会接收到质检人员发出的模型更新指令，并基于模型更新指令对新版本模型进行再次优化处理，得到更新版本模型。

可以理解地，利用模型周期到达进行更新调试，可以优先通过研发人员进行调试，待调试完毕后再通知质检人员检查生产环境中的当前版本模型是否符合预期，能够减少模型更新的时间，从而提高模型更新的效率。

本实施方式中，接收到用户通过测试界面按下的“发布”按钮的指令时，将生产环境中的当前版本模型替换为沙盒环境中的新版本模型或更新版本模型。

可以理解地，由于沙盒环境与生产环境共用客户端的***，使用相同的底层数据，且沙盒环境中用于调试的模型调试数据是直接利用沙盒环境的数据接口从生产环境的数据库中获取的，因而沙盒环境中进行测试的数据样本可以随时同步更新，以适配生产环境的配置，从而避免了不同模型间迁移数据导致的覆盖逻辑较复杂以及迁移难度大的问题。

进一步地，利用新版本模型或更新版本模型替换生产环境中的当前版本模型时，不影响当前版本模型继续对已纳入当前版本模型检测范围的数据的质检任务。

可以理解地，用沙盒环境调试好的新版本模型或更新版本模型直接替换生产环境中的当前版本模型，且调试过程中生产环境中的当前版本模型能够继续进行跑批任务，能够避免下线调试模型周期较长导致的生产线上长时间无模型可用的问题。

本实施方式中，通过替换后的模型对生产环境中产生的数据进行质检，输出质检结果。

可以理解地，随着投产时间的推移，客户或坐席的话术会基于扣分规则发生变化，原有的质检规则不能覆盖全部话术，无法及时检测出违规话术，通过在沙盒环境中对历史版本模型进行优化，以在生产环境中使用新版本模型或更新版本模型继续进行质检，能够提高对待质检数据的检测准确率，继而保证客服或坐席的服务质量。

区别于现有技术，本实施方式通过在生产环境中隔离出沙盒环境，并通过沙盒环境的数据接口从生产环境的数据库获取模型调试数据，能够使沙盒环境与生产环境使用相同的模型调试数据，以便于随时将生产环境中获取的数据更新至沙盒环境中，并在沙盒模型中调试历史版本模型并生成新版本模型，且在生产环境中运行的当前版本模型需要更新时，能够基于新版本模型对当前版本模型进行更新，避免了数据迁移导致的模型不可用的问题。进一步地，由于对历史版本模型的调试是在沙盒环境中进行的，因而不需要下线生产环境中的历史版本模型，从而避免了生产环境在调试过程中无模型可用的问题。

对应地，本申请提供一种模型更新装置。

请参阅图7，图7是本申请模型更新装置一实施方式的结构示意图。本实施方式中，模型更新装置70包括获取单元71、调试单元72以及更新单元72。

获取单元71用于响应于模型更新的触发事件，通过沙盒环境的数据接口从生产环境的数据库获取模型调试数据；沙盒环境是从生产环境隔离出的。

调试单元72用于基于模型调试数据对历史版本模型进行更新调试，生成新版本模型。

更新单元73用于响应于生产环境中运行的当前版本模型需要更新，则基于新版本模型对当前版本模型进行更新。

在一个实施例中，历史版本模型包括生产环境中运行的当前版本模型，或者，沙盒环境中最后一次更新得到的中间版本模型，本申请对此不作限定。

若历史版本模型包括当前版本模型，则触发事件是指：对生产环境中产生的数据进行处理的处理结果与复核结果之间的匹配度小于预设匹配度。其中，处理结果是通过当前版本模型对生产环境中产生的数据进行处理得到的。

若历史版本模型包括中间版本模型，触发事件是指：模型更新周期到达，或者，接收到模型更新指令。

在一个实施例中，模型更新装置还包括处理单元74；处理单元74，用于根据预设的配置模板在生产环境所在的服务端生成沙盒环境。其中，配置模板中使用的表结构与生产环境中使用的表结构相同，以基于相同的表结构使用相同的底层数据。

在一个实施例中，若历史版本模型包括当前版本模型，当前版本模型是在沙盒环境中对初级版本模型进行训练完成后得到的。处理单元74，还用于在沙盒环境中构建初级版本模型；利用标注语料对初级版本模型进行训练，得到当前版本模型；其中，标注语料包括从生产环境的数据库中获取的设定数量的数据样本以及每个数据样本的评判信息。

在一个实施例中，处理单元74在所述沙盒环境中构建初级版本模型时，执行如下步骤：

在沙盒环境中构建原子规则集合；

根据逻辑关系对多个原子规则进行组合，建立多条质检规则；一条质检规则包括至少一个原子规则；

对多条质检规则进行组合，形成初级版本模型。

在一个实施例中，处理单元74在利用标注语料对初级版本模型进行训练，得到当前版本模型时，执行如下步骤：

利用每条质检规则中的至少一个原子规则对每个数据样本进行分析，生成原子规则分析结果；

利用多条质检规则中原子规则之间的逻辑关系对原子规则分析结果进行统计，获取多条质检规则的命中次数；

基于命中次数与每个数据样本对应的评判信息获取初级版本模型对设定数量的数据样本的预测准确率与预测召回率；

响应于多条质检规则对设定数量的数据样本的预测准确率与预测召回率均大于或等于设定阈值，输出当前版本模型。

在一个实施例中，对所述生产环境中产生的数据进行处理的处理结果，与复核结果之间的匹配度小于预设匹配度是指：

通过当前版本模型对生产环境中产生的数据进行质检，并输出质检结果，质检结果与复核结果的匹配度小于预设匹配度；其中，质检结果包括当前版本模型中多条质检规则中每条质检规则对已完成检测的数据的命中次数、以及当前版本模型对已完成检测的数据的预测准确率与预测召回率。

在一个实施例中，调试单元72在基于模型调试数据对历史版本模型进行更新调试，生成新版本模型时，执行如下步骤：

基于模型调试数据对历史版本模型中的原子规则以及质检规则进行修改；

从生产环境的数据库中获取更新的多条数据样本作为新的标注语料，以基于修改后的原子规则与修改后的质检规则利用新的标注语料对历史版本模型进行训练，得到新版本模型。

在一个实施例中，更新单元73在响应于生产环境中运行的当前版本模型需要更新，则基于新版本模型对当前版本模型进行更新时，执行如下步骤：

将当前版本模型替换为新版本模型；或者，

对新版本模型进行再次优化处理，得到更新版本模型，并将当前版本模型替换为更新版本模型。

在一个实施例中，处理单元74还用于通过替换后的模型对生产环境中产生的数据进行质检，输出质检结果。

区别于现有技术，本实施方式通过获取单元71从生产环境的数据库获取模型调试数据，能够使沙盒环境与生产环境使用相同的模型调试数据，以便于随时将生产环境中获取的数据更新至沙盒环境中，并利用调试单元72在沙盒模型中调试历史版本模型并生成新版本模型，继而利用更新单元73在生产环境中运行的当前版本模型需要更新时，基于新版本模型对当前版本模型进行更新，避免了数据迁移导致的模型不可用的问题。进一步地，由于对历史版本模型的调试是在沙盒环境中进行的，因而不需要下线生产环境中的历史版本模型，从而避免了生产环境在调试过程中无模型可用的问题。

请参阅图8，图8是本申请电子设备一实施方式的结构示意图。如图8所示，本实施方式中，电子设备80包括存储器81以及处理器82。

本实施方式中，存储器81用于存储程序数据，程序数据被执行时实现如上述任一项所述的模型更新方法中的步骤。处理器82用于执行存储器存储的程序指令以实现如上述任一项所述的模型更新方法中的步骤。

具体而言，处理器82用于控制其自身以及存储器81以实现上述任一蓝牙入网方法实施例中的步骤。处理器82还可以称为CPU(Central Processing Unit，中央处理单元)。处理器82可能是一种集成电路芯片，具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器82可以由多个集成电路芯片共同实现。

对应地，本申请提供一种计算机可读存储介质。

计算机可读存储介质包括计算机可读存储介质上存储的计算机程序，计算机程序被上述处理器执行时实现如上述任一项所述的模型更新方法中的步骤。

具体地，集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种模型更新方法，其特征在于，包括：

响应于模型更新的触发事件，通过沙盒环境的数据接口从生产环境的数据库获取模型调试数据；所述沙盒环境是从所述生产环境隔离出的；

基于所述模型调试数据对历史版本模型进行更新调试，生成新版本模型；

响应于所述生产环境中运行的当前版本模型需要更新，则基于所述新版本模型对所述当前版本模型进行更新。

2.根据权利要求1所述的模型更新方法，其特征在于，所述历史版本模型包括所述生产环境中运行的所述当前版本模型，或者，所述沙盒环境中最后一次更新得到的中间版本模型；

若所述历史版本模型包括所述当前版本模型，则所述触发事件是指：对所述生产环境中产生的数据进行处理的处理结果与复核结果之间的匹配度小于预设匹配度；其中，所述处理结果是通过所述当前版本模型对所述生产环境中产生的数据进行处理得到的；

若所述历史版本模型包括所述中间版本模型，所述触发事件是指：模型更新周期到达，或者，接收到模型更新指令。

3.根据权利要求1所述的模型更新方法，其特征在于，所述响应于模型更新的触发事件，通过沙盒环境的数据接口从生产环境的数据库获取模型调试数据之前，所述方法还包括：

根据预设的配置模板在所述生产环境所在的服务端生成所述沙盒环境；其中，所述配置模板中使用的表结构与所述生产环境中使用的表结构相同，以基于相同的表结构使用相同的底层数据。

4.根据权利要求2所述的模型更新方法，其特征在于，若所述历史版本模型包括所述当前版本模型，所述当前版本模型是在所述沙盒环境中对初级版本模型进行训练完成后得到的；所述模型更新方法还包括：

在所述沙盒环境中构建初级版本模型；

利用标注语料对所述初级版本模型进行训练，得到所述当前版本模型；其中，所述标注语料包括从所述生产环境的所述数据库中获取的设定数量的数据样本以及每个数据样本的评判信息。

5.根据权利要求4所述的模型更新方法，其特征在于，所述在所述沙盒环境中构建初级版本模型，包括：

在所述沙盒环境中构建原子规则集合；

根据逻辑关系对多个原子规则进行组合，建立多条质检规则；一条质检规则包括至少一个原子规则；

对多条质检规则进行组合，形成所述初级版本模型。

6.根据权利要求5所述的模型更新方法，其特征在于，所述利用标注语料对所述初级版本模型进行训练，得到所述当前版本模型，包括：

利用每条质检规则中的至少一个原子规则对每个数据样本进行分析，生成原子规则分析结果；

利用所述多条质检规则中至少一个原子规则之间的逻辑关系对所述原子规则分析结果进行统计，获取所述多条质检规则的命中次数；

基于所述命中次数与每个数据样本对应的评判信息获取所述初级版本模型对所述设定数量的数据样本的预测准确率与预测召回率；

响应于所述多条质检规则对所述设定数量的数据样本的所述预测准确率与所述预测召回率均大于或等于设定阈值，输出所述当前版本模型。

7.根据权利要求6所述的模型更新方法，其特征在于，

所述对所述生产环境中产生的数据进行处理的处理结果，与复核结果之间的匹配度小于预设匹配度是指：

通过所述当前版本模型对所述生产环境中产生的数据进行质检，并输出质检结果，所述质检结果与所述复核结果的所述匹配度小于所述预设匹配度；其中，所述质检结果包括所述当前版本模型中所述多条质检规则中每条质检规则对已完成检测的数据的命中次数、以及所述当前版本模型对所述已完成检测的数据的预测准确率与预测召回率。

8.根据权利要求7所述的模型更新方法，其特征在于，所述基于所述模型调试数据对历史版本模型进行更新调试，生成新版本模型，包括：

基于所述模型调试数据对所述历史版本模型中的原子规则以及质检规则进行修改；

从所述生产环境的所述数据库中获取更新的多条数据样本作为新的标注语料，以基于修改后的原子规则与修改后的质检规则利用所述新的标注语料对所述历史版本模型进行训练，得到所述新版本模型。

9.根据权利要求8所述的模型更新方法，其特征在于，所述响应于所述生产环境中运行的当前版本模型需要更新，则基于所述新版本模型对所述当前版本模型进行更新，包括：

将所述当前版本模型替换为所述新版本模型；或者，

对所述新版本模型进行再次优化处理，得到更新版本模型，并将所述当前版本模型替换为所述更新版本模型。

10.根据权利要求9所述的模型更新方法，其特征在于，所述方法还包括：

通过替换后的模型对所述生产环境中产生的数据进行质检，输出质检结果。

11.一种模型更新装置，其特征在于，包括：

获取单元，用于响应于模型更新的触发事件，通过沙盒环境的数据接口从生产环境的数据库获取模型调试数据；所述沙盒环境是从所述生产环境隔离出的；

调试单元，用于基于所述模型调试数据对历史版本模型进行更新调试，生成新版本模型；

更新单元，用于响应于所述生产环境中运行的当前版本模型需要更新，则基于所述新版本模型对所述当前版本模型进行更新。

12.一种电子设备，其特征在于，包括：

存储器，用于存储程序数据，所述程序数据被执行时实现如权利要求1～10任一项所述的模型更新方法中的步骤；

处理器，用于执行所述存储器存储的所述程序数据以实现如权利要求1～10任一项所述的模型更新方法中的步骤。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～10任一项所述的模型更新方法中的步骤。

Images