CN118261420A - 数据处理方法、装置及设备 - Google Patents

Abstract

本说明书实施例提供了一种数据处理方法、装置及设备，其中，方法包括：接收目标用户针对目标业务输入的目标输入数据，以及所述目标用户触发执行所述目标业务对应的目标多模态业务数据；基于所述目标多模态业务数据和所述目标输入数据，通过预先训练的风险解释模型，确定目标反馈数据，所述风险解释模型包括第一模块和预先训练的第二模块，所述预先训练的第二模块为通过历史样本数据对由深度学习算法构建的用于生成文本数据的模块进行训练得到，所述第二模块的参数在所述风险解释模型的训练过程中处于冻结状态；基于所述目标反馈数据，判断执行所述目标业务是否存在风险，并将所述目标反馈数据和风险判断结果输出给所述目标用户。

Description

数据处理方法、装置及设备

技术领域

本文件涉及数据处理技术领域，尤其涉及一种数据处理方法、装置及设备。

背景技术

随着互联网行业的迅速发展，人工智能模型的应用也越来越普及，如在风控场景下，可以通过人工智能模型对待执行的业务进行风险分析，确定执行该业务的风险类型，这样，风险管控人员就可以根据该业务的风险类型，确定对应的风险控制策略以进行风险控制，以保护用户的隐私数据不被泄露等。

但是，由于风险管控人员仅通过执行某业务的风险类型确定对应的风险控制策略，这就导致风险检测的准确性以及效率低下，因此，需要一种能够提高业务风险检测的检测效率和检测准确性，以准确的进行风险控制的解决方案。

发明内容

本说明书实施例的目的是提供一种能够提高业务风险检测的检测效率和检测准确性，以准确的进行风险控制的解决方案。

为了实现上述技术方案，本说明书实施例是这样实现的：

第一方面，本说明书实施例提供的一种数据处理方法，包括：接收目标用户针对目标业务输入的目标输入数据，以及所述目标用户触发执行所述目标业务对应的目标多模态业务数据，所述目标输入数据用于获取执行所述目标业务的风险信息，所述目标多模态业务数据包括至少两种模态的业务数据；基于所述目标多模态业务数据和所述目标输入数据，通过预先训练的风险解释模型，确定目标反馈数据，所述目标反馈数据包括对所述目标输入数据的回答数据，以及所述回答数据的解释数据，所述风险解释模型包括第一模块和预先训练的第二模块，所述预先训练的第二模块为通过历史样本数据对由深度学习算法构建的用于生成文本数据的模块进行训练得到，所述历史样本数据的数据量大于用于训练所述风险解释模型的训练样本数据的数据量，所述第二模块的参数在所述风险解释模型的训练过程中处于冻结状态；基于所述目标反馈数据，判断执行所述目标业务是否存在风险，并将所述目标反馈数据和风险判断结果输出给所述目标用户。

第二方面，本说明书实施例提供了一种数据处理装置，所述装置包括：数据接收模块，用于接收目标用户针对目标业务输入的目标输入数据，以及所述目标用户触发执行所述目标业务对应的目标多模态业务数据，所述目标输入数据用于获取执行所述目标业务的风险信息，所述目标多模态业务数据包括至少两种模态的业务数据；第一处理模块，用于基于所述目标多模态业务数据和所述目标输入数据，通过预先训练的风险解释模型，确定目标反馈数据，所述目标反馈数据包括对所述目标输入数据的回答数据，以及所述回答数据的解释数据，所述风险解释模型包括第一模块和预先训练的第二模块，所述预先训练的第二模块为通过历史样本数据对由深度学习算法构建的用于生成文本数据的模块进行训练得到，所述历史样本数据的数据量大于用于训练所述风险解释模型的训练样本数据的数据量，所述第二模块的参数在所述风险解释模型的训练过程中处于冻结状态；风险判断模块，用于基于所述目标反馈数据，判断执行所述目标业务是否存在风险，并将所述目标反馈数据和风险判断结果输出给所述目标用户。

第三方面，本说明书实施例提供了一种数据处理设备，所述数据处理设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：接收目标用户针对目标业务输入的目标输入数据，以及所述目标用户触发执行所述目标业务对应的目标多模态业务数据，所述目标输入数据用于获取执行所述目标业务的风险信息，所述目标多模态业务数据包括至少两种模态的业务数据；基于所述目标多模态业务数据和所述目标输入数据，通过预先训练的风险解释模型，确定目标反馈数据，所述目标反馈数据包括对所述目标输入数据的回答数据，以及所述回答数据的解释数据，所述风险解释模型包括第一模块和预先训练的第二模块，所述预先训练的第二模块为通过历史样本数据对由深度学习算法构建的用于生成文本数据的模块进行训练得到，所述历史样本数据的数据量大于用于训练所述风险解释模型的训练样本数据的数据量，所述第二模块的参数在所述风险解释模型的训练过程中处于冻结状态；基于所述目标反馈数据，判断执行所述目标业务是否存在风险，并将所述目标反馈数据和风险判断结果输出给所述目标用户。

第四方面，本说明书实施例提供一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：接收目标用户针对目标业务输入的目标输入数据，以及所述目标用户触发执行所述目标业务对应的目标多模态业务数据，所述目标输入数据用于获取执行所述目标业务的风险信息，所述目标多模态业务数据包括至少两种模态的业务数据；基于所述目标多模态业务数据和所述目标输入数据，通过预先训练的风险解释模型，确定目标反馈数据，所述目标反馈数据包括对所述目标输入数据的回答数据，以及所述回答数据的解释数据，所述风险解释模型包括第一模块和预先训练的第二模块，所述预先训练的第二模块为通过历史样本数据对由深度学习算法构建的用于生成文本数据的模块进行训练得到，所述历史样本数据的数据量大于用于训练所述风险解释模型的训练样本数据的数据量，所述第二模块的参数在所述风险解释模型的训练过程中处于冻结状态；基于所述目标反馈数据，判断执行所述目标业务是否存在风险，并将所述目标反馈数据和风险判断结果输出给所述目标用户。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一种数据处理***的示意图；

图2A为本说明书一种数据处理方法实施例的流程图；

图2B为本说明书一种数据处理方法的处理过程示意图；

图3为本说明书一种数据采集的示意图；

图4为本说明书又一种数据处理方法的处理过程示意图；

图5为本说明书一种图像文本转换模型的训练过程的示意图；

图6为本说明书一种图像文本转换模型的应用过程的示意图；

图7为本说明书一种风险解释模型的结构示意图；

图8为本说明书又一种风险解释模型的结构示意图；

图9为本说明书一种风险解释模型的训练过程的示意图；

图10为本说明书一种数据处理装置实施例的结构示意图；

图11为本说明书一种数据处理设备的结构示意图。

具体实施方式

本说明书实施例提供一种数据处理方法、装置及设备。

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

本说明书的技术方案，可以应用于数据处理***中，如图1所示，该数据处理***中可以有终端设备和服务器，其中，服务器可以是独立的服务器，也可以是由多个服务器组成的服务器集群，终端设备可以如个人计算机等设备，也可以如手机、平板电脑等移动终端设备。

其中，数据处理***中可以包括n个终端设备和m个服务器，n和m为大于等于1的正整数，服务器可以为某应用程序的后台服务器，终端设备可以为该应用程序的客户端设备，其中，应用程序可以为能够为用户提供资源转移业务、视频观看业务、即时通讯业务等业务的服务的应用程序。

终端设备可以采集用户针对某业务输入的输入数据，以及触发执行该业务对应的多模态业务数据，并将采集到的数据发送给服务器。服务器就可以通过预先训练的风险解释模型，基于用户输入数据和多模态业务数据，确定反馈数据，即确定对用户输入数据的回答数据，以及回答数据的解释数据。这样，服务器就可以根据反馈数据确定执行该业务是否存在风险，并将反馈数据和风险判断结果发送给终端设备，终端设备就可以将反馈数据和风险判断结果输出给用户。

此外，服务器还可以将终端设备采集到的数据，确定为训练样本数据，以在到达模型训练周期的情况下，通过训练样本数据，对风险解释模型进行训练，得到训练后的风险解释模型。

另外，数据处理***中还可以设置有中心服务器(如服务器1)，中心服务器可以接收终端设备和/或服务器存储的历史数据(即历史多模态业务数据、用户输入数据及对应的历史反馈数据等)，并将历史数据确定为训练样本数据，以基于训练训练样本数据，对风险解释模型进行训练，得到训练后的风险解释模型。这样，中心服务器就可以将训练后的风险解释模型的模型参数发送给数据处理***中的其他服务器，其他服务器就可以根据接收到的模型参数对本地的风险解释模型进行更新，得到训练后的风险解释模型，进而通过训练后的风险解释模型进行风险检测处理等。避免由于需要对风险解释模型进行训练，导致业务中断等情况的发生，满足用户的业务使用需求。

基于上述数据处理***结构可以实现下述实施例中的数据处理方法。

实施例一

如图2A和图2B所示，本说明书实施例提供一种数据处理方法，该方法的执行主体可以为服务器，其中，服务器可以是独立的服务器，也可以是由多个服务器组成的服务器集群。该方法具体可以包括以下步骤：

在S202中，接收目标用户针对目标业务输入的目标输入数据，以及目标用户触发执行目标业务对应的目标多模态业务数据。

其中，目标输入数据可以用于获取执行目标业务的风险信息，目标多模态业务数据可以包括至少两种模态的业务数据，目标业务可以是任意可能涉及用户隐私数据泄露等数据风险问题的业务，例如，目标业务可以是资源转移业务、身份验证业务等，目标输入数据可以为目标用户针对执行目标业务的风险询问信息，目标输入数据可以为目标用户输入的文本数据、音频数据和视频数据中的一个或多个，例如，目标输入数据可以为目标用户输入的：“执行该目标业务是否存在风险？”、“具体哪部分存在违规？”、“是否存在篡改图像？”等数据，目标多模态业务数据可以是触发执行目标业务对应的至少两种模态的业务数据，具体如，以目标业务为资源转移业务为例，目标多模态业务数据可以包括文本数据(如资源转移数量、资源转移时间等)、资源转移页面内包含的图像数据、音频数据、视频数据等业务数据中的至少两种模态的业务数据，或者，以目标业务为身份验证业务为例，目标多模态业务数据可以包括文本数据(如目标用户输入的身份信息)、采集的目标用户的图像数据、视频数据、音频数据等业务数据中的至少两种模态的业务数据。

在实施中，随着互联网行业的迅速发展，人工智能模型的应用也越来越普及，如在风控场景下，可以通过人工智能模型对待执行的业务进行风险分析，确定执行该业务的风险类型，这样，风险管控人员就可以根据该业务的风险类型，确定对应的风险控制策略以进行风险控制，以保护用户的隐私数据不被泄露等。但是，由于风险管控人员仅通过执行某业务的风险类型确定对应的风险控制策略，这就导致风险检测的准确性以及效率低下，因此，需要一种能够提高业务风险检测的检测效率和检测准确性，以准确的进行风险控制的解决方案。为此，本说明书实施例提供一种可以解决上述问题的技术方案，具体可以参见下述内容。

以目标业务为资源转移业务为例，目标用户可以通过终端设备中安装的资源转移应用程序，触发启动资源转移业务，即终端设备在检测到目标用户通过某资源转移应用程序触发启动资源转移业务的情况下，终端设备可以采集该目标用户针对该资源转移业务输入的目标输入数据，以及目标用户触发执行该资源转移业务对应的目标多模态业务户数。

例如，如图3所示，目标用户可以在资源转移页面输入资源转移数量和资源转移对象等信息，终端设备可以采集目标用户输入的资源转移数量和资源转移对象，以及资源转移时间等文本数据，以及资源转移页面中包含的图片数据、视频数据、音频数据，终端设备可以将采集的这些业务数据作为目标多模态业务数据发送给服务器。另外，目标用户还可以在资源转移页面输入针对触发执行该资源转移业务的风险询问信息，如“执行该目标业务是否存在风险？该页面中的图片是否为篡改图片”，终端设备可以将接收到的上述风险询问信息作为目标输入数据发送给服务器。

这样，服务器就可以接收到终端设备发送的目标输入数据以及目标多模态业务数据。

此外，上述目标输入数据以及目标多模态业务数据的确定方法是一种可选地、可实现的确定方法，在实际应用场景中，还可以有多种不同的确定方法，可以根据实际应用场景的不同而有所不同，本说明书实施例对此不做具体限定。

在S204中，基于目标多模态业务数据和目标输入数据，通过预先训练的风险解释模型，确定目标反馈数据。

其中，目标反馈数据可以包括对目标输入数据的回答数据，以及回答数据的解释数据，例如，以目标输入数据为“执行该目标业务是否存在风险？该页面中的图片是否为篡改图片”为例，目标反馈数据可以包括对该目标输入数据的回答数据，如“执行该目标业务存在风险，该图片为篡改图片”，以及对该回答数据的解释数据，如“由于该图片中的某个区域存在篡改情况，且该区域为重点检测区域，因此，执行该目标业务可能存在隐私泄露风险”。风险解释模型可以包括第一模块和预先训练的第二模块，预先训练的第二模块为可以通过历史样本数据对由深度学习算法构建的用于生成文本数据的模块进行训练得到，历史样本数据的数据量可以大于用于训练风险解释模型的训练样本数据的数据量，第二模块的参数在风险解释模型的训练过程中处于冻结状态，第一模块也可以是由深度学习算法构建，即第一模块与第二模块可以基于相同的深度学习算法构建，也可以是基于不同的深度学习算法构建，此外，第一模块的模型结构可以小于第二模块的模型结构，例如，以第一模块和第二模块为基于多个卷积层构建，第一模块包含的卷积层的数量可以小于第二模块包含的卷积层的数量，第二模块可以通过深度学习算法来学习文本数据的概率分布，从而预测下一个单词、短语或语句。

在实施中，服务器可以基于历史数据构建训练样本数据，以通过训练样本数据对风险解释模型进行训练，以得到训练后的风险解释模型，其中，由于第二模块为预先训练得到的，且用于训练第二模块的历史样本数据的数据量大于用于训练风险解释模型的训练样本数据的数据量，因此，在对风险解释模型进行训练的过程中，可以对第二模块的参数做冻结处理，仅对第一模块的参数进行更新处理，即第二模块的参数在风险解释模型的训练过程中可以处于冻结状态。服务器在得到训练后的风险解释模型后，可以基于目标多模态业务数据和目标输入数据，通过预先训练的风险解释模型，确定目标反馈数据。

在S206中，基于目标反馈数据，判断执行目标业务是否存在风险，并将目标反馈数据和风险判断结果输出给目标用户。

在实施中，由于目标输入数据是用于获取执行目标业务的风险信息的数据，且目标反馈数据包含对目标输入数据的回答数据，以及回答数据的解释数据，因此，可以通过该目标输入数据以及目标反馈数据，确定执行该目标业务是否存在风险，以得到风险判断结果。

例如，以目标输入数据为“执行该目标业务是否存在风险？该页面中的图片是否为篡改图片”，目标反馈数据可以包括对该目标输入数据的回答数据，如“执行该目标业务存在风险，该图片为篡改图片”，以及对该回答数据的解释数据，如“由于该图片中的某个区域存在篡改情况，且该区域为重点检测区域，因此，执行该目标业务可能存在隐私泄露风险”为例。基于该目标输入数据和目标反馈数据，可以确定执行该目标业务存在风险。

或者，服务器还可以基于预先训练的风险类型确定模型，对目标反馈数据、目标输入数据、目标多模态业务数据进行风险检测处理，得到对应的风险类型，并基于风险类型，确定执行目标业务是否存在风险。其中，风险类型确定模型可以是基于预设机器学习算法构建的用于确定风险类型的模型，风险类型可以包括高风险、中风险、低风险等类型，风险类型可以基于目标业务对应的业务类型确定。

此外，上述对执行目标业务是否存在风险进行判断的方法是一种可选地、可实现的判断方法，在实际应用场景中，还可以有多种不同的判断方法，可以根据实际应用场景的不同而有所不同，本说明书实施例对此不做具体限定。

服务器可以将目标反馈数据和风险判断结果发送给终端设备，终端设备可以将目标反馈数据和风险判断结果输出给目标用户。

本说明书实施例提供一种数据处理方法，通过接收目标用户针对目标业务输入的目标输入数据，以及目标用户触发执行目标业务对应的目标多模态业务数据，目标输入数据用于获取执行目标业务的风险信息，目标多模态业务数据包括至少两种模态的业务数据，基于目标多模态业务数据和目标输入数据，通过预先训练的风险解释模型，确定目标反馈数据，目标反馈数据可以包括对目标输入数据的回答数据，以及回答数据的解释数据，风险解释模型可以包括第一模块和预先训练的第二模块，预先训练的第二模块可以为通过历史样本数据对由深度学习算法构建的用于生成文本数据的模块进行训练得到，历史样本数据的数据量可以大于用于训练风险解释模型的训练样本数据的数据量，第二模块的参数在风险解释模型的训练过程中处于冻结状态，基于目标反馈数据，判断执行目标业务是否存在风险，并将目标反馈数据和风险判断结果输出给目标用户。这样，在风险解释模型的训练过程中，由于第二模块的参数处于冻结状态，因此，服务器仅需要对第一模块的参数进行训练，且由于第二模块是经过数据量较大的历史样本数据进行训练得到，所以，在提高风险解释模型的训练效率的同时，还可以保证训练得到的风险解释模型的检测准确性。另外，风险解释模型可以基于至少两种模态的多模态业务数据以及用户的输入数据，生成对应的回答数据和回答数据的解释数据(即反馈数据)，可以避免基于单一模态的业务数据进行风险检测导致的风险检测准确性较差的问题，且可以通过回答数据的解释数据，准确的对执行目标业务是否存在风险进行判断，即可以提高对业务风险检测的检测效率和检测准确性，以准确的进行风险控制。

实施例二

如图4所示，本说明书实施例提供一种数据处理方法，该方法的执行主体可以是服务器，其中，服务器可以是独立的服务器，也可以是由多个服务器组成的服务器集群。该方法具体可以包括以下步骤：

在S402中，获取针对目标业务的训练样本数据。

其中，训练样本数据可以包括目标业务对应的历史多模态业务数据、用于获取目标业务的风险信息的用户输入数据，以及输入数据的历史反馈数据。

在实施中，服务器可以本地数据库或数据处理***中其他服务器的数据库中，获取与目标业务对应的历史数据(如近三个月的目标业务对应的历史多模态业务数据、用于获取目标业务的风险信息的用户输入数据，以及输入数据的历史反馈数据)，并通过该历史数据构建训练样本数据。

在S404中，基于历史多模态业务数据和用户输入数据，通过风险解释模型，确定针对输入数据的预测反馈数据。

在实施中，在实际应用中，上述S402的处理方式可以多种多样，以下提供一种可选的实现方式，具体可以参见下述步骤一～步骤三处理：

步骤一，对历史多模态业务数据进行文本转换处理，得到与历史多模态业务数据对应的历史文本业务数据。

其中，多模态业务数据可以包括图像数据、视频数据等。

在实施中，由于第二模块可能不能直接对非文本数据进行处理，因此，可以对多模态业务数据进行文本转换处理，例如，以图像数据(或视频数据)为例，服务器可以对图像数据进行文本转换处理，得到对应的文本业务数据。例如，服务器可以通过下述步骤A1～步骤A8，对历史多模态业务数据中的图像数据进行文本转换处理，得到对应的历史文本业务数据。

步骤A1，获取历史图像数据和历史文本数据。

步骤A2，基于图像文本转换模型中的图像特征提取模块，对历史图像数据进行特征提取处理，得到与历史图像数据对应的第三特征向量。

步骤A3，基于图像文本转换模型中的文本特征提取模块，对历史文本数据进行文本特征提取处理，得到与历史文本数据对应的第四特征向量。

步骤A4，获取第三特征向量和第四特征向量之间的距离值。

步骤A5，基于预设损失函数和距离值，确定损失值，并基于损失值确定图像文本转换模型是否收敛，若基于损失值确定图像文本转换模型未收敛，则基于历史图像数据和历史文本数据继续对图像文本转换模型进行训练，直到图像文本转换模型收敛，得到训练后的图像文本转换模型。

在实施中，如图5所示，假设共有N个历史图像数据和N个历史文本数据，可以通过图像文本转换模型中的图像特征提取模块，对历史图像数据进行特征提取处理，得到与历史图像数据对应的第三特征向量(即I1、I2、I3、...、IN)。可以通过图像文本转换模型中的文本特征提取模块，对历史文本数据进行特征提取处理，得到与历史文本数据对应的第四特征向量(即T1、T2、T3、...、TN)。

然后，服务器可以获取第三特征向量和第四特征向量之间的距离值(即I1*T1、I1*T2、...、IN*TN)，进而基于预设损失函数和距离值，确定损失值，并基于损失值确定图像文本转换模型是否收敛，若基于损失值确定图像文本转换模型未收敛，则基于历史图像数据和历史文本数据继续对图像文本转换模型进行训练，直到图像文本转换模型收敛，得到训练后的图像文本转换模型。

这样，服务器就可以通过训练后的图像文本转换模型，对图像数据和文本数据进行对齐处理，即图像文本转换模型中的图像特征提取模块的输出和文本特征提取模块的输出就有了固定映射。

步骤A6，基于预先训练的图像文本转换模型中的图像特征提取模块，对历史多模态业务数据中的图像数据进行特征提取处理，得到与图像数据对应的第一特征向量。

步骤A7，获取与目标业务对应的候选文本数据，并基于预先训练的图像文本转换模型中的文本特征提取模块，对候选文本数据进行文本特征提取处理，得到与候选文本数据对应的第二特征向量。

步骤A8，基于第一特征向量和第二特征向量，从候选文本数据中选取与图像数据对应的目标文本数据，并将目标文本数据确定为与历史多模态业务数据中的图像数据对应的文本业务数据。

在实施中，如图6所示，假设共有M个候选文本数据，服务器可以通过训练得到的图像文本转换模型中的文本特征提取模块，对这M个候选文本数据进行文本特征提取处理，可以得到M个第二特征向量(即A1、A2、A3、...、AN)。通过训练得到的图像文本转换模型中的图像特征提取模块，对历史多模态业务数据中的图像数据进行图像特征提取处理，得到第一特征向量(即B1)。

服务器可以获取第一特征向量和每个第二特征向量之间的距离值，并基于距离值，从候选文本数据中选取与图像数据对应的目标文本数据(如A3对应的候选文本数据)，并将目标文本数据确定为与历史多模态业务数据中的图像数据对应的文本业务数据。

另外，历史多模态业务数据中还可以有音频数据，音频数据的原始数据是波形信号，由于语音和文本存在一一对应的关系，因此，针对音频数据，服务器可以对音频数据直接进行语音识别处理，得到对应的文本业务数据。

其中，语音识别处理的方法可以有多种，例如，服务器可以通过transformer-transducer的语音识别框架，对流式的音频数据进行语音识别处理，以得到对应的文本业务数据，除此之外，还可以有多种不同的语音识别处理方法，可以根据实际应用场景的不同，选取不同的语音识别方法，本说明书实施例对此不作具体限定。

步骤二，将历史文本业务数据输入到风险解释模型的线性投射层，得到历史文本业务数据的目标特征向量。

步骤三，将目标特征向量和用户输入数据，输入到风险解释模型，得到针对输入数据的预测反馈数据。

在实施中，风险解释模型中的第一模块和第二模块的构造方式可以有多种，以下提供两种可选的实现方式，具体可以参见下述步骤B1～步骤B3，或步骤C1～步骤C2的处理：

步骤B1，将目标特征向量和用户输入数据，输入到风险解释模型的第一模块，得到第一子结果。

步骤B2，将目标特征向量和用户输入数据，输入到风险解释模型中预先训练的第二模块，得到第二子结果。

步骤B3，基于第一子结果和第二子结果，确定针对输入数据的预测反馈数据。

其中，第一模块可以包括第一子模块和第二子模块，第一子模块可以用于对目标特征向量和用户输入数据进行处理，第二子模块可以用于对第一子模块的输出结果进行处理以得到第一子结果，第一子模块的输出维度与第二子模块的输入维度相同，第二子模块的输出维度与预先训练的第二模块的输出维度相同，第二子模块的输入维度可以小于第二子模块的输出维度。

在实施中，如图7所示，第一模块包含输入维度且输出维度都不同的第一子模块和第二子模块，且第一子模块的输出维度小于输入维度，这样，通过低秩适配(low-rankadaptation)的方式，可以减少风险解释模型中需要训练的参数，提高风险解释模型的训练效率。

步骤C1，将目标特征向量和用户输入数据，输入到风险解释模型的第一模块，得到中间结果。

步骤C2，将中间结果输入到风险解释模型中预先训练的第二模块，得到针对输入数据的预测反馈数据。

其中，第一模块包含的神经网络的层数可以小于第二模块包含的神经网络的层数。

在实施中，如图8所示，第一模块可以包含的神经网络结构可以为1024*8，第二模块包含的神经网络结构可以为1024*1024，这样，服务器就可以先经过第一模块对目标特征向量和用户输入数据进行处理，得到中间结果，然后在将中间结果输入到第二模块，得到预测反馈数据。

此外，上述模型结构是一种可选地、可实现的结构，除此之外，还可以有多种不同的模型结构，例如，第一模块也可以在第二模块内部，具体如，第一模块包含的1024*8的神经网络结构可以为包在第二模块的1024*1024的神经网络结构中，且第一模块可以被包含在第二模块的任意位置，或者，第一模块也可以是第二模块的下一个数据处理模块，即服务器可以将目标特征向量和用户输入数据，输入到风险解释模型的预先训练的第二模块，得到中间结果，在将中间结果输入到风险解释模型中第一模块，得到针对输入数据的预测反馈数据等，可以根据实际应用场景的不同，针对风险解释模型选取不同的模型结构，本说明书实施例对此不作具体限定。

在S406中，基于历史反馈数据和预测反馈数据，确定风险解释模型是否收敛，若风险解释模型未收敛，则基于历史反馈数据和预测反馈数据，对第一模块的参数进行更新，得到更新后的风险解释模型。

在实施中，如图9所示，服务器在基于历史反馈数据和预测反馈数据，确定风险解释模型未收敛的情况下，可以基于历史反馈数据和预测反馈数据，对第一模块的参数进行更新，得到更新后的风险解释模型。

在S408中，基于历史多模态业务数据、用户输入数据以及历史反馈数据继续对更新后的风险解释模型进行训练，直到风险解释模型收敛，得到训练后的风险解释模型。

在实施中，在已经训练好的模型(即预先训练的第二模块)的基础上，使用新的数据集(即训练样本数据集)进行重新训练，即在对风险解释模型进行训练时，可以通过有监督的微调方式，仅对第一模块的参数进行更新，这样，得到的训练后的风险解释模型可以适应新任务或领域的特定需求。

在S202中，接收目标用户针对目标业务输入的目标输入数据，以及所述目标用户触发执行所述目标业务对应的目标多模态业务数据。

其中，目标输入数据可以用于获取执行目标业务的风险信息，目标多模态业务数据可以包括至少两种模态的业务数据。

在S204中，基于目标多模态业务数据和目标输入数据，通过预先训练的风险解释模型，确定目标反馈数据。

在S206中，基于目标反馈数据，判断执行目标业务是否存在风险，并将目标反馈数据和风险判断结果输出给目标用户。

本说明书实施例提供一种数据处理方法，通过接收目标用户针对目标业务输入的目标输入数据，以及目标用户触发执行目标业务对应的目标多模态业务数据，目标输入数据用于获取执行目标业务的风险信息，目标多模态业务数据包括至少两种模态的业务数据，基于目标多模态业务数据和目标输入数据，通过预先训练的风险解释模型，确定目标反馈数据，目标反馈数据可以包括对目标输入数据的回答数据，以及回答数据的解释数据，风险解释模型可以包括第一模块和预先训练的第二模块，预先训练的第二模块可以为通过历史样本数据对由深度学习算法构建的用于生成文本数据的模块进行训练得到，历史样本数据的数据量可以大于用于训练风险解释模型的训练样本数据的数据量，第二模块的参数在风险解释模型的训练过程中处于冻结状态，基于目标反馈数据，判断执行目标业务是否存在风险，并将目标反馈数据和风险判断结果输出给目标用户。这样，在风险解释模型的训练过程中，由于第二模块的参数处于冻结状态，因此，服务器仅需要对第一模块的参数进行训练，且由于第二模块是经过数据量较大的历史样本数据进行训练得到，所以，在提高风险解释模型的训练效率的同时，还可以保证训练得到的风险解释模型的检测准确性。另外，风险解释模型可以基于至少两种模态的多模态业务数据以及用户的输入数据，生成对应的回答数据和回答数据的解释数据(即反馈数据)，可以避免基于单一模态的业务数据进行风险检测导致的风险检测准确性较差的问题，且可以通过回答数据的解释数据，准确的对执行目标业务是否存在风险进行判断，即可以提高对业务风险检测的检测效率和检测准确性，以准确的进行风险控制。

实施例三

以上为本说明书实施例提供的数据处理方法，基于同样的思路，本说明书实施例还提供一种数据处理装置，如图10所示。

该数据处理装置包括：数据接收模块1001、第一处理模块1002和风判断模块1003，其中：

数据接收模块1001，用于接收目标用户针对目标业务输入的目标输入数据，以及所述目标用户触发执行所述目标业务对应的目标多模态业务数据，所述目标输入数据用于获取执行所述目标业务的风险信息，所述目标多模态业务数据包括至少两种模态的业务数据；

第一处理模块1002，用于基于所述目标多模态业务数据和所述目标输入数据，通过预先训练的风险解释模型，确定目标反馈数据，所述目标反馈数据包括对所述目标输入数据的回答数据，以及所述回答数据的解释数据，所述风险解释模型包括第一模块和预先训练的第二模块，所述预先训练的第二模块为通过历史样本数据对由深度学习算法构建的用于生成文本数据的模块进行训练得到，所述历史样本数据的数据量大于用于训练所述风险解释模型的训练样本数据的数据量，所述第二模块的参数在所述风险解释模型的训练过程中处于冻结状态；

风险判断模块1003，用于基于所述目标反馈数据，判断执行所述目标业务是否存在风险，并将所述目标反馈数据和风险判断结果输出给所述目标用户。

本说明书实施例中，所述装置还包括：

数据获取模块，用于获取针对所述目标业务的训练样本数据，所述训练样本数据包括所述目标业务对应的历史多模态业务数据、用于获取所述目标业务的风险信息的用户输入数据，以及所述输入数据的历史反馈数据；

第二处理模块，用于基于所述历史多模态业务数据和所述用户输入数据，通过所述风险解释模型，确定针对所述输入数据的预测反馈数据；

参数更新模块，用于基于所述历史反馈数据和所述预测反馈数据，确定所述风险解释模型是否收敛，若所述风险解释模型未收敛，则基于所述历史反馈数据和所述预测反馈数据，对所述第一模块的参数进行更新，得到更新后的风险解释模型；

第一训练模块，用于基于所述历史多模态业务数据、所述用户输入数据以及所述历史反馈数据继续对所述更新后的风险解释模型进行训练，直到所述风险解释模型收敛，得到训练后的风险解释模型。

本说明书实施例中，所述第二处理模块，用于：

对所述历史多模态业务数据进行文本转换处理，得到与所述历史多模态业务数据对应的历史文本业务数据；

将所述历史文本业务数据输入到所述风险解释模型的线性投射层，得到所述历史文本业务数据的目标特征向量；

将所述目标特征向量和所述用户输入数据，输入到所述风险解释模型，得到针对所述输入数据的预测反馈数据。

本说明书实施例中，所述多模态业务数据包括图像数据，所述第二处理模块，用于：

基于预先训练的图像文本转换模型中的图像特征提取模块，对所述历史多模态业务数据中的图像数据进行特征提取处理，得到与所述图像数据对应的第一特征向量；

获取与所述目标业务对应的候选文本数据，并基于所述预先训练的图像文本转换模型中的文本特征提取模块，对所述候选文本数据进行文本特征提取处理，得到与所述候选文本数据对应的第二特征向量；

基于所述第一特征向量和所述第二特征向量，从所述候选文本数据中选取与所述图像数据对应的目标文本数据，并将所述目标文本数据确定为所述与所述历史多模态业务数据中的图像数据对应的文本业务数据。

本说明书实施例中，所述装置还包括：

第一获取模块，用于获取历史图像数据和历史文本数据；

第一提取模块，用于基于所述图像文本转换模型中的图像特征提取模块，对所述历史图像数据进行特征提取处理，得到与所述历史图像数据对应的第三特征向量；

第二提取模块，用于基于所述图像文本转换模型中的文本特征提取模块，对所述历史文本数据进行文本特征提取处理，得到与所述历史文本数据对应的第四特征向量；

距离确定模块，用于获取所述第三特征向量和所述第四特征向量之间的距离值；

第二训练模块，用于基于预设损失函数和所述距离值，确定损失值，并基于所述损失值确定所述图像文本转换模型是否收敛，若基于所述损失值确定所述图像文本转换模型未收敛，则基于所述历史图像数据和所述历史文本数据继续对所述图像文本转换模型进行训练，直到所述图像文本转换模型收敛，得到训练后的图像文本转换模型。

本说明书实施例中，所述第二处理模块，用于：

将所述目标特征向量和所述用户输入数据，输入到所述风险解释模型的第一模块，得到第一子结果；

将所述目标特征向量和所述用户输入数据，输入到所述风险解释模型中预先训练的第二模块，得到第二子结果；

基于所述第一子结果和所述第二子结果，确定所述针对所述输入数据的预测反馈数据。

本说明书实施例中，所述第一模块包括第一子模块和第二子模块，所述第一子模块用于对所述目标特征向量和所述用户输入数据进行处理，所述第二子模块用于对所述第一子模块的输出结果进行处理以得到所述第一子结果，所述第一子模块的输出维度与所述第二子模块的输入维度相同，所述第二子模块的输出维度与所述预先训练的第二模块的输出维度相同，所述第二子模块的输入维度小于所述第二子模块的输出维度。

本说明书实施例中，所述第二处理模块，用于：

将所述目标特征向量和所述用户输入数据，输入到所述风险解释模型的第一模块，得到中间结果；

将所述中间结果输入到所述风险解释模型中预先训练的第二模块，得到所述针对所述输入数据的预测反馈数据，所述第一模块包含的神经网络的层数小于所述第二模块包含的神经网络的层数。

本说明书实施例提供一种数据处理装置，通过接收目标用户针对目标业务输入的目标输入数据，以及目标用户触发执行目标业务对应的目标多模态业务数据，目标输入数据用于获取执行目标业务的风险信息，目标多模态业务数据包括至少两种模态的业务数据，基于目标多模态业务数据和目标输入数据，通过预先训练的风险解释模型，确定目标反馈数据，目标反馈数据可以包括对目标输入数据的回答数据，以及回答数据的解释数据，风险解释模型可以包括第一模块和预先训练的第二模块，预先训练的第二模块可以为通过历史样本数据对由深度学习算法构建的用于生成文本数据的模块进行训练得到，历史样本数据的数据量可以大于用于训练风险解释模型的训练样本数据的数据量，第二模块的参数在风险解释模型的训练过程中处于冻结状态，基于目标反馈数据，判断执行目标业务是否存在风险，并将目标反馈数据和风险判断结果输出给目标用户。这样，在风险解释模型的训练过程中，由于第二模块的参数处于冻结状态，因此，服务器仅需要对第一模块的参数进行训练，且由于第二模块是经过数据量较大的历史样本数据进行训练得到，所以，在提高风险解释模型的训练效率的同时，还可以保证训练得到的风险解释模型的检测准确性。另外，风险解释模型可以基于至少两种模态的多模态业务数据以及用户的输入数据，生成对应的回答数据和回答数据的解释数据(即反馈数据)，可以避免基于单一模态的业务数据进行风险检测导致的风险检测准确性较差的问题，且可以通过回答数据的解释数据，准确的对执行目标业务是否存在风险进行判断，即可以提高对业务风险检测的检测效率和检测准确性，以准确的进行风险控制。

实施例四

基于同样的思路，本说明书实施例还提供一种数据处理设备，如图11所示。

数据处理设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器1101和存储器1102，存储器1102中可以存储有一个或一个以上存储应用程序或数据。其中，存储器1102可以是短暂存储或持久存储。存储在存储器1102的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对数据处理设备中的一系列计算机可执行指令。更进一步地，处理器1101可以设置为与存储器1102通信，在数据处理设备上执行存储器1102中的一系列计算机可执行指令。数据处理设备还可以包括一个或一个以上电源1103，一个或一个以上有线或无线网络接口1104，一个或一个以上输入输出接口1105，一个或一个以上键盘1106。

具体在本实施例中，数据处理设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对数据处理设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

接收目标用户针对目标业务输入的目标输入数据，以及所述目标用户触发执行所述目标业务对应的目标多模态业务数据，所述目标输入数据用于获取执行所述目标业务的风险信息，所述目标多模态业务数据包括至少两种模态的业务数据；

基于所述目标多模态业务数据和所述目标输入数据，通过预先训练的风险解释模型，确定目标反馈数据，所述目标反馈数据包括对所述目标输入数据的回答数据，以及所述回答数据的解释数据，所述风险解释模型包括第一模块和预先训练的第二模块，所述预先训练的第二模块为通过历史样本数据对由深度学习算法构建的用于生成文本数据的模块进行训练得到，所述历史样本数据的数据量大于用于训练所述风险解释模型的训练样本数据的数据量，所述第二模块的参数在所述风险解释模型的训练过程中处于冻结状态；

基于所述目标反馈数据，判断执行所述目标业务是否存在风险，并将所述目标反馈数据和风险判断结果输出给所述目标用户。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书实施例提供一种数据处理设备，通过接收目标用户针对目标业务输入的目标输入数据，以及目标用户触发执行目标业务对应的目标多模态业务数据，目标输入数据用于获取执行目标业务的风险信息，目标多模态业务数据包括至少两种模态的业务数据，基于目标多模态业务数据和目标输入数据，通过预先训练的风险解释模型，确定目标反馈数据，目标反馈数据可以包括对目标输入数据的回答数据，以及回答数据的解释数据，风险解释模型可以包括第一模块和预先训练的第二模块，预先训练的第二模块可以为通过历史样本数据对由深度学习算法构建的用于生成文本数据的模块进行训练得到，历史样本数据的数据量可以大于用于训练风险解释模型的训练样本数据的数据量，第二模块的参数在风险解释模型的训练过程中处于冻结状态，基于目标反馈数据，判断执行目标业务是否存在风险，并将目标反馈数据和风险判断结果输出给目标用户。这样，在风险解释模型的训练过程中，由于第二模块的参数处于冻结状态，因此，服务器仅需要对第一模块的参数进行训练，且由于第二模块是经过数据量较大的历史样本数据进行训练得到，所以，在提高风险解释模型的训练效率的同时，还可以保证训练得到的风险解释模型的检测准确性。另外，风险解释模型可以基于至少两种模态的多模态业务数据以及用户的输入数据，生成对应的回答数据和回答数据的解释数据(即反馈数据)，可以避免基于单一模态的业务数据进行风险检测导致的风险检测准确性较差的问题，且可以通过回答数据的解释数据，准确的对执行目标业务是否存在风险进行判断，即可以提高对业务风险检测的检测效率和检测准确性，以准确的进行风险控制。

实施例五

本说明书实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

本说明书实施例提供一种计算机可读存储介质，通过接收目标用户针对目标业务输入的目标输入数据，以及目标用户触发执行目标业务对应的目标多模态业务数据，目标输入数据用于获取执行目标业务的风险信息，目标多模态业务数据包括至少两种模态的业务数据，基于目标多模态业务数据和目标输入数据，通过预先训练的风险解释模型，确定目标反馈数据，目标反馈数据可以包括对目标输入数据的回答数据，以及回答数据的解释数据，风险解释模型可以包括第一模块和预先训练的第二模块，预先训练的第二模块可以为通过历史样本数据对由深度学习算法构建的用于生成文本数据的模块进行训练得到，历史样本数据的数据量可以大于用于训练风险解释模型的训练样本数据的数据量，第二模块的参数在风险解释模型的训练过程中处于冻结状态，基于目标反馈数据，判断执行目标业务是否存在风险，并将目标反馈数据和风险判断结果输出给目标用户。这样，在风险解释模型的训练过程中，由于第二模块的参数处于冻结状态，因此，服务器仅需要对第一模块的参数进行训练，且由于第二模块是经过数据量较大的历史样本数据进行训练得到，所以，在提高风险解释模型的训练效率的同时，还可以保证训练得到的风险解释模型的检测准确性。另外，风险解释模型可以基于至少两种模态的多模态业务数据以及用户的输入数据，生成对应的回答数据和回答数据的解释数据(即反馈数据)，可以避免基于单一模态的业务数据进行风险检测导致的风险检测准确性较差的问题，且可以通过回答数据的解释数据，准确的对执行目标业务是否存在风险进行判断，即可以提高对业务风险检测的检测效率和检测准确性，以准确的进行风险控制。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书的实施例可提供为方法、***、或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书的实施例是参照根据本说明书实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、***或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种数据处理方法，包括：

接收目标用户针对目标业务输入的目标输入数据，以及所述目标用户触发执行所述目标业务对应的目标多模态业务数据，所述目标输入数据用于获取执行所述目标业务的风险信息，所述目标多模态业务数据包括至少两种模态的业务数据；

基于所述目标多模态业务数据和所述目标输入数据，通过预先训练的风险解释模型，确定目标反馈数据，所述目标反馈数据包括对所述目标输入数据的回答数据，以及所述回答数据的解释数据，所述风险解释模型包括第一模块和预先训练的第二模块，所述预先训练的第二模块为通过历史样本数据对由深度学习算法构建的用于生成文本数据的模块进行训练得到，所述历史样本数据的数据量大于用于训练所述风险解释模型的训练样本数据的数据量，所述第二模块的参数在所述风险解释模型的训练过程中处于冻结状态；

基于所述目标反馈数据，判断执行所述目标业务是否存在风险，并将所述目标反馈数据和风险判断结果输出给所述目标用户。

2.根据权利要求1所述的方法，在所述基于所述目标多模态业务数据和所述目标输入数据，通过预先训练的风险解释模型，确定用于对所述目标输入数据进行回答的目标反馈数据之前，还包括：

获取针对所述目标业务的训练样本数据，所述训练样本数据包括所述目标业务对应的历史多模态业务数据、用于获取所述目标业务的风险信息的用户输入数据，以及所述输入数据的历史反馈数据；

基于所述历史多模态业务数据和所述用户输入数据，通过所述风险解释模型，确定针对所述输入数据的预测反馈数据；

基于所述历史反馈数据和所述预测反馈数据，确定所述风险解释模型是否收敛，若所述风险解释模型未收敛，则基于所述历史反馈数据和所述预测反馈数据，对所述第一模块的参数进行更新，得到更新后的风险解释模型；

基于所述历史多模态业务数据、所述用户输入数据以及所述历史反馈数据继续对所述更新后的风险解释模型进行训练，直到所述风险解释模型收敛，得到训练后的风险解释模型。

3.根据权利要求2所述的方法，所述基于所述历史多模态业务数据和所述用户输入数据，通过所述风险解释模型，确定针对所述输入数据的预测反馈数据，包括：

对所述历史多模态业务数据进行文本转换处理，得到与所述历史多模态业务数据对应的历史文本业务数据；

将所述历史文本业务数据输入到所述风险解释模型的线性投射层，得到所述历史文本业务数据的目标特征向量；

将所述目标特征向量和所述用户输入数据，输入到所述风险解释模型，得到针对所述输入数据的预测反馈数据。

4.根据权利要求3所述的方法，所述多模态业务数据包括图像数据，所述对所述历史多模态业务数据进行文本转换处理，得到与所述历史多模态业务数据对应的文本业务数据，包括：

基于预先训练的图像文本转换模型中的图像特征提取模块，对所述历史多模态业务数据中的图像数据进行特征提取处理，得到与所述图像数据对应的第一特征向量；

获取与所述目标业务对应的候选文本数据，并基于所述预先训练的图像文本转换模型中的文本特征提取模块，对所述候选文本数据进行文本特征提取处理，得到与所述候选文本数据对应的第二特征向量；

基于所述第一特征向量和所述第二特征向量，从所述候选文本数据中选取与所述图像数据对应的目标文本数据，并将所述目标文本数据确定为所述与所述历史多模态业务数据中的图像数据对应的文本业务数据。

5.根据权利要求4所述的方法，在所述基于预先训练的图像文本转换模型中的图像特征提取模块，对所述历史多模态业务数据中的图像数据进行特征提取处理，得到与所述图像数据对应的第一特征向量之前，还包括：

获取历史图像数据和历史文本数据；

基于所述图像文本转换模型中的图像特征提取模块，对所述历史图像数据进行特征提取处理，得到与所述历史图像数据对应的第三特征向量；

基于所述图像文本转换模型中的文本特征提取模块，对所述历史文本数据进行文本特征提取处理，得到与所述历史文本数据对应的第四特征向量；

获取所述第三特征向量和所述第四特征向量之间的距离值；

基于预设损失函数和所述距离值，确定损失值，并基于所述损失值确定所述图像文本转换模型是否收敛，若基于所述损失值确定所述图像文本转换模型未收敛，则基于所述历史图像数据和所述历史文本数据继续对所述图像文本转换模型进行训练，直到所述图像文本转换模型收敛，得到训练后的图像文本转换模型。

6.根据权利要求3所述的方法，所述将所述目标特征向量和所述用户输入数据，输入到所述风险解释模型，得到针对所述输入数据的预测反馈数据，包括：

将所述目标特征向量和所述用户输入数据，输入到所述风险解释模型的第一模块，得到第一子结果；

将所述目标特征向量和所述用户输入数据，输入到所述风险解释模型中预先训练的第二模块，得到第二子结果；

基于所述第一子结果和所述第二子结果，确定所述针对所述输入数据的预测反馈数据。

7.根据权利要求6所述的方法，所述第一模块包括第一子模块和第二子模块，所述第一子模块用于对所述目标特征向量和所述用户输入数据进行处理，所述第二子模块用于对所述第一子模块的输出结果进行处理以得到所述第一子结果，所述第一子模块的输出维度与所述第二子模块的输入维度相同，所述第二子模块的输出维度与所述预先训练的第二模块的输出维度相同，所述第二子模块的输入维度小于所述第二子模块的输出维度。

8.根据权利要求3所述的方法，所述将所述目标特征向量和所述用户输入数据，输入到所述风险解释模型，得到针对所述输入数据的预测反馈数据，包括：

将所述目标特征向量和所述用户输入数据，输入到所述风险解释模型的第一模块，得到中间结果；

将所述中间结果输入到所述风险解释模型中预先训练的第二模块，得到所述针对所述输入数据的预测反馈数据，所述第一模块包含的神经网络的层数小于所述第二模块包含的神经网络的层数。

9.一种数据处理装置，包括：

数据接收模块，用于接收目标用户针对目标业务输入的目标输入数据，以及所述目标用户触发执行所述目标业务对应的目标多模态业务数据，所述目标输入数据用于获取执行所述目标业务的风险信息，所述目标多模态业务数据包括至少两种模态的业务数据；

第一处理模块，用于基于所述目标多模态业务数据和所述目标输入数据，通过预先训练的风险解释模型，确定目标反馈数据，所述目标反馈数据包括对所述目标输入数据的回答数据，以及所述回答数据的解释数据，所述风险解释模型包括第一模块和预先训练的第二模块，所述预先训练的第二模块为通过历史样本数据对由深度学习算法构建的用于生成文本数据的模块进行训练得到，所述历史样本数据的数据量大于用于训练所述风险解释模型的训练样本数据的数据量，所述第二模块的参数在所述风险解释模型的训练过程中处于冻结状态；

风险判断模块，用于基于所述目标反馈数据，判断执行所述目标业务是否存在风险，并将所述目标反馈数据和风险判断结果输出给所述目标用户。

10.一种数据处理设备，所述数据处理设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

接收目标用户针对目标业务输入的目标输入数据，以及所述目标用户触发执行所述目标业务对应的目标多模态业务数据，所述目标输入数据用于获取执行所述目标业务的风险信息，所述目标多模态业务数据包括至少两种模态的业务数据；

基于所述目标多模态业务数据和所述目标输入数据，通过预先训练的风险解释模型，确定目标反馈数据，所述目标反馈数据包括对所述目标输入数据的回答数据，以及所述回答数据的解释数据，所述风险解释模型包括第一模块和预先训练的第二模块，所述预先训练的第二模块为通过历史样本数据对由深度学习算法构建的用于生成文本数据的模块进行训练得到，所述历史样本数据的数据量大于用于训练所述风险解释模型的训练样本数据的数据量，所述第二模块的参数在所述风险解释模型的训练过程中处于冻结状态；

基于所述目标反馈数据，判断执行所述目标业务是否存在风险，并将所述目标反馈数据和风险判断结果输出给所述目标用户。