CN110489582A - 个性化展示图像的生成方法及装置、电子设备 - Google Patents

Abstract

本公开提供一种个性化展示图像的生成方法、装置，以及实现上述方法计算机存储介质的电子设备；涉及机器学习技术领域。个性化展示图像的生成方法包括：对目标用户的用户数据、关于至少一种展示图像的展示对象数据以及至少一种展示图像的文案数据进行编码处理，得到第一特征；对至少一种展示图像进行特征提取，得到第二特征；通过训练后的排序模型对第一特征和第二特征进行融合处理，得到融合特征；通过排序模型预测目标用户对融合特征的点击信息，以确定目标用户的个性化展示图像。本技术方案能够提升展示图像的个性化，有助于提升对展示图像中展示对应的点击率。同时，个性化展示图像有利于提升用户的图像浏览体验。

Description

个性化展示图像的生成方法及装置、电子设备

技术领域

本公开涉及机器学习技术领域，具体而言，涉及一种个性化展示图像的生成方法、个性化展示图像的生成装置，以及实现上述个性化展示图像的生成方法计算机存储介质的电子设备。

背景技术

图像被广泛应用于向用户展示信息，其中，图像广告通过图像的方式将广告内容展示给用户。相比于文字广告，图像广告更加生动形象地将展示对象(如，商品等)的信息传达给用于，从而，图像广告已成为当下互联网广告的主要形式，并广泛应用于各种场景(如，电商平台、社交场景、新闻展示等)中。

相关技术中，目前的展示图像(即，上述图像广告，也称作：横幅广告或banner)针对不同的用户采用统一化的设计效果，也就是说，不同的用户所接收到的关于同一商品的展示图像都是相同的。例如同一双鞋的Banner对于不同用户的可见效果是一样的。

然而，10提供的展示图像缺乏个性化，不利于提升对展示图像中展示对象的点击率。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的相关技术的信息。

发明内容

本公开的目的在于提供一种个性化展示图像的生成方法、个性化展示图像的生成装置，以及实现上述个性化展示图像的生成方法计算机存储介质的电子设备，进而在一定程度上提升展示图像的个性化，进而有利于提升对展示图像中展示对象的点击率。

根据本公开的第一方面，提供一种个性化展示图像的生成方法，上述方法包括：对目标用户的用户数据、关于至少一种展示图像的展示对象数据以及上述至少一种展示图像的文案数据进行编码处理，得到第一特征；对上述至少一种展示图像进行特征提取，得到第二特征；通过训练后的排序模型对上述第一特征和上述第二特征进行融合处理，得到融合特征；以及，通过上述排序模型预测上述目标用户对上述融合特征的点击信息，以确定上述目标用户的个性化展示图像。

在本公开的一种示例性实施例中，基于前述实施例，上述用户数据包括：用户画像数据和用户对应的设备标识；上述展示对象数据包括：分类数据、标识和修饰手法数据；上述文案数据包括：文案风格和文案版式；以及，上述训练后的排序模型是基于神经网络模型、决策树模型和极端梯度提升模型中的至少一种得到的。

在本公开的一种示例性实施例中，基于前述实施例，上述对上述至少一种展示图像进行特征提取，得到第二特征，包括：

将上述展示图像输入预训练的神经网络模型；以及，根据上述预训练的神经网络模型的全连接层确定图像全连接层特征，以及根据上述预训练的神经网络模型的隐藏层的输出向量的内积确定图像风格特征。

在本公开的一种示例性实施例中，基于前述实施例，上述个性化展示图像的生成方法还包括：

获取多组训练样本，其中，每组训练样本包含：用户特征，以及至少一种展示图像的属性特征和关于所示属性特征的目标点击信息；将上述用户特征和上述属性特征输入至排序模型；根据上述排序模型的特征融合层融合上述用户特征和上述属性特征，得到融合特征；以及，根据上述融合特征确定预测点击信息，并基于上述预测点击信息和所示目标点击信息确定损失函数，以根据所示损失函数优化上述排序模型的模型参数。

在本公开的一种示例性实施例中，基于前述实施例，上述基于上述预测点击信息和所示目标点击信息确定损失函数，包括：确定上述预测点击信息和所示目标点击信息的交叉熵函数，作为上述损失函数。

在本公开的一种示例性实施例中，基于前述实施例，上述通过训练后的排序模型对上述第一特征和上述第二特征进行融合处理，得到融合特征，包括：

通过上述排序模型的嵌入层对上述第一特征进行嵌入式学习，得到嵌入式特征；通过上述排序模型的第一融合层对上述嵌入式特征进行融合处理，得到第一融合特征；以及，通过上述排序模型的第二融合层对将上述第一融合特征和上述第二特征进行融合处理，得到第二融合特征。

在本公开的一种示例性实施例中，基于前述实施例，上述排序模型预测上述目标用户对上述融合特征的点击信息，以确定上述目标用户的个性化展示图像，包括：

上述排序模型的分类层预测上述目标用户对上述融合特征的点击信息；根据预测结果确定目标融合特征，其中，上述目标融合特征包含一组关于上述目标用户的个性化特征；以及，根据上述个性化特征确定上述个性化展示图像。

根据本公开的第二方面，提供了一种个性化展示图像的生成装置，上述装置包括：第一特征确定模块，被配置为对目标用户的用户数据、关于至少一种展示图像的展示对象数据以及上述至少一种展示图像的文案数据进行编码处理，得到第一特征；第二特征确定模块，被配置为对上述至少一种展示图像进行特征提取，得到第二特征；特征融合模块，被配置为通过训练后的排序模型对上述第一特征和上述第二特征进行融合处理，得到融合特征；以及，个性化展示图像确定模块，被配置为上述排序模型预测上述目标用户对上述融合特征的点击信息，以确定上述目标用户的个性化展示图像。

在本公开的一种示例性实施例中，基于前述实施例，上述用户数据包括：用户画像数据和用户对应的设备标识；上述展示对象数据包括：分类数据、标识和修饰手法数据；上述文案数据包括：文案风格和文案版式；以及，上述训练后的排序模型是基于神经网络模型、决策树模型和极端梯度提升模型中的至少一种得到的。

在本公开的一种示例性实施例中，基于前述实施例，上述第二特征确定模块，包括：输入单元和特征提取单元。

上述输入单元被配置为：将上述展示图像输入预训练的神经网络模型；以及，上述特征提取单元被配置为：根据上述预训练的神经网络模型的全连接层确定图像全连接层特征，以及根据上述预训练的神经网络模型的隐藏层的输出向量的内积确定图像风格特征。

在本公开的一种示例性实施例中，基于前述实施例，个性化展示图像的生成装置还包括：模型训练模块。其中：

上述模型训练模块，包括：样本获取单元、特征输入单元、特征融合单元和模型参数优化单元。

上述样本获取单元被配置为：获取多组训练样本，其中，每组训练样本包含：用户特征，以及至少一种展示图像的属性特征和关于所示属性特征的目标点击信息；

上述特征输入单元被配置为：将上述用户特征和上述属性特征输入至排序模型；

上述特征融合单元被配置为：根据上述排序模型的特征融合层融合上述用户特征和上述属性特征，得到融合特征；以及，

上述模型参数优化单元被配置为：根据上述融合特征确定预测点击信息，并基于上述预测点击信息和所示目标点击信息确定损失函数，以根据所示损失函数优化上述排序模型的模型参数。

在本公开的一种示例性实施例中，基于前述实施例，上述模型参数优化单元被具体配置为：确定上述预测点击信息和所示目标点击信息的交叉熵函数，作为上述损失函数。

在本公开的一种示例性实施例中，基于前述实施例，上述特征融合模块，被具体配置为：

通过上述排序模型的嵌入层对上述第一特征进行嵌入式学习，得到嵌入式特征；通过上述排序模型的第一融合层对上述嵌入式特征进行融合处理，得到第一融合特征；以及，通过上述排序模型的第二融合层对将上述第一融合特征和上述第二特征进行融合处理，得到第二融合特征。

在本公开的一种示例性实施例中，基于前述实施例，上述个性化展示图像确定模块，被具体配置为：

上述排序模型预测上述目标用户对上述融合特征的点击信息；根据预测结果确定目标融合特征，其中，上述目标融合特征包含一组关于上述目标用户的个性化特征；以及，根据上述个性化特征确定上述个性化展示图像。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现上述第一方面中任意实施例所述的个性化展示图像的生成方法。

根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储上述处理器的可执行指令；其中，上述处理器配置为经由执行上述可执行指令来执行上述第一方面中任意实施例所述的个性化展示图像的生成方法。

本公开示例性实施例可以具有以下部分或全部有益效果：

在本公开的一示例实施方式所提供的个性化展示图像的生成方法是基于训练后的排序模型为不同用户确定个性化展示图像的。具体的，根据目标用户的用户数据、关于展示图像的至少一种展示对象数据以及上述展示图像的至少一种文案数据进行编码处理，得到第一特征；以及，对上述至少一种展示图像进行特征提取，得到第二特征；进一步地，通过训练后的排序模型对融合上述第一特征和第二特征进行融合处理，得到融合特征；并上述排序模型预测上述目标用户对上述融合特征的点击信息，最终确定目标用户的个性化展示图像。由于模型输入特征中包含用户特征以及展示图像的属性特征，从而能够通过训练后的排序模型，预测目标用户点击率较高的一组目标属性特征。其中，上述目标属性特征即为体现上述目标用户个性化的一组特征，进一步地，根据上述一组目标属性特征确定个性化展示图像，从而提升了展示图像的个性化，有助于提升对展示图像中展示对应的点击率。同时，个性化展示图像有利于提升用户的图像浏览体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用本公开实施例的一种个性化展示图像的生成方法及装置的示例性***架构的示意图；

图2示意性示出了根据本公开的一实施例的个性化展示图像的生成方法的流程图；

图3示意性示出了根据本公开的一实施例的排序模型的训练方法的流程图；

图4示意性示出了根据本公开的一实施例的第二特征520的确定方法的流程图；

图5示意性示出了根据本公开的一实施例的排序模型的结构图；

图6示意性示出了根据本公开的一实施例的排序模型中特征处理方法的流程图；

图7示意性示出了根据本公开的一实施例的排序模型训练和排序模型应用关系图；

图8示意性示出了根据本公开的一实施例的排序模型中分类方法的流程图；

图9示意性示出了根据本公开的一实施例的个性化展示图像的生成装置的结构图；

图10示出了适于用来实现本公开实施例的电子设备的计算机***的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

人工智能(Artificial Intelligence,简称：AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

计算机视觉技术(Computer Vision，简称：CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(Machine Learning,简称：ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本公开实施例提供的方案涉及人工智能的计算机视觉技术和机器学习等技术，具体通过如下实施例进行说明：

图1示出了可以应用本公开实施例的一种个性化展示图像的生成方法及装置的示例性应用环境的***架构的示意图。

如图1所示，***架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

本公开实施例所提供的个性化展示图像的生成方法一般由服务器105执行，相应地，个性化展示图像的生成装置一般设置于服务器105中。但本领域技术人员容易理解的是，本公开实施例所提供的个性化展示图像的生成方法也可以由终端设备101、102、103执行，相应的，个性化展示图像的生成装置也可以设置于终端设备101、102、103中，本示例性实施例中对此不做特殊限定。

举例而言，在一种示例性实施例中，可以是终端设备101、102、103将目标用户的用户数据、展示图像、关于展示图像的至少一种展示对象数据以及上述展示图像的至少一种文案数据发送至服务器105。从而，服务器105对目标用户的用户数据、关于至少一种展示图像的展示对象数据以及上述至少一种展示图像的文案数据进行编码处理，得到第一特征；以及，服务器105对上述至少一种展示图像进行特征提取，得到第二特征；然后，服务器105通过上述排序模型对上述第一特征和上述第二特征进行融合处理，得到融合特征。进一步地，服务器105通过上述排序模型上述排序模型预测上述目标用户对上述融合特征的点击信息，以确定上述目标用户的个性化展示图像。示例性的，服务器105将个性化战术图像发送至终端设备101、102、103，从而，目标用户可以通过终端设备101、102、103方便地观看上述个性化展示图像。进一步地，上述个性化展示图像满足目标用户的个性化需求，有助于提升对展示图像中展示对应的点击率。同时，个性化展示图像有利于提升用户的图像浏览体验。

示例性的，一种使用场景可以是：对于电商平台发布的banner，不同用户对于展示图像的展示效果会有不同的偏好。如，有的用户更喜欢简洁大方风格的banner，有的用户更喜欢雍容华贵风格的banner。当相关技术提供的展示图像中同一展示对象的展示风格是相同的，不能满足不同用户的个性化需求。

以下对本公开实施例的技术方案进行详细阐述：

图2示意性示出了根据本公开的一实施例的个性化展示图像的生成方法的流程图。具体的，参考图2，该图所示实施例包括：

步骤S210，对目标用户的用户数据、关于至少一种展示图像的展示对象数据以及所述至少一种展示图像的文案数据进行编码处理，得到第一特征；

步骤S220，对所述至少一种展示图像进行特征提取，得到第二特征；

步骤S230，通过训练后的排序模型对所述第一特征和所述第二特征进行融合处理，得到融合特征；以及，

步骤S240，通过所述排序模型预测所述目标用户对所述融合特征的点击信息，以确定所述目标用户的个性化展示图像。

在图2所示实施例提供的技术方案是基于训练后的排序模型为不同用户确定个性化展示图像的。由于模型输入特征中包含用户特征以及展示图像的属性特征，从而能够通过训练后的排序模型，预测目标用户点击率较高的一组目标属性特征。其中，上述目标属性特征即为体现上述目标用户个性化的一组特征，进一步地，根据上述一组目标属性特征确定个性化展示图像，从而提升了展示图像的个性化，有助于提升对展示图像中展示对应的点击率。同时，个性化展示图像有利于提升用户的图像浏览体验。

在示例性的实施例中，由于上述实施例提供的个性化展示图像的生成方法是基于训练后的排序模型实现的，因此本实施例中首先介绍对上述排序模型的训练方法。其中，上述排序模型可以是基于神经网络模型、决策树模型和极端梯度提升模型中的至少一种得到的。以下以对神经网络模型的训练得到上述排序模型为例进行说明。

示例性的，图3示意性示出了根据本公开的一实施例的排序模型的训练方法的流程图。具体的，参考图3，该图所示实施例包括步骤S310-步骤S340。示例性的，图5示意性示出了根据本公开的一实施例的排序模型的结构图。以下结合图5对图3的各个步骤进行解释说明：

在步骤S310中，获取多组训练样本，其中，每组训练样本包含：用户特征，以及至少一种展示图像的属性特征和关于所示属性特征的目标点击信息。

在示例性的实施例中，展示图像至少包括以下属性特征：展示对象特征102(如，banner中商品的特征)、文案特征，以及图像自身特征。上述排序模型的训练目标为：根据用户产生的关于展示图像的大量历史数据，预测该用户关于展示图像中不同特征的偏好，从而确定一组目标特征，进而根据此组目标特征确定满足该用户偏好的个性化展示图像。其中，用户的偏好可以体现在点击信息中，若用户点击表明符合其偏好，若用户没有点击说明不符合其偏好。

在示例性的实施例中，参考图5，排序模型500的训练样本集中，包含关于文字数据的特征，即第一特征510，以及关于图像的特征，即第二特征520。

以下实施例中，将对确定上述第一特征510和第二特征520的具体实施方式分别进行阐述。

示例性的，与上述第一特征510相关的数据源包括两方面，一方面为用户数据，另一方面为关于展示图像的数据，包括：展示对象数据、文案数据以及用户分别对上述展示对象、文案的点击信息等。示例性的，与上述第二特征520相关的数据源包括为展示图像的图像特征。以上述展示图像以图像广告banner为例，上述展示对象即为商品。下表表1列出来banner相关的数据源以及关于数据源的分类信息和预处理信息。

表1

参考表1，关于banner的用户数据包括：用户画像数据和用户对应的设备标识。其中，用户画像数据包括：年龄、性别、职业以及住址等信息；用户对应的设备标识用作用户标识，以唯一确定该用户，从而便于统计该用户的偏好。

上述排序模型的分类学习算法，是基于特征之间距离的计算或相似度的计算的。其中，距离或相似度的计算一般是在欧式空间的相似度计算(如，计算余弦相似性)。因此，本实施例中需将数据源映射到欧式空间。

而通过one-hot编码方式可以实现离散类数据向欧式空间映射的方式。通过one-hot编码可以使非偏序关系的变量取值不具有偏序性，并且到圆点是等距的。通过one-hot编码，将离散类数据的取值扩展到了欧式空间，即，离散类数据的取值就对应欧式空间的某个点。从而有利于分类算法中涉及的特征距离计算的合理化。

因此，上述对于离散类数据的据预处理方式可以采用One-hot编码。

在示例性的实施例中，对上述数据源中的数据进行数据预处理，以确定数据特征。

示例性的，参考图5，通过预处理上述表1中的用户数据，可以确定用户特征101。其中，具体的数据处理方式可以参考表1：对于用户标识(用户id)、用户性别(如，男、女或未知)通过独热编码(One-hot编码)的方式进行预处理，对用户年龄则采用量化分段编码的数据预处理方式。从而确定图5中用户特征101中的标识特征、年龄特征以及性别特征。

示例性的，再次参考图5，以banner为例的情况下，可以通过预处理上述表1中的商品数据，来确定展示对象特征102。其中，具体的数据处理方式可以参考表1：对于商品标识(用户id)、商品类别(如，服装类、食品类或美妆类等)，以及商品的修饰手法数据(如，阴影、修饰层等)通过One-hot编码的方式进行预处理。从而确定图5中展示对象特征102中的标识特征、类别特征以及手法特征。

示例性的，继续参考图5，以banner为例的情况下，为了吸引用户眼球以提升对banner的点击率，banner中除了布置商品图像之外，还可能布置一些与商品相关联的附属图像(即用于确定附属对象特征103)。例如，关于篮球鞋A的banner，可以将穿戴有上述篮球鞋A的篮球明星布置于bannner中，以提升用户对上述篮球鞋A的关注。其中，banner中穿戴有上述篮球鞋A的篮球明星图像即为表1中商品的附属图像。可以用于确定附属对象特征103。示例性的，可以通过预处理上述表1中的商品的附属图像数据，来确定附属对象特征103。具体确定附属对象特征103的数据预处理方式与上述实施例中确定展示对象特征102的数据预处理方式相同，在此不再赘述。

示例性的，仍然参考图5，文案特征104可以对banner中文案数据的预处理而确定。其中，文案数据包括banner中文案风格(如，简约、欧式、中式等)和文案版式(即banner中文案的排版方式，如主文案、副文案、装饰性文案在banner中的布局数据等)。对于上述文案数据，也可以采用One-hot编码的方式进行预处理来确定图5中展示文案特征104中的文案风格特征和文案版式特征。

在示例性的实施例中，图4示意性示出了根据本公开的一实施例的第二特征520的确定方法的流程图。参考图4，该实施例提供的方法包括：

步骤S410，将所述展示图像输入预训练的神经网络模型；以及，步骤S420，根据所述预训练的神经网络模型的全连接层确定图像全连接层特征，以及根据所述预训练的神经网络模型的隐藏层的输出向量的内积确定图像风格特征。

在示例性的实施例中，通过采用预训练模型的方式获取展示图像的第二特征。参考表1，对于Banner图片，通过预训练VGG-16全连接层特征提取全连接特征(FullyConvolutional Networks，简称：FCN)，以及通过预训练VGG-16的特征map的Gram矩阵提取风格特征。

继续参考图3，根据上述第一特征510和第二特征520确定样本数据之后，在步骤S320中，将所述用户特征和所述属性特征输入至排序模型；以及，在步骤S330中，根据所述排序模型的特征融合层融合所述用户特征和所述属性特征，得到融合特征。

在示例性的实施例中，图6示意性示出了根据本公开的一实施例的排序模型中特征处理方法的流程图。具体的，可以作为步骤S320和步骤S330的一种具体实施方式。参考图6，该实施例提供的方法包括步骤S610-步骤S630。其中：

在步骤S610中，通过所述排序模型的嵌入层对所述第一特征进行嵌入式学习，得到嵌入式特征。

在示例性的实施例中，根据编码确定的上述第一特征510，需采用嵌入式学习(embedding)方式实现降维，从而确定用户特征101的嵌入式特征以及展示图像的各个属性特征的嵌入式特征。

具体的，可以先将第一特征510建立索引标签；参考图5，进而将第一特征510输入至排序模型500的嵌入层501，通过嵌入层501通过上述索引标签以及embedding层的权重矩阵计算来降低维度进行特征降维处理。其中，特征降维可以采用主成分分析(PrincipalComponent Analysis，简称：PCA)、奇异值分解(Singular Value Decomposition，简称SVD)等算法实现。

在步骤S620中，通过所述排序模型的第一融合层对所述嵌入式特征进行融合处理，得到第一融合特征。

在示例性的实施例中，参考图5，将与上述第一特征510对应的嵌入式特征排序模型的第一融合层502(即perceptron层)。通过上述第一融合层502实现用户特征101、展示对象特征102以及附属展示对象特征103之间的融合，得到第一融合特征。

继续参考图6，在步骤S630中，通过所述排序模型的第二融合层对将所述第一融合特征和所述第二特征进行融合处理，得到第二融合特征。

在示例性的实施例中，参考图5，根据第一融合层501的输出特征(即，上述第一融合特征)，以及上述第二特征520输入至第二融合层503。以拼接VGG16全连接层特征(FCN特征)和风格特征(VGG16的特征map的Gram矩阵的映射向量)。

在示例性的实施例中，继续参考图3，在确定第二融合特征之后，在步骤S340中，根据所述融合特征(即上述第二融合特征)确定预测点击信息，并基于所述预测点击信息和所示目标点击信息确定损失函数，以根据所示损失函数优化所述排序模型的模型参数。

在示例性的实施例中，参考图5，将上述第一融合特征输入至排序模型500的分类层504。示例性的，分类层504中通过分类函数(如，sigmoid)实现对第二融合特征的点击信息的预测，得到预测点击信息。

在示例性的实施例中，确定预测点击信息和与其对应的目标点击信息的交叉熵函数，作为上述排序模型的损失函数，以通过此损失函数优化排序模型的模型参数，进而实现模型训练。

在示例性的实施例中，若对排序模型进行测试得到的测试指标满足预设需求，则得到训练后的排序模型。示例性的，图7示意性示出了根据本公开的一实施例的排序模型训练和排序模型应用关系图。

参考图7，根据图3至图6所示实施例提供的技术方案对排序模型的训练阶段710进行了详细的阐述，包括获取训练样本711、基于训练样本训练模型712，最终得到训练后的排序模型713。

在以下实施例中，基于上述训练后的排序模型713，进行模型应用阶段720，包括：获取目标用户相关的用户数据以及展示图像数据721，以及对上述数据进行特征提取722；进一步地，输入上述训练后的排序模型713；最终，根据模型输出确定个性化展示图像。

基于上述训练后的排序模型713，以下对图2所示实施例的各个步骤的具体实施方式进行阐述：

在步骤S210中，对目标用户的用户数据、关于至少一种展示图像的展示对象数据以及所述至少一种展示图像的文案数据进行编码处理，得到第一特征。

在示例性的实施例中，通过上述训练后的排序模型预测上述目标用户的偏好(即一组关于展示图像的属性特征)，进一步地，根据其偏好确定个性化展示图像。由于个性化图像的属性特征体现目标用户的偏好，因此，在提升目标用户的图像浏览体验的同时，还提升了对展示图像的点击率。

示例性的，上述用户数据包括：用户画像数据和用户对应的设备标识。对用户数据进行编码处理确定用户特征。由于本实施例的具体实施方式与上述实施例中获取用户特征的具体实施方式相同，因此在此不再赘述。

示例性的，在步骤S210中还获取至少一种展示图像。对于每种展示图像，获取展示对象数据以及文案数据。若展示图像中包含附属对象，还获取附属对象数据。进一步地，对上述数据进行处理得到每种展示图像对应的一组属性特征。由于本实施例的具体实施方式与上述实施例中获取展示图像的属性特征的具体实施方式相同，因此在此不再赘述。

在步骤S220中，对所述至少一种展示图像进行特征提取，得到第二特征。

在示例性的实施例中，对于步骤S210中的每种展示图像，通过预训练网络获取其全连接特征和风格特征。由于具体实施方式与图4所示实施例提供的具体实施方式相同，因此在此不再赘述。

在步骤S230中，通过训练后的排序模型对所述第一特征和所述第二特征进行融合处理，得到融合特征。

在示例性的实施例中，对于步骤S230的具体实施方式与图5所示实施例提供的具体实施方式相同，因此在此不再赘述。

在步骤S240中，通过所述排序模型预测所述目标用户对所述融合特征的点击信息，以确定所述目标用户的个性化展示图像。

在示例性的实施例中，图8示意性示出了根据本公开的一实施例的排序模型中分类方法的流程图。具体的，可以作为步骤S240的一种具体实施方式。参考图8，该实施例提供的方法包括步骤S810-步骤S830。其中，

在步骤S810中，通过所述排序模型的分类层预测所述目标用户对所述融合特征的点击信息。

在示例性的实施例中，上述排序模型的数学表示如下，L(X)＝P(click)。其中X表示输入特征，P(click)表示目标用户点击的可能性。具体的，若目标用户点击则P(click)为1，若目标用户未点击则P(click)为0。

在示例性的实施例中，对于上述目标用户的输入特征，上述排序模型预测对输入特征的点击信息。

在步骤S820中，根据预测结果确定目标融合特征，其中，所述目标融合特征包含一组关于所述目标用户的个性化特征；以及，在步骤S830中，根据所述个性化特征确定所述个性化展示图像。

在示例性的实施例中，将上述点击预测值P(Click)最大值对应的融合特征作为目标融合特征，并根据目标融合特征所包含的关于展示图像的特征作为一组关于上述目标用户的个性化特征。进一步地，根据该组个性化特征生成展示图像，即为上述个性化展示图像。

通过本技术方案可以解决相关技术提供的展示图像缺乏个性化，不利于提升对展示图像中展示对象的点击率的问题。以图像广告banner为例，本技术方案能够实现广告banner的个性化，从而提高点击率，增加广告投放的有效性。

本领域技术人员可以理解实现上述实施方式的全部或部分步骤被实现为由处理器(包含CPU和GPU)执行的计算机程序。在该计算机程序被处理器执行时，执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，本示例实施方式中，还提供了一种个性化展示图像的生成装置。参考图9所示，该个性化展示图像的生成装置900包括：第一特征确定模块901、第二特征确定模块902、特征融合模块903以及个性化展示图像确定模块904。其中：

上述第一特征确定模块901，被配置为对目标用户的用户数据、关于至少一种展示图像的展示对象数据以及上述至少一种展示图像的文案数据进行编码处理，得到第一特征；

上述第二特征确定模块902，被配置为对上述至少一种展示图像进行特征提取，得到第二特征；

上述特征融合模块903，被配置为通过训练后的排序模型对上述第一特征和上述第二特征进行融合处理，得到融合特征；

上述个性化展示图像确定模块904，被配置为上述排序模型预测上述目标用户对上述融合特征的点击信息，以确定上述目标用户的个性化展示图像。

在本公开的一种示例性实施例中，基于前述实施例，上述用户数据包括：用户画像数据和用户对应的设备标识；上述展示对象数据包括：分类数据、标识和修饰手法数据；上述文案数据包括：文案风格和文案版式；以及，上述训练后的排序模型是基于神经网络模型、决策树模型和极端梯度提升模型中的至少一种得到的。

在本公开的一种示例性实施例中，基于前述实施例，上述第二特征确定模块902，包括：输入单元9021和特征提取单元9022。

上述输入单元9021被配置为：将上述展示图像输入预训练的神经网络模型；以及，上述特征提取单元9022被配置为：根据上述预训练的神经网络模型的全连接层确定图像全连接层特征，以及根据上述预训练的神经网络模型的隐藏层的输出向量的内积确定图像风格特征。

在本公开的一种示例性实施例中，基于前述实施例，个性化展示图像的生成装置900还包括：模型训练模块905。其中：

上述模型训练模块905，包括：样本获取单元9051、特征输入单元9052、特征融合单元9053和模型参数优化单元9054。

上述样本获取单元9051被配置为：获取多组训练样本，其中，每组训练样本包含：用户特征，以及至少一种展示图像的属性特征和关于所示属性特征的目标点击信息；

上述特征输入单元9052被配置为：将上述用户特征和上述属性特征输入至排序模型；

上述特征融合单元9053被配置为：根据上述排序模型的特征融合层融合上述用户特征和上述属性特征，得到融合特征；以及，

上述模型参数优化单元9054被配置为：根据上述融合特征确定预测点击信息，并基于上述预测点击信息和所示目标点击信息确定损失函数，以根据所示损失函数优化上述排序模型的模型参数。

在本公开的一种示例性实施例中，基于前述实施例，上述模型参数优化单元9054被具体配置为：确定上述预测点击信息和所示目标点击信息的交叉熵函数，作为上述损失函数。

在本公开的一种示例性实施例中，基于前述实施例，上述特征融合模块903，被具体配置为：

通过上述排序模型的嵌入层对上述第一特征进行嵌入式学习，得到嵌入式特征；通过上述排序模型的第一融合层对上述嵌入式特征进行融合处理，得到第一融合特征；以及，通过上述排序模型的第二融合层对将上述第一融合特征和上述第二特征进行融合处理，得到第二融合特征。

在本公开的一种示例性实施例中，基于前述实施例，上述个性化展示图像确定模块904，被具体配置为：

上述排序模型的分类层预测上述目标用户对上述融合特征的点击信息；根据预测结果确定目标融合特征，其中，上述目标融合特征包含一组关于上述目标用户的个性化特征；以及，根据上述个性化特征确定上述个性化展示图像。

上述个性化展示图像的生成装置中各模块或单元的具体细节已经在对应的个性化展示图像的生成方法中进行了详细的描述，因此此处不再赘述。

图10示出了适于用来实现本发明实施例的电子设备的计算机***的结构示意图。

需要说明的是，图10示出的电子设备的计算机***1000仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图10所示，计算机***1000包括处理器1001，其中处理器1001可以包含：图形处理单元(Graphics Processing Unit，GPU)、中央处理单元(Central Processing Unit，CPU)，其可以根据存储在只读存储器(Read-Only Memory，ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(Random Access Memory，RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有***操作所需的各种程序和数据。处理器(GPU/CPU)1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(Input/Output，I/O)接口1005也连接至总线1004。

以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1006；包括硬盘等的存储部分1008；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。

特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被处理器(GPU/CPU)1001执行时，执行本申请的***中限定的各种功能。在一些实施例中，计算机***1000还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

需要说明的是，本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。

例如，所述的电子设备可以实现如图2中所示的：步骤S210，对目标用户的用户数据、关于至少一种展示图像的展示对象数据以及所述至少一种展示图像的文案数据进行编码处理，得到第一特征；步骤S220，对所述至少一种展示图像进行特征提取，得到第二特征；步骤S230，通过训练后的排序模型对所述第一特征和所述第二特征进行融合处理，得到融合特征；以及，步骤S240，通过所述排序模型对所述融合特征进行点击率预测，以确定所述目标用户的个性化展示图像。

又如，所述的电子设备可以实现如图3至图8中所示的各个步骤。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种个性化展示图像的生成方法，其特征在于，所述方法包括：

对目标用户的用户数据、关于至少一种展示图像的展示对象数据以及所述至少一种展示图像的文案数据进行编码处理，得到第一特征；

对所述至少一种展示图像进行特征提取，得到第二特征；

通过训练后的排序模型对所述第一特征和所述第二特征进行融合处理，得到融合特征；

通过所述排序模型预测所述目标用户对所述融合特征的点击信息，以确定所述目标用户的个性化展示图像。

2.根据权利要求1所述的个性化展示图像的生成方法，其特征在于，

所述用户数据包括：用户画像数据和用户对应的设备标识；

所述展示对象数据包括：分类数据、标识和修饰手法数据；

所述文案数据包括：文案风格和文案版式；

所述训练后的排序模型是基于神经网络模型、决策树模型和极端梯度提升模型中的至少一种得到的。

3.根据权利要求1所述的个性化展示图像的生成方法，其特征在于，所述对所述至少一种展示图像进行特征提取，得到第二特征，包括：

将所述展示图像输入预训练的神经网络模型；

根据所述预训练的神经网络模型的全连接层确定图像全连接层特征，以及根据所述预训练的神经网络模型的隐藏层的输出向量的内积确定图像风格特征。

4.根据权利要求1至3中任意一项所述的个性化展示图像的生成方法，其特征在于，所述方法还包括：

获取多组训练样本，其中，每组训练样本包含：用户特征，以及至少一种展示图像的属性特征和关于所示属性特征的目标点击信息；

将所述用户特征和所述属性特征输入至排序模型；

根据所述排序模型的特征融合层融合所述用户特征和所述属性特征，得到融合特征；

根据所述融合特征确定预测点击信息，并基于所述预测点击信息和所示目标点击信息确定损失函数，以根据所示损失函数优化所述排序模型的模型参数。

5.根据权利要求4所述的个性化展示图像的生成方法，其特征在于，所述基于所述预测点击信息和所示目标点击信息确定损失函数，包括：

确定所述预测点击信息和所示目标点击信息的交叉熵函数，作为所述损失函数。

6.根据权利要求1至3中任意一项所述的个性化展示图像的生成方法，其特征在于，所述通过训练后的排序模型对所述第一特征和所述第二特征进行融合处理，得到融合特征，包括：

通过所述排序模型的嵌入层对所述第一特征进行嵌入式学习，得到嵌入式特征；

通过所述排序模型的第一融合层对所述嵌入式特征进行融合处理，得到第一融合特征；

通过所述排序模型的第二融合层对将所述第一融合特征和所述第二特征进行融合处理，得到第二融合特征。

7.根据权利要求6所述的个性化展示图像的生成方法，其特征在于，所述通过所述排序模型预测所述目标用户对所述融合特征的点击信息，以确定所述目标用户的个性化展示图像，包括：

通过所述排序模型的分类层预测所述目标用户对所述融合特征的点击信息；

根据预测结果确定目标融合特征，其中，所述目标融合特征包含一组关于所述目标用户的个性化特征；

根据所述个性化特征确定所述个性化展示图像。

8.一种个性化展示图像的生成装置，其特征在于，所述装置包括：

第一特征确定模块，被配置为对目标用户的用户数据、关于至少一种展示图像的展示对象数据以及所述至少一种展示图像的文案数据进行编码处理，得到第一特征；

第二特征确定模块，被配置为对所述至少一种展示图像进行特征提取，得到第二特征；

特征融合模块，被配置为通过训练后的排序模型对所述第一特征和所述第二特征进行融合处理，得到融合特征；

个性化展示图像确定模块，被配置为通过所述排序模型预测所述目标用户对所述融合特征的点击信息，以确定所述目标用户的个性化展示图像。

9.一种计算机存储介质，其特征在于，其上存储有计算机程序；

其中，所述计算机程序被处理器执行时实现权利要求1至7中任意一项所述的个性化展示图像的生成方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任意一项所述的个性化展示图像的生成方法。