CN115564469A - 广告创意选取和模型训练方法、装置、设备及存储介质 - Google Patents
广告创意选取和模型训练方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115564469A CN115564469A CN202211104745.3A CN202211104745A CN115564469A CN 115564469 A CN115564469 A CN 115564469A CN 202211104745 A CN202211104745 A CN 202211104745A CN 115564469 A CN115564469 A CN 115564469A
- Authority
- CN
- China
- Prior art keywords
- advertisement
- picture
- creative
- data
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000012549 training Methods 0.000 title claims abstract description 51
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 239000013598 vector Substances 0.000 claims abstract description 220
- 239000000463 material Substances 0.000 claims description 111
- 238000003062 neural network model Methods 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 23
- 238000012216 screening Methods 0.000 claims description 18
- 230000008901 benefit Effects 0.000 claims description 17
- 230000007246 mechanism Effects 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 15
- 238000009877 rendering Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 238000005520 cutting process Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 230000001186 cumulative effect Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 abstract description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000007499 fusion processing Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012015 optical character recognition Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0276—Advertisement creation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0202—Market predictions or forecasting for commercial activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Evolutionary Computation (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例公开了一种广告创意选取和模型训练方法、装置、设备及存储介质。本发明涉及人工智能领域。该方法包括:获取目标物品对应的候选广告创意数据;其中,所述候选广告创意数据包含广告图片和广告文案;获取所述候选广告创意数据对应的稀疏特征向量和图片特征向量,并基于所述稀疏特征向量、所述图片特征向量以及预先训练的创意选择模型,获得所述候选广告创意数据对应的推荐概率值;根据所述推荐概率值选取目标广告创意数据。即本发明实施例中,可以利用创意选择模型自动从收集到的候选广告创意数据中选取目标广告创意数据,将图片和文字进行融合处理,解决广告***中基于多模态的创意优选问题,具有较好的普适性。
Description
技术领域
本发明实施例涉及人工智能技术领域,尤其涉及一种广告创意选取和模型训练方法、装置、设备及存储介质。
背景技术
随着人工智能技术的不断发展,图像处理技术和自然语言处理技术已经被应用到广告行业的领域中。
现有的广告创意选择方法一般是利用图像处理技术,对广告素材中的图像元素进行处理,利用自然语言处理模型对广告素材中的文字元素进行识别处理。目前这些方法都是针对特定领域的,普适性不好。并且这些方法不能直接为用户优选出最佳的广告创意元素,降低了用户体验。
发明内容
本发明实施例提供一种广告创意选取和模型训练方法、装置、介质及电子设备,以实现自动精准的从候选广告创意数据中选取出最优的目标广告创意数据。
第一方面,本发明实施例提供了一种基于多模态的广告创意选取方法,包括:
获取目标物品对应的候选广告创意数据;其中,所述候选广告创意数据包含广告图片和广告文案;
获取所述候选广告创意数据对应的稀疏特征向量和图片特征向量,并基于所述稀疏特征向量、所述图片特征向量以及预先训练的创意选择模型,获得所述候选广告创意数据对应的推荐概率值;
根据所述推荐概率值选取目标广告创意数据;
其中,所述创意选择模型用于:采用自注意力机制对所述稀疏特征向量和所述图片特征向量进行融合,并基于融合结果输出所述推荐概率值。
第二方面,本发明实施例还提供了一种模型训练方法,所述方法包括:
获取训练样本数据,所述训练样本数据包括样本物品对应的样本广告创意数据和所述样本广告创意数据对应的标准推荐概率值,所述样本广告创意数据包含广告图片和广告文案;
获取所述样本广告创意数据对应的稀疏特征向量和图片特征向量,并基于所述稀疏特征向量、所述图片特征向量以及待训练的创意选择模型,获得所述样本广告创意数据对应的预测推荐概率值;
根据所述标准推荐概率值和所述预测推荐概率值确定损失函数,基于所述损失函数对所述创意选择模型中的网络参数进行调整,并在满足预设迭代停止条件时停止训练;
其中,所述创意选择模型用于:采用自注意力机制对所述稀疏特征向量和所述图片特征向量进行融合,并基于融合结果输出所述预测推荐概率值。
第三方面,本发明实施例还提供了一种广告创意数据选取装置,该装置包括:
数据获取模块,用于获取目标物品对应的候选广告创意数据;其中,所述候选广告创意数据包含广告图片和广告文案;
概率值得到模块,用于获取所述候选广告创意数据对应的稀疏特征向量和图片特征向量,并基于所述稀疏特征向量、所述图片特征向量以及预先训练的创意选择模型,获得所述候选广告创意数据对应的推荐概率值;
数据选取模块,用于根据所述推荐概率值选取目标广告创意数据;
其中,所述创意选择模型用于:采用自注意力机制对所述稀疏特征向量和所述图片特征向量进行融合,并基于融合结果输出所述推荐概率值。
第四方面,本发明实施例还提供一种模型训练装置,所述装置包括:
样本数据获取模块,用于获取训练样本数据,所述训练样本数据包括样本物品对应的样本广告创意数据和所述样本广告创意数据对应的标准推荐概率值,所述样本广告创意数据包含广告图片和广告文案;
向量获取模块,用于获取所述样本广告创意数据对应的稀疏特征向量和图片特征向量,并基于所述稀疏特征向量、所述图片特征向量以及待训练的创意选择模型,获得所述样本广告创意数据对应的预测推荐概率值;
模型训练模块,用于根据所述标准推荐概率值和所述预测推荐概率值确定损失函数,基于所述损失函数对所述创意选择模型中的网络参数进行调整,并在满足预设迭代停止条件时停止训练;
其中,所述创意选择模型用于:采用自注意力机制对所述稀疏特征向量和所述图片特征向量进行融合,并基于融合结果输出所述预测推荐概率值。
第五方面,本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明实施例中任一所述的基于多模态的广告创意选取方法或模型训练方法。
第六方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例中任一所述的基于多模态的广告创意选取方法或模型训练方法。
本发明实施例中,获取目标物品对应的候选广告创意数据;其中,候选广告创意数据包含广告图片和广告文案;获取候选广告创意数据对应的稀疏特征向量和图片特征向量,并基于稀疏特征向量、图片特征向量以及预先训练的创意选择模型,获得候选广告创意数据对应的推荐概率值;根据推荐概率值选取目标广告创意数据;其中,创意选择模型用于:采用自注意力机制对稀疏特征向量和图片特征向量进行融合,并基于融合结果输出推荐概率值。即本发明实施例中,可以利用创意选择模型自动从收集到的候选广告创意数据中选取目标广告创意数据,该创意选择模型可以采用自注意力机制对稀疏特征向量即ID类特征与图片特征向量进行融合,从而可以将图片和文字进行融合处理,解决广告***中基于多模态的创意优选问题,具有较好的普适性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种基于多模态的广告创意选取方法的流程图;
图2为本发明实施例提供的创意选择模型的结构示意图;
图3为本发明实施例提供的获取图片特征向量的方法流程图;
图4为本发明实施例提供的获取候选广告创意数据方法的流程图;
图5为本发明实施例提供的另一种获取候选广告创意数据方法的流程图;
图6为本发明实施例提供的对候选广告创意数据进行优化处理的流程图;
图7为本发明实施例提供的广告创意数据选取和优化过程的流程示意图;
图8为本发明实施例提供的一种模型训练方法的流程图;
图9为本发明实施例提供的一种广告创意数据选取装置的结构示意图;
图10为本发明实施例提供的一种模型训练装置的结构示意图;
图11为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
图1为本发明实施例提供的一种基于多模态的广告创意选取方法的流程图,本实施例能够实现自动精准的从候选广告创意数据中选取出最优的目标广告创意数据,该方法可以由本发明实施例中的广告创意数据选取装置来执行,该装置可采用软件和/或硬件的方式实现,如图1所示,该方法具体包括如下步骤:
S110,获取目标物品对应的候选广告创意数据。
其中,目标物品表示需要为其生成或选择相应的广告创意数据的物品。候选广告创意数据可以有多个,每个候选广告创意数据用于描述目标物品的一个广告创意方案。其中,候选广告创意数据包含广告图片和广告文案。
具体地,在一些物品网站、手机APP中展示的物品页面中,可以通过物品详情页获取到物品对应的广告素材数据(广告文案和广告图片)。通过对详情页中的内容进行文本识别和文字提取等,可以得到目标物品的广告文案;通过对详情页中的内容进行图像识别和目标检测等,可以得到目标物品的广告图片。或者,可以在广告公司等提供的广告创意素材中,获取到目标物品对应的广告素材数据。进一步地,根据需求对目标物品对应的广告素材数据进行筛选,得到目标物品对应的候选广告创意数据。示例的,目标物品为手机。在手机网站中,查看各款手机的详情页的内容。详情页中的上方有手机各个角度的展示图片,图片下方有对应的广告文案。对手机详情页中展示的内容进行文本识别和文字提取,提取出手机详情页下方的广告文案。对详情页中的各个角度手机图片进行定位,得到广告图片。当提取出的广告图像尺寸不合适时,可以对图片进行智能剪裁,得到最终的广告图片。在得到广告素材数据后,根据需求(例如点击量、敏感词汇等)对广告素材数据进行筛选,得到候选广告创意数据。
S120,获取候选广告创意数据对应的稀疏特征向量和图片特征向量,并基于稀疏特征向量、图片特征向量以及预先训练的创意选择模型,获得候选广告创意数据对应的推荐概率值。
创意选择模型用于:基于稀疏特征向量输出第一特征向量,采用自注意力机制对基于稀疏特征向量和图片特征向量进行融合;并基于融合结果输出推荐概率值。本方案中,创意选择模型包括多层感知机神经网络(MLP,Multilayer Perceptron)模块、自注意力模块和输出模块;其中,MLP模块用于基于稀疏特征向量输出第一特征向量;自注意力模块用于基于稀疏特征向量和图片特征向量输出第二特征向量;输出模块用于基于第一特征向量和第二特征向量输出推荐概率值。
其中,稀疏特征向量是用于反映多个类型的稀疏特征的向量。本方案的稀疏特征包括物品特征、用户特征和创意特征。物品特征包括物品标识号、广告位标识号、品牌标识号和物品类目标识号等信息。用户特征包括用户的年龄、性别和偏好等。创意特征包括背景模板特征、文案特征和图片特征。背景模板特征包括背景模板标识号、模板风格、模板布局、模板主颜色等特征。文案特征包括主文案、副文案和气泡文案(用于表示物品正在促销、热卖的文案类型)等特征,文案特征可以通过广告创意数据中的广告文案得到。图片特征包括广告图片上是否有文字、是否有人以及创意类型等特征。图片特征向量是用于反映广告图片的图片特征的向量,图片特征可以通过广告创意数据中的广告图片得到。MLP模块可以将输入的多个特征向量映射到单一的输出的特征向量上。自注意力模块可以快速提取稀疏特征向量中的重要特征。本方案中,可选的,自注意力模块包括Transformer模型中的多头自注意力模块。其中,Transformer模型是一种神经网络模型,Transformer模型可以通过跟踪序列数据中的关系来学习数据的上下文,Transformer模型中包括多头自注意力模块。多头自注意力模块可以从多个维度提炼特征信息,并且多头自注意力模块并行度高,能够将不同的维度的信息组合起来,以此捕获序列内各种范围的依赖关系。
将稀疏特征矩阵、图片特征向量输入进创意选择模型,可以获得候选广告创意数据对应的推荐概率值。图2为本发明实施例提供的创意选择模型的结构示意图。如图2所示,将稀疏特征矩阵和图像特征向量输入进创意选择模型,利用向量转化表可以将稀疏特征矩阵转化为稀疏特征向量。将稀疏特征向量和图像特征向量输入进多头自注意力模块,将稀疏特征向量输入进MLP模块。最终根据多头自注意力模块的输出的第二特征向量和MLP模块的输出的第一特征向量,预测出候选广告创意数据对应的推荐概率值(输出模块)。
在使用创意选择模型前,需要对创意选择模型进行训练。具体地,收集大量现有的广告创意方案,从广告创意方案中整理出广告创意数据(背景模板信息、物品信息、文案信息和图片信息等)。将标注的稀疏特征向量和图片特征向量作为样本数据,将标注的稀疏特征向量和图片特征向量的推荐概率值(1或0)作为样本标签。将样本数据输入进创意选择模型,得到创意选择模型预测出的与样本数据对应的推荐概率值。再利用样本标签和预测出的推荐概率值计算损失函数根据计算结果不断对创意选择模型的模型参数进行调整和训练,得到训练后的创意选择模型。
本申请技术方案中对数据的获取、存储、使用、处理等均获得用户授权,符合国家法律法规的相关规定。
S130,根据推荐概率值选取目标广告创意数据。
其中,目标广告创意数据是从多个候选广告创意数据中选取出的最优广告创意数据。目标广告创意数据包括目标物品的广告文案、广告图片、背景模板(模板风格、背景颜色、布局方式等)等和目标物品的广告方案有关的数据。推荐概率值是创意选择模型输出的为用户推荐对应候选广告创意数据的概率值。推荐概率值越大,表示创意选择模型认为对应候选广告创意数据的优秀程度越高。具体地,可以根据具体需求设置预设概率值,当推荐概率值大于预设概率值时,则将对应的候选广告创意数据确定为目标广告创意数据。或者,直接选取推荐概率值最大的候选广告创意数据作为目标广告数据。
在选取目标广告创意数据之后,本方案中,可选的,还包括如下步骤A1-步骤A2:
步骤A1:获取目标广告创意数据中广告图片的第一编码信息和广告文案的第二编码信息,根据第一编码信息和第二编码信息生成目标广告创意数据对应的统一资源定位符(URL)。
其中,统一资源标识符(uniform/universal resource identifier,URL)是从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL,URL包含的信息指出文件的位置以及浏览器应该怎么处理。对广告图片进行统一资源标识符进行URL编码,可以得到第一编码信息,对广告文案进行URL编码可以得到第二编码信息。利用第一编码信息和第二编码信息可以生成一个图片URL,即目标广告创意数据对应的URL。通过目标广告创意数据对应的URL,可以直接访问到该广告创意数据的地址。
步骤A2:在接收到客户端发送的针对URL的访问请求的情况下,根据URL获取目标广告创意数据中的广告图片和广告文案,并将获取的广告图片和广告文案执行合图操作,得到目标广告创意图像;将目标广告创意图像发送给客户端进行展示。
具体地,通过目标广告创意数据对应的URL,可以直接访问到该广告创意数据的地址。当接收到客户端发送的URL的访问请求时,根据URL获取到该URL所指向的广告图片和广告文案。进一步地,将获取的广告图片和广告文案进行合图操作,得到更加具体的广告图片,并将该广告图片作为目标广告创意图像。例如,利用图像处理软件,结合目标物品的类别信息等将广告文案和广告图片融合在一起。合图过程中可以根据具体需求和实际环境对广告文案和广告图像的位置、大小进行适当调整,最终得到目标广告创意图像。
通过上述步骤生成目标广告创意数据对应的URL,可以节省图片存储占用的资源,并且广告图像也可以随着URL编码的变化随时更新,提升了为用户提供广告创意数据的效率。
本实施例的技术方案,通过获取目标物品对应的候选广告创意数据;其中,候选广告创意数据包含广告图片和广告文案。获取候选广告创意数据对应的稀疏特征向量和图片特征向量,并基于稀疏特征向量、图片特征向量以及预先训练的创意选择模型,获得候选广告创意数据对应的推荐概率值;其中,创意选择模型包括多层感知机神经网络MLP模块、自注意力模块和输出模块,MLP模块用于基于稀疏特征向量输出第一特征向量,自注意力模块用于基于稀疏特征向量和图片特征向量输出第二特征向量;输出模块用于基于第一特征向量和第二特征向量输出推荐概率值。根据推荐概率值选取目标广告创意数据。本实施例的方案可以利用创意选择模型自动从收集到的候选广告创意数据中选取目标广告创意数据,该创意选择模型中包括的自注意力模块可以对稀疏特征向量ID类特征与图片特征向量进行融合,从而可以将图片和文字进行融合处理,解决广告***中基于多模态的创意优选问题,具有较好的普适性。
图3为本发明实施例提供的获取图片特征向量的方法流程图,本实施例以上述实施例为基础对获取图片特征向量的方法进行细化。如图3所示,本实施例的方法具体包括如下步骤:
S210,将候选广告创意数据中的广告图片输入预先训练出的残差神经网络模型。
其中,候选广告创意数据中包括广告文案和广告图片。如图2所示,需要将图片特征向量输入进多头自注意力模块中。因此,需要将候选广告创意数据中的广告图片输入预先训练出的残差神经网络模型,得到图片特征向量。本方案实施例中,可选的,对残差神经网络模型进行训练,包括如下步骤B1-步骤B3:
步骤B1:获取样本图片和样本图片对应的分类标签。
其中,分类标签为样本图片中包含的样本物品的产品词,产品词是用于表征样本物品的种类并且不包含品牌信息的词汇。现有的对残差神经网络模型进行训练时,采用物品的类目词作为分类标签。物品的类目词中包括物品的品牌信息,产品词可以用于表示物品的种类并且不包含品牌信息。例如,样本物品是品牌A的手机,则对应的类目词包括手机和品牌A,对应的产品词仅包括手机。样本图片是样本物品的现有的广告方案中的广告图片。
具体地,可以从一些网站或手机APP中的详情页,获取到样本图片和样本图片对应的分类标签。或者,从广告商或专业人员提供的广告素材库中获取样本图片和样本图片对应的分类标签。示例的,可以根据物品的详情页/广告素材库中对所有物品的曝光量由高到低进行排序,选择出所有物品中曝光量前10000的物品对应的物品类别信息,将该类别信息作为样本标签。用产品词作为样本标签的方法适用于大规模、多分类的任务,可以提高残差神经网络模型生成图片特征向量的泛化性,进一步避免了物品类别信息过于集中导致对图像内容表达的不充分。并且,在实际应用中,对于广告数据而言,物品的种类信息往往比物品的品牌信息更加重要。例如,手机类的广告方案和服装类的广告方案有很大的不同。手机类的广告方案中可能需要突出广告文案(描述手机的性能等),而服装类的广告方案中可能更加需要突出广告图片。但是同一类的物品中,即使是不同品牌的物品,其广告方案也大都是相同的。例如不同品牌的手机,其广告方案的不同可能只是广告文案中描述的内容不同。因此,将样本物品的产品词作为分类标签可以更加贴近实际状况,进一步提高了创意选择模型的推荐概率值的准确度。
步骤B2:将样本图片输入残差神经网络模型,获取残差神经网络模型输出的预测分类。
残差神经网络模型是卷积神经网络模型的一种,例如ResNet模型。残差神经网络模型多适用于图像分类和物体识别。残差神经网络模型易于优化,可以通过增加一定的网络模型深度从而提高准确率。其内部的残差块使用的是跳跃连接,缓解了在深度神经网络中增加深度带来的梯度消失问题。具体地,将样本图片输入进残差神经网络模型,残差神经网络模型通过计算推理预测出样本图片对应的种类。本方案实施例中,可选的,残差神经网络模型的尾部包含分别用于输出32维向量、128维向量和256维向量的三个全连接层,即在现有的ResNet模型的尾部添加这三个全连接层。
具体地,残差神经网络模型中包括卷积层、池化层、激活函数和全连接层等。其中,卷积层、池化层和激活函数等操作是将原始数据映射到隐层的特征空间,得到特征向量。而全连接层可以将分布式特征表示的特征向量映射到样本标记空间。全连接层可以通过对特征向量的特征进行提取,根据样本图片的特征向量对样本图片进行分类。根据样本数据的数据量大小以及对样本数据的分类要求,可以为残差神经网络模型设置不同维度的输出向量。利用尾部包含有输出32维向量、128维向量和256维向量的三个全连接层的残差神经网络模型,可以根据业务需求和样本数据量的大小灵活、准确的预测出样本图片所在的类别。
步骤B3:基于预测分类和分类标签确定损失函数,基于损失函数对残差神经网络模型中的网络参数进行调整,并在满足预设迭代停止条件时停止训练。
其中,预测分类是将样本图片输入进残差神经网络模型后,残差神经网络模型经过计算预测出的样本图片的类别。分类标签是标注的样本图片的真实类别。
通过损失函数可以计算出预测分类和样本标签之间的“差距”,根据基于预测分类和分类标签确定的损失函数,可以不断的对残差神经网络模型中的网络参数进行调整,使得预测分类和分类标签越来越接近,直到满足预设迭代停止条件时停止训练。其中,预设迭代停止条件包括残差神经网络模型的预测准确率达到预设准确率范围,本方案实施例中,可选的,预设准确率范围包括[75%,80%]。具体地,残差神经网络模型的预测准确率越高,预测出来的样本图片的类别越准确。但同时,残差神经网络模型的计算复杂度就越大,导致在实际应用中,残差神经网络模型的计算速度慢,并且还有可能会造成过拟合的问题发生。因此,在提高残差神经网络模型预测准确率的基础上,为了避免残差神经网络模型的计算复杂度过大,可以将预设准确率范围设置为[75%,80%]。当残差神经网络模型的预测准确率不小于75%并且不大于80%时,就可以停止训练残差神经网络模型。
上述步骤中,将样本物品的产品词作为分类标签可以提高创意选择模型的推荐概率值的准确度。利用尾部包含有输出32维向量、128维向量和256维向量的三个全连接层的残差神经网络模型,可以根据业务需求和样本数据量的大小灵活、准确的预测出样本图片所在的类别,进一步提高了创意选择模型的推荐概率值的准确度。
S220,获取残差神经网络模型输出的图片特征向量。
其中,图片特征向量是将图片的一些特征用向量的形式表示出来的向量。本方案中,残差神经网络模型输出的图片特征向量可以用于表示图片的类别。例如,将手机的图片输入进残差神经网络模型中,残差神经网络模型预测出图片的特征为“类别:手机图片”,并输出带有“手机”特征的图片特征向量。进一步地,获取残差神经网络模型输出的图片特征向量。
本实施例的技术方案,将候选广告创意数据中的广告图片输入预先训练出的残差神经网络模型;获取残差神经网络模型输出的图片特征向量。本实施例的方案可以根据业务需求和样本数据量的大小灵活、准确的预测出样本图片所在的类别,进一步将样本物品的产品词作为分类标签,提高了创意选择模型的推荐概率值的准确度。
图4为本发明实施例提供的获取候选广告创意数据方法的流程图,本实施例以上述各实施例为基础对获取候选广告创意数据方法进行细化。如图4所示,本实施例的方法具体包括如下步骤:
S310,获取目标物品对应的多个广告素材数据,其中广告素材数据包括广告文案和广告图片。
具体地,在一些物品网站、手机APP中展示的物品页面中,可以通过物品详情页获取到物品对应的广告素材数据(广告文案和广告图片)。通过对详情页中的内容进行文本识别和文字提取等,得到广告文案;通过对详情页中的内容进行图像识别和图像剪裁等,得到广告图片。或者,可以通过广告公司等提供的广告创意素材中,获取到物品对应的广告素材数据。
S320,根据各广告素材数据分别对应的线上点击数据,从各广告素材数据中选取出至少一个广告文案和至少一个广告图片。
其中,线上点击数据用于表示广告素材数据的点击量,点击量可以反映出用户对于广告素材的喜爱程度。一个广告素材的点击量越多,则表明该广告素材可能被更多人喜欢。因此,可以根据各广告素材数据分别对应的线上点击数据,从各广告素材数据中选取出至少一个广告文案和至少一个广告图片。本方案实施例中,可选的,从各广告素材数据中选取出至少一个广告文案和至少一个广告图片包括如下步骤C1-步骤C2:
步骤C1:对于各广告素材数据,根据广告素材数据的线上点击量均值和广告素材数据被选择的累计次数,确定广告素材数据的得分。
其中,通过目标物品的详情页被浏览、点击的情况可以确定出广告素材数据的线上点击量。具体地,可以利用多臂***(multi-armed bandits,MAB)模型,采用置信度上界算法(Upper Confidence Bound,UCB),离线统计近一个月的广告素材数据的得分为:
其中,表示广告素材数据的线上点击量均值,nj是当前广告素材数据累积被选择的次数,n表示广告素材数据的数量。线上点击量均值和广告素材数据被选择的累计次数越大,广告素材数据的得分就越高。反之,线上点击量均值和广告素材数据被选择的累计次数越小,广告素材数据的得分就越低。
进一步地,根据上述公式,分别计算出广告素材中广告文案和广告图片的得分。具体地,从各广告素材数据中选取出至少一个广告文案和至少一个广告图片后,由选取出的广告文案构成文案分组,计算出文件分组中各广告文案的得分。在计算广告文案的得分时,为文案分组中广告文案的线上点击量均值,nj是当前广告文案累积被选择的次数,n表示文案分组中广告文案的数量。进一步地,由选取出的广告图片构成图片分组,计算出图片分组中各广告图片的得分。在计算广告图片的得分时,为图片分组中广告图片的线上点击量均值,nj是当前广告图片累积被选择的次数,n表示图片分组中广告图片的数量。
步骤C2:根据各广告素材数据的得分,从各广告素材数据中选取出至少一个广告文案和至少一个广告图片。
具体地,在得到广告图片的得分和广告文案的得分后,根据广告图片的得分从广告素材数据中选取出至少一个广告图片。根据广告文案的得分从广告素材数据中选取出至少一个广告文案。
利用上述步骤,可以准确的计算出广告素材数据的得分,结合广告素材数据的得分状况对广告素材数据进行优选,可以准确快速的优选出合适的广告素材数据,并且避免发生广告素材数据相互组合过程中带来的组合***问题。
S330,对选取的广告文案和广告图片进行组合,得到至少一个候选广告创意数据。
选取出至少一个广告文案和至少一个广告图片后,进一步地,对选取出的的广告文案和广告图片进行两两组合,得到至少一个候选广告创意数据。例如,根据各广告素材数据的得分,从各广告素材数据中选取出的广告文案为文案A和文案B。从各广告素材数据中选取出的广告图片为图片C。则根据广告文案和广告图片可以得到候选广告创意数据为AC和BC。
本实施例的技术方案,获取目标物品对应的多个广告素材数据,其中广告素材数据包括广告文案和广告图片,根据各广告素材数据分别对应的线上点击数据,从各广告素材数据中选取出至少一个广告文案和至少一个广告图片,对选取的广告文案和广告图片进行组合,得到至少一个候选广告创意数据。本实施例的方案,可以准确的计算出广告素材数据的得分,结合广告素材数据的得分状况对广告素材数据进行优选,可以准确快速的优选出合适的广告素材数据,并且避免发生广告素材数据相互组合过程中带来的组合***问题。并且根据选取的广告文案和广告图片进行组合得到的候选广告创意数据更准确,更加符合用户的心意。
图5为本发明实施例提供的另一种获取候选广告创意数据方法的流程图,本实施例以上述各实施例为基础对获取候选广告创意数据方法进行细化。如图5所示,本实施例的方法具体包括如下步骤:
S410,从目标物品的物品详情页和/或广告创意素材中,识别并提取出广告文案。
具体地,在一些物品网站、手机APP中展示的物品页面中,可以通过物品详情页获取到物品对应的广告素材数据。进一步地,可以从广告素材数据中提取出广告文案。本方案实施例中,可选的,从目标物品的物品详情页和/或广告创意素材中,识别并提取出广告文案包括如下步骤D1-步骤D3:
步骤D1:基于预设字符识别模型,从所述目标物品的物品详情页和/或广告创意素材中,识别出待选文案。
其中,字符识别模型包括光学字符识别(Optical Character Recognition,OCR)模型。具体地,在目标物品的物品详情页和/或广告创意素材中,可以通过OCR模型对物品详情页中和/或广告创意素材中的文案进行识别提取,得到广告文案,并将识别出的广告文案作为待选文案。
步骤D2:基于包含预设利益点词汇的第一词表,从待选文案中筛选出利益点文案。
其中,利益点词汇是广告文案中向用户表达物品特征、物品利益/优势、消费者利益、情感/价值观等的词汇。预设利益点词汇表是根据具体需求和实际环境设定的记录目标物品利益点词汇的表格。例如目标物品为照相机,则在利益点词汇的第一词表中包含有:
物品特征:体积小、像素高
物品利益/优势:简单拍摄出清晰、美观的照片
消费者利益:便于携带、易于操作
情感/价值观:记录生活,展现最真实的世界
进一步地,在得到待选文案后,根据第一词表,从待选文案中筛选出利益点词汇。
步骤D3:基于预设字数限制条件和/或包含预设非卖点词汇的第二词表,从待选文案中除去利益点文案后剩余的文案中,筛选出卖点文案。
其中,卖点文案是可以提升用户购买兴趣、促进产品销售的有价值的文案。卖点文案可以用简单的语言描述出商品的卖点,因此卖点文案有一定的字数限制。具体地,可以基于预设字数限制条件从待选文案中除去利益点文案后剩余的文案中,筛选出卖点文案。但在某些情况下,满足字数限制条件的广告文案也不一定就是卖点文案。在这种情况下,可以基于包含预设非卖点词汇的第二词表,从待选文案中除去利益点文案后剩余的文案中,筛选出卖点文案。为了更加精准的筛选出卖点文案,进一步地,可以同时基于预设字数限制条件和第二词表,从待选文案中除去利益点文案后剩余的文案中,筛选出卖点文案。例如,预设字数限制条件是5,则首先从待选文案中除去利益点文案后剩余的文案中删除掉超过5字的广告文案,再根据第二词表对剩下的广告文案进行筛选,删除掉包含非卖点词汇的广告文案,最终得到卖点文案。
上述步骤中,可以利用OCR模型,准确、快速的对物品详情页中的广告文案进行挖掘和识别,通过第一词表和第二词表得到最终的利益点文案和卖点文案,可以用于解决线上文案素材不足的问题。
S420,对目标物品的物品详情页中的物品图片进行定位和裁剪,得到广告图片。
其中,对物品详情页中的物品图片进行定位表示,在物品详情页中准确找出物品图片所在的位置。具体地,在物品详情页中,目标物品的图片的位置是不确定的,可以利用显著性算法将物品详情页分成若干个特定的、具有独特性质的区域(如文字区和图片区)。在分割后的图片区域中识别出详情页的物品图片,再对物品图片的大小进行分析,对物品图片进行智能剪裁。例如,当物品图片中的物品主体过小,用户无法清楚的从物品图片中看到物品主体时,可以对物品图片进行剪裁,得到适当大小的物品图片。进一步地,将剪裁后的物品图片作为广告图片。
S430,根据各广告素材数据分别对应的线上点击数据,从各广告素材数据中选取出至少一个广告文案和至少一个广告图片。
S440,对选取的广告文案和广告图片进行组合,得到至少一个候选广告创意数据。
本实施例的技术方案,通过从目标物品的物品详情页和/或广告创意素材中,识别并提取出广告文案;对目标物品的物品详情页中的物品图片进行定位和裁剪,得到广告图片;根据各广告素材数据分别对应的线上点击数据,从各广告素材数据中选取出至少一个广告文案和至少一个广告图片;对选取的广告文案和广告图片进行组合,得到至少一个候选广告创意数据。本实施例的技术方案,可以准确、快速的对物品详情页中的广告文案进行挖掘和识别,通过卖点文案解决线上文案素材不足的问题。通过对广告图片进行智能剪裁,得到可以突出目标物品的目标物品图片,使得广告图片可以充分展示出目标物品。
图6为本发明实施例提供的对候选广告创意数据进行优化处理的流程图,本实施例以上述各实施例为基础对候选广告创意数据进行优化处理的方法进行进一步细化。如图6所示,本实施例的方法具体包括如下步骤:
S510,对选取的广告文案和广告图片进行组合,得到至少一个文案图片组合。
具体地,从各广告素材数据中选取出至少一个广告文案和至少一个广告图片后,对选取出的广告文案和广告图片进行两两组合,得到至少一个文案图片组合。例如,根据各广告素材数据的得分,从各广告素材数据中选取出的广告文案为文案A和文案B。从各广告素材数据中选取出的广告图片为图片C。则根据广告文案和广告图片可以得到文案图片组合为AC和BC。
S520,对至少一个文案图片组合与至少一个预设背景模板进行组合,得到至少一个创意组合。
其中,预设背景模板是根据物品特性和具体需求等提前设置的,具有固定风格的文案图片组合的排版模板。具体地,在得到文案图片组合后,可以根据物品的类别信息和物品的特征等,为文案图片组合选择至少一个背景模板,将文案图片组合与至少一个预设背景模板进行两两组合,得到至少一个创意组合。
S530,基于预设筛选因素,从各创意组合中筛选出至少一个创意组合作为候选广告创意数据。
其中,预设筛选因素包括目标物品的类目信息、和/或各创意组合中广告图片和背景模板的颜色信息。具体地,要得到更加适合目标物品的广告创意数据,需要根据物品的类目信息、和/或各创意组合中广告图片和背景模板的颜色信息筛选出候选广告创意数据,该颜色信息可以包括主颜色。例如,可以利用K-Means聚类算法对图片颜色进行聚类分析和主要颜色提取,识别出图片的主颜色。
在基于目标物品的类目信息从各创意组合中筛选出至少一个创意组合作为候选广告创意数据时,具体可以是根据目标物品的类目信息以及预先设置的物品类目与背景模板风格的对应关系,确定目标物品对应的背景模板风格,然后从各创意组合中选取出与该背景模板风格匹配的创意组合。
在基于各创意组合中广告图片和背景模板的颜色信息从各创意组合中筛选出至少一个创意组合作为候选广告创意数据时,具体可以是根据广告图片的主颜色和背景模板的主颜色,利用HSV颜色模型,按照优先使用邻近色搭配、对比色搭配的方式,从各创意组合中筛选出至少一个创意组合作为候选广告创意数据。
S540,在候选广告创意数据包含的广告图片中的目标物品区域的尺寸小于预设阈值的情况下,将目标物品区域进行裁剪,并使用裁剪得到的目标物品图片更新候选广告创意数据包含的广告图片。
其中,预设阈值可以根据具体需求等提前设定。具体地,目标物品的广告图片中目标物品区域的尺寸小于预设阈值时,可能存在图片中目标物品过小导致用户无法直观、清楚的看到物品。可以利用目标检测算法识别出广告图片中的标物品区域,进一步地,对广告图片进行智能剪裁,得到可以突出目标物品的目标物品图片,并基于目标物品图片更新候选广告创意数据包含的广告图片。
S550,根据候选广告创意数据中广告图片的颜色信息,对广告图片中的目标物品区域进行润色处理。
其中,润色处理包括调整亮度、调整对比度、以及调整饱和度中的至少一项。具体地,在得到更新后的候选广告创意数据包含的广告图片后,基于广告图片的颜色和目标物品区域的颜色,对广告图片进行图像分析。当目标物品区域的颜色过暗时,可能会导致目标物品区域不够醒目的情况发生,则可以将目标物品区域的颜色亮度调亮,以突出目标物品,吸引用户点击或触发目标物品。同理,当目标物品区域与广告图片的色彩对比度较弱时,可能会导致目标物品区域与广告图片的背景融为一体,则可以通过调整对比度以突出目标物品。当当目标物品区域与广告图片的色彩饱和度较弱时,可以通过调整饱和度以突出目标物品。本方案实施例中,可选的,根据候选广告创意数据中广告图片的颜色信息,对广告图片中的目标物品区域进行润色处理包括如下步骤E1-步骤E2:
步骤E1:根据候选广告创意数据中广告图片包含的像素点的像素值,确定广告图片是否是彩色图片或黑色图片。
其中,图片中的像素点信息可以反映出图像的色彩信息。具体地,对广告图片中的像素点的像素值进行统计,当所有像素点中存在像素值超过190(像素值取值范围为0-255)的像素点,并且像素值超过190的像素点的数量超过总像素点的50%的时候,确定广告图片为白色图片。当像素值超过190的像素点的数量不超过总像素点的15%,并且,像素值不超过55的像素点的数量超过总像素点的50%时,确定广告图片为黑色图片。其他情况确定广告图片为彩色图片。当确定广告图片为白色图片时,不对广告图片进行润色处理。
步骤E2:在广告图片是彩色图片的情况下,基于第一预设亮度参数值、第一预设对比度参数值和第一预设饱和度参数值,对广告图片中的目标物品区域进行润色处理。
其中,第一预设亮度参数值、第一预设对比度参数值和第一预设饱和度参数值可以根据具体需求提前设定。例如,当广告图片是彩色图片时,可以将第一预设亮度参数值设置为15,将第一预设对比度参数值设置为10,将和第一预设饱和度参数值设置为10。进一步地,根据上述的第一预设亮度参数值、第一预设对比度参数值和第一预设饱和度参数值,对广告图片中的目标物品区域进行润色处理。
步骤E3:在广告图片是黑色图片的情况下,基于第二预设亮度参数值、第二预设对比度参数值和第二预设饱和度参数值,对广告图片中的目标物品区域进行润色处理。
其中,第二预设亮度参数值大于第一预设亮度参数值,第二预设对比度参数值大于第一预设对比度参数值,第二预设饱和度参数值大于第一预设饱和度参数值。第二预设亮度参数值、第二预设对比度参数值和第二预设饱和度参数值可以根据具体需求提前设定。当广告图片是黑色图片时,由于黑色图片对于图像润色处理的效果不明显,因此,可以对黑色图片采用强润色处理。例如,可以将第二预设亮度参数值设置为20,将第二预设对比度参数值设置为15,将和第二预设饱和度参数值设置为15。进一步地,根据上述的第二预设亮度参数值、第二预设对比度参数值和第二预设饱和度参数值,对广告图片中的目标物品区域进行润色处理。
通过上述步骤,可以根据广告图片的颜色对广告图片进行润色处理,使得广告图片中的广告物品更加吸引人,充分发挥了广告图片对于物品的展示作用。
图7为本发明实施例提供的广告创意数据选取和优化过程的流程示意图。如图7所示,从物品详情页和/或广告素材库中,通过素材挖掘模块中的OCR模型,识别并提取出目标物品的广告文案。通过素材挖掘模块中的图像分割模型和目标检测模型识别出目标物品的广告图片。通过MAB分别计算出广告文案和广告图片的得分情况。在根据得分情况从各广告素材数据中选取出至少一个广告文案和至少一个广告图片。通过创意元素组合模块得到候选广告创意数据,将候选广告创意数据输入进创意优选模块,利用创意优选模块中的创意选择模型的输出值得到目标广告创意数据。
本实施例的方案,通过对选取的广告文案和广告图片进行组合,得到至少一个文案图片组合;对至少一个文案图片组合与至少一个预设背景模板进行组合,得到至少一个创意组合;基于预设筛选因素,从各创意组合中筛选出至少一个创意组合作为候选广告创意数据;在候选广告创意数据包含的广告图片中的目标物品区域的尺寸小于预设阈值的情况下,将目标物品区域进行裁剪,并使用裁剪得到的目标物品图片更新候选广告创意数据包含的广告图片;根据候选广告创意数据中广告图片的颜色信息,对广告图片中的目标物品区域进行润色处理。本实施例的方案,可以根据目标物品的类别信息、色彩信息等对创意组合进项筛选,得到更加美观,颜色更加接近人工设计的候选广告创意数据。最后根据广告图片的颜色对广告图片进行润色处理,使得广告图片中的广告物品更加吸引人,充分发挥了广告图片对于物品的展示作用。
图8为本发明实施例提供的一种模型训练方法的流程图,本实施例能够对初始模型进行训练得到创意选择模型,该方法可以由本发明实施例中的模型训练装置来执行,该装置可采用软件和/或硬件的方式实现,如图8所示,该方法具体包括如下步骤:
S610,获取训练样本数据。
其中,训练样本数据包括样本物品对应的样本广告创意数据和样本广告创意数据对应的标准推荐概率值,样本广告创意数据包含广告图片和广告文案。在一种可选的实施方式中,可以从存储着样本广告创意数据和样本广告创意数据对应的标准推荐概率值的历史素材数据库中获取到样本数据。例如,根据大数据以及数据分析算法可以确定出一些广告创意数据和广告创意数据对应的标准推荐概率值,将这些广告创意数据和其对应的标准概率推荐值存储在历史素材数据库。进一步地,可以从历史素材数据库中获取到样本数据。
S620,获取样本广告创意数据对应的稀疏特征向量和图片特征向量,并基于稀疏特征向量、图片特征向量以及待训练的创意选择模型,获得样本广告创意数据对应的预测推荐概率值。
其中,稀疏特征向量是用于反映多个类型的稀疏特征的向量。图片特征向量是用于反映广告图片的图片特征的向量,图片特征可以通过样本广告创意数据中的广告图片得到。预测推荐概率值是未训练完成的创意选择模型根据稀疏特征向量和图片特征向量,经过计算后输出的稀疏特征向量和图片特征向量对应的推荐概率值。具体地,将稀疏特征向量和图片特征向量输入进待训练的创意选择模型,待训练的创意选择模型经过模型计算可以输出样本广告创意数据对应的预测推荐概率值。
S630,根据标准推荐概率值和预测推荐概率值确定损失函数,基于损失函数对创意选择模型中的网络参数进行调整,并在满足预设迭代停止条件时停止训练。
其中,损失函数是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。模型中的网络参数是模型内部的配置变量,模型参数的值可以根据损失函数进行调整。创意选择模型用于:采用自注意力机制,对稀疏特征向量和图片特征向量进行融合,并基于融合结果输出预测推荐概率值。本方案中,可选的,创意选择模型包括多层感知机神经网络MLP模块、自注意力模块和输出模块。其中,MLP模块用于基于稀疏特征向量输出第一特征向量;自注意力模块用于基于稀疏特征向量和图片特征向量输出第二特征向量;输出模块用于基于第一特征向量和第二特征向量输出预测推荐概率值。
具体地,将稀疏特征向量和图片特征向量输入进待训练的创意选择模型,得到对应的预测推荐概率值。此时的预测推荐概率值与标准推荐概率值之间存在很大的“差距”,根据损失函数和该“差距”不断对待训练的创意选择模型进行优化。调整创意选择模型的网络参数,使得预测推荐概率值与标准推荐概率值之间的“差距”不断缩小,预设迭代停止条件时,便可以得到训练完成后的创意选择模型。
本实施例的技术方案,可以获取训练样本数据,获取样本广告创意数据对应的稀疏特征向量和图片特征向量,并基于稀疏特征向量、图片特征向量以及待训练的创意选择模型,获得样本广告创意数据对应的预测推荐概率值。根据标准推荐概率值和预测推荐概率值确定损失函数,基于损失函数对创意选择模型中的网络参数进行调整,并在满足预设迭代停止条件时停止训练。本实施例的技术方案可以对创意选择模型不断优化,使得创意选择模型输出的预测推荐概率值更加接近标准推荐概率值,提高了预测推荐概率值的准确性。
本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
图9为本发明实施例提供的一种广告创意数据选取装置的结构示意图。本实施例能够实现自动精准的从候选广告创意数据中选取出最优的目标广告创意数据,该装置可采用软件和/或硬件的方式实现,该装置可集成在任何提供广告创意数据选取的功能的设备中,如图9所示,广告创意数据选取的装置具体包括:
数据获取模块910,用于获取目标物品对应的候选广告创意数据;其中,所述候选广告创意数据包含广告图片和广告文案;
概率值得到模块920,用于获取所述候选广告创意数据对应的稀疏特征向量和图片特征向量,并基于所述稀疏特征向量、所述图片特征向量以及预先训练的创意选择模型,获得所述候选广告创意数据对应的推荐概率值;
数据选取模块930,用于根据所述推荐概率值选取目标广告创意数据;
其中,所述创意选择模型用于:采用自注意力机制基于所述稀疏特征向量和所述图片特征向量进行融合,并基于融合结果输出所述推荐概率值。
所述创意选择模型包括多层感知机神经网络MLP模块、自注意力模块和输出模块;其中:
所述MLP模块,用于基于所述稀疏特征向量输出第一特征向量;
所述自注意力模块,用于基于所述稀疏特征向量和所述图片特征向量输出第二特征向量;
所述输出模块,用于基于所述第一特征向量和所述第二特征向量输出所述推荐概率值。
可选的,概率值得到模块920具体用于:
将所述候选广告创意数据中的广告图片输入预先训练出的残差神经网络模型;
获取所述残差神经网络模型输出的图片特征向量。
可选的,概率值得到模块920还用于:
获取样本图片和所述样本图片对应的分类标签;其中所述分类标签为所述样本图片中包含的样本物品的产品词,所述产品词是用于表征所述样本物品的种类并且不包含品牌信息的词汇;
将所述样本图片输入所述残差神经网络模型,获取所述残差神经网络模型输出的预测分类;
基于所述预测分类和所述分类标签确定损失函数,基于所述损失函数对所述残差神经网络模型中的网络参数进行调整,并在满足预设迭代停止条件时停止训练。
可选的,所述预设迭代停止条件包括所述残差神经网络模型的预测准确率达到预设准确率范围,所述预设准确率范围可以包括[75%,90%]。
可选的,所述残差神经网络模型的尾部包含分别用于输出32维向量、129维向量和256维向量的三个全连接层。
可选的,所述自注意力模块包括Transformer模型中的多头自注意力模块。
可选的,数据获取模块910具体用于:
获取目标物品对应的多个广告素材数据,其中所述广告素材数据包括广告文案和广告图片;
根据各所述广告素材数据分别对应的线上点击数据,从各所述广告素材数据中选取出至少一个广告文案和至少一个广告图片;
对选取的广告文案和广告图片进行组合,得到至少一个候选广告创意数据。
可选的,数据获取模块910还用于:
从所述目标物品的物品详情页和/或广告创意素材中,识别并提取出广告文案;
对所述目标物品的物品详情页中的物品图片进行定位和裁剪,得到广告图片。
可选的,数据获取模块910还用于:
基于预设字符识别模型,从所述目标物品的物品详情页和/或广告创意素材中,识别出待选文案;
基于包含预设利益点词汇的第一词表,从所述待选文案中筛选出利益点文案;
基于预设字数限制条件和/或包含预设非卖点词汇的第二词表,从所述待选文案中除去所述利益点文案后剩余的文案中,筛选出卖点文案。
可选的,数据获取模块910还用于:
对于各所述广告素材数据,根据所述广告素材数据的线上点击量均值和所述广告素材数据被选择的累计次数,确定所述广告素材数据的得分;
根据各所述广告素材数据的得分,从各所述广告素材数据中选取出至少一个广告文案和至少一个广告图片。
可选的,数据获取模块910还用于:
对选取的广告文案和广告图片进行组合,得到至少一个文案图片组合;
对所述至少一个文案图片组合与至少一个预设背景模板进行组合,得到至少一个创意组合;
基于预设筛选因素,从各所述创意组合中筛选出至少一个创意组合作为候选广告创意数据;其中,所述预设筛选因素包括所述目标物品的类目信息、和/或各所述创意组合中广告图片和背景模板的颜色信息。
可选的,数据获取模块910还用于:
在所述候选广告创意数据包含的广告图片中的目标物品区域的尺寸小于预设阈值的情况下,将所述目标物品区域进行裁剪,并使用裁剪得到的目标物品图片更新所述候选广告创意数据包含的广告图片。
可选的,数据获取模块910还用于:
根据所述候选广告创意数据中广告图片的颜色信息,对所述广告图片中的目标物品区域进行润色处理;其中,所述润色处理包括调整亮度、调整对比度、以及调整饱和度中的至少一项。
可选的,数据获取模块910还用于:
根据所述候选广告创意数据中广告图片包含的像素点的像素值,确定所述广告图片是否是彩色图片或黑色图片;
在所述广告图片是彩色图片的情况下,基于第一预设亮度参数值、第一预设对比度参数值和第一预设饱和度参数值,对所述广告图片中的目标物品区域进行润色处理;
在所述广告图片是黑色图片的情况下,基于第二预设亮度参数值、第二预设对比度参数值和第二预设饱和度参数值,对所述广告图片中的目标物品区域进行润色处理;
其中,所述第二预设亮度参数值大于所述第一预设亮度参数值,所述第二预设对比度参数值大于所述第一预设对比度参数值,所述第二预设饱和度参数值大于所述第一预设饱和度参数值。
可选的,所述装置还用于:
获取所述目标广告创意数据中广告图片的第一编码信息和广告文案的第二编码信息,根据所述第一编码信息和第二编码信息生成所述目标广告创意数据对应的统一资源定位符URL;
在接收到客户端发送的针对所述URL的访问请求的情况下,根据所述URL获取所述目标广告创意数据中的广告图片和广告文案,并将获取的广告图片和广告文案执行合图操作,得到目标广告创意图像;将所述目标广告创意图像发送给所述客户端进行展示。
上述产品可执行本发明任意实施例所提供的方法,具备执行方法相应的功能模块和有益效果。
图10为本发明实施例提供的一种模型训练装置的结构示意图,该装置可采用软件和/或硬件的方式实现,该装置可集成在任何提供模型训练的功能的设备中,如图10所示,模型训练装置具体包括:
样本数据获取模块1010,用于获取训练样本数据,所述训练样本数据包括样本物品对应的样本广告创意数据和所述样本广告创意数据对应的标准推荐概率值,所述样本广告创意数据包含广告图片和广告文案;
向量获取模块1020,用于获取所述样本广告创意数据对应的稀疏特征向量和图片特征向量,并基于所述稀疏特征向量、所述图片特征向量以及待训练的创意选择模型,获得所述样本广告创意数据对应的预测推荐概率值;
模型训练模块1030,用于根据所述标准推荐概率值和所述预测推荐概率值确定损失函数,基于所述损失函数对所述创意选择模型中的网络参数进行调整,并在满足预设迭代停止条件时停止训练;
其中,创意选择模型用于:采用自注意力机制,对所述稀疏特征向量和所述图片特征向量进行融合,并基于融合结果输出所述预测推荐概率值。
所述创意选择模型包括多层感知机神经网络MLP模块、自注意力模块和输出模块;其中:
所述MLP模块,用于基于所述稀疏特征向量输出第一特征向量;
所述自注意力模块,用于基于所述稀疏特征向量和所述图片特征向量输出第二特征向量;
所述输出模块,用于基于所述第一特征向量和所述第二特征向量输出所述预测推荐概率值。
上述产品可执行本发明任意实施例所提供的方法,具备执行方法相应的功能模块和有益效果。
图11为本发明实施例提供的一种计算机设备的结构示意图。图11示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图11显示的计算机设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,***存储器28,连接不同***组件(包括***存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,***总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
计算机设备12典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
***存储器28可以包括易失性存储器形式的计算机***可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例,存储***34可以用于读写不可移动的、非易失性磁介质(图11未显示,通常称为“硬盘驱动器”)。尽管图11中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括——但不限于——操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。另外,本实施例中的计算机设备12,显示器24不是作为独立个体存在,而是嵌入镜面中,在显示器24的显示面不予显示时,显示器24的显示面与镜面从视觉上融为一体。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理单元16通过运行存储在***存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的一种基于多模态的广告创意选取方法:获取目标物品对应的候选广告创意数据;其中,所述候选广告创意数据包含广告图片和广告文案;获取所述候选广告创意数据对应的稀疏特征向量和图片特征向量,并基于所述稀疏特征向量、所述图片特征向量以及预先训练的创意选择模型,获得所述候选广告创意数据对应的推荐概率值;其中,所述创意选择模型用于:采用自注意力机制对所述稀疏特征向量和所述图片特征向量进行融合,并基于融合结果输出所述推荐概率值。
本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明所有发明实施例提供的一种基于多模态的广告创意选取方法:获取目标物品对应的候选广告创意数据;其中,所述候选广告创意数据包含广告图片和广告文案;获取所述候选广告创意数据对应的稀疏特征向量和图片特征向量,并基于所述稀疏特征向量、所述图片特征向量以及预先训练的创意选择模型,获得所述候选广告创意数据对应的推荐概率值;其中,所述创意选择模型用于:采用自注意力机制,对所述稀疏特征向量和所述图片特征向量进行融合,并基于融合结果输出所述推荐概率值。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言,诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (18)
1.一种基于多模态的广告创意选取方法,其特征在于,包括:
获取目标物品对应的候选广告创意数据;其中,所述候选广告创意数据包含广告图片和广告文案;
获取所述候选广告创意数据对应的稀疏特征向量和图片特征向量,并基于所述稀疏特征向量、所述图片特征向量以及预先训练的创意选择模型,获得所述候选广告创意数据对应的推荐概率值;
根据所述推荐概率值选取目标广告创意数据;
其中,所述创意选择模型用于:采用自注意力机制对所述稀疏特征向量和所述图片特征向量进行融合,并基于融合结果输出所述推荐概率值。
2.根据权利要求1所述的方法,其特征在于,所述创意选择模型包括多层感知机神经网络MLP模块、自注意力模块和输出模块;其中:
所述MLP模块,用于基于所述稀疏特征向量输出第一特征向量;
所述自注意力模块,用于基于所述稀疏特征向量和所述图片特征向量输出第二特征向量;
所述输出模块,用于基于所述第一特征向量和所述第二特征向量输出所述推荐概率值。
3.根据权利要求1所述的方法,其特征在于,所述获取所述候选广告创意数据对应的图片特征向量,包括:
将所述候选广告创意数据中的广告图片输入预先训练出的残差神经网络模型;
获取所述残差神经网络模型输出的图片特征向量。
4.根据权利要求3所述的方法,其特征在于,所述残差神经网络模型的训练方法包括:
获取样本图片和所述样本图片对应的分类标签;其中所述分类标签为所述样本图片中包含的样本物品的产品词,所述产品词是用于表征所述样本物品的种类并且不包含品牌信息的词汇;
将所述样本图片输入待训练的残差神经网络模型,获取所述残差神经网络模型输出的预测分类;
基于所述预测分类和所述分类标签确定损失函数,基于所述损失函数对所述残差神经网络模型中的网络参数进行调整,并在满足预设迭代停止条件时停止训练。
5.根据权利要求2所述的方法,其特征在于,所述残差神经网络模型的尾部包含分别用于输出32维向量、128维向量和256维向量的三个全连接层。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述获取目标物品对应的候选广告创意数据,包括:
获取目标物品对应的多个广告素材数据,其中所述广告素材数据包括广告文案和广告图片;
根据各所述广告素材数据分别对应的线上点击数据,从各所述广告素材数据中选取出至少一个广告文案和至少一个广告图片;
对选取的广告文案和广告图片进行组合,得到至少一个候选广告创意数据。
7.根据权利要求6所述的方法,其特征在于,所述获取目标物品对应的多个广告素材数据,包括:
从所述目标物品的物品详情页和/或广告创意素材中,识别并提取出广告文案;
对所述目标物品的物品详情页中的物品图片进行定位和裁剪,得到广告图片。
8.根据权利要求7所述的方法,其特征在于,所述广告文案包括利益点文案和卖点文案;所述从所述目标物品的物品详情页和/或广告创意素材中,识别并提取出广告文案,包括:
基于预设字符识别模型,从所述目标物品的物品详情页和/或广告创意素材中,识别出待选文案;
基于包含预设利益点词汇的第一词表,从所述待选文案中筛选出利益点文案;
基于预设字数限制条件和/或包含预设非卖点词汇的第二词表,从所述待选文案中除去所述利益点文案后剩余的文案中,筛选出卖点文案。
9.根据权利要求6所述的方法,其特征在于,所述根据各所述广告素材数据分别对应的线上点击数据,从各所述广告素材数据中选取出至少一个广告文案和至少一个广告图片,包括:
对于各所述广告素材数据,根据所述广告素材数据的线上点击量均值和所述广告素材数据被选择的累计次数,确定所述广告素材数据的得分;
根据各所述广告素材数据的得分,从各所述广告素材数据中选取出至少一个广告文案和至少一个广告图片。
10.根据权利要求6所述的方法,其特征在于,所述对选取的广告文案和广告图片进行组合,得到至少一个候选广告创意数据,包括:
对选取的广告文案和广告图片进行组合,得到至少一个文案图片组合;
对所述至少一个文案图片组合与至少一个预设背景模板进行组合,得到至少一个创意组合;
基于预设筛选因素,从各所述创意组合中筛选出至少一个创意组合作为候选广告创意数据;其中,所述预设筛选因素包括所述目标物品的类目信息、和/或各所述创意组合中广告图片和背景模板的颜色信息。
11.根据权利要求6所述的方法,其特征在于,在得到候选广告创意数据之后,所述方法还包括:
根据所述候选广告创意数据中广告图片的颜色信息,对所述广告图片中的目标物品区域进行润色处理;其中,所述润色处理包括调整亮度、调整对比度、以及调整饱和度中的至少一项。
12.根据权利要求11所述的方法,其特征在于,所述根据所述候选广告创意数据中广告图片的颜色信息,对所述广告图片中的目标物品区域进行润色处理,包括:
根据所述候选广告创意数据中广告图片包含的像素点的像素值,确定所述广告图片是否是彩色图片或黑色图片;
在所述广告图片是彩色图片的情况下,基于第一预设亮度参数值、第一预设对比度参数值和第一预设饱和度参数值,对所述广告图片中的目标物品区域进行润色处理;
在所述广告图片是黑色图片的情况下,基于第二预设亮度参数值、第二预设对比度参数值和第二预设饱和度参数值,对所述广告图片中的目标物品区域进行润色处理;
其中,所述第二预设亮度参数值大于所述第一预设亮度参数值,所述第二预设对比度参数值大于所述第一预设对比度参数值,所述第二预设饱和度参数值大于所述第一预设饱和度参数值。
13.根据权利要求1-5中任一项所述的方法,其特征在于,在选取目标广告创意数据之后,所述方法还包括:
获取所述目标广告创意数据中广告图片的第一编码信息和广告文案的第二编码信息,根据所述第一编码信息和第二编码信息生成所述目标广告创意数据对应的统一资源定位符URL;
在接收到客户端发送的针对所述URL的访问请求的情况下,根据所述URL获取所述目标广告创意数据中的广告图片和广告文案,并将获取的广告图片和广告文案执行合图操作,得到目标广告创意图像;将所述目标广告创意图像发送给所述客户端进行展示。
14.一种模型训练方法,其特征在于,所述方法包括:
获取训练样本数据,所述训练样本数据包括样本物品对应的样本广告创意数据和所述样本广告创意数据对应的标准推荐概率值,所述样本广告创意数据包含广告图片和广告文案;
获取所述样本广告创意数据对应的稀疏特征向量和图片特征向量,并基于所述稀疏特征向量、所述图片特征向量以及待训练的创意选择模型,获得所述样本广告创意数据对应的预测推荐概率值;
根据所述标准推荐概率值和所述预测推荐概率值确定损失函数,基于所述损失函数对所述创意选择模型中的网络参数进行调整,并在满足预设迭代停止条件时停止训练;
其中,所述创意选择模型用于:采用自注意力机制对所述稀疏特征向量和所述图片特征向量进行融合,并基于融合结果输出所述预测推荐概率值。
15.一种广告创意数据选取装置,其特征在于,该装置包括:
数据获取模块,用于获取目标物品对应的候选广告创意数据;其中,所述候选广告创意数据包含广告图片和广告文案;
概率值得到模块,用于获取所述候选广告创意数据对应的稀疏特征向量和图片特征向量,并基于所述稀疏特征向量、所述图片特征向量以及预先训练的创意选择模型,获得所述候选广告创意数据对应的推荐概率值;
数据选取模块,用于根据所述推荐概率值选取目标广告创意数据;
其中,所述创意选择模型用于:采用自注意力机制对所述稀疏特征向量和所述图片特征向量进行融合,并基于融合结果输出所述推荐概率值。
16.一种模型训练装置,其特征在于,所述装置包括:
样本数据获取模块,用于获取训练样本数据,所述训练样本数据包括样本物品对应的样本广告创意数据和所述样本广告创意数据对应的标准推荐概率值,所述样本广告创意数据包含广告图片和广告文案;
向量获取模块,用于获取所述样本广告创意数据对应的稀疏特征向量和图片特征向量,并基于所述稀疏特征向量、所述图片特征向量以及待训练的创意选择模型,获得所述样本广告创意数据对应的预测推荐概率值;
模型训练模块,用于根据所述标准推荐概率值和所述预测推荐概率值确定损失函数,基于所述损失函数对所述创意选择模型中的网络参数进行调整,并在满足预设迭代停止条件时停止训练;
其中,所述创意选择模型用于:采用自注意力机制对所述稀疏特征向量和所述图片特征向量进行融合,并基于融合结果输出所述预测推荐概率值。
17.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-13中任一项所述的基于多模态的广告创意选取方法,或权利要求14所述的模型训练方法。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-13中任一项所述的基于多模态的广告创意选取方法,或权利要求14所述的模型训练方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211104745.3A CN115564469A (zh) | 2022-09-09 | 2022-09-09 | 广告创意选取和模型训练方法、装置、设备及存储介质 |
PCT/CN2023/116575 WO2024051609A1 (zh) | 2022-09-09 | 2023-09-01 | 广告创意数据选取方法及装置、模型训练方法及装置、设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211104745.3A CN115564469A (zh) | 2022-09-09 | 2022-09-09 | 广告创意选取和模型训练方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115564469A true CN115564469A (zh) | 2023-01-03 |
Family
ID=84740904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211104745.3A Pending CN115564469A (zh) | 2022-09-09 | 2022-09-09 | 广告创意选取和模型训练方法、装置、设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115564469A (zh) |
WO (1) | WO2024051609A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116911928A (zh) * | 2023-09-12 | 2023-10-20 | 深圳须弥云图空间科技有限公司 | 一种基于创意特征的广告推荐模型的训练方法及装置 |
CN117058275A (zh) * | 2023-10-12 | 2023-11-14 | 深圳兔展智能科技有限公司 | 商品宣传图生成方法、装置、计算机设备及存储介质 |
WO2024051609A1 (zh) * | 2022-09-09 | 2024-03-14 | 北京沃东天骏信息技术有限公司 | 广告创意数据选取方法及装置、模型训练方法及装置、设备、存储介质 |
CN117829911A (zh) * | 2024-03-06 | 2024-04-05 | 湖南创研科技股份有限公司 | 一种ai驱动的广告创意优化方法及*** |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140156379A1 (en) * | 2012-11-30 | 2014-06-05 | Adobe Systems Incorporated | Method and Apparatus for Hierarchical-Model-Based Creative Quality Scores |
CN110889718B (zh) * | 2019-11-15 | 2024-05-14 | 腾讯科技(深圳)有限公司 | 方案筛选方法、方案筛选装置、介质以及电子设备 |
CN112862516B (zh) * | 2021-01-14 | 2024-03-12 | 北京达佳互联信息技术有限公司 | 资源投放方法、装置、电子设备及存储介质 |
CN112905840B (zh) * | 2021-02-09 | 2024-07-05 | 北京有竹居网络技术有限公司 | 视频处理方法、装置、存储介质及设备 |
CN114493683A (zh) * | 2022-01-11 | 2022-05-13 | 北京达佳互联信息技术有限公司 | 广告素材推荐方法、模型训练方法、装置及电子设备 |
CN114898349A (zh) * | 2022-05-25 | 2022-08-12 | 广州欢聚时代信息科技有限公司 | 目标商品识别方法及其装置、设备、介质、产品 |
CN115564469A (zh) * | 2022-09-09 | 2023-01-03 | 北京沃东天骏信息技术有限公司 | 广告创意选取和模型训练方法、装置、设备及存储介质 |
-
2022
- 2022-09-09 CN CN202211104745.3A patent/CN115564469A/zh active Pending
-
2023
- 2023-09-01 WO PCT/CN2023/116575 patent/WO2024051609A1/zh unknown
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024051609A1 (zh) * | 2022-09-09 | 2024-03-14 | 北京沃东天骏信息技术有限公司 | 广告创意数据选取方法及装置、模型训练方法及装置、设备、存储介质 |
CN116911928A (zh) * | 2023-09-12 | 2023-10-20 | 深圳须弥云图空间科技有限公司 | 一种基于创意特征的广告推荐模型的训练方法及装置 |
CN116911928B (zh) * | 2023-09-12 | 2024-01-05 | 深圳须弥云图空间科技有限公司 | 一种基于创意特征的广告推荐模型的训练方法及装置 |
CN117058275A (zh) * | 2023-10-12 | 2023-11-14 | 深圳兔展智能科技有限公司 | 商品宣传图生成方法、装置、计算机设备及存储介质 |
CN117058275B (zh) * | 2023-10-12 | 2024-04-12 | 深圳兔展智能科技有限公司 | 商品宣传图生成方法、装置、计算机设备及存储介质 |
CN117829911A (zh) * | 2024-03-06 | 2024-04-05 | 湖南创研科技股份有限公司 | 一种ai驱动的广告创意优化方法及*** |
CN117829911B (zh) * | 2024-03-06 | 2024-06-04 | 湖南创研科技股份有限公司 | 一种ai驱动的广告创意优化方法及*** |
Also Published As
Publication number | Publication date |
---|---|
WO2024051609A1 (zh) | 2024-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109063163B (zh) | 一种音乐推荐的方法、装置、终端设备和介质 | |
US20220375193A1 (en) | Saliency-based object counting and localization | |
US11631234B2 (en) | Automatically detecting user-requested objects in images | |
CN106250385B (zh) | 用于文档的自动化信息抽象处理的***和方法 | |
CN115564469A (zh) | 广告创意选取和模型训练方法、装置、设备及存储介质 | |
US20210089570A1 (en) | Methods and apparatus for assessing candidates for visual roles | |
US11508173B2 (en) | Machine learning prediction and document rendering improvement based on content order | |
CN113011186B (zh) | 命名实体识别方法、装置、设备及计算机可读存储介质 | |
CN114648392B (zh) | 基于用户画像的产品推荐方法、装置、电子设备及介质 | |
CN103268317A (zh) | 对图像进行语义注释的***和方法 | |
US10755332B2 (en) | Multi-perceptual similarity detection and resolution | |
US11436851B2 (en) | Text recognition for a neural network | |
CN105022773B (zh) | 包括图像优先级的图像处理*** | |
CN110972499A (zh) | 神经网络的标注*** | |
CN115917613A (zh) | 文档中文本的语义表示 | |
US20230127525A1 (en) | Generating digital assets utilizing a content aware machine-learning model | |
CN105183739B (zh) | 图像处理方法 | |
CN110781925A (zh) | 软件页面的分类方法、装置、电子设备及存储介质 | |
WO2023020160A1 (zh) | 一种推荐方法、训练方法、装置、设备及推荐*** | |
CN114119136A (zh) | 一种产品推荐方法、装置、电子设备和介质 | |
CN113762257A (zh) | 一种美妆品牌图像中标志的识别方法及装置 | |
CN111522979B (zh) | 图片排序推荐方法、装置、电子设备、存储介质 | |
CN112784156A (zh) | 基于意图识别的搜索反馈方法、***、设备及存储介质 | |
CN111539782B (zh) | 基于深度学习的商户信息数据处理方法及其*** | |
CN112070093A (zh) | 生成图像分类模型的方法、图像分类方法、装置和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |