CN115099855A - 广告文案创作模型制备方法及其装置、设备、介质、产品 - Google Patents

广告文案创作模型制备方法及其装置、设备、介质、产品 Download PDF

Info

Publication number
CN115099855A
CN115099855A CN202210726310.6A CN202210726310A CN115099855A CN 115099855 A CN115099855 A CN 115099855A CN 202210726310 A CN202210726310 A CN 202210726310A CN 115099855 A CN115099855 A CN 115099855A
Authority
CN
China
Prior art keywords
vector
training
discriminator
sample
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210726310.6A
Other languages
English (en)
Inventor
胡凌宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huaduo Network Technology Co Ltd
Original Assignee
Guangzhou Huaduo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huaduo Network Technology Co Ltd filed Critical Guangzhou Huaduo Network Technology Co Ltd
Priority to CN202210726310.6A priority Critical patent/CN115099855A/zh
Publication of CN115099855A publication Critical patent/CN115099855A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0276—Advertisement creation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/186—Templates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及广告文案创作模型制备方法及其装置、设备、介质、产品，所述方法包括：采用生成器预测出商品图片相对应的广告文案的文本向量序列，构造为第一类训练样本，将其样本类型标签标记为负样本；获取第二类训练样本，包括商品图片及广告文案的编码向量序列，根据商品图片与广告文案是否配对相应标记样本类型标签为正样本或负样本；采用训练样本中的商品图片与文本向量序列或编码向量序列为输入将判别器训练至收敛；执行对由生成器与判别器构成的生成对抗网络的训练任务，采用第二类训练样本中的商品图片作为输入，在冻结判别器的权重的条件下将生成器训练至收敛，作为广告文案创作模型用于为商品图片生成广告文案。

Description

广告文案创作模型制备方法及其装置、设备、介质、产品
技术领域
本申请涉及电商信息技术领域，尤其涉及一种广告文案创作模型制备方法及其相应的装置、计算机设备、计算机可读存储介质，以及计算机程序产品。
背景技术
电商平台通常配置有广告投放页面，供店铺用户向广告***投放店铺内上架商品相对应的广告，以达到线上引流，促进商品交易额提升的目的。
广告文案是广告投放的重要组成部分，对广告投放的最终效果有直接影响。广告文案具有突出商品信息和卖点、加深消费者印象、吸引消费者的作用。但在真实的实践场景下，广告文案创作需要经历商品理解、卖点提炼、组织表达、完成编写等步骤，是一个十分耗时耗力的任务。而且商品种类繁多，很容易出现对商品卖点不了解的情况，从而产生创作失误，影响广告效果。因此，一种自动化的广告文案创作算法是十分迫切和必要的。
现有的广告文案生成算法主要都是根据商品标题等文本信息对广告文案进行创作，此类算法至少存在如下问题：1.由于商品标题等文本信息受展示或平台长度要求等限制，往往只能对商品进行大致描述，无法详细准确地对商品进行全面描述，造成商品关键信息的遗漏，从而影响后续的广告文案生成。2.由于不同商家的文化背景和创作风格的不同，很容易导致商品标题等风格内容差异较大。3.商品关键信息遗漏和文本数据风格差异较大很容易产生算法训练难以收敛和创作的广告文案质量较差等问题。
以上问题的存在导致现有的广告文案生成算法所起作用有限，因而，有必要另行探索有效的解决方案。
发明内容
本申请的目的在于解决上述问题而提供一种广告文案创作模型制备方法及其相应的装置、计算机设备、计算机可读存储介质、计算机程序产品、适应本申请的各个目的，采用如下技术方案：
一个方面，适应本申请的目的之一而提供一种广告文案创作模型制备方法，包括：
采用预设的生成器预测出商品图片相对应的广告文案的文本向量序列，将商品图片与其文本向量序列构造为第一类训练样本，将其样本类型标签标记为负样本；
获取预采集的第二类训练样本，每个第二类训练样本包括商品图片及广告文案的编码向量序列，根据商品图片与广告文案是否配对相应标记该训练样本的样本类型标签为正样本或负样本；
执行对预设的判别器的训练任务，采用所述的训练样本中的商品图片与文本向量序列或编码向量序列为输入将判别器训练至收敛状态；
执行对由生成器与判别器构成的生成对抗网络的训练任务，采用第二类训练样本中的商品图片作为输入，假定监督标签为正样本计算损失值实施梯度更新，在冻结判别器的权重的条件下将生成器训练至收敛状态，输出为广告文案创作模型。
另一方面，适应本申请的目的之一而提供一种广告文案创作模型制备装置，包括：
第一样本生成模块，用于采用预设的生成器预测出商品图片相对应的广告文案的文本向量序列，将商品图片与其文本向量序列构造为第一类训练样本，将其样本类型标签标记为负样本；
第二样本生成模块，用于获取预采集的第二类训练样本，每个第二类训练样本包括商品图片及广告文案的编码向量序列，根据商品图片与广告文案是否配对相应标记该训练样本的样本类型标签为正样本或负样本；
判别器训练模块，用于执行对预设的判别器的训练任务，采用所述的训练样本中的商品图片与文本向量序列或编码向量序列为输入将判别器训练至收敛状态；
生成对抗训练模块，用于执行对由生成器与判别器构成的生成对抗网络的训练任务，采用第二类训练样本中的商品图片作为输入，假定监督标签为正样本计算损失值实施梯度更新，在冻结判别器的权重的条件下将生成器训练至收敛状态，输出为广告文案创作模型。
又一方面，适应本申请的目的之一而提供的一种计算机设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的广告文案创作模型制备方法的步骤。
又一方面，适应本申请的另一目的而提供的一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述的广告文案创作模型制备方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行该方法所包括的步骤。
又一方面，适应本申请的另一目的而提供的一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本申请任意一种实施例中所述广告文案创作模型制备方法的步骤。
相对于现有技术，本申请具有多方面优势，包括但不限于：
首先，本申请在生成对抗训练过程中，提供两类训练样本，即生成器根据商品图片预测生成的第一类训练样本和预先采集的第二类训练样本，在为判别器提供输入时，直接为判别器提供生成器生成的广告文案的文本向量序列，而对于第二类训练样本，则以编码向量序列的形式将其转化为与文本向量序列相似的形式，提供给判别器，实现两类训练样本均可用于对判别器实施有效训练。
其次，本申请经生成对抗训练获得的广告文案创作模型，仅依赖目标商品的商品图片所提供的图像特征，便可以生成目标商品相对应的广告文案。由于商品图片提供更为切实的商品特点，通过对商品图片进行语义理解获得的图像特征，能够有效且更为全面地实现对目标商品的卖点特性的有效表示，从而可以根据这些图像特征获得有效的广告文案。
再者，本申请所获得的广告文案创作模型在创作广告文案时无需依赖文本信息作为广告文案创作模型的初始输入，不受人为的文化背景和创作风格所影响，能够创作出具有风格一致性的广告文案。
此外，根据本申请的原理所实现的生成器，由于通过商品图片获得更全面的卖点特性且能不受文本风格差异的影响，仅需借助商品图片进行训练，制备样本更为高效，因而更容易收敛，可望降低训练成本。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请所实现的广告文案创作模型的示例性网络架构原理框图。
图2为本申请的广告文案创作模型制备方法的典型实施例的流程示意图。
图3为本申请的生成对抗网络中的判别器的示例性网络架构原理框图。
图4为本申请用于实施训练的生成对抗网络的示例性网络架构原理框图。
图5为本申请实施例中生成广告文案的编码向量序列的流程示意图。
图6为本申请实施例中对判别器实施训练的流程示意图。
图7为本申请实施例中对生成对抗网络实施训练的流程示意图。
图8为本申请实施例中使用广告文案创作模型生成广告文案的流程示意图。
图9为本申请实施例中获取目标商品的图像特征向量的流程示意图。
图10为本申请实施例中解码器解码过程的流程示意图。
图11为本申请实施例中注意力层查询获取关键特征向量的流程示意图
图12为本申请的广告文案创作模型制备装置的原理框图；
图13为本申请所采用的一种计算机设备的结构示意图。
具体实施方式
本申请中所引用或可能引用到的神经网络模型，除非明文指定，既可部署于远程服务器且在客户端实施远程调用，也可部署于设备能力胜任的客户端直接调用，某些实施例中，当其运行于客户端时，其相应的智能可通过迁移学习来获得，以便降低对客户端硬件运行资源的要求，避免过度占用客户端硬件运行资源。
本申请即将揭示的各个实施例，除非明文指出彼此之间的相互排斥关系，否则，各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例，只要这种结合不背离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通，本领域技术人员应当知晓。
本申请的一种广告文案创作模型制备方法，可被编程为计算机程序产品，部署于客户端或服务器中运行而实现，例如，本申请的示例性应用场景中，可以在电商平台的服务器中部署实现，藉此可以通过访问该计算机程序产品运行后开放的接口，通过图形用户界面与该计算机程序产品的进程进行人机交互而执行该方法。
本申请示例性的应用场景是在电商平台的广告场景的应用。电商平台通常配备有广告***，通过向各个线上店铺的商家用户开放相应的广告发布接口，通过该广告发布接口获得任意店铺的商家用户向广告***投放的广告相对应的广告文案及广告配置信息，将其提交到广告***自有的广告发布渠道或第三方的广告发布渠道向公众展示。
本申请中，所述广告文案主要表示为自然语言文本，可以为任意语种的文字。每个所述店铺可以对应部署于电商平台的一个独立站点中。每个店铺可以上架大量的商品，每个商品相对应的商品信息存储于线上店铺的商品信息库中。用户可以通过进入店铺访问其中的任意商品的交易页面进行下单和支付等操作，从而实现电商交易。每个店铺可以向所述的广告***投放其店铺中任意商品相对应的广告，这样的商品可称为广告商品，在发布广告过程中提供广告商品相对应的广告文案，通过所述广告发布接口提交至所述的广告***实现发布。
可以通过本申请的广告文案创作模型为指定的目标商品自动生成所述的广告文案。为了生成广告文案，可以确定目标商品相对应的商品图片作为广告文案创作模型的输入，然后由广告文案创作模型输出对应描述了所述商品图片所呈现的商品的卖点特性的广告文案。
请参阅图1，其示出本申请的广告文案创作模型的网络架构，该模型包括图片编码器、解码器以及注意力层，所述图片编码器可以对输入其中的商品图片提取图像特征，所述解码器可以根据商品图片的图像特征解码出广告文案的文本向量序列，后续根据所述文本向量序列还原出广告文案相对应的文本序列，获得广告文案。
所述广告文案创作模型经预先训练至收敛状态后，便可习得根据给定的商品图片生成相应的广告文案的能力。所述广告文案创作模型的训练方式，本申请中，基于生成对抗思想进行训练。为此，先预备一个适于对广告文案创作模型中的解码器输出的文本向量进行质量类别判别的判别器，将该判别器训练至收敛状态，然后，将广告文案创作模型作为生成器后接所述判别器构成生成对抗网络，在冻结判别器的权重的条件下，采用相应的训练样本对生成对抗网络实施训练，将其中的生成器训练至收敛状态后，该生成器即可输出为适于线上推理的广告文案创作模型。
关于本申请的广告文案创作模型训练相关的实施例，将在后续深入揭示，此处暂按不表。
所述广告文案创作模型中，图片编码器可为任意适于提取图像特征的基础模型，例如，基于多重卷积操作的AlexNet、Resnet、DenseNet、EfficientNet等，基于注意力机制的Transformer的编码器、Vision Transformer的编码器等，以及基于多重Transformer编码器的Swin Transformer等，诸如此类，只要适于对输入其中的图片提取其中的图像特征均可。
所述广告文案创作模型中，解码器可为任意处理序列任务的循环神经网络(RNN，Recurrent Neural Network)，或在RNN基础上演进的LSTM(长短时记忆网络)，一种实施例中，推荐直接使用Transformer的解码器，或者BART模型的解码器等，这些解码器均基于RNN实现且添加了注意力机制，能够有效的对序列信息进行解码。本领域技术人员可以根据此处揭示的原理灵活选型。
所述广告文案创作模型中，注意力层用于在解码器每一步解码之后，根据解码所得的文本向量查询出商品图片的图像特征中的关键特征，然后将关键特征追加到解码器的输入中，使解码器能够进一步结合该关键特征预测出下一步相对应的文本向量。所述注意力层可以是多头注意力层或单头注意力层。
不难理解，当本申请的广告文案创作模型最终被训练至收敛状态后，便可投入线上推理使用，因而，可以用于实现本申请所期望的广告文案的自动生成。
请参阅图2，本申请的广告文案创作模型制备方法在其典型实施例中，包括如下步骤：
步骤S4100、采用预设的生成器预测出商品图片相对应的广告文案的文本向量序列，将商品图片与其文本向量序列构造为第一类训练样本，将其样本类型标签标记为负样本；
一个实施例中，可先于步骤S4100对所述的生成器进行训练，采用从广告***的历史广告商品相对应的商品图片和广告文案，将其中的商品图片作为所述生成器的图片编码器的输入，由其图片编码器提取出图像特征向量后，输入至其解码器中以提供前缀信息进行逐步解码，每一步解码所得的文本向量通过生成器的注意力层查询出商品图片的图像特征中的关键特征，再追加到下一步解码所需的前缀信息中，使解码器最终获得一个文本向量序列。在此过程中，利用与同一历史广告商品的广告文案中的各个字的向量，计算所述文本向量序列的损失值，根据该损失值对生成器进行梯度更新，通过迭代多次训练将生成器初步训练至收敛状态。
经过初步训练至收敛的生成器，可以用于生成本申请生成对抗训练所需的第一类训练样本，具体而言，采用多个商品图片，例如所述历史广告商品的商品图片，陆续输入所述生成器，由生成器预测出每张商品图片相对应的文本向量序列，所述文本向量序列理论上可以用于匹配预设词表而还原出广告文案的文本序列。但是，出于构造第一类训练样本所需，只需将商品图片与由生成器根据该商品图片对应生成的文本向量序列构造为映射关系数据存储至数据集中即可。第一类训练样本，将用于训练生成对抗网络中的判别器，对于判别器来说，这个时候生成器所获得的文本向量序列是粗糙的，是不符合广告文案的质量要求的，因而，在数据集中，将第一类训练样本的样本类型标签标记为负样本，以便在后续对判别器实施监督训练。
步骤S4200、获取预采集的第二类训练样本，每个第二类训练样本包括商品图片及广告文案的编码向量序列，根据商品图片与广告文案是否配对相应标记该训练样本的样本类型标签为正样本或负样本；
第二类训练样本可以是直接从广告***的历史商品广告中采集而得的，具体而言，从广告***中采集历史广告商品相对应的商品图片和广告文案构成映射关系数据存储于数据集中，进一步，适应判别器训练所需，可以在该映射关系数据中添加其中的广告文案的编码向量序列，所述编码向量序列可以是所述广告文案的嵌入向量序列，其编码方式可以采用基于独热编码、基于词频编码(TD-IDF)、基于哈希映射编码等任意一种方式。一个实施例中，可以在所述编码向量序列中预置均匀噪声分布以便实现对其中的特征值的扰动。由此，映射关系数据中的商品图片及其广告文案的编码向量序列，便构成一个第二类训练样本。
为使第二类训练样本适于对本申请的判别器实施监督训练，还可为第二类训练样本添加相应的样本类型标签，对于一个映射关系数据，当其中的商品图片和广告文案对应同一历史广告商品时，将其样本类型标签标记为正样本。进而，将正样本的各个映射关系数据中的商品图片与广告文案(同步包括其编码向量序列)进行乱序处理，衍生另一批映射关系数据，使这些衍生的映射关系数据中商品图片与广告文案(同步包括其编码向量序列)分别对应不同的历史广告商品，然后，将这样的映射关系数据的样本类型标签标记为负样本。
至此，数据集中包含了第二类训练样本，第二类训练样本包括正样本和负样本两个子类，其中正样本是同一历史广告商品的商品图片与广告文案及其编码向量序列，负样本是一个历史广告商品的商品图片与另一个历史广告商品的广告文案及其编码向量序列。第二类训练样本可以用于训练本申请的判别器，后续还可用于训练生成对抗网络中的生成器。
步骤S4300、执行对预设的判别器的训练任务，采用所述的训练样本中的商品图片与文本向量序列或编码向量序列为输入将判别器训练至收敛状态；
所述判别器是适应生成对抗训练所需而预备的，其通过训练可以获得适于根据本申请广告文案创作模型的解码器所输出的文本向量序列而二分类识别出该文本向量序列相对应的广告文案的质量类别的能力。也即，提供一个广告文案的文本序列相对应的文本向量序列，判别器可以根据判断出相应的广告文案是合格的正样本还是不合格的负样本。
所述判别器的网络架构如图3所示，其以本申请的广告文本案创作模型所采用的图片编码器和解码器同构的图片编码器和解码器为两个基础模型，将这两个基础模型搭建为双塔模型，由图片编码器提取出商品图片的图像特征向量，由解码器对输入其中的文本向量序列进行解码获得另一文本向量序列，然后，通过拼接层将所述图像特征向量和文本向量序列拼接为合并特征向量，再经全连接层映射到分类器的二分类空间，获得正样本、负样本两个类别相对应的分类概率，其中分类概率最大的类别，即是判别器根据输入确定出的质量类别。
本申请的第一类训练样本和第二类训练样本均用于对所述判别器实施训练。采用第一类训练样本对判别器执行训练时，将一个第一类训练样本中的商品图片输入至判别器的图片编码器中，将第一类训练样本中的由生成器预测生成的广告文案的文本向量序列输入判别器的解码器中，判别器按照其自身的算法逻辑，做出分类判别得到相应的质量类别，然后，根据所述第一类训练样本的商品图片相对应的监督标签，即其样本类型标签，计算所获得的质量类别的损失值，在损失值未达到预设阈值时，对判别器实施梯度更新，然后继续调用下一个训练样本继续迭代训练。采用第二类训练样本对判别器执行训练时，将一个第二类训练样本中的商品图片输入至判别器的图片编码器中，将第二类训练样本中事先制备的广告文案相对应的编码向量序列输入至判别器的解码器中，判别器按照其自身的算法逻辑，做出分类判别得到相应的质量类别，然后，根据所述第二类训练样本的商品图片相对应的监督标签，即其样本类型标签，计算所获得的质量类别的损失值，在损失值未达到预设阈值时，对判别器实施梯度更新，然后继续调用下一个训练样本继续迭代训练。当通过不断迭代，使所述损失值达至预设阈值时，便可判定所述判别器达到收敛状态，至此，可终止对判别器的训练。
由此可见，判别器的输入，既可以兼容生成器输出的文本向量序列，也可以兼容自行编码获得的编码向量序列，方便扩充其训练所需的样本总量，使生成器生成的假定样本与预先采集的真实样本均可以用于训练判别器，使判别器更易被训练至收敛。
不难理解，判别器按照以上架构预先训练至收敛状态之后，便可根据输入而做出判定，由此，便可在生成对抗网络中，根据生成器解码商品图片的图像特征向量所生成的文本向量序列，对该文本向量序列进行解码获得另一文本向量序列，然后与判别器的图片编码器自行从所述商品图片中提取出的图像特征向量相结合获得合并特征向量，根据合并特征向量进行质量类别的判别，获得映射到二分类空间各个质量类别对应的分类概率。
在采用第二类训练样本中的广告文案对判别器进行训练的过程中，由于已经事先对所述的广告文案编码获得相应的编码向量序列，使其实现对生成器预测生成的文本向量序列的仿真，因而，可以丰富判别器的样本特征，可以加速判别器的训练速度，降低判别器的训练成本。
一个实施例中，第一类训练样本中的文本向量序列可以由生成器根据该第一类训练样本中的商品图片实时生成并实时输入判别器中作为负样本实施训练，由于生成器输出的文本向量序列是离散数据，每个文本向量表示一个对应的字的概率分布，为不影响梯度更新，故将该文本向量序列直接作为判别器的解码器的输入,使生成器在这种情况下可以参与判别器的梯度更新过程，在训练判别器的同时，也一并对生成器实施梯度更新，进一步优化生成器的权重，提升生成器产出优质广告文案的能力。
步骤S4400、执行对由生成器与判别器构成的生成对抗网络的训练任务，采用第二类训练样本中的商品图片作为输入，假定监督标签为正样本计算损失值实施梯度更新，在冻结判别器的权重的条件下将生成器训练至收敛状态，输出为广告文案创作模型。
请参阅图4所示的生成对抗网络，该生成对抗网络包括生成器和判别器，所述生成器实际上便是本申请的广告文案创作模型的原型，所述判别器便是前一步骤训练至收敛之后获得的判别器，在生成对抗网络训练之前，将该判别器的权重冻结固化，使其不参与训练过程的梯度更新。
在生成对抗网络中，判别器的输入是生成器的解码器输出的文本向量序列，充分考虑到所述文本向量序列是一组离线数据，会阻断训练时梯度更新过程中的反向传播，因而，采用这样的架构，将生成器生成的广告文案的每一个字的概率分布作为判别器中的解码器的输入，使得生成器在整个生成对抗训练过程中均能够正常参与梯度更新。
在启动对抗生成网络的训练之前，可以先行配置所述判别器冻结其权重，使其处于权重不可修正的状态，然后，便可启动对整个生成对抗网络的训练，其本质是借助生成对抗网络实施对所述生成器的训练。
在实施训练时，可以采用所述第二类训练样本中的商品图片作为此阶段的训练样本，将该商品图片分别输入至生成器的图片编码器和判别器的图片编码器用于提取图像特征向量，在生成器中，其图片编码器获得的图像特征向量，经生成器中的解码器进一步解码出广告文案相对应的文本向量序列，然后，直接输入判别器的解码器进行解码，由该解码器对应解码出另一文本向量序列，继而，判别器通过其拼接层将其图片编码器所获得的图像特征向量与其解码器所获得的另一文本向量序列进行特征拼接，获得合并特征向量，再经全连接后实施二分类，获得映射到二分类空间的分类概率。
根据生成对抗思想，在对生成器训练的阶段，假定生成器所生成的文本向量序列经判别器识别为符合期望的正样本，因而，针对正样本相对应的质量类别进行损失值的计算，即计算假定样本类型标签为正样本(可表示为1)时的交叉熵损失，然后通过梯度下降算法对生成器的权重参数进行更新。
在对生成器训练的过程中，对应每个第二类训练样本获得损失值后，可采用一预设阈值与之相比较，以便判断生成器是否已经达致收敛的状态。具体而言，当所述损失值达到所述预设阈值时，表明生成器已经被训练至收敛状态，可以将该生成器输出为本申请进行线上推理所需的广告文案创作模型。当所述损失值未到达所述预设阈值时，表明生成器未被训练至收敛状态，可以对生成器实施权重更新，然后继续调用下一训练样本，继续对生成器实施迭代训练，直至生成器被训练至收敛状态产出本申请所需的广告文案创作模型为止。
根据以上训练过程可知，借助生成对抗思想对本申请的广告文案创作模型实施训练，可以有效地将广告文案创作模型快速训练至收敛，使其获得较为可靠的广告文案生成能力。特别是在所述判别器也采用了生成器所采用的图片编码器和解码器的情况下，通过巧妙地处理判别器的解码器的输入，事先将判别器快速训练至收敛而使其获得判别生成器所生成的文本向量序列的优劣的能力，使判别器后续可以为生成器的训练提供有效的判据，监督生成器的训练，使生成器通过训练而提升生成广告文案的能力，最终产出符合本申请所需的广告文案创作模型。
一个实施例中，可以迭代多次生成对抗训练，即迭代执行本申请的各个步骤，不断交替训练判别器和生成器，持续提升两者的能力，最终使生成器获得较佳的广告文案生成效果，将其中广告文案生成效果最佳的生成器输出为本申请的广告文案创作模型。
根据以上实施例可知，本申请具有多方面优势，包括但不限于：
首先，本申请在生成对抗训练过程中，提供两类训练样本，即生成器根据商品图片预测生成的第一类训练样本和预先采集的第二类训练样本，在为判别器提供输入时，直接为判别器提供生成器生成的广告文案的文本向量序列，而对于第二类训练样本，则以编码向量序列的形式将其转化为与文本向量序列相似的形式，提供给判别器，实现两类训练样本均可用于对判别器实施有效训练。
其次，本申请经生成对抗训练获得的广告文案创作模型，仅依赖目标商品的商品图片所提供的图像特征，便可以生成目标商品相对应的广告文案。由于商品图片提供更为切实的商品特点，通过对商品图片进行语义理解获得的图像特征，能够有效且更为全面地实现对目标商品的卖点特性的有效表示，从而可以根据这些图像特征获得有效的广告文案。
再者，本申请所获得的广告文案创作模型在创作广告文案时无需依赖文本信息作为广告文案创作模型的初始输入，不受人为的文化背景和创作风格所影响，能够创作出具有风格一致性的广告文案。
此外，根据本申请的原理所实现的生成器，由于通过商品图片获得更全面的卖点特性且能不受文本风格差异的影响，仅需借助商品图片进行训练，制备样本更为高效，因而更容易收敛，可望降低训练成本。
在本申请任意实施例的基础上，请参阅图5，所述步骤S4200、获取预采集的第二类训练样本，每个第二类训练样本包括商品图片及广告文案的编码向量序列的步骤之前，包括：
步骤S4201、对第二类训练样本的广告文案编制独热编码向量；
本实施例中，可应用独热编码(One-Hot)方式对第二类训练样本的广告文案进行编码，获得相应的独热编码向量。
步骤S4202、向所述独热编码向量植入均匀分布噪声，获得混杂编码向量；
预设一个均匀分布噪声，将其中的概率值规范化为一个固定的置信区间，例如[-3,3]，表示为一个矩阵，然后，将所述独热向量与该矩阵进行元素相乘，获得另一矩阵，作为混杂编码向量。
步骤S4203、将所述混杂编码向量归一化至预定的数值区间，获得所述广告文案的编码向量序列。
进一步，可采用Softmax函数对所述混杂编码向量进行归一化处理，将其调整到诸如[0，1]的数值区间，从而获得所述第二类训练样本中的广告文案相对应的编码向量序列。
本实施例中，采用独热编码的方式对第二类训练样本中的广告文案进行编码，通过预置均匀分类噪声并进行归一化，获得编码向量序列，实现对广告文案的文本向量序列的仿真，实现将第二类训练样本中的广告文案构造为适于判别器处理的输入形式，能够高效完成第二类训练样本的数据清洗过程，降低样本制备成本。
在本申请任意实施例的基础上，请参阅图6，所述步骤S4300、执行对预设的判别器的训练任务，采用所述的训练样本中的商品图片与文本向量序列或编码向量序列为输入将判别器训练至收敛状态，包括：
步骤S4310、调用任意一个所述的训练样本，将其中的商品图片输入判别器的图片编码器提取出图像特征向量，将其中的文本向量序列或编码向量序列输入判别器的解码器解码出文本向量序列；
在执行对判别器的单独训练的阶段，可以调用任意一个训练样本，包括作为负样本的所述第一类训练样本，以及所述第二类训练样本中的正样本和负样本均可，可将这两大类训练样本集中于同一数据集中进行迭代调用。
如前所述，用于对判别器实施训练的训练样本，其中的商品图片直接作为判别器的图片编码器的输入，由图片编码器提取出其中的图像特征向量，而训练样本中的文本向量序列(第一类训练样本时)或者编码向量序列(第二类训练样本时)，则输入判别器的解码器中进行解码以获得由多个文本向量构成的文本向量序列。
步骤S4320、由判别器中的拼接层将其图片编码器获得的图像特征向量与其解码器获得的文本向量序列进行特征拼接获得合并特征向量；
如前所述，判别器中设置有拼接层，图片编码器输出的图像特征向量和解码器输出的文本向量序列均进入所述拼接层，由该拼接层进行特征合并处理，获得相应的合并特征向量。
步骤S4330、由判别器的二分类器对所述合并特征向量做分类映射，将其映射到二分类空间中获得对应正样本或负样本的分类概率；
判别器中的二分类器，将所述合并特征向量进行全连接映射到预设的二分类空间中，获得对应正样本和负样本两个质量类别相应的分类概率，作为分类结果。
步骤S4340、根据所调用的训练样本的样本类型标签计算相应的分类概率的损失值，在该损失值达到预设阈值时判定判别器收敛而终止训练，否则调用下一个训练样本继续对实施迭代训练。
由于所述的各个训练样本均已事先标记了其样本类型标签，因而，对于针对一个训练样本获得的分类结果中的分类概率来说，可以应用交叉熵函数，根据所述训练样本的样本类型标签来计算分类结果相对应的损失值。然后，将该损失值与一预设阈值相比较，当其达到该预设阈值时，表明判别器已经达到收敛状态，可以终止训练。否则，表明判别器未达到收敛状态，于是根据该损失值对判别器实施梯度更新，然后继续调用下一个训练样本对判别器继续迭代训练，直至判别器达到收敛为止。
根据以上实施例可知，本申请的判别器在两大类训练样本的训练下，将具备识别出所输入的广告文案的文本向量序列是否属于合格(正样本)的分类能力，可以用在生成对抗网络的训练过程中，作为生成器所预测出的文本向量序列的判据。
在本申请任意实施例的基础上，请参阅图7，所述步骤S4400、执行对由生成器与判别器构成的生成对抗网络的训练任务，采用第二类训练样本中的商品图片作为输入，假定监督标签为正样本计算损失值实施梯度更新，在冻结判别器的权重的条件下将生成器训练至收敛状态，输出为广告文案创作模型，包括：
步骤S4410、将生成器的解码器的输出接入判别器的解码器构造出生成对抗网络，冻结判别器的权重；
构造本申请的生成对抗网络时，将所述生成器的解码器的输出端与所述判别器的解码器的输入端相连接即可，此外，通过设置操作，将所述的判别器的权重冻结，使其不参与后续的训练过程的权重更新。
步骤S4420、调用单个第二类训练样本，将其中的商品图片作为生成器的图片编码器和判别器的图片编码器的输入以分别提取图像特征向量；
在生成对抗训练过程中，仅使用第二类训练样本用于实施训练，一个实施例中，仅采用第二类训练样本中的正样本用于实施训练。在每次迭代训练时，单独调用其中一个第二类训练样本，本实施例中，为便于理解，特指其中的正样本。
然后，将所述正样本中的商品图片同步输入至所述生成器的解码器和所述判别器的解码器，两个解码器将按照自身固有的算法逻辑，生成所述商品图片的图像特征向量。
步骤S4430、由所述生成器中的解码器根据生成器获得的图像特征向量预测出第一文本向量序列，输入至判别器的解码器中进一步预测出第二文本向量序列，其中，解码器前一步解码所得的文本向量用于查询商品图片的图像特征中的关键特征作为后一步的文本向量相对应的输入向量；
生成器的图片编码器获得的图像特征向量，进入生成器的解码器，由该解码器根据该图像特征向量逐步解码获得各个文本向量，构成第一文本向量序列。第一文本向量序列中的各个文本向量陆续输入判别器的解码器，判别器的解码器同理也根据陆续输入的文本向量而解码获得自身的文本向量，构成第二文本向量序列。
由于本申请的生成器配置了注意力层，该注意力层可以根据生成器的解码器的每一步解码所得的文本向量，查询出生成器的图片编码器提取商品图像的图像特征过程中的图像特征信息中的关键特征，获得关键特征向量，然后追加为解码器下一步解码所需的输入，因而，生成器的解码器随着解码步数的增加，其解码所需的参考信息逐渐丰富，在实现参考前文的基础上，能够有效预测出后文，使所生成的广告文案更有实际意义。
判别器的解码虽然未另行设置注意力层，但其自回归机制与生成器的解码器相同，因而，也能利用自回归机制生成更为上下文关联的广告文案的文本向量序列。
步骤S4440、由判别器的拼接层将判别器提取商品图片所得的图像特征向量与第二文本向量序列相拼接获得合并特征向量；
判别器通过拼接层，将其自身的图片编码器提取所述商品图片所得的图像特征向量，与所述第二文本向量序列，将图像特征向量与第二文本向量序列相合并获得一个高维向量。
步骤S4450、由判别器的二分类器对所述合并特征向量做分类映射，将其映射到二分类空间中获得对应正样本或负样本的分类概率；
判别器的二分类器，将拼接层获得的高维向量，即所述合并特征向量通过全连接做分类映射，预测出映射到所述二分类空间的各个质量类别即正样本、负样本相对应的分类概率，获得分类结果。
步骤S4460、假定所调用的训练样本的监督标签为正样本计算损失值，在该损失值达到预设阈值时判定生成器收敛而终止训练，否则调用下一个第二类训练样本继续实施迭代训练。
每次迭代训练时，针对单个第二类训练样本，均可获得相应的分类结果，此时，可假定监督标签为正样本，计算分类结果相对应的交叉熵损失值，然后，根据该损失值判断生成器是否收敛，当生成器未收敛时，根据该损失值对生成器实施反向传播实现梯度更新，然后继续调用下一第二类训练样本实施迭代训练。当根据该损失值判定生成器收敛之后，便可终止训练。
经过以上过程，在生成对抗网络中完成了对生成器的训练，这个过程中，判别器作为裁判，假定生成器应当产出合格的正样本结果，如果生成器所产出的广告文案的质量未到达预期时，在假定监督标签的作用下，生成器的权重参数将被做出相应幅度的修正，从而使生成器的实际能力不断有效提升，最终达到与判别器抗衡的状态，从而可将生成器产出为本申请线上推理所需的广告文案创作模型。
在本申请任意实施例的基础上，请参阅图8，获得本申请的广告文案创作模型之后，可以将该广告文案创作模型用于线上推理，因而在步骤S4400之后可以包括如下步骤：
步骤S1100、获取目标商品的商品图片；
所述商品图片，主要包括目标商品的默认展示图片，其在目标商品的详情展示页面中显要展示，或者作为目标商品的摘要展示界面的默认图片进行显示。除此之外，还可采集目标商品相对应的其他配套图片，这些配置套片一般被显示于目标商品的详情展示页面的详情展示区中。对于商品图片的选取，可由本领域技术人员灵活确定。商品图片以图像的形式提供对目标商品的特征特点是其中的卖点特性的描述，因而，通过商品图片可以提取到目标商品的卖点特性相对应的语义信息。
一种实施例中，结合电商平台的广告场景，可以通过如下过程获得目标商品的商品图片：
步骤S1110、响应广告文案预测请求，确定该请求所指定的目标商品；
广告发布用户可以在其线上店铺的后台页面触发广告文案预测请求，在该请求中指定相应的目标商品，服务器响应该请求而确定所述目标商品。
步骤S1120、从商品信息库中查询获取所述目标商品相对应的商品图片；
根据所述广告文案预测请求中指定的目标商品，可以从广告发布用户具有访问权限的线上店铺的商品信息库中查询出该目标商品相对应的商品图片。在一个实施例中，可以同时获得目标商品的多张商品图片，然后通过预设的商品图片分类模型，判断出其中表示信息最为完整的商品图片，作为所需获取的商品图片，最终所获得的商品图片，既可以是目标商品设置在商品信息库中的默认展示图片，也可以是其他配套图片。
步骤S1130、完成对所述商品图片的格式预处理。
对于目标商品的商品图片，可以根据电商场景下商品图片的特点，譬如商品大多水平居中、部分适度旋转、商品尺寸较大、图像较为清晰等，以及根据图片编码器对输入的要求，譬如图像尺寸大小、通道数量、像素值归一化等，对商品图片进行增强或转换等预处理，以使商品图片更适于被图片编码器处理。
经过以上过程，实现根据用户指定的目标商品获取其相对应的商品图片、，得到规范化的信息资源，确保后续能够根据这些信息资源高效准确地预测出相对应的广告文案。
步骤S1200、经图片编码器提取出商品图片的图像特征，获得商品图片映射到特定语义空间的图像特征向量；
将需要生成对应的广告文案的商品图片输入本申请的广告文案创作模型的图片编码器，通过所述图片编码器对商品图片提取深层语义信息，提取出其中表示商品图片中目标商品的卖点特性的图像特征，最终可以获得符合特定语义空间的规范的图像特征向量。所述的特定语义空间，可以与解码器进行协调规范，以便使得所述图像特征向量可以转化为解码器的输入。示例而言，所述特定语义空间可以要求所获得的图像特征向量的维度为512维。
步骤S1300、将所述图像特征向量作为初始的输入向量提供给解码器逐步自回归解码出广告文案的文本序列中的各个文本向量，其中，前一步的文本向量用于查询商品图片的图像特征中的关键特征作为后一步的文本向量相对应的输入向量；
所述的解码器，其适于将初始输入的输入向量作为前缀信息进行基于注意力层的特征交互，本申请中，将广告文案创作模型的图片编码器提取商品图片所得的图像特征向量作为解码器的前缀信息输入。然后，解码器以自回归的方式，逐一输出广告文案中每一个字相对应的文本向量。在选择要生成的文本向量时，可以采用集束搜索算法(Beam Search)或贪心搜索算法(Greedy Search)以提升搜索效率。这个文本向量经过全连接层映射成解码器相对应的词表中每一个词可能出现的概率，因而借助一个前向反馈层对每一个文本向量都使用同一个全连接层进行处理。每一个文本向量均按照所述特定的语义空间的规范输出为特定维度例如512维。经过全连接层后，转化为一个维度与词表大小相同的文本向量，其中，指向词表中最大概率的词元，即为该文本向量相对应的词元，适于构成广告文案中的一个字。
所述解码器，可以是基于GPT-2(Generative Pre-Training，生成预训练)版本相对应的解码器，其他的，诸如XLNet、DistilGPT2等，也可适于构造本申请所需的解码器。
解码器根据输入向量生成与输入对应的文本的文本向量，这个输入可作为上文，也即解码器对应上文预测出其下文的一个文本向量，初始的上文即为所述前缀信息。在基于前缀信息预测出一个文本向量后，基于解码器的自回归原理，该文本向量将被追加到上一步的上文中构成新的上文，然后继续根据新的上文生成下一个文本向量，以此类推迭代执行，不断预测出广告文案中的所有文本相对应的文本向量。
本申请中，在解码器将其预测出的上一步的文本向量自回归追加到上一步的上文中用于预测下一步的文本向量的过程中，采用独立设置的注意力层，根据上一步的文本向量，查询出商品图片的图像特征中的关键特征，再将该关键特征追加到上一步的上文中生成预测下一个文本向量相对应的新的上文，由此，实现利用解码器逐步输出的信息，自回归查询出商品图片中的关键特征，逐步实现对商品图片的图像特征的深度挖掘，通过关键特征有效表示商品图片中对于生成广告文案有价值的特征信息，从而可以更为有效地指导解码器的解码过程，以期产出优质的广告文案。
一种实施例中，在基于上一步的文本向量查询商品图片的图像特征中的关键特征的过程中，所采用的图像特征可以是图片编码器在其提取图像特征的中间过程所获得的图像特征。例如，当图片编码器基于多层卷积提取商品图片的图像特征时，可以采用其中第二卷积层或第二卷积层所获得的图像特征；同理，当图片编码器基于多个注意力层逐层提取商品图片的图像特征时，也可以采用其中第二个或第三个注意力层所获得的图像特征。当所述图像特征未规范至本申请特定的语义空间时，可通过全连接层将其映射至所述的语义空间。由于图片编码器在提取商品图片的图像特征的过程中，其操作深度越深，所获得的图像特征所表征的语义越抽象，操作深度越清，所获得的图像特征所表征的语义越丰富，有鉴于此，采用图片编码器的中间过程中的图像特征用于查询所述的关键特征，能够避免遗漏商品图片中的关键信息，确保追加到前一步的上文的关键特征具有实际意义。
步骤S1400、根据解码器预测出的文本向量序列还原出广告文案。
经过解码器预测出整个广告文案相对应的全部文本向量之后，即获得广告文案的文本序列相对应的文本向量序列，便可针对其中各个文本向量逐一查询所述解码器相对应的词表，获得该词表中相对应的词元作为相应的文本，将这些文本顺序拼接为广告文案。
根据本实施例可以知晓，在生成广告文案过程中，仅需向本申请的广告文案创作模型的图片编码器输入根据商品图片获得的前缀信息，便可在解码器的自回归特性的作用下，串行获得广告文案中的各个词元相对应的文本，并且，在后的文本根据在先的上文自动预测而得，在商品文本的文本向量序列的基础上，进一步结合了商品图片的关键特征序列，而关键特征序列本身又是事先在商品图片的图片特征的基础上参考文本特征序列深度挖掘出的关键信息，因而，虽然仅依赖于商品图片，但每一步输入解码器的前缀信息所包含的语义特征更为丰富和精准，可以确保解码器以充足的语义信息为参考，有效预测出目标商品的商品图片相对应的广告文案，使广告文案能够精准描述目标商品的卖点特性。
根据以上的实施例，本申请的广告文案创作模型具有多方面优势，包括但不限于：
首先，本申请仅依赖目标商品的商品图片所提供的图像特征，便可以生成目标商品相对应的广告文案。由于商品图片提供更为切实的商品特点，通过对商品图片进行语义理解获得的图像特征，能够有效且更为全面地实现对目标商品的卖点特性的有效表示，从而可以根据这些图像特征获得有效的广告文案。
其次，本申请在创作广告文案时无需依赖文本信息作为广告文案创作模型的初始输入，不受人为的文化背景和创作风格所影响，能够创作出具有风格一致性的广告文案。
此外，根据本申请的原理所实现的算法，由于通过商品图片获得更全面的卖点特性且能不受文本风格差异的影响，仅需借助商品图片进行训练，制备样本更为高效，算法更容易收敛，所创作的广告文案的质量更为优质。
在本申请任意实施例的基础上，请参阅图9，所述步骤S1200、经图片编码器提取出商品图片的图像特征，获得商品图片映射到特定语义空间的图像特征向量，包括：
步骤S1210、将商品图片切分为多个等规格的子图，构成子图序列；
本实施例中，采用Vision Transformer作为图片编码器对商品图片进行编码，根据Vision Transformer的原理，将商品图片按照预设尺寸，将其切分为多个等规格的子图，从而获得子图序列。
步骤S1220、应用图片编码器对所述子图序列中的各个子图提取图像特征，获得各卷积层相对应的图像特征信息；
所述子图序列输入图片编码器进行特征交互，Vision Transformer是基于注意力层的编码部件，其通过对各个子图进行深度的特征交互，提取出其中的各个子图相对应的图像特征信息。
步骤S1230、将所述图像特征信息处理为适配所述解码器的输入的图像特征向量，使其投射于特定语义空间。
最后，可将前一步骤获得的各个子图相对应的图像特征信息转换为特定语义空间输入所需的图像特征向量，以便适应解码器的输入的规范，实现图片编码器所输出的图像特征向量与解码器的输入要求的协调统一。
本实施例中，借助对商品图片进行子图切分，在各个子图对应的局部信息的基础上对商品图片进行特征提取，能够以更细粒度获取商品图片的图像语义特征，能够更为有效地指导解码器精准预测广告文案。
在本申请任意实施例的基础上，区别于前一实施例，所述步骤S1200、经图片编码器提取出商品图片的图像特征，获得商品图片映射到特定语义空间的图像特征向量，包括：
步骤S1201、经图片编码器中预设的多个卷积层逐步提取所述商品图片的图像特征，获得各卷积层相对应的图像特征信息；
以基于例如AlexNet、ResNet等应用多层卷积原理的基础模型实现的图片编码器为例，图片编码器中包含多个卷积层，由浅入深地对商品图片提取图像特征，每个卷积层均可获得该层所提取的图像特征，然后再将其图像特征输入下一个卷积层中继续提取更深一层的图像特征。在整个过程中，每个卷积层均可输出相应的图像特征信息，后续可按需获取其中的任意一个卷积层相对应的图像特征信息，以便在该层所提取的图像特征。
步骤S1202、将最后一个卷积层所提取的图像特征全连接映射至适配所述解码器的输入的特定语义空间，获得图像特征向量。
图片编码器最后一个卷积层输出的图像特征信息，通过全连接层之后，便可映射至特定的语义空间，由此获得符合解码器输入要求的图像特征向量。
本实施例中，应用多层卷积原理，逐层提取出商品图片的图像特征，最终输出符合解码器要求的图像特征向量，其实现成本较低，特征提取精准，据此搭建的图片编码器，或在该图片编码器基础搭建的模型，包括本申请的广告文案创作模型、生成对抗网络、生成器、判别器等，更容易快速训练至收敛。
在本申请任意实施例的基础上，请参阅图10，所述步骤S1300、将所述图像特征向量作为初始的输入向量提供给解码器逐步自回归解码出广告文案的文本序列中的各个文本向量，包括：
步骤S1310、将所述图像特征向量作为初始的输入向量输入至所述解码器开始逐步解码；
图片编码器输出的图像特征向量，在初始时刻，作为前缀信息相对应的输入向量，直接输入至所述解码器，解码器于是开始进行自回归逐步解码。
步骤S1320、每一步解码后，解码器根据所述输入向量预测出其对应的文本向量，将该文本向量自回归传递至预设的注意力层；
解码器是基于自回归机制进行解码的，可以将其解码过程视为对应多个时刻的多步操作，因而，在每一步解码时，解码器应用其自身固有的算法，根据该步相对应的输入向量预测出其对应的文本向量，所述文本向量表示为映射到解码器相对应的词表的每个字的概率分布，其中最大概率相对应的字，便是用于构造广告文本所需的文本。根据解码器的自回归机制，将该文本向量自回归传递至广告文案创作模型中预设的注意力层。
步骤S1330、注意力层根据自回归的文本向量查询出图片编码器提取图像特征过程中的图像特征信息中的关键特征向量；
所述注意力层具有两路输入，其一为从图片编码器的图像特征提取过程中获得的中间态的图像特征信息，其二为解码器输出并自回归的文本向量，据此，可以基于所述图像特征信息和文本向量执行QKV运算，通过运算获得所述图像特征信息中的关键特征向量，实现对图像特征信息中的关键特征的提取。由于所引用的图像特征信息包含的是图片编码器在浅层提取的商品图片的图像特征，因而，其语义更为原始，相对也更为丰富全面，可望查询出更为有效的特征信息，例如商品图片所表示的目标商品的卖点特征等。
步骤S1340、将该关键特征向量作为解码器下一步解码的输入向量继续迭代预测出下一文本向量，直至完成广告文案的文本序列相对应的各个文本向量的预测。
注意力层进一步将其所获得的关键特征向量作为解码器下一步解码的输入向量输入至解码器中，解码器继续按照其自身的算法逻辑预测出下一步的文本向量，以此类推，循环迭代，直至完成广告文案的文本序列相对应的各个文本向量的预测。
根据本实施例可以理解，在广告文案创作模型内置的注意力层，在解码器逐步解码的过程中，发挥更新解码器所输入的前缀信息的作用，逐步为解码器的解码提供源自商品图片的关键特征，使解码器能够不断根据商品图片的图像语义预测文本向量，保持创作风格一致性的同时，通过不断追加关键特征而全面考虑商品图片的深层语义，由此而可望生成描述内容与商品图片呈现的卖点特性相对应的广告文案。
在本申请任意实施例的基础上，请参阅图11，所述步骤S1330、注意力层根据自回归的文本向量查询出图片编码器提取图像特征过程中的图像特征信息中的关键特征向量，包括：
步骤S1331、以自回归的文本向量为查询向量，以图片编码器的图像特征信息为键向量和值向量，将查询向量与键向量进行交互以确定出商品图片的关键向量；
由于键向量是商品图片的图像特征信息，是对商品图片的特征表示，而查询向量是解码器输出的文本向量，包含广告文案的前文相对应的语义信息，因而，以注意力层使用多头注意力机制的实施例中，可将查询向量Q与键向量K分别匹配其各自的可学习权重WQ、WK之后，求点积运算实现特征交互，以文本向量提供的前文语义为参考，从键向量K匹配相应的可学习权重WK所得的结果中确定出商品图片中的图像特征中的关键特征，可表示为关键特征向量。
对于注意力层使用单头注意力机制的实施例，所述查询向量Q可以无需匹配可学习权重。
步骤S1332、将所述关键向量进行归一化计算出注意力权重，获得权重向量；
获得所述关键特征后，可采用Softmax函数对其进行归一化，将其中的特征数值映射至[0,1]的置信区间，获得一个权重向量，用于表征商品图片的图片特征信息中各个对应特征所享有的关键程度的权重。
步骤S1333、以所述权重向量对所述值向量加权求和获得关键特征向量。
为了从商品图片的图片特征信息中提取出关键特征向量，进一步，可将所述所述值向量V(可事先按需匹配相应的可学习权重WV)，也即所述图片特征信息，与所述权重向量相乘，实现对所述图片特征信息中的特征值的加权求和，由此便可获得最后的关键特征向量，其中的各个特征数值在权重向量的作用下得到调节，从而实现对商品图片中的关键特征的挖掘和表示。
部分实施例中，无论是基于单头注意力机制还是多头注意力机制，所述值向量V可以直接复用所述键向量K，以便减少需要学习的权重参数，以便在训练过程中加速相应的模型的收敛速度。不难理解，所述各个可学习权重在图片编码器的训练过程中被反向传播修正，在图片编码器被训练至收敛后得到固化。
本实施例中，注意力层通过参考解码器预测出的文本向量对商品图片的图像特征信息执行注意力运算，实现对商品图片中的关键特征的深度挖掘，获得关键特征向量，使关键特征向量可以有效表示商品图片中对于生成广告文案有价值的特征信息，从而可以进一步追加为解码器下一步解码所需的上文信息，逐步增强解码器解码所需的语义参考，更为有效地指导广告文案的自动生成。
请参阅图12，适应本申请的目的之一而提供一种广告文案创作模型制备装置，是对本申请的广告文案创作模型制备方法的功能化体现，该装置包括第一样本生成模块4100、第二样本生成模块4200、判别器训练模块4300，以及生成对抗训练模块4400，其中：所述第一样本生成模块4100，用于采用预设的生成器预测出商品图片相对应的广告文案的文本向量序列，将商品图片与其文本向量序列构造为第一类训练样本，将其样本类型标签标记为负样本；所述第二样本生成模块4200，用于获取预采集的第二类训练样本，每个第二类训练样本包括商品图片及广告文案的编码向量序列，根据商品图片与广告文案是否配对相应标记该训练样本的样本类型标签为正样本或负样本；所述判别器训练模块4300，用于执行对预设的判别器的训练任务，采用所述的训练样本中的商品图片与文本向量序列或编码向量序列为输入将判别器训练至收敛状态；所述生成对抗训练模块4400，用于执行对由生成器与判别器构成的生成对抗网络的训练任务，采用第二类训练样本中的商品图片作为输入，假定监督标签为正样本计算损失值实施梯度更新，在冻结判别器的权重的条件下将生成器训练至收敛状态，输出为广告文案创作模型。
在本申请任意实施例的基础上，先于第二样本生成模块4200，包括：独热编码模块，用于对第二类训练样本的广告文案编制独热编码向量；噪声混杂模块，用于向所述独热编码向量植入均匀分布噪声，获得混杂编码向量；归一处理模块，用于将所述混杂编码向量归一化至预定的数值区间，获得所述广告文案的编码向量序列。
在本申请任意实施例的基础上，所述判别器训练模块4300，包括：样本调用单元，用于调用任意一个所述的训练样本，将其中的商品图片输入判别器的图片编码器提取出图像特征向量，将其中的文本向量序列或编码向量序列输入判别器的解码器解码出文本向量序列；特征拼接单元，用于由判别器中的拼接层将其图片编码器获得的图像特征向量与其解码器获得的文本向量序列进行特征拼接获得合并特征向量；分类映射模块，用于由判别器的二分类器对所述合并特征向量做分类映射，将其映射到二分类空间中获得对应正样本或负样本的分类概率；迭代更新模块，用于根据所调用的训练样本的样本类型标签计算相应的分类概率的损失值，在该损失值达到预设阈值时判定判别器收敛而终止训练，否则调用下一个训练样本继续对实施迭代训练。
在本申请任意实施例的基础上，所述生成对抗训练模块4400，包括：网络构造单元，用于将生成器的解码器的输出接入判别器的解码器构造出生成对抗网络，冻结判别器的权重；样本调用单元，用于调用单个第二类训练样本，将其中的商品图片作为生成器的图片编码器和判别器的图片编码器的输入以分别提取图像特征向量；串接解码单元，用于由所述生成器中的解码器根据生成器获得的图像特征向量预测出第一文本向量序列，输入至判别器的解码器中进一步预测出第二文本向量序列，其中，解码器前一步解码所得的文本向量用于查询商品图片的图像特征中的关键特征作为后一步的文本向量相对应的输入向量；特征拼接单元，用于由判别器的拼接层将判别器提取商品图片所得的图像特征向量与第二文本向量序列相拼接获得合并特征向量；分类映射单元，用于由判别器的二分类器对所述合并特征向量做分类映射，将其映射到二分类空间中获得对应正样本或负样本的分类概率；迭代更新单元，用于假定所调用的训练样本的监督标签为正样本计算损失值，在该损失值达到预设阈值时判定生成器收敛而终止训练，否则调用下一个第二类训练样本继续实施迭代训练。
在本申请任意实施例的基础上，后于所述生成对抗训练模块4400，包括：图片获取模块，用于获取目标商品的商品图片；图片编码模块，用于经广告文案创作模型的图片编码器提取出商品图片的图像特征，获得商品图片映射到特定语义空间的图像特征向量；解码输出模块，用于将所述图像特征向量作为初始的输入向量提供给广告文案创作模型的解码器逐步自回归解码出广告文案的文本序列中的各个文本向量，其中，前一步的文本向量用于查询商品图片的图像特征中的关键特征作为后一步的文本向量相对应的输入向量；文案还原模块，用于根据广告文案创作模型的解码器预测出的文本向量序列还原出广告文案。
在本申请任意实施例的基础上，所述解码输出模块，包括：解码启动单元，用于将所述图像特征向量作为初始的输入向量输入至所述解码器开始逐步解码；预测回归单元，用于每一步解码后，解码器根据所述输入向量预测出其对应的文本向量，将该文本向量自回归传递至预设的注意力层；查询叠加单元，用于注意力层根据自回归的文本向量查询出图片编码器提取图像特征过程中的图像特征信息中的关键特征向量；迭代处理单元，用于将该关键特征向量作为解码器下一步解码的输入向量继续迭代预测出下一文本向量，直至完成广告文案的文本序列相对应的各个文本向量的预测。
在本申请任意实施例的基础上，所述查询叠加单元，包括：特征交互单元，用于以自回归的文本向量为查询向量，以图片编码器的图像特征信息为键向量和值向量，将查询向量与键向量进行交互以确定出商品图片的关键向量；权重优化单元，用于将所述关键向量进行归一化计算出注意力权重，获得权重向量；特征运算单元，用于以所述权重向量对所述值向量加权求和获得关键特征向量。
为解决上述技术问题，本申请实施例还提供计算机设备。如图13所示，计算机设备的内部结构示意图。该计算机设备包括通过***总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中，该计算机设备的计算机可读存储介质存储有操作***、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种商品搜索类目识别方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行本申请的广告文案创作模型制备方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本实施方式中处理器用于执行图12中的各个模块及其子模块的具体功能，存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有本申请的广告文案创作模型制备装置中执行所有模块/子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
本申请还提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本申请任一实施例的广告文案创作模型制备方法的步骤。
本申请还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被一个或多个处理器执行时实现本申请任一实施例所述方法的步骤。
本领域普通技术人员可以理解实现本申请上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等计算机可读存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
综上所述，本申请应用生成对抗思想对广告文案创作模型实施训练，所获得的模型能将商品图片的图像特征转换为序列信息，进一步经解码器生成文本向量构成的序列信息，然后巧妙地利用解码器的自回归机制，将前一步的文本向量用于确定商品图片中的关键特征，再追加为解码器的输入，将商品图片的图像特征序列化地提供给解码器进行陆续解码，使解码器逐步预测出与商品图片相对应的文本向量序列，最后根据文本向量序列获得相应的广告文案，所述广告文案由于基于商品图片的图像特征而获得，因而，能够使所获得的广告文案更为全面地反映商品图片中的卖点特性，且所创作的广告文案不受创作者风格的影响而具有均一质量。所述广告文案创作模型作为生成器参与生成对抗训练时，更易于训练，能够有效提升训练效率，节省训练成本。

Claims (10)

1.一种广告文案创作模型制备方法，其特征在于，包括：
采用预设的生成器预测出商品图片相对应的广告文案的文本向量序列，将商品图片与其文本向量序列构造为第一类训练样本，将其样本类型标签标记为负样本；
获取预采集的第二类训练样本，每个第二类训练样本包括商品图片及广告文案的编码向量序列，根据商品图片与广告文案是否配对相应标记该训练样本的样本类型标签为正样本或负样本；
执行对预设的判别器的训练任务，采用所述的训练样本中的商品图片与文本向量序列或编码向量序列为输入将判别器训练至收敛状态；
执行对由生成器与判别器构成的生成对抗网络的训练任务，采用第二类训练样本中的商品图片作为输入，假定监督标签为正样本计算损失值实施梯度更新，在冻结判别器的权重的条件下将生成器训练至收敛状态，输出为广告文案创作模型。
2.根据权利要求1所述的广告文案创作模型制备方法，其特征在于，获取预采集的第二类训练样本，每个第二类训练样本包括商品图片及广告文案的编码向量序列的步骤之前，包括：
对第二类训练样本的广告文案编制独热编码向量；
向所述独热编码向量植入均匀分布噪声，获得混杂编码向量；
将所述混杂编码向量归一化至预定的数值区间，获得所述广告文案的编码向量序列。
3.根据权利要求1所述的广告文案创作模型制备方法，其特征在于，执行对预设的判别器的训练任务，采用所述的训练样本中的商品图片与文本向量序列或编码向量序列为输入将判别器训练至收敛状态，包括：
调用任意一个所述的训练样本，将其中的商品图片输入判别器的图片编码器提取出图像特征向量，将其中的文本向量序列或编码向量序列输入判别器的解码器解码出文本向量序列；
由判别器中的拼接层将其图片编码器获得的图像特征向量与其解码器获得的文本向量序列进行特征拼接获得合并特征向量；
由判别器的二分类器对所述合并特征向量做分类映射，将其映射到二分类空间中获得对应正样本或负样本的分类概率；
根据所调用的训练样本的样本类型标签计算相应的分类概率的损失值，在该损失值达到预设阈值时判定判别器收敛而终止训练，否则调用下一个训练样本继续对实施迭代训练。
4.根据权利要求1所述的广告文案创作模型制备方法，其特征在于，执行对由生成器与判别器构成的生成对抗网络的训练任务，采用第二类训练样本中的商品图片作为输入，假定监督标签为正样本计算损失值实施梯度更新，在冻结判别器的权重的条件下将生成器训练至收敛状态，输出为广告文案创作模型，包括：
将生成器的解码器的输出接入判别器的解码器构造出生成对抗网络，冻结判别器的权重；
调用单个第二类训练样本，将其中的商品图片作为生成器的图片编码器和判别器的图片编码器的输入以分别提取图像特征向量；
由所述生成器中的解码器根据生成器获得的图像特征向量预测出第一文本向量序列，输入至判别器的解码器中进一步预测出第二文本向量序列，其中，解码器前一步解码所得的文本向量用于查询商品图片的图像特征中的关键特征作为后一步的文本向量相对应的输入向量；
由判别器的拼接层将判别器提取商品图片所得的图像特征向量与第二文本向量序列相拼接获得合并特征向量；
由判别器的二分类器对所述合并特征向量做分类映射，将其映射到二分类空间中获得对应正样本或负样本的分类概率；
假定所调用的训练样本的监督标签为正样本计算损失值，在该损失值达到预设阈值时判定生成器收敛而终止训练，否则调用下一个第二类训练样本继续实施迭代训练。
5.根据权利要求1所述的广告文案创作模型制备方法，其特征在于，输出为广告文案创作模型的步骤之后，包括：
获取目标商品的商品图片；
经广告文案创作模型的图片编码器提取出商品图片的图像特征，获得商品图片映射到特定语义空间的图像特征向量；
将所述图像特征向量作为初始的输入向量提供给广告文案创作模型的解码器逐步自回归解码出广告文案的文本序列中的各个文本向量，其中，前一步的文本向量用于查询商品图片的图像特征中的关键特征作为后一步的文本向量相对应的输入向量；
根据广告文案创作模型的解码器预测出的文本向量序列还原出广告文案。
6.根据权利要求5所述的广告文案创作模型制备方法，其特征在于，将所述图像特征向量作为初始的输入向量提供给解码器逐步自回归解码出广告文案的文本序列中的各个文本向量，包括：
将所述图像特征向量作为初始的输入向量输入至所述解码器开始逐步解码；
每一步解码后，解码器根据所述输入向量预测出其对应的文本向量，将该文本向量自回归传递至预设的注意力层；
注意力层根据自回归的文本向量查询出图片编码器提取图像特征过程中的图像特征信息中的关键特征向量；
将该关键特征向量作为解码器下一步解码的输入向量继续迭代预测出下一文本向量，直至完成广告文案的文本序列相对应的各个文本向量的预测。
7.根据权利要求6所述的广告文案创作模型制备方法，其特征在于，注意力层根据自回归的文本向量查询出图片编码器提取图像特征过程中的图像特征信息中的关键特征向量，包括：
以自回归的文本向量为查询向量，以图片编码器的图像特征信息为键向量和值向量，将查询向量与键向量进行交互以确定出商品图片的关键向量；
将所述关键向量进行归一化计算出注意力权重，获得权重向量；
以所述权重向量对所述值向量加权求和获得关键特征向量。
8.一种广告文案创作模型制备装置，其特征在于，包括：
第一样本生成模块，用于采用预设的生成器预测出商品图片相对应的广告文案的文本向量序列，将商品图片与其文本向量序列构造为第一类训练样本，将其样本类型标签标记为负样本；
第二样本生成模块，用于获取预采集的第二类训练样本，每个第二类训练样本包括商品图片及广告文案的编码向量序列，根据商品图片与广告文案是否配对相应标记该训练样本的样本类型标签为正样本或负样本；
判别器训练模块，用于执行对预设的判别器的训练任务，采用所述的训练样本中的商品图片与文本向量序列或编码向量序列为输入将判别器训练至收敛状态；
生成对抗训练模块，用于执行对由生成器与判别器构成的生成对抗网络的训练任务，采用第二类训练样本中的商品图片作为输入，假定监督标签为正样本计算损失值实施梯度更新，在冻结判别器的权重的条件下将生成器训练至收敛状态，输出为广告文案创作模型。
9.一种计算机设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。
CN202210726310.6A 2022-06-23 2022-06-23 广告文案创作模型制备方法及其装置、设备、介质、产品 Pending CN115099855A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210726310.6A CN115099855A (zh) 2022-06-23 2022-06-23 广告文案创作模型制备方法及其装置、设备、介质、产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210726310.6A CN115099855A (zh) 2022-06-23 2022-06-23 广告文案创作模型制备方法及其装置、设备、介质、产品

Publications (1)

Publication Number Publication Date
CN115099855A true CN115099855A (zh) 2022-09-23

Family

ID=83292520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210726310.6A Pending CN115099855A (zh) 2022-06-23 2022-06-23 广告文案创作模型制备方法及其装置、设备、介质、产品

Country Status (1)

Country Link
CN (1) CN115099855A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912616A (zh) * 2023-06-07 2023-10-20 中国科学院自动化研究所 图文预训练模型的训练方法、训练装置及电子设备

Citations (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007114796A1 (en) * 2006-04-05 2007-10-11 Agency For Science, Technology And Research Apparatus and method for analysing a video broadcast
US20120158525A1 (en) * 2010-12-20 2012-06-21 Yahoo! Inc. Automatic classification of display ads using ad images and landing pages
CN106803082A (zh) * 2017-01-23 2017-06-06 重庆邮电大学 一种基于条件式生成对抗网络的在线笔迹识别方法
CN109522411A (zh) * 2018-11-12 2019-03-26 南京德磐信息科技有限公司 一种基于神经网络的写作辅助方法
CN109522531A (zh) * 2017-09-18 2019-03-26 腾讯科技（北京）有限公司 文案生成方法和装置、存储介质及电子装置
CN109544201A (zh) * 2018-10-11 2019-03-29 北京奇虎科技有限公司 一种广告文案的生成方法、装置及电子设备
CN109800294A (zh) * 2019-01-08 2019-05-24 中国科学院自动化研究所 基于物理环境博弈的自主进化智能对话方法、***、装置
JP2019091440A (ja) * 2017-11-15 2019-06-13 パロ アルト リサーチ センター インコーポレイテッド 敵対的ネットワークを使用した準教師あり条件付き生成モデリングのためのシステム及び方法
CN109992764A (zh) * 2017-12-29 2019-07-09 阿里巴巴集团控股有限公司 一种文案生成方法及装置
CN110347819A (zh) * 2019-06-21 2019-10-18 同济大学 一种基于正负样本对抗训练的文本摘要生成方法
CN110462608A (zh) * 2017-04-07 2019-11-15 微软技术许可有限责任公司 针对捕获内容的自动叙述创建
CN110580695A (zh) * 2019-08-07 2019-12-17 深圳先进技术研究院 一种多模态三维医学影像融合方法、***及电子设备
CN111046178A (zh) * 2019-11-29 2020-04-21 北京邮电大学 一种文本序列生成方法及其***
CN111127385A (zh) * 2019-06-06 2020-05-08 昆明理工大学 基于生成式对抗网络的医学信息跨模态哈希编码学习方法
CN111143617A (zh) * 2019-12-12 2020-05-12 浙江大学 一种图片或视频文本描述自动生成方法及***
CN111159454A (zh) * 2019-12-30 2020-05-15 浙江大学 基于Actor-Critic生成式对抗网络的图片描述生成方法及***
US20200273062A1 (en) * 2019-02-26 2020-08-27 Soundhound, Inc. Artificial Intelligence Generation of Advertisements
CN111897913A (zh) * 2020-07-16 2020-11-06 浙江工商大学 基于语义树增强的复杂文本查询到视频的跨模态检索方法
CN111985608A (zh) * 2019-05-23 2020-11-24 宏达国际电子股份有限公司 训练生成对抗网络的方法及生成图像的方法
CN112000769A (zh) * 2020-08-17 2020-11-27 东北林业大学 一种基于对抗网络的服装商品广告文案生成方法
CN112052893A (zh) * 2020-09-01 2020-12-08 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN112242185A (zh) * 2020-09-09 2021-01-19 山东大学 基于深度学习的医学图像报告自动生成方法及***
WO2021097675A1 (zh) * 2019-11-19 2021-05-27 中国科学院深圳先进技术研究院 一种基于医学图像的智能辅助诊断方法及终端
CN113488029A (zh) * 2021-06-23 2021-10-08 中科极限元(杭州)智能科技股份有限公司 基于参数共享非自回归语音识别训练解码方法及***
CN113780516A (zh) * 2021-01-21 2021-12-10 北京沃东天骏信息技术有限公司 物品文案生成网络训练方法、物品文案生成方法、装置
CN113837366A (zh) * 2021-09-23 2021-12-24 中国计量大学 一种多风格字体生成方法
US20210406554A1 (en) * 2020-06-24 2021-12-30 Research Cooperation Foundation Of Yeungnam University Learning apparatus and method for creating emotion expression video and apparatus and method for emotion expression video creation
CN114218549A (zh) * 2021-12-17 2022-03-22 江西洪都航空工业集团有限责任公司 一种增强图片验证码***安全性的方法
CN114266901A (zh) * 2021-12-24 2022-04-01 武汉天喻信息产业股份有限公司 文档轮廓提取模型构建方法、装置、设备及可读存储介质
CN114283281A (zh) * 2021-12-23 2022-04-05 广州华多网络科技有限公司 目标检测方法及其装置、设备、介质、产品
CN114332586A (zh) * 2021-12-23 2022-04-12 广州华多网络科技有限公司 小目标检测方法及其装置、设备、介质、产品
CN114529635A (zh) * 2022-02-15 2022-05-24 腾讯科技（深圳）有限公司 一种图像生成方法、装置、存储介质及设备
WO2022111291A1 (zh) * 2020-11-27 2022-06-02 北京沃东天骏信息技术有限公司 推荐信息的评估方法、装置、设备及计算机可读存储介质

Patent Citations (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007114796A1 (en) * 2006-04-05 2007-10-11 Agency For Science, Technology And Research Apparatus and method for analysing a video broadcast
US20120158525A1 (en) * 2010-12-20 2012-06-21 Yahoo! Inc. Automatic classification of display ads using ad images and landing pages
CN106803082A (zh) * 2017-01-23 2017-06-06 重庆邮电大学 一种基于条件式生成对抗网络的在线笔迹识别方法
CN110462608A (zh) * 2017-04-07 2019-11-15 微软技术许可有限责任公司 针对捕获内容的自动叙述创建
CN109522531A (zh) * 2017-09-18 2019-03-26 腾讯科技（北京）有限公司 文案生成方法和装置、存储介质及电子装置
JP2019091440A (ja) * 2017-11-15 2019-06-13 パロ アルト リサーチ センター インコーポレイテッド 敵対的ネットワークを使用した準教師あり条件付き生成モデリングのためのシステム及び方法
CN109992764A (zh) * 2017-12-29 2019-07-09 阿里巴巴集团控股有限公司 一种文案生成方法及装置
CN109544201A (zh) * 2018-10-11 2019-03-29 北京奇虎科技有限公司 一种广告文案的生成方法、装置及电子设备
CN109522411A (zh) * 2018-11-12 2019-03-26 南京德磐信息科技有限公司 一种基于神经网络的写作辅助方法
CN109800294A (zh) * 2019-01-08 2019-05-24 中国科学院自动化研究所 基于物理环境博弈的自主进化智能对话方法、***、装置
US20200273062A1 (en) * 2019-02-26 2020-08-27 Soundhound, Inc. Artificial Intelligence Generation of Advertisements
CN111985608A (zh) * 2019-05-23 2020-11-24 宏达国际电子股份有限公司 训练生成对抗网络的方法及生成图像的方法
CN111127385A (zh) * 2019-06-06 2020-05-08 昆明理工大学 基于生成式对抗网络的医学信息跨模态哈希编码学习方法
CN110347819A (zh) * 2019-06-21 2019-10-18 同济大学 一种基于正负样本对抗训练的文本摘要生成方法
CN110580695A (zh) * 2019-08-07 2019-12-17 深圳先进技术研究院 一种多模态三维医学影像融合方法、***及电子设备
WO2021097675A1 (zh) * 2019-11-19 2021-05-27 中国科学院深圳先进技术研究院 一种基于医学图像的智能辅助诊断方法及终端
CN111046178A (zh) * 2019-11-29 2020-04-21 北京邮电大学 一种文本序列生成方法及其***
CN111143617A (zh) * 2019-12-12 2020-05-12 浙江大学 一种图片或视频文本描述自动生成方法及***
CN111159454A (zh) * 2019-12-30 2020-05-15 浙江大学 基于Actor-Critic生成式对抗网络的图片描述生成方法及***
US20210406554A1 (en) * 2020-06-24 2021-12-30 Research Cooperation Foundation Of Yeungnam University Learning apparatus and method for creating emotion expression video and apparatus and method for emotion expression video creation
CN111897913A (zh) * 2020-07-16 2020-11-06 浙江工商大学 基于语义树增强的复杂文本查询到视频的跨模态检索方法
CN112000769A (zh) * 2020-08-17 2020-11-27 东北林业大学 一种基于对抗网络的服装商品广告文案生成方法
CN112052893A (zh) * 2020-09-01 2020-12-08 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN112242185A (zh) * 2020-09-09 2021-01-19 山东大学 基于深度学习的医学图像报告自动生成方法及***
WO2022111291A1 (zh) * 2020-11-27 2022-06-02 北京沃东天骏信息技术有限公司 推荐信息的评估方法、装置、设备及计算机可读存储介质
CN113780516A (zh) * 2021-01-21 2021-12-10 北京沃东天骏信息技术有限公司 物品文案生成网络训练方法、物品文案生成方法、装置
CN113488029A (zh) * 2021-06-23 2021-10-08 中科极限元(杭州)智能科技股份有限公司 基于参数共享非自回归语音识别训练解码方法及***
CN113837366A (zh) * 2021-09-23 2021-12-24 中国计量大学 一种多风格字体生成方法
CN114218549A (zh) * 2021-12-17 2022-03-22 江西洪都航空工业集团有限责任公司 一种增强图片验证码***安全性的方法
CN114283281A (zh) * 2021-12-23 2022-04-05 广州华多网络科技有限公司 目标检测方法及其装置、设备、介质、产品
CN114332586A (zh) * 2021-12-23 2022-04-12 广州华多网络科技有限公司 小目标检测方法及其装置、设备、介质、产品
CN114266901A (zh) * 2021-12-24 2022-04-01 武汉天喻信息产业股份有限公司 文档轮廓提取模型构建方法、装置、设备及可读存储介质
CN114529635A (zh) * 2022-02-15 2022-05-24 腾讯科技（深圳）有限公司 一种图像生成方法、装置、存储介质及设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
徐一峰;: "生成对抗网络理论模型和应用综述", 金华职业技术学院学报, no. 03, 1 May 2017 (2017-05-01) *
王仕奇: "一种基于生成对抗网络的图像描述方法", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 1, 15 January 2022 (2022-01-15), pages 13 - 15 *
王福伟: "基于生成对抗网络的图像描述生成模型", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 1, 15 January 2020 (2020-01-15) *
郭海文: "基于PaddlePaddle的广告配图策略研究与实现", 中国优秀硕士学位论文全文数据库 经济与管理科学辑, no. 12, 15 December 2018 (2018-12-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912616A (zh) * 2023-06-07 2023-10-20 中国科学院自动化研究所 图文预训练模型的训练方法、训练装置及电子设备

Similar Documents

Publication Publication Date Title
CN111859960B (zh) 基于知识蒸馏的语义匹配方法、装置、计算机设备和介质
CN110097085B (zh) 歌词文本生成方法、训练方法、装置、服务器及存储介质
EP3989131A1 (en) Method and system for realizing machine learning modeling process
US11521372B2 (en) Utilizing machine learning models, position based extraction, and automated data labeling to process image-based documents
CN112926303B (zh) 一种基于BERT-BiGRU的恶意URL检测方法
CN110866140A (zh) 图像特征提取模型训练方法、图像搜索方法及计算机设备
CN111382361A (zh) 信息推送方法、装置、存储介质和计算机设备
CN112380870A (zh) 用户意图分析方法、装置、电子设备及计算机存储介质
CN111666400B (zh) 消息获取方法、装置、计算机设备及存储介质
CN113806537B (zh) 商品类目分类方法及其装置、设备、介质、产品
CN115099854A (zh) 广告文案创作方法及其装置、设备、介质、产品
CN113962773A (zh) 同款商品聚合方法及其装置、设备、介质、产品
CN115563982A (zh) 广告文本优化方法及其装置、设备、介质、产品
CN115018549A (zh) 广告文案生成方法及其装置、设备、介质、产品
CN113392179A (zh) 文本标注方法及装置、电子设备、存储介质
CN113128237A (zh) 一种服务资源的语义表征模型构建方法
CN115099855A (zh) 广告文案创作模型制备方法及其装置、设备、介质、产品
CN113486659B (zh) 文本匹配方法、装置、计算机设备及存储介质
Zarzour et al. Sentiment analysis based on deep learning methods for explainable recommendations with reviews
CN117217710B (zh) 一种虚拟商品与快捷服务的智能化管理方法及***
CN117149996A (zh) 面向人工智能应用的人机界面数字会话挖掘方法及ai***
CN116957128A (zh) 业务指标预测方法、装置、设备和存储介质
CN116341564A (zh) 基于语义理解的问题推理方法和装置
CN115617975A (zh) 针对少样本多轮对话的意图识别方法及装置
CN115309905A (zh) 广告文本生成方法及其装置、设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination