CN117473961B - 一种基于大语言模型的市场文案生成方法及*** - Google Patents
一种基于大语言模型的市场文案生成方法及*** Download PDFInfo
- Publication number
- CN117473961B CN117473961B CN202311817569.2A CN202311817569A CN117473961B CN 117473961 B CN117473961 B CN 117473961B CN 202311817569 A CN202311817569 A CN 202311817569A CN 117473961 B CN117473961 B CN 117473961B
- Authority
- CN
- China
- Prior art keywords
- text
- initial
- network
- word
- phrase
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 22
- 125000004122 cyclic group Chemical group 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000008485 antagonism Effects 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 7
- 230000000306 recurrent effect Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011031 large-scale manufacturing process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3346—Query execution using probabilistic model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/374—Thesaurus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
- G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种基于大语言模型的市场文案生成方法及***,属于人工智能技术领域。所述方法包括:接收待处理的文本,对接收到的所述文本进行分词处理得到多个独立词组,在多个所述独立词组中确定多个关键词;基于预设置的词组数据库确定多个所述关键词对应的词组标签,所述词组标签包括实体标签、属性标签和要素标签;将多个所述关键词输入至生成网络中得到初始文本,并确定所述初始文本中所述实体标签、所述属性标签和所述要素标签对应的词组在所述初始文本中的相对文本位置关系,当所述相对文本位置关系满足预设置的标准关系则所述初始文本为最终生成的市场文案。采用本发明,能够自动生成市场文案。
Description
技术领域
本发明涉及人工智能技术领域,特别是指一种基于大语言模型的市场文案生成方法及***。
背景技术
市场文案是企业进行推广的重要手段之一,可以提高商品推广效果和效率。在过去的传统生产模式中,商品营销文案主要由人员进行创作,并且需要花费大量的时间和精力进行修改。在大规模生产的情况下,人类的创造力和审美疲劳等因素会影响文案的质量,而利用自然语言处理技术和机器学习技术进行智能生成市场营销文案,不仅能大幅节省人力成本,提高生产效率,还可以大大缩短生产周期,满足快速迭代的需求。但是需要注意的是,市场营销文案生成并不是完全替代人工的,这项技术仍然需要人类专业的编辑和审校来保证生成的文本符合实际需要。因此,研究市场文案智能生成是有必要的。
发明内容
本发明实施例提供了一种基于大语言模型的市场文案生成方法及***,能够自动生成市场文案。所述技术方案如下:
一方面,提供了一种基于大语言模型的市场文案生成方法,该方法应用于电子设备,该方法包括:
接收待处理的文本,对接收到的所述文本进行分词处理得到多个独立词组,在多个所述独立词组中确定多个关键词;
基于预设置的词组数据库确定多个所述关键词对应的词组标签,所述词组标签包括实体标签、属性标签和要素标签;
将多个所述关键词输入至生成网络中得到初始文本,并确定所述初始文本中所述实体标签、所述属性标签和所述要素标签对应的词组在所述初始文本中的相对文本位置关系,当所述相对文本位置关系满足预设置的标准关系则所述初始文本为最终生成的市场文案。
可选地,所述接收待处理的文本,对接收到的所述文本进行分词处理得到多个独立词组包括:
识别所述文本中的标点符号,基于识别的所述标点符号确定所述文本中多个待分词语句;
对所述待分词语句根据预设置的查询词典进行查询,基于查询结果生成多个初始切分语句,基于多个所述初始切分语句构建词图,所述词图包括:多个所述待分词语句中所有可能词的起始位置和结束位置;
根据所述词图计算每种成词概率,并按照成词概率的顺序构建每一词组所对应的最高成词概率,将所述最高成词概率对应的成词组合为所述独立词组。
可选地,所述在多个所述独立词组中确定多个关键词包括:
获取多个所述独立词组在所述文本中的词频信息,根据预设置的词频权重阈值确定符合要求的所述独立词组为关键词。
可选地,所述生成网络包括:全连接层以及基于循环神经网络为主体的初始生成网络;
所述将多个所述关键词输入至生成网络中得到初始文本包括:
基于所述全连接层提取多个所述关键词所对应的多个关键词向量,将多个所述关键词向量和多个所述关键词进行矩阵构建得到关键词矩阵,将所述关键词矩阵输入至初始生成网络中,通过所述初始生成网络得到的文本序列为所述初始文本。
可选地,所述生成网络基于生成式对抗网络训练获得,所述训练过程包括:
将用作训练的关键词数据集通过所述全连接层进行特征提取得到关键词向量,将所述关键词向量和所述关键词进行矩阵构建得到关键词矩阵;
构建基于循环神经网络为主体的初始生成网络,所述初始生成网络包括:生成子网络和判别子网络;
将所述关键词矩阵通过所述生成子网络按照相邻处理时间段得到第一初始文本序列和第二初始文本序列,将所述第一初始文本序列作为状态数据,将所述第二初始文本序列作为动作数据;
基于所述第一初始文本序列和所述第二初始文本序列通过所述判别子网络计算实时奖励值,基于所述实时奖励值对所述生成子网络的超参数进行更新直至所述实时奖励值等于预设置的奖励值。
可选地,所述生成子网络为第一循环神经网络;
所述判别子网络包括:卷积神经网络、第二循环神经网络和与卷积神经网络、第二循环神经网络连接的可学习的全连接层,其中,可学习的全连接层为基于可学习的门限机制建立。
可选地,所述基于所述第一初始文本序列和所述第二初始文本序列通过所述判别子网络计算实时奖励值包括:
将所述第一初始文本序列或所述第二初始文本序列中任一序列分别输入至所述卷积神经网络和所述第二循环神经网络中,通过所述卷积神经网络得到关于所述第一初始文本序列或所述第二初始文本序列中任一序列的局部特征,通过所述第二循环神经网络得到关于所述第一初始文本序列或所述第二初始文本序列中任一序列的全局特征;
将所述第一初始文本序列或所述第二初始文本序列的所述局部特征和所述全局特征进行融合得到融合特征;
将所述融合特征通过可学习的全连接层得到关于所述第一初始文本序列或所述第二初始文本序列的状态数据或动作数据,基于所述状态数据和所述动作数据得到实时奖励值。
可选地,所述相对文本位置关系为多个所述词组在所述初始文本中的相对位置关系。
一方面,提供了一种基于大语言模型的市场文案生成***,该装置应用于电子设备,该装置包括:
关键词确定装置,用于接收待处理的文本,对接收到的所述文本进行分词处理得到多个独立词组,在多个所述独立词组中确定多个关键词;
词组标签确定装置,用于基于预设置的词组数据库确定多个所述关键词对应的词组标签,所述词组标签包括实体标签、属性标签和要素标签;
文案生成装置,用于将多个所述关键词输入至生成网络中得到初始文本,并确定所述初始文本中所述实体标签、所述属性标签和所述要素标签对应的词组在所述初始文本中的相对文本位置关系,当所述相对文本位置关系满足预设置的标准关系则所述初始文本为最终生成的市场文案。
一方面,提供了一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现上述基于大语言模型的市场文案生成方法。
一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现上述基于大语言模型的市场文案生成方法。
本发明实施例提供的技术方案带来的有益效果至少包括:
本发明实施例中,通过将获得到的文本进行关键词提取得到多个关键词并确定多个关键词的标签,然后通过生成式对抗训练得到的生成网络对关键词进行处理得到初始文本,再基于初始文本中的关键词对应的标签确定初始文本是否满足预设置的标准关系,将满足标准关系的文本作为最终的市场文案;这样,能够自动生成市场文案。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本实施例提供的市场文案生成方法流程示意图。
图2是本实施例提供的市场文案生成***结构示意图。
图3是本实施例提供的市场文案生成设备结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作可选地详细描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
对本发明实施例进行进一步详细说明之前,对本发明实施例中涉及的名词和术语进行说明,本发明实施例中涉及的名词和术语适用于如下的解释。
(1)响应于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
(2)基于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
市场营销文案生成是一项涉及自然语言处理技术的任务,它可以版主企业快速生成各种类型的商品营销文案,包括广告商品营销文案、产品介绍、新闻稿、推广活动等。
常见的市场营销文案生成方法包括基于规则的方法、统计机器翻译方法、神经网络方法等。其中,基于神经网络的商品营销文案生成方法最近几年得到了广泛的应用和研究,因为它可以生成更加自然和流畅的文本,同时在一定程度上也可以解决一些语义歧义和句法错误的问题。
如图1所示,本发明实施例提供了一种基于大语言模型的市场文案生成方法,该方法可以由电子设备实现,该电子设备可以是终端或服务器,该方法包括:
S101,接收待处理的文本,对接收到的所述文本进行分词处理得到多个独立词组,在多个所述独立词组中确定多个关键词;
本实施例中的应用场景为接收人为输入的文本信息,并对文本信息进行处理得到目标的市场文案。其中,针对于人为输入的文本信息并没有特定格式,可以为一句话也可以为一段话,甚至可以为多个词组。因为输入的文本信息不具有任何的格式要求,但是针对于市场文本因为具有市场推广营销的要求,所以市场文案需要具有特定的语法表达。所以,需要对输入的文本信息进行处理得到一种能够体现市场营销要素以及要求的文本。
本实施例的处理底层逻辑可以为文本-文本转换的自然语言处理方法。
因为在人为输入的待处理的文本不进行格式限制,所以需要对输入的文本信息进行关键信息提取并基于提取到的关键信息进行处理。所以,针对于整体的文本-文本转换的过程首先需要进行关键信息提取;而针对于文本的关键信息为关键词,所以针对于处理的第一个过程为提取文本的关键词。
而针对于关键词的提取的前提需要将文本尤其是针对于长文本进行分词处理,将长文本例如句子进行分割得到独立的独立词组。
本实施例中,对接收到的所述文本进行分词处理得到多个独立词组具体可以包括以下步骤:
识别所述文本中的标点符号,基于识别的所述标点符号确定所述文本中多个待分词语句;
对所述待分词语句根据预设置的查询词典进行查询,基于查询结果生成多个初始切分语句,基于多个所述初始切分语句构建词图,所述词图包括:多个所述待分词语句中所有可能词的起始位置和结束位置;
根据所述词图计算每种成词概率,并按照成词概率的顺序构建每一词组所对应的最高成词概率,将所述最高成词概率对应的成词组合为所述独立词组。
本实施例中,针对于文本处理基于大模型实现,其中在大模型中设置有关于自然语言的查询词典,其中查新词典中包含所有的词组,所以针对于查询词典的不需要进行赘述,通过大模型中配置的现有模块进行获得。
本实施例中,针对于此过程中词图为一种有向无环图,其中具体的处理过程为对待分词语句,根据给定的词典进行查词典操作,生成几种可能的句子切分,形成有向无环图,在有向无环图中保存着要处理的语句的所有可能词的起始位置和结束位置,待切分语句中所有可能词的起始位置和结束位置都在有向无环图中保存着,其值的范围是0~n~1,其中n表示待切分句子所有字的数量,词的起始位置用i来表示,结束位置用j来表示,用i:[j]表示字典的键。比如针对“新楼盘发售”这个短语,0:[0]表示“新”字,0:[0,2]表示从位置0开始0~2代表词,即表示成词“新楼盘”,1:[1,2]表示从位置1开始1~2代表词,即表示成词“楼盘”,同样的, 位置3只有3~4这一种连接方式,即表示成词“发售”,最终形成的有向无环图为{0:[0,2],1:[1,2],2:[2],3:[3,4],4:[4,4]}。划分好每一种情况之后,连接起始点和结束点就形成了一个有向无环图。
通过上述处理过程中或得到的有向无环图后,再根据所述词图即有向无环图计算每种成词概率,并按照成词概率的顺序构建每一词组所对应的最高成词概率,将所述最高成词概率对应的成词组合为所述独立词组。
针对于此过程根据有向无环图计算每种成词概率,在示例短语 “新楼盘发售”中,计算出来的最大概率的路径就是最佳的分词可能。
在本实施例中,针对于成词概率的确定基于确定词频信息,其中针对于词频信息为每个词出现的次数除以总次数。若统计中没有这个词,则该词的频率取所有词频信息的最小值,并基于下式进行表示:
其中,wn表示句子的第n个词,代表选取频率中的最小频率。
通过上述过程获得每种成词概率,然后采用动态规划的方式,从右至左对待切分语句进行概率计算,然后选出最大概率的路径。因为汉语句子的重心经常落在后面,也就是落在右边。因此,从右往左计算,正确率要高于从左往右计算。
具体的,从待切分语句的最后一个字开始倒序遍历句子的每个字,计算子句的概率对数得分,然后将概率对数得分最高的情况保存下来,计算过程如下式表示:
;/>
其中表示句子的最后一个词,N表示词的数量。
通过上述的依次类推,最后得到最大概率路径,即得到最大概率的切分组合。
本实施例中,所述在多个所述独立词组中确定多个关键词包括:
获取多个所述独立词组在所述文本中的词频信息,根据预设置的词频权重阈值确定符合要求的所述独立词组为关键词。
S102,基于预设置的词组数据库确定多个所述关键词对应的词组标签,所述词组标签包括实体标签、属性标签和要素标签;
在本实施例中,针对于预设置的词组数据库为基于大模型生成的词组数据库,其中大模型可以选用现有技术中的基于自然语言技术生成的大模型。在大模型中设置有关于与文本相同属性的数据库,其中文本相同属性指的是与文本属于相同语种的数据库。例如,针对于中文文本的话其对应的词组数据库为中文词组数据库,如果其中有例如英文的话,则对应的则为英文所对应的词组数据库。而针对于如何识别文本中的中文和英文可以采用现有技术通过获取文本中的任意词的字符特征进行识别,此过程可以基于现有技术文本语言识别方案进行实现,在本实施例中不再进行赘述。当文本中既有中文又有英文的话,则对应的数据库包括中文词组数据库和英文词组数据库,首先对中文文本和英文文本进行分割,然后将中文文本以及英文文本的中文词组和英文词组基于中文词组数据库、英文词组数据库进行确定关于中文关键词、英文关键词对应的词组标签。
具体的,针对于本实施例中的词组标签包括:实体标签、属性标签和要素标签;其中,针对于实体标签是对词组中识别信息的表征,属性标签是对组中属性信息的表征,要素标签是对词组中形容信息的表征;即在语法逻辑中,实体标签代表名词,属性标签代表副词,要素标签代表形容词。
通过对词组中的不同关键词标签的确定,能确定关键词在文本中的作用以及该关键词的位置。
S103,将多个所述关键词输入至生成网络中得到初始文本,并确定所述初始文本中所述实体标签、所述属性标签和所述要素标签对应的词组在所述初始文本中的相对文本位置关系,当所述相对文本位置关系满足预设置的标准关系则所述初始文本为最终生成的市场文案。
本实施例中,所述生成网络包括:全连接层以及基于循环神经网络为主体的初始生成网络;
所述将多个所述关键词输入至生成网络中得到初始文本包括:
基于所述全连接层提取多个所述关键词所对应的多个关键词向量,将多个所述关键词向量和多个所述关键词进行矩阵构建得到关键词矩阵,将所述关键词矩阵输入至初始生成网络中,通过所述初始生成网络得到的文本序列为所述初始文本。
其中,针对于本实施例中的生成网络基于生成式对抗网络进行训练获得,因为生成网络中的全连接层为采用现有技术实现特征提取和特征结合的方案,其主要为获得关于关键词的关键词向量,所以在训练阶段不需要对全连接层进行训练。在训练生成网络时,将用作训练的关键词数据集通过所述全连接层进行特征提取得到关键词向量,将所述关键词向量和所述关键词进行矩阵构建得到用作训练的关键词矩阵。
本实施例中,所述生成网络基于生成式对抗网络训练获得,所述训练过程包括:
构建基于循环神经网络为主体的初始生成网络,所述初始生成网络包括:生成子网络和判别子网络;
将所述全连接层输出的用作训练的关键词矩阵通过所述生成子网络按照相邻处理时间段得到第一初始文本序列和第二初始文本序列,将所述第一初始文本序列作为状态数据,将所述第二初始文本序列作为动作数据;
基于所述第一初始文本序列和所述第二初始文本序列通过所述判别子网络计算实时奖励值,基于所述实时奖励值对所述生成子网络的超参数进行更新直至所述实时奖励值等于预设置的奖励值。
以上为初始生成网络的结构,其中生成子网络用于基于训练数据集生成初始文本序列,判别子网络用于将生成的初始文本序列进行赋值,并基于赋值再对生成子网络中的超参数进行优化直至多次赋值后的结果与预期相同,则完成训练。
本实施例中,所述生成子网络为第一循环神经网络;
所述判别子网络包括:卷积神经网络、第二循环神经网络和与卷积神经网络、第二循环神经网络连接的可学习的全连接层,其中,可学习的全连接层为基于可学习的门限机制建立。
本实施例中,所述基于所述第一初始文本序列和所述第二初始文本序列通过所述判别子网络计算实时奖励值包括:
将所述第一初始文本序列或所述第二初始文本序列中任一序列分别输入至所述卷积神经网络和所述第二循环神经网络中,通过所述卷积神经网络得到关于所述第一初始文本序列或所述第二初始文本序列中任一序列的局部特征,通过所述第二循环神经网络得到关于所述第一初始文本序列或所述第二初始文本序列中任一序列的全局特征;
将所述第一初始文本序列或所述第二初始文本序列的所述局部特征和所述全局特征进行融合得到融合特征;
将所述融合特征通过可学习的全连接层得到关于所述第一初始文本序列或所述第二初始文本序列的状态数据或动作数据,基于所述状态数据和所述动作数据得到实时奖励值。
本实施例中,所述生成网络的具体工作过程为:
将用作训练的关键词数据集通过生成网络中的全连接层进行特征提取得到关键词向量,然后将关键词向量和关键词进行矩阵构建得到关键词矩阵,此过程是将文本数据转换为数字数据;然后将关键词矩阵作为输入至第一循环神经网络中按照相邻处理时间段处理得到第一初始文本序列和第二初始文本序列。
在本实施例中,第一初始文本序列和第二初始文本序列皆为序列矩阵,第一初始文本序列和第二初始文本序列可以表示为其中/>为k维的词向量,T为输入序列长度,/>为序列矩阵,/>为拼接算子,通过拼接算子构建序列矩阵。
然后将所述第一初始文本序列或所述第二初始文本序列中任一项分别输入所述卷积神经网络和所述第二循环神经网络中,通过所述卷积神经网络得到关于所述第一初始文本序列或所述第二初始文本序列中任一项的局部特征。在本实施例中,针对于卷积神经网络包括多个卷积层,用于提取特征,而针对于卷积神经网络的结构不做限定。对于序列矩阵采用一个过滤器对其进行特征提取,在本实施例中针对于过滤器设置在每一层卷积之后,用于将当前神经网络上的一个子节点矩阵转化为下一层神经网络上的一个单位节点矩阵,设定过滤器/>对/>个单词的窗口大小进行卷积操作,得到一个新的特征映射ci,计算方式如下所示:
,/>
其中,表示操作符为矩阵对应元素相乘后相加得到的和,b为偏置量,/>为非线性激活函数,/>表示第/>个单词对应的特征映射,c为特征向量。在本实施例中,针对于非线性激活函数为ReLU激活函数,ReLU激活函数实质就是取最大值的函数。在ReLU激活函数在接收到负值输入时,它的输出则为 0,此时神经元便不会被激活。这样做的好处是可以使网络变得稀疏,进而可以将更多的注意力集中在与目标相关的特征上。
然后将特征向量c通过最大池化层对特征进一步提取,得到最终的局部特征。
本实施例中的相邻时间段为相邻时间步。
通过所述第二循环神经网络到关于所述第一初始文本序列或所述第二初始文本序列中任一项的全局特征。在本实施例中的第二循环神经网络采用GRU是循环神经网络的一种变体,与LSTM相似,但比其少了一个门结构,因此参数相对较少,训练速度也就相对加快。
将第一初始文本序列、第二初始文本序列对应的序列矩阵输入到GRU中,分别计算更新门和重置门/>。通过两个门结构,实现对信息的控制。其中,更新门控制的是前一时刻的信息有多少可以进入到当前时刻中,重置门控制的则是前一时刻的信息有多少可以被写入候选集中。更新门和重置门的输入为上一个状态/>和当前输入/>。最终输出当前隐藏层状态/>。当前隐藏层状态/>包含部分上一层隐藏层状态/>和当前候选状态的一部分,包含内容的多少由更新门/>控制。
并将所述第一初始文本序列或所述第二初始文本序列的所述局部特征和所述全局特征进行融合得到融合特征z。在本实施例中,经过融合后的特征z包含了文本的高低层次的语义特征,进而增强生成过程中对文本全局语义信息的关注。
其中,针对于本实施例中的判别子网络的网络优化采用最小化交叉熵为目标函数。
并将所述融合特征通过所述全连接层得到关于所述第一初始文本序列或所述第二初始文本序列的状态数据或动作数据,基于所述状态数据和所述动作数据得到实时奖励值。
在本实施例中,针对于上述设置的生成子网络和判别子网络,训练过程为:通过全连接层得到关键词向量k,经过生成子网络生成长度为T的文本序列,在本实施例中将生成子网络视为策略,当前时刻生成的文本序列为状态st,下一步要生成的文本序列为动作at,通过判别子网络计算的实时奖励值,基于实时奖励值对生成子网络的参数进行更新直至实时奖励值为预期奖励值后停止更新,得到最终的生成子网络为生成网络。
通过上述训练过程得到生成网络,基于此生成网络得到初始文本。但为了保证基于模型生成的初始文本不具有语法错误,提高整体生成文本的合理性,还需要对初始文本进行二次验证。
具体的,针对于二次验证基于步骤S102中获得标签进行验证,具体的确定所述初始文本中所述实体标签、所述属性标签和所述要素标签对应的词组在所述初始文本中的相对文本位置关系。
本实施例中,所述相对文本位置关系为多个所述词组在所述初始文本中的相对位置关系。即词组之间的位置关系,其中针对于位置关系基于语法进行确定,而针对于语法的确定基于大模型中设置的标准关系(例如,语法规则)进行训练得到,具体表现为形容词应当在名词后面,即要素标签应当在实体标签后面;当然,在其他实施例中还可以为语法规则设置的其他标签的位置关系,在本实施例中不再进行枚举。
当经过判断后,确定当前的相对文本位置关系满足预设置的标准关系则所述初始文本为最终生成的市场文案。
本发明实施例所述的基于大语言模型的市场文案生成方法,通过将获得到的文本进行关键词提取得到多个关键词并确定多个关键词的标签,然后通过生成式对抗训练得到的生成网络对关键词进行处理得到初始文本,再基于初始文本中的关键词对应的标签确定初始文本是否满足预设置的标准关系,将满足标准关系的文本作为最终的市场文案;这样,能够自动生成市场文案。
本发明还提供一种基于大语言模型的市场文案生成***的具体实施方式,由于本发明提供的基于大语言模型的市场文案生成***与前述基于大语言模型的市场文案生成方法的具体实施方式相对应,该基于大语言模型的市场文案生成***可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的,因此上述基于大语言模型的市场文案生成方法具体实施方式中的解释说明,也适用于本发明提供的基于大语言模型的市场文案生成***的具体实施方式,在本发明以下的具体实施方式中将不再赘述。
如图2所示,本发明实施例还提供一种基于大语言模型的市场文案生成***200,包括:
关键词确定装置210,用于接收待处理的文本,对接收到的所述文本进行分词处理得到多个独立词组,在多个所述独立词组中确定多个关键词;
词组标签确定装置220,用于基于预设置的词组数据库确定多个所述关键词对应的词组标签,所述词组标签包括实体标签、属性标签和要素标签;
文案生成装置230,用于将多个所述关键词输入至生成网络中得到初始文本,并确定所述初始文本中所述实体标签、所述属性标签和所述要素标签对应的词组在所述初始文本中的相对文本位置关系,当所述相对文本位置关系满足预设置的标准关系则所述初始文本为最终生成的市场文案。
本发明实施例所述的基于大语言模型的市场文案生成***,通过将获得到的文本进行关键词提取得到多个关键词并确定多个关键词的标签,然后通过生成式对抗训练得到的生成网络对关键词进行处理得到初始文本,再基于初始文本中的关键词对应的标签确定初始文本是否满足预设置的标准关系,将满足标准关系的文本作为最终的市场文案;这样,能够自动生成市场文案。
图3是本发明实施例提供的一种电子设备600的结构示意图,该电子设备600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessing units,CPU)601和一个或一个以上的存储器602,其中,所述存储器602中存储有至少一条指令,所述至少一条指令由所述处理器601加载并执行以实现上述基于大语言模型的市场文案生成方法。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由终端中的处理器执行以完成上述基于大语言模型的市场文案生成方法。例如,所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
在说明书中提到“一个实施例”、“实施例”、“示例性实施例”、“一些实施例”等指示所述的实施例可以包括特定特征、结构或特性,但未必每个实施例都包括该特定特征、结构或特性。另外,在结合实施例描述特定特征、结构或特性时,结合其它实施例(无论是否明确描述)实现这种特征、结构或特性应在相关领域技术人员的知识范围内。
本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有彻底的了解,在以下本发明优选实施例中详细说明了具体的细节,而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。另外,为了避免对本发明的实质造成不必要的混淆,并没有详细说明众所周知的方法、过程、流程、元件和电路等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于计算机可读取存储介质中,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.一种基于大语言模型的市场文案生成方法,其特征在于,包括:
接收待处理的文本,对接收到的所述文本进行分词处理得到多个独立词组,在多个所述独立词组中确定多个关键词;包括:
识别所述文本中的标点符号,基于识别的所述标点符号确定所述文本中多个待分词语句;
对所述待分词语句根据预设置的查询词典进行查询,基于查询结果生成多个初始切分语句,基于多个所述初始切分语句构建词图,所述词图包括:多个所述待分词语句中所有可能词的起始位置和结束位置;
根据所述词图计算每种成词概率,并按照成词概率的顺序构建每一词组所对应的最高成词概率,将所述最高成词概率对应的成词组合为所述独立词组;
其中,针对于文本处理基于大模型实现,其中在大模型中设置有关于自然语言的查询词典,其中查新词典中包含所有的词组;
其中,词图为一种有向无环图,得到有向无环图后,再根据所述词图即有向无环图计算每种成词概率,并按照成词概率的顺序构建每一词组所对应的最高成词概率,将所述最高成词概率对应的成词组合为所述独立词组;
获取多个所述独立词组在所述文本中的词频信息,根据预设置的词频权重阈值确定符合要求的所述独立词组为关键词;
基于预设置的词组数据库确定多个所述关键词对应的词组标签,所述词组标签包括实体标签、属性标签和要素标签;
其中,实体标签是对词组中识别信息的表征,属性标签是对词组中属性信息的表征,要素标签是对词组中形容信息的表征;即在语法逻辑中,实体标签代表名词,属性标签代表副词,要素标签代表形容词;
将多个所述关键词输入至生成网络中得到初始文本,并确定所述初始文本中所述实体标签、所述属性标签和所述要素标签对应的词组在所述初始文本中的相对文本位置关系,当所述相对文本位置关系满足预设置的标准关系则所述初始文本为最终生成的市场文案;
所述相对文本位置关系为多个所述词组在所述初始文本中的相对位置关系;即词组之间的位置关系,其中针对于位置关系基于语法进行确定,而针对于语法的确定基于大模型中设置的语法规则进行训练得到,具体表现为形容词应当在名词后面,即要素标签应当在实体标签后面;
所述生成网络包括:全连接层以及基于循环神经网络为主体的初始生成网络;
所述将多个所述关键词输入至生成网络中得到初始文本包括:
基于所述全连接层提取多个所述关键词所对应的多个关键词向量,将多个所述关键词向量和多个所述关键词进行矩阵构建得到关键词矩阵,将所述关键词矩阵输入至初始生成网络中,通过所述初始生成网络得到的文本序列为所述初始文本;
所述生成网络基于生成式对抗网络训练获得,其中,训练过程包括:
构建基于循环神经网络为主体的初始生成网络,所述初始生成网络包括:生成子网络和判别子网络;
将所述全连接层输出的用作训练的关键词矩阵通过所述生成子网络按照相邻处理时间段得到第一初始文本序列和第二初始文本序列,将所述第一初始文本序列作为状态数据,将所述第二初始文本序列作为动作数据;
基于所述第一初始文本序列和所述第二初始文本序列通过所述判别子网络计算实时奖励值,基于所述实时奖励值对所述生成子网络的超参数进行更新直至所述实时奖励值等于预设置的奖励值;
所述生成子网络为第一循环神经网络;
所述判别子网络包括:卷积神经网络、第二循环神经网络和与卷积神经网络、第二循环神经网络连接的可学习的全连接层,其中,可学习的全连接层为基于可学习的门限机制建立;
其中,所述基于所述第一初始文本序列和所述第二初始文本序列通过所述判别子网络计算实时奖励值包括:
将所述第一初始文本序列或所述第二初始文本序列中任一序列分别输入至所述卷积神经网络和所述第二循环神经网络中,通过所述卷积神经网络得到关于所述第一初始文本序列或所述第二初始文本序列中任一序列的局部特征,通过所述第二循环神经网络得到关于所述第一初始文本序列或所述第二初始文本序列中任一序列的全局特征;
将所述第一初始文本序列或所述第二初始文本序列的所述局部特征和所述全局特征进行融合得到融合特征;
将所述融合特征通过可学习的全连接层得到关于所述第一初始文本序列的状态数据和所述第二初始文本序列的动作数据,基于所述状态数据和所述动作数据得到实时奖励值。
2.一种基于大语言模型的市场文案生成***,用于实现如权利要求1所述的方法,其特征在于,包括:
关键词确定装置,用于接收待处理的文本,对接收到的所述文本进行分词处理得到多个独立词组,在多个所述独立词组中确定多个关键词;
词组标签确定装置,用于基于预设置的词组数据库确定多个所述关键词对应的词组标签,所述词组标签包括实体标签、属性标签和要素标签;
文案生成装置,用于将多个所述关键词输入至生成网络中得到初始文本,并确定所述初始文本中所述实体标签、所述属性标签和所述要素标签对应的词组在所述初始文本中的相对文本位置关系,当所述相对文本位置关系满足预设置的标准关系则所述初始文本为最终生成的市场文案。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311817569.2A CN117473961B (zh) | 2023-12-27 | 2023-12-27 | 一种基于大语言模型的市场文案生成方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311817569.2A CN117473961B (zh) | 2023-12-27 | 2023-12-27 | 一种基于大语言模型的市场文案生成方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117473961A CN117473961A (zh) | 2024-01-30 |
CN117473961B true CN117473961B (zh) | 2024-04-05 |
Family
ID=89636534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311817569.2A Active CN117473961B (zh) | 2023-12-27 | 2023-12-27 | 一种基于大语言模型的市场文案生成方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117473961B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107145483A (zh) * | 2017-04-24 | 2017-09-08 | 北京邮电大学 | 一种基于嵌入式表示的自适应中文分词方法 |
CN111159454A (zh) * | 2019-12-30 | 2020-05-15 | 浙江大学 | 基于Actor-Critic生成式对抗网络的图片描述生成方法及*** |
CN112000769A (zh) * | 2020-08-17 | 2020-11-27 | 东北林业大学 | 一种基于对抗网络的服装商品广告文案生成方法 |
CN114445465A (zh) * | 2022-02-28 | 2022-05-06 | 常州大学 | 一种基于融合逆强化学习的轨迹预测方法 |
CN116108830A (zh) * | 2023-03-30 | 2023-05-12 | 山东大学 | 一种句法可控文本改写方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230153606A1 (en) * | 2021-11-12 | 2023-05-18 | Nec Laboratories America, Inc. | Compositional text-to-image synthesis with pretrained models |
-
2023
- 2023-12-27 CN CN202311817569.2A patent/CN117473961B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107145483A (zh) * | 2017-04-24 | 2017-09-08 | 北京邮电大学 | 一种基于嵌入式表示的自适应中文分词方法 |
CN111159454A (zh) * | 2019-12-30 | 2020-05-15 | 浙江大学 | 基于Actor-Critic生成式对抗网络的图片描述生成方法及*** |
CN112000769A (zh) * | 2020-08-17 | 2020-11-27 | 东北林业大学 | 一种基于对抗网络的服装商品广告文案生成方法 |
CN114445465A (zh) * | 2022-02-28 | 2022-05-06 | 常州大学 | 一种基于融合逆强化学习的轨迹预测方法 |
CN116108830A (zh) * | 2023-03-30 | 2023-05-12 | 山东大学 | 一种句法可控文本改写方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN117473961A (zh) | 2024-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110633409B (zh) | 一种融合规则与深度学习的汽车新闻事件抽取方法 | |
CN111966812B (zh) | 一种基于动态词向量的自动问答方法和存储介质 | |
CN111984766A (zh) | 缺失语义补全方法及装置 | |
CN116775847A (zh) | 一种基于知识图谱和大语言模型的问答方法和*** | |
US11170169B2 (en) | System and method for language-independent contextual embedding | |
CN113761868B (zh) | 文本处理方法、装置、电子设备及可读存储介质 | |
CA3050202A1 (en) | Visualization interface for voice input | |
CN111611393A (zh) | 一种文本分类方法、装置及设备 | |
CN113705196A (zh) | 基于图神经网络的中文开放信息抽取方法和装置 | |
CN113033183A (zh) | 一种基于统计量与相似性的网络新词发现方法及*** | |
CN114417872A (zh) | 一种合同文本命名实体识别方法及*** | |
CN116304748A (zh) | 一种文本相似度计算方法、***、设备及介质 | |
CN114840685A (zh) | 一种应急预案知识图谱构建方法 | |
CN117251524A (zh) | 一种基于多策略融合的短文本分类方法 | |
CN115329075A (zh) | 基于分布式机器学习的文本分类方法 | |
CN114239828A (zh) | 一种基于因果关系的供应链事理图谱构建方法 | |
CN113569008A (zh) | 一种基于社区治理数据的大数据分析方法及*** | |
CN110377753B (zh) | 基于关系触发词与gru模型的关系抽取方法及装置 | |
CN109977194B (zh) | 基于无监督学习的文本相似度计算方法、***、设备及介质 | |
CN114386425B (zh) | 用于对自然语言文本内容进行处理的大数据体系建立方法 | |
CN117473961B (zh) | 一种基于大语言模型的市场文案生成方法及*** | |
CN116186219A (zh) | 一种人机对话交互方法方法、***及存储介质 | |
CN111078886B (zh) | 基于dmcnn的特殊事件提取*** | |
CN114003773A (zh) | 一种基于自构建多场景的对话追踪方法 | |
Wu et al. | A Text Emotion Analysis Method Using the Dual‐Channel Convolution Neural Network in Social Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |