CN114817682A - 基于双重注意力解码网络的跨语言摘要方法 - Google Patents
基于双重注意力解码网络的跨语言摘要方法 Download PDFInfo
- Publication number
- CN114817682A CN114817682A CN202210499965.4A CN202210499965A CN114817682A CN 114817682 A CN114817682 A CN 114817682A CN 202210499965 A CN202210499965 A CN 202210499965A CN 114817682 A CN114817682 A CN 114817682A
- Authority
- CN
- China
- Prior art keywords
- vector
- abstract
- language
- information
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000007246 mechanism Effects 0.000 claims abstract description 29
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 230000009977 dual effect Effects 0.000 claims abstract description 10
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 130
- 230000008569 process Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000000844 transformation Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 3
- 230000009193 crawling Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000007670 refining Methods 0.000 abstract 1
- 238000002474 experimental method Methods 0.000 description 8
- 238000013519 translation Methods 0.000 description 5
- 238000002679 ablation Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- OWFJMIVZYSDULZ-PXOLEDIWSA-N (4s,4ar,5s,5ar,6s,12ar)-4-(dimethylamino)-1,5,6,10,11,12a-hexahydroxy-6-methyl-3,12-dioxo-4,4a,5,5a-tetrahydrotetracene-2-carboxamide Chemical compound C1=CC=C2[C@](O)(C)[C@H]3[C@H](O)[C@H]4[C@H](N(C)C)C(=O)C(C(N)=O)=C(O)[C@@]4(O)C(=O)C3=C(O)C2=C1O OWFJMIVZYSDULZ-PXOLEDIWSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及基于双重注意力解码网络的跨语言摘要方法，属自然语言处理领域。本发明包括：构建越南语‑汉语跨语言文本摘要数据集；提出一个双重注意力机制，它包括了一个多头注意力模块和精炼器模块。多头注意力模块用于捕捉源语言文本映射到目标语言序列的粗略关系，通过映射关系生成含有全局文本信息的目标语言序列；精炼器模块是在粗糙序列的基础上重新细化和检查，不仅能过滤掉序列中的一些无用信息，提高命中正确实体的概率，还能细化序列中实体的逻辑关系；提出针对跨语言文本摘要的双重注意力解码器的网络模型(DADN)。本发明通过DADN在构建的越南语‑汉语跨语言文本摘要数据集进行训练，模型效果要优于基线方法，生成的摘要也更加精准和流利。
Description
本发明涉及越南语到汉语的跨语言摘要文本方法，属于自然语言处理技术领域。
背景技术
随着信息技术的飞快发展，各类信息机构每天都会发出和传递海量信息，人们需要从这些信息中快速过滤得到自己想要的内容，因此，文本摘要技术应运而生。文本摘要技术可以把长篇累牍的文章言简意赅地转化成一个摘要，帮助人们更高效、便捷地筛选出重要信息。近些年来，世界全球化的进程在不断加深，各国人民之间联系日渐紧密，但是由于每个国家母语的差异性给人们获取信息带来相当大的挑战。跨语言文本摘要是输入某种语言的文档从而生成另外一种不同语言摘要的技术，这种技术在帮助不同母语国家的人在互联网大量信息中快速获取有效跨语言信息发挥着至关重要的作用。
发明内容
本发明提供了基于双重注意力解码网络的跨语言摘要方法，以用于越南语新闻生成中文摘要，解决了在模型解码过程中，摘要关键实体缺失和摘要句子逻辑结构错误的关键问题。
本发明的技术方案是：基于双重注意力解码网络的跨语言摘要方法，所述方法的具体步骤如下：
Step1、通过爬虫技术抓取中越双语网站的新闻文档和摘要，通过过滤方式对新闻文本内容进行清洗，分类对应两个语种内容的文档和摘要，构建越南语新闻文档和中文摘要数据集；
Step2、利用词嵌入和位置嵌入分别将越南语新闻文档和中文摘要分别进行特征编码，在特征编码后分别通过多头注意力机制进行特征提取；通过双重注意力机制，获得越南语新闻文档和中文摘要的映射关系；将解码出的中文摘要与真实标签的摘要进行一个损失计算，将编解码模型参数更新来不断训练模型。
作为本发明的进一步方案，所述Step1的具体步骤为：
Step1.1、采用基于Scrapy框架的爬虫从一些中越双语新闻爬取大量双语新闻文档和对应摘要；
Step1.2、对双语文档摘要进行过滤筛选，过滤筛选的方式如下所示：(1)、根据不同网站的页面格式进行正则规则过滤，得到过滤后编号了的对应双语新闻文档和摘要(2)、把双语文档根据编号得到对应的越南语新闻文档和中文摘要数据集。
作为本发明的进一步方案，所述Step2的具体步骤如下：
Step2.1、对于源语言文档
和目标语言摘要
经过词嵌入和位置嵌入得到高维张量，其中
表示在源语言A上第i个词,
表示在目标语言B上第j个词；
Step2.2、源语言文档和目标语言摘要通过编码端和解码端的多头注意力机制进行特征提取；多头自注意力机制通过8个相互独立的注意力机制，从不同位置的子空间提取特征，最后再拼接合并各个头，每个头计算的过程描述为如公式(1)所示：
其中，Q，K，V，d分别代表查询向量Q、键矩阵K、值矩阵V和向量维度d；
之后每个头计算出的子序列再拼接组装后得到上下文的摘要向量C，如公式(2)所示：
Step2.3、双重注意力机制模块DA则在输出的摘要向量C和查询向量Q上面进行处理，通过Q的信息再一次来增强C的特征；在双重注意力机制模块DA输出增强后的摘要向量C'的过程中，它会生成两个不同的向量，分别命名为信息向量I和门控向量G；信息向量I是由查询向量Q和摘要向量C分别通过两个不同的线性变换生成，它主要是为了增强含有真实标签的查询向量对摘要向量的影响，使摘要向量中包含着查询向量的重要信息，而不是简简单单地算出查询向量对应到编码器文本内容的关注权重；门控向量G同样由查询向量Q和摘要向量C分别通过两个不同的线性变换生成，但是还需通过一个σ函数把向量数值映射到区间[0,1]之间，最后，计算信息向量I和门控向量G的哈达马积，得到增强后的摘要向量C'；其中，信息向量I的生成过程如公式(3)所示，查询向量Q通过一个没有偏置的线性变化，摘要向量C通过一个有偏置的线性变换；门控向量G和信息向量I的计算过程相同，仅在后面接上sigmoid的函数变换，具体过程如公式(4)所示：
其中，
代表查询向量Q计算出信息向量I的权重矩阵，
代表摘要向量C计算出信息向量I的权重矩阵，
代表查询向量Q计算出门控向量G的权重矩阵，
代表摘要向量C计算出门控向量G的权重矩阵，bi就是信息向量I的偏置，bg就是门控向量G的偏置；
Step2.4、最后，信息向量I和门控向量G相乘，再通过一个残差连接得到信息增强后的摘要向量C'，这个过程描述成公式(5)：
C'＝C+I*G (5)
双重注意力机制模块DA的整个过程表示成公式(6)：
则训练整个Transformer模型以达到最大化目标语言摘要的条件概率为：
其中上式(7)为模型损失的计算，A代表源语言，B代表目标语言，m代表源语言句子共有m个单词。
本发明的有益效果是：本发明利用词嵌入和位置嵌入分别将越南语新闻文档和中文摘要分别进行特征编码，在特征编码后分别通过多头注意力机制进行特征提取；通过双重注意力机制，获得越南语新闻文档和中文摘要的映射关系；通过在解码端重新检查源语言文本和目标语言摘要之间的关系，来进一步精准对齐不同语种长短文本之间的语言关系，帮助生成更加精准和流利的短文摘要。
附图说明
图1是本发明中双重注意力机制模块DA具体结构示意图；
图2是本发明中DADN的具体结构示意图。
具体实施方式
实施例1：如图1-图2所示，基于双重注意力解码网络的跨语言摘要方法，所述方法的具体步骤如下：
Step1、通过爬虫技术抓取中越双语网站的新闻文档和摘要，通过过滤方式对新闻文本内容进行清洗，分类对应两个语种内容的文档和摘要，构建越南语新闻文档和中文摘要数据集；
Step1.1、采用基于Scrapy框架的爬虫从一些中越双语新闻爬取大量双语新闻文档和对应摘要；
Step1.2、对双语文档摘要进行过滤筛选，过滤筛选的方式如下所示：(1)、根据不同网站的页面格式进行正则规则过滤，得到过滤后编号了的对应双语新闻文档和摘要(2)、把双语文档根据编号得到对应的越南语新闻文档和中文摘要数据集；数据集相关参数如表1所示，#Documents表示越汉文档-摘要平行语料对个数，每一个语料对都含有对应的双语版本。#AvgViWords表示越南语分词后平均每个语料对词的个数。#AvgZhWords表示中文分词后平均每个语料对词的个数。：
表1：越汉跨语言文档-摘要数据表。
Step2、利用词嵌入和位置嵌入分别将越南语新闻文档和中文摘要分别进行特征编码，在特征编码后分别通过多头注意力机制进行特征提取；通过双重注意力机制，获得越南语新闻文档和中文摘要的映射关系；将解码出的中文摘要与真实标签的摘要进行一个损失计算，将编解码模型参数更新来不断训练模型。
作为本发明的进一步方案，所述Step2的具体步骤如下：
Step2.1、对于源语言文档
和目标语言摘要
经过词嵌入和位置嵌入得到高维张量，其中
表示在源语言A上第i个词,
表示在目标语言B上第j个词；
Step2.2、源语言文档和目标语言摘要通过编码端和解码端的多头注意力机制进行特征提取；多头自注意力机制通过8个相互独立的注意力机制，从不同位置的子空间提取特征，最后再拼接合并各个头，每个头计算的过程描述为如公式(1)所示：
其中，Q，K，V，d分别代表查询向量Q、键矩阵K、值矩阵V和向量维度d；
之后每个头计算出的子序列再拼接组装后得到上下文的摘要向量C，如公式(2)所示：
Step2.3、双重注意力机制模块DA则在输出的摘要向量C和查询向量Q上面进行处理，通过Q的信息再一次来增强C的特征；在双重注意力机制模块DA输出增强后的摘要向量C'的过程中，它会生成两个不同的向量，分别命名为信息向量I和门控向量G；信息向量I是由查询向量Q和摘要向量C分别通过两个不同的线性变换生成，它主要是为了增强含有真实标签的查询向量对摘要向量的影响，使摘要向量中包含着查询向量的重要信息，而不是简简单单地算出查询向量对应到编码器文本内容的关注权重；门控向量G同样由查询向量Q和摘要向量C分别通过两个不同的线性变换生成，但是还需通过一个σ函数把向量数值映射到区间[0,1]之间，最后，计算信息向量I和门控向量G的哈达马积，得到增强后的摘要向量C'；其中，信息向量I的生成过程如公式(3)所示，查询向量Q通过一个没有偏置的线性变化，摘要向量C通过一个有偏置的线性变换；门控向量G和信息向量I的计算过程相同，仅在后面接上sigmoid的函数变换，具体过程如公式(4)所示：
其中，
代表查询向量Q计算出信息向量I的权重矩阵，
代表摘要向量C计算出信息向量I的权重矩阵，
代表查询向量Q计算出门控向量G的权重矩阵，
代表摘要向量C计算出门控向量G的权重矩阵，bi就是信息向量I的偏置，bg就是门控向量G的偏置；
Step2.4、最后，信息向量I和门控向量G相乘，再通过一个残差连接得到信息增强后的摘要向量C'，这个过程描述成公式(5)：
C'＝C+I*G (5)
双重注意力机制模块DA的整个过程表示成公式(6)：
则训练整个Transformer模型以达到最大化目标语言摘要的条件概率为：
其中上式(7)为模型损失的计算，A代表源语言，B代表目标语言，m代表源语言句子共有m个单词。
为了说明本发明的效果，实验设置了2组对比实验。第一组实验验证DNAN模型的有效性，另一组为DA的有效性。
本发明提出一个双重注意力机制模块，它包括了一个多头注意力模块和精炼器模块。多头注意力模块用于捕捉源语言文本映射到目标语言序列的粗略关系，通过映射关系生成含有全局文本信息的目标语言序列；精炼器模块是在粗糙序列的基础上重新细化和检查，不仅能过滤掉序列中的一些无用信息，提高命中正确实体的概率，还能细化序列中实体的逻辑关系，本发明对应的模型为针对跨语言文本摘要的双重注意力解码器的网络模型，简称DADA；
实验将本发明对应的解码器网络模型DADN模型与两种传统方法和NCLS进行比较：
TETran(先翻译后摘要):首先，把筛选出的数据集用提取出10w越-汉翻译平行预料，通过这部分数据在Transformer训练出一个越-汉MT模型。接下来采用训练好的摘要方法hanlp来直接获取汉语摘要。这里采用训练好的hanlp模型有两个原因：第一，它契合汉语自动摘要，是目前在工业上运用得最多的汉语自动摘要模型之一；第二，重新训练单语摘要模型对结果影响较大，选择训练好的hanlp可以减小在自动摘要中的误差。
TLTran(先摘要后翻译)：同理，利用数据集提取出10w越南语文档-摘要平行预料，并基于Transformer训练一个越南语生成式MS模型，训练后的MS模型效果如表5所示。最后，选择Google Translator作为摘要的翻译模型，因为Google Translator 是目前世界上最好的翻译模型之一。
NCLS：基于Transform实现NCLS的，通过源语言文档-目标语言摘要对训练模型。这里我们把构建好的越-汉跨语言摘要对在NCLS上训练。
DADN:本发明方法中针对跨语言文本摘要的双重注意力解码器的网络模型，模型输入输出同样是采用构建好的跨语言文本摘要对，会预先用编码端的源语言文档训练一个词向量，替换掉编码端随机初始化的词向量，解码端则不进行操作，直接采用随机初始化的方式。
表2对比实验结果表
DADN在三个ROUGE指标上都优于传统管道方式和Baseline。但与NCLS相比， DADN仅提高了+1.21ROUGE-1,+0.74ROUGE-2,+0.77ROUGE-L，这是因为在低资源条件下，即使对模型改进再大，分数也难以提升太多，但是模型的目标主要是放在针对摘要内容的一个信息量和完整度做比较。虽然DADN在评价指标上提升不是特别显著，但在摘要信息量和完整度的表现上优于其他所有模型。
为了证明DADN修改的部分都有效果的提升，也设计了一个消融实验，分别在 DADN上分别减去每一个设计的板块。第一个实验是不采用DA板块，简称为“(-)DA”；第二个实验则是不采用预训练词向量，简称为“(-)PreTrain”。整个实验结果如表7 所示。DA模块和预训练模块对DADN的效果提升都有一个积极的影响，分别在评价
指标ROUGE-1,ROUGE-2,ROUGE-L提高0.82％、0.4％、0.41％和0.47％、0.34％、0.23％。由此可见，DA和预训练词向量在低资源条件下对模型提升均有很好的帮助。
表3消融实验结果表
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (3)
1.基于双重注意力解码网络的跨语言摘要方法，其特征在于：所述方法的具体步骤如下：
Step1、通过爬虫技术抓取中越双语网站的新闻文档和摘要，通过过滤方式对新闻文本内容进行清洗，分类对应两个语种内容的文档和摘要，构建越南语新闻文档和中文摘要数据集；
Step2、利用词嵌入和位置嵌入分别将越南语新闻文档和中文摘要分别进行特征编码，在特征编码后分别通过多头注意力机制进行特征提取；通过双重注意力机制，获得越南语新闻文档和中文摘要的映射关系；将解码出的中文摘要与真实标签的摘要进行一个损失计算，将编解码模型参数更新来不断训练模型。
2.根据权利要求1所述的基于双重注意力解码网络的跨语言摘要方法，其特征在于：所述Step1的具体步骤为：
Step1.1、采用基于Scrapy框架的爬虫从一些中越双语新闻爬取大量双语新闻文档和对应摘要；
Step1.2、对双语文档摘要进行过滤筛选，过滤筛选的方式如下所示：(1)、根据不同网站的页面格式进行正则规则过滤，得到过滤后编号了的对应双语新闻文档和摘要(2)、把双语文档根据编号得到对应的越南语新闻文档和中文摘要数据集。
3.根据权利要求1所述的基于双重注意力解码网络的跨语言摘要方法，其特征在于：所述Step2的具体步骤如下：
Step2.1、对于源语言文档
和目标语言摘要
经过词嵌入和位置嵌入得到高维张量，其中
表示在源语言A上第i个词,
表示在目标语言B上第j个词；
Step2.2、源语言文档和目标语言摘要通过编码端和解码端的多头注意力机制进行特征提取；多头自注意力机制通过8个相互独立的注意力机制，从不同位置的子空间提取特征，最后再拼接合并各个头，每个头计算的过程描述为如公式(1)所示：
其中，Q，K，V，d分别代表查询向量Q、键矩阵K、值矩阵V和向量维度d；
之后每个头计算出的子序列再拼接组装后得到上下文的摘要向量C，如公式(2)所示：
Step2.3、双重注意力机制模块DA则在输出的摘要向量C和查询向量Q上面进行处理，通过Q的信息再一次来增强C的特征；在双重注意力机制模块DA输出增强后的摘要向量C'的过程中，它会生成两个不同的向量，分别命名为信息向量I和门控向量G；信息向量I是由查询向量Q和摘要向量C分别通过两个不同的线性变换生成，它主要是为了增强含有真实标签的查询向量对摘要向量的影响，使摘要向量中包含着查询向量的重要信息，而不是简简单单地算出查询向量对应到编码器文本内容的关注权重；门控向量G同样由查询向量Q和摘要向量C分别通过两个不同的线性变换生成，但是还需通过一个σ函数把向量数值映射到区间[0,1]之间，最后，计算信息向量I和门控向量G的哈达马积，得到增强后的摘要向量C'；其中，信息向量I的生成过程如公式(3)所示，查询向量Q通过一个没有偏置的线性变化，摘要向量C通过一个有偏置的线性变换；门控向量G和信息向量I的计算过程相同，仅在后面接上sigmoid的函数变换，具体过程如公式(4)所示：
其中，
代表查询向量Q计算出信息向量I的权重矩阵，
代表摘要向量C计算出信息向量I的权重矩阵，
代表查询向量Q计算出门控向量G的权重矩阵，
代表摘要向量C计算出门控向量G的权重矩阵，bi就是信息向量I的偏置，bg就是门控向量G的偏置；
Step2.4、最后，信息向量I和门控向量G相乘，再通过一个残差连接得到信息增强后的摘要向量C'，这个过程描述成公式(5)：
C'＝C+I*G (5)
双重注意力机制模块DA的整个过程表示成公式(6)：
则训练整个Transformer模型以达到最大化目标语言摘要的条件概率为：
其中上式(7)为模型损失的计算，A代表源语言，B代表目标语言，m代表源语言句子共有m个单词。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210499965.4A CN114817682B (zh) | 2022-05-09 | 2022-05-09 | 基于双重注意力解码网络的跨语言摘要方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210499965.4A CN114817682B (zh) | 2022-05-09 | 2022-05-09 | 基于双重注意力解码网络的跨语言摘要方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114817682A true CN114817682A (zh) | 2022-07-29 |
| CN114817682B CN114817682B (zh) | 2024-04-19 |
Family
ID=82512850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210499965.4A Active CN114817682B (zh) | 2022-05-09 | 2022-05-09 | 基于双重注意力解码网络的跨语言摘要方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114817682B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118170920A (zh) * | 2024-05-13 | 2024-06-11 | 南昌大学 | 一种混合语种文本检测方法及*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140075004A1 (en) * | 2012-08-29 | 2014-03-13 | Dennis A. Van Dusen | System And Method For Fuzzy Concept Mapping, Voting Ontology Crowd Sourcing, And Technology Prediction |
| CN109710923A (zh) * | 2018-12-06 | 2019-05-03 | 浙江大学 | 基于跨媒体信息的跨语言实体匹配方法 |
| CN110378409A (zh) * | 2019-07-15 | 2019-10-25 | 昆明理工大学 | 一种基于要素关联注意力机制的汉越新闻文档摘要生成方法 |
| CN112541343A (zh) * | 2020-12-03 | 2021-03-23 | 昆明理工大学 | 基于词对齐的半监督对抗学习跨语言摘要生成方法 |
| CN113326706A (zh) * | 2021-06-29 | 2021-08-31 | 北京搜狗科技发展有限公司 | 一种跨语言检索方法、装置和电子设备 |
| CN113627170A (zh) * | 2021-07-01 | 2021-11-09 | 昆明理工大学 | 多特征融合的越南语关键词生成方法 |
-
2022
- 2022-05-09 CN CN202210499965.4A patent/CN114817682B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140075004A1 (en) * | 2012-08-29 | 2014-03-13 | Dennis A. Van Dusen | System And Method For Fuzzy Concept Mapping, Voting Ontology Crowd Sourcing, And Technology Prediction |
| CN109710923A (zh) * | 2018-12-06 | 2019-05-03 | 浙江大学 | 基于跨媒体信息的跨语言实体匹配方法 |
| CN110378409A (zh) * | 2019-07-15 | 2019-10-25 | 昆明理工大学 | 一种基于要素关联注意力机制的汉越新闻文档摘要生成方法 |
| CN112541343A (zh) * | 2020-12-03 | 2021-03-23 | 昆明理工大学 | 基于词对齐的半监督对抗学习跨语言摘要生成方法 |
| CN113326706A (zh) * | 2021-06-29 | 2021-08-31 | 北京搜狗科技发展有限公司 | 一种跨语言检索方法、装置和电子设备 |
| CN113627170A (zh) * | 2021-07-01 | 2021-11-09 | 昆明理工大学 | 多特征融合的越南语关键词生成方法 |
Non-Patent Citations (2)
| Title |
|---|
| IVAN FUNG等: "multi head attention for end-to-end neural machine translation", 2018 11替换INTERNATIONAL SYMPOSIUM ON CHINESE SPOKEN LANGUAGE PROCESSING, 29 November 2018 (2018-11-29), pages 250 - 254, XP033545254, DOI: 10.1109/ISCSLP.2018.8706667 * |
| 楚博文: "基于Transformer结构的汉越跨语言文本摘要方法研究", 中国优秀硕士学位论文全文论文库, 1 February 2024 (2024-02-01), pages 1 - 68 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118170920A (zh) * | 2024-05-13 | 2024-06-11 | 南昌大学 | 一种混合语种文本检测方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114817682B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Karpathy et al. | Deep visual-semantic alignments for generating image descriptions | |
| CN112765345A (zh) | 一种融合预训练模型的文本摘要自动生成方法及*** | |
| CN112257460B (zh) | 基于枢轴的汉越联合训练神经机器翻译方法 | |
| CN115759119B (zh) | 一种金融文本情感分析方法、***、介质和设备 | |
| Perez-Martin et al. | A comprehensive review of the video-to-text problem | |
| Zhuang et al. | Chinese language processing based on stroke representation and multidimensional representation | |
| CN114817682B (zh) | 基于双重注意力解码网络的跨语言摘要方法 | |
| Akyürek et al. | LexSym: Compositionality as lexical symmetry | |
| CN113657125B (zh) | 一种基于知识图谱的蒙汉非自回归机器翻译方法 | |
| Mahata et al. | Simplification of English and Bengali sentences for improving quality of machine translation | |
| Yan et al. | The impact of named entity translation for neural machine translation | |
| Onan et al. | Improving Turkish text sentiment classification through task-specific and universal transformations: an ensemble data augmentation approach | |
| Yin et al. | Multi-modal graph contrastive encoding for neural machine translation | |
| Shi et al. | Adding Visual Information to Improve Multimodal Machine Translation for Low‐Resource Language | |
| CN113204978A (zh) | 一种机器翻译增强训练方法及*** | |
| Akyürek et al. | Compositionality as lexical symmetry | |
| CN116955594A (zh) | 语义融合预训练模型构建方法及跨语言摘要生成方法和*** | |
| Lin et al. | Chinese story generation of sentence format control based on multi-channel word embedding and novel data format | |
| CN110321568A (zh) | 基于融合词性和位置信息的汉-越卷积神经机器翻译方法 | |
| Zhong et al. | Contrast-augmented diffusion model with fine-grained sequence alignment for markup-to-image generation | |
| Chen et al. | Multilevel Semantic Interaction Alignment for Video–Text Cross-Modal Retrieval | |
| CN114185573A (zh) | 一种人机交互机器翻译***的实现和在线更新***及方法 | |
| Shekhar et al. | Computational linguistic retrieval framework using negative bootstrapping for retrieving transliteration variants | |
| Wang et al. | Joint extraction of entities and relations from ancient Chinese medical literature | |
| Wang | Design of Automatic Translation System for English for Special Purpose in Agriculture Based on Neural Machine Translation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |