CN117391082B - 一种长篇工程设计报告中综合说明自动生成方法及*** - Google Patents
一种长篇工程设计报告中综合说明自动生成方法及*** Download PDFInfo
- Publication number
- CN117391082B CN117391082B CN202311686141.9A CN202311686141A CN117391082B CN 117391082 B CN117391082 B CN 117391082B CN 202311686141 A CN202311686141 A CN 202311686141A CN 117391082 B CN117391082 B CN 117391082B
- Authority
- CN
- China
- Prior art keywords
- sentence
- professional
- sentences
- text
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013461 design Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 34
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 14
- 210000002569 neuron Anatomy 0.000 claims description 10
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 9
- 230000002238 attenuated effect Effects 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000002360 preparation method Methods 0.000 abstract description 2
- 238000003058 natural language processing Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/34—Browsing; Visualisation therefor
- G06F16/345—Summarisation for human users
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种长篇工程设计报告中综合说明自动生成方法及***，涉及专业技术报告编制领域。本发明通过将待检测原文本拆分成各个专业文本，对每个专业的专业文本进行句子拆分，对每个句子进行泛读和精读，输出深度理解的句子和句子的Rouge值，再通过多头注意力集中模型和Rouge值预测模型获取深度理解的句子和每个深度理解的句子的Rouge值，进而确定每个专业的专业摘要终稿；将每个专业摘要终稿按照原文本中的专业顺序进行排列，获取综合说明终稿，最终实现了长篇工程设计报告中综合说明自动生成，提高了长篇工程报告中综合说明生成效率与质量。
Description
技术领域
本发明涉及专业技术报告编制领域，尤其涉及一种长篇工程设计报告中综合说明自动生成方法及***。
背景技术
在设计型企业中，工程设计报告是其核心产品，涉及项目从规划、勘测、设计到建设的各个阶段以及多个专业。设计报告篇幅长，涉及专业众多，文档编制、生成花费公司大量的人力、物力，成为所有设计人员日常主要的工作内容。特别是摘要和综合说明的编写中，既要求编辑人员对专业技术十分熟悉，又要求对整个报告的布局、重点、技术方向等有充分的把控。
现有技术中，已有短篇文档的摘要生成技术，但仅仅是基于词频实现摘要的合成，而长篇设计报告中，篇幅多、内容多、设计的技术、关键点也多，单纯的依靠词频，会导致生成的摘要准确性低，因此亟需长篇工程设计报告中综合说明自动生成方法。
因此，需要借助数字化技术研究长篇工程设计报告中综合说明自动生成方法，提高长篇工程报告中摘要和综合说明生成效率与质量，实现生产方式的创新。
发明内容
针对现有技术存在的缺陷，本发明提出一种长篇工程设计报告中综合说明自动生成方法，具体包括如下步骤：
步骤S1，获取待检测的原文本，并将所述原文本按照专业进行拆分，获得每个专业的专业文本；
步骤S2，对每个专业的专业文本进行句子拆分，对每个句子进行泛读和精读，输出深度理解的句子，根据所述深度理解的句子获取每个深度理解的句子的Rouge值；
步骤S3，根据深度理解的句子和所述Rouge值，获取每个专业的专业摘要终稿；
步骤S4，将每个所述专业摘要终稿按照原文本中的专业顺序进行排列，获取综合说明终稿；
步骤S5，将生成的综合说明终稿收录至训练素材库。
进一步的，所述步骤S2具体为：
步骤S21，对专业文本进行句子拆分，将拆分后的句子输入泛读模型，输出包含所述专业文本的全局信息的句子；
步骤S22，将包含全局信息的句子输入精读模型，输出对所述专业文本中每个句子深度理解的句子；
步骤S23，将所述深度理解的句子输入多头注意力集中模型，输出每个深度理解的句子与所述专业文本的相关性结果；
步骤S24，将所述每个深度理解的句子和所述相关性结果输入Rouge值预测模型，输出每个深度理解的句子的Rouge值。
进一步的，所述步骤S3中，根据深度理解的句子和所述Rouge值，获取每个专业的专业摘要终稿，具体为：
步骤S31，将所述Rouge值进行降序排列，获取排在前K个的Rouge值及K个所述Rouge值对应的深度理解的句子，K为摘要长度参数；
步骤S32，将K个所述深度理解的句子按照在专业文本中的顺序进行排列，获取专业摘要初稿；
步骤S33，对所述专业摘要初稿进行平滑处理，获取专业摘要终稿。
进一步的，所述泛读模型采用NLP模型，用于获取包含专业文本的全局信息的句子，具体为：
步骤S211，将专业文本的第1个句子放入隐空间，获得句子1的隐空间；
步骤S212，根据第2个句子和句子1的隐空间，获得句子2的隐空间，所述句子2的隐空间同时带有第1、第2个句子的信息；
步骤S213，以此类推，直至根据第N个句子和句子N-1的隐空间，获得句子N的隐空间，所述句子N的隐空间中包含专业文本的全局信息的句子，N为专业文本的句子数量。
进一步的，所述精读模型采用NLP模型，用于获取每个深度理解的句子，具体为：
步骤S221，根据专业文本的第1个句子及泛读阶段获取的包含专业文本的全局信息的句子，获得深度理解的第1个句子；
步骤S222，根据专业文本的第2个句子及泛读阶段获取的包含专业文本的全局信息的句子，输出深度理解的第2个句子；
步骤S223，以此类推，直至获取深度理解的所有的N个句子。
进一步的，所述多头注意力集中模型采用MLP模型，用于采用多头注意力集中机制计算每个深度理解的句子与专业文本的相关性结果；所述相关性结果为每个深度理解的句子的数值和权重。
进一步的，所述Rouge值预测模型采用MLP模型，用于根据所述每个深度理解的句子及相关性结果获取每个句子的Rouge值。
进一步的，所述Rouge值预测模型的损失函数L为：
；
其中，N为句子的数量，pi为多头注意力集中模型输出的第i个句子的权重，yi为多头注意力集中模型输出的第i个句子的数值，ri为Rouge值预测模型输出的第i个句子的Rouge值。
进一步的，所述步骤S33中，所述平滑处理的算法为Ernie算法。
一种长篇工程设计报告中综合说明自动生成***，使用如上任一项所述的长篇工程设计报告中综合说明自动生成方法，包括如下模块：
数据获取模块：用于获取待检测的原文本，并将所述原文本按照专业进行拆分，获得每个专业的专业文本；
Rouge值计算模块：与所述数据获取模块连接，用于对每个专业的专业文本进行句子拆分，对每个句子进行泛读和精读，输出深度理解的句子，根据所述深度理解的句子获取每个深度理解的句子的Rouge值；
专业摘要生成模块：与所述Rouge值计算模块连接，用于根据深度理解的句子和所述Rouge值，获取每个专业的专业摘要终稿；
综合说明生成模块，与所述专业摘要生成模块连接，用于将每个所述专业摘要终稿按照原文本中的专业顺序进行排列，获取综合说明终稿；
数据收录模块，与所述综合说明生成模块连接，用于将生成的综合说明终稿收录至训练素材库。
与现有技术相比较，本发明的有益效果在于：
其一，本发明通过将待检测的原文本拆分成各个专业文本，对每个专业的专业文本处理，获取每个专业的专业摘要终稿；再根据原文本中的顺序进行排序，进而获取综合说明终稿，最终实现了长篇工程设计报告中综合说明自动生成，相较于现有技术以词频为依据的摘要生成方法，本发明通过获取含有全局信息的句子，再计算句子的Rouge值，根据Rouge值获取与原文相关性最高的句子，提高了长篇工程报告中综合说明生成结果的准确率，实现了生产方式的创新；
其二，本发明采用四个模型依次连接，泛读模型和精读模型采用NLP模型，相较于采用单个的模型，可以使句子分析模型更加充分、准确的理解所有句子的含义；多头注意力集中模型采用MLP模型，对所述N个深度理解的句子进行处理，获取句子的相关性结果；Rouge值预测模型采用MLP模型，根据所述N个深度理解的句子及句子的相关性结果计算每个句子的Rouge值，最终使得句子分析模型充分结合了每个模型的特点，为综合说明的生成提供准确的数据基础，提升模型输出结果的准确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明综合说明自动生成方法流程图；
图2为本发明综合说明自动生成***的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本领域技术人员应当知晓，下述具体实施例或具体实施方式，是本发明为进一步解释具体的发明内容而列举的一系列优化的设置方式，而该些设置方式之间均是可以相互结合或者相互关联使用的，除非在本发明明确提出了其中某些或某一具体实施例或实施方式无法与其他的实施例或实施方式进行关联设置或共同使用。同时，下述的具体实施例或实施方式仅作为最优化的设置方式，而不作为限定本发明的保护范围的理解。
下面结合附图（表）对本发明的具体实施方式做出说明。
本发明提出了一种长篇工程设计报告中综合说明自动生成方法，具体包括如下步骤：
步骤S1，获取待检测的原文本，并将所述原文本按照专业进行拆分，获得每个专业的专业文本。
工程设计报告的篇幅长、设计专业众多，在编制时，会为每个专业撰写一个专业摘要，因此每一个专业的报告作为一个待检测的文本，通过对每一个专业进行摘要生成，再将每个专业的摘要进行汇总，实现长篇工程设计报告中综合说明自动生成。
步骤S2，对每个专业的专业文本进行句子拆分，对每个句子进行泛读和精读，输出深度理解的句子，根据所述深度理解的句子获取每个深度理解的句子的Rouge值。
所述步骤S2具体为：
步骤S21，对专业文本进行句子拆分，将拆分后的句子输入泛读模型，输出包含所述专业文本的全局信息的句子。
所述泛读模型采用NLP模型，用于获取包含专业文本的全局信息的句子，具体为：
步骤S211，将专业文本的第1个句子放入隐空间，获得句子1的隐空间；
步骤S212，根据第2个句子和句子1的隐空间，获得句子2的隐空间，所述句子2的隐空间同时带有第1、第2个句子的信息；
步骤S213，以此类推，直至根据第N个句子和句子N-1的隐空间，获得句子N的隐空间，所述句子N的隐空间中包含专业文本的全局信息的句子，N为专业文本的句子数量。
泛读模型（Skimming Phase) 为对原始文档进行初次泛读，形成大概的上下文记忆，本发明中采用NLP模型构建泛读模型，用于获取具有全局信息的句子。
NLP是自然语言处理（Natural Language Processing），被广泛应用于自然语言理解、自然语言生成、文本分类、语音识别、机器翻译、情感分析、信息抽取等领域。随着大数据和人工智能技术的发展，NLP的应用范围越来越广泛，被广泛应用于智能客服、智能家居、智能医疗、智能金融等领域。因此，本发明采用NLP模型构建泛读模型和精读模型。
所述泛读模型用于获取获取具有全局信息的句子，具体为对每个句子进行如下操作：根据第n个句子与前n-1个句子的隐空间计算得到第n个句子的隐空间（第n个句子的隐空间中的内容即为包含前n个句子的信息的文本内容），1<n≤N，N为原文本的句子数，并且所述第N个句子的隐空间带有所有句子的全局信息；泛读模型参数为：隐含层数为2层，每层含有512个神经元，激活函数为Relu函数，优化器为Adam，学习速率为3e-4，并按照0.005的速度衰减。
步骤S22，将包含全局信息的句子输入精读模型，输出对所述专业文本中每个句子深度理解的句子。
所述精读模型采用NLP模型，用于获取每个深度理解的句子，具体为：
步骤S221，根据专业文本的第1个句子及泛读阶段获取的包含专业文本的全局信息的句子，获得深度理解的第1个句子；
步骤S222，根据专业文本的第2个句子及泛读阶段获取的包含专业文本的全局信息的句子，输出深度理解的第2个句子；
步骤S223，以此类推，直至获取深度理解的所有的N个句子。
泛读模型（Skimming Phase) 为对原始文档进行初次泛读，形成大概的上下文记忆。精读模型（Retrospective Phase)为在具有全文的上下文记忆的基础上，对文章进行二次阅读，加深对每个句子和段落的理解。
所述精读模型用于根据专业文本的每个句子与所述第N个句子的隐空间获取N个深度理解的句子。精读模型参数为：隐含层数为2层，每层含有512个神经元，激活函数为Relu函数，优化器为Adam，学习速率为3e-4，并按照0.005的速度衰减。
具体的，将每个隐含层看做一个含有512个神经元的隐空间。
在泛读阶段，将原文本的第1个句子放入隐空间，获得句子1的隐空间，然后根据第2个句子和句子1的隐空间，计算得到句子2的隐空间，此时，句子2的隐空间则同时带有第1、第2个句子的信息，接下来根据第3个句子和句子2的隐空间，计算得到句子3的隐空间，以此类推，最终得到最后一个句子N个的隐空间，句子N的隐空间则同时带有原文本的所有N个句子的信息。经过泛读阶段，得到了具有所有句子信息的隐空间。通过该步骤，可以获得一个具有前面所有句子信息的句子，为精读阶段提供数据基础。
在精读阶段，将专业文本第1个句子及泛读阶段获取的句子N的隐空间输入精读模型，输出深度理解的第1个句子，此时的第1个句子既包含所有句子的信息，对第1个句子的理解也更加深刻；将专业文本的第2个句子及泛读阶段获取的句子N的隐空间输入精读模型，输出深度理解的第2个句子，以此类推，最终获取深度理解的所有的N个句子。经过精读阶段，使得每个句子既包含所有句子的信息，对专业文本中每个句子的理解也更加深刻。
经过泛读模型和精读模型的处理，使得每个句子理解内容更加精准，为后期综合说明的生成提供更准确的数据基础。
更进一步的，精读模型和泛读模型中，都对隐空间的大小进行了设置，专业文本信息量大、内容复杂，当隐空间大小过于小时，数据的精读不高，不能完成表征出句子的属性，而数值设置越大，虽然数据的精读提高，但是也会导致模型训练的效率越低，本发明在研究过程中对隐空间的大小进行了不同的设置，包括：64、128、256、512、1024，经过研究发现，当隐空间大小设置为512时，能够保证数据精读又能够满足模型训练的效率。
长篇工程设计报告篇幅长，涉及专业众多，在编制综合说明时，需要对各个部分的内容有一定的了解才能够编制出包含全文信息的综合说明，否则，严重影响综合说明的准确性。针对于此，本发明设置了泛读模型和精读模型，并且每次的输出均可以包含前面句子的信息，实现了对长篇工程设计报告的全面理解。
精读模型和泛读模型中参数的设置，也是本发明在研究过程中探索的结果，算法为transformer，隐含层数为2层，每层含有512个神经元，激活函数为Relu函数，优化器为Adam，学习速率为3e-4，即0.0003，并按照0.005的速度衰减，这些参数的设置能够保证数据精读又能够满足模型训练的效率。
步骤S23，将所述深度理解的句子输入多头注意力集中模型，输出每个深度理解的句子与所述专业文本的相关性结果；
多头注意力集中模型采用MLP模型，用于采用多头注意力集中机制计算每个深度理解的句子与专业文本的相关性结果；所述相关性结果为每个深度理解的句子的数值和权重。
多层感知器（MLP，Multilayer Perceptron）是一种前馈人工神经网络模型，其将输入的多个数据集映射到单一的输出的数据集上，能够处理非线性问题，通过学习合适的权重和偏差来建立输入与输出的映射关系，被广泛用于机器学习和深度学习任务。
长篇工程设计报告篇幅长，涉及专业众多，在编制综合说明时，只需要获取有限的关键信息，提取相对于整个专业来说更加重要的内容，以免生成的综合说明篇幅太长，冗余信息多。
所述多头注意力集中模型采用MLP模型，用于采用多头注意力集中对所述N个深度理解的句子进行处理，增强模型对于不同特征的关注度，获取的句子的相关性结果也更准确。多头注意力集中模型的参数为：算法为attention，隐含层数为2层，每层含有512个神经元，激活函数为Relu函数或softmax函数，输出维度为64，头个数为12，优化器为Adam，学习速率为3e-4，并按照0.005的速度衰减。
本发明在研究过程中对头个数进行了不同的设置，包括：4、8、12、16，经过研究发现，当头个数设置为12时，能够保证数据精读又能够满足模型训练的效率
注意力集中机制是通过某种运算来直接计算得到句子在编码过程中每个位置上的注意力权重，然后再以权重和的形式来计算得到整个句子的隐含向量表示，本发明中目的是为了找到句子中词与词之间的相关性，忽略句子中不重要的部分，重点关注句子上下文所要表达的意思，更能准确的输出语意信息。但在实际语境中，词与词的相关性不止一种，尤其在专业报告中，所以本发明使用多头（本发明采用12头）来计算不同种类的相关性，然后softmax函数得到每种相关性的权重，通过加权平均得到最终输出。
步骤S24，将所述每个深度理解的句子和所述相关性结果输入Rouge值预测模型，输出每个深度理解的句子的Rouge值。
所述Rouge值预测模型采用MLP模型，用于根据所述每个深度理解的句子及相关性结果获取每个句子的Rouge值。
所述Rouge值预测模型的参数为：算法为MLP，隐含层数为2层，每层含有512个神经元，激活函数为Relu函数，输出维度为1，优化器为Adam，学习速率为3e-4，并按照0.005的速度衰减。
本发明引入了Rouge自动化文档匹配评估指标(Rouge = Recall-OrientedUnderstudy for Gisting Evaluation)，Rouge是一套评估指标集，用来评估一段模型生成的摘要文本（或在翻译任务上的翻译后文本）与原文本在语义上的相似度，本发明使用这套评估指标用来评估在原始文档中所选取的段落、句子集合和综合说明中的摘要文本的相似度，Rouge值越高，则说明被选取的段落或句子集合和摘要文本越相似，也就间接说明该集合中的文本越应该被包括在摘要文本中。
上述各个模型训练的数据集来源与训练素材库。从训练素材库中获取用于模型训练的专业文本数据和相应的原始专业摘要；本次数据集为问答摘要与推理数据集，数据规模共82943条数据，数据集主要有6个字段，分别为QID、Brank、Model、Question、Dialogue以及Report。分别对应问题ID、品牌、型号、问题、对话以及报告。
通过选择合适的损失函数以获得最佳的训练效果。所述Rouge值预测模型的损失函数为：
；
其中，N为句子的数量，pi为多头注意力集中模型输出的第i个句子的权重，yi为多头注意力集中模型输出的第i个句子的数值，ri为Rouge值预测模型输出的第i个句子的Rouge值。
选取该损失函数对Rouge值预测模型进行训练，综合了多头注意力集中模型的输出，使得Rouge值预测模型能够综合考虑多头注意力集中模型得到的句子间的相关性结果，不仅使各个前后的连接更接紧密，最终预测结果的准确率也更高。
本发明通过结合多头注意力集中模型输出的每个深度理解的句子的数值和权重来计算Rouge值预测模型的损失函数值，使得模型输出的结果能够充分结合不同类型的文本数据，并且可以自适应地学***衡问题，提高模型对少数类别的关注度，提高模型预测结果的准确性。
步骤S3，根据深度理解的句子和所述Rouge值，获取每个专业的专业摘要终稿。
所述步骤S3中，根据深度理解的句子和所述Rouge值，获取每个专业的专业摘要终稿，具体为：
步骤S31，将所述Rouge值进行降序排列，获取排在前K个的Rouge值及K个所述Rouge值对应的深度理解的句子，K为摘要长度参数。
选择排在前K个的句子组成专业摘要，可以使得生成的专业摘要与专业文本在语义上的相似度更高。实际应用中，可根据原文本的长度、专业文本的长度、设计需要等对K的取值进行调整。
步骤S32，将K个所述深度理解的句子按照在专业文本中的顺序进行排列，获取专业摘要初稿；根据专业文本中的顺序进行排列，使得获得的专业摘要初稿尽量的满足前后的逻辑关系，为下一步处理提供更加准确的数据基础。
步骤S33，对所述专业摘要初稿进行平滑处理，获取专业摘要终稿。
对所述专业摘要初稿进行平滑处理具体为：通过Ernie算法平滑处理句子与句子之间的连接关系，以使得句子之间的连接顺畅。
Ernie（Enhanced Representation through kNowledge IntEgration）是百度提出的一种预训练语言模型，基于深度学习框架Paddle实现。Ernie模型基于Transformer结构，与BERT模型类似，充分利用了自注意力机制来捕获长距离的依赖关系。旨在对各种不同类型的知识（如语法知识、语义知识和实体知识等）进行建模，从而提高自然语言理解任务的性能。
Ernie模型引入了多粒度知识建模：不仅关注词的表示，还关注短语、实体和句子的表示。这种多粒度的知识建模有助于捕捉语言中的丰富结构；提出了连续语义融入策略：ERNIE 在预训练阶段将实体识别和语义关系挖掘融入其中，从而更好地理解句子的语义；实现了知识增强：利用大量的知识图谱数据，在预训练阶段将结构化知识融入到模型中，从而提高了模型的知识表示能力。最终实现更丰富的知识建模、更好的语义理解、结构化知识融合。
步骤S4，将每个所述专业摘要终稿按照原文本中的专业顺序进行排列，获取综合说明终稿；经过本步操作，最终自动生成原文档的综合说明。综合说明即为整个长篇工程设计报告的说明文档，由各个专业的专业摘要构成，在各个专业的摘要完成后，按顺序排列即可构成整个长篇工程设计报告的综合说明。
步骤S5，将生成的综合说明终稿收录至训练素材库。
为之后句子分析模型的训练提供更多、更准确的数据基础。
实施例2
一种长篇工程设计报告中综合说明自动生成***，使用如实施例1中任一项所述的一种长篇工程设计报告中综合说明自动生成方法，包括如下模块：
数据获取模块：用于获取待检测的原文本，并将所述原文本按照专业进行拆分，获得每个专业的专业文本；
Rouge值计算模块：与所述数据获取模块连接，用于对每个专业的专业文本进行句子拆分，对每个句子进行泛读和精读，输出深度理解的句子，根据所述深度理解的句子获取每个深度理解的句子的Rouge值；
专业摘要生成模块：与所述Rouge值计算模块连接，用于根据深度理解的句子和所述Rouge值，获取每个专业的专业摘要终稿；
综合说明生成模块，与所述专业摘要生成模块连接，用于将每个所述专业摘要终稿按照原文本中的专业顺序进行排列，获取综合说明终稿；
数据收录模块，与所述综合说明生成模块连接，用于将生成的综合说明终稿收录至训练素材库。
本发明通过将待检测的原文本拆分成各个专业文本，对每个专业的专业文本进行处理，获取每个专业的专业摘要终稿；再根据各个专业在原文本中的顺序进行排序，进而获取综合说明终稿，最终实现了长篇工程设计报告中综合说明自动生成，相较于现有技术以词频为依据的摘要生成方法，本发明通过获取含有全局信息的句子，再计算句子的Rouge值，根据Rouge值获取与原文相关性最高的句子，提高了长篇工程报告中综合说明生成结果的准确率，实现了生产方式的创新；
在摘要生成阶段，本发明采用四个模型依次连接，泛读模型和精读模型采用NLP模型，相较于采用单个的模型，可以使句子分析模型更加充分、准确的理解所有句子的含义；多头注意力集中模型采用MLP模型，对所述N个深度理解的句子进行处理，获取句子的相关性结果；Rouge值预测模型采用MLP模型，根据所述N个深度理解的句子及句子的相关性结果计算每个句子的Rouge值，最终使得句子分析模型充分结合了每个模型的特点，为综合说明的生成提供准确的数据基础，提升模型输出结果的准确性。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.一种长篇工程设计报告中综合说明自动生成方法，其特征在于，具体包括如下步骤：
步骤S1，获取待检测的原文本，并将所述原文本按照专业进行拆分，获得每个专业的专业文本；
步骤S2，对每个专业的专业文本进行句子拆分，对每个句子进行泛读和精读，输出深度理解的句子，根据所述深度理解的句子获取每个深度理解的句子的Rouge值；具体为：
步骤S21，对专业文本进行句子拆分，将拆分后的句子输入泛读模型，输出包含所述专业文本的全局信息的句子；所述泛读模型具体为对每个句子进行如下操作：根据第n个句子与前n-1个句子的隐空间计算得到第n个句子的隐空间，1<n≤N，N为原文本的句子数，并且第N个句子的隐空间带有所有句子的全局信息，其中，第n个句子的隐空间中的内容为包含前n个句子的信息的文本内容；所述泛读模型参数为：隐含层数为2层，每层含有512个神经元，激活函数为Relu函数，优化器为Adam，学习速率为3e-4，并按照0.005的速度衰减；
步骤S22，将包含全局信息的句子输入精读模型，输出对所述专业文本中每个句子深度理解的句子；所述精读模型用于根据专业文本的每个句子与所述第N个句子的隐空间获取N个深度理解的句子；所述精读模型参数为：隐含层数为2层，每层含有512个神经元，激活函数为Relu函数，优化器为Adam，学习速率为3e-4，并按照0.005的速度衰减；
步骤S23，将所述深度理解的句子输入多头注意力集中模型，输出每个深度理解的句子与所述专业文本的相关性结果；
步骤S24，将所述每个深度理解的句子和所述相关性结果输入Rouge值预测模型，输出每个深度理解的句子的Rouge值；
步骤S3，根据深度理解的句子和所述Rouge值，获取每个专业的专业摘要终稿；
步骤S4，将每个所述专业摘要终稿按照原文本中的专业顺序进行排列，获取综合说明终稿；
步骤S5，将生成的综合说明终稿收录至训练素材库。
2.根据权利要求1所述的一种长篇工程设计报告中综合说明自动生成方法，其特征在于，所述步骤S3中，根据深度理解的句子和所述Rouge值，获取每个专业的专业摘要终稿，具体为：
步骤S31，将所述Rouge值进行降序排列，获取排在前K个的Rouge值及K个所述Rouge值对应的深度理解的句子，K为摘要长度参数；
步骤S32，将K个所述深度理解的句子按照在专业文本中的顺序进行排列，获取专业摘要初稿；
步骤S33，对所述专业摘要初稿进行平滑处理，获取专业摘要终稿。
3.根据权利要求1所述的一种长篇工程设计报告中综合说明自动生成方法，其特征在于，所述泛读模型采用NLP模型，用于获取包含专业文本的全局信息的句子，具体为：
步骤S211，将专业文本的第1个句子放入隐空间，获得句子1的隐空间；
步骤S212，根据第2个句子和句子1的隐空间，获得句子2的隐空间，所述句子2的隐空间同时带有第1、第2个句子的信息；
步骤S213，以此类推，直至根据第N个句子和句子N-1的隐空间，获得句子N的隐空间，所述句子N的隐空间中包含专业文本的全局信息的句子，N为专业文本的句子数量。
4.根据权利要求1所述的一种长篇工程设计报告中综合说明自动生成方法，其特征在于，所述精读模型采用NLP模型，用于获取每个深度理解的句子，具体为：
步骤S221，根据专业文本的第1个句子及泛读阶段获取的包含专业文本的全局信息的句子，获得深度理解的第1个句子；
步骤S222，根据专业文本的第2个句子及泛读阶段获取的包含专业文本的全局信息的句子，输出深度理解的第2个句子；
步骤S223，以此类推，直至获取深度理解的所有的N个句子。
5.根据权利要求1所述的一种长篇工程设计报告中综合说明自动生成方法，其特征在于，所述多头注意力集中模型采用MLP模型，用于采用多头注意力集中机制计算每个深度理解的句子与专业文本的相关性结果；所述相关性结果为每个深度理解的句子的数值和权重。
6.根据权利要求1所述的一种长篇工程设计报告中综合说明自动生成方法，其特征在于，所述Rouge值预测模型采用MLP模型，用于根据所述每个深度理解的句子及相关性结果获取每个句子的Rouge值。
7.根据权利要求1所述的一种长篇工程设计报告中综合说明自动生成方法，其特征在于，所述Rouge值预测模型的损失函数L为：
其中，N为句子的数量，pi为多头注意力集中模型输出的第i个句子的权重，yi为多头注意力集中模型输出的第i个句子的数值，ri为Rouge值预测模型输出的第i个句子的Rouge值。
8.根据权利要求2所述的一种长篇工程设计报告中综合说明自动生成方法，其特征在于，所述步骤S33中，所述平滑处理的算法为Ernie算法。
9.一种长篇工程设计报告中综合说明自动生成***，使用如权利要求1-8任一项所述的长篇工程设计报告中综合说明自动生成方法，其特征在于，包括如下模块：
数据获取模块：用于获取待检测的原文本，并将所述原文本按照专业进行拆分，获得每个专业的专业文本；
Rouge值计算模块：与所述数据获取模块连接，用于对每个专业的专业文本进行句子拆分，对每个句子进行泛读和精读，输出深度理解的句子，根据所述深度理解的句子获取每个深度理解的句子的Rouge值；具体为：
对专业文本进行句子拆分，将拆分后的句子输入泛读模型，输出包含所述专业文本的全局信息的句子；所述泛读模型具体为对每个句子进行如下操作：根据第n个句子与前n-1个句子的隐空间计算得到第n个句子的隐空间，1<n≤N，N为原文本的句子数，并且第N个句子的隐空间带有所有句子的全局信息，其中，第n个句子的隐空间中的内容为包含前n个句子的信息的文本内容；所述泛读模型参数为：隐含层数为2层，每层含有512个神经元，激活函数为Relu函数，优化器为Adam，学习速率为3e-4，并按照0.005的速度衰减；
将包含全局信息的句子输入精读模型，输出对所述专业文本中每个句子深度理解的句子；所述精读模型用于根据专业文本的每个句子与所述第N个句子的隐空间获取N个深度理解的句子；所述精读模型参数为：隐含层数为2层，每层含有512个神经元，激活函数为Relu函数，优化器为Adam，学习速率为3e-4，并按照0.005的速度衰减；
将所述深度理解的句子输入多头注意力集中模型，输出每个深度理解的句子与所述专业文本的相关性结果；
将所述每个深度理解的句子和所述相关性结果输入Rouge值预测模型，输出每个深度理解的句子的Rouge值；
专业摘要生成模块：与所述Rouge值计算模块连接，用于根据深度理解的句子和所述Rouge值，获取每个专业的专业摘要终稿；
综合说明生成模块，与所述专业摘要生成模块连接，用于将每个所述专业摘要终稿按照原文本中的专业顺序进行排列，获取综合说明终稿；
数据收录模块，与所述综合说明生成模块连接，用于将生成的综合说明终稿收录至训练素材库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311686141.9A CN117391082B (zh) | 2023-12-11 | 2023-12-11 | 一种长篇工程设计报告中综合说明自动生成方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311686141.9A CN117391082B (zh) | 2023-12-11 | 2023-12-11 | 一种长篇工程设计报告中综合说明自动生成方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117391082A CN117391082A (zh) | 2024-01-12 |
| CN117391082B true CN117391082B (zh) | 2024-02-13 |
Family
ID=89437731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311686141.9A Active CN117391082B (zh) | 2023-12-11 | 2023-12-11 | 一种长篇工程设计报告中综合说明自动生成方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117391082B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110427483A (zh) * | 2019-08-05 | 2019-11-08 | 腾讯科技（深圳）有限公司 | 文本摘要评测方法、装置、***及评测服务器 |
| CN110597981A (zh) * | 2019-09-16 | 2019-12-20 | 西华大学 | 一种采用多策略自动生成摘要的网络新闻概要*** |
| CN113609840A (zh) * | 2021-08-25 | 2021-11-05 | 西华大学 | 一种汉语法律判决摘要生成方法及*** |
| CN113836896A (zh) * | 2021-08-31 | 2021-12-24 | 黑龙江阳光惠远信息技术有限公司 | 一种基于深度学习的专利文本摘要生成方法和装置 |
| CN116522891A (zh) * | 2023-06-30 | 2023-08-01 | 中水北方勘测设计研究有限责任公司 | 一种长篇工程设计报告智能化生成方法及*** |
-
2023
- 2023-12-11 CN CN202311686141.9A patent/CN117391082B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110427483A (zh) * | 2019-08-05 | 2019-11-08 | 腾讯科技（深圳）有限公司 | 文本摘要评测方法、装置、***及评测服务器 |
| CN110597981A (zh) * | 2019-09-16 | 2019-12-20 | 西华大学 | 一种采用多策略自动生成摘要的网络新闻概要*** |
| CN113609840A (zh) * | 2021-08-25 | 2021-11-05 | 西华大学 | 一种汉语法律判决摘要生成方法及*** |
| CN113836896A (zh) * | 2021-08-31 | 2021-12-24 | 黑龙江阳光惠远信息技术有限公司 | 一种基于深度学习的专利文本摘要生成方法和装置 |
| CN116522891A (zh) * | 2023-06-30 | 2023-08-01 | 中水北方勘测设计研究有限责任公司 | 一种长篇工程设计报告智能化生成方法及*** |
Non-Patent Citations (3)
| Title |
|---|
| Network In Network;Min Lin etc.;arXiv:1312.4400v3 [ cs.NE];20140304;全文 * |
| 基于句子评分的多文档摘要提取;张世博 等;山西大学学报（自然科学版）;第38卷(第3期);全文 * |
| 基于深度学习的机器阅读理解模型研究;李艳艳;中国优秀硕士学位论文全文数据库（信息科技辑）(第5期);第4章 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117391082A (zh) | 2024-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA3055379C (en) | Automated tool for question generation | |
| CN113010693B (zh) | 融合指针生成网络的知识图谱智能问答方法 | |
| CN101000765B (zh) | 基于韵律特征的语音合成方法 | |
| CN111414481A (zh) | 基于拼音和bert嵌入的中文语义匹配方法 | |
| CN113962219A (zh) | 面向电力变压器知识检索和问答的语义匹配方法及*** | |
| CN115204143B (zh) | 一种基于prompt的文本相似度计算方法及*** | |
| CN114218379B (zh) | 一种面向智能问答***的无法回答问题的归因方法 | |
| Abdel-Nabi et al. | Deep learning-based question answering: a survey | |
| CN114429143A (zh) | 一种基于强化蒸馏的跨语言属性级情感分类方法 | |
| CN114781651A (zh) | 基于对比学习的小样本学习鲁棒性提升方法 | |
| Liu et al. | Cross-domain slot filling as machine reading comprehension: A new perspective | |
| CN117648933B (zh) | 基于深度学习和知识库的自然语言歧义消解方法和*** | |
| Kondurkar et al. | Modern applications with a focus on training chatgpt and gpt models: Exploring generative ai and nlp | |
| CN113722439A (zh) | 基于对抗性类别对齐网络的跨领域情感分类方法及*** | |
| US20190318220A1 (en) | Dispersed template-based batch interaction with a question answering system | |
| CN112989803A (zh) | 一种基于主题向量学习的实体链接模型 | |
| CN117391082B (zh) | 一种长篇工程设计报告中综合说明自动生成方法及*** | |
| CN115906824A (zh) | 一种文本细粒度情感分析方法、***、介质和计算设备 | |
| Olivero | Figurative Language Understanding based on Large Language Models | |
| Song et al. | Large pretrained models on multimodal sentiment analysis | |
| Sewunetie et al. | Evaluation of python based nlp frameworks for template based automatic question generation | |
| Liao et al. | Efficient Estimate of Sentence's Representation Based on the Difference Semantics Model | |
| Tchakarov et al. | A Scientific Corpus and Search Engine for Biomimetics | |
| Alissa et al. | Text simplification using transformer and BERT | |
| Ganesh | Reinforcement Learning on Social Chabot to Improve the Semantic Variation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |