CN118132738B - 针对桥梁检评文本的抽取式问答方法 - Google Patents
针对桥梁检评文本的抽取式问答方法 Download PDFInfo
- Publication number
- CN118132738B CN118132738B CN202410561898.3A CN202410561898A CN118132738B CN 118132738 B CN118132738 B CN 118132738B CN 202410561898 A CN202410561898 A CN 202410561898A CN 118132738 B CN118132738 B CN 118132738B
- Authority
- CN
- China
- Prior art keywords
- question
- text
- text sample
- vector
- context
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000011156 evaluation Methods 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 116
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000007689 inspection Methods 0.000 claims abstract description 26
- 239000013598 vector Substances 0.000 claims description 206
- 230000004927 fusion Effects 0.000 claims description 78
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000000875 corresponding effect Effects 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 6
- 230000000903 blocking effect Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005336 cracking Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 239000002023 wood Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Machine Translation (AREA)
Abstract
本申请中提供针对桥梁检评文本的抽取式问答方法，其包括：对桥梁检评文本样本按照语义信息分割得到多个语句段落，以根据多个语句段落生成上下文文本；获取针对每个语句段落提出的问题以生成问题文本样本；根据桥梁检评文本样本，生成问题文本样本以及上下文文本样本；对问题文本样本与上下文文本样本进行拼接处理，以生成训练数据集；基于问题文本样本在上下文文本样本中的答案生成答案位置标签；根据训练数据集以及答案位置标签，对抽取问答模型进行训练，直至训练完成；基于训练完的抽取问答模型对待处理问题文本进行处理，以从对应的待处理上下文文本中确定出答案文本，避免了上下文文本中的完整信息的丢失。
Description
技术领域
本申请实施例涉及人工智能技术领域，尤其涉及一种针对桥梁检评文本的抽取式问答方法。
背景技术
随着我国桥梁建设的迅速与深入发展，桥梁数量与日俱增，对桥梁的检测与评定工作变得尤为关键。在这一过程中，产生了大量的桥梁检评文本数据，这些数据中蕴含着宝贵的专业知识。然而，目前对于这些专业知识的利用主要依赖人工阅读和手动查阅，存在知识利用不够深入、查询效率不高的问题。同时，针对这些海量文本数据进行自动化、智能化的问答***研究尚显不足。
近年来，自然语言处理技术在人工智能领域取得了显著进展，特别是以Transformer为基础的预训练语言模型，如BERT（Bidirectional EncoderRepresentations from Transformers），在文本数据智能化处理方面取得了良好效果。基于BERT的预训练模型，结合少量专业领域内的数据，可以有效地训练出针对桥梁检评领域的抽取问答模型。这种模型能够接收问题文本和上下文文本作为输入，自动化地选取上下文文本中的相关内容作为答案，从而实现海量文本数据的高效利用。
目前，大多数抽取式问答方法主要依赖于BERT对问题和上下文文本的融合能力，通过直接拼接问题文本和上下文文本，预测每个字对应答案的开始和结束概率。然而，这种方法忽略了BERT输出的问题文本中每个字对应的向量信息以及整句向量。此外，对于过长的上下文文本，现有方法通常采取分块处理，再分别将问题文本与不同分块的上下文文本拼接，这可能导致丢失上下文文本中的完整信息。鉴于桥梁检评文本中普遍存在的长文本情况，这些问题亟待解决。
发明内容
本申请的目的在于提出一种针对桥梁检评文本的抽取式问答方法，用于解决或者克服现有技术中存在的上述技术问题。
根据本申请实施例的第一方面，提供了一种针对桥梁检评文本的抽取式问答方法，其包括：
对桥梁检评文本样本按照语义信息分割得到多个语句段落，以根据所述多个语句段落生成上下文文本样本；
获取针对每个语句段落提出的问题以生成问题文本样本；
对所述问题文本样本与所述上下文文本样本进行拼接处理，以生成训练数据集，所述训练数据集包括若干条训练数据，每条训练数据至少包括一问题文本样本和一段上下文文本样本；
基于所述问题文本样本在所述上下文文本样本中的答案生成答案位置标签；
根据所述训练数据集以及所述答案位置标签，对抽取问答模型进行训练，直至训练完成；
基于训练完的所述抽取问答模型对待处理问题文本进行处理，以从对应的待处理上下文文本中确定出答案文本。
本申请中，通过对桥梁检评文本样本按照语义信息分割得到多个语句段落，以根据所述多个语句段落生成上下文文本样本；获取针对每个语句段落提出问题以生成问题文本样本；对所述问题文本样本与所述上下文文本样本进行拼接处理，以生成训练数据集，所述训练数据集包括若干条训练数据，每条训练数据至少包括一问题文本样本和一段上下文文本样本；基于所述问题文本样本在所述上下文文本样本中的答案生成答案位置标签；根据所述训练数据集以及所述答案位置标签，对抽取问答模型进行训练，直至训练完成；基于训练完的所述抽取问答模型对待处理问题文本进行处理，以从对应的待处理上下文文本中确定出答案文本，避免了上下文文本中的完整信息的丢失，进一步推动自然语言处理技术和桥梁检评领域内文本数据的深度融合，不仅有效提升了海量文本数据的利用效率，后续配合语义相似度匹配技术，还可以自动生成问答对，为未来桥梁检评大模型的训练提供数据支撑。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1为本申请实施例提供的一种针对桥梁检评文本的抽取式问答方法流程示意图。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
本申请中，通过对桥梁检评文本样本按照语义信息分割得到多个语句段落，以根据所述多个语句段落生成上下文文本样本；获取针对每个语句段落提出的问题以生成问题文本样本；对所述问题文本样本与所述上下文文本样本进行拼接处理，以生成训练数据集，所述训练数据集包括若干条训练数据，每条训练数据至少包括一问题文本样本和一段上下文文本样本；基于所述问题文本样本在所述上下文文本样本中的答案生成答案位置标签；根据所述训练数据集以及所述答案位置标签，对抽取问答模型进行训练，直至训练完成；基于训练完的所述抽取问答模型对待处理问题文本进行处理，以从对应的待处理上下文文本中确定出答案文本，避免了上下文文本中的完整信息的丢失，进一步推动自然语言处理技术和桥梁检评领域内文本数据的深度融合，不仅有效提升了海量文本数据的利用效率，后续配合语义相似度匹配技术，还可以自动生成问答对，为未来桥梁检评大模型的训练提供数据支撑。
图1为本申请实施例一种针对桥梁检评文本的抽取式问答方法的流程示意图。如图1所示，其包括：
S101、根据桥梁检评文本样本，生成问题文本样本以及上下文文本样本；
S102、根据所述问题文本样本以及所述上下文文本样本，形成训练数据集；
S103、基于所述问题文本样本在所述上下文文本样本中的答案生成答案位置标签；
S104、根据所述训练数据集以及所述答案位置标签，对抽取问答模型进行训练，直至训练完成；
S105、基于训练完的所述抽取问答模型对待处理问题文本进行处理，以从对应的待处理上下文文本中确定出答案文本。
示例性地，针对基于所述问题文本样本在所述上下文文本样本中的答案生成答案位置标签，在一具体场景中例如“[CLS]此处是问题文本样本[SEP]此处是答案”中会分别为“此处是答案”的每一个字进行标注，“此”是答案的开始字，因此对于“此”将其标注为（1，0），1表示“此”是答案的开始，0表示“此”不是答案的结束；“案”是答案的结束字，因此对于“案”将其标注为（0，1），0表示“案”不是答案的开始，1表示“案”是答案的结束，其他字的标注均为（0，0），为此，得到答案位置标签：（1，0）（0，1）。
可选地，所述根据桥梁检评文本样本，生成问题文本样本以及上下文文本样本，包括：
对所述桥梁检评文本样本按照语义信息分割得到多个语句段落，以根据所述多个语句段落生成上下文文本样本；
获取针对每个语句段落提出的问题以生成问题文本样本。
为此，通过对桥梁检评文本样本进行语义信息分割，可以得到多个语句段落。每个语句段落都包含相对独立且完整的信息，这有助于更精确地确定问题文本和上下文文本之间的关系。通过基于这些语句段落生成上下文文本，可以确保上下文信息与问题文本高度相关，从而提高问答的准确性。再者，根据每个语句段落提出的问题来生成问题文本，可以确保问题文本与桥梁检评文本样本的内容紧密相关。这种方法能够产生更具针对性和实用性的问题，使得训练出的抽取问答模型能够更准确地回答与桥梁检评相关的实际问题。而且，通过对文本样本进行语义信息分割和针对性提问，可以生成大量的问题文本和上下文文本样本对。这些样本对可以用于构建丰富的训练数据集，从而提高抽取问答模型的训练效率。此外，由于问题文本和上下文文本之间的紧密关系，模型可以更快地学习到如何从上下文中抽取出答案，进一步缩短了训练时间。最后，通过对多个语句段落进行问题生成，可以产生多样化的问答对。这有助于模型在训练过程中学习到更多的语言模式和上下文信息，从而增强其在实际应用中的泛化能力。当模型遇到新的、未见过的桥梁检评文本时，它仍然能够准确地回答相关问题。
可选地，所述根据所述问题文本样本以及所述上下文文本样本，形成训练数据集，包括：对所述问题文本样本与所述上下文文本样本进行拼接处理，以生成训练数据集，所述训练数据集包括若干条训练数据，每条训练数据至少包括一问题文本样本和一段上下文文本样本。
为此，通过拼接处理，问题文本样本和上下文文本样本被整合为统一格式的训练数据。这使得模型在训练过程中能够更方便地处理输入数据，减少了数据预处理的复杂性。拼接后的训练数据集可以直接用于抽取问答模型的训练，无需再进行额外的数据转换或格式调整。这大大提高了训练的效率。由于每条训练数据都包含了问题文本样本和对应的上下文文本样本，模型在训练过程中可以充分学习问题与上下文之间的关联和映射关系。这有助于模型更好地理解问题的意图，并从上下文中准确抽取出答案。通过大量训练数据的训练，模型能够学习到更多的语言模式和上下文信息，从而提高其在实际应用中的性能。这包括提高答案抽取的准确率、降低误判率，以及提升对复杂问题的处理能力。
可选地，所述根据所述训练数据集以及所述答案位置标签，对抽取问答模型进行训练，直至训练完成，包括：
所述抽取问答模型分别对所述问题文本样本以及上下文文本样本进行向量化，得到问题字符向量以及文本字符向量；
所述抽取问答模型对所述训练数据集进行向量化，得到训练数据条向量；
所述抽取问答模型根据所述问题字符向量、所述文本字符向量、训练数据条向量，生成综合融合向量；
基于所述综合融合向量以及所述答案位置标签，迭代调整所述抽取问答模型的参数，直至训练完成。
为此，通过将问题文本样本和上下文文本样本进行向量化，模型能够捕捉到文本中的语义信息和特征。问题字符向量和文本字符向量的生成使得模型能够更好地理解和处理文本数据，提高了模型的表达能力和处理能力。通过结合问题字符向量、文本字符向量和训练数据条向量，生成综合融合向量，模型能够综合考虑问题的语义、上下文的信息以及训练数据的整体特征。这种综合处理方式有助于模型更准确地捕捉问题和答案之间的关联，提高了模型的准确性。基于综合融合向量和答案位置标签，通过迭代调整抽取问答模型的参数，模型能够逐渐优化其性能。这一过程中，模型不断学习和调整，使其能够更好地适应不同的问题和上下文，提高了模型的泛化能力和鲁棒性。通过设定训练完成的标准，如损失函数收敛、准确率稳定等，可以确保模型在训练过程中达到预期的性能要求。这有助于保证模型的稳定性和可靠性，在实际应用中能够提供更准确、可靠的答案抽取结果。
可选地，所述的方法，还包括：对每条训练数据进行分字以得到其中问题文本样本的问题描述字以及上下文文本样本的上下文文本样本字。
可选地，所述抽取问答模型分别对所述问题文本样本以及上下文文本样本进行向量化，得到问题字符向量以及文本字符向量，包括：将该每条训练数据以及对应的所述问题描述字、上下文文本样本字输入到所述抽取问答模型进行向量化，分别得到问题字符向量以及文本字符向量。
为此，通过将训练数据中的问题描述字和上下文文本样本字输入到抽取问答模型进行向量化，模型能够更精确地捕捉和表达文本中的语义信息。向量化表示可以捕捉文本的深层含义和上下文关系，使得模型在后续的处理中能够更准确地理解问题和抽取答案。通过输入完整的训练数据，包括问题描述字和上下文文本样本字，模型能够充分利用训练数据中的信息。这种方式使得模型在训练过程中能够学习到更多的语言模式和上下文关系，提高了模型的泛化能力和准确性。将问题描述字和上下文文本样本字直接输入到模型进行向量化，无需进行额外的预处理或特征提取工作。这简化了数据处理流程，减少了人工干预的需要，提高了处理效率和自动化程度。通过直接在模型中进行向量化，问题字符向量和文本字符向量的生成与模型的训练过程紧密结合。这有助于模型在训练过程中更好地学习和调整向量化表示，从而优化模型的训练效果，提高问答的准确性和效率。
可选地，所述抽取问答模型对所述训练数据集进行向量化，得到训练数据条向量，包括：将该每条训练数据输入到所述抽取问答模型进行向量化，得到训练数据条向量。
可选地，所述抽取问答模型包括第一BERT模块，所述第一BERT模块对所述问题文本样本以及上下文文本样本进行向量化，得到问题字符向量以及文本字符向量；以及对所述训练数据集进行向量化，得到训练数据条向量。
示例性地，第一BERT模块对所述问题文本样本以及上下文文本样本进行向量化，得到问题字符向量以及文本字符向量的技术处理细节比如为：
输出每个问题字符（token）以及文本字符（token）对应的768维向量，其中问题字符向量标记为（其中i为正整数且question_num>=i>=1，指问题文本样本中第i个字；question_num为正整数，表示问题文本样本的分字数量）；文本字符向量标记为（其中j为正整数且context_num>=j>=1，指上下文文本样本中第j个字；context_num为正整数，表示上下文文本样本的分字数量）。
另外，第一BERT模块对所述训练数据集进行向量化，得到训练数据条向量为[CLS]位置对应的BERT输出，标记为。
可选地，所述抽取问答模型基于如下处理步骤，根据所述问题字符向量、所述文本字符向量、训练数据条向量，生成综合融合向量；
对所述问题文本样本进行语义特征分析，得到问题文本样本语义向量；
根据所有所述问题描述字的问题字符向量的均值，计算问题文本样本平均向量；
对所述问题文本样本语义向量、所述问题文本样本平均向量以及所述训练数据条向量进行融合，生成问题文本样本融合向量；
根据所述问题文本样本融合向量以及所述文本字符向量，生成综合融合向量。
为此，通过对问题文本样本进行语义特征分析，模型能够更深入地理解问题的含义和意图。问题文本样本语义向量的生成有助于模型捕捉问题中的关键信息，为后续答案抽取提供准确的指导。计算问题描述字的问题字符向量的均值，得到问题文本样本平均向量，可以反映问题文本样本的整体特征。这种平均向量能够捕捉到问题中普遍存在的语义信息，有助于模型更全面地理解问题。将问题文本样本语义向量、问题文本样本平均向量以及训练数据条向量进行融合，生成问题文本样本融合向量。这种融合方式能够综合考虑问题的语义、整体特征和训练数据的上下文信息，提高了模型对问题的全面理解。基于问题文本样本融合向量和文本字符向量，生成综合融合向量。这一步骤将问题的语义信息和上下文信息紧密结合，使得模型在答案抽取时能够综合考虑问题的意图和上下文环境，提高了答***性。
可选地，所述抽取问答模型包括问题文本样本融合模块，问题文本样本融合模块对所述问题文本样本进行语义特征分析，得到问题文本样本语义向量；根据所有所述问题描述字的问题字符向量的均值，计算问题文本样本平均向量；对所述问题文本样本语义向量、所述问题文本样本平均向量以及所述训练数据条向量进行融合，生成问题文本样本融合向量。
为此，通过问题文本样本融合模块对问题文本样本进行语义特征分析，模型能够深入理解问题的语义内容。这有助于模型捕捉问题中的关键信息，为后续答案的抽取提供重要依据。问题文本样本融合模块不仅考虑问题的语义特征，还计算问题描述字的问题字符向量的均值以得到问题文本样本平均向量。这种处理方式融合了问题的局部和整体特征，使得特征表示更加丰富和全面。通过将问题文本样本语义向量、问题文本样本平均向量以及训练数据条向量进行融合，生成问题文本样本融合向量，模型能够综合考虑问题的多个方面和上下文信息。这有助于提高答案抽取的准确性，减少误判和漏判的可能性。问题文本样本融合模块作为抽取问答模型的一部分，采用模块化设计。这使得模型的结构更加清晰，易于维护和扩展。当需要更新或改进模型的某一部分时，可以只针对相关模块进行修改，而不会影响整个模型的其他部分。
可选地，基于如下公式对所述问题文本样本语义向量、所述问题文本样本平均向量以及所述训练数据条向量进行融合，生成问题文本样本融合向量：，，，的取值范围均在0到1之间，且三者之和等于1，分别表示所述问题文本样本语义向量、所述问题文本样本平均向量以及所述训练数据条向量各自的权重值。
为此，由于公式中的权重值，，允许根据具体任务需求进行调整，使得模型可以根据不同的情况和数据集进行灵活配置。这种可调性有助于提高模型在不同场景下的性能表现。通过将问题文本样本语义向量、问题文本样本平均向量和训练数据条向量进行加权融合，模型能够综合考虑问题的语义信息、整体特征以及训练数据的上下文信息。这种融合方式使得模型在抽取答案时能够更全面地考虑问题的各个方面，提高答***性。权重值的设定可以平衡不同特征向量对最终融合向量的影响。通过调整权重值，可以控制不同特征在答案抽取过程中的重要性，从而优化模型的性能。使用明确的权重值进行向量融合，使得模型的行为更加可解释和可优化。通过观察和分析权重值的变化，可以了解不同特征向量对模型性能的影响，进而进行针对性的调整和优化。
在一具体场景中，比如，将问题文本样本输入到问题文本融合模块中，利用其中Text2Vec模型对所述问题文本样本进行语义特征分析，得到问题文本样本语义向量为768维的问题文本语义向量，标记为并将第一BERT模块中问题文本样本中每个字对应的进行加权平均得到问题文本样本平均向量，标记为。进一步根据对问题文本样本语义向量问题文本样本平均向量和训练数据条向量进行加权融合得到问题文本样本融合向量。
可选地，所述抽取问答模型基于如下处理步骤根据所述问题文本样本融合向量以及所述文本字符向量，生成综合融合向量，包括：
获取上下文文本样本块，所述上下文文本样本块通过对所述上下文文本样本进行分块处理得到；
基于所述上下文文本样本补全模块对每个上下文文本样本块进行向量化，得到分块向量；
根据所有上下文文本样本块对应的分块向量，生成上下文文本样本补全向量；
对问题文本样本融合向量和上下文文本样本补全向量以及每个文本字符向量进行融合得到综合融合向量。
可选地，所述抽取问答模型包括上下文文本样本补全模块，所述上下文文本样本补全模块获取上下文文本样本块，所述上下文文本样本块通过对所述上下文文本样本进行分块处理得到；基于所述上下文文本样本补全模块对每个上下文文本样本块进行向量化，得到分块向量；根据所有上下文文本样本块对应的分块向量，生成上下文文本样本补全向量。
为此，通过对上下文文本样本进行分块处理并生成分块向量，模型能够更细致地捕捉上下文中的关键信息。这种分块处理能够充分利用上下文文本样本的局部和全局特征，提高答案抽取的准确性。上下文文本样本补全向量的生成考虑了所有上下文文本样本块对应的分块向量，这有助于模型更全面地理解复杂上下文环境。通过综合考虑多个分块向量，模型能够捕捉上下文中的多个关键点和关联信息，提高答案抽取的准确性和完整性。综合融合向量的生成融合了问题文本样本融合向量、上下文文本样本补全向量以及每个文本字符向量。这种融合方式综合考虑了问题的语义信息、上下文环境以及文本字符的具体内容，使得模型能够更准确地定位答案的位置。通过融合多种信息源，模型能够更好地处理不同类型的问题和上下文环境，提高模型的鲁棒性和泛化能力。这使得模型在处理桥梁检评文本问答任务时，能够更准确地回答各种复杂问题。
可选地，所述抽取问答模型包括综合融合模块，所述综合融合模块对所述问题文本样本融合向量和上下文文本样本补全向量以及每个文本字符向量进行融合得到综合融合向量。
可选地，所述综合融合模块基于如下公式对所述问题文本样本融合向量和上下文文本样本补全向量以及每个文本字符向量进行融合得到综合融合向量：，的取值范围均在0到1之间，表示所示问题文本样本融合向量和上下文文本样本补全向量共同的权重值，表示上下文文本样本中第j个字对应的文本字符向量，表示上下文文本样本中第j个字对应的综合融合向量。
为此，公式中的权重值允许根据具体情况进行调整，从而平衡问题文本样本融合向量和上下文文本样本补全向量在综合融合向量中的贡献。这种灵活性使得模型能够根据不同的任务和数据集特点进行优化，提高答案抽取的准确性。通过引入上下文文本样本补全向量，模型能够更全面地考虑上下文信息。这有助于模型理解问题的背景和语境，提高答案抽取的准确性和相关性。公式中的代表上下文文本样本中每个字的文本字符向量，这反映了文本的局部特征。而问题文本样本融合向量和上下文文本样本补全向量则代表了全局特征。将局部和全局特征结合起来，可以使模型更全面地捕捉文本信息，提高答案抽取的准确性。通过明确的公式和权重值，可以清晰地了解不同向量在综合融合向量中的贡献程度。这有助于分析和解释模型的决策过程，增强模型的可解释性。
示例性地，所述抽取问答模型还包括第二BERT模块，以对所述上下文文本样本进行分块处理得到上下文文本样本块；对每个上下文文本样本块进行向量化得到的分块向量，其中k为正整数且block_num>=k>=1，指上下文文本样本中第k个上下文文本样本块；block_num为正整数，表示上下文文本样本块的数量。
可选地，所述根据所有上下文文本样本块对应的分块向量，生成上下文文本样本补全向量，包括：对所有上下文文本样本块对应的分块向量进行求和，得到上下文文本样本补全向量，标记为，该上下文文本样本补全向量在没有问题文本信息干扰的情况下可以有效的保留上下文文本样本的完整信息。
为此，通过求和所有分块向量，上下文文本样本补全向量能够综合反映整个上下文文本样本的信息。这种方法能够有效地保留上下文文本的完整信息，为后续答案抽取提供丰富的上下文背景。直接对分块向量进行求和，不需要复杂的特征融合或权重调整步骤，从而简化了处理流程。这种简洁的方法能够提高模型的计算效率，减少计算资源的消耗。由于上下文文本样本补全向量是在没有问题文本信息干扰的情况下生成的，它能够更纯粹地反映上下文文本的特征。这有助于模型在答案抽取过程中更准确地识别和利用上下文信息，避免受到问题文本信息的误导。通过综合所有分块向量的信息，上下文文本样本补全向量能够更全面地捕捉上下文中的关键点和关联信息。这使得模型在处理复杂或模糊的上下文文本时，能够更准确地理解其含义，提高模型的鲁棒性和稳定性。
可选地，所述的方法还包括：根据所述综合融合向量，确定上下文文本样本中每个字属于答案中第一个字和最后一个字概率，以判断是否需要调整抽取问答模型包括的问题文本融合模块、上下文文本样本补全模块模型、综合融合模块的模型参数。整个过程通过反向传播不断迭代模型参数，训练完成后得到抽取问答模型并保存模型文件。
为此，通过计算每个字属于答案中第一个字和最后一个字的概率，模型可以更精确地定位答案在上下文文本样本中的边界。这对于抽取式问答任务至关重要，因为它直接影响到答案抽取的准确性和完整性。根据概率判断结果，如果模型在定位答案边界方面表现不佳，就需要调整问题文本融合模块、上下文文本样本补全模块以及综合融合模块的模型参数。这种基于实际表现的参数调整可以优化模型的性能，提高答案抽取的准确性。
可选地，根据所述综合融合向量，确定上下文文本样本中每个字属于答案中第一个字和最后一个字概率，比如包括：将综合融合向量输入到Dense神经网络中压缩至2维，其中第一维表示该字属于答案的第一个字的概率值，第二维表示该字属于答案的最后一个字的概率值，所述概率值为0-1之间的数值，所述Dense神经网络有三层，第一层神经元个数与所述综合融合向量的维度相同（比如768维），中间层有200维，输出层有2维，以通过上述三层将综合融合向量逐渐压缩到2维。
上述实施例中，问题文本融合模块、上下文文本样本补全模块模型、综合融合模块均基于神经网络构建。
可选地，所述基于训练完的所述抽取问答模型对待处理问题文本进行处理，以从对应的待处理上下文文本中确定出答案文本，比如在一具体场景中，待处理问题文本为“木桥面板破裂如何处理”上下文文本为“木桥面板出现破裂、弯曲及不平整时，应及时抽换。若经常有履带车通过，则应加铺轨道板。”。假设上下文文本过长需要分块，将上下文文本分成两块“木桥面板出现破裂、弯曲及不平整时，应及时抽换。若经常”和“应及时抽换。若经常有履带车通过，则应加铺轨道板。”，然后将问题文本分别和每个分块后的上下文文本拼接。然后将拼接后的文本分字后输入到第一BERT模块中，将问题文本输入到问题文本融合模块，将分块后的上下文文本依次输入到上下文文本补全模块，最后将上述两个模块的输出输入到综合融合模块，最终得到每个字对应的开始位置和结束位置的概率值。比如“及”对应的第一维概率在所有字的第一维预测值里最大，“换”对应的第二维概率在所有字的第二维值中最大，则“及”和“换”分别是模型预测得到的开始位置和结束位置，其对应的模型预测答案为“及时抽换”。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (9)
1.一种针对桥梁检评文本的抽取式问答方法，其特征在于，包括：
对桥梁检评文本样本按照语义信息分割得到多个语句段落，以根据所述多个语句段落生成上下文文本样本；
获取针对每个语句段落提出的问题以生成问题文本样本；
对所述问题文本样本与所述上下文文本样本进行拼接处理，以生成训练数据集，所述训练数据集包括若干条训练数据，每条训练数据至少包括一问题文本样本和一段上下文文本样本；
基于所述问题文本样本在所述上下文文本样本中的答案生成答案位置标签；
根据所述训练数据集以及所述答案位置标签，对抽取问答模型进行训练，直至训练完成；
基于训练完的所述抽取问答模型对待处理问题文本进行处理，以从对应的待处理上下文文本中确定出答案文本；
其中，所述根据所述训练数据集以及所述答案位置标签，对抽取问答模型进行训练，直至训练完成，包括：
所述抽取问答模型分别对所述问题文本样本以及上下文文本样本进行向量化，得到问题字符向量以及文本字符向量；
所述抽取问答模型对所述训练数据集进行向量化，得到训练数据条向量；
所述抽取问答模型根据所述问题字符向量、所述文本字符向量、训练数据条向量，生成综合融合向量；
基于所述综合融合向量以及所述答案位置标签，迭代调整所述抽取问答模型的参数，直至训练完成。
2.根据权利要求1所述的针对桥梁检评文本的抽取式问答方法，其特征在于，所述的方法，还包括：对每条训练数据进行分字以得到其中问题文本样本的问题描述字以及上下文文本样本的上下文文本样本字。
3.根据权利要求2所述的针对桥梁检评文本的抽取式问答方法，其特征在于，所述抽取问答模型分别对所述问题文本样本以及上下文文本样本进行向量化，得到问题字符向量以及文本字符向量，包括：将该每条训练数据以及对应的所述问题描述字、上下文文本样本字输入到所述抽取问答模型进行向量化，分别得到问题字符向量以及文本字符向量。
4.根据权利要求3所述的针对桥梁检评文本的抽取式问答方法，其特征在于，所述抽取问答模型对所述训练数据集进行向量化，得到训练数据条向量，包括：将该每条训练数据输入到所述抽取问答模型进行向量化，得到训练数据条向量。
5.根据权利要求4所述的针对桥梁检评文本的抽取式问答方法，其特征在于，所述抽取问答模型包括第一BERT模块，所述第一BERT模块对所述问题文本样本以及上下文文本样本进行向量化，得到问题字符向量以及文本字符向量；以及对所述训练数据集进行向量化，得到训练数据条向量。
6.根据权利要求4所述的针对桥梁检评文本的抽取式问答方法，其特征在于，所述抽取问答模型基于如下处理步骤，根据所述问题字符向量、所述文本字符向量、训练数据条向量，生成综合融合向量；
对所述问题文本样本进行语义特征分析，得到问题文本样本语义向量；
根据所有所述问题描述字的问题字符向量的均值，计算问题文本样本平均向量；
对所述问题文本样本语义向量、所述问题文本样本平均向量以及所述训练数据条向量进行融合，生成问题文本样本融合向量；
根据所述问题文本样本融合向量以及所述文本字符向量，生成综合融合向量。
7.根据权利要求6所述的针对桥梁检评文本的抽取式问答方法，其特征在于，所述抽取问答模型包括问题文本样本融合模块，问题文本样本融合模块对所述问题文本样本进行语义特征分析，得到问题文本样本语义向量；根据所有所述问题描述字的问题字符向量的均值，计算问题文本样本平均向量；对所述问题文本样本语义向量、所述问题文本样本平均向量以及所述训练数据条向量进行融合，生成问题文本样本融合向量。
8.根据权利要求6所述的针对桥梁检评文本的抽取式问答方法，其特征在于，所述抽取问答模型基于如下处理步骤根据所述问题文本样本融合向量以及所述文本字符向量，生成综合融合向量，包括：
获取上下文文本样本块，所述上下文文本样本块通过对所述上下文文本样本进行分块处理得到；
基于所述上下文文本样本补全模块对每个上下文文本样本块进行向量化，得到分块向量；
根据所有上下文文本样本块对应的分块向量，生成上下文文本样本补全向量；
对问题文本样本融合向量和上下文文本样本补全向量以及每个文本字符向量进行融合得到综合融合向量。
9.根据权利要求8所述的针对桥梁检评文本的抽取式问答方法，其特征在于，所述抽取问答模型包括上下文文本样本补全模块，所述上下文文本样本补全模块获取上下文文本样本块，所述上下文文本样本块通过对所述上下文文本样本进行分块处理得到；基于所述上下文文本样本补全模块对每个上下文文本样本块进行向量化，得到分块向量；根据所有上下文文本样本块对应的分块向量，生成上下文文本样本补全向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410561898.3A CN118132738B (zh) | 2024-05-08 | 2024-05-08 | 针对桥梁检评文本的抽取式问答方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410561898.3A CN118132738B (zh) | 2024-05-08 | 2024-05-08 | 针对桥梁检评文本的抽取式问答方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118132738A CN118132738A (zh) | 2024-06-04 |
| CN118132738B true CN118132738B (zh) | 2024-07-05 |
Family
ID=91234844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410561898.3A Active CN118132738B (zh) | 2024-05-08 | 2024-05-08 | 针对桥梁检评文本的抽取式问答方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118132738B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818105A (zh) * | 2021-02-05 | 2021-05-18 | 江苏实达迪美数据处理有限公司 | 一种融合上下文信息的多轮对话方法及*** |
| CN113010693A (zh) * | 2021-04-09 | 2021-06-22 | 大连民族大学 | 融合指针生成网络的知识图谱智能问答方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021184311A1 (zh) * | 2020-03-19 | 2021-09-23 | 中山大学 | 一种自动生成可推理问答的方法和装置 |
| CN114385803A (zh) * | 2022-01-13 | 2022-04-22 | 重庆邮电大学 | 一种基于外部知识和片段选择的抽取式阅读理解方法 |
| CN116089576A (zh) * | 2022-11-09 | 2023-05-09 | 南开大学 | 一种基于预训练模型的完全生成式知识问答对生成方法 |
| CN115775000A (zh) * | 2022-11-30 | 2023-03-10 | 贵州财经大学 | 一种自动问答的实现方法和装置 |
-
2024
- 2024-05-08 CN CN202410561898.3A patent/CN118132738B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818105A (zh) * | 2021-02-05 | 2021-05-18 | 江苏实达迪美数据处理有限公司 | 一种融合上下文信息的多轮对话方法及*** |
| CN113010693A (zh) * | 2021-04-09 | 2021-06-22 | 大连民族大学 | 融合指针生成网络的知识图谱智能问答方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118132738A (zh) | 2024-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111639171A (zh) | 一种知识图谱问答方法及装置 | |
| CN113204952B (zh) | 一种基于聚类预分析的多意图与语义槽联合识别方法 | |
| CN113191148B (zh) | 一种基于半监督学习和聚类的轨道交通实体识别方法 | |
| CN112052684A (zh) | 电力计量的命名实体识别方法、装置、设备和存储介质 | |
| CN113138920B (zh) | 基于知识图谱与语义角色标注的软件缺陷报告分派方法及装置 | |
| CN117033571A (zh) | 知识问答***构建方法及*** | |
| CN111222330B (zh) | 一种中文事件的检测方法和*** | |
| CN116484024A (zh) | 一种基于知识图谱的多层次知识库构建方法 | |
| CN116661805B (zh) | 代码表示的生成方法和装置、存储介质及电子设备 | |
| CN114881043B (zh) | 基于深度学习模型的法律文书语义相似度评估方法及*** | |
| CN117574898A (zh) | 基于电网设备的领域知识图谱更新方法及*** | |
| CN115390806A (zh) | 基于双模态联合建模的软件设计模式推荐方法 | |
| CN115658846A (zh) | 一种适用于开源软件供应链的智能搜索方法及装置 | |
| CN117648093A (zh) | 基于大模型和自定制需求模板的rpa流程自动化生成方法 | |
| CN117807482B (zh) | 海关报关单的分类方法、装置、设备及存储介质 | |
| CN116861269A (zh) | 工程领域的多源异构数据融合及分析方法 | |
| CN118113855A (zh) | 一种舰船试验训练场景问答方法、***、设备和介质 | |
| Li et al. | Multi-task deep learning model based on hierarchical relations of address elements for semantic address matching | |
| CN117873487B (zh) | 一种基于gvg的代码函数注释生成方法 | |
| US20240028828A1 (en) | Machine learning model architecture and user interface to indicate impact of text ngrams | |
| CN111339258B (zh) | 基于知识图谱的大学计算机基础习题推荐方法 | |
| CN117473054A (zh) | 基于知识图谱的通用智能问答方法及装置 | |
| CN118132738B (zh) | 针对桥梁检评文本的抽取式问答方法 | |
| CN114842301A (zh) | 一种图像注释模型的半监督训练方法 | |
| CN114330350A (zh) | 一种命名实体识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |