CN116756288A - 融合三维注意力的文本交互多项选择智能答题方法及*** - Google Patents
融合三维注意力的文本交互多项选择智能答题方法及*** Download PDFInfo
- Publication number
- CN116756288A CN116756288A CN202310783024.8A CN202310783024A CN116756288A CN 116756288 A CN116756288 A CN 116756288A CN 202310783024 A CN202310783024 A CN 202310783024A CN 116756288 A CN116756288 A CN 116756288A
- Authority
- CN
- China
- Prior art keywords
- options
- choice
- text
- interaction
- dimensional attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000008569 process Effects 0.000 claims abstract description 17
- 241000282414 Homo sapiens Species 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 230000001502 supplementing effect Effects 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 35
- 230000007246 mechanism Effects 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 6
- 230000008447 perception Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009901 attention process Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种融合三维注意力的文本交互多项选择智能答题方法及***，进行数据集采集，包括收集互联网上问题数据，整理过滤后形成多项选择数据集；选项差异交互，包括在融合三维注意力的文本交互多项选择答题模型中模拟人类在解决阅读理解多项选择题时，通过比较所有选项来寻求帮助，建模出选项之间的差异信息；问题、选项、文章之间进行文本交互，包括在融合三维注意力的文本交互多项选择答题模型中模拟人类阅读理解过程中需要理解不同类型文段之间的联系进行阅读推理，并使用三维注意力补充问题与选项交互时缺失的上下文信息；模型微调，包括使用数据集，输入到融合三维注意力的文本交互多项选择答题模型进行预训练，实现智能答题。
Description
技术领域
本发明属于自然语言智能处理领域，更具体地，涉及一种基于机器阅读理解融合三维注意力的文本交互智能多项选择智能答题方案。
背景技术
近年来，随着神经网络的发展，教会机器阅读理解成为了NLP中的核心任务之一0。2018年，国家科技部设立了“基于大数据的类人智能关键技术与***”项目，目标在于研制出能够理解文章意思并准确回答相应问题的智能机器人0。多项选择作为一种基本的阅读理解题型，在该项目的推动下，已成为机器阅读理解任务中的一个重要研究方向。自2018年以来，BERT0及其改造版本在多项NLP任务中显示出了惊人的改进，为完成机器阅读理解多项选择任务提供了新的思路。
在阅读理解多项选择任务中，工作的重点在于如何建模不同选项之间的差异信息，以及建模出问题、选项、文章两两之间的联系。选项之间的文本交互模拟的是人们在解决阅读理解多项选择题时，可能会通过比较所有选项来寻求帮助。例如，必须选择一个选项，不是因为该选项是最有可能正确的，而是所有其他选项都不可能正确。受这种人类经验的启发，引入答案选项之间的比较信息，使每个选项之间并不独立，在任意两个选项之间建立双线性表示，利用门控机制将交互表示融合到原始答案选项表示中，可以更清晰地选择出正确答案。问题、选项、文章之间的文本交互则模拟人类阅读理解过程中需要理解不同类型文段之间的联系进行阅读推理。在以往的工作中，通过引入双协同匹配网络，双向地模拟问题、选项和文章之间的关系表示，再利用门控机制从两个方向进行融合，达到分别从问题、选项、文章的角度考虑其他部分影响的效果。不同的文本交互机制，在机器阅读理解多项选择任务中产生的不同的效果，但本质上所使用是不同的注意力机制。考虑到在建模问题与选项关系时，普通二维注意力机制只将问题与选项作为交互的两个维度，没有明确地模拟出上下文信息影响下的问题、选项交互，从而丢失了重要的上下文信息，导致注意力表现不佳。因此，需要使用三维注意力机制扩展标准的二维注意力机制，通过将上下文作为计算相关性得分的第三维度显式地加入问题、选项之间的交互，得到问题、选项融合上下文的交互表示，用于多项选择推理。
近年来出现的多项选择模型根据文本交互方式、注意力维度等统计，如表1所示。
表1多项选择模型对比
机器阅读理解多项选择[8]任务中，每条数据都包括一篇文章、至少一个问题，每个问题下有四个候选选项，有且仅有一个正确选项，需要模型理解文章意思并选出符合题意的选项。因此把该任务建模为输入问题、选项和文本，对输入文本进行四分类。
公布号为CN109492227A的《一种基于多头注意力机制和动态迭代的机器阅读理解方法》、授权号为CN110083682B的《一种基于多轮注意力机制的机器阅读理解答案获取方法》、公开号为CN110334184A的《基于机器阅读理解的智能问答***》与公开号为CN115659947A的《基于机器阅读理解及文本摘要的多项选择答题方法及***》等专利在使用注意力机制建模文章和问题之间的关系时，通常只计算问题感知的文章表示，而忽略了文章感知的问题表示，导致无法有效地捕捉文章和问题的关系。
相关文献：
[1]谭红叶,李宣影,刘蓓.基于外部知识和层级篇章表示的阅读理解方法[J].中文信息学报,2020,34(4):85-91.
[2]张虎,张颖,杨陟卓,等.基于数据增强的高考阅读理解自动答题研究[J].中文信息学报,2021,35(9):132-140.
[3]Devlin J,Chang M W,Lee K,et al.BERT:Pre-training of DeepBidirectional Transformers for Language Understanding[C]//Proceedings of the2019Conference of the North American Chapter of the Association forComputational Linguistics:Human Language Technologies,Volume 1(Long and ShortPapers).2019:4171-4186.
[4]Zhang S,Zhao H,Wu Y,et al.Dual co-matching network for multi-choice reading comprehension[J].arXiv preprint arXiv:1901.09381,2019.
[5]Zhang S,Zhao H,Wu Y,et al.DCMN+:Dual co-matching network formulti-choice reading comprehension[C]//Proceedings of the AAAI Conference onArtificial Intelligence.2020,34(05):9563-9570.
[6]Zhu P,Zhang Z,Zhao H,et al.DUMA:Reading comprehension withtransposition thinking[J].IEEE/ACM Transactions on Audio,Speech,and LanguageProcessing,2021,30:269-279.
[7]Yu R,Li Y,Lu W,et al.Tri-Attention:Explicit Context-AwareAttention Mechanism for Natural Language Processing[J].arXiv preprint arXiv:2211.02899,2022.
[8]Liu S,Zhang X,Zhang S,et al.Neural machine reading comprehension:Methods and trends[J].Applied Sciences,2019,9(18):3698.
发明内容
现有阅读理解多项选择模型多使用二维注意力机制来建模选项之间的差异以及问题、选项、文章两两之间的联系，这些方法模拟了人类阅读理解过程中的一些细节，提高了机器在阅读理解多项选择任务中的性能。但是普通的二维注意力机制框架，只将问题与选项作为注意力交互的两个维度，会造成在问题和选项进行交互时，忽略了上下文的影响，尤其是当问题涉及到对文中句子、词语的理解时，上下文信息的缺失会导致问题与选项之间的关系模糊。因此本发明提出使用一种通用的三维注意力，将上下文作为计算相关性得分的第三个维度，更适用于此场景，可以提高多项选择模型的准确率。
为了实现上述目的，本发明提出了一种融合三维注意力的文本交互多项选择智能答题方法，包括以下步骤：
步骤1，数据集采集，包括收集互联网上问题数据，每条数据包含一篇文章、多个单选问题，每个问题下有若干个选项，整理过滤后形成多项选择数据集；
步骤2，选项差异交互，包括在融合三维注意力的文本交互多项选择答题模型中模拟人类在解决阅读理解多项选择题时，通过比较所有选项来寻求帮助，建模出选项之间的差异信息；
步骤3，问题、选项、文章之间进行文本交互，包括在融合三维注意力的文本交互多项选择答题模型中模拟人类阅读理解过程中需要理解不同类型文段之间的联系进行阅读推理，并使用三维注意力补充问题与选项交互时缺失的上下文信息；
步骤4，模型微调，包括使用步骤1中的数据集，输入到融合三维注意力的文本交互多项选择答题模型进行预训练，基于所得结果支持实现智能答题。
而且，进行数据集采集时，使用网络爬虫从相关网站采集原始HTML文本，抽取文章、问题、选项、答案，并去除多余的JavaScript代码、CSS代码及注释文本；再对去除代码后的网页文本结构进行解析，去掉网页文本含有的HTML标签；最后对文本中的部分符号进行转换。
而且，所述模型基于BERT，首先分批读取数据集中的问题、选项与文章，将问题、选项与文章文本经过BERT编码得到问题部分向量HQ∈R|Q|×l、选项部分的向量HC∈R|C|×l与文章部分的向量HP∈R|P|×l，|Q|、|C|、|P|为文本长度，l为隐藏层的维度。
而且，为融合不同选项之间的差异信息，HC在经过双线***互后，使用门控机制将交互表示融合到原始答案选项表示中。
而且，在选项融合了差异信息后，为建模问题、选项、文章之间的关系，对问题编码后的向量HQ，选项差异交互后的向量HO，文章编码后的向量HP进行双向匹配，并利用门控机制从两个方向融合表示，因此在问题与选项的交互过程中会使用多层三维注意力层进行交互。
而且，融合三维注意力的文本交互多项选择智能答题模型会按照批次读取数据集中的问题、选项、文章与标准答案，阅读理解文章、问题与选项后做出预测，根据预测值与标准答案计算模型损失，继而根据损失训练模型。
另一方面，本发明还提供一种融合三维注意力的文本交互多项选择智能答题***，用于实现如上所述的一种融合三维注意力的文本交互多项选择智能答题方法。
而且，包括以下模块，
第一模块，用于数据集采集，包括收集互联网上问题数据，每条数据包含一篇文章、多个单选问题，每个问题下有若干个选项，整理过滤后形成多项选择数据集；
第二模块，用于选项差异交互，包括在融合三维注意力的文本交互多项选择答题模型中模拟人类在解决阅读理解多项选择题时，通过比较所有选项来寻求帮助，建模出选项之间的差异信息；
第三模块，用于问题、选项、文章之间进行文本交互，包括在融合三维注意力的文本交互多项选择答题模型中模拟人类阅读理解过程中需要理解不同类型文段之间的联系进行阅读推理，并使用三维注意力补充问题与选项交互时缺失的上下文信息；
第四模块，用于模型微调，包括使用数据集，输入到融合三维注意力的文本交互多项选择答题模型进行预训练，基于所得结果支持实现智能答题。
或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种融合三维注意力的文本交互多项选择智能答题方法。
或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种融合三维注意力的文本交互多项选择智能答题方法。
本发明相较于多种二位注意力文本交互阅读理解多项选择方法，深入理解问题与选项交互时需要关注的上下文信息，使问题、选项、文章三者之间的交互更为充分，多项选择推理更准确。
本专利使用双协同匹配网络，在模型中双向地模拟了问题、选项与文章之间的关系。结合阅读理解多项选择任务实际场景，部分数据样例的问题会涉及对文章中句子或者词语的理解，考虑到问题与选项文本双向交互时，并未涉及上下文信息，会导致问题与选项的感知表示信息不完整。为了弥补上述应用场景下缺失的上下文信息，本专利使用一种三维注意力机制将上下文信息作为查询、键之外的第三维度，上下文、查询、键直接进行注意力交互，以更适用于本专利的任务场景。
本发明方案实施简单方便，实用性强，解决了相关技术存在的实用性低及实际应用不便的问题，能够提高用户体验，具有重要的市场价值。
附图说明
图1为本发明实施例的流程图；
图2为本发明实施例模型整体框架图；
图3为本发明实施例二维注意力机制流程图；
图4为本发明实施例三维注意力机制流程图。
具体实施方式
以下结合附图和实施例具体说明本发明的技术方案。
本发明公开了一种融合三维注意力的文本交互多项多项选择答题方法，借鉴人类在进行阅读理解多项选择答题时的细节经验。首先引入答案选项之间的比较信息，使每个选项之间并不独立，在任意两个选项之间建立双线性表示，利用门控机制将交互表示融合到原始答案选项表示中，更清晰地选择正确答案。而后引入双协同匹配网络，双向地模拟问题、选项和文章之间的关系表示，再利用门控机制从两个方向进行融合，达到分别从问题、选项、文章的角度考虑其他部分影响的效果。但是在问题与选项交互时双协同匹配网络使用二维注意力机制，并没有考虑上下文的影响。本发明使用三维注意力机制将上下文作为第三维度显示地加入到问题与选项的交互中，使得交互更充分，获得更丰富的信息，提高答题准确率。
首先就本发明的技术术语进行解释和说明：
BERT：BERT的全称为Bidirectional Encoder Representation fromTransformers，是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的MaskedLanguage Model(MLM)，以致能生成深度的双向语言表征。
Python：一种计算机程序设计语言。
PyQuery：一个类似jquery(一个js库)的库，使用lxml进行快速xml和html操作。
HTML：超文本标记语言(英语：HyperText Markup Language，简称：HTML)是一种用于创建网页的标准标记语言。
JavaScript：一种具有函数优先的轻量级，解释型或即时编译型的编程语言。
CSS：层叠样式表(Cascading Style Sheets)，CSS描述了如何在屏幕、纸张或其他媒体上显示HTML元素CSS节省了大量工作。
Transformer：一种新颖的架构，旨在解决序列到序列的任务，同时轻松处理长期依赖(long-range dependencies)问题。
Sigmoid：Sigmoid函数，是使用范围最广的一类激活函数，具有指数函数形状，它在物理意义上最为接近生物神经元，是一个在生物学中常见的S型的函数，也称为S型生长曲线。此外，“(0,1)”的输出还可以被表示作概率。
参见图1，本发明实施例提供一种融合三维注意力的文本交互多项选择答题方法，包括以下步骤：
步骤1、首先构建机器阅读理解多项选择数据集，即数据集采集，包括收集互联网上问题数据，每条数据包含一篇文章、多个单选问题，每个问题下有若干个选项，整理过滤后形成多项选择数据集。
实施例以高考等题目为例，说明步骤1优选建议的实现方式如下：
步骤1.1、使用爬虫技术采集互联网上的高考模拟题、真题数据，并结构化HTML数据，抽取出文章、问题、选项、答案，可以通过从高考模拟题、真题题库网站采集的原始HTML文本，抽取“文章”、“问题”、“选项”、“答案”等字段实现；这部分内容会包含有JavaScript代码、CSS代码及注释文本等多余内容；然后对获取的网页文本进行去代码处理，即去除JavaScript代码、CSS代码及注释文本等；再利用Python的网页解析库PyQuery对去除代码后的网页文本结构进行解析，去掉网页文本含有的HTML标签；最后对文本中的部分符号进行转换。
步骤1.2、文章、问题、选项、答案内容应当尽量简明精炼，避免冗余；
步骤1.3、对于问题文本中涉及多选、段落信息、加点字词解析的样例，选择丢弃。对于选项文本中涉及加点词解释的样例，选择补充信息。
具体实施时，类似“以下符合文章意思的两项是”的题目选择丢弃，类似“对文中加点词解释正确的是”的题目选择丢弃，类似“对文中第二段理解正确的选项是”的题目选择丢弃。类似“对于文中加点词理解正确的是”的问题，由于纯文本无法直接显示出“加点”信息，需要修改原问题为“对于文中加点词理解正确的是，加点词：手写体的诅咒”；类似“对下列句子中加点字词的解释，不正确的一项是A.父没，子畏犹落落落落：大方的样子”的问题，由于对转义字符以及特殊空白符的处理，去掉了原本存在的间隔，应改为“A.父没，子畏犹落落，落落：大方的样子”；表2为数据集样例。
表2长文本多项选择数据集样例
步骤2、选项差异交互，模拟人们在解决阅读理解多项选择题时，通过比较所有选项来寻求帮助，建模出选项之间的差异信息。
本发明提供的MRC模型(融合三维注意力的文本交互多项选择答题模型)，基于BERT，首先分批读取数据集中的问题、选项与文章，将问题、选项与文章文本经过BERT(Encoder)编码得到问题部分向量HQ∈R|Q|×l、选项部分的向量HC∈R|C|×l和文章部分的向量HP∈R|P|×l与，|Q|、|C|、|P|为文本长度(字符级)，l为隐藏层的维度，其中，R表示实数域。
为了融合不同选项之间的差异信息，HC在经过双线***互后，会使用门控机制将交互表示融合到原始答案选项表示中。
实施例的步骤2优选采用以下实现方式：
步骤2.1、样本输入到如图2所示的MRC模型后，首先会模拟人们在解决阅读理解多项选择题时，通过比较所有选项来寻求帮助，建模出选项之间的差异信息。为了在编码后得到问题、选项、文章的分别表示，在拼接过程中用“[SEP]”符号来分割三种文本。四份文本将经过BERT(Encoder)后得到每份文本的表示，每份文本的表示又分为三部分，问题部分的向量HQ∈R|Q|×L，选项部分的向量HC∈R|C|×L与文章部分的向量HP∈R|P|×L，|Q|、|C|、|P|为文本长度(字符级)，L为隐藏层的维度，在本文中为768。编码器将每个答案选项Ci编码为则选项Ci与Cj的比较向量可计算如下：
其中W1∈RL×L是一个可学习参数，是Ci和Cj之间的双线***互矩阵，为差异交互表示。
步骤2.2、使用门控机制将差异交互表示融合到原始答案选项表示中，具体公式如下所示:
在本实施例中W2∈RL×L,3∈RL×L和W4∈R(-1)×L是可学***衡了中间变量/>和的影响，/>是用交互信息编码的Ci的最终选项表示。最后表示/> 作为最终的答案选项表示集，融合了不同答案选项的比较信息。
步骤3、问题、选项、文章之间进行文本交互。
在选项融合了差异信息后，结合生活实际经验，需要将问题、选项、文章联系起来进行阅读，为了建模问题、选项、文章之间的关系，本方法对问题编码后的向量HQ，选项差异交互后的向量HO，文章编码后的向量HP进行双向匹配，并利用门控机制从两个方向融合表示。由于问题与选项直接交互时，并未考虑到上下文信息，会导致交互不充分丢失信息，因此在问题与选项的交互过程中会使用多层三维注意力层进行交互。
实施例的步骤3实现具体如下：
步骤3.1、在图2的MRC模型中，选项差异信息建模完成后，模型会模拟人类阅读理解过程中需要理解不同类型文段之间的联系进行阅读推理。并使用三维注意力补充问题与选项交互时缺失的上下文信息。在选项融合了差异信息后，结合生活实际经验，需要将问题、选项、文章联系起来进行阅读，为了建模问题、选项、文章之间的关系，对问题编码后的向量HQ，选项差异交互后的向量HO，文章编码后的向量HP进行双向匹配，并利用门控机制从两个方向融合表示。由于在二维注意力文本交互方法中问题与选项的交互过程中并未考虑到上下文信息，会导致交互不充分丢失信息，因此在问题与选项的交互过程中会使用多层三维注意力层进行交互，本实施例中的二维注意力机制流程图如图3，三维注意力机制流程图如图4。标准的二维注意力机制首先会计算查询与键的相似度F(查询,键)并进一步得到相关性打分，再经过Softmax(归一化)得到注意力权重，最后与值进行加权求和得到注意力嵌入。在三维注意力中，三维注意力机制首先通过涉及上下文信息来扩展相似度计算，得到上下文相关的查询键相关性评分，即上下文相关性评分。接着将上下文相关性评分归一化处理，并将归一化后的上下文和值整合在一起，产生上下文依赖的值即上下文值。最终，上下文值与上下文相关性得分位于相同的语义空间中，两者都捕获了额外的上下文信息，获得了信息更丰富且语义上一致的注意力嵌入表示。
在进入注意力层之前，避免注意力过程占用过多显存(显卡内存)资源，问题向量HQ、选项向量HO、文章向量HP会先经过平均池化层(AvgPooling)降低参数，公式如下：
HQ＝AvgPooling(HQ),HO＝AvgPooling(HO),HP＝AvgPooling(HP) (7)
在本实施例中HQ∈RSIZE1×L，HO∈RSIZE1×L，HP∈RSIZE2×L，HQ与HO的SIZE1为60，HP的SIZE2为256。
步骤3.2、池化后的问题与选项向量使用三维注意力机制进行交互，该机制整体框架与多头注意力机制类似，具体公式如下：
headi＝TriAttention(qi,ki,vi,ci),i＝0,2,…,11 (9)
SQ-O＝Concat(head1,head2,…,headh) (11)
在本实施例中，head的个数为12，每个head的注意焦点有所不同，得到的注意表示headi也有所差异。HQ、HO、HP分别先与对应的可学习权重 进行点积操作，得到查询向量/>键向量/>值向量/> 上下文向量/>其中dk＝L÷12。然后在TriAttention(qi,ki,vi,ci)操作中，ki与vi会与ci进行哈达马积操作融入上下文信息，其中/>代表在ki原始向量第0维前增加一个维度，/>代表在ci原始向量第1维前增加一个维度。最后计算出当前head的注意嵌入向量，多个head的注意向量会拼接为最终的问题感知选项表示SQ-O∈RSIZE1×L，交换HQ与HC顺序后同理得到选项感知问题表示SO-Q∈RSIZE1 ×L。
步骤3.3、问题与文章、选项与文章之间的交互则使用普通的双向匹配策略，以选项与文章之间的交互举例，具体如公式(12)～(15)所示：
SO-P＝AvgPooling(ReLU(GoPHPW7)) (14)
SP-O＝AvgPooling(ReLU(GPOHOW8)) (15)
在本实施例中W5∈RL×L、W6∈RL×L、W7∈RL×L、W8∈RL×L为可学习参数。GOP∈R|O|×|P|和GPO∈R|P|×|O|是问题和选项之间的权值矩阵。SO-P∈RSIZE1×L、SP-O∈RSIZE1×L分别表示选项感知文章表示和文章感知选项表示。
步骤3.4、问答对的最终表示形式计算如下：
SO-P＝MaxPooling(So-P)∈RL (16)
SP-O＝MaxPooling(SP-O)∈RL (17)
g＝σ(SO-PW9+SP-OW10+b) (18)
MO-P＝g*SO-P+(1-g)*SP-O (19)
在本实施例中W9∈RL×L、W10∈RL×L、b∈RL是三个可学习参数。在逐步进行最大池化操作后，会到SO-P和SP-O的聚合表示。g∈RL是一个复位门，σ表示sigmoid函数。MO-P∈RL是选项与文章序列对的最终双向匹配表示。问题与选项序列对的最终双向匹配表示MQ-O、问题与文章序列对的最终双向匹配表示MP-Q同公式(16)～(19)计算。
步骤3.5、损失计算如下：
利用三个序列对构建的匹配表示MP-O、MP-Q、MQ-O串联起来作为每个问题-选项-文章三元组的最终表示Z∈R3l。Z会通过相关计算得出ABCD四个选项的概率分布。Zi表示每一个{Q,Oi,P}三联体。如果Ak为正确选项，则损失函数可计算如下(log的底数是e)：
Z＝[MP-O,MP-Q,MQ-O] (20)
在本实施例中V∈R3l是可学习的参数。
步骤4、模型微调，基于所得结果支持实现智能答题。。
将问题、选项、短文本拼接后输入本发明建立的MRC模型进行训练，当前问题的答案即为训练标签，MRC预测分类值与标签计算交叉熵损失，公式如下：
label(z+)＝1∈{0,1,2,3}(22)
reasoner(z+)＝{0.1,0.6,0.3,0.2}∈(0,1)4(23)
lossreadoner(z+)＝CrossEntropy(reasoner(z+),abel(z+))(24)
其中，训练样本分为相关块与连续无关块的混合序列、相关块与随机无关块的混合序列。label为该题的正确选项，reasoner(z+)为推理器此次推理出的选项概率分布，lossreasoner为计算得出的推理器损失。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的***装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
在一些可能的实施例中，提供一种融合三维注意力的文本交互多项选择智能答题***，包括以下模块，
第一模块，用于数据集采集，包括收集互联网上问题数据，每条数据包含一篇文章、多个单选问题，每个问题下有若干个选项，整理过滤后形成多项选择数据集；
第二模块，用于选项差异交互，包括在融合三维注意力的文本交互多项选择答题模型中模拟人类在解决阅读理解多项选择题时，通过比较所有选项来寻求帮助，建模出选项之间的差异信息；
第三模块，用于问题、选项、文章之间进行文本交互，包括在融合三维注意力的文本交互多项选择答题模型中模拟人类阅读理解过程中需要理解不同类型文段之间的联系进行阅读推理，并使用三维注意力补充问题与选项交互时缺失的上下文信息；
第四模块，用于模型微调，包括使用数据集，输入到融合三维注意力的文本交互多项选择答题模型进行预训练，基于所得结果支持实现智能答题，
在一些可能的实施例中，提供一种融合三维注意力的文本交互多项选择智能答题***，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种融合三维注意力的文本交互多项选择智能答题方法。
在一些可能的实施例中，提供一种融合三维注意力的文本交互多项选择智能答题***，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种融合三维注意力的文本交互多项选择智能答题方法。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (10)
1.一种融合三维注意力的文本交互多项选择智能答题方法，其特征在于，包括以下步骤：
步骤1，数据集采集，包括收集互联网上问题数据，每条数据包含一篇文章、多个单选问题，每个问题下有若干个选项，整理过滤后形成多项选择数据集；
步骤2，选项差异交互，包括在融合三维注意力的文本交互多项选择答题模型中模拟人类在解决阅读理解多项选择题时，通过比较所有选项来寻求帮助，建模出选项之间的差异信息；
步骤3，问题、选项、文章之间进行文本交互，包括在融合三维注意力的文本交互多项选择答题模型中模拟人类阅读理解过程中需要理解不同类型文段之间的联系进行阅读推理，并使用三维注意力补充问题与选项交互时缺失的上下文信息；
步骤4，模型微调，包括使用步骤1中的数据集，输入到融合三维注意力的文本交互多项选择答题模型进行预训练，基于所得结果支持实现智能答题。
2.根据权利要求1所述的融合三维注意力的文本交互多项选择智能答题方法，其特征在于：进行数据集采集时，使用网络爬虫从相关网站采集原始HTML文本，抽取文章、问题、选项、答案，并去除多余的JavaScript代码、CSS代码及注释文本；再对去除代码后的网页文本结构进行解析，去掉网页文本含有的HTML标签；最后对文本中的部分符号进行转换。
3.根据权利要求1所述融合三维注意力的文本交互多项选择智能答题方法，其特征在于：所述模型基于BERT，首先分批读取数据集中的问题、选项与文章，将问题、选项与文章文本经过BERT编码得到问题部分向量HQ∈R|Q|×l、选项部分的向量HC∈R|C|×l与文章部分的向量HP∈R|P|×l，|Q|、|C|、|P|为文本长度，l为隐藏层的维度。
4.根据权利要求3所述融合三维注意力的文本交互多项选择智能答题方法，其特征在于：为融合不同选项之间的差异信息，HC在经过双线***互后，使用门控机制将交互表示融合到原始答案选项表示中。
5.根据权利要求4所述融合三维注意力的文本交互多项选择智能答题方法，其特征在于：在选项融合了差异信息后，为建模问题、选项、文章之间的关系，对问题编码后的向量HQ，选项差异交互后的向量HO，文章编码后的向量HP进行双向匹配，并利用门控机制从两个方向融合表示，因此在问题与选项的交互过程中会使用多层三维注意力层进行交互。
6.根据权利要求1或2或3或4或5所述融合三维注意力的文本交互多项选择智能答题方法，其特征在于：融合三维注意力的文本交互多项选择智能答题模型会按照批次读取数据集中的问题、选项、文章与标准答案，阅读理解文章、问题与选项后做出预测，根据预测值与标准答案计算模型损失，继而根据损失训练模型。
7.一种融合三维注意力的文本交互多项选择智能答题***，其特征在于：用于实现如权利要求1-6任一项所述的一种融合三维注意力的文本交互多项选择智能答题方法。
8.根据权利要求7所述融合三维注意力的文本交互多项选择智能答题***，其特征在于：包括以下模块，
第一模块，用于数据集采集，包括收集互联网上问题数据，每条数据包含一篇文章、多个单选问题，每个问题下有若干个选项，整理过滤后形成多项选择数据集；
第二模块，用于选项差异交互，包括在融合三维注意力的文本交互多项选择答题模型中模拟人类在解决阅读理解多项选择题时，通过比较所有选项来寻求帮助，建模出选项之间的差异信息；
第三模块，用于问题、选项、文章之间进行文本交互，包括在融合三维注意力的文本交互多项选择答题模型中模拟人类阅读理解过程中需要理解不同类型文段之间的联系进行阅读推理，并使用三维注意力补充问题与选项交互时缺失的上下文信息；
第四模块，用于模型微调，包括使用数据集，输入到融合三维注意力的文本交互多项选择答题模型进行预训练，基于所得结果支持实现智能答题。
9.根据权利要求7所述融合三维注意力的文本交互多项选择智能答题***，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如权利要求1-6任一项所述的一种融合三维注意力的文本交互多项选择智能答题方法。
10.根据权利要求7所述融合三维注意力的文本交互多项选择智能答题***，其特征在于：包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-6任一项所述的一种融合三维注意力的文本交互多项选择智能答题方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310783024.8A CN116756288A (zh) | 2023-06-28 | 2023-06-28 | 融合三维注意力的文本交互多项选择智能答题方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310783024.8A CN116756288A (zh) | 2023-06-28 | 2023-06-28 | 融合三维注意力的文本交互多项选择智能答题方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116756288A true CN116756288A (zh) | 2023-09-15 |
Family
ID=87953105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310783024.8A Pending CN116756288A (zh) | 2023-06-28 | 2023-06-28 | 融合三维注意力的文本交互多项选择智能答题方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116756288A (zh) |
-
2023
- 2023-06-28 CN CN202310783024.8A patent/CN116756288A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Natural language generation using deep learning to support MOOC learners | |
| CN108021616B (zh) | 一种基于循环神经网络的社区问答专家推荐方法 | |
| CN111488931B (zh) | 文章质量评估方法、文章推荐方法及其对应的装置 | |
| CN109753566A (zh) | 基于卷积神经网络的跨领域情感分析的模型训练方法 | |
| CN115659947A (zh) | 基于机器阅读理解及文本摘要的多项选择答题方法及*** | |
| CN116186237A (zh) | 一种基于事件因果推断的实体关系的联合抽取方法 | |
| CN117218482A (zh) | 模型训练方法、视频处理方法、装置及电子设备 | |
| Tian et al. | Research on MOOC teaching mode in higher education based on deep learning | |
| CN113934835A (zh) | 结合关键词和语义理解表征的检索式回复对话方法及*** | |
| CN114282528A (zh) | 一种关键词提取方法、装置、设备及存储介质 | |
| CN116628207A (zh) | 文本分类模型的训练方法和装置、电子设备及存储介质 | |
| CN114970557B (zh) | 基于知识增强的跨语言结构化情感分析方法 | |
| CN116561272A (zh) | 开放域视觉语言问答方法、装置、电子设备及存储介质 | |
| CN113741759B (zh) | 评论信息的展示方法、装置、计算机设备和存储介质 | |
| CN117216617A (zh) | 文本分类模型训练方法、装置、计算机设备和存储介质 | |
| CN116186220A (zh) | 信息检索方法、问答处理方法、信息检索装置及*** | |
| CN115129849A (zh) | 题目表示的获取方法、设备以及计算机可读存储介质 | |
| CN116955599A (zh) | 一种类目确定的方法、相关装置、设备以及存储介质 | |
| CN114510561A (zh) | 答案选择方法、装置、设备及存储介质 | |
| CN116756288A (zh) | 融合三维注意力的文本交互多项选择智能答题方法及*** | |
| CN113869518A (zh) | 视觉常识推理方法、装置、电子设备及存储介质 | |
| CN113821610A (zh) | 信息匹配方法、装置、设备及存储介质 | |
| CN118014086B (zh) | 数据处理方法、装置、设备、存储介质及产品 | |
| Amanatidis et al. | A Convolutional Neural Network for Sentiment Analysis of TripAdvisor reviews | |
| CN118228718B (zh) | 编码器处理方法、文本处理方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 2-518, Innovation Building, Huashi Science and Technology Park, East Lake High-tech Zone, Wuhan City, Hubei Province 430073 Applicant after: WUHAN LANSHAN TECHNOLOGY CO.,LTD. Applicant after: WUHAN University OF SCIENCE AND TECHNOLOGY Address before: 430081 No. 947 Heping Avenue, Qingshan District, Hubei, Wuhan Applicant before: WUHAN University OF SCIENCE AND TECHNOLOGY Applicant before: WUHAN LANSHAN TECHNOLOGY CO.,LTD. |