CN111625635A - 问答处理、语言模型的训练方法、装置、设备及存储介质 - Google Patents

问答处理、语言模型的训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111625635A
CN111625635A CN202010460778.6A CN202010460778A CN111625635A CN 111625635 A CN111625635 A CN 111625635A CN 202010460778 A CN202010460778 A CN 202010460778A CN 111625635 A CN111625635 A CN 111625635A
Authority
CN
China
Prior art keywords
question
candidate
text
matching degree
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010460778.6A
Other languages
English (en)
Other versions
CN111625635B (zh
Inventor
曲瑛琪
刘璟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010460778.6A priority Critical patent/CN111625635B/zh
Publication of CN111625635A publication Critical patent/CN111625635A/zh
Priority to US17/088,053 priority patent/US11645316B2/en
Priority to JP2020215253A priority patent/JP7127106B2/ja
Priority to EP21155777.2A priority patent/EP3816812A1/en
Priority to KR1020210023956A priority patent/KR20210038449A/ko
Application granted granted Critical
Publication of CN111625635B publication Critical patent/CN111625635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/243—Natural language query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了问答处理、语言模型的训练方法、装置、设备及存储介质，涉及自然语言处理领域。具体实现方案为：获取与待查询问题相匹配的至少一个候选表格，每个候选表格包括与问题相对应的一个候选答案；对至少一个候选表格进行处理，得到至少一个表格文本，表格文本包括候选表格中各个域的文本内容，域包括标题、表头和单元格；将问题和每个表格文本分别输入预设的语言模型，得到问题和每个候选表格的匹配度；根据每个候选表格的匹配度，输出答复表格，答复表格为至少一个候选表格中，与问题的匹配度大于预设值的候选表格或者最大匹配度对应的候选表格。本申请采用语言模型对问题和文本进行语义匹配，提高问题和表格的匹配准确率和召回率。

Description

问答处理、语言模型的训练方法、装置、设备及存储介质
技术领域
本申请实施例涉及数据处理中的自然语言处理技术，尤其涉及一种问答处理、语言模型的训练方法、装置、设备及存储介质。
背景技术
问答***(Question Answering System,QA)是信息检索***的一种高级形式，其能用准确、简洁的自然语言回答用户用自然语言提出的问题，为用户提供个性化服务。问答***在回答用户的问题时，其中一种方式是为问题匹配结构化的答案，例如表格形式的答案，而如何获取与问题相应的表格，是目前一大难点。
目前，问题***主要是通过对表格中各个域(包括标题、表头、表格单元和上下文等)的信息进行处理，然后将表格各个域的信息与问题进行文本匹配，从而获取相应的表格形式的答案。然而，这种方式匹配得到的答案存在精准度不高的问题。
发明内容
本申请提供了一种用于为问题匹配表格形式的答案的问答处理、语言模型的训练方法、装置、设备及存储介质。
根据本申请的一方面，提供了一种问答处理方法，包括：获取与待查询问题相匹配的至少一个候选表格，每个候选表格包括与所述问题相对应的一个候选答案；对所述至少一个候选表格进行处理，得到至少一个表格文本，所述表格文本包括所述候选表格中各个域的文本内容，所述域包括标题、表头和单元格；将所述问题和每个表格文本分别输入预设的语言模型中，得到所述问题和每个候选表格的匹配度；根据每个候选表格的匹配度，输出答复表格，所述答复表格为所述至少一个候选表格中，与所述问题的匹配度大于预设值的候选表格或者与所述问题的匹配度最大的候选表格。
根据本申请的另一方面，提供了一种语言模型的训练方法，包括：获取第一训练样本数据，所述第一训练样本数据为无标注信息的文本数据；基于所述第一训练样本数据对待训练模型进行第一预训练，得到第一预训练模型；获取第二训练样本数据及其对应的标注信息，所述第二训练样本数据包括问题和与所述问题对应的多个候选表格，所述标注信息用于表示所述问题和每个候选表格的相关性；基于所述第二训练样本数据及其对应的标注信息对所述第一预训练模型进行训练，得到所述语言模型，所述语言模型用于确定所述问题与至少一个候选表格的匹配度。
根据本申请的另一方面，提供了一种问答处理装置，包括：第一获取模块，用于获取与待查询问题相匹配的至少一个候选表格，每个候选表格包括与所述问题相对应的一个候选答案；转换模块，用于对所述至少一个候选表格进行处理，得到至少一个表格文本，所述表格文本包括所述候选表格中各个域的文本内容，所述域包括标题、表头和单元格；确定模块，用于将所述问题和每个表格文本分别输入预设的语言模型中，得到所述问题和每个候选表格的匹配度；输出模块，用于根据每个候选表格的匹配度，输出答复表格，所述答复表格为所述至少一个候选表格中，与所述问题的匹配度大于预设值的候选表格或者与所述问题的匹配度最大的候选表格。
根据本申请的另一方面，提供了一种语言模型的训练装置，包括：第二获取模块，用于获取第一训练样本数据，所述第一训练样本数据为无标注信息的文本数据；以及获取第二训练样本数据及其对应的标注信息，所述第二训练样本数据包括问题和与所述问题对应的多个候选表格，所述标注信息用于表示所述问题和每个候选表格的相关性；训练模块，用于基于所述第一训练样本数据对待训练模型进行第一预训练，得到第一预训练模型；以及基于所述第二训练样本数据及其对应的标注信息对所述第一预训练模型进行训练，得到所述语言模型，所述语言模型用于确定所述问题与至少一个候选表格的匹配度。
根据本申请的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面和/或第二方面所述的方法。
根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面和/或第二方面任一项所述的方法。
根据本申请的另一方面，提供了一种问答处理方法，包括：获取与待查询问题相匹配的至少一个候选表格，每个候选表格包括与所述问题相对应的一个候选答案；将所述问题和每个候选表格分别输入预设的语言模型中，得到所述问题和每个候选表格的匹配度；输出所述至少一个候选表格中，与所述问题的匹配度大于预设值的候选表格或者与所述问题的匹配度最大的候选表格。
根据本申请的技术提高了问题与表格匹配的准确率和召回率。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请实施例提供的应用场景示意图；
图2是本申请实施例的问答处理方法的流程图；
图3A是本申请实施例的表格文本的示意图；
图3B是本申请实施例最终输出的答复表格的示意图；
图4是本申请实施例提供的语言模型的结构示意图；
图5是本申请实施例提供的语言模型的训练方法流程图；
图6是本申请另一实施例提供的语言模型的训练方法的示意图；
图7是本申请实施例的问答处理装置的结构示意图；
图8是本申请实施例提供的语言模型的训练装置结构示意图；
图9是用来实现本申请实施例的问答处理方法和/或语言模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是本申请实施例提供的应用场景图。如图1所示，该应用场景包括：终端设备11和服务器12；其中，终端设备11可以是智能手机、ipad、电脑等电子设备，服务器12中存储有问题和答案的对应关系。可选的，***括结构化答案和非结构化答案。本申请实施例中，结构化答案是指答案以表格的形式呈现，非结构化的答案主要是指以文本形式呈现的答案；其中，结构化答案例如：“A型号手机参数配置”、“世界各国的领土面积排名”等，这些问题能够直接用表格回答，比非结构化的文本答案更加直观清晰。另外，还有一种是表格中部分内容作为问题的答案，例如：“B款手机的前置摄像头像素是多少”、“世界上最大的国家领土面积”等，这些问题的答案存在于结构化的表格中，类似于知识库问答，其需要在找到与问题相匹配的表格基础上，进一步确定答案所在位置。
目前，现有的问答***大多面向非结构化的文本，即通过问题匹配、段落检索、机器阅读理解等技术得到问题的精确答案。而实际上，结构化的表格中同样包含了大量信息，也能够作为一种答案来源。因此，有人逐渐开始研究如何实现问题与表格的匹配。
目前，主要通过将表格拆分为不同的域(标题、表头、表格单元、上下文等)，分别抽取问题与表格各个域之间的匹配特征，包括相似度特征(如BM25、编辑距离、Jaccard相似度等)、字面匹配特征(问题中的词在表格各个域中是否出现、出现比例等)。然后基于这些特征，训练一个分类模型，来判断问题与表格相关或不相关。这种方法关注于问题和表格各个域之间的字面匹配信息，因此，答案匹配的准确率和召回率不高。
另外，对于搜索场景下的表格问答***，其直接去掉了表格的结构化信息，将表格作为文本段落，采用与文本相同的方式进行召回；或者直接丢弃了这部分答案信息，没有表格样式的展现，其可视化效果差，影响用户体验。
针对以上技术问题，本申请实施例不只关注于字面匹配，更多地关注于问题和与问题匹配的至少一个候选表格的语义匹配，从而能够提高答案匹配的准确率和召回率。另外，最终将答案以表格形式呈现给用户，对于用户而言可视化效果好，因而能够提升用户体验。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图2为本申请实施例提供的问答处理方法流程图。本申请实施例针对现有技术的如上技术问题，提供了问答处理方法，该方法具体步骤如下：
步骤201、获取与待查询问题相匹配的至少一个候选表格。
针对一个待查询问题，其可能没有相匹配的候选表格，也可能对应有一个或至少两个候选表格。本实施例主要关注一个问题对应有一个或至少两个候选表格的情况。其中，每个候选表格包括与问题相对应的一个候选答案。可选的，候选答案可以是每个候选表格中的所有内容或部分内容。
本实施例的执行主体可以为终端设备。其中，步骤201是由终端设备从服务器获取与待查询问题相匹配的至少两个表格。以搜索场景为例，用户在终端设备上输入待查询问题，终端设备即根据待查询问题生成搜索请求，进而发送给服务器，并由服务器对待查询问题匹配相应的答案，进而返回至终端设备。值得注意的是，本申请实施例主要针对表格形式的答案和问题的匹配，以下所述答案若无特殊说明，均指代表格形式的答案。
可选的，服务器在对待查询问题匹配相应的答案的过程中，可以使用爬取工具获得候选表格。
步骤202、对至少一个候选表格进行处理，得到至少一个表格文本。
本实施例中，是针对每个候选表格分别进行处理，得到与该候选表格对应的表格文本，也即每个候选表格分别对应一个表格文本。
其中，表格文本包括候选表格中各个域的文本内容，表格的域包括标题、表头和单元格；表格文本包括至少一个段落，每个段落包括至少一个句子，每个句子包括至少一个词语，每个词语对应有域信息，域信息用于指示文本中的词语在表格中所属的域，域包括标题、表头和单元格。
如下表1所示，为一个示例性的表格，该表格中，“期货交易手续费”即为标题，“交易所”、“品种”、“品种代码”、“交易手续费(每手)”即为表头，其余的均为单元格。将上述表格转换为文本后，如图3A所示，其是以文本的形式呈现。
表1:标题：期货交易手续费
Figure BDA0002510881030000061
步骤203、将问题和每个表格文本分别输入预设的语言模型中，得到问题和每个候选表格的匹配度。
对于一个问题而言，其往往对应有至少一个答案。而这个答案与该问题的匹配度大小，决定了匹配的准确度。
对于一个问题对应一个表格文本的情形，本实施例则可以一次性将问题和该表格文本输入预设的语言模型中。而对于一个问题和至少两个表格文本的情形，本实施例是将该问题和与该问题对应的至少两个表格文本分多次输入预设的语言模型中。举例来说，若问题A对应表格文本A1和表格文本A2，则首先将问题A和表格文本A1输入预设的语言模型中，再将问题A和表格文本A2输入预设的语言模型中。
其中，本实施例的语言模型能够对问题和表格文本分别进行语义理解，从而基于语义理解结果确定问题和表格文本的匹配度，也就是问题和候选表格的匹配度。相较于现有技术而言，其在匹配过程中，不止关注字面匹配，还会关注语义匹配，举例来说，不仅能够匹配出具有相同词语的表格，还能够匹配出具有相近意思的表格。
步骤204、根据每个候选表格的匹配度，输出答复表格。
其中，答复表格为至少一个候选表格中，与问题的匹配度大于预设值的候选表格或者与问题的匹配度最大的候选表格。最终输出的答复表格如图3B所示。
本申请实施例通过获取与待查询问题相匹配的至少一个候选表格，每个候选表格包括与所述问题相对应的一个候选答案；对所述至少一个候选表格进行处理，得到至少一个表格文本，所述表格文本包括所述候选表格中各个域的文本内容，所述域包括标题、表头和单元格；将所述问题和每个表格文本分别输入预设的语言模型中，得到所述问题和每个候选表格的匹配度；根据每个候选表格的匹配度，输出答复表格，所述答复表格为所述至少一个候选表格中，与所述问题的匹配度大于预设值的候选表格或者与所述问题的匹配度最大的候选表格。由于语言模型能够对问题和文本进行语义理解，从而使得在确定问题和候选表格的匹配度的过程中，基于语义理解结果进行二者的匹配，提高问题和表格的匹配准确率和召回率。另外，最终将答案以表格形式呈现给用户，对于用户而言可视化效果好，因而能够提升用户体验。
在将候选表格输入语言模型中之前，需要将候选表格处理为适用于语言模型的数据输入形式，也就是文本。以下将介绍如何对所述至少一个候选表格进行处理，得到至少一个表格文本的具体实施过程：
在一种可选的实施方式中，可以分别提取所述至少一个候选表格中各个域的文本内容，然后再将每个候选表格的各个域的文本内容进行拼接，得到所述至少一个表格文本。其中，针对每个候选表格来说，是将该候选表格中的标题、表头和单元格等域的文本内容提取出来，然后再将提取出来的标题、表头和单元格等域的文本内容进行拼接，得到该候选表格的表格文本。可选的，在拼接过程中，可以按照标题、表头和单元格的顺序将各个域的内容进行拼接，拼接得到的表格文本可参见图3A所示。
为了使得语言模型能够识别出不同域的内容对于问题的重要度，从而更加关注于问题和该部分内容的匹配，本实施例还可以在将包括各个域的内容的表格文本输入语言模型的基础上，增加域信息，也就是对表格文本中的每个词增加域信息并输入语言模型。其中，域信息用于标识表格文本中的词语在候选表格中所属的域，也就是说，域信息用于标识表格文本中每个词语是来自于候选表格的哪个域，例如是来自于标题，还是来自于表头，还是来自于单元格。
其中，本实施例中的语言模型可以是神经网络，其包括输入层、隐藏层和输出层；在表格文本中每个词对应有域信息的基础上，本实施例的语言模型还需要对输入层进行改进，使其能够对域信息也进行编码。对于隐藏层和输出层的结构，其可以参见现有技术的介绍，此处不再赘述。下面将着重介绍输入层：
如图4所示，该输入层包括向量编码模块41、分段编码模块42和位置编码模块43；其中，分段编码模块42中的EA、EB、EC和ED分别代表该字或词语来自于问题、标题、表格和单元格；向量编码模块41中的两个空格代表问题对应的文本；位置编码模块43中的所有空格代表对问题对应的文本和表格文本编码得到的位置向量。对于输入层而言，其输入的数据是包括问题和表格文本的总文本，在对输入层输入数据时，可以按照问题和表格文本的顺序将总文本输入输入层。
其中，向量编码模块41用于对总文本中的每个字进行向量编码；分段编码模块42用于对总文本进行分段，也就是识别总文本中的前后两句话；位置编码模块43用于对总文本中的每个词的位置进行编码。
其中，将所述问题和所述表格文本输入预设的预测模型中，得到所述问题和所述候选表格的匹配度，包括：
步骤a1、将所述问题和每个表格文本输入所述向量编码模块中，得到文本向量。
步骤a2、将所述问题、每个表格文本和所述表格文本对应的域信息输入所述分段编码模块中，得到分段向量。
步骤a3、将问题和每个表格文本输入位置编码模块中，得到位置向量。
步骤a4、根据文本向量、分段向量和位置向量，确定问题和每个候选表格的匹配度。
本实施例中，关于向量编码模块和位置编码模块分别是如何进行向量编码和位置编码的具体实施过程，可以参见现有技术的介绍，此处不再赘述。本实施例的不同之处在于，输入给分段编码模块的不仅包括总文本，还包括表格文本的域信息，从而使得分段编码模块在分段编码过程中，也对表格文本的域信息进行编码，也就是说，本实施例中的分段向量包括对问题、表格文本和表格文本对应的域信息进行编码得到的向量。之后，再将文本向量、分段向量和位置向量输入隐藏层确定问题和所述候选表格的匹配度，并最终通过输出层输出所述问题和每个候选表格的匹配度。
可选的，对于输入层而言，每次输入的是问题和一个表格文本，对输出层而言，针对一个问题和对应的一个候选表格，其最终输出的为一个分布在0至1之间的数值，若该数值大于或等于预设阈值，则认为该问题和该表格相关，若该数值小于预设阈值，则认为该问题和表格不相关。例如，预设阈值为0.6，则若输出层针对某一个问题和对应的一个候选表格的输出为0.4，则认为该问题和该候选表格不相关，若输出层针对某一个问题和对应的一个候选表格的输出为0.8，则认为该问题和该候选表格相关。
而输出层输出的数值可以认为是一个概率值，用于表示问题和候选表格的相关性大小，根据该概率值，就可以确定问题和候选表格的匹配度，其匹配度大小可以直接采用概率值来表示，也可以采用与概率值呈一定比例关系的数值来表示，无论采用哪种方式来表示，匹配度大小与概率值的大小呈正相关。
在一些情况下，表格的标题能够代表表格的整体信息，因此对于这类候选表格，语言模型会更关注于问题和标题部分的匹配；而另一些情况下，问题需要用到表头或表格单元中的内容来回答，这时语言模型同样也会关注问题与表头或表格单元的匹配。本实施例通过增加域信息，并将三个域在编码输入层面进行区分，提升了语言模型对于表格语义信息的判断和理解能力，另外，即使表格中某个不关注的域信息丢失，也仍然不会影响语言模型的判断。
在搜索场景下，为了避免无用的检索，可以预先过滤掉一些问题。则获取与待查询问题相匹配的至少一个候选表格之前，本实施例的方法还包括：
步骤b1、接收待查询问题。
其中，终端设备接收用户在终端设备上输入的待查询问题。
步骤b2、确定待查询问题的答案类别。
其中，终端设备可以预先确定待查询问题的答案类别，过滤掉一些和表格问答无关的问题，避免无用的检索。
步骤b3、若答案类别为目标类别，则获取与待查询问题匹配的候选表格。
其中，目标类别包括实体和/或数字，实体包括对象。对于本实施例而言，其主要针对问题的答案是确切性答案的问题，而非选择性或疑问性答案。例如，确切性答案是指：对于“世界上面积最大的国家”的问题，答案为“A国家”。
对于候选表格为一个的情形，根据每个候选表格的匹配度，输出答复表格，包括：
步骤c1、确定候选表格的匹配度是否大于或等于匹配度阈值；
步骤c2、若候选表格的匹配度大于或等于匹配度阈值，则将候选表格作为答复表格并输出。
可选的，还包括步骤c3、若候选表格的匹配度小于匹配度阈值，则输出未搜索到相匹配的答案的提示信息。
对于候选表格为至少两个的情形，根据每个候选表格的匹配度，输出答复表格，包括：将最高匹配度对应的候选表格作为答复表格并输出。
举例来说，若一个问题对应一个答案，则可以根据预先设置的匹配度阈值和步骤203得到的匹配度确定是否输出该答案。示例性地，若该问题与答案的匹配度大于或等于匹配度阈值，则以表格的形式输出该答案；若该问题与答案的匹配度小于匹配度阈值，则可以选择不输出该答案，输出一个未查询到相关答案的提示信息。
若一个问题对应至少两个答案，则可以将最高匹配度对应的候选表格输出。请继续参阅图3B，例如在终端设备上显示该候选表格。
可选的，本实施例的问答处理方法可以应用于离线问答场景，也可以应用于在线问答场景。
上述实施例介绍了语言模型的应用过程，在本申请的另一个实施例中，还提供了一种语言模型的训练方法，如图5所示，包括如下步骤：
步骤501、获取第一训练样本数据。
其中，第一训练样本数据为无标注信息的文本数据。
步骤502、基于第一训练样本数据对待训练模型进行第一次预训练，得到第一预训练模型。
上述两个步骤是指在大量无标注信息的文本数据上对语言模型进行预训练，可选的，本步骤可以使用开源的预训练语言模型ERNIE。
步骤503、获取第二训练样本数据及其对应的标注信息。
其中，第二训练样本数据包括问题和与所述问题对应的多个候选表格，所述标注信息用于表示所述问题和每个候选表格的相关性。其中，问题和每个候选表格的相关性是指该候选表格与问题是否相关。
步骤504、基于第二训练样本数据及其对应的标注信息对第一预训练模型进行训练，得到语言模型。
本实施例中训练得到的语言模型用于确定问题与至少一个候选表格的匹配度。具体的应用过程可以参见问答处理方法实施例部分的介绍，此处不再赘述。
步骤504是在少量的具有标注信息的训练样本数据上对第一预训练模型进行精调。第二训练样本数据为问题-候选表格对(包括一个问题和一个候选表格)，其标注信息是由人工判断相关性并给出的，可选的，可以采用0、1分别表示该问题和候选表格不相关和相关。本步骤中的标注信息是由人工给出的，因而训练的准确度相较于预训练要高。
需要说明的是，本实施例大量和少量均为相对而言。
在上述训练方法的实施例的基础上，基于第二训练样本数据及其对应的标注信息对所述第一预训练模型进行训练，得到语言模型之前，本实施例的方法还包括：
步骤505、获取第三训练样本数据及其对应的标注信息。
其中，第三训练样本数据包括问题和与所述问题对应的多个文本答案，所述第三训练样本数据的标注信息用于表示所述问题和所述多个文本答案的相关性，且每个文本答案的标注信息的准确度不同，所述第三训练样本数据与所述第二训练样本数据对应的训练任务相同。
如图6所示，本步骤是在大量弱监督数据(即第三训练样本数据)上进行第二次预训练，这是为了使语言模型在特定的下游任务上能够取得更好的表现。弱监督数据使用问题及其与该问题相匹配的段落数据，可选的，基于网站上的段落进行问题生成，从而得到大量的问题-段落对。值得注意的是，此处的问题-段落对所对应的训练任务是与目标训练任务相同的任务，也就是说，目标训练任务为问题和表格的匹配任务，则问题-段落对中的段落也应当是基于表格形成的段落，而具体的基于表格形成段落的方式可以参见本实施例基于表格生成表格文本的过程，本实施例在此不再赘述。
步骤506、基于第三训练样本数据及其对应的标注信息对所述第一预测模型进行第二次预训练，得到再次训练后的第一预测模型。
再次训练后的第一预测模型，再次应用于步骤504，即基于第二训练样本数据及其对应的标注信息对再次训练得到的第一预训练模型进行训练，得到语言模型。
本实施例通过在模型训练阶段的精调之前加入了第二次预训练过程，使用与表格匹配任务相近的段落匹配数据进行训练。问题-段落匹配数据更易获取，虽然数据质量无法保证与标注数据同样高，但是基于大量的噪音数据训练仍然能够使模型对目标任务更易学习。从而避免由于问题和表格匹配任务所需的标注数据获取需要大量的人工成本的问题。
图7为本申请实施例提供的问答处理装置的结构示意图。该问答处理装置具体可以是上述实施例中的终端设备，或终端设备的部件(例如芯片或者电路)。本申请实施例提供的问答处理装置可以执行问答处理方法实施例提供的处理流程，如图7所示，问答处理装置70包括：第一获取模块71、表格处理模块72、确定模块73和输出模块74；其中，第一获取模块71，用于获取与待查询问题相匹配的至少一个候选表格，每个候选表格包括与所述问题相对应的一个候选答案；表格处理模块72，用于对所述至少一个候选表格进行处理，得到至少一个表格文本，所述表格文本包括所述候选表格中各个域的文本内容，所述域包括标题、表头和单元格；确定模块73，用于将所述问题和每个表格文本分别输入预设的语言模型中，得到所述问题和每个候选表格的匹配度；输出模块74，用于根据每个候选表格的匹配度，输出答复表格，所述答复表格为所述至少一个候选表格中，与所述问题的匹配度大于预设值的候选表格或者与所述问题的匹配度最大的候选表格。
可选的，表格处理模块72包括：提取单元721和拼接单元722；其中，提取单元721，用于分别提取所述至少一个候选表格中各个域的文本内容；拼接单元722，用于将每个候选表格的各个域的文本内容进行拼接，得到所述至少一个表格文本。
可选的，表格文本中每个词对应有域信息，所述域信息用于标识所述表格文本中的词语在所述候选表格中所属的域。
可选的，所述语言模型包括输入层，所述输入层包括向量编码模块、分段编码模块和位置编码模块；所述确定模块73，包括：输入单元731，用于将所述问题和每个表格文本输入所述向量编码模块中，得到文本向量；将所述问题、每个表格文本和所述表格文本对应的域信息输入所述分段编码模块中，得到分段向量；以及将所述问题和每个表格文本输入所述位置编码模块中，得到位置向量；确定单元732，用于根据所述文本向量、所述分段向量和所述位置向量，确定所述问题和每个候选表格的匹配度。
可选的，确定单元732，还用于获取所述语言模型根据所述问题和每个表格文本输出的概率值；以及根据所述概率值，确定所述问题和每个候选表格的匹配度。
可选的，所述获取模块71，包括：接收单元711，用于接收所述待查询问题；答案类别确定单元712，用于确定所述待查询问题的答案类别；获取单元713，用于若所述答案类别为目标类别，则获取与待查询问题相匹配的至少一个候选表格，所述目标类别包括实体和/或数字。
可选的，确定模块73还用于确定所述候选表格的匹配度是否大于或等于匹配度阈值；若所述候选表格的匹配度大于或等于匹配度阈值，则将所述候选表格作为所述答复表格并输出。
可选的，输出模块74包括：输出单元741，用于若所述候选表格的匹配度小于匹配度阈值，则输出未搜索到相匹配的答案的提示信息。
可选的，输出模块74包括：输出单元741，用于将最高匹配度对应的候选表格作为所述答复表格并输出。
图7所示实施例的问答处理装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本申请实施例通过获取与待查询问题相匹配的至少一个候选表格，每个候选表格包括与所述问题相对应的一个候选答案；对所述至少一个候选表格进行处理，得到至少一个表格文本，所述表格文本包括所述候选表格中各个域的文本内容，所述域包括标题、表头和单元格；将所述问题和每个表格文本分别输入预设的语言模型中，得到所述问题和每个候选表格的匹配度；根据每个候选表格的匹配度，输出答复表格，所述答复表格为所述至少一个候选表格中，与所述问题的匹配度大于预设值的候选表格或者与所述问题的匹配度最大的候选表格。由于语言模型能够对问题和文本进行语义理解，从而使得在确定问题和候选表格的匹配度的过程中，基于语义理解结果进行二者的匹配，提高问题和表格的匹配准确率和召回率。另外，最终将答案以表格形式呈现给用户，对于用户而言可视化效果好，因而能够提升用户体验。
图8为本申请实施例提供的语言模型的训练装置的结构示意图。该语言模型的训练装置具体可以是上述实施例中的终端设备，或终端设备的部件(例如芯片或者电路)。本申请实施例提供的语言模型的训练装置可以执行语言模型的训练方法实施例提供的处理流程，如图8所示，语言模型的训练装置80包括：第二获取模块81和训练模块82；其中，第二获取模块81，用于获取第一训练样本数据，所述第一训练样本数据为无标注信息的文本数据；以及获取第二训练样本数据及其对应的标注信息，所述第二训练样本数据包括问题和与所述问题对应的多个候选表格，所述标注信息用于表示所述问题和每个候选表格的相关性；训练模块82，用于基于所述第一训练样本数据对待训练模型进行第一预训练，得到第一预训练模型；以及基于所述第二训练样本数据及其对应的标注信息对所述第一预训练模型进行训练，得到所述语言模型，所述语言模型用于确定所述问题与至少一个候选表格的匹配度。
可选的，所述第二获取模块81，还用于获取第三训练样本数据及其对应的标注信息，所述第三训练样本数据包括问题和与所述问题对应的多个文本答案，所述第三训练样本数据的标注信息用于表示所述问题和所述多个文本答案的相关性，且每个文本答案的标注信息的准确度不同，所述第三训练样本数据与所述第二训练样本数据对应的训练任务相同；训练模块82，还用于基于所述第三训练样本数据及其对应的标注信息对所述第一预测模型进行训练，得到再次训练后的第一预测模型。
图8所示实施例的语言模型的训练装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本申请实施例通过获取与待查询问题相匹配的至少一个候选表格，每个候选表格包括与所述问题相对应的一个候选答案；对所述至少一个候选表格进行处理，得到至少一个表格文本，所述表格文本包括所述候选表格中各个域的文本内容，所述域包括标题、表头和单元格；将所述问题和每个表格文本分别输入预设的语言模型中，得到所述问题和每个候选表格的匹配度；根据每个候选表格的匹配度，输出答复表格，所述答复表格为所述至少一个候选表格中，与所述问题的匹配度大于预设值的候选表格或者与所述问题的匹配度最大的候选表格。由于语言模型能够对问题和文本进行语义理解，从而使得在确定问题和候选表格的匹配度的过程中，基于语义理解结果进行二者的匹配，提高问题和表格的匹配准确率和召回率。另外，最终将答案以表格形式呈现给用户，对于用户而言可视化效果好，因而能够提升用户体验。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图9所示，是根据本申请实施例的问答处理方法和/或语言模型的训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图9中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的问答处理方法和/或语言模型的训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的问答处理方法和/或语言模型的训练方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的问答处理方法和/或语言模型的训练方法对应的程序指令/模块(例如，附图7所示的第一获取模块71、表格处理模块72、确定模块73和输出模块74)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的问答处理方法和/或语言模型的训练方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据问答处理方法和/或语言模型的训练方法的电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至问答处理方法和/或语言模型的训练方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
问答处理方法和/或语言模型的训练方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息，以及产生与问答处理方法和/或语言模型的训练方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置Y04可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
需要说明的是，本实施例的问答处理装置和语言模型的训练装置可以是同一电子设备，也可以是不同的电子设备来执行。
根据本申请实施例的技术方案，通过获取与待查询问题相匹配的至少一个候选表格，每个候选表格包括与所述问题相对应的一个候选答案；对所述至少一个候选表格进行处理，得到至少一个表格文本，所述表格文本包括所述候选表格中各个域的文本内容，所述域包括标题、表头和单元格；将所述问题和每个表格文本分别输入预设的语言模型中，得到所述问题和每个候选表格的匹配度；根据每个候选表格的匹配度，输出答复表格，所述答复表格为所述至少一个候选表格中，与所述问题的匹配度大于预设值的候选表格或者与所述问题的匹配度最大的候选表格。由于语言模型能够对问题和文本进行语义理解，从而使得在确定问题和候选表格的匹配度的过程中，基于语义理解结果进行二者的匹配，提高问题和表格的匹配准确率和召回率。另外，最终将答案以表格形式呈现给用户，对于用户而言可视化效果好，因而能够提升用户体验。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (25)

1.一种问答处理方法，包括：
获取与待查询问题相匹配的至少一个候选表格，每个候选表格包括与所述问题相对应的一个候选答案；
对所述至少一个候选表格进行处理，得到至少一个表格文本，所述表格文本包括所述候选表格中各个域的文本内容，所述域包括标题、表头和单元格；
将所述问题和每个表格文本分别输入预设的语言模型中，得到所述问题和每个候选表格的匹配度；
根据每个候选表格的匹配度，输出答复表格，所述答复表格为所述至少一个候选表格中，与所述问题的匹配度大于预设值的候选表格或者与所述问题的匹配度最大的候选表格。
2.根据权利要求1所述的方法，其中，所述对所述至少一个候选表格进行处理，得到至少一个表格文本，包括：
分别提取所述至少一个候选表格中各个域的文本内容；
将每个候选表格的各个域的文本内容进行拼接，得到所述至少一个表格文本。
3.根据权利要求2所述的方法，所述表格文本中每个词对应有域信息，所述域信息用于标识所述表格文本中的词语在所述候选表格中所属的域。
4.根据权利要求3所述的方法，其中，所述语言模型包括输入层，所述输入层包括向量编码模块、分段编码模块和位置编码模块；
所述将所述问题和每个表格文本分别输入预设的语言模型中，得到所述问题和每个候选表格的匹配度，包括：
将所述问题和每个表格文本输入所述向量编码模块中，得到文本向量；
将所述问题、每个表格文本和所述表格文本对应的域信息输入所述分段编码模块中，得到分段向量；
将所述问题和每个表格文本输入所述位置编码模块中，得到位置向量；
根据所述文本向量、所述分段向量和所述位置向量，确定所述问题和每个候选表格的匹配度。
5.根据权利要求1-4任一项所述的方法，其中，所述将所述问题和每个表格文本分别输入预设的语言模型中，得到所述问题和每个候选表格的匹配度，包括：
获取所述语言模型根据所述问题和每个表格文本输出的概率值；
根据所述概率值，确定所述问题和每个候选表格的匹配度。
6.根据权利要求1-4任一项所述的方法，其中，所述获取与待查询问题相匹配的至少一个候选表格，包括：
接收所述待查询问题；
确定所述待查询问题的答案类别；
若所述答案类别为目标类别，则获取与待查询问题相匹配的至少一个候选表格，所述目标类别包括实体和/或数字。
7.根据权利要求1-4任一项所述的方法，所述候选表格为一个；其中，所述根据每个候选表格的匹配度，输出答复表格，包括：
确定所述候选表格的匹配度是否大于或等于匹配度阈值；
若所述候选表格的匹配度大于或等于匹配度阈值，则将所述候选表格作为所述答复表格并输出。
8.根据权利要求1-4任一项所述的方法，所述候选表格为一个；其中，所述根据每个候选表格的匹配度，输出答复表格，包括：
若所述候选表格的匹配度小于匹配度阈值，则输出未搜索到相匹配的答案的提示信息。
9.根据权利要求1-4任一项所述的方法，所述候选表格为至少两个；
其中，所述根据每个候选表格的匹配度，输出答复表格，包括：
将最高匹配度对应的候选表格作为所述答复表格并输出。
10.一种语言模型的训练方法，包括：
获取第一训练样本数据，所述第一训练样本数据为无标注信息的文本数据；
基于所述第一训练样本数据对待训练模型进行第一预训练，得到第一预训练模型；
获取第二训练样本数据及其对应的标注信息，所述第二训练样本数据包括问题和与所述问题对应的多个候选表格，所述标注信息用于表示所述问题和每个候选表格的相关性；
基于所述第二训练样本数据及其对应的标注信息对所述第一预训练模型进行训练，得到所述语言模型，所述语言模型用于确定所述问题与至少一个候选表格的匹配度。
11.根据权利要求10所述的方法，所述基于所述第二训练样本数据及其对应的标注信息对所述第一预训练模型进行训练，得到所述语言模型之前，所述方法还包括：
获取第三训练样本数据及其对应的标注信息，所述第三训练样本数据包括问题和与所述问题对应的多个文本答案，所述第三训练样本数据的标注信息用于表示所述问题和所述多个文本答案的相关性，且每个文本答案的标注信息的准确度不同，所述第三训练样本数据与所述第二训练样本数据对应的训练任务相同；
基于所述第三训练样本数据及其对应的标注信息对所述第一预测模型进行训练，得到再次训练后的第一预测模型。
12.一种问答处理装置，包括：
第一获取模块，用于获取与待查询问题相匹配的至少一个候选表格，每个候选表格包括与所述问题相对应的一个候选答案；
表格处理模块，用于对所述至少一个候选表格进行处理，得到至少一个表格文本，所述表格文本包括所述候选表格中各个域的文本内容，所述域包括标题、表头和单元格；
确定模块，用于将所述问题和每个表格文本分别输入预设的语言模型中，得到所述问题和每个候选表格的匹配度；
输出模块，用于根据每个候选表格的匹配度，输出答复表格，所述答复表格为所述至少一个候选表格中，与所述问题的匹配度大于预设值的候选表格或者与所述问题的匹配度最大的候选表格。
13.根据权利要求12所述的装置，其中，所述表格处理模块包括：
提取单元，用于分别提取所述至少一个候选表格中各个域的文本内容；
拼接单元，用于将每个候选表格的各个域的文本内容进行拼接，得到所述至少一个表格文本。
14.根据权利要求13所述的装置，所述表格文本中每个词对应有域信息，所述域信息用于标识所述表格文本中的词语在所述候选表格中所属的域。
15.根据权利要求14所述的装置，其中，所述语言模型包括输入层，所述输入层包括向量编码模块、分段编码模块和位置编码模块；
所述确定模块，包括：
输入单元，用于将所述问题和每个表格文本输入所述向量编码模块中，得到文本向量；将所述问题、每个表格文本和所述表格文本对应的域信息输入所述分段编码模块中，得到分段向量；以及将所述问题和每个表格文本输入所述位置编码模块中，得到位置向量；
确定单元，用于根据所述文本向量、所述分段向量和所述位置向量，确定所述问题和每个候选表格的匹配度。
16.根据权利要求12-15任一项所述的装置，其中，所述确定单元将所述问题和每个表格文本分别输入预设的语言模型中，得到所述问题和每个候选表格的匹配度时，具体包括：
获取所述语言模型根据所述问题和每个表格文本输出的概率值；
根据所述概率值，确定所述问题和每个候选表格的匹配度。
17.根据权利要求12-15任一项所述的装置，其中，所述获取模块，包括：
接收单元，用于接收所述待查询问题；
答案类别确定单元，用于确定所述待查询问题的答案类别；
获取单元，用于若所述答案类别为目标类别，则获取与待查询问题相匹配的至少一个候选表格，所述目标类别包括实体和/或数字。
18.根据权利要求12-15任一项所述的装置，所述候选表格为一个；其中，所述输出模块，包括：
输出单元，用于确定所述候选表格的匹配度是否大于或等于匹配度阈值；以及若所述候选表格的匹配度大于或等于匹配度阈值，则将所述候选表格作为所述答复表格并输出。
19.根据权利要求12-15任一项所述的装置，所述候选表格为一个；其中，所述输出模块，包括：
输出单元，用于若所述候选表格的匹配度小于匹配度阈值，则输出未搜索到相匹配的答案的提示信息。
20.根据权利要求12-15任一项所述的装置，所述候选表格为至少两个；
其中，所述输出模块，包括：
输出单元，用于将最高匹配度对应的候选表格作为所述答复表格并输出。
21.一种语言模型的训练装置，包括：
第二获取模块，用于获取第一训练样本数据，所述第一训练样本数据为无标注信息的文本数据；以及获取第二训练样本数据及其对应的标注信息，所述第二训练样本数据包括问题和与所述问题对应的多个候选表格，所述标注信息用于表示所述问题和每个候选表格的相关性；
训练模块，用于基于所述第一训练样本数据对待训练模型进行第一预训练，得到第一预训练模型；以及基于所述第二训练样本数据及其对应的标注信息对所述第一预训练模型进行训练，得到所述语言模型，所述语言模型用于确定所述问题与至少一个候选表格的匹配度。
22.根据权利要求21所述的装置，所述第二获取模块，还用于获取第三训练样本数据及其对应的标注信息，所述第三训练样本数据包括问题和与所述问题对应的多个文本答案，所述第三训练样本数据的标注信息用于表示所述问题和所述多个文本答案的相关性，且每个文本答案的标注信息的准确度不同，所述第三训练样本数据与所述第二训练样本数据对应的训练任务相同；
所述训练模块，还用于基于所述第三训练样本数据及其对应的标注信息对所述第一预测模型进行训练，得到再次训练后的第一预测模型。
23.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-11中任一项所述的方法。
25.一种问答处理方法，包括：
获取与待查询问题相匹配的至少一个候选表格，每个候选表格包括与所述问题相对应的一个候选答案；
将所述问题和每个候选表格分别输入预设的语言模型中，得到所述问题和每个候选表格的匹配度；
输出所述至少一个候选表格中，与所述问题的匹配度大于预设值的候选表格或者与所述问题的匹配度最大的候选表格。
CN202010460778.6A 2020-05-27 2020-05-27 问答处理方法、装置、设备及存储介质 Active CN111625635B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010460778.6A CN111625635B (zh) 2020-05-27 2020-05-27 问答处理方法、装置、设备及存储介质
US17/088,053 US11645316B2 (en) 2020-05-27 2020-11-03 Question answering method and language model training method, apparatus, device, and storage medium
JP2020215253A JP7127106B2 (ja) 2020-05-27 2020-12-24 質問応答処理、言語モデルの訓練方法、装置、機器および記憶媒体
EP21155777.2A EP3816812A1 (en) 2020-05-27 2021-02-08 Question answering method and language model training method, apparatus, device, and storgage medium
KR1020210023956A KR20210038449A (ko) 2020-05-27 2021-02-23 문답 처리, 언어 모델 훈련 방법, 장치, 기기 및 저장 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010460778.6A CN111625635B (zh) 2020-05-27 2020-05-27 问答处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111625635A true CN111625635A (zh) 2020-09-04
CN111625635B CN111625635B (zh) 2023-09-29

Family

ID=72271938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010460778.6A Active CN111625635B (zh) 2020-05-27 2020-05-27 问答处理方法、装置、设备及存储介质

Country Status (5)

Country Link
US (1) US11645316B2 (zh)
EP (1) EP3816812A1 (zh)
JP (1) JP7127106B2 (zh)
KR (1) KR20210038449A (zh)
CN (1) CN111625635B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342946A (zh) * 2021-05-19 2021-09-03 北京百度网讯科技有限公司 客服机器人的模型训练方法、装置、电子设备及介质
CN113420121A (zh) * 2021-06-24 2021-09-21 中国科学院声学研究所 文本处理模型训练方法、语音文本处理方法及装置
CN113535916A (zh) * 2021-06-30 2021-10-22 北京百度网讯科技有限公司 一种基于表格的问答方法、装置及计算机设备
CN113553414A (zh) * 2021-06-30 2021-10-26 北京百度网讯科技有限公司 智能对话方法、装置、电子设备和存储介质
CN113673236A (zh) * 2021-07-15 2021-11-19 北京三快在线科技有限公司 模型训练、表格识别方法、装置、电子设备及存储介质
CN114064820A (zh) * 2021-11-29 2022-02-18 上证所信息网络有限公司 一种基于混合架构的表格语义查询粗排方法
CN114090760A (zh) * 2022-01-20 2022-02-25 阿里巴巴达摩院(杭州)科技有限公司 表格问答的数据处理方法、电子设备及可读存储介质
CN114490990A (zh) * 2022-01-28 2022-05-13 北京百度网讯科技有限公司 待标注文本的确定方法、装置、设备和存储介质
CN114490969A (zh) * 2021-12-29 2022-05-13 北京百度网讯科技有限公司 基于表格的问答方法、装置以及电子设备
CN114912427A (zh) * 2021-02-10 2022-08-16 微软技术许可有限责任公司 响应于用户输入的数据表分析
CN115048916A (zh) * 2022-05-27 2022-09-13 北京百度网讯科技有限公司 表格的处理方法和装置
CN115146049A (zh) * 2022-09-01 2022-10-04 科大讯飞(苏州)科技有限公司 问答检索方法、模型训练方法及装置、设备和存储介质
WO2023051021A1 (zh) * 2021-09-30 2023-04-06 阿里巴巴达摩院(杭州)科技有限公司 人机对话方法、装置、设备及存储介质
CN116257613A (zh) * 2023-02-10 2023-06-13 北京百度网讯科技有限公司 数据生产方法、装置、电子设备及存储介质
CN116523031A (zh) * 2023-07-05 2023-08-01 深圳须弥云图空间科技有限公司 语言生成模型的训练方法、语言生成方法及电子设备
CN116976294A (zh) * 2023-09-22 2023-10-31 青岛诺亚信息技术有限公司 一种用于实现复杂电子表格自动填充的方法及***

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11868381B2 (en) * 2021-03-29 2024-01-09 Google Llc Systems and methods for training language models to reason over tables
US11875121B2 (en) * 2021-05-28 2024-01-16 International Business Machines Corporation Generating responses for live-streamed questions
CN113591908B (zh) * 2021-06-23 2023-09-29 北京百度网讯科技有限公司 事件指称匹配方法、模型训练方法、装置和电子设备
CN113553415B (zh) * 2021-06-30 2023-06-02 北京百度网讯科技有限公司 问答匹配的方法、装置及电子设备
CN113468176B (zh) * 2021-06-30 2023-09-26 北京百度网讯科技有限公司 信息录入方法和装置、电子设备、计算机可读存储介质
CN113641805B (zh) * 2021-07-19 2024-05-24 北京百度网讯科技有限公司 结构化问答模型的获取方法、问答方法及对应装置
CN113569025A (zh) * 2021-07-23 2021-10-29 上海明略人工智能(集团)有限公司 数据处理的方法和装置、电子设备和存储介质
CN113705628B (zh) * 2021-08-06 2024-02-06 北京百度网讯科技有限公司 预训练模型的确定方法、装置、电子设备以及存储介质
CN113656566A (zh) * 2021-08-18 2021-11-16 中国平安人寿保险股份有限公司 智能对话处理方法、装置、计算机设备及存储介质
CN113722466B (zh) * 2021-11-03 2022-02-15 北京世纪好未来教育科技有限公司 批改模型训练方法、批改方法、装置、电子设备和介质
CN114662482B (zh) * 2022-03-25 2024-06-18 北京感易智能科技有限公司 文本表格中答案文本的抽取方法及装置
CN114579606B (zh) * 2022-05-05 2022-07-29 阿里巴巴达摩院(杭州)科技有限公司 预训练模型数据处理方法、电子设备及计算机存储介质
CN114817505A (zh) * 2022-05-10 2022-07-29 国网江苏省电力有限公司南通供电分公司 一种基于历史工单匹配***的供电工单快速回复方法
CN115188014B (zh) * 2022-06-22 2023-11-14 北京百度网讯科技有限公司 落地页处理方法、模型训练方法、装置及电子设备
CN115129816B (zh) * 2022-07-04 2024-05-14 北京百度网讯科技有限公司 问答匹配模型的训练方法、装置及电子设备
CN115688742B (zh) * 2022-12-08 2023-10-31 北京国联视讯信息技术股份有限公司 基于人工智能的用户数据分析方法及ai***
CN116737888B (zh) * 2023-01-11 2024-05-17 北京百度网讯科技有限公司 对话生成模型的训练方法和答复文本的确定方法、装置
CN116306917B (zh) * 2023-05-17 2023-09-08 卡奥斯工业智能研究院(青岛)有限公司 任务处理方法、装置、设备和计算机存储介质
CN116450867B (zh) * 2023-06-15 2023-08-18 北京枫清科技有限公司 一种基于对比学习和大语言模型的图数据语义搜索方法
CN116644170A (zh) * 2023-06-28 2023-08-25 南京领行科技股份有限公司 回复文本生成方法、装置、通信设备及存储介质
CN117290484B (zh) * 2023-10-10 2024-06-18 深圳市明睿数据科技有限公司 一种用于汽车故障定位及维修建议的智能问答***及方法
CN117093696B (zh) * 2023-10-16 2024-02-02 浙江同花顺智能科技有限公司 一种大语言模型的提问文本生成方法、装置、设备及介质
CN117633165B (zh) * 2023-10-20 2024-05-31 广州天晟网络信息有限公司 一种智能ai客服对话引导方法
CN117520527B (zh) * 2024-01-08 2024-04-30 科大讯飞股份有限公司 答疑对话数据生成方法、***、电子设备和可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150293917A1 (en) * 2014-04-09 2015-10-15 International Business Machines Corporation Confidence Ranking of Answers Based on Temporal Semantics
US20160012052A1 (en) * 2014-07-08 2016-01-14 Microsoft Corporation Ranking tables for keyword search
US20170351913A1 (en) * 2016-06-07 2017-12-07 The Neat Company, Inc. d/b/a Neatreceipts, Inc. Document Field Detection And Parsing
WO2018175686A1 (en) * 2017-03-22 2018-09-27 Drilling Info, Inc. Extracting data from electronic documents
US20190171704A1 (en) * 2017-12-01 2019-06-06 International Business Machines Corporation Heuristic Domain Targeted Table Detection and Extraction Technique
WO2019153613A1 (zh) * 2018-02-09 2019-08-15 平安科技（深圳）有限公司 聊天应答方法、电子装置及存储介质
US20190260694A1 (en) * 2018-02-16 2019-08-22 Mz Ip Holdings, Llc System and method for chat community question answering
US20190278846A1 (en) * 2017-03-02 2019-09-12 Tencent Technology (Shenzhen) Company Limited Semantic extraction method and apparatus for natural language, and computer storage medium
CN110737755A (zh) * 2018-07-03 2020-01-31 百度在线网络技术（北京）有限公司 检索方法和装置
CN110955761A (zh) * 2019-10-12 2020-04-03 深圳壹账通智能科技有限公司 文书中问答数据获取方法、装置、计算机设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645122B1 (en) 2002-12-19 2014-02-04 At&T Intellectual Property Ii, L.P. Method of handling frequently asked questions in a natural language dialog service
US7630964B2 (en) * 2005-11-14 2009-12-08 Microsoft Corporation Determining relevance of documents to a query based on identifier distance
US10621180B2 (en) * 2017-09-30 2020-04-14 Oracle International Corporation Attribute-based detection of anomalous relational database queries
US10678822B2 (en) * 2018-06-29 2020-06-09 International Business Machines Corporation Query expansion using a graph of question and answer vocabulary
US11568324B2 (en) * 2018-12-20 2023-01-31 Samsung Display Co., Ltd. Adversarial training method for noisy labels

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150293917A1 (en) * 2014-04-09 2015-10-15 International Business Machines Corporation Confidence Ranking of Answers Based on Temporal Semantics
US20160012052A1 (en) * 2014-07-08 2016-01-14 Microsoft Corporation Ranking tables for keyword search
US20170351913A1 (en) * 2016-06-07 2017-12-07 The Neat Company, Inc. d/b/a Neatreceipts, Inc. Document Field Detection And Parsing
US20190278846A1 (en) * 2017-03-02 2019-09-12 Tencent Technology (Shenzhen) Company Limited Semantic extraction method and apparatus for natural language, and computer storage medium
WO2018175686A1 (en) * 2017-03-22 2018-09-27 Drilling Info, Inc. Extracting data from electronic documents
US20190171704A1 (en) * 2017-12-01 2019-06-06 International Business Machines Corporation Heuristic Domain Targeted Table Detection and Extraction Technique
WO2019153613A1 (zh) * 2018-02-09 2019-08-15 平安科技（深圳）有限公司 聊天应答方法、电子装置及存储介质
US20190260694A1 (en) * 2018-02-16 2019-08-22 Mz Ip Holdings, Llc System and method for chat community question answering
CN110737755A (zh) * 2018-07-03 2020-01-31 百度在线网络技术（北京）有限公司 检索方法和装置
CN110955761A (zh) * 2019-10-12 2020-04-03 深圳壹账通智能科技有限公司 文书中问答数据获取方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHUO ZHANG;: "Ad Hoc Table Retrieval using Semantic Similarity" *
吴少洪;彭敦陆;苑威威;陈章;刘丛;: "MGSC:一种多粒度语义交叉的短文本语义匹配模型", no. 06 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114912427A (zh) * 2021-02-10 2022-08-16 微软技术许可有限责任公司 响应于用户输入的数据表分析
CN113342946A (zh) * 2021-05-19 2021-09-03 北京百度网讯科技有限公司 客服机器人的模型训练方法、装置、电子设备及介质
CN113342946B (zh) * 2021-05-19 2022-11-15 北京百度网讯科技有限公司 客服机器人的模型训练方法、装置、电子设备及介质
CN113420121A (zh) * 2021-06-24 2021-09-21 中国科学院声学研究所 文本处理模型训练方法、语音文本处理方法及装置
CN113420121B (zh) * 2021-06-24 2023-07-28 中国科学院声学研究所 文本处理模型训练方法、语音文本处理方法及装置
CN113553414A (zh) * 2021-06-30 2021-10-26 北京百度网讯科技有限公司 智能对话方法、装置、电子设备和存储介质
CN113553414B (zh) * 2021-06-30 2023-08-25 北京百度网讯科技有限公司 智能对话方法、装置、电子设备和存储介质
CN113535916B (zh) * 2021-06-30 2023-07-25 北京百度网讯科技有限公司 一种基于表格的问答方法、装置及计算机设备
CN113535916A (zh) * 2021-06-30 2021-10-22 北京百度网讯科技有限公司 一种基于表格的问答方法、装置及计算机设备
CN113673236A (zh) * 2021-07-15 2021-11-19 北京三快在线科技有限公司 模型训练、表格识别方法、装置、电子设备及存储介质
WO2023051021A1 (zh) * 2021-09-30 2023-04-06 阿里巴巴达摩院(杭州)科技有限公司 人机对话方法、装置、设备及存储介质
CN114064820A (zh) * 2021-11-29 2022-02-18 上证所信息网络有限公司 一种基于混合架构的表格语义查询粗排方法
CN114064820B (zh) * 2021-11-29 2023-11-24 上证所信息网络有限公司 一种基于混合架构的表格语义查询粗排方法
CN114490969A (zh) * 2021-12-29 2022-05-13 北京百度网讯科技有限公司 基于表格的问答方法、装置以及电子设备
CN114090760A (zh) * 2022-01-20 2022-02-25 阿里巴巴达摩院(杭州)科技有限公司 表格问答的数据处理方法、电子设备及可读存储介质
CN114090760B (zh) * 2022-01-20 2022-04-26 阿里巴巴达摩院(杭州)科技有限公司 表格问答的数据处理方法、电子设备及可读存储介质
CN114490990B (zh) * 2022-01-28 2023-05-23 北京百度网讯科技有限公司 待标注文本的确定方法、装置、设备和存储介质
CN114490990A (zh) * 2022-01-28 2022-05-13 北京百度网讯科技有限公司 待标注文本的确定方法、装置、设备和存储介质
CN115048916A (zh) * 2022-05-27 2022-09-13 北京百度网讯科技有限公司 表格的处理方法和装置
CN115146049A (zh) * 2022-09-01 2022-10-04 科大讯飞(苏州)科技有限公司 问答检索方法、模型训练方法及装置、设备和存储介质
CN116257613A (zh) * 2023-02-10 2023-06-13 北京百度网讯科技有限公司 数据生产方法、装置、电子设备及存储介质
CN116257613B (zh) * 2023-02-10 2024-02-06 北京百度网讯科技有限公司 数据生产方法、装置、电子设备及存储介质
CN116523031A (zh) * 2023-07-05 2023-08-01 深圳须弥云图空间科技有限公司 语言生成模型的训练方法、语言生成方法及电子设备
CN116523031B (zh) * 2023-07-05 2024-05-10 深圳须弥云图空间科技有限公司 语言生成模型的训练方法、语言生成方法及电子设备
CN116976294A (zh) * 2023-09-22 2023-10-31 青岛诺亚信息技术有限公司 一种用于实现复杂电子表格自动填充的方法及***
CN116976294B (zh) * 2023-09-22 2024-02-09 青岛诺亚信息技术有限公司 一种用于实现复杂电子表格自动填充的方法及***

Also Published As

Publication number Publication date
JP2021089739A (ja) 2021-06-10
JP7127106B2 (ja) 2022-08-29
US20210191962A1 (en) 2021-06-24
EP3816812A1 (en) 2021-05-05
US11645316B2 (en) 2023-05-09
CN111625635B (zh) 2023-09-29
KR20210038449A (ko) 2021-04-07

Similar Documents

Publication Publication Date Title
CN111625635B (zh) 问答处理方法、装置、设备及存储介质
CN110717339B (zh) 语义表示模型的处理方法、装置、电子设备及存储介质
CN111966890B (zh) 基于文本的事件推送方法、装置、电子设备和存储介质
CN111221984A (zh) 多模态内容处理方法、装置、设备及存储介质
CN111967268A (zh) 文本中的事件抽取方法、装置、电子设备和存储介质
CN111241237B (zh) 一种基于运维业务的智能问答数据处理方法及装置
CN112560479B (zh) 摘要抽取模型训练方法、摘要抽取方法、装置和电子设备
CN111967256B (zh) 事件关系的生成方法、装置、电子设备和存储介质
CN112001180A (zh) 多模态预训练模型获取方法、装置、电子设备及存储介质
CN111709247A (zh) 数据集处理方法、装置、电子设备和存储介质
CN111967262A (zh) 实体标签的确定方法和装置
CN110597994A (zh) 事件元素识别方法和装置
CN111104514A (zh) 文档标签模型的训练方法及装置
CN112330455B (zh) 用于推送信息的方法、装置、设备以及存储介质
CN111259671A (zh) 文本实体的语义描述处理方法、装置及设备
US11947920B2 (en) Man-machine dialogue method and system, computer device and medium
CN111339268A (zh) 实体词识别方法和装置
CN111950291A (zh) 语义表示模型的生成方法、装置、电子设备及存储介质
CN111309910A (zh) 文本信息挖掘方法及装置
CN113051380B (zh) 信息生成方法、装置、电子设备和存储介质
CN112541362B (zh) 一种泛化处理的方法、装置、设备和计算机存储介质
CN111522944A (zh) 用于输出信息的方法、装置、设备以及存储介质
CN115688920A (zh) 知识抽取方法、模型的训练方法、装置、设备和介质
CN111858905A (zh) 模型训练方法、信息识别方法、装置、电子设备及存储介质
CN114244795B (zh) 一种信息的推送方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant