CN111737559B - 资源排序方法、训练排序模型的方法及对应装置 - Google Patents

资源排序方法、训练排序模型的方法及对应装置 Download PDF

Info

Publication number
CN111737559B
CN111737559B CN202010478321.8A CN202010478321A CN111737559B CN 111737559 B CN111737559 B CN 111737559B CN 202010478321 A CN202010478321 A CN 202010478321A CN 111737559 B CN111737559 B CN 111737559B
Authority
CN
China
Prior art keywords
model
embedding
resources
resource
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010478321.8A
Other languages
English (en)
Other versions
CN111737559A (zh
Inventor
王硕寰
庞超
孙宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010478321.8A priority Critical patent/CN111737559B/zh
Publication of CN111737559A publication Critical patent/CN111737559A/zh
Priority to US17/094,943 priority patent/US20210374344A1/en
Priority to JP2020193891A priority patent/JP7106802B2/ja
Priority to EP21160886.4A priority patent/EP3916579A1/en
Priority to KR1020210035535A priority patent/KR102475235B1/ko
Application granted granted Critical
Publication of CN111737559B publication Critical patent/CN111737559B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9532—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/06—Arrangements for sorting, selecting, merging, or comparing data on individual record carriers
    • G06F7/08—Sorting, i.e. grouping record carriers in numerical or other ordered sequence according to the classification of at least some of the information they carry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种资源排序方法、训练排序模型的方法及对应装置，涉及人工智能下的自然语言处理技术领域。具体实现方案为：将被匹配项与各候选资源的信息按顺序组成输入序列；将输入序列中的各元素进行嵌入处理，所述嵌入处理包括：词嵌入、位置嵌入和语句嵌入；将嵌入处理的结果输入排序模型，得到所述排序模型对所述各候选资源的排序得分；其中所述排序模型采用转换(Transformer)模型预先训练得到。

Description

资源排序方法、训练排序模型的方法及对应装置
技术领域
本申请涉及计算机应用技术领域，特别涉及人工智能下的自然语言处理技术领域。
背景技术
随着计算机网络的快速发展，用户越来越多的通过计算机网络获取各种资源。在面对海量的资源时，就会涉及到排序的问题，即依据资源的排序结果向用户发送资源。例如，在搜索引擎中，针对用户输入的query(搜索项)，需要将各网页资源与query进行匹配，依据匹配结果对各网页资源进行排序，然后依据排序结果向用户返回包含网页资源的搜索结果。
发明内容
本申请提供了一种资源排序方法、训练排序模型的方法及对应装置。
第一方面，本申请提供了一种资源排序方法，包括：
将被匹配项与各候选资源的信息按顺序组成输入序列；
将输入序列中的各元素(Token)进行嵌入(Embedding)处理，所述Embedding处理包括：词Embedding、位置Embedding和语句Embedding；
将Embedding处理的结果输入排序模型，得到所述排序模型对所述各候选资源的排序得分；其中所述排序模型采用转换(Transformer)模型预先训练得到。
第二方面，本申请提供了一种训练排序模型的方法，包括：
获取训练数据，所述训练数据包括被匹配项、被匹配项对应的至少两个样本资源以及各样本资源的排序信息；
利用所述训练数据训练Transformer模型，得到所述排序模型，具体包括：
将所述被匹配项、所述至少两个样本资源的信息按顺序组成输入序列；
将输入序列中的各元素Token进行嵌入Embedding处理，所述Embedding处理包括：词Embedding、位置Embedding和语句Embedding；
将Embedding处理的结果作为Transformer模型的输入，由Transformer模型输出对各样本资源的排序得分；
利用所述排序得分优化所述Transformer模型的参数，训练目标包括：Transformer模型输出的对各样本资源的排序得分符合训练数据中的排序信息。
第三方面，本申请提供了一种资源排序装置，包括：
输入模块，用于将被匹配项与各候选资源的信息按顺序组成输入序列；
嵌入模块，用于将输入序列中的各元素Token进行嵌入Embedding处理，所述Embedding处理包括：词Embedding、位置Embedding和语句Embedding；
排序模块，用于将所述Embedding处理的结果输入排序模型，得到所述排序模型对所述各候选资源的排序得分；其中所述排序模型采用Transformer模型预先训练得到。
第四方面，本申请提供了一种训练排序模型的装置，包括：
数据获取模块，用于获取训练数据，所述训练数据包括被匹配项、被匹配项对应的至少两个样本资源以及各样本资源的排序信息；
模型训练模块，利用所述训练数据训练Transformer模型，得到所述排序模型；
其中所述模型训练模块具体包括：
输入子模块，用于将所述被匹配项、所述至少两个样本资源的信息按顺序组成输入序列；
嵌入子模块，用于将输入序列中的各元素Token进行嵌入Embedding处理，所述Embedding处理包括：词Embedding、位置Embedding和语句Embedding；
排序子模块，用于将Embedding处理的结果作为Transformer模型的输入，由Transformer模型输出对各样本资源的排序得分；
优化子模块，用于利用所述排序得分优化所述Transformer模型的参数，训练目标包括：Transformer模型输出的对各样本资源的排序得分符合训练数据中的排序信息。
第五方面，本申请还提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的方法。
第六方面，本申请还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行上述中任一项所述的方法。
第七方面，本申请还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任一项所述的方法。
由以上技术方案可以看出，本申请提供的排序方式综合考虑了各候选资源信息的排序评分，可以达到全局最优的结果。并且，对于包含多个候选资源的情况，排序模型仅需要进行一次计算就可以得到所有候选资源的得分，在提升排序效果的同时，也降低了计算复杂度。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1示出了可以应用本发明实施例的示例性***架构；
图2为本申请实施例一提供的资源排序方法流程图；
图3为本申请实施例一提供的排序模型的原理示意图；
图4为本申请实施例二提供的训练排序模型的方法流程图；
图5为本申请实施例提供的资源排序装置的结构图；
图6为本申请实施例四提供的训练排序模型的装置结构图；
图7是用来实现本申请实施例的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1示出了可以应用本发明实施例的示例性***架构。如图1所示，该***架构可以包括终端设备101和102，网络103和服务器104。网络103用以在终端设备101、102和服务器104之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101和102通过网络103与服务器104交互。终端设备101和102上可以安装有各种应用，例如地图类应用、语音交互类应用、网页浏览器应用、通信类应用等。
终端设备101和102可以是能够支持并展现本申请中所涉及资源的各种电子设备，包括但不限于智能手机、平板电脑、智能音箱、智能穿戴式设备等等。本发明所提供的装置可以设置并运行于上述服务器104中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不做具体限定。
例如，资源排序装置设置并运行于上述服务器104中，服务器104可以接收来自终端设备101或102的搜索请求，该搜索请求包含query(搜索项)。排序装置使用本发明实施例提供的方式进行资源的排序，并依据排序结果确定向用户返回的搜索结果。并可以将搜索结果返回终端设备101或102。
再例如，资源排序装置设置并运行于上述服务器104中，服务器104获取来自终端设备101或102的用户标签，包括用户偏好、性别、地理位置、年龄等个性化信息。排序装置使用本发明实施例提供的方式进行资源的排序，并依据排序结果确定向用户推荐的资源。并可以将推荐的资源信息返回终端设备101或102。
在服务器104端维护有资源数据库，该资源数据库可以存储于服务器104本地，也可以存储于其他服务器中由服务器104进行调用。
再例如，训练排序模型的装置设置并运行于上述服务器104中，服务器104训练排序模型。
服务器104可以是单一服务器，也可以是多个服务器构成的服务器群组。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
在现有技术中对资源进行排序时，排序模型需要计算每个候选资源与被匹配项之间两两的匹配情况(例如相似度)，依据匹配情况得到各候选资源的得分。例如，在搜索引擎中，当用户输入query后，针对各候选网页，需要分别计算各候选网页与query的相似度，依据相似度得到各候选网页的得分。这种排序方式存在以下缺陷：
1)在计算一个候选资源的得分时，并没有考虑到其他候选资源，最终得到的结果并非全局最优。
2)另外，这种方式计算复杂度高，当存在N个候选资源时，排序模型就需要进行N次排序得分的计算，N为大于1的正整数。
相应地，现有技术中对排序模型进行训练时，采用的是pairwise(成对比较)的训练方式，即构建被匹配项对应的正样本资源和负样本资源对，分别计算被匹配项与正样本资源的相似度以及被匹配项与负样本资源的相似度，得到正样本资源的得分和负样本资源的得分，训练目标为使得正样本资源和负样本资源的得分差最大化。但这种pairwise的训练方式在训练数据有限的情况下，模型难以发挥很好的效果。
有鉴于此，本申请提供的资源排序方法和排序模型的训练方法都基于Transformer模型实现，能够有效地解决现有技术中存在的缺陷。Transformer模型是Google团队在17年6月提出的自然语言处理的经典模型。下面结合实施例对本申请提供的方法进行详细描述。
实施例一、
图2为本申请实施例一提供的资源排序方法流程图，如图2中所示，该方法可以包括以下步骤：
在201中，将被匹配项与各候选资源的信息按顺序组成输入序列。
本申请可以应用于资源搜索场景，也可以应用于资源推荐场景。当应用于资源搜索场景时，上述被匹配项可以为query(搜索项)，各候选资源可以是如下类型的资源：网页资源、新闻资源、多媒体资源等。例如，当用户在搜索引擎输入query，搜索引擎采用本实施例中的方式对各候选网页进行排序，依据排序结果向用户返回搜索结果，后续实施例将以此为例进行描述，这种情况下，各候选资源的信息可以采用各网页的标题、摘要、正文、锚文本、其他被点击query等。
再例如，用户在视频应用的搜索引擎中输入query，搜索引擎采用本实施例中的方式对各候选视频进行排序，依据排序结果向用户返回搜索结果。这种情况下，各候选资源的信息可以采用各视频的标题、摘要、评论、标签等。
当应用于资源推荐场景时，例如当用户打开新闻类应用时，新闻类应用的服务器端获取用户标签，该用户标签可以包括诸如用户偏好、性别、位置、年龄等个性化信息。然后新闻类应用将用户标签作为被匹配项，按照本实施例提供的方式对各候选新闻进行排序，依据排序结果向用户进行新闻推荐。这种情况下，各候选资源的信息可以采用各新闻的标题、摘要、正文等。
其中，为了对各候选资源以及被匹配项进行区分，可以在输入序列中被匹配项与各候选资源的信息之间***有分隔符。这种情况下，输入序列中各Token(元素)包括字符和分隔符。
例如，若用户在进行网页搜索时，输入query，然后获取各候选资源的标题，假设分别表示为title1、title2、title3、title4、…。***分隔符[sep]之后，输入序列表示为：
query[sep1]title1[sep2]title2[sep3]title3[sep4]title4[sep5]…
在202中，将输入序列中的各元素Token进行Embedding(嵌入)处理，所述Embedding处理包括：词Embedding、位置Embedding和语句Embedding。
在本申请中，对于输入序列中的每个元素需要进行Embedding处理。如图3中所示，Embedding处理包括：
词Embedding，即将各字符或分隔符进行词向量编码，得到词向量表示。如图3中所示，假设将query“苹果手机”和各候选网页的title1“好吃的苹果”以及title2“iphone手机介绍”等构成输入序列。对于每个元素“苹”、“果”、“手”、“机”、“[sep1]”、“好”、“吃”…分别进行词Embedding。
位置Embedding，即将各字符或分隔符在输入序列中的位置进行编码，得到位置的表示。如图3中所示，将各字符和分隔符依次编号为0、1、2、3、4等等。
语句Embedding，即将各字符或分隔符所属的语句进行编码，得到所属语句的编码表示。如图3中所示，“苹果手机”中的各Token编码表示为“0”，将“[sep1]好吃的苹果”中各Token编码表示为“1”，将“[sep2]手机介绍”中各Token编码表示为“2”，等等。
在203中，将Embedding处理的结果输入排序模型，得到排序模型对各候选资源的排序得分；其中排序模型采用Transformer模型预先训练得到。
输入序列中，被匹配项与各候选资源的信息作为一个整体编码后输入排序模型。本申请实施例提供的排序模型采用Transformer模型。其中，Transformer模型包括一个以上的编码层和映射层。如图3中所示，各编码层采用Transformer Block表示，映射层可以采用Softmax的方式。
编码层，用于对输入的各Token的向量表示进行Attention(注意力)机制处理。具体地，各Transformer Block通过自注意力的方式对各Token的向量表示进行处理，得到新的向量表示。
映射层，用于对最后一层的编码层输出的向量表示进行映射，得到所述各候选资源的排序得分。
如图3中所示，最顶层的Transformer Block输出各Token的向量表示即语义表示给Softmax层，由Softmax层映射得到各网页title的得分。关于Transformer Block的处理机制在本申请中不做详细描述，使用了Transformer模型已有的自注意力处理机制。
由以上实施例提供的排序方式可以看出，在针对一个候选资源信息进行排序评分时，综合考虑了其他候选资源信息的排序评分，可以达到全局最优的结果。并且，对于包含N个候选资源的情况，排序模型仅需要进行一次计算就可以得到所有候选资源的得分，在提升排序效果的同时，也降低了计算复杂度。
为了实现上述排序模型的排序，首先需要对排序模型进行训练。下面结合实施例二队排序模型的训练过程进行详细描述。
实施例二、
图4为本申请实施例二提供的训练排序模型的方法流程图，如图4中所示，该方法可以包括：
在401中，获取训练数据，训练数据包括被匹配项、被匹配项对应的至少两个样本资源以及各样本资源的排序信息。
本实施例在获取训练数据时，可以采用人工标注的方式，例如，对于被匹配项，构造一系列样本资源，并人工标注各样本资源的排序信息。
由于上述人工标注的方式成本较高，因此在本申请实施例中可以采用一种优选的方式，即利用搜索引擎中用户的历史点击行为自动生成训练数据。例如，从搜索引擎中获取历史搜索日志，获取同一query(作为被匹配项)对应的搜索结果。从中挑选用户点击的资源信息与未点击的资源信息构成样本资源，其中用户点击的资源信息的排序高于未点击的资源信息。更进一步地，还可以根据用户对点击的资源信息的浏览时长确定点击的资源信息的排序，例如浏览时长越长的排序越靠前。
作为一种样本数据，例如，query，query对应的网页的Title1、Title2、Title3、Title4，其中排序为：Title1>Title2>Title3>Title4。
还可以采用另一种样本数据，即被匹配项，以及被匹配项对应的至少一个正样本资源和至少一个负样本资源。例如，query，query对应的正样本网页Title2、Title4，以及query对应的负样本网页Title1、Title3。
在402中，利用所述训练数据训练Transformer模型，得到排序模型。具体可以包括以下步骤：
在4021中，将同一训练样本中被匹配项、至少两个样本资源的信息按顺序组成输入序列。
同样，为了对各样本资源的信息和被匹配项进行区分，输入序列中被匹配项与各样本资源的信息之间***有分隔符，这种情况下，Token包括字符和分隔符。
例如，同一训练样本中包括query以及该query对应的网页标题title1、title2、title3、title4、…。***分隔符[sep]之后，输入序列表示为：
query[sep1]title1[sep2]title2[sep3]title3[sep4]title4[sep5]…
在4022中，将输入序列中的各元素Token进行嵌入Embedding处理，Embedding处理包括：词Embedding、位置Embedding和语句Embedding。
该部分与实施例一中步骤202类似，在此不做赘述。
在4023中，将Embedding处理的结果作为Transformer模型的输入，由Transformer模型输出对各样本资源的排序得分。
Transformer模型的结构可以参见图3，各层的处理参见实施例中的描述，在此不做赘述。
在4024中，利用排序得分优化所述Transformer模型的参数，训练目标包括：Transformer模型输出的对各样本资源的排序得分符合训练数据中的排序信息。
如果训练样本为：query，query对应的网页的Title1、Title2、Title3、Title4，其中排序为：Title1>Title2>Title3>Title4。那么在优化Transformer模型的参数时，尽量使得Transformer模型对Title1、Title2、Title3、Title4的排序得分也是从高到低的顺序。
如果训练样本为：query，query对应的正样本网页Title2、Title4，以及query对应的负样本网页Title1、Title3，那么其训练目标为：Transformer模型输出的对正样本资源的排序得分由于对负样本资源的排序得分。例如构建损失函数为：
其中，q指代训练样本中的query，D为训练样本中query构成的集合，Title+表示正样本网页的标题，Title-表示负样本网页的标题，ScoreTitle-表示负样本网页的得分，ScoreTitle+表示正样本网页的得分，α为0到1之间的常数。
需要说明的是，作为一种优选的实施方式，在上述训练过程中，在优化Transformer模型的参数的同时，也可以优化Embedding处理所采用的参数。即优化词Embedding、位置Embedding和语句Embedding处理时所采用的参数，从而使得Embedding的处理也逐渐优化。
另外，在上述训练过程中，Transformer模型的模型参数可以在刚开始训练时首先进行初始化，然后逐渐优化模型参数。也可以采用已经通过其他方式预训练得到的Transformer模型的模型参数，然后在上述模型训练过程中直接基于预训练得到的Transformer模型的模型参数，采用上述实施例所提供的方式进一步优化模型参数。本申请对于预训练Transformer模型的方式并不加以限制。
通过上述训练方式，能够实现对所有候选资源信息的整体优化，即采用Listwise(列表比较)的方式进行优化，在针对一个候选资源信息进行排序评分时，综合考虑了其他候选资源信息的排序评分，可以学习到全局最优的结果。并且，本申请基于Transformer模型，使得标注数据有限时，也可以取得理想的效果。
以上是对本申请所提供方法进行的详细描述，下面结合实施例对本申请提供的装置进行详细描述。
实施例三、
图5为本申请实施例提供的资源排序装置的结构图，如图5中所示，该装置可以包括：输入模块01、嵌入模块02和排序模块03。其中各组成模块的主要功能如下：
输入模块01，用于将被匹配项与各候选资源的信息按顺序组成输入序列。
嵌入模块02，用于将输入序列中的各元素Token进行嵌入Embedding处理，Embedding处理包括：词Embedding、位置Embedding和语句Embedding。
排序模块03，用于将Embedding处理的结果输入排序模型，得到排序模型对各候选资源的排序得分；其中排序模型采用Transformer模型预先训练得到。
更进一步地，输入模块01可以在输入序列中被匹配项与各候选资源的信息之间***分隔符；这种情况下，Token包括字符和分隔符。
其中，Transformer模型包括一个以上的编码层和映射层。具体可以参见图3。
编码层，用于对输入的各元素的向量表示进行Attention机制处理。
映射层，用于对最后一层的编码层输出的向量表示进行映射，得到各候选资源的排序得分。
如图3中所示，最顶层的Transformer Block输出各Token的向量表示即语义表示给Softmax层，由Softmax层映射得到各网页title的得分。关于Transformer Block的处理机制在本申请中不做详细描述，使用了Transformer模型已有的自注意力处理机制。
本申请可以应用于资源搜索场景，也可以应用于资源推荐场景。当应用于资源搜索场景时，上述被匹配项可以为query(搜索项)，各候选资源可以是如下类型的资源：网页资源、新闻资源、多媒体资源等。例如，当用户在搜索引擎输入query，搜索引擎采用本实施例中的方式对各候选网页进行排序，依据排序结果向用户返回搜索结果。这种情况下，各候选资源的信息可以采用各网页的标题、摘要、正文、锚文本、其他被点击query等。
再例如，用户在视频应用的搜索引擎中输入query，搜索引擎采用本实施例中的方式对各候选视频进行排序，依据排序结果向用户返回搜索结果。这种情况下，各候选资源的信息可以采用各视频的标题、摘要、评论、标签等。
实施例四、
图6为本申请实施例四提供的训练排序模型的装置结构图，如图6中所示，该装置可以包括：数据获取模块00和模型训练模块10。
数据获取模块00，用于获取训练数据，训练数据包括被匹配项、被匹配项对应的至少两个样本资源以及各样本资源的排序信息。
本实施例在获取训练数据时，可以采用人工标注的方式，例如，对于被匹配项，构造一系列样本资源，并人工标注各样本资源的排序信息。
由于上述人工标注的方式成本较高，因此在本申请实施例中可以采用一种优选的方式，即利用搜索引擎中用户的历史点击行为自动生成训练数据。例如，从搜索引擎中获取历史搜索日志，获取同一query(作为被匹配项)对应的搜索结果。从中挑选用户点击的资源信息与未点击的资源信息构成样本资源，其中用户点击的资源信息的排序高于未点击的资源信息。更进一步地，还可以根据用户对点击的资源信息的浏览时长确定点击的资源信息的排序，例如浏览时长越长的排序越靠前。
作为一种样本数据，例如，query，query对应的网页的Title1、Title2、Title3、Title4，其中排序为：Title1>Title2>Title3>Title4。
还可以采用另一种样本数据，即被匹配项，以及被匹配项对应的至少一个正样本资源和至少一个负样本资源。例如，query，query对应的正样本网页Title2、Title4，以及query对应的负样本网页Title1、Title3。
模型训练模块10，利用训练数据训练Transformer模型，得到排序模型。
具体地，模型训练模块10可以包括：
输入子模块11，用于将被匹配项、至少两个样本资源的信息按顺序组成输入序列。
更进一步地，输入子模块11可以在输入序列中被匹配项与各样本资源的信息之间***分隔符。这种情况下，Token包括字符和分隔符。
嵌入子模块12，用于将输入序列中的各元素Token进行嵌入Embedding处理，Embedding处理包括：词Embedding、位置Embedding和语句Embedding。
排序子模块13，用于将Embedding处理的结果作为Transformer模型的输入，由Transformer模型输出对各样本资源的排序得分。
其中，Transformer模型包括一个以上的编码层和映射层。
编码层，用于对输入的各元素的向量表示进行Attention机制处理；
映射层，用于对最后一层的编码层输出的向量表示进行映射，得到对输入序列中各样本资源的排序得分。
优化子模块14，用于利用排序得分优化Transformer模型的参数，训练目标包括：Transformer模型输出的对各样本资源的排序得分符合训练数据中的排序信息。
如果训练样本为：query，query对应的网页的Title1、Title2、Title3、Title4，其中排序为：Title1>Title2>Title3>Title4。那么在优化Transformer模型的参数时，尽量使得Transformer模型对Title1、Title2、Title3、Title4的排序得分也是从高到低的顺序。
如果训练样本为：query，query对应的正样本网页Title2、Title4，以及query对应的负样本网页Title1、Title3，那么其训练目标为：Transformer模型输出的对正样本资源的排序得分由于对负样本资源的排序得分。
作为一种优选的实施方式，优化子模块14在利用排序得分优化Transformer模型的参数的同时，优化嵌入子模块12进行Embedding处理所采用的参数。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图7所示，是根据本申请实施例的排序方法或训练排序模型的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图7中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的排序方法或训练排序模型的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的排序方法或训练排序模型的方法。
存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的排序方法或训练排序模型的方法对应的程序指令/模块。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的排序方法或训练排序模型的方法。
存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据该电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至该电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
该电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息，以及产生与该电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (21)

1.一种资源排序方法，包括：
将被匹配项与多个候选资源中各候选资源的信息按顺序组成一个输入序列；
将所述一个输入序列中的各元素进行嵌入处理，所述嵌入处理包括：词嵌入、位置嵌入和语句嵌入；
将嵌入处理的结果作为整体输入排序模型，通过所述排序模型的一次计算，得到所述排序模型对所有候选资源中所述各候选资源的排序得分；其中所述排序模型采用转换Transformer模型预先训练得到。
2.根据权利要求1所述的方法，其中，所述输入序列中被匹配项与各候选资源的信息之间***有分隔符；
所述元素包括字符和分隔符。
3.根据权利要求1所述的方法，其中，所述转换模型包括一个以上的编码层和映射层；
所述编码层，用于对输入的各元素的向量表示进行注意力机制处理；
所述映射层，用于对最后一层的编码层输出的向量表示进行映射，得到所述各候选资源的排序得分。
4.根据权利要求1至3中任一项所述的方法，其中，所述被匹配项包括查询项或用户标签；
所述资源包括：网页资源、新闻资源或多媒体资源。
5.一种训练排序模型的方法，包括：
获取训练数据，所述训练数据包括被匹配项、被匹配项对应的至少两个样本资源以及各样本资源的排序信息；
利用所述训练数据训练转换模型，得到所述排序模型，具体包括：
将所述被匹配项、所述至少两个样本资源的信息按顺序组成一个输入序列；
将所述一个输入序列中的各元素进行嵌入处理，所述嵌入处理包括：词嵌入、位置嵌入和语句嵌入；
将嵌入处理的结果作为整体输入转换Transformer模型，通过所述转换模型的一次计算，由转换模型输出对所有样本资源中各样本资源的排序得分；
利用所述排序得分优化所述转换模型的参数，训练目标包括：转换模型输出的对各样本资源的排序得分符合训练数据中的排序信息。
6.根据权利要求5所述的方法，其中，所述输入序列中被匹配项与各样本资源的信息之间***有分隔符；
所述元素包括字符和分隔符。
7.根据权利要求5所述的方法，其中，所述转换模型包括一个以上的编码层和映射层；
所述编码层，用于对输入的各元素的向量表示进行注意力机制处理；
所述映射层，用于对最后一层的编码层输出的向量表示进行映射，得到对输入序列中各样本资源的排序得分。
8.根据权利要求5所述的方法，其中，所述至少两个样本资源包括：被匹配项对应的至少一个正样本资源和至少一个负样本资源；
所述训练目标包括：转换模型输出的对正样本资源的排序得分优于对负样本资源的排序得分。
9.根据权利要求5至8中任一项所述的方法，其中，在利用所述排序得分优化所述转换模型的参数的同时，优化所述嵌入处理所采用的参数。
10.一种资源排序装置，包括：
输入模块，用于将被匹配项与多个候选资源中各候选资源的信息按顺序组成一个输入序列；
嵌入模块，用于将所述一个输入序列中的各元素进行嵌入处理，所述嵌入处理包括：词嵌入、位置嵌入和语句嵌入；
排序模块，用于将所述嵌入处理的结果作为整体输入排序模型，通过所述排序模型的一次计算，得到所述排序模型对所有候选资源中所述各候选资源的排序得分；其中所述排序模型采用转换Transformer模型预先训练得到。
11.根据权利要求10所述的装置，其中，所述输入模块，还用于在所述输入序列中被匹配项与各候选资源的信息之间***分隔符；
所述元素包括字符和分隔符。
12.根据权利要求10所述的装置，其中，所述转换模型包括一个以上的编码层和映射层；
所述编码层，用于对输入的各元素的向量表示进行注意力机制处理；
所述映射层，用于对最后一层的编码层输出的向量表示进行映射，得到所述各候选资源的排序得分。
13.根据权利要求10至12中任一项所述的装置，其中，所述被匹配项包括查询项或用户标签；
所述资源包括：网页资源、新闻资源或多媒体资源。
14.一种训练排序模型的装置，包括：
数据获取模块，用于获取训练数据，所述训练数据包括被匹配项、被匹配项对应的至少两个样本资源以及各样本资源的排序信息；
模型训练模块，利用所述训练数据训练转换Transformer模型，得到所述排序模型；
其中所述模型训练模块具体包括：
输入子模块，用于将所述被匹配项、所述至少两个样本资源的信息按顺序组成一个输入序列；
嵌入子模块，用于将所述一个输入序列中的各元素进行嵌入处理，所述嵌入处理包括：词嵌入、位置嵌入和语句嵌入；
排序子模块，用于将嵌入处理的结果作为整体输入转换模型，通过所述转换模型的一次计算，由转换模型输出对所有样本资源中各样本资源的排序得分；
优化子模块，用于利用所述排序得分优化所述转换模型的参数，训练目标包括：转换模型输出的对各样本资源的排序得分符合训练数据中的排序信息。
15.根据权利要求14所述的装置，其中，所述输入子模块，还用于在所述输入序列中被匹配项与各样本资源的信息之间***分隔符；
所述元素包括字符和分隔符。
16.根据权利要求14所述的装置，其中，所述转换模型包括一个以上的编码层和映射层；
所述编码层，用于对输入的各元素的向量表示进行注意力机制处理；
所述映射层，用于对最后一层的编码层输出的向量表示进行映射，得到对输入序列中各样本资源的排序得分。
17.根据权利要求14所述的装置，其中，所述至少两个样本资源包括：被匹配项对应的至少一个正样本资源和至少一个负样本资源；
所述训练目标包括：转换模型输出的对正样本资源的排序得分优于对负样本资源的排序得分。
18.根据权利要求14至17中任一项所述的装置，其中，所述优化子模块在利用所述排序得分优化所述转换模型的参数的同时，优化所述嵌入子模块进行嵌入处理所采用的参数。
19. 一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。
21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。
CN202010478321.8A 2020-05-29 2020-05-29 资源排序方法、训练排序模型的方法及对应装置 Active CN111737559B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010478321.8A CN111737559B (zh) 2020-05-29 2020-05-29 资源排序方法、训练排序模型的方法及对应装置
US17/094,943 US20210374344A1 (en) 2020-05-29 2020-11-11 Method for resource sorting, method for training sorting model and corresponding apparatuses
JP2020193891A JP7106802B2 (ja) 2020-05-29 2020-11-20 リソースソート方法、ソートモデルをトレーニングする方法及び対応する装置
EP21160886.4A EP3916579A1 (en) 2020-05-29 2021-03-05 Method for resource sorting, method for training sorting model and corresponding apparatuses
KR1020210035535A KR102475235B1 (ko) 2020-05-29 2021-03-18 리소스 정렬 방법, 정렬 모델을 트레이닝하는 방법 및 대응하는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010478321.8A CN111737559B (zh) 2020-05-29 2020-05-29 资源排序方法、训练排序模型的方法及对应装置

Publications (2)

Publication Number Publication Date
CN111737559A CN111737559A (zh) 2020-10-02
CN111737559B true CN111737559B (zh) 2024-05-31

Family

ID=72646803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010478321.8A Active CN111737559B (zh) 2020-05-29 2020-05-29 资源排序方法、训练排序模型的方法及对应装置

Country Status (5)

Country Link
US (1) US20210374344A1 (zh)
EP (1) EP3916579A1 (zh)
JP (1) JP7106802B2 (zh)
KR (1) KR102475235B1 (zh)
CN (1) CN111737559B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11829374B2 (en) * 2020-12-04 2023-11-28 Microsoft Technology Licensing, Llc Document body vectorization and noise-contrastive training
CN112749268A (zh) * 2021-01-30 2021-05-04 云知声智能科技股份有限公司 基于混合策略的faq***排序方法、装置及***
CN114548109B (zh) * 2022-04-24 2022-09-23 阿里巴巴达摩院(杭州)科技有限公司 命名实体识别模型训练方法及命名实体识别方法
CN115293291B (zh) * 2022-08-31 2023-09-12 北京百度网讯科技有限公司 排序模型的训练方法、排序方法、装置、电子设备及介质
CN115795368B (zh) * 2023-02-07 2023-05-02 山东毓星智能科技有限公司 一种基于人工智能的企业内训数据处理方法及***
CN117077918B (zh) * 2023-07-04 2024-04-02 南京工业职业技术大学 基于电力大数据的节能方法及节能***

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105955993A (zh) * 2016-04-19 2016-09-21 北京百度网讯科技有限公司 搜索结果排序方法和装置
CN109408622A (zh) * 2018-10-31 2019-03-01 腾讯科技（深圳）有限公司 语句处理方法及其装置、设备和存储介质
CN110276001A (zh) * 2019-06-20 2019-09-24 北京百度网讯科技有限公司 盘点页识别方法、装置、计算设备和介质
CN110309283A (zh) * 2019-06-28 2019-10-08 阿里巴巴集团控股有限公司 一种智能问答的答案确定方法及装置
CN110516059A (zh) * 2019-08-30 2019-11-29 腾讯科技（深圳）有限公司 基于机器学习的问题答复方法、问答模型训练方法及装置
CN110543552A (zh) * 2019-09-06 2019-12-06 网易（杭州）网络有限公司 对话交互方法、装置及电子设备
CN110543551A (zh) * 2019-09-04 2019-12-06 北京香侬慧语科技有限责任公司 一种问题语句处理方法和装置
CN110647629A (zh) * 2019-09-20 2020-01-03 北京理工大学 一种多粒度答案排序的多文档机器阅读理解方法
CN110717339A (zh) * 2019-12-12 2020-01-21 北京百度网讯科技有限公司 语义表示模型的处理方法、装置、电子设备及存储介质
CN110795527A (zh) * 2019-09-03 2020-02-14 腾讯科技（深圳）有限公司 候选实体排序方法、训练方法及相关装置
US10607598B1 (en) * 2019-04-05 2020-03-31 Capital One Services, Llc Determining input data for speech processing
CN111160007A (zh) * 2019-12-13 2020-05-15 中国平安财产保险股份有限公司 基于bert语言模型的搜索方法、装置、计算机设备及存储介质
CN111159359A (zh) * 2019-12-31 2020-05-15 达闼科技成都有限公司 文档检索方法、装置及计算机可读存储介质
CN111198940A (zh) * 2019-12-27 2020-05-26 北京百度网讯科技有限公司 Faq方法、问答检索***、电子设备和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107402954B (zh) 2017-05-26 2020-07-10 百度在线网络技术（北京）有限公司 建立排序模型的方法、基于该模型的应用方法和装置
WO2018232622A1 (en) * 2017-06-21 2018-12-27 Microsoft Technology Licensing, Llc RECOMMENDATION OF MULTIMEDIA CONTENT THROUGH CONVERSATIONAL ROBOTS
CN107491534B (zh) * 2017-08-22 2020-11-20 北京百度网讯科技有限公司 信息处理方法和装置
KR20190069961A (ko) * 2017-12-12 2019-06-20 한국전자통신연구원 다중 자질 서브워드 기반 워드 임베딩 시스템 및 방법
US10803055B2 (en) * 2017-12-15 2020-10-13 Accenture Global Solutions Limited Cognitive searches based on deep-learning neural networks
US20190354839A1 (en) * 2018-05-18 2019-11-21 Google Llc Systems and Methods for Slate Optimization with Recurrent Neural Networks
US20200005149A1 (en) * 2018-06-28 2020-01-02 Microsoft Technology Licensing, Llc Applying learning-to-rank for search
US20210133535A1 (en) * 2019-11-04 2021-05-06 Oracle International Corporation Parameter sharing decoder pair for auto composing
US11238521B2 (en) * 2019-12-11 2022-02-01 Microsoft Technology Licensing, Llc Text-based similarity system for cold start recommendations
KR102400995B1 (ko) 2020-05-11 2022-05-24 네이버 주식회사 쇼핑 검색을 위한 상품 속성 추출 방법
US20210365500A1 (en) * 2020-05-19 2021-11-25 Miso Technologies Inc. System and method for question-based content answering

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105955993A (zh) * 2016-04-19 2016-09-21 北京百度网讯科技有限公司 搜索结果排序方法和装置
CN109408622A (zh) * 2018-10-31 2019-03-01 腾讯科技（深圳）有限公司 语句处理方法及其装置、设备和存储介质
US10607598B1 (en) * 2019-04-05 2020-03-31 Capital One Services, Llc Determining input data for speech processing
CN110276001A (zh) * 2019-06-20 2019-09-24 北京百度网讯科技有限公司 盘点页识别方法、装置、计算设备和介质
CN110309283A (zh) * 2019-06-28 2019-10-08 阿里巴巴集团控股有限公司 一种智能问答的答案确定方法及装置
CN110516059A (zh) * 2019-08-30 2019-11-29 腾讯科技（深圳）有限公司 基于机器学习的问题答复方法、问答模型训练方法及装置
CN110795527A (zh) * 2019-09-03 2020-02-14 腾讯科技（深圳）有限公司 候选实体排序方法、训练方法及相关装置
CN110543551A (zh) * 2019-09-04 2019-12-06 北京香侬慧语科技有限责任公司 一种问题语句处理方法和装置
CN110543552A (zh) * 2019-09-06 2019-12-06 网易（杭州）网络有限公司 对话交互方法、装置及电子设备
CN110647629A (zh) * 2019-09-20 2020-01-03 北京理工大学 一种多粒度答案排序的多文档机器阅读理解方法
CN110717339A (zh) * 2019-12-12 2020-01-21 北京百度网讯科技有限公司 语义表示模型的处理方法、装置、电子设备及存储介质
CN111160007A (zh) * 2019-12-13 2020-05-15 中国平安财产保险股份有限公司 基于bert语言模型的搜索方法、装置、计算机设备及存储介质
CN111198940A (zh) * 2019-12-27 2020-05-26 北京百度网讯科技有限公司 Faq方法、问答检索***、电子设备和存储介质
CN111159359A (zh) * 2019-12-31 2020-05-15 达闼科技成都有限公司 文档检索方法、装置及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding;Jacob Devlin 等;arXiv;正文第3部分 *
基于QE的机器翻译重排序方法研究;翟煜锦;李培芸;项青宇;李茂西;裘白莲;钟茂生;王明文;;江西师范大学学报(自然科学版);20200131(第01期);全文 *

Also Published As

Publication number Publication date
US20210374344A1 (en) 2021-12-02
CN111737559A (zh) 2020-10-02
JP7106802B2 (ja) 2022-07-27
JP2021190073A (ja) 2021-12-13
KR102475235B1 (ko) 2022-12-06
EP3916579A1 (en) 2021-12-01
KR20210148871A (ko) 2021-12-08

Similar Documents

Publication Publication Date Title
CN111737559B (zh) 资源排序方法、训练排序模型的方法及对应装置
CN112507715B (zh) 确定实体之间关联关系的方法、装置、设备和存储介质
US11714816B2 (en) Information search method and apparatus, device and storage medium
US20210209446A1 (en) Method for generating user interactive information processing model and method for processing user interactive information
KR20210038449A (ko) 문답 처리, 언어 모델 훈련 방법, 장치, 기기 및 저장 매체
CN112860866B (zh) 语义检索方法、装置、设备以及存储介质
CN111241282B (zh) 文本主题生成方法、装置及电子设备
US20180365321A1 (en) Method and system for highlighting answer phrases
CN113094550B (zh) 视频检索方法、装置、设备和介质
CN111667056B (zh) 用于搜索模型结构的方法和装置
CN111680517B (zh) 用于训练模型的方法、装置、设备以及存储介质
CN111104514A (zh) 文档标签模型的训练方法及装置
CN113553414B (zh) 智能对话方法、装置、电子设备和存储介质
CN111797216B (zh) 检索项改写方法、装置、设备以及存储介质
CN111460135B (zh) 用于生成文本摘要的方法和装置
CN112507091A (zh) 检索信息的方法、装置、设备以及存储介质
CN111274407A (zh) 知识图谱中三元组置信度计算方法和装置
CN111967599B (zh) 用于训练模型的方法、装置、电子设备及可读存储介质
CN111291184B (zh) 表情的推荐方法、装置、设备及存储介质
CN111859953A (zh) 训练数据的挖掘方法、装置、电子设备及存储介质
CN111563198B (zh) 一种物料召回方法、装置、设备及存储介质
CN111385188A (zh) 对话元素的推荐方法、装置、电子设备和介质
CN112148895B (zh) 检索模型的训练方法、装置、设备和计算机存储介质
CN112329429B (zh) 文本相似度学习方法、装置、设备以及存储介质
CN111639234B (zh) 用于挖掘核心实体关注点的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant