JP2024003752A - Search result sorting model training method, search result sorting method, search result sorting model training device, search result sorting device, electronic device, computer readable medium, and computer program - Google Patents

Search result sorting model training method, search result sorting method, search result sorting model training device, search result sorting device, electronic device, computer readable medium, and computer program Download PDF

Info

Publication number
JP2024003752A
JP2024003752A JP2023038515A JP2023038515A JP2024003752A JP 2024003752 A JP2024003752 A JP 2024003752A JP 2023038515 A JP2023038515 A JP 2023038515A JP 2023038515 A JP2023038515 A JP 2023038515A JP 2024003752 A JP2024003752 A JP 2024003752A
Authority
JP
Japan
Prior art keywords
search
goal
search result
training
data pairs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023038515A
Other languages
Japanese (ja)
Inventor
ワン、ハイフェン
Haifeng Wang
ティアン、ハオ
Hao Tian
ウ、フア
Hua Wu
ウ、ティアン
Tian Wu
リウ、ジン
Jing Liu
チェン、ウェイジェン
Weizheng Chen
ダイ、ダイ
Dai Dai
ワン、ジアカン
Jiakang Wang
パン、チャオ
Chao Pang
ワン、ウェンフア
Wenhua Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2024003752A publication Critical patent/JP2024003752A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a search result sorting model training method and a search result sorting method.
SOLUTION: The search result sorting model training method includes the steps of: obtaining a plurality of first data pairs, single-target features of search results in the plurality of first data pairs corresponding to a plurality of search targets, and marking scores of the plurality of first data pairs corresponding to the plurality of search targets; based on the obtained data, performing training to obtain a plurality of single-search target sorting models; obtaining a plurality of second data pairs and multi-target features of search results in the plurality of second data pairs corresponding to the all search targets; scoring respective search results in the second data pair by using the plurality of single-search target sorting models corresponding to the plurality of search targets to determine a training search target of the second data pairs; and based on queries in the plurality of second data pairs, multi-target features of search results corresponding to all the search targets, and scores of the search results corresponding to a training search target, performing training to obtain a search result sorting model.
SELECTED DRAWING: Figure 1
COPYRIGHT: (C)2024,JPO&INPIT

Description

本開示は、コンピュータ技術に関し、特に自然言語処理、ディープラーニング等の人工知能技術の分野に関し、具体的に検索結果ソートモデルの訓練及び検索結果ソート方法、装置、電子デバイス、及び可読記憶媒体に関する。 The present disclosure relates to computer technology, particularly to the field of artificial intelligence technology such as natural language processing and deep learning, and specifically relates to training of a search result sorting model, search result sorting method, apparatus, electronic device, and readable storage medium.

検索エンジン技術の急速な発展に伴い、ユーザが検索エンジンによる検索の方式でさまざまな検索結果を取得することが多くなってきた。大量の検索結果を対象とする場合、検索結果のソート結果に基づいてユーザに提示するというソート問題がある。 With the rapid development of search engine technology, users are increasingly using search engines to obtain various search results. When targeting a large number of search results, there is a problem of sorting the search results by presenting them to the user based on the sorted results.

本開示の第１態様によれば、複数の第１データペアと、前記複数の第１データペアにおける検索結果が複数の検索目標にそれぞれ対応する単目標特徴と、前記複数の第１データペアが前記複数の検索目標にそれぞれ対応する注釈点数とを取得し、各第１データペアはクエリ及びそれに対応する１つの検索結果を含み、各検索目標について、前記複数の第１データペアにおけるクエリと、前記複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴と、前記複数の第１データペアが当該検索目標に対応する注釈点数とに基づいて第１事前訓練言語モデルを訓練して当該検索目標に対応する単検索目標ソートモデルを得、複数の第２データペアと、前記複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴とを取得し、各第２データペアはクエリ及びそれに対応する２つの検索結果とを含み、各第２データペアについて、前記複数の検索目標に対応する複数の単検索目標ソートモデルを用いて当該第２データペアにおける各検索結果を採点し、前記各検索結果が前記複数の検索目標に対応する点数に基づいて、当該第２データペアの訓練検索目標を決定し、前記複数の第２データペアにおけるクエリと、前記複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴と、前記複数の第２データペアにおける各検索結果が前記訓練検索目標に対応する点数とに基づいて、第２事前訓練言語モデルを訓練して検索結果ソートモデルを得ることを含む検索結果ソートモデルの訓練方法が提供される。 According to a first aspect of the present disclosure, a plurality of first data pairs, a single target feature in which search results in the plurality of first data pairs respectively correspond to a plurality of search targets, and a plurality of first data pairs are provided. annotation scores corresponding to each of the plurality of search goals, each first data pair including a query and one search result corresponding thereto, and for each search goal, a query in the plurality of first data pairs; training a first pre-trained language model based on a single target feature whose search result in the plurality of first data pairs corresponds to the search goal; and an annotation score whose search result corresponds to the search goal in the plurality of first data pairs. obtain a single search goal sorting model corresponding to the search goal, and obtain a plurality of second data pairs and a multi-goal feature in which each search result in the plurality of second data pairs corresponds to all the search goals. , each second data pair includes a query and two search results corresponding to the query, and for each second data pair, a plurality of single search goal sorting models corresponding to the plurality of search goals are used to sort the second data pair. determining a training search goal for the second data pair based on the score that each search result corresponds to the plurality of search goals; and determining a training search goal for the second data pair; a multi-objective feature in which each search result in the plurality of second data pairs corresponds to all the search goals; and a score in which each search result in the plurality of second data pairs corresponds to the training search goal; A method for training a search result sorting model is provided, the method comprising training a pre-trained language model to obtain a search result sorting model.

本開示の第２態様によれば、処理すべきクエリ及びそれに対応する複数の検索結果を取得し、各検索結果について、当該検索結果が全ての検索目標に対応する多目標特徴を取得し、各検索結果について、前記処理すべきクエリと当該検索結果が全ての検索目標に対応する多目標特徴を検索結果ソートモデルに入力して、前記検索結果ソートモデルが当該検索結果について出力する点数を得、前記複数の検索結果の点数に基づいて、前記複数の検索結果をソートすることを含む検索結果ソート方法が提供される。 According to the second aspect of the present disclosure, a query to be processed and a plurality of search results corresponding to the query are obtained, and for each search result, multi-objective features corresponding to all search goals are obtained, and each For the search results, input the query to be processed and the multi-objective features of which the search results correspond to all search goals into a search result sorting model, and obtain the score output by the search result sorting model for the search results; A search result sorting method is provided that includes sorting the plurality of search results based on scores of the plurality of search results.

本開示の第３態様によれば、複数の第１データペアと、前記複数の第１データペアにおける検索結果が複数の検索目標にそれぞれ対応する単目標特徴と、前記複数の第１データペアが前記複数の検索目標にそれぞれ対応する注釈点数とを取得し、各第１データペアはクエリ及びそれに対応する１つの検索結果を含む第１取得部と、各検索目標について、前記複数の第１データペアにおけるクエリと、前記複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴と、前記複数の第１データペアが当該検索目標に対応する注釈点数とに基づいて第１事前訓練言語モデルを訓練して当該検索目標に対応する単検索目標ソートモデルを得る第一訓練部と、複数の第２データペアと、前記複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴とを取得し、各第２データペアはクエリ及びそれに対応する２つの検索結果を含む第２取得部と、各第２データペアについて、前記複数の検索目標に対応する複数の単検索目標ソートモデルを用いて、当該第２データペアにおける各検索結果を採点し、前記各検索結果が前記複数の検索目標に対応する点数に基づいて、当該第２データペアの訓練検索目標を決定する処理部と、前記複数の第２データペアにおけるクエリ、前記複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴、及び前記複数の第２データペアにおける各検索結果が前記訓練検索目標に対応する点数に基づいて、第２事前訓練言語モデルを訓練して検索結果ソートモデルを得る第二訓練部とを備える検索結果ソートモデルの訓練装置が提供される。 According to a third aspect of the present disclosure, a plurality of first data pairs, a single target feature in which search results in the plurality of first data pairs respectively correspond to a plurality of search targets, and a plurality of first data pairs are provided. a first acquisition unit that acquires annotation points corresponding to each of the plurality of search goals, each first data pair including a query and one search result corresponding thereto; A first a priori based on a query in the pair, a single target feature for which the search result in the plurality of first data pairs corresponds to the search goal, and an annotation score that the plurality of first data pairs correspond to the search goal. a first training unit that trains a training language model to obtain a single search target sorting model corresponding to the search target; a plurality of second data pairs; and a first training unit that trains a training language model to obtain a single search target sorting model corresponding to the search target; a second acquisition unit, each second data pair includes a query and two search results corresponding to the plurality of search results; Each search result in the second data pair is scored using the single search goal sorting model of a processing unit that determines a query in the plurality of second data pairs, a multi-objective feature in which each search result in the plurality of second data pairs corresponds to all the search goals, and a processing unit for determining each of the plurality of second data pairs. and a second training unit for training a second pre-trained language model to obtain a search result sorting model based on the score of the search result corresponding to the training search objective.

本開示の第４態様によれば、処理すべきクエリ及びそれに対応する複数の検索結果を取得する第３取得部と、各検索結果について、当該検索結果が全ての検索目標に対応する多目標特徴を取得する第４取得部と、各検索結果について、前記処理すべきクエリと当該検索結果が全ての検索目標に対応する多目標特徴とを検索結果ソートモデルに入力して前記検索結果ソートモデルが当該検索結果について出力する点数を取得する採点部と、前記複数の検索結果の点数に応じて、前記複数の検索結果をソートするソート部とを備える検索結果ソート装置が提供される。 According to a fourth aspect of the present disclosure, there is provided a third acquisition unit that acquires a query to be processed and a plurality of search results corresponding thereto; and a fourth acquisition unit that acquires, for each search result, the query to be processed and the multi-objective feature that the search result corresponds to all search goals into a search result sorting model. A search result sorting device is provided that includes a scoring section that obtains a score to be output for the search result, and a sorting section that sorts the plurality of search results according to the scores of the plurality of search results.

本開示の第５態様によれば、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信可能に接続されたメモリとを備え、前記メモリに前記少なくとも１つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに上述した方法を実行させる電子デバイスが提供される。 According to a fifth aspect of the present disclosure, the invention includes at least one processor and a memory communicatively connected to the at least one processor, wherein commands executable by the at least one processor are stored in the memory. and an electronic device is provided which causes said at least one processor to perform the method described above when said command is executed by said at least one processor.

本開示の第６態様によれば、コンピュータに上述した方法を実行させるためのコンピュータコマンドを格納した非一時的なコンピュータ可読記憶媒体が提供される。 According to a sixth aspect of the present disclosure, there is provided a non-transitory computer-readable storage medium storing computer commands for causing a computer to perform the method described above.

本開示の第７態様によれば、プロセッサにより実行されると、上述した方法を実現するコンピュータプログラムを含むコンピュータプログラム製品が提供される。 According to a seventh aspect of the present disclosure, there is provided a computer program product comprising a computer program that, when executed by a processor, implements the method described above.

以上の技術案から分かるように、本開示によれば、複数の探索目標の訓練データを注釈する必要がなく、単一の検索目標の訓練データを注釈するだけで済むため、データの注釈コストと注釈の難易度を低減し、且つ訓練して得られた検索結果ソートモデルにより、検索結果について複数の検索目標において統合採点を行う目的を実現でき、検索結果ソートモデルが検索結果をソートする時の正確性を向上させた。 As can be seen from the above technical proposals, according to the present disclosure, there is no need to annotate the training data of multiple search targets, and it is only necessary to annotate the training data of a single search target, which reduces the data annotation cost. By reducing the difficulty of annotation and using the trained search result sorting model, we can realize the purpose of integrated scoring of search results for multiple search goals, and when the search result sorting model sorts search results. Improved accuracy.

理解すべきなのは、本セクションで説明される内容は、本開示の実施形態の重要な又は肝心な特徴を標識することでもなく、本開示の範囲を制限することでもない。本開示の他の特徴は、以下の明細書により容易に理解されるであろう。 It should be understood that what is described in this section does not delineate important or essential features of the embodiments of the disclosure or limit the scope of the disclosure. Other features of the disclosure will be readily understood from the following specification.

本開示の第１実施形態による概略図である。1 is a schematic diagram according to a first embodiment of the present disclosure; FIG. 本開示の第２実施形態による概略図である。FIG. 3 is a schematic diagram according to a second embodiment of the present disclosure. 本開示の第３実施形態による概略図である。FIG. 3 is a schematic diagram according to a third embodiment of the present disclosure. 本開示の第４実施形態による概略図である。FIG. 4 is a schematic diagram according to a fourth embodiment of the present disclosure. 本開示の第５実施形態による概略図である。FIG. 5 is a schematic diagram according to a fifth embodiment of the present disclosure. 本開示の第６実施形態による概略図である。FIG. 7 is a schematic diagram according to a sixth embodiment of the present disclosure. 本開示の第７実施形態による概略図である。FIG. 7 is a schematic diagram according to a seventh embodiment of the present disclosure. 本開示の実施形態に係る検索結果ソートモデルの訓練又は検索結果ソート方法を実施するための電子デバイスのブロック図である。1 is a block diagram of an electronic device for implementing a search result sorting model training or search result sorting method according to an embodiment of the present disclosure. FIG.

以下、図面に基づいて、本出願の例示的な実施例を説明する。理解を容易にするために、本出願の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。従って、当業者は、本出願の範囲及び精神から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。同様に、簡明のために、以下の説明では、よく知られた機能と構造の説明は省略される。 Hereinafter, exemplary embodiments of the present application will be described based on the drawings. Various details of the embodiments of the present application are included to facilitate understanding and are to be considered as illustrative only. Accordingly, those skilled in the art will appreciate that various changes and modifications can be made to the embodiments described herein without departing from the scope and spirit of the present application. Similarly, in the interest of clarity, descriptions of well-known functions and structures are omitted in the following description.

図１は、本開示の第１実施形態による概略図である。図１に示すように、本実施形態の検索結果ソートモデルの訓練方法は、具体的に以下のステップを含む。 FIG. 1 is a schematic diagram according to a first embodiment of the present disclosure. As shown in FIG. 1, the search result sorting model training method of this embodiment specifically includes the following steps.

Ｓ１０１において、複数の第１データペアと、前記複数の第１データペアにおける検索結果が複数の検索目標にそれぞれ対応する単目標特徴と、前記複数の第１データペアが前記複数の検索目標にそれぞれ対応する注釈点数とを取得し、各第１データペアは、クエリ及びそれに対応する１つの検索結果とを含む。 In S101, a plurality of first data pairs, a single target feature in which the search results in the plurality of first data pairs correspond to a plurality of search goals, respectively, and a single target feature in which the plurality of first data pairs correspond to the plurality of search goals, respectively. A corresponding annotation score is obtained, and each first data pair includes a query and one search result corresponding thereto.

Ｓ１０２において、各検索目標について、前記複数の第１データペアにおけるクエリと、前記複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴と、前記複数の第１データペアが当該検索目標に対応する注釈点数とに基づいて第１事前訓練言語モデルを訓練して、当該検索目標に対応する単検索目標ソートモデルを得る。 In S102, for each search target, a query in the plurality of first data pairs, a single target feature for which the search result in the plurality of first data pairs corresponds to the search target, and a single target feature for which the plurality of first data pairs correspond to the corresponding search target. A first pre-trained language model is trained based on the annotation score corresponding to the search goal to obtain a single search goal sorting model corresponding to the search goal.

Ｓ１０３において、複数の第２データペアと、前記複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴とを取得し、各第２データペアはクエリ及びそれに対応する２つの検索結果とを含む。 In S103, a plurality of second data pairs and a multi-objective feature in which each search result in the plurality of second data pairs corresponds to all the search goals are obtained, and each second data pair has a query and its corresponding two search results. Contains 1 search result.

Ｓ１０４において、各第２データペアについて、前記複数の検索目標に対応する複数の単検索目標ソートモデルを用いて、当該第２データペアにおける各検索結果を採点し、前記各検索結果が前記複数の検索目標に対応する点数に基づいて、当該第２データペアの訓練検索目標を決定する。 In S104, for each second data pair, each search result in the second data pair is scored using a plurality of single search goal sorting models corresponding to the plurality of search goals, and each search result is A training search goal for the second data pair is determined based on the score corresponding to the search goal.

Ｓ１０５において、前記複数の第２データペアにおけるクエリと、前記複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴と、前記複数の第２データペアにおける各検索結果が前記訓練検索目標に対応する点数とに基づいて、第２事前訓練言語モデルを訓練して検索結果ソートモデルを得る。 In S105, a query in the plurality of second data pairs, a multi-objective feature such that each search result in the plurality of second data pairs corresponds to all search goals, and each search result in the plurality of second data pairs and a score corresponding to the training search objective, a second pre-trained language model is trained to obtain a search result sorting model.

本実施形態の検索結果ソートモデルの訓練方法によれば、まず、単一の検索目標に対応する訓練データに基づいて、異なる検索目標に対応する単検索目標ソートモデルが訓練された後、複数の単検索目標ソートモデルを使用して、複数の検索目標に対応した訓練データを構築し、最後に複数の検索目標に対応する訓練データに基づいて、全ての検索目標に対応する検索結果ソートモデルが訓練された。本実施形態では、複数の検索目標の訓練データを注釈する必要がなく、単一の検索目標の訓練データのみを注釈すればよいため、データの注釈コストと注釈の難易度を低減し、且つ訓練された検索結果ソートモデルにより、検索結果について複数の検索目標において統合採点を行う目的を実現でき、検索結果ソートモデルが検索結果をソートするときの正確性を向上させた。 According to the search result sorting model training method of this embodiment, first, a single search goal sorting model corresponding to different search goals is trained based on training data corresponding to a single search goal, and then a plurality of search result sorting models are trained based on training data corresponding to a single search goal. A single search objective sorting model is used to construct training data corresponding to multiple search objectives, and finally, a search result sorting model corresponding to all search objectives is constructed based on the training data corresponding to multiple search objectives. trained. In this embodiment, there is no need to annotate training data for multiple search targets, and only training data for a single search target is required, which reduces data annotation cost and annotation difficulty, and reduces training data. The developed search result sorting model achieves the purpose of performing integrated scoring on multiple search goals for search results, and the search result sorting model improves the accuracy when sorting search results.

本実施形態において、Ｓ１０１を実行して取得された第１データペアは、クエリ（ｑｕｅｒｙ）及びそれに対応する１つの検索結果とからなる。ここで、第１データペアにおける当該検索結果は、ウェブページ全体、ドキュメント全体、又はマルチメディアデータ全体であってもよく、ウェブページ、ドキュメント、又はマルチメディアデータにおけるパラグラフ（ｐａｒａ）であってもよい。 In this embodiment, the first data pair obtained by executing S101 consists of a query and one search result corresponding to the query. Here, the search result in the first data pair may be the entire web page, the entire document, or the entire multimedia data, or may be a paragraph (para) in the web page, document, or multimedia data. .

実際の応用場面では、検索エンジンがクエリに対応する複数の検索結果を取得した後、各検索結果を採点し、採点結果に応じて複数の検索結果をソートする必要がある。検索エンジンは、相関性目標、権威性目標、時効性目標など複数の検索目標を結合し、各検索結果を採点しなければ、より正確な採点結果を得ることができない。 In actual applications, after a search engine obtains multiple search results corresponding to a query, it needs to score each search result and sort the multiple search results according to the scoring results. Search engines cannot obtain more accurate scoring results unless they combine multiple search goals, such as correlation goals, authority goals, and statute of limitations goals, and score each search result.

したがって、本実施形態において予め設定されている複数の検索目標とは、上述した相関性目標（検索結果とクエリとの相関性を表す）、権威性目標（検索結果の権威性を表す）、時効性目標（検索結果の時効性を表す）などの複数の目標である。 Therefore, in this embodiment, the plurality of preset search goals include the above-mentioned correlation goal (representing the correlation between the search results and the query), the authority goal (representing the authority of the search results), and the statute of limitations. Multiple goals such as sexual goals (representing the statute of limitations of search results).

本実施形態では、Ｓ１０１を実行して第１データペアを取得した後、まず複数の検索目標を決定し、その後、複数の第１データペアにおける検索結果が複数の検索目標にそれぞれ対応する単目標特徴と、複数の第１データペアが複数の検索目標にそれぞれ対応する注釈点数とを取得して良い。 In the present embodiment, after performing S101 and acquiring the first data pair, a plurality of search goals are first determined, and then a single goal in which the search results in the plurality of first data pairs correspond to the plurality of search goals, respectively. Features and annotation scores for each of the plurality of first data pairs corresponding to the plurality of search goals may be obtained.

本実施形態では、Ｓ１０１を実行して、複数の第１データペアが複数の検索目標にそれぞれ対応する注釈点数を取得する場合に、予め設定された注釈方式により、複数の第１データペアが各検索目標に対応する注釈点数を取得することができる。 In this embodiment, when performing S101 to obtain the annotation scores for each of the plurality of first data pairs corresponding to the plurality of search targets, each of the plurality of first data pairs is An annotation score corresponding to the search goal can be obtained.

例えば、本実施形態がＳ１０１を実行して取得された複数の第１データペアにデータペア１（ｑｕｅｒｙ１，ｐａｒａ１）が含まれ、複数の検索目標が相関性目標、権威性目標、及び時効性目標である場合に、本実施例では、Ｓ１０１を実行する際に、人工による注釈により、データペア１が相関性目標に対応する注釈点数、データペア１が権威性目標に対応する注釈点数、及びデータペア１が時効性目標に対応する注釈点数をそれぞれ取得することができる。 For example, data pair 1 (query1, para1) is included in the plurality of first data pairs obtained by performing S101 in this embodiment, and the plurality of search goals are a correlation goal, an authoritative goal, and a statute of limitations goal. In this case, in this embodiment, when performing S101, artificial annotation is performed to determine the annotation score corresponding to the correlation target for data pair 1, the annotation score corresponding to the authority target for data pair 1, and the data Pair 1 can each obtain the annotation score corresponding to the statute of limitations goal.

本実施形態では、Ｓ１０１を実行して、複数の第１データペアにおける検索結果が複数の検索目標に対応する単目標特徴を取得する場合に、複数の第１データペアにおける検索結果の属性情報であって、検索結果のタイトル、要約、公開時刻、公開サイト、公開者及び公開アドレスなどの情報を含むことが可能な属性情報を取得し、各検索目標について、属性情報のうち当該検索目標に対応する属性情報を、複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴とする、という実現方式を採用できる。 In this embodiment, when performing S101 to acquire single target features whose search results in a plurality of first data pairs correspond to a plurality of search goals, attribute information of search results in a plurality of first data pairs is Then, obtain attribute information that can include information such as title, summary, publication time, publication site, publisher, and publication address of the search result, and for each search objective, obtain attribute information that corresponds to the search objective among the attribute information. It is possible to adopt an implementation method in which the attribute information is used as a single target feature whose search results in a plurality of first data pairs correspond to the search target.

すなわち、本実施形態で取得された異なる単目標特徴は、異なる検索目標に対応しており、検索結果が同一の検索目標に対応する単目標特徴に含まれる属性情報は、１つであっても複数であってもよい。 That is, different single target features acquired in this embodiment correspond to different search targets, and even if the single target features that have search results corresponding to the same search target contain only one attribute information, There may be more than one.

例えば、本実施形態では、Ｓ１０１を実行して取得された相関性目標に対応する属性情報は、検索結果のタイトル及び／又は要約であってもよく、時効性目標に対応する属性情報は、検索結果の公開時刻であってもよく、権威性目標に対応する属性情報は、検索結果の公開サイト、公開者、公開アドレス等の少なくとも１つであってもよい。 For example, in the present embodiment, the attribute information corresponding to the correlation target obtained by executing S101 may be the title and/or summary of the search result, and the attribute information corresponding to the statute of limitations target may be the title and/or summary of the search result. It may be the publication time of the results, and the attribute information corresponding to the authority goal may be at least one of the publication site, publisher, publication address, etc. of the search results.

本実施形態では、Ｓ１０１において、各検索目標について、属性情報のうち当該検索目標に対応する情報を、複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴とする場合に、各検索目標について、属性情報のうち当該検索目標に対応する属性情報がテキストでないと判定された場合に、当該検索目標に対応する属性情報をテキストに変換し、テキスト変換結果を複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴とすることを含んでよい。 In this embodiment, in S101, for each search goal, when the information corresponding to the search goal among the attribute information is set as a single target feature whose search results in the plurality of first data pairs correspond to the search goal, For each search goal, if it is determined that the attribute information corresponding to the search goal among the attribute information is not text, the attribute information corresponding to the search goal is converted to text, and the text conversion result is sent to the plurality of first data sets. The search results for the pair may include a single target feature corresponding to the search target.

すなわち、本実施形態は、取得された単目標特徴がテキストであることを保証し、他の複雑な形式の内容の使用を回避することができるため、モデルの訓練の難易度を低減し、モデルの訓練効率を向上させる。 That is, the present embodiment can ensure that the obtained single-target feature is text and avoid using content in other complex formats, thus reducing the difficulty of model training and making the model improve training efficiency.

本実施形態では、Ｓ１０１を実行する場合に、予め設定された検索目標と属性情報との対応関係により、検索結果の属性情報から検索目標に対応する属性情報を、検索結果が各検索目標に対応する単目標特徴として取得することができるため、取得された単目標特徴の正確性を向上させる。 In this embodiment, when performing S101, the attribute information corresponding to the search goal is determined from the attribute information of the search results based on the correspondence between the search goal and the attribute information set in advance. This improves the accuracy of the acquired single-target features.

例えば、本実施形態がＳ１０１を実行して取得された複数の第１データペアにデータペア１（ｑｕｅｒｙ１，ｐａｒａ１）が含まれ、複数の検索目標がそれぞれ相関性目標、権威性目標、時効性目標である場合に、本実施形態では、Ｓ１０１を実行する場合に、ｐａｒａ１のタイトルと要約をｐａｒａ１が相関性目標に対応する単目標特徴として取得し、ｐａｒａ１の公開時刻をｐａｒａ１が時効性目標に対応する単目標特徴として取得し、ｐａｒａ１の公開サイトをｐａｒａ１が権威性目標に対応する単目標特徴として取得することができる。 For example, data pair 1 (query1, para1) is included in the plurality of first data pairs obtained by performing S101 in this embodiment, and the plurality of search goals are a correlation goal, an authority goal, and a statute of limitations goal, respectively. In this case, in this embodiment, when executing S101, the title and summary of para1 are acquired as single target features for which para1 corresponds to the correlation target, and the publication time of para1 is acquired as a single target feature for which para1 corresponds to the statute of limitations target. The public site of para1 can be acquired as a single target feature where para1 corresponds to the authority target.

本実施形態では、Ｓ１０１を実行して、複数の第１データペアと、複数の第１データペアにおける検索結果が複数の検索目標にそれぞれ対応する単目標特徴と、複数の第１データペアが複数の検索目標にそれぞれ対応する注釈点数とを取得した後、Ｓ１０２を実行し、各検索目標について、複数の第１データペアにおけるクエリと、複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴と、複数の第１データペアが当該検索目標に対応する注釈点数とに基づいて第１事前訓練言語モデルを訓練して当該検索目標に対応する単検索目標ソートモデルを得る。 In this embodiment, S101 is executed to obtain a plurality of first data pairs, a single target feature in which the search results in the plurality of first data pairs respectively correspond to a plurality of search goals, and a plurality of first data pairs. After acquiring the annotation scores corresponding to the search goals, S102 is executed, and for each search goal, the queries in the plurality of first data pairs and the search results in the plurality of first data pairs correspond to the search goal. A first pre-trained language model is trained on the basis of the single target feature of the search target and the number of annotation points corresponding to the search target of the plurality of first data pairs to obtain a single search target sorting model corresponding to the search target.

理解すべきなのは、本実施形態では、Ｓ１０２を実行することにより複数の単検索目標ソートモデルが得られる。異なる単検索目標ソートモデルは異なる検索目標に対応する。 What should be understood is that in this embodiment, a plurality of single search target sorting models are obtained by performing S102. Different single search goal sorting models correspond to different search goals.

具体的には、本実施形態では、Ｓ１０２において、各検索目標について、複数の第１データペアにおけるクエリと、複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴と、複数の第１データペアが当該検索目標に対応する注釈点数とに基づいて、第１事前訓練言語モデルを訓練して当該検索目標に対応する単検索目標ソートモデルを得る場合に、各検索目標について、複数の第１データペアにおけるクエリと、複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴とを第１事前訓練言語モデルに入力して、第１事前訓練言語モデルが各第１データペアについて出力する予測点数を得、複数の第１データペアの予測点数と、複数の第１データペアが当該検索目標に対応する注釈点数とに基づいて損失関数値を計算し、本実施形態においてクロスエントロピー損失関数の計算方法を使用して損失関数値を計算することができ、算出された損失関数値に基づいて、第１事前訓練言語モデルが収束するまで第１事前訓練言語モデルのパラメータを調整して当該検索目標に対応する単検索目標ソートモデルを得る、という実現方式を採用できる。 Specifically, in this embodiment, in S102, for each search goal, a query in a plurality of first data pairs, a single target feature whose search result in a plurality of first data pairs corresponds to the search goal, and a plurality of For each search goal, when training a first pre-trained language model to obtain a single search goal sorting model corresponding to the search goal based on the number of annotation points corresponding to the first data pair of the search goal, A query in a plurality of first data pairs and a single target feature whose search result in a plurality of first data pairs corresponds to the search goal are input to a first pre-trained language model, and the first pre-trained language model Obtain the predicted score to be output for the first data pair, calculate the loss function value based on the predicted score of the plurality of first data pairs and the number of annotation points corresponding to the plurality of first data pairs, and In embodiments, a cross-entropy loss function calculation method may be used to calculate the loss function value, and based on the calculated loss function value, the first pre-trained language model is used until the first pre-trained language model converges. An implementation method can be adopted in which the parameters of are adjusted to obtain a single search goal sorting model corresponding to the search goal.

例えば、複数の検索目標がそれぞれ相関目標、権威性目標、時効性目標であれば、本実施形態では、Ｓ１０２を実行すると、相関性目標に対応する単検索目標ソートモデル、権威性目標に対応する単検索目標ソートモデル、及び、時効性目標に対応する単検索目標ソートモデルがそれぞれ得られる。上記３つの単検索目標ソートモデルは、検索結果の相関性採点結果、権威性採点結果、時効性採点結果をそれぞれ出力するように使用される。 For example, if the plurality of search goals are a correlation goal, an authority goal, and a statute of limitations goal, in this embodiment, when S102 is executed, a single search goal sorting model corresponding to the correlation goal, a single search goal sorting model corresponding to the authority goal A single search goal sorting model and a single search goal sorting model corresponding to the statute of limitations goal are obtained, respectively. The above three single search target sorting models are used to output correlation scoring results, authority scoring results, and statute of limitations scoring results of search results, respectively.

つまり、本実施形態では、異なる検索目標に応じて異なる単検索目標ソートモデルが得られる。異なる検索目標に対応する単検索目標ソートモデルは、入力されたクエリ及びその検索結果が異なる検索目標に対応する単目標特徴に基づいて、検索結果が異なる検索目標に対応する採点結果を出力することができる。 That is, in this embodiment, different single search goal sorting models can be obtained depending on different search goals. The single search goal sorting model that corresponds to different search goals outputs scoring results that have search results that correspond to different search goals based on the input query and the single goal characteristics that correspond to the search goals that have different search results. I can do it.

理解すべきなのは、本実施形態がＳ１０２を実行することにより訓練される第１事前訓練言語モデルは、変換ネットワーク（Ｔｒａｎｓｆｏｒｍｅｒ）に基づくニューラルネットワークモデルである。当該第１事前訓練言語モデルは、Ｅｒｎｉｅモデルであってよい。 It should be understood that the first pre-trained language model trained by this embodiment performing S102 is a neural network model based on a transformer. The first pre-trained language model may be an Ernie model.

本実施形態では、Ｓ１０２を実行して、複数の検索目標に対応する単検索目標ソートモデルを得た後、Ｓ１０３を実行して、複数の第２データペアと、複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴とを取得する。 In this embodiment, after S102 is executed to obtain a single search objective sorting model corresponding to a plurality of search objectives, S103 is executed to obtain a plurality of second data pairs and each of the plurality of second data pairs. Multi-goal features whose search results correspond to all search goals are obtained.

本実施形態がＳ１０３を実行して取得された第２データペアは、クエリ及びそれに対応する２つの検索結果とからなる。ここで、第２データペアにおける２つの検索結果は、ウェブページ全体、ドキュメント全体、又はマルチメディアデータ全体であってもよく、ウェブページ、ドキュメント、又はマルチメディアデータにおける１つのパラグラフ（ｐａｒａ）であってもよい。 The second data pair obtained when the present embodiment executes S103 includes a query and two search results corresponding to the query. Here, the two search results in the second data pair may be the entire web page, the entire document, or the entire multimedia data, and may be one paragraph (para) in the web page, document, or multimedia data. It's okay.

本実施形態では、Ｓ１０３を実行して複数の第２データペアを取得する場合に、まず複数のクエリを取得し、次に各クエリに対応する複数の検索結果を取得し、最後に、同一のクエリについて、当該クエリに対応する複数の検索結果から任意に２つを選択して組み合わせることにより、クエリ及びそれに対応する２つの検索結果とを含む複数の第２データペアを得ることができる。 In this embodiment, when executing S103 to obtain a plurality of second data pairs, first a plurality of queries are obtained, then a plurality of search results corresponding to each query are obtained, and finally, the same For a query, by arbitrarily selecting and combining two of the plurality of search results corresponding to the query, a plurality of second data pairs including the query and two search results corresponding to the query can be obtained.

本実施形態では、Ｓ１０３を実行して、複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴を取得する場合に、複数の第２データペアにおける各検索結果の属性情報を取得し、各検索結果の属性情報を複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴とする、というオプションな実現方式を採用して良い。 In this embodiment, when performing S103 to obtain multi-target features in which each search result in a plurality of second data pairs corresponds to all search goals, the attributes of each search result in a plurality of second data pairs are An optional implementation may be adopted in which the attribute information of each search result is a multi-goal feature in which each search result in a plurality of second data pairs corresponds to all search goals.

つまり、本実施形態で取得される多目標特徴は、検索結果の全ての属性情報である。すなわち、当該多目標特徴は、検索結果が異なる検索目標に対応する全ての単目標特徴を含む。 In other words, the multi-target features acquired in this embodiment are all the attribute information of the search results. That is, the multi-target feature includes all single-target features that correspond to search goals with different search results.

本実施形態では、Ｓ１０３を実行して、各検索結果の属性情報を複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴とする場合に、さらに、各検索結果について、当該検索結果の属性情報がテキストでないと判定された場合に、当該検索結果の属性情報をテキストに変換し、テキスト変換結果を当該検索結果が全ての検索目標に対応する多目標特徴とすることを含んでよい。 In this embodiment, when S103 is executed and the attribute information of each search result is set as a multi-goal feature in which each search result in a plurality of second data pairs corresponds to all search goals, , when it is determined that the attribute information of the search result is not text, convert the attribute information of the search result to text, and use the text conversion result as a multi-objective feature that corresponds to all search goals. may include.

すなわち、本実施形態は、取得された多目標特徴がテキストであることを保証することができ、他の複雑な形式の内容の使用を回避し、モデルの訓練の難易度を低減し、モデルの訓練効率を向上させる。 That is, the present embodiment can ensure that the obtained multi-objective features are text, avoid the use of content in other complex formats, reduce the difficulty of model training, and reduce the difficulty of model training. Improve training efficiency.

本実施形態では、Ｓ１０３を実行して、複数の第２データペアと、複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴とを取得した後、Ｓ１０４を実行し、各第２データペアについて、複数の検索目標に対応する複数の単検索目標ソートモデルを用いて、当該第２データペアにおける各検索結果を採点し、各検索結果が複数の検索目標に対応する点数に基づいて、当該第２データペアの訓練検索目標を決定する。 In this embodiment, after S103 is executed to obtain a plurality of second data pairs and a multi-objective feature in which each search result in the plurality of second data pairs corresponds to all search goals, S104 is executed. , for each second data pair, each search result in the second data pair is scored using a plurality of single search goal sorting models corresponding to the plurality of search goals, and each search result corresponds to the plurality of search goals. Based on the score, a training search target for the second data pair is determined.

本実施形態では、Ｓ１０４において、各第２データペアについて、複数の検索目標に対応する複数の単検索目標ソートモデルを使用して当該第２データペアにおける各検索結果を採点し、各検索結果が複数の検索目標に対応する点数に基づいて、当該第２データペアの訓練検索目標を決定する場合に、検索目標の優先度に応じて複数の単検索目標ソートモデルの採点順序を決定し、各第２データペアについて、決定された採点順序に従って、単検索目標ソートモデルを使用して当該第２データペアにおける各検索結果を順次に採点し、２つの検索結果の点数差が現在の単検索目標ソートモデルに対応する検索目標の差閾値を超えていると判定された場合に、現在の単検索目標ソートモデルに対応する検索目標を、当該第２データペアの訓練検索目標とする、という実現方法を採用できる。 In this embodiment, in S104, for each second data pair, each search result in the second data pair is scored using a plurality of single search goal sorting models corresponding to a plurality of search goals, and each search result is When determining a training search goal for the second data pair based on scores corresponding to multiple search goals, the scoring order of the multiple single search goal sorting models is determined according to the priority of the search goals, and each For the second data pair, according to the determined scoring order, each search result in the second data pair is scored sequentially using the single search goal sorting model, and the score difference between the two search results is the current single search goal. An implementation method of setting the search goal corresponding to the current single search goal sorting model as the training search goal for the second data pair when it is determined that the difference threshold of the search goals corresponding to the sorting model is exceeded. can be adopted.

すなわち、本実施形態では、予め設定された優先度に従って、異なる単検索目標ソートモデルを用いて、第２データペアにおける２つの検索結果を順次に採点して第２データペアの訓練検索目標を決定することにより、得られた訓練検索目標の正確性を向上させることができ、且つ決定された訓練検索目標が次のステップの検索結果ソートモデルの訓練に用いられるため、第２データペアにおける２つの検索結果が異なる検索目標に対応する点数を注釈する必要がなく、モデルの訓練の難易度と訓練コストを低減し、モデルの訓練効率を高めた。 That is, in this embodiment, the training search goal for the second data pair is determined by sequentially scoring two search results for the second data pair using different single search goal sorting models according to preset priorities. By doing so, the accuracy of the obtained training search target can be improved, and the determined training search target is used for training the search result sorting model in the next step. There is no need to annotate the scores corresponding to different search goals for search results, reducing the difficulty and cost of training the model and increasing the efficiency of model training.

なお、本実施形態では、Ｓ１０４を実行する際に、異なる検索目標の優先度を予め設定しておくことになる。例えば、予め設定された優先度が「相関性目標＞時効性目標＞権威性目標」である場合に、本実施形態では、Ｓ１０４を実行して決定される採点順序は、まず、相関性目標に対応する単検索目標ソートモデルを用いて採点し、次に、時効性目標に対応する単検索目標ソートモデルを用いて採点し、最後に、権威性目標に対応する単検索目標ソートモデルを用いて採点する。 Note that in this embodiment, when executing S104, the priorities of different search targets are set in advance. For example, in the case where the preset priority is "correlation target > statute of limitations target > authority target", in this embodiment, the scoring order determined by executing S104 is first assigned to the correlation target. Scoring using the corresponding single search goal sorting model, then scoring using the single search goal sorting model corresponding to the statute of limitations goal, and finally scoring using the single search goal sorting model corresponding to the authority goal. to grade.

本実施形態では、Ｓ１０４を実行して、単検索目標ソートモデルを用いて当該第２データペアにおける各検索結果を採点する際に、第２データペアにおける各検索結果について、第２データペアにおけるクエリと、当該検索結果が現在の検索目標に対応する単目標特徴とを、現在の検索目標に対応する単検索目標ソートモデルに入力して、当該単検索目標ソートモデルが当該検索結果について出力する点数を取得することができる。 In this embodiment, when performing S104 and scoring each search result in the second data pair using the single search target sorting model, for each search result in the second data pair, the query in the second data pair and the single target feature for which the search result corresponds to the current search target are input into the single search target sorting model corresponding to the current search target, and the score output by the single search target sorting model for the search result is calculated. can be obtained.

本実施形態では、Ｓ１０４を実行する際に、さらに、異なる検索目標に対応する差閾値も予め設定しておき、検索結果間の点数差と差閾値との比較結果に基づいて、第２データペアの訓練検索目標を決定する目的を実現する。 In this embodiment, when executing S104, difference thresholds corresponding to different search goals are also set in advance, and the second data pair is determined based on the comparison result between the score difference between the search results and the difference threshold. Achieve the purpose of determining training search goals.

例えば、相関性目標に対応する単検索目標ソートモデルがモデル１、時効性目標に対応する単検索目標ソートモデルがモデル２、権威性目標に対応する単検索目標ソートモデルがモデル３であり、本実施形態がＳ１０４を実行して決定した採点順序がモデル１～モデル２～モデル３である場合に、モデル１を用いて２つの検索結果を採点し、第２データペアにおける２つの検索結果間の点数差が相関性目標の差閾値を超えると判定された場合、相関性目標を当該第２データペアの訓練検索目標とし、そうでない場合、継続してモデル２を用いて２つの検索結果を採点し、第２データペアにおける２つの検索結果間の点数差が時効性目標の差閾値を超えると判定された場合に、時効性目標を当該第２データペアの訓練検索目標とし、そうでない場合に、継続してモデル３を使用して２つの検索結果を採点し、第２データペアにおける２つの検索結果の間の点数差が権威性目標の差閾値を超えると判定された場合、権威性目標を当該第２データペアの訓練検索目標とする。 For example, the single search objective sorting model corresponding to the correlation objective is model 1, the single search objective sorting model corresponding to the statute of limitations objective is model 2, the single search objective sorting model corresponding to the authority objective is model 3, and When the scoring order determined by executing S104 in the embodiment is model 1 to model 2 to model 3, the two search results are scored using model 1, and the difference between the two search results in the second data pair is If it is determined that the score difference exceeds the correlation target difference threshold, the correlation target is used as the training search target for the second data pair; otherwise, model 2 is used to continue scoring the two search results. If it is determined that the score difference between the two search results in the second data pair exceeds the difference threshold of the time-limited target, the time-limited goal is set as the training search goal for the second data pair, and if not, , continues to score the two search results using Model 3, and if it is determined that the score difference between the two search results in the second data pair exceeds the difference threshold of the authority goal, the authority goal is Let be the training search target for the second data pair.

本実施形態では、Ｓ１０４において、点数差と差閾値とから第２データペアの訓練検索目標を決定する際に、２つの検索結果の点数差がいずれも異なる検索目標の差閾値を超えていない場合がある。この場合に、本実施形態では、Ｓ１０４を実行する際に、最も優先度の高い検索目標を、このような第２データペアの訓練検索目標とすることができる。 In this embodiment, in S104, when determining the training search goal of the second data pair from the score difference and the difference threshold, if the score difference between the two search results does not exceed the difference threshold of different search goals. There is. In this case, in this embodiment, when executing S104, the search target with the highest priority can be set as the training search target for the second data pair.

また、本実施の形態では、Ｓ１０４において、各第２データペアについて、複数の検索目標に対応する複数の単検索目標ソートモデルを使用して当該第２データペアにおける各検索結果を採点し、各検索結果が複数の検索目標に対応する点数に基づいて、この第２データペアの訓練検索目標を決定する際に、各第２データペアについて、複数の検索目標に対応する複数の単検索目標ソートモデルを用いて、この第２データペアにおける各検索結果を採点し、２つの検索結果の間の最大点数差に対応する検索目標をこの第２データペアの訓練検索目標とする、というオプションな実現方式を採用して良い。 Further, in this embodiment, in S104, each search result in the second data pair is scored using a plurality of single search goal sorting models corresponding to a plurality of search goals, and each In determining a training search objective for this second data pair based on the scores by which the search results correspond to the plurality of search objectives, for each second data pair, a plurality of single search objectives are sorted corresponding to the plurality of search objectives. An optional implementation is to use the model to score each search result in this second data pair, and set the search goal corresponding to the maximum score difference between the two search results as the training search goal for this second data pair. You can use this method.

つまり、本実施形態では、さらに、全ての単検索目標ソートモデルが第２データペアごとに出力される検索結果の点数に基づいて各第２データペアの訓練検索目標を決定することにより、第２データペアにおける２つの検索結果が決定された訓練検索目標において最も顕著な相違を有するようにするため、検索結果ソートモデルの訓練効果を向上させる。 In other words, in the present embodiment, all the single search objective sorting models further determine the training search objective for each second data pair based on the score of the search results output for each second data pair. The training effectiveness of the search result sorting model is improved so that the two search results in a data pair have the most significant difference in the determined training search goal.

本実施形態では、Ｓ１０４を実行して複数の第２データペアの訓練検索目標を決定した後、Ｓ１０５を実行して、複数の第２データペアにおけるクエリと、複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴と、複数の第２データペアにおける各検索結果が訓練検索目標に対応する点数とに基づいて、第２事前訓練言語モデルを訓練して検索結果ソートモデルを得る。 In this embodiment, after S104 is executed to determine the training search goals for the plurality of second data pairs, S105 is executed to determine the query on the plurality of second data pairs and each search on the plurality of second data pairs. training a second pre-trained language model to sort search results based on multi-objective features whose results correspond to all search objectives and scores in which each search result in the plurality of second data pairs corresponds to a training search objective; Get the model.

本実施形態がＳ１０５を実行する際に使用される第２事前訓練言語モデルは、変換ネットワーク（Ｔｒａｎｓｆｏｒｍｅｒ）に基づくニューラルネットワークモデル、例えばＥｒｎｉｅモデルであってよい。 The second pre-trained language model used when the present embodiment performs S105 may be a neural network model based on a transformer, such as an Ernie model.

本実施形態では、Ｓ１０５において、複数の第２データペアにおけるクエリと、複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴と、複数の第２データペアにおける各検索結果が訓練検索目標に対応する点数とに基づいて、第２事前訓練言語モデルを訓練して検索結果ソートモデルを得る場合に、各第２データペアについて、当該第２データペアにおけるクエリと、当該第２データペアにおける訓練検索目標に対応する点数が高い検索結果とを正例データペアとして構成し、当該第２データペアにおけるクエリと、当該第２データペアにおける訓練検索目標に対応する点数が低い検索結果とを負例データペアとして構成し、正例データペアにおけるクエリ及び検索結果が全ての検索目標に対応する多目標特徴、負例データペアにおけるクエリ及び検索結果が全ての検索目標に対応する多目標特徴を、それぞれ第２事前訓練言語モデルに入力して第２事前訓練言語モデルが正例データペアについて出力する正例予測点数及び負例データペアについて出力する負例予測点数を得、正例予測点数と負例予測点数に基づいて損失関数値を算出し、本実施例では、クロスエントロピー損失関数、見切り損失関数の計算方式を用いて損失関数値を算出することができ、算出された損失関数値に基づいて、第２事前訓練言語モデルが収束するまで第２事前訓練言語モデルのパラメータを調整して検索結果ソートモデルを得る、という実現方式を採用できる。 In this embodiment, in S105, a query in a plurality of second data pairs, a multi-objective feature in which each search result in a plurality of second data pairs corresponds to all search goals, and each search in a plurality of second data pairs When training a second pre-trained language model to obtain a search result sorting model based on the scores whose results correspond to the training search objectives, for each second data pair, the query in the second data pair and the A search result with a high score corresponding to the training search goal in the second data pair is configured as a positive example data pair, and a query in the second data pair and a search result with a low score corresponding to the training search goal in the second data pair are configured as a positive example data pair. The search result is configured as a negative example data pair, and the query and search result in the positive example data pair correspond to all search goals.The query and search result in the negative example data pair correspond to all search goals. The multi-objective features are each input to the second pre-trained language model to obtain the positive example prediction score output by the second pre-training language model for the positive example data pair and the negative example prediction score output for the negative example data pair. Example: The loss function value is calculated based on the number of predicted points and the number of negative example predicted points. An implementation method can be adopted in which the parameters of the second pre-trained language model are adjusted based on the loss function value until the second pre-trained language model converges to obtain the search result sorting model.

つまり、本実施形態では、第２データペアの訓練検索目標に基づいて第２データペアに対応する正例データペアと負例データペアを得、さらに、得られた正例データペアと負例データペアを用いて第２事前訓練言語モデルの訓練を完成することにより、第２データペアにおける検索結果のそれぞれを注釈する必要がなく、モデルの訓練コストと訓練の難易度を低減し、モデルの訓練効率を向上させる。 That is, in this embodiment, a positive example data pair and a negative example data pair corresponding to the second data pair are obtained based on the training search goal of the second data pair, and further, the obtained positive example data pair and negative example data pair are By using pairs to complete the training of the second pre-trained language model, there is no need to annotate each of the search results in the second data pair, reducing the training cost and training difficulty of the model, and reducing the training cost of the model. Improve efficiency.

例えば、第２データペアがデータペア２（ｑｕｅｒｙ１，ｐａｒａ１，ｐａｒａ２）であり、データペア２の訓練検索目標が相関性目標であり、ｐａｒａ１が相関性目標に対応する点数が０．７、ｐａｒａ２が相関性目標に対応する点数は０．３である場合に、本実施例では、Ｓ１０５を実行する際に、（ｑｕｅｒｙ１，ｐａｒａ１）を正例データペアとし、（ｑｕｅｒｙ１，ｐａｒａ２）を負例データペアとする。 For example, the second data pair is data pair 2 (query1, para1, para2), the training search goal of data pair 2 is a correlation goal, para1 has a score of 0.7, and para2 has a score of 0.7. When the score corresponding to the correlation target is 0.3, in this embodiment, when executing S105, (query1, para1) is a positive example data pair, and (query1, para2) is a negative example data pair. shall be.

Ｔｒａｎｓｆｏｒｍｅｒに基づく第２事前訓練言語モデルにおけるアテンション（ａｔｔｅｎｔｉｏｎ）メカニズムは、アテンション計算を行う際に、異なる検索目標に対応する特徴を区別することなく、検索目標１と検索目標２とが全く無関係な次元であっても、既存の第２事前訓練言語モデルが検索目標１と検索目標２との特徴についてアテンション計算を行う。 The attention mechanism in the second pre-trained language model based on Transformer does not distinguish between features corresponding to different search goals when performing attention calculations, and allows search goals 1 and 2 to be completely unrelated in dimensions. Even if , the existing second pre-trained language model performs attention calculations on the features of search goal 1 and search goal 2.

しかし、異なる検索目標は実際には異なる一致度に対応しており、例えば、時効性目標は検索結果の時間とクエリとの一致度を描写するために使用され、権威性目標は検索結果の公開者とクエリとの一致度を描写するために使用されるため、時効性をモデル化する際に権威性目標を考慮する必要はない。 However, different search goals actually correspond to different degrees of match; for example, a statute of limitations goal is used to describe the time of a search result and how well it matches the query, while an authoritative goal is used to describe the time of a search result and its degree of match with a query. There is no need to consider authoritativeness goals when modeling statutes of limitations, as they are used to depict the degree of match between a person and a query.

事前訓練言語モデルが多検索目標を学習する際の効果をさらに向上させるために、本実施形態は、Ｓ１０５を実行する際に、さらに、第２事前訓練言語モデルにおけるアテンションメカニズムを調整することにより、第２事前訓練言語モデルがクエリと異なる目標特徴との間のアテンション計算、クエリとクエリとの間のアテンション計算、及び同じ目標特徴の間のアテンション計算のみを行うようにすることもできる。 In order to further improve the effectiveness of the pre-trained language model in learning multiple search targets, the present embodiment further adjusts the attention mechanism in the second pre-trained language model when performing S105. It is also possible that the second pre-trained language model only performs attention calculations between a query and different target features, attention calculations between queries, and attention calculations between the same target features.

すなわち、本実施形態の第２事前訓練言語モデルは、訓練を行う際に、異なる検索目標に対応する目標特徴の間のアテンション計算を回避することができるため、異なる検索目標の目標特徴間の相互干渉を低減し、訓練により得られた検索結果ソートモデルのソート正確性を向上させることができる。 In other words, the second pre-trained language model of this embodiment can avoid attention calculations between target features corresponding to different search goals during training, and therefore avoid interaction between target features of different search goals. It is possible to reduce interference and improve the sorting accuracy of the search result sorting model obtained through training.

例えば、第２事前訓練言語モデルの入力にクエリ、目標特徴１、目標特徴２、目標特徴３が含まれる場合、本実施形態における第２事前訓練言語モデルは、アテンション計算を行う際に、クエリと目標特徴１、クエリと目標特徴２、クエリと目標特徴３、クエリとクエリ、目標特徴１と目標特徴１、及び目標特徴２と目標特徴２についてのみアテンション計算を行う。 For example, when the input of the second pre-trained language model includes a query, target feature 1, target feature 2, and target feature 3, the second pre-trained language model in this embodiment uses the query and the target feature 3 when performing attention calculation. Attention calculation is performed only for target feature 1, query and target feature 2, query and target feature 3, query and query, target feature 1 and target feature 1, and target feature 2 and target feature 2.

図２は本開示の第２実施形態による概略図である。図２に示すように、本実施形態では、訓練により得られる単検索目標ソートモデルの構造図を示した。即ち、第１データペアにおけるクエリ（ｑｕｅｒｙ）を、当該第１データペアにおける検索結果が現在の検索目標に対応する単目標特徴とスプライシングし、スプライシング結果を事前訓練言語モデルの入力として事前訓練言語モデルが当該第１データペアについて出力する予測点数を得る。ここで、［ＣＬＳ］は開始文字、［ＳＥＰ］は区切り文字を表す。 FIG. 2 is a schematic diagram according to a second embodiment of the present disclosure. As shown in FIG. 2, in this embodiment, a structural diagram of a single search target sorting model obtained through training is shown. That is, the query in the first data pair is spliced with a single target feature whose search result in the first data pair corresponds to the current search goal, and the splicing result is used as input to the pre-trained language model. obtains the number of predicted points output by the first data pair. Here, [CLS] represents a start character, and [SEP] represents a delimiter character.

図３は本開示の第３実施形態による概略図である。図３に示すように、本実施形態は、第２データペアの訓練検索目標を決定する際のフローチャートを示した。本実施形態では、複数の検索目標を主検索目標と複数の副検索目標とに分割し、異なる検索目標に対応する単検索目標ソートモデルにより第２データペアにおける２つの検索結果を順次に採点し、２つの検索結果間の点数差が主検索目標の差閾値を超えていると判定された場合、主検索目標を当該第２データペアの訓練検索目標とし、さもなければ、継続して副検索目標１に対応する単検索目標ソートモデルを用いて第２データペアにおける２つの検索結果を採点し、２つの検索結果の点数の差が副検索目標１の差閾値を超えていると判定された場合、副検索目標１を当該第２データペアの訓練検索目標とする。このようにして、第２データペアの訓練検索目標を決定することができる。特に、全ての副検索目標における第２データペアの点数差が何れも対応する差閾値を超えていない場合に、主検索目標を当該第２データペアの訓練検索目標とする。 FIG. 3 is a schematic diagram according to a third embodiment of the present disclosure. As shown in FIG. 3, the present embodiment shows a flowchart for determining a training search target for a second data pair. In this embodiment, a plurality of search goals are divided into a main search goal and a plurality of sub-search goals, and two search results in a second data pair are sequentially scored using a single search goal sorting model corresponding to different search goals. , if it is determined that the score difference between the two search results exceeds the difference threshold of the main search goal, the main search goal is set as the training search goal for the second data pair, otherwise, the sub-search continues. The two search results in the second data pair were scored using the single search goal sorting model corresponding to goal 1, and it was determined that the difference in scores between the two search results exceeded the difference threshold of subsearch goal 1. In this case, the sub-search target 1 is set as the training search target for the second data pair. In this way, a training search target for the second data pair can be determined. In particular, when the difference in scores of the second data pairs in all the sub-search targets does not exceed the corresponding difference threshold, the main search target is set as the training search target for the second data pair.

図４は本開示の第４実施形態による概略図である。図４に示すように、本実施形態では、訓練により得られる検索結果ソートモデルの構造図を示した。即ち、第２データペアにおけるクエリ（ｑｕｅｒｙ）を、当該第２データペアにおける１つの検索結果が全ての検索目標に対応する多目標特徴（主検索目標の主目標特徴、副検索目標１の副目標１特徴、副検索目標ｎの副目標ｎ特徴）とスプライシングし、スプライシング結果を事前訓練言語モデルの入力として、事前訓練言語モデルが当該第２データペアについて出力する予測点数を得る。ここで、［ＣＬＳ］は開始文字、［ＳＥＰ］は区切り文字を表す。 FIG. 4 is a schematic diagram according to a fourth embodiment of the present disclosure. As shown in FIG. 4, this embodiment shows a structural diagram of a search result sorting model obtained through training. In other words, the query in the second data pair is converted into a multi-goal feature (main goal feature of the main search goal, sub-goal of the sub-search goal 1) in which one search result in the second data pair corresponds to all search goals. 1 feature, sub-target n feature of sub-search target n), and the splicing result is used as an input to a pre-trained language model to obtain a prediction score output by the pre-trained language model for the second data pair. Here, [CLS] represents a start character, and [SEP] represents a delimiter character.

図５は本開示の第５実施形態による概略図である。図５に示すように、本実施形態の検索結果ソート方法は、具体的に以下のステップを含む。 FIG. 5 is a schematic diagram according to a fifth embodiment of the present disclosure. As shown in FIG. 5, the search result sorting method of this embodiment specifically includes the following steps.

Ｓ５０１において、処理すべきクエリ及びそれに対応する複数の検索結果を取得する。 In S501, a query to be processed and a plurality of search results corresponding to the query are acquired.

Ｓ５０２において、各検索結果について、当該検索結果が全ての検索目標に対応する多目標特徴を取得する。 In S502, for each search result, multi-goal features are acquired for which the search result corresponds to all search goals.

Ｓ５０３において、各検索結果について、前記処理すべきクエリと当該検索結果が全ての検索目標に対応する多目標特徴を検索結果ソートモデルに入力して、前記検索結果ソートモデルが当該検索結果について出力する点数を得る。 In S503, for each search result, the query to be processed and the multi-objective feature corresponding to all search goals of the search result are input to the search result sorting model, and the search result sorting model outputs the search result for the search result. Get points.

Ｓ５０４において、前記複数の検索結果の点数に基づいて、前記複数の検索結果をソートする。 In S504, the plurality of search results are sorted based on the scores of the plurality of search results.

本実施形態の検索結果ソート方法は、クエリに対応する複数の検索結果を取得した後、まず、各検索結果が全ての検索目標に対応する多目標特徴を取得し、次に、クエリと各検索結果が全ての検索目標に対応する多目標特徴を検索結果ソートモデルに入力して、検索結果ソートモデルが各検索結果について出力した点数を取得し、最後に、検索結果の点数に基づいて検索結果のソートを完了する。本実施形態では、検索結果が全ての検索目標に対応する多目標特徴を取得することにより、ソートに用いる点数が複数の検索目標に統合することが可能となり、検索結果のソートのステップを簡略化し、検索結果のソートの正確性を向上させることができる。 In the search result sorting method of this embodiment, after obtaining multiple search results corresponding to a query, first, each search result obtains multi-goal features corresponding to all search goals, and then Input the multi-objective features whose results correspond to all search goals into the search results sorting model, get the score outputted by the search results sorting model for each search result, and finally sort the search results based on the scores of the search results. Complete the sort. In this embodiment, by acquiring multi-goal features in which search results correspond to all search goals, it becomes possible to integrate the scores used for sorting into multiple search goals, simplifying the step of sorting search results. , the accuracy of sorting search results can be improved.

本実施形態では、Ｓ５０１を実行して処理すべきクエリを取得する際に、入力側で入力されたクエリを処理すべきクエリとしてもよく、入力側でネットワーク上で選択されたクエリを処理すべきクエリとしてもよい。本実施形態がＳ５０１を実行して取得された、処理すべきクエリに対応する検索結果は、ウェブページ全体、ドキュメント全体、又はマルチメディアデータ全体であってもよく、ウェブページ、ドキュメント、又はマルチメディアデータの中の１つのパラグラフであってもよい。 In this embodiment, when executing S501 to obtain a query to be processed, the query input on the input side may be the query to be processed, and the query selected on the network on the input side may be processed. It can also be used as a query. The search result corresponding to the query to be processed, obtained when the present embodiment performs S501, may be the entire web page, the entire document, or the entire multimedia data; It may be a single paragraph in the data.

本実施形態では、Ｓ５０１を実行して、処理すべきクエリ及びそれに対応する複数の検索結果を取得した後、Ｓ５０２を実行して、各検索結果について、当該検索結果が全ての検索目標に対応する多目標特徴を取得する。なお、本実施形態における複数の検索目標は、予め設定された相関性目標、時効性目標、権威性目標等であってよい。 In this embodiment, after S501 is executed to obtain a query to be processed and a plurality of search results corresponding to the query, S502 is executed to determine whether the search result corresponds to all search goals for each search result. Obtain multi-objective features. Note that the plurality of search goals in this embodiment may be preset correlation goals, statute of limitations goals, authority goals, and the like.

本実施形態では、Ｓ５０２を実行して、各検索結果について、当該検索結果が全ての検索目標に対応する多目標特徴を取得する場合に、各検索結果について、当該検索結果の属性情報を取得し、当該検索結果の属性情報を当該検索結果が全ての検索目標に対応する多目標特徴とする、という実現方式を採用できる。 In this embodiment, S502 is executed to obtain attribute information of each search result when the search result corresponds to all search goals. , an implementation method can be adopted in which the attribute information of the search result is a multi-goal feature that corresponds to all the search goals of the search result.

本実施形態では、Ｓ５０２を実行して、当該検索結果の属性情報を当該検索結果が全ての検索目標に対応する多目標特徴とする場合に、さらに、当該検索結果の属性情報がテキストでないと判定された場合に、当該検索結果の属性情報をテキストに変換し、テキスト変換結果を当該検索結果が全ての検索目標に対応する多目標特徴とすることを含んで良い。 In this embodiment, when S502 is executed and the attribute information of the search result is set as a multi-goal feature that corresponds to all search goals, it is further determined that the attribute information of the search result is not text. The method may include converting the attribute information of the search result into text when the search result is searched, and converting the text conversion result into a multi-objective feature in which the search result corresponds to all search goals.

本実施形態では、Ｓ５０２を実行して、複数の検索結果がそれぞれ全ての検索目標に対応する多目標特徴を取得した後、Ｓ５０３を実行して、各検索結果について、処理すべきクエリと当該検索結果が全ての検索目標に対応する多目標特徴を検索結果ソートモデルに入力して、検索結果ソートモデルが検索結果について出力した点数を得る。 In the present embodiment, after S502 is executed to obtain multi-goal features corresponding to all search goals for each of the plurality of search results, S503 is executed to identify the query to be processed and the corresponding search for each search result. Multi-objective features whose results correspond to all search objectives are input into the search results sorting model to obtain the scores output by the search results sorting model for the search results.

本実施形態では、Ｓ５０３を実行して、処理すべきクエリと当該検索結果が全ての検索目標に対応する多目標特徴を検索結果ソートモデルに入力する場合に、両者の間のスプライシング結果を検索結果ソートモデルに入力することにより、検索結果ソートモデルが検索結果を採点して、当該検索結果について検索結果ソートモデルから出力する点数を得るようにすることができる。 In this embodiment, when executing S503 and inputting the query to be processed and the multi-objective features whose search results correspond to all search goals into the search result sorting model, the splicing results between the two are added to the search results. By inputting to the sorting model, the search results sorting model can score the search results to obtain a score to be output from the search results sorting model for the search results.

本実施形態では、Ｓ５０３を実行して複数の検索結果の点数を得た後、Ｓ５０４を実行して複数の検索結果の点数に応じて複数の検索結果をソートする。 In this embodiment, after S503 is executed to obtain the scores of the plurality of search results, S504 is executed to sort the plurality of search results according to the scores of the plurality of search results.

本実施形態では、Ｓ５０４を実行して検索結果の点数に応じて検索結果をソートする場合に、点数の高い順に複数の検索結果をソートすることができる。 In this embodiment, when performing S504 and sorting the search results according to the scores of the search results, it is possible to sort the plurality of search results in descending order of scores.

図６は、本開示の第６実施形態による概略図である。図６に示すように、本実施形態の検索結果ソートモデルの訓練装置６００は、以下の手段を備える。 FIG. 6 is a schematic diagram according to a sixth embodiment of the present disclosure. As shown in FIG. 6, the search result sorting model training device 600 of this embodiment includes the following means.

第１取得部６０１は、複数の第１データペアと、前記複数の第１データペアにおける検索結果が複数の検索目標にそれぞれ対応する単目標特徴と、前記複数の第１データペアが前記複数の検索目標にそれぞれ対応する注釈点数とを取得し、各第１データペアは、クエリ及びそれに対応する１つの検索結果とを含む。 The first acquisition unit 601 acquires a plurality of first data pairs, a single target feature in which the search results in the plurality of first data pairs correspond to a plurality of search targets, and a first acquisition unit 601 in which the plurality of first data pairs correspond to the plurality of search targets. and annotation scores respectively corresponding to the search goals, each first data pair including a query and one search result corresponding thereto.

第１訓練部６０２は、各検索目標について、前記複数の第１データペアにおけるクエリと、前記複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴と、前記複数の第１データペアが当該検索目標に対応する注釈点数とに基づいて第１事前訓練言語モデルを訓練して、当該検索目標に対応する単検索目標ソートモデルを得る。 For each search goal, the first training unit 602 includes a query in the plurality of first data pairs, a single target feature whose search result in the plurality of first data pairs corresponds to the search goal, and a single target feature corresponding to the search goal in the plurality of first data pairs. A first pre-trained language model is trained based on the number of annotation points whose data pairs correspond to the search target to obtain a single search target sorting model corresponding to the search target.

第２取得部６０３は、複数の第２データペアと、前記複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴とを取得し、各第２データペアはクエリ及びそれに対応する２つの検索結果とを含む。 The second acquisition unit 603 acquires a plurality of second data pairs and a multi-objective feature in which each search result in the plurality of second data pairs corresponds to all search objectives, and each second data pair is a query and a multi-object feature. and two corresponding search results.

処理部６０４は、各第２データペアについて、前記複数の検索目標に対応する複数の単検索目標ソートモデルを用いて、当該第２データペアにおける各検索結果を採点し、前記各検索結果が前記複数の検索目標に対応する点数に基づいて、当該第２データペアの訓練検索目標を決定する。 For each second data pair, the processing unit 604 scores each search result in the second data pair using a plurality of single search goal sorting models corresponding to the plurality of search goals, and scores each search result in the second data pair. A training search goal for the second data pair is determined based on scores corresponding to the plurality of search goals.

第２訓練部６０５は、前記複数の第２データペアにおけるクエリと、前記複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴と、前記複数の第２データペアにおける各検索結果が前記訓練検索目標に対応する点数とに基づいて、第２事前訓練言語モデルを訓練して検索結果ソートモデルを得る。 The second training unit 605 includes a query in the plurality of second data pairs, a multi-objective feature in which each search result in the plurality of second data pairs corresponds to all search goals, and a multi-objective feature in the plurality of second data pairs. A second pre-trained language model is trained to obtain a search result sorting model based on the score of each search result corresponding to the training search objective.

第１取得部６０１により取得された第１データペアは、クエリ（ｑｕｅｒｙ）及びそれに対応する１つの検索結果とからなる。ここで、第１データペアにおける当該検索結果は、ウェブページ全体、ドキュメント全体、又はマルチメディアデータ全体であってもよく、ウェブページ、ドキュメント、又はマルチメディアデータにおけるパラグラフ（ｐａｒａ）であってもよい。 The first data pair acquired by the first acquisition unit 601 consists of a query and one search result corresponding to the query. Here, the search result in the first data pair may be the entire web page, the entire document, or the entire multimedia data, or may be a paragraph (para) in the web page, document, or multimedia data. .

本実施形態において予め設定されている複数の検索目標とは、相関性目標（検索結果とクエリとの相関性を表す）、権威性目標（検索結果の権威性を表す）、時効性目標（検索結果の時効性を表す）などの複数の目標である。 In this embodiment, the plurality of preset search goals include a correlation goal (representing the correlation between the search results and the query), an authority goal (representing the authority of the search results), and a statute of limitations goal (representing the authority of the search results). (representing the statute of limitations of results).

第１取得部６０１は、第１データペアを取得した後、まず複数の検索目標を決定し、その後、複数の第１データペアにおける検索結果が複数の検索目標にそれぞれ対応する単目標特徴と、複数の第１データペアが複数の検索目標にそれぞれ対応する注釈点数とを取得して良い。 After acquiring the first data pair, the first acquisition unit 601 first determines a plurality of search goals, and then determines a single target feature in which the search results in the plurality of first data pairs correspond to the plurality of search goals, respectively. The plurality of first data pairs may obtain annotation scores corresponding to the plurality of search targets, respectively.

第１取得部６０１は、複数の第１データペアが複数の検索目標にそれぞれ対応する注釈点数を取得する場合に、予め設定された注釈方式により、複数の第１データペアが各検索目標に対応する注釈点数を取得することができる。 When acquiring annotation points corresponding to a plurality of first data pairs and a plurality of search targets, the first acquisition unit 601 determines that the plurality of first data pairs correspond to each search target using a preset annotation method. You can get the annotation score.

第１取得部６０１は、複数の第１データペアにおける検索結果が複数の検索目標に対応する単目標特徴を取得する場合に、複数の第１データペアにおける検索結果の属性情報を取得し、各検索目標について、属性情報のうち当該検索目標に対応する属性情報を、複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴とする、というオプションな実現方式を採用して良い。 When acquiring single-target features whose search results in a plurality of first data pairs correspond to a plurality of search goals, the first acquisition unit 601 acquires attribute information of the search results in a plurality of first data pairs, and Regarding the search goal, an optional implementation method may be adopted in which attribute information corresponding to the search goal among the attribute information is used as a single target feature whose search results in the plurality of first data pairs correspond to the search goal. .

つまり、第１取得部６０１が取得した異なる単目標特徴は、異なる検索目標に対応しており、検索結果が同一の検索目標に対応する単目標特徴に含まれる属性情報は、１つであっても複数であってもよい。 In other words, the different single target features acquired by the first acquisition unit 601 correspond to different search targets, and the number of attribute information included in the single target features whose search results correspond to the same search target is one. may also be plural.

第１取得部６０１は、各検索目標について、属性情報のうち当該検索目標に対応する情報を、複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴とする場合に、各検索目標について、属性情報のうち当該検索目標に対応する属性情報がテキストでないと判定された場合に、当該検索目標に対応する属性情報をテキストに変換し、テキスト変換結果を複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴とすることを含んでよい。 For each search goal, the first acquisition unit 601 sets information corresponding to the search goal among the attribute information to each search goal when the search results in the plurality of first data pairs correspond to the search goal. Regarding a search goal, if it is determined that the attribute information corresponding to the search goal among the attribute information is not text, the attribute information corresponding to the search goal is converted into text, and the text conversion result is converted into a plurality of first data pairs. The search results may include setting the search result to a single target feature corresponding to the search goal.

すなわち、第１取得部６０１は、取得された単目標特徴がテキストであることを保証し、他の複雑な形式の内容の使用を回避することができるため、モデルの訓練の難易度を低減し、モデルの訓練効率を向上させる。 That is, the first acquisition unit 601 can ensure that the acquired single target feature is text and avoid using content in other complex formats, thereby reducing the difficulty of training the model. , improve model training efficiency.

第１取得部６０１は、予め設定された検索目標と属性情報との対応関係により、検索結果の属性情報から検索目標に対応する属性情報を、検索結果が各検索目標に対応する単目標特徴として取得することができるため、取得された単目標特徴の正確性を向上させる。 The first acquisition unit 601 extracts attribute information corresponding to the search goal from the attribute information of the search results based on a preset correspondence relationship between the search goals and the attribute information. This improves the accuracy of the single-target features obtained.

本実施形態では、第１取得部６０１により、複数の第１データペアと、複数の第１データペアにおける検索結果が複数の検索目標にそれぞれ対応する単目標特徴と、複数の第１データペアが複数の検索目標にそれぞれ対応する注釈点数とを取得した後、第１訓練部６０２により、各検索目標について、複数の第１データペアにおけるクエリと、複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴と、複数の第１データペアが当該検索目標に対応する注釈点数とに基づいて第１事前訓練言語モデルを訓練して当該検索目標に対応する単検索目標ソートモデルを得る。 In the present embodiment, the first acquisition unit 601 acquires a plurality of first data pairs, a single target feature whose search results in the plurality of first data pairs respectively correspond to a plurality of search goals, and a plurality of first data pairs. After obtaining the annotation scores corresponding to each of the plurality of search goals, the first training unit 602 calculates the queries in the plurality of first data pairs and the search results in the plurality of first data pairs for each search goal. A first pre-trained language model is trained based on the single target feature corresponding to the target and the number of annotation points corresponding to the search target of the plurality of first data pairs to obtain a single search target sorting model corresponding to the search target. obtain.

理解すべきなのは、第１訓練部６０２により、複数の単検索目標ソートモデルが得られる。異なる単検索目標ソートモデルは異なる検索目標に対応する。 It should be understood that the first training unit 602 provides a plurality of single search target sorting models. Different single search goal sorting models correspond to different search goals.

具体的には、第１訓練部６０２は、各検索目標について、複数の第１データペアにおけるクエリと、複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴と、複数の第１データペアが当該検索目標に対応する注釈点数とに基づいて、第１事前訓練言語モデルを訓練して当該検索目標に対応する単検索目標ソートモデルを得る場合に、各検索目標について、複数の第１データペアにおけるクエリと、複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴とを第１事前訓練言語モデルに入力して、第１事前訓練言語モデルが各第１データペアについて出力する予測点数を得、複数の第１データペアの予測点数と、複数の第１データペアが当該検索目標に対応する注釈点数とに基づいて損失関数値を計算し、算出された損失関数値に基づいて、第１事前訓練言語モデルが収束するまで第１事前訓練言語モデルのパラメータを調整して当該検索目標に対応する単検索目標ソートモデルを得る、というオプションな実現方式を採用して良い。 Specifically, for each search goal, the first training unit 602 performs a query in a plurality of first data pairs, a single target feature whose search result in a plurality of first data pairs corresponds to the search goal, and a plurality of first data pairs. When a first pre-trained language model is trained to obtain a single search goal sorting model corresponding to the search goal based on the number of annotation points for which the first data pair corresponds to the search goal, for each search goal, multiple A query in a first data pair and a single target feature whose search result in a plurality of first data pairs corresponds to the search goal are input into a first pre-trained language model, and the first pre-trained language model A predicted score to be output for one data pair is obtained, and a loss function value is calculated based on the predicted score of the plurality of first data pairs and the number of annotation points corresponding to the search target of the plurality of first data pairs. An optional implementation method is to adjust the parameters of the first pre-trained language model until the first pre-trained language model converges based on the loss function value obtained, thereby obtaining a single search goal sorting model corresponding to the search goal. Good to hire.

つまり、第１訓練部６０２により、異なる検索目標に応じて異なる単検索目標ソートモデルが得られる。異なる検索目標に対応する単検索目標ソートモデルは、入力されたクエリ及びその検索結果が異なる検索目標に対応する単目標特徴に基づいて、検索結果が異なる検索目標に対応する採点結果を出力することができる。 That is, the first training unit 602 obtains different single search goal sorting models according to different search goals. The single search goal sorting model that corresponds to different search goals outputs scoring results that have search results that correspond to different search goals based on the input query and the single goal characteristics that correspond to the search goals that have different search results. I can do it.

理解すべきなのは、第１訓練部６０２により訓練される第１事前訓練言語モデルは、変換ネットワーク（Ｔｒａｎｓｆｏｒｍｅｒ）に基づくニューラルネットワークモデルである。当該第１事前訓練言語モデルは、Ｅｒｎｉｅモデルであってよい。 It should be understood that the first pre-trained language model trained by the first training unit 602 is a neural network model based on a transformer. The first pre-trained language model may be an Ernie model.

本実施形態では、第１訓練部６０２により複数の検索目標に対応する単検索目標ソートモデルを得た後、第２取得部６０３により、複数の第２データペアと、複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴とを取得する。 In this embodiment, after the first training unit 602 obtains a single search target sorting model corresponding to a plurality of search targets, the second acquisition unit 603 acquires a plurality of second data pairs and a single search target sorting model corresponding to a plurality of second data pairs. Each search result obtains multi-goal features corresponding to all search goals.

第２取得部６０３により取得された第２データペアは、クエリ及びそれに対応する２つの検索結果とからなる。ここで、第２データペアにおける２つの検索結果は、ウェブページ全体、ドキュメント全体、又はマルチメディアデータ全体であってもよく、ウェブページ、ドキュメント、又はマルチメディアデータにおける１つのパラグラフ（ｐａｒａ）であってもよい。 The second data pair acquired by the second acquisition unit 603 consists of a query and two search results corresponding to the query. Here, the two search results in the second data pair may be the entire web page, the entire document, or the entire multimedia data, and may be one paragraph (para) in the web page, document, or multimedia data. You can.

第２取得部６０３は、複数の第２データペアを取得する場合に、まず複数のクエリを取得し、次に各クエリに対応する複数の検索結果を取得し、最後に、同一のクエリについて、当該クエリに対応する複数の検索結果から任意に２つを選択して組み合わせることにより、クエリ及びそれに対応する２つの検索結果とを含む複数の第２データペアを得ることができる。 When acquiring multiple second data pairs, the second acquisition unit 603 first acquires multiple queries, then acquires multiple search results corresponding to each query, and finally, regarding the same query, By arbitrarily selecting and combining two of the plurality of search results corresponding to the query, a plurality of second data pairs including the query and the two search results corresponding to the query can be obtained.

第２取得部６０３は、複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴を取得する場合に、複数の第２データペアにおける各検索結果の属性情報を取得し、各検索結果の属性情報を複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴とする、というオプションな実現方式を採用して良い。 The second acquisition unit 603 acquires attribute information of each search result in the plurality of second data pairs when acquiring multi-target features in which each search result in the plurality of second data pairs corresponds to all search goals. , an optional implementation method may be adopted in which the attribute information of each search result is a multi-goal feature in which each search result in a plurality of second data pairs corresponds to all search goals.

すなわち、第２取得部６０３により取得される多目標特徴は、検索結果の全ての属性情報である。すなわち、当該多目標特徴は、検索結果が異なる検索目標に対応する全ての単目標特徴を含む。 That is, the multi-target features acquired by the second acquisition unit 603 are all attribute information of the search results. That is, the multi-target feature includes all single-target features that correspond to search goals with different search results.

第２取得部６０３は、各検索結果の属性情報を複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴とする場合に、さらに、各検索結果について、当該検索結果の属性情報がテキストでないと判定された場合に、当該検索結果の属性情報をテキストに変換し、テキスト変換結果を当該検索結果が全ての検索目標に対応する多目標特徴とすることを含んでよい。 When the attribute information of each search result is a multi-objective feature in which each search result in a plurality of second data pairs corresponds to all the search goals, the second acquisition unit 603 further acquires the attribute information for each search result. The method may include converting the attribute information of the search result into text if it is determined that the attribute information of the search result is not text, and converting the text conversion result into a multi-objective feature in which the search result corresponds to all search goals. .

すなわち、第２取得部６０３は、取得された多目標特徴がテキストであることを保証することができ、他の複雑な形式の内容の使用を回避し、モデルの訓練の難易度を低減し、モデルの訓練効率を向上させる。 That is, the second acquisition unit 603 can ensure that the acquired multi-objective features are text, avoid using content in other complex formats, reduce the difficulty of training the model, Improve model training efficiency.

本実施形態では、第２取得部６０３により、複数の第２データペアと、複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴とを取得した後、処理部６０４により、各第２データペアについて、複数の検索目標に対応する複数の単検索目標ソートモデルを用いて、当該第２データペアにおける各検索結果を採点し、各検索結果が複数の検索目標に対応する点数に基づいて、当該第２データペアの訓練検索目標を決定する。 In this embodiment, after the second acquisition unit 603 acquires the plurality of second data pairs and the multi-objective feature in which each search result in the plurality of second data pairs corresponds to all the search targets, the processing unit 603 For each second data pair, each search result in the second data pair is scored using a plurality of single search goal sorting models corresponding to a plurality of search goals, and each search result corresponds to a plurality of search goals. A training search target for the second data pair is determined based on the score.

処理部６０４は、各第２データペアについて、複数の検索目標に対応する複数の単検索目標ソートモデルを使用して当該第２データペアにおける各検索結果を採点し、各検索結果が複数の検索目標に対応する点数に基づいて、当該第２データペアの訓練検索目標を決定する場合に、検索目標の優先度に応じて複数の単検索目標ソートモデルの採点順序を決定し、各第２データペアについて、決定された採点順序に従って、単検索目標ソートモデルを使用して当該第２データペアにおける各検索結果を順次に採点し、２つの検索結果の点数差が現在の単検索目標ソートモデルに対応する検索目標の差閾値を超えていると判定された場合に、現在の単検索目標ソートモデルに対応する検索目標を、当該第２データペアの訓練検索目標とする、というオプションな実現方法を採用して良い。 For each second data pair, the processing unit 604 scores each search result in the second data pair using a plurality of single search goal sorting models corresponding to a plurality of search goals, and each search result When determining a training search target for the second data pair based on the score corresponding to the target, the scoring order of a plurality of single search target sorting models is determined according to the priority of the search target, and each second data pair is For the pair, according to the determined scoring order, each search result in the second data pair is scored sequentially using the single search objective sorting model, and the score difference between the two search results is calculated using the current single search objective sorting model. An optional implementation method is to set the search goal corresponding to the current single search goal sorting model as the training search goal for the second data pair when it is determined that the difference between the corresponding search goals exceeds the threshold. Good to hire.

すなわち、処理部６０４は、予め設定された優先度に従って、異なる単検索目標ソートモデルを用いて、第２データペアにおける２つの検索結果を順次に採点して第２データペアの訓練検索目標を決定することにより、得られた訓練検索目標の正確性を向上させることができ、且つ決定された訓練検索目標が次のステップの検索結果ソートモデルの訓練に用いられるため、第２データペアにおける２つの検索結果が異なる検索目標に対応する点数を注釈する必要がなく、モデルの訓練の難易度と訓練コストを低減し、モデルの訓練効率を高めた。 That is, the processing unit 604 determines the training search goal for the second data pair by sequentially scoring the two search results for the second data pair using different single search goal sorting models according to preset priorities. By doing so, the accuracy of the obtained training search target can be improved, and the determined training search target is used for training the search result sorting model in the next step. There is no need to annotate the scores corresponding to different search goals for search results, reducing the difficulty and cost of training the model and increasing the efficiency of model training.

ここで、処理部６０４は、異なる検索目標の優先度を予め設定しておくことになる。例えば、予め設定された優先度が「相関性目標＞時効性目標＞権威性目標」である場合に、処理部６０４により決定される採点順序は、まず、相関性目標に対応する単検索目標ソートモデルを用いて採点し、次に、時効性目標に対応する単検索目標ソートモデルを用いて採点し、最後に、権威性目標に対応する単検索目標ソートモデルを用いて採点する。 Here, the processing unit 604 sets the priorities of different search targets in advance. For example, when the preset priority is "correlation goal > statute of limitations goal > authority goal," the scoring order determined by the processing unit 604 is to first sort the single search goal corresponding to the correlation goal. The model is used for scoring, then the single search objective sorting model corresponding to the statute of limitations objective is used for scoring, and finally the single search objective sorting model corresponding to the authority objective is used for scoring.

処理部６０４は、単検索目標ソートモデルを用いて当該第２データペアにおける各検索結果を採点する際に、第２データペアにおける各検索結果について、第２データペアにおけるクエリと、当該検索結果が現在の検索目標に対応する単目標特徴とを、現在の検索目標に対応する単検索目標ソートモデルに入力して、当該単検索目標ソートモデルが当該検索結果について出力する点数を取得することができる。 When scoring each search result in the second data pair using the single search objective sorting model, the processing unit 604 evaluates the query in the second data pair and the search result in the second data pair for each search result in the second data pair. The single target feature corresponding to the current search target can be input into the single search target sorting model corresponding to the current search target to obtain the score that the single search target sorting model outputs for the search result. .

処理部６０４は、さらに、異なる検索目標に対応する差閾値も予め設定しておき、検索結果間の点数差と差閾値との比較結果に基づいて、第２データペアの訓練検索目標を決定する目的を実現する。 The processing unit 604 also presets difference thresholds corresponding to different search goals, and determines the training search goal for the second data pair based on the comparison result between the score difference between the search results and the difference threshold. Realize your purpose.

処理部６０４は、点数差と差閾値とから第２データペアの訓練検索目標を決定する際に、２つの検索結果の点数差がいずれも異なる検索目標の差閾値を超えていない場合がある。この場合に、処理部６０４は、最も優先度の高い検索目標を、このような第２データペアの訓練検索目標とすることができる。 When the processing unit 604 determines the training search target of the second data pair from the score difference and the difference threshold, there are cases where the score difference between the two search results does not exceed the difference threshold of different search targets. In this case, the processing unit 604 can set the search target with the highest priority as the training search target for the second data pair.

さらに、処理部６０４は、各第２データペアについて、複数の検索目標に対応する複数の単検索目標ソートモデルを使用して当該第２データペアにおける各検索結果を採点し、各検索結果が複数の検索目標に対応する点数に基づいて、この第２データペアの訓練検索目標を決定する際に、各第２データペアについて、複数の検索目標に対応する複数の単検索目標ソートモデルを用いて、この第２データペアにおける各検索結果を採点し、２つの検索結果の間の最大点数差に対応する検索目標をこの第２データペアの訓練検索目標とする、というオプションな実現方式を採用して良い。 Furthermore, for each second data pair, the processing unit 604 scores each search result in the second data pair using a plurality of single search goal sorting models corresponding to a plurality of search goals, and each search result is In determining a training search goal for this second data pair based on the scores corresponding to the search goals, for each second data pair, a plurality of single search goal sorting models corresponding to a plurality of search goals are used. , an optional implementation method is adopted in which each search result in this second data pair is scored, and the search goal corresponding to the maximum score difference between the two search results is set as the training search goal for this second data pair. It's good.

つまり、処理部６０４はさらに、全ての単検索目標ソートモデルが第２データペアごとに出力される検索結果の点数に基づいて各第２データペアの訓練検索目標を決定することにより、第２データペアにおける２つの検索結果が決定された訓練検索目標において最も顕著な相違を有するようにするため、検索結果ソートモデルの訓練効果を向上させる。 In other words, the processing unit 604 further determines the training search goal for each second data pair based on the score of the search results that all the single search goal sorting models output for each second data pair. The training effectiveness of the search result sorting model is improved so that the two search results in a pair have the most significant difference in the determined training search goal.

本実施形態では、処理部６０４により複数の第２データペアの訓練検索目標を決定した後、第２訓練部６０５により、複数の第２データペアにおけるクエリと、複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴と、複数の第２データペアにおける各検索結果が訓練検索目標に対応する点数とに基づいて、第２事前訓練言語モデルを訓練して検索結果ソートモデルを得る。 In this embodiment, after the processing unit 604 determines training search targets for the plurality of second data pairs, the second training unit 605 determines the queries in the plurality of second data pairs and the respective searches in the plurality of second data pairs. training a second pre-trained language model to sort search results based on multi-objective features whose results correspond to all search objectives and scores in which each search result in the plurality of second data pairs corresponds to a training search objective; Get the model.

第２訓練部６０５により使用される第２事前訓練言語モデルは、変換ネットワーク（Ｔｒａｎｓｆｏｒｍｅｒ）に基づくニューラルネットワークモデル、例えばＥｒｎｉｅモデルであってもよい。 The second pre-trained language model used by the second training unit 605 may be a neural network model based on a transformer, for example an Ernie model.

第２訓練部６０５は、複数の第２データペアにおけるクエリと、複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴と、複数の第２データペアにおける各検索結果が訓練検索目標に対応する点数とに基づいて、第２事前訓練言語モデルを訓練して検索結果ソートモデルを得る場合に、各第２データペアについて、当該第２データペアにおけるクエリと、当該第２データペアにおける訓練検索目標に対応する点数が高い検索結果とを正例データペアとして構成し、当該第２データペアにおけるクエリと、当該第２データペアにおける訓練検索目標に対応する点数が低い検索結果とを負例データペアとして構成し、正例データペアにおけるクエリ及び検索結果が全ての検索目標に対応する多目標特徴、負例データペアにおけるクエリ及び検索結果が全ての検索目標に対応する多目標特徴を、それぞれ第２事前訓練言語モデルに入力して第２事前訓練言語モデルが正例データペアについて出力する正例予測点数及び負例データペアについて出力する負例予測点数を得、正例予測点数と負例予測点数に基づいて損失関数値を算出し、算出された損失関数値に基づいて、第２事前訓練言語モデルが収束するまで第２事前訓練言語モデルのパラメータを調整して検索結果ソートモデルを得る、というオプションな実現方式を採用して良い。 The second training unit 605 includes a query in a plurality of second data pairs, a multi-objective feature in which each search result in a plurality of second data pairs corresponds to all search goals, and each search result in a plurality of second data pairs. When training a second pre-trained language model to obtain a search result sorting model based on the score corresponding to the training search objective, for each second data pair, the query in the second data pair and the A search result with a high score corresponding to the training search goal in the second data pair is configured as a positive example data pair, and a query in the second data pair and a search with a low score corresponding to the training search goal in the second data pair are configured as a positive example data pair. results are configured as negative example data pairs, multi-objective features in which the queries and search results in the positive example data pairs correspond to all the search goals, and multi-objective features in which the queries and search results in the negative example data pairs correspond to all the search goals. The target features are respectively input to the second pre-trained language model to obtain the positive example prediction score output by the second pre-training language model for the positive example data pair and the negative example prediction score output for the negative example data pair. A loss function value is calculated based on the predicted score and the negative example predicted score, and based on the calculated loss function value, the parameters of the second pre-trained language model are adjusted and searched until the second pre-trained language model converges. An optional implementation method of obtaining a result sorting model may be adopted.

つまり、第２訓練部６０５は、第２データペアの訓練検索目標に基づいて第２データペアに対応する正例データペアと負例データペアを得、さらに、得られた正例データペアと負例データペアを用いて第２事前訓練言語モデルの訓練を完成することにより、第２データペアにおける検索結果のそれぞれを注釈する必要がなく、モデルの訓練コストと訓練の難易度を低減し、モデルの訓練効率を向上させる。 That is, the second training unit 605 obtains a positive example data pair and a negative example data pair corresponding to the second data pair based on the training search goal of the second data pair, and further By completing the training of the second pre-trained language model using the example data pair, there is no need to annotate each of the search results in the second data pair, reducing the training cost and training difficulty of the model, and improve training efficiency.

Ｔｒａｎｓｆｏｒｍｅｒに基づく第２事前訓練言語モデルにおけるアテンション（ａｔｔｅｎｔｉｏｎ）メカニズムは、アテンション計算を行う際に、異なる検索目標に対応する特徴を区別することなく、検索目標１と検索目標２とが全く無関係な次元であっても、既存の第２事前訓練言語モデルが検索目標１と検索目標２との特徴についてアテンション計算を行う。 The attention mechanism in the second pre-trained language model based on Transformer does not distinguish between features corresponding to different search goals when performing attention calculations, and allows search goals 1 and 2 to be completely unrelated in dimensions. Even if , the existing second pre-trained language model performs attention calculations on the features of search goal 1 and search goal 2.

しかし、異なる検索目標は実際には異なる一致度に対応しており、例えば、時効性目標は検索結果の時間とクエリとの一致度を描写するために使用され、権威性目標は検索結果の公開者とクエリとの一致度を描写するために使用されるため、時効性をモデル化する際に権威性目標を考慮する必要はない。 However, different search goals actually correspond to different degrees of match; for example, a statute of limitations goal is used to describe the time of a search result and how well it matches the query, while an authoritative goal is used to describe the time of a search result and its degree of match with a query. There is no need to consider authoritativeness goals when modeling statutes of limitations, as they are used to depict the degree of match between a person and a query.

事前訓練言語モデルが多検索目標を学習する際の効果をさらに向上させるために、本実施形態に係る検索結果ソートモデル訓練装置６００では、第２事前訓練言語モデルにおけるアテンションメカニズムを調整することにより、第２事前訓練言語モデルがクエリと異なる目標特徴との間のアテンション計算、クエリとクエリとの間のアテンション計算、及び同じ目標特徴の間のアテンション計算のみを行うようにする調整部６０６をさらに備えて良い。 In order to further improve the effectiveness of the pre-trained language model in learning multiple search targets, the search result sorting model training device 600 according to the present embodiment adjusts the attention mechanism in the second pre-trained language model. The second pre-trained language model further includes an adjustment unit 606 that causes the second pre-trained language model to only perform attention calculation between the query and a different target feature, attention calculation between the queries, and attention calculation between the same target features. It's good.

すなわち、本実施形態の第２事前訓練言語モデルは、訓練を行う際に、異なる検索目標に対応する目標特徴の間のアテンション計算を回避することができるため、異なる検索目標の目標特徴間の相互干渉を低減し、訓練により得られた検索結果ソートモデルのソート正確性を向上させることができる。 In other words, the second pre-trained language model of this embodiment can avoid attention calculation between target features corresponding to different search goals during training, and therefore avoid interaction between target features of different search goals. It is possible to reduce interference and improve the sorting accuracy of the search result sorting model obtained through training.

図７は、本開示の第７実施形態による概略図である。図７に示すように、本実施形態の検索結果ソート装置７００は、以下の手段を備える。 FIG. 7 is a schematic diagram according to a seventh embodiment of the present disclosure. As shown in FIG. 7, the search result sorting device 700 of this embodiment includes the following means.

第３取得部７０１は、処理すべきクエリ及びそれに対応する複数の検索結果を取得する。 The third acquisition unit 701 acquires a query to be processed and a plurality of search results corresponding to the query.

第４取得部７０２は、各検索結果について、当該検索結果が全ての検索目標に対応する多目標特徴を取得する。 The fourth acquisition unit 702 acquires, for each search result, multi-goal features that correspond to all search goals.

採点部７０３は、各検索結果について、前記処理すべきクエリと当該検索結果が全ての検索目標に対応する多目標特徴を検索結果ソートモデルに入力して、前記検索結果ソートモデルが当該検索結果について出力する点数を得る。 The scoring unit 703 inputs, for each search result, the query to be processed and the multi-objective feature corresponding to all the search goals for which the search result corresponds to the search result sorting model, so that the search result sorting model Get the score to output.

ソート部７０４は、前記複数の検索結果の点数に基づいて、前記複数の検索結果をソートする。 The sorting unit 704 sorts the plurality of search results based on the scores of the plurality of search results.

第３取得部７０１は、処理すべきクエリを取得する際に、入力側で入力されたクエリを処理すべきクエリとしてもよく、入力側でネットワーク上で選択されたクエリを処理すべきクエリとしてもよい。第３取得部７０１により取得された、処理すべきクエリに対応する検索結果は、ウェブページ全体、ドキュメント全体、又はマルチメディアデータ全体であってもよく、ウェブページ、ドキュメント、又はマルチメディアデータの中の１つのパラグラフであってもよい。 When acquiring a query to be processed, the third acquisition unit 701 may use the query input on the input side as the query to be processed, or the query selected on the network on the input side as the query to be processed. good. The search result corresponding to the query to be processed, acquired by the third acquisition unit 701, may be the entire web page, the entire document, or the entire multimedia data; It may be one paragraph.

本実施形態では、第３取得部７０１により、処理すべきクエリ及びそれに対応する複数の検索結果を取得した後、第４取得部７０２により、各検索結果について、当該検索結果が全ての検索目標に対応する多目標特徴を取得する。なお、本実施形態における複数の検索目標は、予め設定された相関性目標、時効性目標、権威性目標等であってよい。 In the present embodiment, after the third acquisition unit 701 acquires a query to be processed and a plurality of search results corresponding to the query, the fourth acquisition unit 702 determines whether the search result matches all search targets for each search result. Obtain the corresponding multi-objective features. Note that the plurality of search goals in this embodiment may be preset correlation goals, statute of limitations goals, authority goals, and the like.

第４取得部７０２は、各検索結果について、当該検索結果が全ての検索目標に対応する多目標特徴を取得する場合に、各検索結果について、当該検索結果の属性情報を取得し、当該検索結果の属性情報を当該検索結果が全ての検索目標に対応する多目標特徴とする、というオプションな実現方式を採用して良い。 For each search result, the fourth acquisition unit 702 acquires attribute information of the search result when acquiring multi-target features corresponding to all search goals for the search result, and acquires the attribute information of the search result. An optional implementation method may be adopted in which the attribute information of the search result is a multi-goal feature corresponding to all search goals.

第４取得部７０２は、当該検索結果の属性情報を当該検索結果が全ての検索目標に対応する多目標特徴とする場合に、さらに、当該検索結果の属性情報がテキストでないと判定された場合に、当該検索結果の属性情報をテキストに変換し、テキスト変換結果を当該検索結果が全ての検索目標に対応する多目標特徴とすることを含んで良い。 The fourth acquisition unit 702 sets the attribute information of the search result to be a multi-target feature that corresponds to all search goals, and furthermore, when it is determined that the attribute information of the search result is not text. , converting the attribute information of the search result into text, and converting the text conversion result into a multi-goal feature in which the search result corresponds to all search goals.

本実施形態では、第４取得部７０２により、複数の検索結果がそれぞれ全ての検索目標に対応する多目標特徴を取得した後、採点部７０３により、各検索結果について、処理すべきクエリと当該検索結果が全ての検索目標に対応する多目標特徴を検索結果ソートモデルに入力して、検索結果ソートモデルが検索結果について出力した点数を得る。 In this embodiment, after the fourth acquisition unit 702 acquires the multi-goal features corresponding to all the search goals of each of the plurality of search results, the scoring unit 703 determines the query to be processed and the corresponding search for each search result. Multi-objective features whose results correspond to all search objectives are input into the search results sorting model to obtain the scores output by the search results sorting model for the search results.

採点部７０３は、処理すべきクエリと当該検索結果が全ての検索目標に対応する多目標特徴を検索結果ソートモデルに入力する場合に、両者の間のスプライシング結果を検索結果ソートモデルに入力することにより、検索結果ソートモデルが検索結果を採点して、当該検索結果について検索結果ソートモデルから出力する点数を得るようにすることができる。 When inputting a query to be processed and a multi-objective feature in which the search result corresponds to all search objectives into a search result sorting model, the scoring unit 703 inputs a splicing result between the two into the search result sorting model. Accordingly, the search result sorting model can score the search results and obtain a score to be output from the search result sorting model for the search results.

本実施形態では、採点部７０３により複数の検索結果の点数を得た後、ソート部７０４により複数の検索結果の点数に応じて複数の検索結果をソートする。 In this embodiment, after the scoring unit 703 obtains the scores of the plurality of search results, the sorting unit 704 sorts the plurality of search results according to the scores of the plurality of search results.

ソート部７０４は、検索結果の点数に応じて検索結果をソートする場合に、点数の高い順に複数の検索結果をソートすることができる。 When sorting the search results according to the scores of the search results, the sorting unit 704 can sort the plurality of search results in descending order of scores.

本開示の技術案において、関わるユーザの個人情報の取得、記憶、応用等は、いずれも関連法律法規の規定に適合しており、公序良俗に反するものではない。 In the technical proposal of the present disclosure, the acquisition, storage, application, etc. of the personal information of the users concerned all conform to the provisions of relevant laws and regulations, and do not violate public order and morals.

本開示の実施形態によれば、本開示はさらに、電子デバイス、可読記憶媒体、及びコンピュータプログラム製品を提供する。 According to embodiments of the disclosure, the disclosure further provides electronic devices, readable storage media, and computer program products.

図８は、本開示の実施形態による検索結果ソートモデルの訓練又は検索結果ソート方法の電子デバイスのブロック図を示した。電子デバイスは、ラップトップ、デスクトップコンピュータ、ワークベンチ、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータのような、様々な形態のデジタルコンピュータを表す。電子デバイスさらに、ＰＤＡ、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すことができる。本明細書に示す構成要素、それらの接続及び関係、ならびにそれらの機能は、単なる一例であり、本明細書に記載及び／又は要求された本開示の実現を制限することではない。 FIG. 8 illustrates a block diagram of an electronic device for training a search result sorting model or a search result sorting method according to an embodiment of the present disclosure. Electronic devices represent various forms of digital computers, such as laptops, desktop computers, workbenches, servers, blade servers, large format computers, and other suitable computers. Electronic device can also refer to various forms of mobile devices such as PDAs, cell phones, smart phones, wearable devices, and other similar computing devices. The components shown herein, their connections and relationships, and their functionality are merely examples and are not limitations on the implementation of the present disclosure as described and/or required herein.

図８に示すように、デバイス８００は、読み取り専用メモリ（ＲＯＭ）８０２に記憶されたコンピュータプログラム、又は記憶手段８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされたコンピュータプログラムに従って、様々な適切な動作及び処理を実行することができる演算手段８０１を含む。ＲＡＭ８０３には、デバイス８００の動作に必要な各種のプログラムやデータが記憶されてもよい。演算手段８０１、ＲＯＭ８０２及びＲＡＭ８０３は、バス８０４を介して接続されている。入出力（Ｉ／Ｏ）インターフェース８０５もバス８０４に接続されている。 As shown in FIG. 8, the device 800 performs various suitable operations in accordance with a computer program stored in read-only memory (ROM) 802 or loaded into random access memory (RAM) 803 from storage means 808. and a calculation means 801 capable of executing processing. The RAM 803 may store various programs and data necessary for the operation of the device 800. Arithmetic means 801, ROM 802, and RAM 803 are connected via bus 804. An input/output (I/O) interface 805 is also connected to bus 804.

例えばキーボード、マウス等の入力手段８０６と、例えば様々なタイプのディスプレイ、スピーカ等の出力手段８０７と、例えば磁気ディスク、光ディスク等の記憶手段８０８と、例えばネットワークカード、モデム、無線通信トランシーバなどの通信手段８０９を含むデバイス８００の複数の構成要素は、Ｉ／Ｏインターフェース８０５に接続される。通信手段８０９は、デバイス８００が例えばインターネットのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他のデバイスと情報／データを交換することを可能にする。 Communication between input means 806 such as a keyboard and mouse, output means 807 such as various types of displays and speakers, storage means 808 such as a magnetic disk or optical disk, and network cards, modems, wireless communication transceivers, etc. A number of components of device 800 including means 809 are connected to I/O interface 805. The communication means 809 enable the device 800 to exchange information/data with other devices, for example via computer networks of the Internet and/or various telecommunication networks.

演算手段８０１は、処理能力及び演算能力を有する様々な汎用及び／又は専用の処理コンポーネントであってよい。演算手段８０１のいくつかの例は、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）演算チップ、機械学習モデルアルゴリズムを実行する様々な演算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。演算手段８０１は、上述した様々な方法及び処理、例えば検索結果ソートモデルの訓練又は検索結果ソート方法を実行する。例えば、幾つかの実施形態では、検索結果ソートモデルの訓練又は検索結果ソート方法は、例えば記憶手段８０８のような機械可読媒体に物理的に組み込まれたコンピュータソフトウェアプログラムとして実装されてもよい。 The computing means 801 may be various general purpose and/or special purpose processing components having processing and computing capabilities. Some examples of computing means 801 include a central processing unit (CPU), a graphics processing unit (GPU), various specialized artificial intelligence (AI) computing chips, various computing units that execute machine learning model algorithms, digital signals, etc. including, but not limited to, a processor (DSP), and any suitable processor, controller, microcontroller, etc. The calculation means 801 executes the various methods and processes described above, such as training a search result sorting model or a search result sorting method. For example, in some embodiments, training a search result sorting model or method for sorting search results may be implemented as a computer software program physically embodied in a machine-readable medium, such as storage means 808.

幾つかの実施形態では、コンピュータプログラムの一部又は全部は、ＲＯＭ８０２及び／又は通信手段８０９を介してデバイス８００にロード及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ８０３にロードされ、演算手段８０１により実行されると、前記検索結果ソートモデルの訓練又は検索結果ソート方法の１つ又は複数のステップを実行することができる。代替的に、他の実施形態では、演算手段８０１は、検索結果ソートモデルの訓練又は検索結果ソート方法を実行するように、他の任意の適切な方法で（例えば、ファームウェアを介する）構成されてもよい。 In some embodiments, part or all of the computer program may be loaded and/or installed on device 800 via ROM 802 and/or communication means 809. When the computer program is loaded into the RAM 803 and executed by the computing means 801, one or more steps of said search result sorting model training or search result sorting method can be carried out. Alternatively, in other embodiments, the computing means 801 is configured in any other suitable manner (e.g., via firmware) to train a search result sorting model or perform a search result sorting method. Good too.

本明細書で前述したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、専用集積回路（ＡＳＩＣ）、専用標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、ロードプログラマブル論理デバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせにおいて実装されてもよい。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施されることを含んで良い。当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行及び／又は解釈することができる。当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであって、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、当該記憶システム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置にデータ及び命令を転送することができる。 Various embodiments of the systems and techniques described herein may include digital electronic circuit systems, integrated circuit systems, field programmable gate arrays (FPGAs), special purpose integrated circuits (ASICs), special purpose standard products (ASSPs), systems on chips. It may be implemented in a system (SOC), load programmable logic device (CPLD), computer hardware, firmware, software, and/or combinations thereof. These various embodiments may include being implemented in one or more computer programs. The one or more computer programs can be executed and/or interpreted on a programmable system that includes at least one programmable processor. The programmable processor is a special purpose or general purpose programmable processor that receives data and instructions from a storage system, at least one input device, and at least one output device; Data and instructions can be transferred to the at least one output device.

本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせを用いて記述することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供することにより、プログラムコードがプロセッサ又はコントローラにより実行されると、フローチャート及び／又はブロック図に指定された機能／動作を実行するようにすることができる。プログラムコードは、全てがマシン上で実行されても良く、一部がマシン上で実行されても良く、スタンドアロンパッケージとして一部的にマシン上で実行され且つ一部的にリモートマシン上で実行され、或いは全てがリモートマシン又はサーバ上で実行されても良い。 Program code for implementing the methods of this disclosure may be written using any combination of one or more programming languages. These program codes may be provided to a processor or controller of a general purpose computer, special purpose computer, or other programmable data processing device so that when executed by the processor or controller, the program codes are specified in flowcharts and/or block diagrams. can be configured to perform functions/operations. The program code may run entirely on a machine, partially on a machine, or as a standalone package, partially on a machine and partially on a remote machine. , or all may be executed on a remote machine or server.

本開示の文脈では、機械可読媒体は、有形の媒体であって、命令実行システム、装置又はデバイスにより使用され、或いは命令実行システム、装置又はデバイスと合わせて使用されるプログラムを含むか記憶することができる。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってよい。機械可読媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、又は半導体的なシステム、装置又はデバイス、あるいはこれらの任意の適切な組み合わせを含んで良いが、これらに限定されない。機械可読記憶媒体のより具体的な例は、１つ又は複数のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ‐ＲＯＭ）、光学記憶装置、磁気記憶装置、又はこれらの任意の適切な組み合わせを含む。 In the context of this disclosure, a machine-readable medium is a tangible medium that includes or stores a program for use by or in conjunction with an instruction-execution system, apparatus, or device. I can do it. A machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium. Machine-readable media may include, but are not limited to, electronic, magnetic, optical, electromagnetic, infrared, or semiconductor systems, apparatus, or devices, or any suitable combination thereof. More specific examples of machine-readable storage media are electrical connections based on one or more lines, portable computer disks, hard disks, random access memory (RAM), read-only memory (ROM), erasable programmable read-only memory. (EPROM or flash memory), fiber optics, portable compact disk read only memory (CD-ROM), optical storage, magnetic storage, or any suitable combination thereof.

ユーザとのインタラクションを提供するために、本明細書に記載されたシステム及び技術は、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザにより入力をコンピュータに提供するキーボード及びポインティングデバイス（例えば、マウス又はトラックボール）と備えるコンピュータ上に実施されてよい。他の種類の装置は、ユーザとのインタラクションを提供するためにも使用され得る。例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であって良く、ユーザからの入力を任意の形式（音入力、音声入力、又は触覚入力を含む）で受信して良い。 To provide user interaction, the systems and techniques described herein include a display device (e.g., a CRT (cathode ray tube) or LCD (liquid crystal display) monitor) for displaying information to the user; It may be implemented on a computer with a keyboard and pointing device (eg, a mouse or trackball) for providing input to the computer by a user. Other types of devices may also be used to provide user interaction. For example, the feedback provided to the user may be any form of sensing feedback (e.g., visual, auditory, or haptic feedback), and any form of input from the user (e.g., acoustic, audio, or (including tactile input).

本明細書に記載されたシステム及び技術は、バックエンド構成要素を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータであり、ユーザは、当該グラフィカルユーザインターフェースもしくは当該ウェブブラウザを通じて本明細書で説明されるシステムと技術の実施形態とインタラクションすることができる）、そのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムに実施されることが可能である。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されることが可能である。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイド・エリア・ネットワーク（「ＷＡＮ」）、インターネットワークを含む。 The systems and techniques described herein may be used in computing systems that include back-end components (e.g., data servers) or middleware components (e.g., application servers), or front-end components. A computing system (e.g., a client computer having a graphical user interface or web browser) that includes an element through which a user interacts with embodiments of the systems and techniques described herein. may be implemented in a computing system that includes any combination of such back-end components, middleware components, or front-end components. The components of the system may be interconnected by any form or medium of digital data communication (eg, a communication network). Examples of communication networks include local area networks (“LANs”), wide area networks (“WANs”), and internetworks.

コンピュータシステムは、クライアントとサーバーを含み得る。クライアントとサーバーは、一般的に互いから遠く離れており、通常は、通信ネットワークを通じてインタラクトする。クライアントとサーバとの関係は、相応するコンピュータ上で実行され、互いにクライアント－サーバの関係を有するコンピュータプログラムによって生じる。サーバはクラウドサーバ、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれ、従来の物理ホストとＶＰＳサービス（「Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ」、或いは「ＶＰＳ」と略称される）サービスにおいて管理が難しく、ビジネスの拡張性が弱いという欠点を解決するクラウドコンピューティングサービスシステムのホスト製品の１つであって良い。サーバは、分散システムのサーバであっても良く、ブロックチェーンを組み合わせたサーバであってもよい。 A computer system may include clients and servers. Clients and servers are typically remote from each other and typically interact through a communications network. The relationship between client and server is created by computer programs running on corresponding computers and having a client-server relationship with each other. A server is also called a cloud server, cloud computing server, or cloud host, and is difficult to manage and has limited business scalability in traditional physical hosts and VPS services (abbreviated as "Virtual Private Server" or "VPS"). It may be one of the host products of the cloud computing service system that solves the drawback of weakness. The server may be a distributed system server or a server combined with a blockchain.

以上で示された様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除できることを理解されたい。例えば、本出願に説明される各ステップは、並列の順序又は順次的な順序で実施されてもよいし、又は異なる順序で実行されてもよく、本出願で開示された技術案の望ましい結果が達成できる限り、ここで制限されない。 It should be appreciated that steps can be reordered, added, or deleted using the various types of flows illustrated above. For example, each step described in this application may be performed in a parallel order or a sequential order, or may be performed in a different order, and the desired results of the technical solutions disclosed in this application may be achieved. There are no limitations here, as long as it can be achieved.

上記の具体的な実施形態は本出願の保護範囲に対する制限を構成しない。設計要件及び他の要因に従って、様々な修正、組み合わせ、部分的組み合わせ及び置換を行うことができることを当業者は理解するべきである。本出願の精神及び原則の範囲内で行われる修正、同等の置換、改善は、何れも本出願の保護範囲内に含まれるべきである。 The above specific embodiments do not constitute a limitation on the protection scope of the present application. Those skilled in the art should understand that various modifications, combinations, subcombinations, and substitutions can be made according to design requirements and other factors. Any modification, equivalent substitution, or improvement made within the spirit and principles of this application shall be included within the protection scope of this application.

Claims (25)

検索結果ソートモデルの訓練方法であって、
複数の第１データペアであって、前記複数の第１データペアに含まれるそれぞれの第１データペアは、クエリ及び前記クエリに対応する１つの検索結果を含む、複数の第１データペアと、前記複数の第１データペアにおける検索結果が複数の検索目標にそれぞれ対応する単目標特徴と、前記複数の第１データペアが前記複数の検索目標にそれぞれ対応する注釈点数と、を取得することと、
前記複数の検索目標に含まれる検索目標のそれぞれについて、前記複数の第１データペアにおけるクエリと、前記複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴と、前記複数の第１データペアが当該検索目標に対応する注釈点数とに基づいて、第１事前訓練言語モデルを訓練して当該検索目標に対応する単検索目標ソートモデルを得ることと、
複数の第２データペアであって、前記複数の第２データペアに含まれるそれぞれの第２データペアは、クエリ及び前記クエリに対応する２つの検索結果を含む、複数の第２データペアと、前記複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴とを取得することと、
前記複数の第２データペアのそれぞれについて、前記複数の検索目標に対応する複数の単検索目標ソートモデルを用いて当該第２データペアにおける各検索結果を採点し、前記各検索結果が前記複数の検索目標に対応する点数に基づいて、当該第２データペアの訓練検索目標を決定することと、
前記複数の第２データペアにおけるクエリと、前記複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴と、前記複数の第２データペアにおける各検索結果が前記訓練検索目標に対応する点数とに基づいて、第２事前訓練言語モデルを訓練して検索結果ソートモデルを得ることと、を含む、
検索結果ソートモデルの訓練方法。 A method for training a search result sorting model, the method comprising:
a plurality of first data pairs, each first data pair included in the plurality of first data pairs including a query and one search result corresponding to the query; obtaining single-target features in which the search results in the plurality of first data pairs each correspond to a plurality of search goals; and annotation points in which the plurality of first data pairs correspond to the plurality of search goals, respectively; ,
For each of the search goals included in the plurality of search goals, a query in the plurality of first data pairs, a single target feature whose search result in the plurality of first data pairs corresponds to the search goal, and training a first pre-trained language model to obtain a single search goal sorting model corresponding to the search goal based on the number of annotation points in which the first data pair corresponds to the search goal;
a plurality of second data pairs, each second data pair included in the plurality of second data pairs including a query and two search results corresponding to the query; obtaining multi-goal features in which each search result in the plurality of second data pairs corresponds to all search goals;
For each of the plurality of second data pairs, each search result in the second data pair is scored using a plurality of single search goal sorting models corresponding to the plurality of search goals, and each search result is determining a training search goal for the second data pair based on the score corresponding to the search goal;
a query in the plurality of second data pairs; a multi-objective feature in which each search result in the plurality of second data pairs corresponds to all search goals; and each search result in the plurality of second data pairs corresponds to the training search. training a second pre-trained language model to obtain a search result sorting model based on the score corresponding to the goal;
How to train a search results sorting model. 前記複数の第１データペアにおける検索結果が複数の検索目標にそれぞれ対応する単目標特徴を取得することは、
前記複数の第１データペアにおける検索結果の属性情報を取得することと、
各検索目標について、前記属性情報のうち当該検索目標に対応する属性情報を、前記複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴とすることと、を含む、
請求項１に記載の検索結果ソートモデルの訓練方法。 The search results in the plurality of first data pairs obtain single-target features corresponding to the plurality of search targets, respectively,
acquiring attribute information of search results in the plurality of first data pairs;
For each search goal, the attribute information corresponding to the search goal among the attribute information is set as a single target feature whose search results in the plurality of first data pairs correspond to the search goal.
The method for training a search result sorting model according to claim 1. 各検索目標について、前記属性情報のうち当該検索目標に対応する属性情報を、前記複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴とすることは、
各検索目標について、前記属性情報のうち当該検索目標に対応する属性情報がテキストでないと判定された場合、当該検索目標に対応する属性情報をテキストに変換することと、
テキスト変換結果を、前記複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴とすることと、を含む、
請求項２に記載の検索結果ソートモデルの訓練方法。 For each search target, setting the attribute information corresponding to the search target among the attribute information as a single target feature whose search results in the plurality of first data pairs correspond to the search target,
For each search goal, if it is determined that the attribute information corresponding to the search goal among the attribute information is not text, converting the attribute information corresponding to the search goal into text;
making the text conversion result a single target feature in which the search results in the plurality of first data pairs correspond to the search target;
The method for training a search result sorting model according to claim 2. 前記複数の検索目標のそれぞれについて、前記複数の第１データペアにおけるクエリと、前記複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴と、前記複数の第１データペアが当該検索目標に対応する注釈点数とに基づいて、前記第１事前訓練言語モデルを訓練して当該検索目標に対応する単検索目標ソートモデルを得ることは、
各検索目標について、前記複数の第１データペアにおけるクエリと、前記複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴とを第１事前訓練言語モデルに入力して、前記第１事前訓練言語モデルが各第１データペアについて出力する予測点数を得ることと、
前記複数の第１データペアの予測点数と、前記複数の第１データペアが当該検索目標に対応する注釈点数とに基づいて損失関数値を計算することと、
前記損失関数値に基づいて、前記第１事前訓練言語モデルが収束するまで前記第１事前訓練言語モデルのパラメータを調整して当該検索目標に対応する単検索目標ソートモデルを得ることと、を含む、
請求項１から３のいずれか１項に記載の検索結果ソートモデルの訓練方法。 For each of the plurality of search goals, a query in the plurality of first data pairs, a single goal feature whose search result in the plurality of first data pairs corresponds to the search goal, and a single target feature in which the plurality of first data pairs correspond to the search goal. training the first pre-trained language model to obtain a single search goal sorting model corresponding to the search goal based on the annotation score corresponding to the search goal;
For each search goal, inputting a query in the plurality of first data pairs and a single target feature whose search result in the plurality of first data pairs corresponds to the search goal into a first pre-trained language model; obtaining a predicted score output by the first pre-trained language model for each first data pair;
calculating a loss function value based on predicted scores of the plurality of first data pairs and annotation scores with which the plurality of first data pairs correspond to the search target;
adjusting parameters of the first pre-trained language model based on the loss function value until the first pre-trained language model converges to obtain a single search goal sorting model corresponding to the search goal; ,
A method for training a search result sorting model according to any one of claims 1 to 3. 前記複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴を取得することは、
前記複数の第２データペアにおける各検索結果の属性情報を取得することと、
前記各検索結果の属性情報を、前記複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴とすることと、を含む、
請求項１から３のいずれか１項に記載の検索結果ソートモデルの訓練方法。 Obtaining multi-goal features in which each search result in the plurality of second data pairs corresponds to all search goals includes:
acquiring attribute information of each search result in the plurality of second data pairs;
setting attribute information of each of the search results to be a multi-goal feature in which each search result in the plurality of second data pairs corresponds to all search goals;
A method for training a search result sorting model according to any one of claims 1 to 3. 前記各検索結果の属性情報を、前記複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴とすることは、
各検索結果について、当該検索結果の前記属性情報がテキストでないと判定された場合、前記属性情報をテキストに変換することと、
テキスト変換結果を、当該検索結果が全ての検索目標に対応する多目標特徴とすることと、を含む、
請求項５に記載の検索結果ソートモデルの訓練方法。 Setting the attribute information of each of the search results to be a multi-goal feature in which each search result in the plurality of second data pairs corresponds to all search goals,
For each search result, if it is determined that the attribute information of the search result is not text, converting the attribute information into text;
making the text conversion result a multi-goal feature in which the search result corresponds to all search goals;
The method for training a search result sorting model according to claim 5. 各第２データペアについて、前記複数の検索目標に対応する複数の単検索目標ソートモデルを用いて当該第２データペアにおける各検索結果を採点し、前記各検索結果が前記複数の検索目標に対応する点数に基づいて、当該第２データペアの訓練検索目標を決定することは、
検索目標の優先度に従って、前記複数の単検索目標ソートモデルの採点順序を決定することと、
各第２データペアについて、前記採点順序に従って、前記単検索目標ソートモデルを使用して当該第２データペアにおける各検索結果を順次に採点することと、
当該第２データペアにおける２つの検索結果の間の点数差が、現在の単検索目標ソートモデルに対応する検索目標の差閾値を超えていると判定された場合に、当該現在の単検索目標ソートモデルに対応する検索目標を当該第２データペアの訓練検索目標とすることと、を含む、
請求項１から３のいずれか１項に記載の検索結果ソートモデルの訓練方法。 For each second data pair, each search result in the second data pair is scored using a plurality of single search objective sorting models corresponding to the plurality of search objectives, and each search result corresponds to the plurality of search objectives. Determining a training search goal for the second data pair based on the score of
determining the scoring order of the plurality of single search goal sorting models according to the priority of the search goals;
For each second data pair, sequentially scoring each search result in the second data pair using the single search target sorting model according to the scoring order;
If it is determined that the score difference between the two search results in the second data pair exceeds the search goal difference threshold corresponding to the current single search goal sorting model, the current single search goal sorting model setting a search goal corresponding to the model as a training search goal for the second data pair;
A method for training a search result sorting model according to any one of claims 1 to 3. 前記複数の第２データペアにおけるクエリと、前記複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴と、前記複数の第２データペアにおける各検索結果が前記訓練検索目標に対応する点数とに基づいて、第２事前訓練言語モデルを訓練して検索結果ソートモデルを得ることは、
各第２データペアについて、当該第２データペアにおけるクエリと、当該第２データペアにおける前記訓練検索目標に対応する点数が高い検索結果とを正例データペアとして構成し、当該第２データペアにおけるクエリと、当該第２データペアにおける前記訓練検索目標に対応する点数が低い検索結果とを負例データペアとして構成することと、
前記正例データペアにおけるクエリ及び検索結果が全ての検索目標に対応する多目標特徴、及び前記負例データペアにおけるクエリ及び検索結果が全ての検索目標に対応する多目標特徴を前記第２事前訓練言語モデルにそれぞれ入力して、前記第２事前訓練言語モデルが前記正例データペアについて出力する正例予測点数と、前記負例データペアについて出力する負例予測点数とをそれぞれ得ることと、
前記正例予測点数と前記負例予測点数とに基づいて損失関数値を計算することと、
前記損失関数値に基づいて、前記第２事前訓練言語モデルが収束するまで、前記第２事前訓練言語モデルのパラメータを調整して前記検索結果ソートモデルを得ることと、を含む、
請求項１から３のいずれか１項に記載の検索結果ソートモデルの訓練方法。 a query in the plurality of second data pairs; a multi-objective feature in which each search result in the plurality of second data pairs corresponds to all search goals; and each search result in the plurality of second data pairs corresponds to the training search. training the second pre-trained language model to obtain a search result sorting model based on the score corresponding to the target;
For each second data pair, a query in the second data pair and a search result with a high score corresponding to the training search goal in the second data pair are configured as a positive example data pair, and configuring a query and a search result with a low score corresponding to the training search goal in the second data pair as a negative example data pair;
The second pre-training is performed on a multi-goal feature whose queries and search results in the positive example data pair correspond to all search goals, and a multi-goal feature whose queries and search results in the negative example data pair correspond to all search goals. obtaining a positive example prediction score that the second pre-trained language model outputs for the positive example data pair and a negative example prediction score that the second pre-trained language model outputs for the negative example data pair by inputting them into a language model, respectively;
Calculating a loss function value based on the positive example predicted score and the negative example predicted score;
adjusting parameters of the second pre-trained language model based on the loss function value until the second pre-trained language model converges to obtain the search result sorting model;
A method for training a search result sorting model according to any one of claims 1 to 3. 前記第２事前訓練言語モデルが前記クエリと異なる目標特徴との間のアテンション計算、クエリとクエリとの間のアテンション計算、及び同じ目標特徴の間のアテンション計算のみを行うように、前記第２事前訓練言語モデルにおけるアテンションメカニズムを調整すること、をさらに含む、
請求項１から３のいずれか１項に記載の検索結果ソートモデルの訓練方法。 The second pre-trained language model only performs attention calculations between the query and different target features, attention calculations between queries, and attention calculations between the same target features. further comprising: adjusting an attention mechanism in the training language model;
A method for training a search result sorting model according to any one of claims 1 to 3. 検索結果ソート方法であって、
処理すべきクエリ及び前記クエリに対応する複数の検索結果を取得することと、
前記複数の検索結果に含まれるそれぞれの検索結果について、当該検索結果が全ての検索目標に対応する多目標特徴を取得することと、
前記検索結果のそれぞれについて、前記処理すべきクエリと当該検索結果が全ての検索目標に対応する多目標特徴とを検索結果ソートモデルに入力して、前記検索結果ソートモデルが当該検索結果について出力する点数を取得することと、
前記複数の検索結果の点数に基づいて前記複数の検索結果をソートすることと、を含み、
前記検索結果ソートモデルは、請求項１から３のいずれか１項に記載の検索結果ソートモデルの訓練方法により訓練された、
検索結果ソート方法。 A method for sorting search results,
obtaining a query to be processed and a plurality of search results corresponding to the query;
For each search result included in the plurality of search results, acquiring multi-goal features that correspond to all search goals;
For each of the search results, the query to be processed and the multi-objective feature for which the search result corresponds to all search goals are input into a search result sorting model, and the search result sorting model outputs for the search result. Obtaining points and
sorting the plurality of search results based on scores of the plurality of search results,
The search result sorting model is trained by the search result sorting model training method according to any one of claims 1 to 3.
How to sort search results. 前記複数の検索結果のそれぞれについて、当該検索結果が全ての検索目標に対応する多目標特徴を取得することは、
各検索結果について、当該検索結果の属性情報を取得することと、
前記属性情報を、当該検索結果が全ての検索目標に対応する多目標特徴とすることと、を含む、
請求項１０に記載の検索結果ソート方法。 Obtaining, for each of the plurality of search results, multi-goal features in which the search result corresponds to all search goals,
For each search result, acquiring attribute information of the search result;
and setting the attribute information as a multi-goal feature such that the search result corresponds to all search goals.
The search result sorting method according to claim 10. 検索結果ソートモデルの訓練装置であって、
複数の第１データペアであって、前記複数の第１データペアに含まれるそれぞれの第１データペアは、クエリ及び前記クエリに対応する１つの検索結果を含む、複数の第１データペアと、前記複数の第１データペアにおける検索結果が複数の検索目標にそれぞれ対応する単目標特徴と、前記複数の第１データペアが前記複数の検索目標にそれぞれ対応する注釈点数とを取得する、第１取得部と、
前記複数の検索目標に含まれるそれぞれの検索目標について、前記複数の第１データペアにおけるクエリと、前記複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴と、前記複数の第１データペアが当該検索目標に対応する注釈点数とに基づいて、第１事前訓練言語モデルを訓練して当該検索目標に対応する単検索目標ソートモデルを得る第１訓練部と、
複数の第２データペアであって、前記複数の第２データペアに含まれるそれぞれの第２データペアは、クエリ及び前記クエリに対応する２つの検索結果を含む、複数の第２データペアと、前記複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴とを取得する、第２取得部と、
前記複数の第２データペアのそれぞれについて、前記複数の検索目標に対応する複数の単検索目標ソートモデルを用いて当該第２データペアにおける各検索結果を採点し、前記各検索結果が前記複数の検索目標に対応する点数に基づいて、当該第２データペアの訓練検索目標を決定する処理部と、
前記複数の第２データペアにおけるクエリと、前記複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴と、前記複数の第２データペアにおける各検索結果が前記訓練検索目標に対応する点数とに基づいて、第２事前訓練言語モデルを訓練して検索結果ソートモデルを得る第２訓練部と、
を備える検索結果ソートモデルの訓練装置。 A training device for a search result sorting model,
a plurality of first data pairs, each first data pair included in the plurality of first data pairs including a query and one search result corresponding to the query; A first step of acquiring single-target features in which the search results in the plurality of first data pairs each correspond to a plurality of search goals, and annotation points in which the plurality of first data pairs respectively correspond to the plurality of search goals. an acquisition department;
For each search goal included in the plurality of search goals, a query in the plurality of first data pairs, a single target feature whose search result in the plurality of first data pairs corresponds to the search goal, and a first training unit that trains a first pre-trained language model to obtain a single search goal sorting model corresponding to the search goal based on the number of annotation points in which the first data pair corresponds to the search goal;
a plurality of second data pairs, each second data pair included in the plurality of second data pairs including a query and two search results corresponding to the query; a second acquisition unit that acquires multi-goal features in which each search result in the plurality of second data pairs corresponds to all search goals;
For each of the plurality of second data pairs, each search result in the second data pair is scored using a plurality of single search goal sorting models corresponding to the plurality of search goals, and each search result is a processing unit that determines a training search target for the second data pair based on the score corresponding to the search target;
a query in the plurality of second data pairs; a multi-objective feature in which each search result in the plurality of second data pairs corresponds to all search goals; and each search result in the plurality of second data pairs corresponds to the training search. a second training unit that trains a second pre-trained language model to obtain a search result sorting model based on the score corresponding to the target;
A training device for a search result sorting model. 前記第１取得部は、前記複数の第１データペアにおける検索結果が複数の検索目標にそれぞれ対応する単目標特徴を取得する場合に、
前記複数の第１データペアにおける検索結果の属性情報を取得し、
各検索目標について、前記属性情報のうち当該検索目標に対応する属性情報を、前記複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴とする、
請求項１２に記載の検索結果ソートモデルの訓練装置。 When the first acquisition unit acquires single target features whose search results in the plurality of first data pairs respectively correspond to a plurality of search targets,
obtaining attribute information of search results in the plurality of first data pairs;
For each search target, attribute information corresponding to the search target among the attribute information is set as a single target feature whose search results in the plurality of first data pairs correspond to the search target.
The training device for a search result sorting model according to claim 12. 前記第１取得部は、各検索目標について、前記属性情報のうち当該検索目標に対応する属性情報を、前記複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴とする場合に、
各検索目標について、前記属性情報のうち当該検索目標に対応する属性情報がテキストでないと判定された場合、当該検索目標に対応する属性情報をテキストに変換し、
テキスト変換結果を前記複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴とする、
請求項１３に記載の検索結果ソートモデルの訓練装置。 For each search target, the first acquisition unit sets attribute information corresponding to the search target among the attribute information as a single target feature whose search results in the plurality of first data pairs correspond to the search target. To,
For each search goal, if it is determined that the attribute information corresponding to the search goal among the attribute information is not text, converting the attribute information corresponding to the search goal into text,
making the text conversion result a single target feature in which the search results in the plurality of first data pairs correspond to the search target;
The training device for a search result sorting model according to claim 13. 前記第１訓練部は、前記複数の検索目標のそれぞれについて、前記複数の第１データペアにおけるクエリと、前記複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴と、前記複数の第１データペアが当該検索目標に対応する注釈点数とに基づいて、第１事前訓練言語モデルを訓練して当該検索目標に対応する単検索目標ソートモデルを得る場合に、
各検索目標について、前記複数の第１データペアにおけるクエリと、前記複数の第１データペアにおける検索結果が当該検索目標に対応する単目標特徴とを第１事前訓練言語モデルに入力して、前記第１事前訓練言語モデルが各第１データペアについて出力する予測点数を得、
前記複数の第１データペアの予測点数と、前記複数の第１データペアが当該検索目標に対応する注釈点数とに基づいて損失関数値を計算し、
前記損失関数値に基づいて、前記第１事前訓練言語モデルが収束するまで前記第１事前訓練言語モデルのパラメータを調整して当該検索目標に対応する単検索目標ソートモデルを得る、
請求項１２から１４のいずれか１項に記載の検索結果ソートモデルの訓練装置。 The first training unit includes, for each of the plurality of search targets, a query in the plurality of first data pairs, a single target feature whose search result in the plurality of first data pairs corresponds to the search target; When training a first pre-trained language model to obtain a single search goal sorting model corresponding to the search goal based on the number of annotation points in which the plurality of first data pairs correspond to the search goal,
For each search goal, inputting a query in the plurality of first data pairs and a single target feature whose search result in the plurality of first data pairs corresponds to the search goal into a first pre-trained language model; obtaining the predicted score that the first pre-trained language model outputs for each first data pair;
Calculating a loss function value based on predicted scores of the plurality of first data pairs and annotation scores for which the plurality of first data pairs correspond to the search target;
Based on the loss function value, adjust parameters of the first pre-trained language model until the first pre-trained language model converges to obtain a single search goal sorting model corresponding to the search goal;
The training device for a search result sorting model according to any one of claims 12 to 14. 前記第２取得部は、前記複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴を取得する場合に、
前記複数の第２データペアにおける各検索結果の属性情報を取得し、
前記各検索結果の属性情報を、前記複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴とする、
請求項１２から１４のいずれか１項に記載の検索結果ソートモデルの訓練装置。 When the second acquisition unit acquires multi-target features in which each search result in the plurality of second data pairs corresponds to all search targets,
obtaining attribute information of each search result in the plurality of second data pairs;
The attribute information of each of the search results is a multi-goal feature in which each search result in the plurality of second data pairs corresponds to all search goals;
The training device for a search result sorting model according to any one of claims 12 to 14. 前記第２取得部は、前記各検索結果の属性情報を、前記複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴とする場合に、
各検索結果について、当該検索結果の前記属性情報がテキストでないと判定された場合、前記属性情報をテキストに変換し、
テキスト変換結果を、当該検索結果が全ての検索目標に対応する多目標特徴とする、
請求項１６に記載の検索結果ソートモデルの訓練装置。 When the second acquisition unit sets the attribute information of each search result to be a multi-objective feature in which each search result in the plurality of second data pairs corresponds to all search goals,
For each search result, if it is determined that the attribute information of the search result is not text, converting the attribute information to text;
The text conversion result is a multi-goal feature in which the search result corresponds to all search goals.
The training device for a search result sorting model according to claim 16. 前記処理部は、各第２データペアについて、前記複数の検索目標に対応する複数の単検索目標ソートモデルを用いて当該第２データペアにおける各検索結果を採点し、前記各検索結果が前記複数の検索目標に対応する点数に基づいて、当該第２データペアの訓練検索目標を決定する場合に、
検索目標の優先度に従って、前記複数の単検索目標ソートモデルの採点順序を決定し、
各第２データペアについて、前記採点順序に従って、単検索目標ソートモデルを使用して当該第２データペアにおける各検索結果を順次に採点し、
当該第２データペアにおける２つの検索結果の間の点数差が、現在の単検索目標ソートモデルに対応する検索目標の差閾値を超えていると判定された場合に、現在の単検索目標ソートモデルに対応する検索目標を当該第２データペアの訓練検索目標とする、
請求項１２から１４のいずれか１項に記載の検索結果ソートモデルの訓練装置。 For each second data pair, the processing unit scores each search result in the second data pair using a plurality of single search goal sorting models corresponding to the plurality of search goals, and the processing unit scores each search result in the second data pair using a plurality of single search goal sorting models corresponding to the plurality of search goals, and When determining the training search goal for the second data pair based on the score corresponding to the search goal,
determining the scoring order of the plurality of single search goal sorting models according to the priority of the search goals;
For each second data pair, sequentially score each search result in the second data pair using a single search objective sorting model according to the scoring order;
If it is determined that the score difference between the two search results in the second data pair exceeds the difference threshold of the search goal corresponding to the current single search goal sorting model, the current single search goal sorting model a search goal corresponding to the second data pair as a training search goal for the second data pair;
The training device for a search result sorting model according to any one of claims 12 to 14. 前記第２訓練部は、前記複数の第２データペアにおけるクエリと、前記複数の第２データペアにおける各検索結果が全ての検索目標に対応する多目標特徴と、前記複数の第２データペアにおける各検索結果が前記訓練検索目標に対応する点数とに基づいて、前記第２事前訓練言語モデルを訓練して検索結果ソートモデルを得る場合に、
各第２データペアについて、当該第２データペアにおけるクエリと、当該第２データペアにおける前記訓練検索目標に対応する点数が高い検索結果とを正例データペアとして構成し、当該第２データペアにおけるクエリと、当該第２データペアにおける前記訓練検索目標に対応する点数が低い検索結果とを負例データペアとして構成し、
前記正例データペアにおけるクエリ及び検索結果が全ての検索目標に対応する多目標特徴、及び前記負例データペアにおけるクエリ及び検索結果が全ての検索目標に対応する多目標特徴を前記第２事前訓練言語モデルにそれぞれ入力して、前記第２事前訓練言語モデルが前記正例データペアについて出力する正例予測点数と、前記負例データペアについて出力する負例予測点数とを得、
前記正例予測点数と前記負例予測点数とに基づいて損失関数値を計算し、
前記損失関数値に基づいて、前記第２事前訓練言語モデルが収束するまで、前記第２事前訓練言語モデルのパラメータを調整して前記検索結果ソートモデルを得る、
請求項１２から１４のいずれか１項に記載の検索結果ソートモデルの訓練装置。 The second training unit includes a query in the plurality of second data pairs, a multi-objective feature in which each search result in the plurality of second data pairs corresponds to all search goals, and training the second pre-trained language model to obtain a search result sorting model based on the score of each search result corresponding to the training search objective;
For each second data pair, a query in the second data pair and a search result with a high score corresponding to the training search goal in the second data pair are configured as a positive example data pair, and configuring a query and a search result with a low score corresponding to the training search goal in the second data pair as a negative example data pair;
The second pre-training is performed on a multi-goal feature whose queries and search results in the positive example data pair correspond to all search goals, and a multi-goal feature whose queries and search results in the negative example data pair correspond to all search goals. each input into a language model to obtain a positive example prediction score output by the second pre-trained language model for the positive example data pair and a negative example prediction score output for the negative example data pair;
Calculating a loss function value based on the positive example predicted score and the negative example predicted score,
adjusting parameters of the second pre-trained language model based on the loss function value until the second pre-trained language model converges to obtain the search result sorting model;
The training device for a search result sorting model according to any one of claims 12 to 14. 前記第２事前訓練言語モデルが前記クエリと異なる目標特徴との間のアテンション計算、クエリとクエリとの間のアテンション計算、及び同じ目標特徴の間のアテンション計算のみを行うように、前記第２事前訓練言語モデルにおけるアテンションメカニズムを調整する調整部、をさらに備える、
請求項１２から１４の何れか１項に記載の検索結果ソートモデルの訓練装置。 The second pre-trained language model only performs attention calculations between the query and different target features, attention calculations between queries, and attention calculations between the same target features. further comprising an adjustment unit that adjusts the attention mechanism in the training language model;
The training device for a search result sorting model according to any one of claims 12 to 14. 検索結果ソート装置であって、
処理すべきクエリ及び前記クエリに対応する複数の検索結果を取得する第３取得部と、
各検索結果について、当該検索結果が全ての検索目標に対応する多目標特徴を取得する第４取得部と、
各検索結果について、前記処理すべきクエリと当該検索結果が全ての検索目標に対応する多目標特徴とを検索結果ソートモデルに入力して、前記検索結果ソートモデルが当該検索結果について出力する点数を取得する採点部と、
前記複数の検索結果の点数に基づいて前記複数の検索結果をソートするソート部とを備え、
前記検索結果ソートモデルは、請求項１２から１４のいずれか１項に記載の検索結果ソートモデルの訓練装置により訓練された、
検索結果ソート装置。 A search result sorting device,
a third acquisition unit that acquires a query to be processed and a plurality of search results corresponding to the query;
a fourth acquisition unit that acquires, for each search result, multi-goal features corresponding to all search goals;
For each search result, input the query to be processed and the multi-objective features for which the search result corresponds to all search goals into the search result sorting model, and calculate the score that the search result sorting model outputs for the search result. a scoring section to obtain;
a sorting unit that sorts the plurality of search results based on the scores of the plurality of search results,
The search result sorting model is trained by the search result sorting model training device according to any one of claims 12 to 14.
Search result sorting device. 前記第４取得部は、各検索結果について、当該検索結果が全ての検索目標に対応する多目標特徴を取得する場合に、
各検索結果について、当該検索結果の属性情報を取得し、
前記属性情報を、当該検索結果が全ての検索目標に対応する多目標特徴とする、
請求項２１に記載の検索結果ソート装置。 When the fourth acquisition unit acquires, for each search result, multi-goal features corresponding to all the search goals,
For each search result, obtain the attribute information of the search result,
The attribute information is a multi-goal feature whose search result corresponds to all search goals;
The search result sorting device according to claim 21. 少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信可能に接続されたメモリとを備え、
前記メモリに前記少なくとも１つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに請求項１から３のいずれか１項に記載の検索結果ソートモデルの訓練方法を実行させる電子デバイス。 at least one processor;
a memory communicatively connected to the at least one processor;
The memory stores a command executable by the at least one processor, and when the command is executed by the at least one processor, the at least one processor An electronic device for performing the described search result sorting model training method. コンピュータに請求項１から３のいずれか１項に記載の検索結果ソートモデルの訓練方法を実行させるためのコンピュータコマンドを記憶した非一時的なコンピュータ可読記憶媒体。 A non-transitory computer-readable storage medium storing computer commands for causing a computer to execute the method for training a search result sorting model according to any one of claims 1 to 3. プロセッサにより実行されると、請求項１から３のいずれか１項に記載の検索結果ソートモデルの訓練方法を実現するコンピュータプログラム。 A computer program that, when executed by a processor, implements the method for training a search result sorting model according to any one of claims 1 to 3.
JP2023038515A 2022-06-27 2023-03-13 Search result sorting model training method, search result sorting method, search result sorting model training device, search result sorting device, electronic device, computer readable medium, and computer program Pending JP2024003752A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210744647.X 2022-06-27
CN202210744647.XA CN115186163B (en) 2022-06-27 2022-06-27 Training of search result ranking model and search result ranking method and device

Publications (1)

Publication Number Publication Date
JP2024003752A true JP2024003752A (en) 2024-01-15

Family

ID=83515670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023038515A Pending JP2024003752A (en) 2022-06-27 2023-03-13 Search result sorting model training method, search result sorting method, search result sorting model training device, search result sorting device, electronic device, computer readable medium, and computer program

Country Status (2)

Country Link
JP (1) JP2024003752A (en)
CN (1) CN115186163B (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102553238B1 (en) * 2022-10-26 2023-07-06 서울대학교산학협력단 Method and apparatus for analyzing multi-target based on reinforcement learning for learning under-explored target

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102253998B (en) * 2011-07-12 2013-08-14 武汉大学 Method for automatically discovering and sequencing outdated webpage based on Web time inconsistency
US9514221B2 (en) * 2013-03-14 2016-12-06 Microsoft Technology Licensing, Llc Part-of-speech tagging for ranking search results
CN104077306B (en) * 2013-03-28 2018-05-11 阿里巴巴集团控股有限公司 The result ordering method and system of a kind of search engine
CN104462293A (en) * 2014-11-27 2015-03-25 百度在线网络技术（北京）有限公司 Search processing method and method and device for generating search result ranking model
CN104615767B (en) * 2015-02-15 2017-12-29 百度在线网络技术（北京）有限公司 Training method, search processing method and the device of searching order model
US10747817B2 (en) * 2017-09-29 2020-08-18 Rovi Guides, Inc. Recommending language models for search queries based on user profile
CN109299344B (en) * 2018-10-26 2020-12-29 Oppo广东移动通信有限公司 Generation method of ranking model, and ranking method, device and equipment of search results
CN111783452B (en) * 2020-06-30 2024-04-02 北京百度网讯科技有限公司 Model training method, information processing method, device, equipment and storage medium
CN112084435A (en) * 2020-08-07 2020-12-15 北京三快在线科技有限公司 Search ranking model training method and device and search ranking method and device
CN112100529B (en) * 2020-11-17 2021-03-19 北京三快在线科技有限公司 Search content ordering method and device, storage medium and electronic equipment
CN112307762B (en) * 2020-12-24 2021-04-30 完美世界(北京)软件科技发展有限公司 Search result sorting method and device, storage medium and electronic device
CN113360796A (en) * 2021-05-20 2021-09-07 北京三快在线科技有限公司 Data sorting method and device, and data sorting model training method and device
CN114281935A (en) * 2021-09-16 2022-04-05 腾讯科技（深圳）有限公司 Training method, device, medium and equipment for search result classification model

Also Published As

Publication number Publication date
CN115186163A (en) 2022-10-14
CN115186163B (en) 2023-04-07

Similar Documents

Publication Publication Date Title
US20210312139A1 (en) Method and apparatus of generating semantic feature, method and apparatus of training model, electronic device, and storage medium
WO2015135455A1 (en) Natural language question answering method and apparatus
JP7430820B2 (en) Sorting model training method and device, electronic equipment, computer readable storage medium, computer program
US10528662B2 (en) Automated discovery using textual analysis
WO2024131111A1 (en) Intelligent writing method and apparatus, device, and nonvolatile readable storage medium
KR20170055970A (en) Computer-implemented identification of related items
CN113553414B (en) Intelligent dialogue method, intelligent dialogue device, electronic equipment and storage medium
CN112487173A (en) Man-machine conversation method, device and storage medium
US11379527B2 (en) Sibling search queries
JP7308910B2 (en) WORD SLOT RECOGNITION METHOD, APPARATUS AND ELECTRONIC DEVICE
CN112925900B (en) Search information processing method, device, equipment and storage medium
JP2023015215A (en) Method and apparatus for extracting text information, electronic device, and storage medium
JP2023002690A (en) Semantics recognition method, apparatus, electronic device, and storage medium
EP3992814A2 (en) Method and apparatus for generating user interest profile, electronic device and storage medium
JP2024003752A (en) Search result sorting model training method, search result sorting method, search result sorting model training device, search result sorting device, electronic device, computer readable medium, and computer program
CN107239554B (en) Method for retrieving English text based on matching degree
WO2022227760A1 (en) Image retrieval method and apparatus, electronic device and computer-readable storage medium
CN112925912B (en) Text processing method, synonymous text recall method and apparatus
CN113033194B (en) Training method, device, equipment and storage medium for semantic representation graph model
JP5362807B2 (en) Document ranking method and apparatus
CN117076636A (en) Information query method, system and equipment for intelligent customer service
JP2024006944A (en) Semantic retrieval model training method, apparatus, electronic device, and storage medium
JP2019087157A (en) Word vector conversion apparatus, method and program
JP6326940B2 (en) Method and apparatus for evaluating phrases in intermediate language, and machine translation method and apparatus
CN114328855A (en) Document query method and device, electronic equipment and readable storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240507