JP2020047234A

JP2020047234A - Data evaluation method, device, apparatus, and readable storage media

Info

Publication number: JP2020047234A
Application number: JP2018208620A
Authority: JP
Inventors: フー，ヤン; Yang Hu; ウー，クイ; Kui Wu; ジュー，チュン; Qun Zhu
Original assignee: iFlytek Co Ltd
Current assignee: iFlytek Co Ltd
Priority date: 2018-09-20
Filing date: 2018-11-06
Publication date: 2020-03-26
Anticipated expiration: 2038-11-06
Also published as: CN109273023A; CN109273023B; JP6807909B2

Abstract

To provide a data evaluation method, a device, an apparatus, and readable storage media.SOLUTION: First evaluation waiting data is obtained, and the first evaluation waiting data is evaluated based on an evaluation model to obtain first evaluation results. The evaluation model can be obtained by performing training based on first calibration data. The first calibration data includes evaluation results for second evaluation waiting data by an expert. When the first evaluation results do not satisfy set results convergence conditions, second calibration data is obtained and until the current updated evaluation model is confirmed to satisfy set model update stop conditions, the evaluation model is repeatedly updated by the second calibration data. The second calibration data includes evaluation results for third evaluation waiting data by an expert. Based on the latest evaluation model, data evaluation is performed.SELECTED DRAWING: Figure 1

Description

本願は、機械学習技術分野に関し、より具体的には、データ評価方法、装置、機器及び読み取り可能な記憶媒体に関する。 The present application relates to the field of machine learning technology, and more specifically, to a data evaluation method, an apparatus, an apparatus, and a readable storage medium.

教育改革の深化に従って、学生たちは授業で、各教科の知識を学習できる。そして、学生たちの知識に対する把握程度を検査するために、試験形式で検査を行う必要が有る。口頭試験を例として、一般的には、口頭試験は一段の材料を与え、該材料に対して、若干の問題を設定する。受験生が材料を読んだ後に、それぞれの問題について、口頭形式で答えを提出して、例えば、朗読問題、問答問題などのものである。 As education reforms deepen, students can learn the knowledge of each subject in class. Then, in order to examine the degree of understanding of the students' knowledge, it is necessary to conduct the examination in an examination format. Taking an oral test as an example, in general, an oral test will give a layer of material and set some questions for that material. After the candidate has read the material, he or she submits an oral answer for each question, for example, a reading question, a question-and-answer question, and so on.

従来技術において、一般的には、人工により試験音声を評価し採点するように手配する。明らかに、このような方式は、大量の人件費を費やし、且つ試験音声の評価過程の全体の必要な時間も長い。 In the prior art, it is generally arranged to evaluate and score a test voice artificially. Obviously, such a scheme consumes a large amount of labor and the overall required time for the evaluation process of the test speech is long.

これに鑑みると、本願は、従来技術において、単純に人工による試験音声の評価を行う方式に存在する人件費が高くて必要な時間が長い問題を解決するために、データ評価方法、装置、機器及び読み取り可能な記憶媒体を提供する。 In view of this, the present application proposes a data evaluation method, an apparatus, and an apparatus for solving the problem of high labor cost and long time required in a method of simply evaluating an artificial test voice in the prior art. And a readable storage medium.

前記目的を実現するために、以下のような方案を提出し、即ち、
データ評価方法であって、
第１評価待ちデータを取得し、
評価モデルに基づき、前記第１評価待ちデータを評価することで、第１評価結果を得て、前記評価モデルは第１較正データに基づきトレーニングすることで得られて、前記第１較正データには専門家が第２評価待ちデータに対する評価結果が含まれ、
前記第１評価結果が設定された結果収束条件を満たしていなければ、第２較正データを取得するとともに、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定するまでに、前記第２較正データにより、前記評価モデルを反復更新し、前記第２較正データには専門家が第３評価待ちデータに対する評価結果が含まれ、
最新の評価モデルに基づき、データ評価を行う。 In order to achieve the above objectives, submit the following scheme:
A data evaluation method,
Obtain the first evaluation waiting data,
The first evaluation result is obtained by evaluating the first evaluation waiting data based on the evaluation model, and the evaluation model is obtained by training based on the first calibration data, and the first calibration data includes The expert includes the evaluation result for the data waiting for the second evaluation,
If the first evaluation result does not satisfy the set result convergence condition, the second calibration data is obtained and the current updated evaluation model is determined to satisfy the set model update stop condition until it is determined. The iterative update of the evaluation model is performed by the second calibration data, and the second calibration data includes an evaluation result for the third evaluation waiting data by an expert;
Data evaluation is performed based on the latest evaluation model.

好ましくは、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定する過程は、
現在の更新後の評価モデルにより、プリセットの検証セットにおいて検証を行って、検証結果を得ることと、
検証結果が設定された検証結果収束条件を満たしていると確定すると、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定することと、を含む。 Preferably, the step of determining that the current updated evaluation model satisfies the set model update stop condition includes:
With the current updated evaluation model, the verification is performed in the verification set of the preset to obtain the verification result,
Determining that the verification result satisfies the set verification result convergence condition includes determining that the current updated evaluation model satisfies the set model update stop condition.

好ましくは、前記現在の更新後の評価モデルにより、プリセットの検証セットにおいて検証を行って、検証結果を得ることは、
検証結果として、現在の更新後の評価モデルが検証セット内の検証サンプルに対する予測結果を取得することを含み、
前記検証結果が設定された検証結果収束条件を満たしていると確定すると、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定することは、
前記検証サンプルのマーク結果を基準として、前記検証サンプルの予測結果が設定された検証結果収束条件を満たしているかどうかを判定し、ＹＥＳであれば、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定すること、
または、
前の評価モデルが前記検証サンプルに対する予測結果を参照し、現在の更新後の評価モデルが前記検証サンプルに対する予測結果が設定された検証結果収束条件を満たしているかどうかを判定し、ＹＥＳであれば、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定することを含む。 Preferably, according to the current updated evaluation model, performing verification in a preset verification set to obtain a verification result,
The verification result includes that the current updated evaluation model obtains prediction results for the verification samples in the verification set;
When it is determined that the verification result satisfies the set verification result convergence condition, it is determined that the current updated evaluation model satisfies the set model update stop condition,
Based on the mark result of the verification sample, it is determined whether the prediction result of the verification sample satisfies the set verification result convergence condition, and if YES, the model in which the current updated evaluation model is set Confirm that the update suspension condition has been met,
Or
The previous evaluation model refers to the prediction result for the verification sample, and the current updated evaluation model determines whether the prediction result for the verification sample satisfies the set verification result convergence condition. And determining that the current updated evaluation model satisfies the set model update suspension condition.

好ましくは、前記第１較正データと前記第２較正データを取得する過程は、
汎用評価モデルの評価待ちデータに対する第２評価結果、及び人工評価主体の前記評価待ちデータに対する第３評価結果を取得することと、
各々の人工評価主体の前記評価待ちデータに対する第３評価結果、及び前記評価待ちデータの第２評価結果に応じて、各々の前記人工評価主体から、前記専門家を確定することと、
前記専門家により評価された評価待ちデータから、前記第１較正データと前記第２較正データを確定することと、を含む。 Preferably, the step of acquiring the first calibration data and the second calibration data includes:
Acquiring a second evaluation result of the general-purpose evaluation model with respect to the evaluation-waiting data, and a third evaluation result of the artificial evaluation subject with respect to the evaluation-waiting data;
A third evaluation result for the evaluation waiting data of each artificial evaluation subject, and, in accordance with a second evaluation result of the evaluation waiting data, determining the expert from each of the artificial evaluation subjects;
Determining the first calibration data and the second calibration data from the evaluation waiting data evaluated by the expert.

好ましくは、前記汎用評価モデルの評価待ちデータに対する第２評価結果を取得した後に、該方法はさらに、
前記第２評価結果を参照し、前記評価待ちデータから、人工評価の対象としての目標評価待ちデータを選択することを含み、
人工評価主体の前記評価待ちデータに対する第３評価結果を取得することは、
人工評価主体の前記目標評価待ちデータに対する第３評価結果を取得することを含む。 Preferably, after acquiring the second evaluation result for the evaluation waiting data of the general-purpose evaluation model, the method further comprises:
Referring to the second evaluation result, and selecting target evaluation waiting data as a target of artificial evaluation from the evaluation waiting data,
Acquiring a third evaluation result for the evaluation waiting data of the artificial evaluation subject,
Acquiring a third evaluation result for the target evaluation waiting data of the artificial evaluation subject.

好ましくは、前記第２評価結果は、第２評価得点または第２評価レベルであり、前記第２評価結果を参照し、前記評価待ちデータから、人工評価の対象としての目標評価待ちデータを選択することは、
各々の前記評価待ちデータの第２評価得点または第２評価レベルを参照し、正規分布のサンプリング方式に従って、各々の前記評価待ちデータから、人工評価の対象としての目標評価待ちデータを選択することを含む。 Preferably, the second evaluation result is a second evaluation score or a second evaluation level, and refers to the second evaluation result, and selects target evaluation waiting data as a target of artificial evaluation from the evaluation waiting data. The thing is
Referring to a second evaluation score or a second evaluation level of each of the evaluation waiting data, and selecting a target evaluation waiting data as an object of artificial evaluation from each of the evaluation waiting data according to a normal distribution sampling method. Including.

好ましくは、各々の前記人工評価主体の前記評価待ちデータに対する第３評価結果、及び前記評価待ちデータの第２評価結果に応じて、各々の前記人工評価主体から前記専門家を確定することは、
各々の人工評価主体の前記評価待ちデータに対する第３評価結果、及び前記評価待ちデータの第２評価結果に応じて、前記第３評価結果と前記第２評価結果との関連性を算出することと、
前記専門家として、関連性が設定関連性条件を満たしている第３評価結果に対応する人工評価主体を選択することと、を含む。 Preferably, determining the expert from each of the artificial evaluation subjects according to a third evaluation result of each of the artificial evaluation subjects for the evaluation pending data and a second evaluation result of the evaluation pending data,
Calculating a relevance between the third evaluation result and the second evaluation result according to a third evaluation result of the artificial evaluation subject with respect to the evaluation waiting data and a second evaluation result of the evaluation waiting data; ,
Selecting, as the expert, an artificial evaluation subject corresponding to the third evaluation result whose relevance satisfies the set relevance condition.

好ましくは、第２評価待ちデータと第３評価待ちデータは評価待ち音声であり、前記評価モデルには、第１評価サブモデル、第２評価サブモデル、第３評価サブモデルのうちの、少なくとも一つが含まれ、
前記第１評価サブモデルは、評価待ち音声の音響特徴を評価特徴として、評価待ち音声のマーク評価結果をラベルとして、ニューラルネットワークモデルをトレーニングすることで得られて、
前記第２評価サブモデルは、評価待ち音声の識別結果に対応するテキスト特徴を評価特徴として、評価待ち音声のマーク評価結果をラベルとして、畳み込みニューラルネットワークモデルをトレーニングすることで得られて、
前記第３評価サブモデルは、評価待ち音声の識別結果に対応するテキスト特徴を評価特徴として、評価待ち音声のマーク評価結果をラベルとして、再帰型ニューラルネットワークモデルをトレーニングすることで得られてる。 Preferably, the second evaluation waiting data and the third evaluation waiting data are voices waiting for evaluation, and the evaluation model includes at least one of a first evaluation submodel, a second evaluation submodel, and a third evaluation submodel. One,
The first evaluation sub-model is obtained by training a neural network model using the acoustic feature of the voice waiting for evaluation as an evaluation feature and the label evaluation result of the voice waiting for evaluation as a label.
The second evaluation sub-model is obtained by training a convolutional neural network model using, as an evaluation feature, a text feature corresponding to the identification result of the voice awaiting evaluation, and a label evaluation result of the voice awaiting evaluation as a label.
The third evaluation sub-model is obtained by training a recursive neural network model using a text feature corresponding to the identification result of the speech waiting for evaluation as an evaluation feature and a mark evaluation result of the speech waiting for evaluation as a label.

データ評価装置であって、
第１評価待ちデータを取得するための第１評価待ちデータ取得手段と、
評価モデルに基づき、前記第１評価待ちデータを評価することで、第１評価結果を得るための第１評価結果取得手段と、
前記第１評価結果が設定された結果収束条件を満たしていなければ、第２較正データを取得するための第２較正データ取得手段と、
現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定するまでに、前記第２較正データにより、前記評価モデルを反復更新するためのモデル更新手段と、
最新の評価モデルに基づき、データ評価を行うためのモデル評価手段と、を備え、
前記評価モデルは、第１較正データに基づきトレーニングすることで得られて、前記第１較正データには、専門家が第２評価待ちデータに対する評価結果が含まれ、前記第２較正データには、専門家が第３評価待ちデータに対する評価結果が含まれる。 A data evaluation device,
First evaluation waiting data acquiring means for acquiring first evaluation waiting data;
A first evaluation result acquisition unit for obtaining a first evaluation result by evaluating the first evaluation waiting data based on an evaluation model;
If the first evaluation result does not satisfy the set result convergence condition, a second calibration data acquisition unit for acquiring second calibration data;
Model updating means for repeatedly updating the evaluation model by the second calibration data until it is determined that the current updated evaluation model satisfies the set model update stop condition;
Model evaluation means for performing data evaluation based on the latest evaluation model,
The evaluation model is obtained by training based on first calibration data, wherein the first calibration data includes an evaluation result for the second evaluation waiting data by an expert, and the second calibration data includes The evaluation result of the third evaluation waiting data by the expert is included.

好ましくは、前記モデル更新手段により、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定する過程は、
現在の更新後の評価モデルにより、プリセットの検証セットにおいて検証を行って、検証結果を得ることと、
検証結果が設定された検証結果収束条件を満たしていると確定すれば、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定することと、を含む。 Preferably, the step of determining by the model updating means that the current updated evaluation model satisfies the set model update stop condition includes:
With the current updated evaluation model, the verification is performed in the verification set of the preset to obtain the verification result,
If it is determined that the verification result satisfies the set verification result convergence condition, it is determined that the current updated evaluation model satisfies the set model update stop condition.

好ましくは、前記モデル更新手段が現在の更新後の評価モデルにより、プリセットの検証セットにおいて検証を行って、検証結果を得る過程は、
検証結果として、現在の更新後の評価モデルの検証セット内の検証サンプルに対する予測結果を取得することを含み、
前記モデル更新手段により検証結果が設定された検証結果収束条件を満たしていると確定すれば、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定する過程は、
前記検証サンプルのマーク結果を基準として、前記検証サンプルの予測結果が設定された検証結果収束条件を満たしているかどうかを判定し、ＹＥＳであれば、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定すること、
または、
前の評価モデルの前記検証サンプルに対する予測結果を参照し、現在の更新後の評価モデルが前記検証サンプルに対する予測結果が設定された検証結果収束条件を満たしているかどうかを判定し、ＹＥＳであれば、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定することを含む。 Preferably, the step of the model updating means performing a verification in a preset verification set by the current updated evaluation model to obtain a verification result includes:
The verification result includes obtaining a prediction result for a verification sample in the verification set of the current updated evaluation model,
If it is determined that the verification result satisfies the verification result convergence condition set by the model updating means, the process of determining that the evaluation model after the current update satisfies the set model update stop condition,
Based on the mark result of the verification sample, it is determined whether the prediction result of the verification sample satisfies the set verification result convergence condition, and if YES, the model in which the current updated evaluation model is set Confirm that the update suspension condition has been met,
Or
With reference to the prediction result of the previous evaluation model for the verification sample, it is determined whether the current updated evaluation model satisfies the set verification result convergence condition for the prediction result for the verification sample, and if YES, And determining that the current updated evaluation model satisfies the set model update suspension condition.

好ましくは、前記第２較正データ取得手段は、
汎用評価モデルの評価待ちデータに対する第２評価結果を取得するための第２評価結果取得手段と、
人工評価主体の前記評価待ち音声に対する第３評価結果を取得するための第３評価結果取得手段と、
各々の人工評価主体の前記評価待ちデータに対する第３評価結果、及び前記評価待ちデータの第２評価結果に応じて、各々の前記人工評価主体から前記専門家を確定するための専門家確定手段と、
前記専門家により評価された評価待ちデータから、前記第２較正データを確定するため
の第２較正データ確定手段と、を備える。 Preferably, the second calibration data acquisition means includes:
Second evaluation result acquisition means for acquiring a second evaluation result for the evaluation waiting data of the general-purpose evaluation model;
Third evaluation result obtaining means for obtaining a third evaluation result for the evaluation waiting voice of the artificial evaluation subject;
Expert determination means for determining the expert from each artificial evaluation subject in accordance with a third evaluation result of each artificial evaluation subject for the evaluation waiting data and a second evaluation result of the evaluation waiting data; ,
A second calibration data determination unit configured to determine the second calibration data from the evaluation waiting data evaluated by the expert.

好ましくは、さらに、
前記汎用評価モデルの評価待ちデータに対する第２評価結果を取得した後に、前記第２評価結果を参照し、前記評価待ちデータから、人工評価の対象としての目標評価待ちデータを選択するための目標評価待ちデータ選択手段を備え、
前記第３評価結果取得手段により人工評価主体の前記評価待ち音声に対する第３評価結果を取得する過程は、
人工評価主体の前記目標評価待ちデータに対する第３評価結果を取得することを含む。 Preferably, further,
After acquiring a second evaluation result for the evaluation waiting data of the general-purpose evaluation model, referring to the second evaluation result, a target evaluation for selecting target evaluation waiting data as a target of artificial evaluation from the evaluation waiting data Equipped with waiting data selection means,
The step of acquiring a third evaluation result of the artificial evaluation subject with respect to the evaluation waiting voice by the third evaluation result acquisition means,
Acquiring a third evaluation result for the target evaluation waiting data of the artificial evaluation subject.

好ましくは、前記第２評価結果は、第２評価得点または第２評価レベルであり、前記目標評価待ちデータ選択手段は、
各々の前記評価待ちデータの第２評価得点または第２評価レベルを参照し、正規分布のサンプリング方式に従って、各々の前記評価待ちデータから、人工評価の対象としての目標評価待ちデータを選択するための正規分布サンプリング手段を備える。 Preferably, the second evaluation result is a second evaluation score or a second evaluation level, and the target evaluation waiting data selecting unit includes:
A second evaluation score or a second evaluation level of each of the evaluation waiting data is referred to, and a target evaluation waiting data as an object of artificial evaluation is selected from each of the evaluation waiting data in accordance with a normal distribution sampling method. A normal distribution sampling means is provided.

好ましくは、前記専門家確定手段は、
各々の人工評価主体の前記評価待ちデータに対する第３評価結果、及び前記評価待ちデータの第２評価結果に応じて、前記第３評価結果と前記第２評価結果との関連性を算出するための関連性算出手段と、
前記専門家として、関連性が設定関連性条件を満たしている第３評価結果に対応する人工評価主体を選択するための関連性スクリーニング手段と、を備える。 Preferably, the expert confirmation means,
A third evaluation result of the artificial evaluation subject with respect to the evaluation waiting data, and a relevance between the third evaluation result and the second evaluation result according to a second evaluation result of the evaluation waiting data. Relevance calculating means;
And a relevance screening means for selecting an artificial evaluation subject corresponding to the third evaluation result whose relevance satisfies the set relevance condition as the expert.

データ評価機器であって、
プログラムを記憶するためのメモリと、
上記記載のデータ評価方法の各ステップを実現するように、前記プログラムを実行するためのプロセッサーと、を備える。 A data evaluation device,
A memory for storing the program,
A processor for executing the program so as to realize each step of the data evaluation method described above.

コンピュータプログラムが記憶される読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサーにより実行される際に、上記記載のデータ評価方法の各ステップを実現する。 A readable storage medium storing a computer program, and realizes each step of the above-described data evaluation method when the computer program is executed by a processor.

前記の技術案から分かるように、本出願の実施例に提供されるデータ評価方法は、評価待ちデータから第２評価待ちデータを予め抽出し、専門家により、第２評価待ちデータを評価し、第１較正データを構成し、第１較正データにより評価モデルを予めトレーニングし、これに基づき、本願は評価待ちデータから、第１評価待ちデータを取得し、前記評価モデルに基づき、第１評価待ちデータを評価することで、第１評価結果を得て、第１評価結果が設定された結果収束条件を満たしていないと確定すれば、第２較正データを取得でき、該第２較正データは専門家が第３評価待ちデータに対する評価結果であってもよく、さらに、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定するまでに、第２較正データにより評価モデルを反復更新し、最新の評価モデルにより、データ評価を行う。このように、本案は、専門家により評価された結果を利用し、評価モデルを反復トレーニングするとともに、人工専門家と評価モデルとの結合により、データを評価し、従来において、単に人工専門家により評価を行う方式に比べると、本案のデータ評価の効率がより高くて、占める人件費がより低くて、そして評価にかかる時間がより短い。 As can be seen from the above technical proposal, the data evaluation method provided in the embodiment of the present application extracts the second evaluation waiting data from the evaluation waiting data in advance, evaluates the second evaluation waiting data by an expert, The first calibration data is configured, the evaluation model is pre-trained with the first calibration data, and based on this, the present application acquires the first evaluation waiting data from the evaluation waiting data, and based on the evaluation model, based on the first evaluation waiting data. If the first evaluation result is obtained by evaluating the data and it is determined that the first evaluation result does not satisfy the set result convergence condition, the second calibration data can be obtained, and the second calibration data is The house may be the evaluation result for the third evaluation waiting data, and further, the second calibration data may be obtained until it is determined that the current updated evaluation model satisfies the set model update stop condition. Repeated update more evaluation model, the latest of the evaluation model, performs the data evaluation. In this way, the present invention utilizes the results evaluated by the expert, repeatedly trains the evaluation model, and evaluates the data by combining the artificial expert and the evaluation model. Compared to the method of performing the evaluation, the data evaluation of the present invention is more efficient, occupies less labor cost, and the evaluation takes less time.

本出願の実施例または従来技術における技術案をより明らかに説明するために、以下は、実施例または従来技術に対する説明において利用する必要が有る図面を簡単に紹介し、
明らかに、以下に説明する図面は、本出願の実施例のみであり、当業者にとって、進歩性に値する労働をしない前提で、提供される図面に応じて、他の図面を取得できる。
本出願の実施例に開示されるデータ評価方法のフローチャートである。従来の口頭試験の音声評価過程の模式図を示す。本案の口頭試験の音声評価過程の模式図を示す。目標評価待ちデータを選択する正規分布のサンプリング方式の模式図を例示す。本出願の実施例に開示されるデータ評価装置の構成の模式図である。本出願の実施例に開示されるデータ評価機器のハードウェア構成のブロック図である。 In order to more clearly explain the embodiments of the present application or the technical solutions in the prior art, the following briefly introduces the drawings that need to be used in the description of the embodiments or the prior art,
Apparently, the drawings described below are only examples of the present application, and one of ordinary skill in the art may obtain other drawings depending on the drawings provided, provided that no labor worthy of the inventive step is performed.
4 is a flowchart of a data evaluation method disclosed in an embodiment of the present application. FIG. 4 shows a schematic diagram of a voice evaluation process of a conventional oral test. FIG. 3 shows a schematic diagram of a speech evaluation process of the oral test of the present invention. FIG. 3 shows an example of a schematic diagram of a normal distribution sampling method for selecting target evaluation waiting data. 1 is a schematic diagram of a configuration of a data evaluation device disclosed in an embodiment of the present application. FIG. 2 is a block diagram of a hardware configuration of a data evaluation device disclosed in an embodiment of the present application.

以下は、本出願の実施例の図面を結合し、本出願の実施例における技術案に対して、明瞭で、完全な説明を行って、明らかに、説明される実施例は全ての実施例ではなく、本出願の一部の実施例のみである。本出願における実施例に基づき、当業者が進歩性に値する労働をしない前提で取得する他の全ての実施例は、いずれも本出願の保護範囲に属する。 The following is a combination of the drawings of the embodiments of the present application, and a clear and complete description of the technical solutions in the embodiments of the present application will be given. Rather, only some embodiments of the present application. Based on the embodiments in the present application, all other embodiments obtained by a person skilled in the art on the premise of not performing labor worthy of the inventive step belong to the protection scope of the present application.

本出願の実施例は、データ処理能力を有する機器に適用されるデータ評価方案を提供する。本出願のデータ評価方案は、データ評価を行う必要がある各種のシーンに適用されてもよく、例えば、試験データ評価などである。評価待ちデータも多種であってもよく、例えば音声、テキスト、画像などの各種の形式である。 Embodiments of the present application provide a data evaluation scheme applied to a device having data processing capability. The data evaluation scheme of the present application may be applied to various scenes that require data evaluation, for example, test data evaluation. The data to be evaluated may be of various types, for example, in various formats such as voice, text, and image.

次は、図面１を結合し、本出願のデータ評価方法を紹介し、図１に示すように、該方法は、
第１評価待ちデータを取得するステップＳ１００を含む。 Next, the drawing 1 is combined to introduce the data evaluation method of the present application, and as shown in FIG.
Step S100 of acquiring first evaluation waiting data is included.

具体的には、データ評価シーンにおける、データ評価を行う必要が有る全てのデータを、評価待ちデータとする。当該ステップにおいて、第１評価待ちデータとして、評価待ちデータから、一部の評価待ちデータを取得する。 Specifically, all data in the data evaluation scene that needs to be subjected to data evaluation are set as evaluation waiting data. In this step, a part of the evaluation wait data is acquired from the evaluation wait data as the first evaluation wait data.

なお、第１評価待ちデータの数は厳しく限定されない。 Note that the number of first evaluation waiting data is not strictly limited.

ステップＳ１１０で、評価モデルに基づき、前記第１評価待ちデータを評価し、第１評価結果を得る。 In step S110, the first evaluation waiting data is evaluated based on the evaluation model, and a first evaluation result is obtained.

前記評価モデルは、第１較正データに基づきトレーニングすることで得られて、前記第１較正データには、専門家が第２評価待ちデータに対する評価結果が含まれる。 The evaluation model is obtained by training based on first calibration data, and the first calibration data includes an evaluation result for the second evaluation waiting data by an expert.

第２評価待ちデータも評価待ちデータから抽出される。 The second evaluation waiting data is also extracted from the evaluation waiting data.

本出願の方案は、評価待ちデータから一定数の第２評価待ちデータを予め抽出し、人工評価をするように専門家に任せて、専門家の第２評価待ちデータに対する評価結果を第１較正データとしてもよい。第１較正データにより評価モデルをトレーニングする。第１較正データによりトレーニングされた後の評価モデルに基づき、前のステップで取得された第１評価待ちデータを評価でき、第１評価結果を得る。 The solution of the present application is to extract a predetermined number of second evaluation waiting data from the evaluation waiting data in advance, leave it to an expert to perform an artificial evaluation, and perform the first calibration on the evaluation result of the expert for the second evaluation waiting data. It may be data. Training the evaluation model with the first calibration data. Based on the evaluation model trained by the first calibration data, the first evaluation waiting data acquired in the previous step can be evaluated, and a first evaluation result is obtained.

ステップＳ１２０で、前記第１評価結果が設定された結果収束条件を満たしていなければ、第２較正データを取得するとともに、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定するまでに、前記第２較正データにより、前記評価モデルを反復更新する。 In step S120, if the first evaluation result does not satisfy the set result convergence condition, the second calibration data is obtained, and the current updated evaluation model satisfies the set model update stop condition. Until the determination is made, the evaluation model is repeatedly updated with the second calibration data.

具体的には、本案は、第１評価結果に対して収束判定を行うための、結果収束条件を予め設定してもよく、第１評価結果が結果収束条件を満たしていなければ、第１較正データに基づきトレーニングされた評価モデルが十分に優秀になるようにトレーニングされていないことを示し、さらに、第２較正データを取得し、反復更新を継続的に行う必要が有る。結果収束条件は多種であってもよく、例えば、専門家により、第１評価待ちデータまたはその一部の評価待ちデータを評価するとともに、専門家による評価結果を基準として、第１評価結果を専門家による評価結果にマッチングし、さらに、マッチング結果に応じて、設定された結果収束条件を満たしているかどうかを確定する。 Specifically, in the present invention, the result convergence condition for performing the convergence determination on the first evaluation result may be set in advance, and if the first evaluation result does not satisfy the result convergence condition, the first calibration It indicates that the evaluation model trained on the data has not been trained to be sufficiently good, and furthermore, it is necessary to acquire the second calibration data and continuously perform the iterative update. The result convergence condition may be of various types. For example, the expert evaluates the first evaluation data or a part of the evaluation data, and specializes the first evaluation result based on the evaluation result by the expert. It matches with the evaluation result by the house, and further determines whether or not the set result convergence condition is satisfied according to the matching result.

説明する必要があるのは、第１較正データに基づきトレーニングされた評価モデルは、既に十分に優秀になっている可能性があり、そうすると、評価モデルが第１評価待ちデータに対して評価した第１評価結果は、設定された結果収束条件を満たしている。さらに、第１較正データに基づきトレーニングされた評価モデルは、まだ十分に優秀ではない可能性があり、つまり、第１較正データのデータ量は十分ではない可能性があり、トレーニングされた評価モデルは十分に優秀ではないことにつながる。この場合に、当該ステップにおいて、さらに第２較正データを取得し、評価モデルに対して反復更新し、当該第２較正データには専門家が第３評価待ちデータに対する評価結果が含まれる。なお、第３評価待ちデータは、評価待ちデータから抽出された一定数の評価待ちデータであってもよい。第３評価待ちデータは第２評価待ちデータと違ってもよい。 It is necessary to explain that the evaluation model trained based on the first calibration data may already be sufficiently good, so that the evaluation model has evaluated the first evaluation data against the waiting data. One evaluation result satisfies the set result convergence condition. Furthermore, the evaluation model trained based on the first calibration data may not be sufficiently good yet, that is, the data amount of the first calibration data may not be sufficient, and the trained evaluation model may be It leads to not being good enough. In this case, in this step, the second calibration data is further acquired, and the evaluation model is repeatedly updated, and the second calibration data includes an evaluation result for the third evaluation waiting data by the expert. Note that the third evaluation wait data may be a fixed number of evaluation wait data extracted from the evaluation wait data. The third evaluation waiting data may be different from the second evaluation waiting data.

同時に、本案は、さらに、モデル更新停止条件を予め設定してもよく、第２較正データに基づき更新された評価モデルを判定するために用いられ、モデル更新停止条件に達するかどうかを確定する。 At the same time, the present invention may further set a model update stop condition in advance, which is used to determine the updated evaluation model based on the second calibration data, and determines whether the model update stop condition is reached.

説明する必要があるのは、当該ステップにおいて、第２較正データを取得するラウンド数は複数のラウンドを有してもよく、各々のラウンドで一定量の第２較正データを取得した後に、現在の更新後の評価モデルがモデル更新停止条件を満たしていると確定するまでに、第２較正データにより、評価モデルを反復更新する。ここで、第２較正データの取得を停止してもよい。 It is necessary to explain that in this step, the number of rounds for acquiring the second calibration data may have a plurality of rounds, and after acquiring a certain amount of the second calibration data in each round, The evaluation model is repeatedly updated with the second calibration data until it is determined that the updated evaluation model satisfies the model update stop condition. Here, the acquisition of the second calibration data may be stopped.

ステップＳ１３０で、最新の評価モデルに基づき、データ評価を行う。 In step S130, data evaluation is performed based on the latest evaluation model.

理解できるのは、前記第１評価結果が設定されたモデル更新停止条件を満たしていると、第１較正データに基づきトレーニングされた評価モデルは十分に優秀になっていることを示し、直接的に、第１較正データに基づきトレーニングされた評価モデルを最新の評価モデルとしてもよい。さらに、前記第１評価結果が設定されたモデル更新停止条件を満たしていなければ、第２較正データにより、現在の更新後の評価モデルがモデル更新停止条件を満たすまでに、反復に評価モデルを更新し、現在の更新後の評価モデルを最新の評価モデルとする。 It can be understood that when the first evaluation result satisfies the set model update stop condition, it indicates that the evaluation model trained based on the first calibration data is sufficiently excellent. The evaluation model trained based on the first calibration data may be used as the latest evaluation model. Further, if the first evaluation result does not satisfy the set model update stop condition, the evaluation model is repeatedly updated by the second calibration data until the current updated evaluation model satisfies the model update stop condition. Then, the current updated evaluation model is used as the latest evaluation model.

最新の評価モデルを得た後に、最新の評価モデルに基づき、データ評価を行うことができる。 After obtaining the latest evaluation model, data evaluation can be performed based on the latest evaluation model.

理解できるのは、最新の評価モデルにより、全ての評価待ちデータを評価してもよく、または最新の評価モデルにより、評価待ちデータにおける、専門家による人工評価以外の他の評価待ちデータを評価してもよく、または、評価待ちデータにおける、専門家による人工評価及び、更新段階の各々評価モデルにより評価された評価データ以外の、他の評価待ちデータを評価してもよい。最新の評価モデルの具体的な使用方式は必要に応じて設定できる。 It is understood that the latest evaluation model may be used to evaluate all data pending evaluation, or the latest evaluation model may be used to evaluate other data in the data pending evaluation other than artificial evaluation by experts. Alternatively, in the data to be evaluated, other data to be evaluated other than the artificial evaluation by the expert and the evaluation data evaluated by the evaluation model in each of the update stages may be evaluated. The specific method of using the latest evaluation model can be set as needed.

本出願の実施例に提供されるデータ評価方法は、評価待ちデータから第２評価待ちデータを予め抽出するとともに、専門家により第２評価待ちデータを評価し、第１較正データを構成し、予め第１較正データにより評価モデルをトレーニングしてもよく、これに基づき、本出願は、評価待ちデータから第１評価待ちデータを取得し、前記評価モデルに基づき、第１評価待ちデータを評価し、第１評価結果を得て、第１評価結果が設定された結果収束条件を満たしていないと確定すれば、第２較正データを取得でき、当該第２較正データは専門家の第３評価待ちデータに対する評価結果であってもよく、さらに、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定するまでに、第２較正データにより評価モデルを反復更新し、最新の評価モデルによりデータ評価を行う。このように、本案は専門家による評価の結果で、評価モデルを反復トレーニングするとともに、人工専門家と評価モデルとの結合により、データを評価し、従来において、単に人工専門家により評価を行う方式に比べると、本案のデータ評価の効率がより高くて、占める人件費がより低くて、そして評価にかかる時間がより短い。 The data evaluation method provided in the embodiment of the present application extracts the second evaluation waiting data from the evaluation waiting data in advance, evaluates the second evaluation waiting data by an expert, configures the first calibration data, and The evaluation model may be trained with the first calibration data, based on which the present application obtains the first evaluation data from the evaluation data, evaluates the first evaluation data based on the evaluation model, If the first evaluation result is obtained and it is determined that the first evaluation result does not satisfy the set result convergence condition, the second calibration data can be obtained, and the second calibration data is the third evaluation waiting data of the expert. The evaluation model may be evaluated by the second calibration data until the current updated evaluation model satisfies the set model update stop condition. Recovery update, perform the data evaluated by the most recent evaluation model. In this way, the present invention evaluates data by combining the evaluation model with the artificial expert while repeatedly training the evaluation model based on the result of the evaluation by the expert. Compared with, the data evaluation of the present invention is more efficient, occupies lower labor cost and takes less time to evaluate.

説明する必要があるのは、本案において、専門家がリアルタイムに評価待ちデータを評価し、評価結果を得ることができ、且つ専門家による評価過程と評価モデルのトレーニング及び評価の過程とは同期に実行されることができ、つまり、全体のデータ評価の過程において、専門家により人工評価しつつ、専門家による人工評価の結果を利用して評価モデルをトレーニングしつつ、トレーニングされた評価モデルで評価待ちデータを評価し、この三つのステップは同期に行われる。無論、評価モデルに対するトレーニングが設定されたモデル更新停止条件に達すると確定した場合に、評価モデルが最適の状態に達する。その後、専門家が人工評価を停止してもよく、または、評価モデルにより評価できない一部の問題タイプのみに対して、人工評価を行ってもよく、そうすると、専門家のコストを浪費しない上に、トレーニングにより最適の評価モデルを得ることも保証できる。 It is necessary to explain that in this case, the expert can evaluate the data waiting for evaluation in real time and obtain the evaluation result, and the evaluation process by the expert and the training and evaluation process of the evaluation model are synchronized. Can be performed, i.e., in the course of the overall data evaluation, the artificial evaluation by the expert, the evaluation model is trained using the result of the artificial evaluation by the expert, and the evaluation is performed by the trained evaluation model. The waiting data is evaluated, and these three steps are performed synchronously. Of course, when it is determined that the training for the evaluation model reaches the set model update stop condition, the evaluation model reaches the optimum state. Subsequently, the expert may stop the artificial evaluation, or may perform the artificial evaluation only on some problem types that cannot be evaluated by the evaluation model, so that the expert's cost is not wasted and In addition, it is possible to guarantee that an optimal evaluation model is obtained by training.

例を挙げて、以下のように説明して、即ち、
まずは、専門家により評価された３００分の較正データを取得し、該３００分の較正データにより評価モデルをトレーニングし、トレーニングされた第１評価モデルを得る。さらに、評価待ちデータから、１００分の評価待ちデータを取得し、第１評価モデルにより、１００分の評価待ちデータを評価し、第１評価結果を得る。第１評価結果が設定された結果収束条件を満たしているかどうかを確定し、満たしていなければ、さらに専門家により評価された他の３００分の較正データを取得するとともに、新たに取得された３００分の較正データにより、第１評価モデルを反復トレーニングし、トレーニングされた第２評価モデルを得る。第２評価モデルが設定されたモデル更新停止条件を満たしているかどうかを判定し、ＮＯであれば、専門家により評価された新たな較正データを継続的に取得し、及び評価モデルを継続的に反復トレーニングし検証し、ＹＥＳであれば、トレーニングされた評価モデルが十分に優秀になり、最新の評価モデルとして利用することができることを示し、そして、専門家に評価待ちデータに対する評価を停止させることができる。 By way of example, it is explained as follows:
First, 300 minutes of calibration data evaluated by an expert is acquired, and an evaluation model is trained using the 300 minutes of calibration data to obtain a trained first evaluation model. Further, 100-minute evaluation waiting data is acquired from the evaluation waiting data, and the 100-minute evaluation waiting data is evaluated by the first evaluation model to obtain a first evaluation result. It is determined whether or not the first evaluation result satisfies the set result convergence condition. If not, the other 300 minutes of calibration data evaluated by the expert are further obtained, and the newly obtained 300 The first evaluation model is iteratively trained with the minute calibration data to obtain a trained second evaluation model. It is determined whether the second evaluation model satisfies the set model update stop condition, and if NO, continuously obtains new calibration data evaluated by the expert, and continuously executes the evaluation model. Iterative training and validation; if YES, indicate that the trained evaluation model is sufficiently competent and can be used as the latest evaluation model, and have the expert stop evaluating the pending data Can be.

また説明する必要があるのは、本出願の実施例において、タイプが異なる複数の評価モデルを予めに設置してもよく、各々のタイプの評価モデルがいずれも前記フローに応じて利用され、且つそれぞれトレーニングされることで、最適の状態に達する。さらに、トレーニングされたタイプが異なる複数の評価モデルを結合し利用してもよい。または、タイプが異なる複数の評価モデルに対して、同一の検証セットにおいて、効果照合を行って、最終に利用されるモデルとして、効果が最適の評価モデルを選定してもよい。 It is also necessary to explain that, in the embodiment of the present application, a plurality of evaluation models of different types may be set in advance, and each type of evaluation model is used according to the flow, and By being trained individually, you reach the optimal state. Further, a plurality of evaluation models having different types of training may be combined and used. Alternatively, effect evaluation may be performed on a plurality of evaluation models of different types in the same verification set, and an evaluation model with the optimum effect may be selected as a model finally used.

評価待ちデータが評価待ち音声であることを例として説明し、本実施例において、タイプが異なる三つの評価モデルを例示し、それぞれ、第１評価サブモデル、第２評価サブモデル、第３評価サブモデルであり、
第１評価サブモデルであって、
第１評価サブモデルは、評価待ち音声の音響特徴を評価特徴として、評価待ち音声のマーク評価結果をラベルとして、ニューラルネットワークモデルをトレーニングすることで得られる。 An example in which the evaluation-waiting data is the evaluation-waiting voice will be described. In this embodiment, three evaluation models of different types are exemplified, and a first evaluation sub-model, a second evaluation sub-model, and a third evaluation sub-model are respectively provided. Model
A first evaluation submodel,
The first evaluation sub-model is obtained by training the neural network model using the acoustic features of the speech waiting for evaluation as evaluation features and the mark evaluation results of the speech waiting for evaluation as labels.

具体的には、評価特徴として、評価待ち音声の音響特徴を抽出し、主に、発音の正確性、流暢性、完全性が含まれる。さらに、履歴経験データと人工マーク結果で、第１評価サブモデルをトレーニングし、当該第１評価サブモデルはＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ、サポートベクターマシン）、ＬＲ（ＬｏｇｉｓｔｉｃＲｅｇｒｅｓｓｉｏｎ、ロジスティック回帰）などの構成のニューラルネットワークモデルであってもよい。 Specifically, as the evaluation features, the acoustic features of the voice waiting for evaluation are extracted, and mainly include the accuracy of pronunciation, fluency, and completeness. Further, the first evaluation sub-model is trained on the basis of the history experience data and the artificial mark result, and the first evaluation sub-model has a configuration of SVM (Support Vector Machine, support vector machine), LR (Logistic Regression, logistic regression) or the like. It may be a neural network model.

第２評価サブモデルであって、
第２評価サブモデルは、評価待ち音声の識別結果に対応するテキスト特徴を評価特徴として、評価待ち音声のマーク評価結果をラベルとして、畳み込みニューラルネットワークモデルをトレーニングすることで得られる。 A second evaluation submodel,
The second evaluation sub-model is obtained by training a convolutional neural network model using a text feature corresponding to the identification result of the speech waiting for evaluation as an evaluation feature and a mark evaluation result of the speech waiting for evaluation as a label.

具体的には、評価特徴として、評価待ち音声の識別結果からテキスト特徴を抽出する。受験生の言語表現水準を第２評価サブモデルの出力目標として、口頭試験の範囲内にある言語組織水準レベル分類による第２評価サブモデルを設計し、第２評価サブモデルが評価待ち音声の識別結果に基づき、受験生の言語水準能力を分析し、受験生の口頭水準レベルを判定できる。 Specifically, a text feature is extracted from the identification result of the voice waiting for evaluation as the evaluation feature. Designing a second evaluation submodel based on the language organization level level classification within the range of the oral examination, with the linguistic expression level of the examinee as the output target of the second evaluation submodel, Based on the above, the examinee's language level ability can be analyzed to determine the oral level of the examinee.

第２評価サブモデルは、ＣＮＮ畳み込みニューラルネットワークを採用してもよく、それはテキストにおける局部の重要情報を抽出できるとともに、多層畳み込み方式で、局部から全体までの情報の抽出を実現する。当該第２評価サブモデルは、学生の高水準の表現方式を識別できる。 The second evaluation sub-model may employ a CNN convolutional neural network, which can extract local important information in the text and realizes the extraction of information from local to whole in a multi-layer convolution manner. The second evaluation sub-model can identify a high-level expression style of the student.

第３評価サブモデルであって、
第３評価サブモデルは、評価待ち音声の識別結果に対応するテキスト特徴を評価特徴として、評価待ち音声のマーク評価結果をラベルとして、再帰型ニューラルネットワークモデルをトレーニングすることで得られる。 A third evaluation sub-model,
The third evaluation sub-model is obtained by training a recursive neural network model using a text feature corresponding to the identification result of the voice waiting for evaluation as an evaluation feature and a label evaluation result of the voice waiting for evaluation as a label.

具体的には、評価特徴として、評価待ち音声の識別結果から、テキスト特徴を抽出してもよい。第３評価サブモデルは、ＲＮＮ再帰型ニューラルネットワークを採用してもよく、それはテキストのシーケンスセマンティクスとロジック情報を抽出できるから、受験生のテキスト理解に適切である。 Specifically, a text feature may be extracted from the identification result of the voice waiting for evaluation as the evaluation feature. The third evaluation sub-model may employ an RNN recursive neural network, which is suitable for the examinee's understanding of the text because it can extract the sequence semantics and logic information of the text.

本出願の他の実施例において、前記ステップＳ１２０における、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定する過程に対して説明する。 In another embodiment of the present application, a process of determining in step S120 that the current updated evaluation model satisfies the set model update stop condition will be described.

オプショナルな形態であって、現在の更新後の評価モデルにより、プリセットの検証セットにおいて検証し、検証結果を得て、さらに検証結果が設定された検証結果収束条件を満たしているかどうかを判定し、検証結果が設定された検証結果収束条件を満たしていると確定すれば、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定する。 In an optional form, the current updated evaluation model verifies the preset verification set, obtains the verification result, and determines whether the verification result satisfies the set verification result convergence condition, If it is determined that the verification result satisfies the set verification result convergence condition, it is determined that the current updated evaluation model satisfies the set model update stop condition.

検証セットには、複数の検証サンプルが含まれてもよく、これらの検証サンプルには評価結果がマークされていてもよく、評価結果がマークされていなくてもよい。 The verification set may include a plurality of verification samples, and these verification samples may or may not be marked with evaluation results.

検証結果を得る過程は、
検証結果として、現在の更新後の評価モデルが検証セット内の検証サンプルに対する予測結果を取得することを含んでもよい。 The process of obtaining the verification results
The verification result may include that the current updated evaluation model obtains a prediction result for a verification sample in the verification set.

これに基づき、検証サンプルに評価結果がマークされていると、検証結果が設定された検証結果収束条件を満たしているかどうかを判定する過程は、
前記検証サンプルのマーク結果を基準として、前記検証サンプルの予測結果が設定された検証結果収束条件を満たしているかどうかを判定し、ＹＥＳであれば、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定することを含んでもよい。 Based on this, when the evaluation result is marked on the verification sample, the process of determining whether the verification result satisfies the set verification result convergence condition includes:
Based on the mark result of the verification sample, it is determined whether the prediction result of the verification sample satisfies the set verification result convergence condition, and if YES, the model in which the current updated evaluation model is set It may include determining that the update stop condition is satisfied.

具体的には、検証サンプルの予測結果とマーク結果とを比較し、検証サンプルの予測結果が設定された検証結果収束条件を満たしているかどうかを判定してもよく、例えば、予測結果とマーク結果との差分値が、設定された差分値の範囲にあるかどうかを判定してもよい。 Specifically, the prediction result of the verification sample and the mark result may be compared to determine whether the prediction result of the verification sample satisfies the set verification result convergence condition. May be determined as to whether or not the difference value between is within the set difference value range.

さらに、検証サンプルに評価結果がマークされていなければ、検証結果が設定された検証結果収束条件を満たしているかどうかを判定する過程は、
前の評価モデルが前記検証サンプルに対する予測結果を参照し、現在の更新後の評価モデルが前記検証サンプルに対する予測結果が設定された検証結果収束条件を満たしているかどうかを判定し、ＹＥＳであれば、現在の更新後の評価モデルがモデル停止更新条件を満たしていると確定することを含んでもよい。 Further, if the evaluation result is not marked on the verification sample, the process of determining whether the verification result satisfies the set verification result convergence condition includes:
The previous evaluation model refers to the prediction result for the verification sample, and the current updated evaluation model determines whether the prediction result for the verification sample satisfies the set verification result convergence condition. And determining that the current updated evaluation model satisfies the model stop update condition.

具体的には、検証サンプルに評価結果がマークされていない場合に、前後二つの評価モデルが検証サンプルに対する予測結果を比較することで、現在の更新後の評価モデルが検証サンプルに対する予測結果が設定された検証結果収束条件を満たしているかどうかを判定し、例えば、現在の更新後の評価モデルが検証サンプルに対する予測結果と、前の評価モデルが前記検証サンプルに対する予測結果との差分値が、設定された差分値の範囲の内にあるなど。 Specifically, when the evaluation result is not marked for the verification sample, the two evaluation models before and after compare the prediction result for the verification sample, and the current updated evaluation model sets the prediction result for the verification sample. It is determined whether or not the verification result convergence condition is satisfied, for example, the difference between the current updated evaluation model prediction result for the verification sample and the previous evaluation model prediction result for the verification sample is set. Within the range of the given difference value.

本出願の他の実施例において、前記実施例に言及された、評価モデルをトレーニングするための第１較正データと第２較正データとを取得する過程を紹介する。 In another embodiment of the present application, a process of acquiring the first calibration data and the second calibration data for training the evaluation model, which is referred to the above embodiment, will be described.

その前に、本実施例は、まず口頭試験のシーンを例として、口頭試験音声の評価の過程を紹介する。図２に示すように、口頭試験音声の評価の過程は、四つの部分に細分されてもよく、それぞれは、
Ｐａｒｔ１：試験音声の纏まり及び人工による較正専門家の選定。 Before this, the present embodiment first introduces a process of evaluating an oral test voice by taking an oral test scene as an example. As shown in FIG. 2, the process of evaluating the oral test speech may be subdivided into four parts,
Part 1: Selection of test voices and artificial calibration experts.

ここで、試験音声は、受験生が口頭試験の内容に対して提出した返答音声である。さらに、従来技術において、第１バッチの較正専門家を組織する必要が有り、当該較正専門家は採点標準を確定し、較正専門家は強い専門水準を有する必要が有る。 Here, the test voice is a reply voice submitted by the examinee to the contents of the oral test. Furthermore, in the prior art, it is necessary to organize a first batch of calibration experts, who have established a scoring standard and the calibration experts need to have strong professional standards.

Ｐａｒｔ２：経験に応じて、較正セットの規模を推定し、較正セットを選定する。較正セットは一般的に、全ての受験生の試験音声における、代表性を有する試験音声からなる。較正セットを確定した後に、人工較正をするように、較正専門家に任せて、つまり、較正専門家により、較正セット内の試験音声を評価し採点し、点数の高さが受験生の口頭水準を示す。較正セット内の試験音声が評価され採点された後に、トレーニングデータとして、音声評価モデルをトレーニングし、トレーニング後の音声評価モデルを得る。 Part 2: Estimate the scale of the calibration set and select a calibration set based on experience. A calibration set generally consists of representative test speeches in all test speeches. After confirming the calibration set, it is left to a calibration expert to perform artificial calibration, i.e. the calibration expert evaluates and scores the test speech in the calibration set, and the high score indicates the verbal level of the candidate. Show. After the test voices in the calibration set are evaluated and scored, the voice evaluation model is trained as training data to obtain a post-training voice evaluation model.

Ｐａｒｔ３：第２バッチの採点専門家を組織する。ここで、説明する必要があるのは、
口頭試験内容において、一部の問題タイプは音声評価モデルにより採点でき、例えば、朗読問題などであり、また、一部の自由開放性の問題タイプが存在し、該部分の問題タイプは音声評価モデルによる採点効果が理想ではないから、人工による採点を必要とする。ここで、第２バッチの採点専門家は、主に当該部分の音声評価モデルによる採点効果が理想ではない問題タイプに対して、人工の評価採点を行う。また、音声評価モデルにより採点可能な問題タイプに対して、前のステップにおいてトレーニング後の音声評価モデルにより評価し採点する。 Part 3: Organize a second batch of scoring experts. What needs to be explained here is
In the content of the oral examination, some question types can be scored by a voice evaluation model, for example, a reading question, etc., and there are some free open question types, and the question type of the part is a voice evaluation model. Since the scoring effect is not ideal, artificial scoring is required. Here, the scoring expert of the second batch mainly performs artificial evaluation and scoring for a question type in which the scoring effect of the voice evaluation model of the part is not ideal. In the previous step, a question type that can be scored by the voice evaluation model is evaluated and scored by the voice evaluation model after training.

Ｐａｒｔ４：前のステップにおいて、人工による採点された問題タイプの得点と、音声評価モデルによる採点された問題タイプとの得点を合併することで、纏まりの得点を得る。 Part 4: In the previous step, the scores of the artificially graded question type and the scores of the question type graded by the speech evaluation model are merged to obtain a combined score.

前記フローを分析し分かるように、以下の欠陥が存在し、即ち、
１、Ｐａｒｔ１のステップにおいて、人工により較正専門家を選定する必要が有るから、人工経験の影響を受けやすくて、選択される較正専門家の専門能力が不均一である恐れがあり、さらに、較正専門家により評価される試験音声をトレーニングデータとしてトレーニングされる口頭試験評価モデルにも偏差が発生し、最終の評価の正確度に影響する恐れがある。 As can be seen by analyzing the flow, the following defects exist:
1. In the step of Part 1, it is necessary to select a calibration expert by artificial means. Therefore, the calibration expert is liable to be affected by the artificial experience, and the expertise of the selected calibration expert may be uneven. An oral test evaluation model that is trained using test speech evaluated by an expert as training data also has a deviation, which may affect the accuracy of the final evaluation.

２、Ｐａｒｔ２のステップにおいて、人工により、経験に応じて、較正セットの規模を推定する必要が有り、当該較正セットの規模は口頭試験評価モデルのトレーニングセットの規模であり、明らかに、人工により推定される規模は最適の結果ではない可能性が高くて、さらに、モデルのトレーニングの効果が悪くて、最終の評価の正確度に影響する。 2. In the step of Part 2, it is necessary to artificially estimate the size of the calibration set according to experience, and the size of the calibration set is the size of the training set of the oral test evaluation model. The scale that is performed is likely to be less than optimal, and furthermore, the training of the model will be less effective and will affect the accuracy of the final evaluation.

３、Ｐａｒｔ１とＰａｒｔ３との二つのステップにおいて、合計に両バッチの専門家、つまり、第１バッチの較正専門家、及び第２バッチの採点専門家を組織する必要が有るから、全体の口頭試験の評価フローが複雑になり、期間が長くなる。 3. In the two steps of Part1 and Part3, it is necessary to organize experts of both batches, that is, a calibration expert of the first batch and a scoring expert of the second batch, so that the entire oral examination The evaluation flow becomes complicated and the period becomes long.

前記紹介された試験音声の評価フローの欠陥に基づき、本実施例は前記言及された欠陥を解決できる、第１較正データと第２較正データを取得する方式を提供し、該取得過程は以下を含んでもよく、
Ｓ１で、汎用評価モデルが評価待ちデータに対する第２評価結果、及び人工評価主体が前記評価待ちデータに対する第３評価結果を取得する。 Based on the defect of the introduced test voice evaluation flow, the present embodiment provides a method of acquiring the first calibration data and the second calibration data, which can solve the above-mentioned defect, and the acquiring process includes the following. May include
In S1, the general-purpose evaluation model acquires the second evaluation result for the data waiting for evaluation, and the artificial evaluation subject acquires the third evaluation result for the data waiting for evaluation.

口頭試験のシーンを例として、評価待ちデータは、受験生が口頭試験の問題に対する返答音声であってもよい。なお、汎用評価モデルは、例年の口頭試験音声及び評価結果に応じてトレーニングされ、試験音声を評価するための音声評価モデルであってもよい。汎用音声評価モデルの予測正確度が高いが、異なる地域に対して、採点スケールに僅かな差がある可能性があるから、異なる地域に対して、マッチングする音声評価モデルをトレーニングする必要が有り、精度がより高い音声評価を実現する。 Taking the scene of the oral examination as an example, the evaluation waiting data may be a voice of the student who answers the question of the oral examination. Note that the general-purpose evaluation model may be a voice evaluation model that is trained according to the verbal test voice and the evaluation result of the average year, and evaluates the test voice. Although the prediction accuracy of the general-purpose voice evaluation model is high, there may be slight differences in the scoring scale for different regions, so it is necessary to train a matching voice evaluation model for different regions, Achieve higher accuracy voice evaluation.

相変わらず口頭試験のシーンを例として、本方案は、図２のフローにおけるＰａｒｔ１というステップの較正専門家を余分に組織する必要がなく、前記図２のフローにおけるＰａｒｔ３というステップの採点専門家に対応するように、ただ１バッチの専門家を組織すればよい。該ステップにおいて、人工評価主体は、図２のＰａｒｔ３というステップにおける採点専門家と見なされてもよい。 As usual, taking the scene of the oral examination as an example, the present scheme does not require extra organization of a calibration expert of the step of Part 1 in the flow of FIG. 2 and corresponds to a scoring expert of the step of Part 3 in the flow of FIG. As such, only one batch of experts needs to be organized. In this step, the artificial evaluation subject may be regarded as a scoring expert in the step called Part 3 in FIG.

区別するように説明するために、当該ステップにおいて、汎用評価モデルが評価待ちデータに対する評価結果を第２評価結果と定義して、人工評価主体が前記評価待ちデータに対する評価結果を第３評価結果と定義する。 In order to make a distinction, in this step, the general-purpose evaluation model defines the evaluation result for the data awaiting evaluation as a second evaluation result, and the artificial evaluation subject defines the evaluation result for the data awaiting evaluation as the third evaluation result. Define.

Ｓ２で、各々の人工評価主体が前記評価待ちデータに対する第３評価結果、及び及前記評価待ちデータの第２評価結果に応じて、前記各々の人工評価主体から専門家を確定する。 At S2, each of the artificial evaluation subjects determines an expert from each of the artificial evaluation subjects according to the third evaluation result of the data waiting for evaluation and the second evaluation result of the data waiting for evaluation.

具体的には、汎用評価モデルが評価待ちデータに対する第２評価結果を標準として、各々の人工評価主体の第３評価結果を比較し、専門家として各々の人工評価主体から専門水準が高い目標人工評価主体を確定してもよい。ここで言及された専門家は、較正専門家であり、つまり、評価待ちデータに対する第３評価結果がより正確な人工評価主体であると理解されてもよい。 Specifically, the general-purpose evaluation model compares the third evaluation result of each artificial evaluation subject with the second evaluation result for the data waiting for evaluation as a standard, and as a specialist, sets a target artificial evaluation target having a high technical level from each artificial evaluation subject. The evaluation subject may be determined. The expert referred to here may be understood as a calibration expert, that is, the third evaluation result for the data waiting for evaluation is a more accurate artificial evaluation subject.

本案において、汎用評価モデルが評価待ちデータに対する第２評価結果を参照し、さらに各々の人工評価主体が評価待ちデータに対する第３評価結果に応じて、各々の人工評価主体から専門家を確定でき、選択された専門家の専門水準が高くて、人工で較正専門家を選定する必要がない。 In this case, the general-purpose evaluation model refers to the second evaluation result for the data waiting for evaluation, and further, each artificial evaluation subject can determine an expert from each artificial evaluation subject in accordance with the third evaluation result for the data waiting for evaluation, The professional level of the selected experts is high, and there is no need to select a calibration expert artificially.

Ｓ３で、前記専門家により評価された評価待ちデータから、前記第１較正データと前記第２較正データを確定する。 In S3, the first calibration data and the second calibration data are determined from the evaluation waiting data evaluated by the expert.

具体的には、前記に説明したように、専門家は採点専門家から確定されてもよく、本案において、較正専門家を余分に組織する必要がなく、ただ１バッチの採点専門家を組織すればよいから、評価期間がより短くなり、フローがより簡単になる。且つ、採点専門家は大量の受験生の試験データを評価できるから、評価待ちデータの数が大量であってもよく、つまり、第１較正データと第２較正データの数が大量であってもよい。 Specifically, as explained above, the expert may be determined from a scoring expert, and in the present case, there is no need to organize an extra calibration expert and only a single batch of scoring expert is organized. As a result, the evaluation period becomes shorter, and the flow becomes easier. In addition, since the scoring specialist can evaluate a large amount of test data of the examinees, the number of data waiting for evaluation may be large, that is, the number of first calibration data and second calibration data may be large. .

さらに、専門家は、汎用評価モデルが評価待ちデータに対する第２評価結果、及び各々の人工評価主体が評価待ちデータに対する第３評価結果を参照し確定されるから、その専門水準がより高くて、専門家が評価待ちデータに対する第３評価結果がより正確になり、これに基づき、大量で、正確な第１較正データと第２較正データを取得でき、トレーニングすることで、より優れた評価モデルを得ることを保証できる。 Furthermore, since the expert is determined by referring to the second evaluation result for the data awaiting evaluation and the third evaluation result for each artificial evaluation subject for the data awaiting evaluation, the expert has a higher professional level, The expert can obtain a large amount of accurate first calibration data and second calibration data based on the third evaluation result of the data awaiting evaluation, and train the expert to obtain a better evaluation model. You can guarantee that you get.

図３に示すように、本実施例に提供される第１較正データと第２較正データを取得する方式を応用して、口頭試験音声の評価を行う過程は、三つの部分に細分されてもよく、それぞれは、
Ｐａｒｔ１：試験音声の纏まり。 As shown in FIG. 3, the process of evaluating the oral test voice using the method of obtaining the first calibration data and the second calibration data provided in the present embodiment can be subdivided into three parts. Well, each
Part 1: A group of test voices.

ここで、試験音声は、受験生が口頭試験の内容に対して提出した返答音声である。 Here, the test voice is a reply voice submitted by the examinee to the contents of the oral test.

説明する必要があるのは、従来のフローに比べると、本案は、Ｐａｒｔ１というステップにおいて、較正専門家を組織する必要がない。 What needs to be explained is that, compared to the conventional flow, the present invention does not require organizing a calibration expert in the step called Part1.

Ｐａｒｔ２：汎用音声評価モデルが評価待ち音声を評価することで、第２評価結果を得て、採点専門家を組織し、評価待ち音声に対して人工評価を行うことで、第３評価結果を得る。第２評価結果と第３評価結果に応じて、専門家を確定するとともに、専門家により評価された評価待ちデータから、第１較正データと第２較正データを確定し、音声評価モデルをトレーニングする。トレーニング後の音声評価モデルは一部の問題タイプを評価し採点することができる。 Part2: The second evaluation result is obtained by evaluating the voice waiting for evaluation by the general-purpose voice evaluation model, a scoring expert is organized, and the artificial evaluation is performed on the voice waiting for evaluation to obtain the third evaluation result. . According to the second evaluation result and the third evaluation result, an expert is determined, and the first calibration data and the second calibration data are determined from the evaluation waiting data evaluated by the expert, and the voice evaluation model is trained. . The post-training speech evaluation model can evaluate and score some question types.

Ｐａｒｔ３：前のステップにおける、採点専門家により人工で採点された問題タイプの得点、及び音声評価モデルにより採点された問題タイプの得点を合併し、纏まりの得点を
得る。 Part 3: The score of the question type scored artificially by the scoring expert and the score of the question type scored by the voice evaluation model in the previous step are merged to obtain a score of the summary.

分析し分かるように、本出願の実施例に提供される方法は、ただ１バッチの採点専門家を組織し、全体の受験生の評価待ち音声を評価すればよく、１バッチの較正専門家を余分に組織する必要がないから、フローがより簡単になり、期間がより短くなり、且つ汎用音声評価モデルが評価待ち音声に対する第２評価結果を標準として、各々の人工評価主体の第３評価結果を比較し、較正専門家として、各々の人工評価主体から専門水準が高い専門家を確定でき、人工で較正専門家を選定することに比べると、本出願により確定される専門家の専門水準がより高くて、これに基づき得られた較正データがより正確であり、且つ組織される該バッチの人工評価主体により評価される評価待ち音声が大量であってもよく、これに基づき、本出願は十分な数の較正データを取得でき、トレーニングセットの規模を余分に推定する必要がなく、音声評価モデルのトレーニングがより十分になり、効果がよりよくなり、後続に試験音声の評価を行う場合に、より正確になる。 As can be seen from the analysis, the methods provided in the embodiments of the present application require that only one batch of scoring professionals be organized and that the entire awaiting evaluation voice of the student be evaluated, adding one batch of calibration experts. Since there is no need to organize in the following, the flow becomes simpler, the period becomes shorter, and the general-purpose voice evaluation model sets the third evaluation result of each artificial evaluation subject as the standard with the second evaluation result for the voice waiting for evaluation. In comparison, as a calibration expert, an expert with a high technical level can be determined from each artificial evaluation subject, and the professional level of the expert determined by this application is higher than that of selecting a calibration expert artificially. High, the calibration data obtained based on this is more accurate, and the volume of the awaiting evaluations evaluated by the artificial evaluator of the batch to be organized may be large, based on which the present application Number of calibration data, no need to extra-estimate the size of the training set, the training of the speech evaluation model will be more efficient, more effective, Be accurate.

本出願の他の実施例において、前記Ｓ１において、汎用評価モデルが評価待ちデータに対する第２評価結果を取得する過程を紹介する。 In another embodiment of the present application, a process in which the general-purpose evaluation model acquires the second evaluation result for the data waiting for evaluation in S1 will be described.

評価待ちデータが評価待ち音声であり、汎用評価モデルが音声評価モデルであることを例として、以下のように説明して、
まずは、評価待ち音声の識別結果及び評価特徴を取得することができる。 As an example, the data waiting for evaluation is a voice waiting for evaluation and the general-purpose evaluation model is a voice evaluation model,
First, it is possible to acquire the identification result and the evaluation feature of the voice waiting for evaluation.

評価待ち音声の識別結果は、評価待ち音声をテキストと識別した後の結果である。評価特徴には二つの種類が含まれてもよく、一種類は、評価待ち音声を構成する音声断片から抽出される音響特徴である。他方の種類は、評価待ち音声の識別結果から抽出されるテキスト特徴である。 The identification result of the evaluation waiting sound is a result after the evaluation waiting sound is identified as the text. The evaluation feature may include two types, and one type is an acoustic feature extracted from a voice fragment constituting a voice to be evaluated. The other type is a text feature extracted from the identification result of the voice waiting for evaluation.

取得された評価特徴は、発音の正確性、流暢性、完全性などの、評価標準に関する多種のタイプの特徴であってもよい。 The acquired evaluation features may be various types of characteristics related to the evaluation standard, such as pronunciation accuracy, fluency, and completeness.

さらに、前記識別結果と前記評価特徴を音声評価モデルに入力し、音声評価モデルにより出力される前記評価待ち音声の第１評価結果を得る。 Further, the identification result and the evaluation feature are input to a voice evaluation model, and a first evaluation result of the voice waiting for evaluation output by the voice evaluation model is obtained.

音声評価モデルは、トレーニング音声の識別結果及び評価特徴をトレーニングサンプルとして、マークされた前記トレーニング音声の評価結果をサンプルラベルとして、トレーニングすることで得られる。 The voice evaluation model is obtained by training using the identification result and the evaluation feature of the training voice as a training sample and the evaluation result of the marked training voice as a sample label.

本実施例において、三種類の異なる評価特徴と異なる構成の音声評価モデルの構成方式を例示して、それぞれは以下の通りであり、即ち、
第１種類：
評価特徴として、評価待ち音声の音響特徴を抽出し、主に発音の正確性、流暢性、完全性が含まれる。さらに、履歴経験データと人工マーク結果で、音声評価モデルを予めトレーニングし、該音声評価モデルはＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ、サポートベクターマシン）、ＬＲ（ＬｏｇｉｓｔｉｃＲｅｇｒｅｓｓｉｏｎ、ロジスティック回帰）などの構成であってもよい。 In the present embodiment, three types of evaluation features and a configuration method of a voice evaluation model having a different configuration are exemplified, and each is as follows:
First type:
As the evaluation features, the acoustic features of the voice waiting for evaluation are extracted, and mainly include pronunciation accuracy, fluency, and completeness. Further, a speech evaluation model is trained in advance using the history experience data and the artificial mark result, and the speech evaluation model may have a configuration of SVM (Support Vector Machine, support vector machine), LR (Logistic Regression, logistic regression), or the like. Good.

第２種類：
評価特徴として、評価待ち音声の識別結果からテキスト特徴を抽出してもよい。受験生の言語表現水準を音声評価モデルの出力目標として、口頭試験の範囲にある言語組織水準レベル分類による音声評価モデルを設計し、モデルが評価待ち音声の識別結果に基づき、受験生の言語水準能力を分析し、受験生の口頭水準レベルを判定できる。 Second type:
As the evaluation feature, a text feature may be extracted from the identification result of the voice waiting for evaluation. Using the linguistic expression level of the examinee as the output target of the speech evaluation model, a speech evaluation model based on the language organization level classification within the range of the oral examination is designed, and the model evaluates the language level ability of the examinee based on the identification result of the speech waiting for evaluation Analyze and determine the verbal level of the candidate.

音声評価モデルは、ＣＮＮ畳み込みニューラルネットワークを採用してもよく、それはテキストにおける局部の重要情報を抽出できるとともに、多層畳み込みという方式で、局部から全体までの情報抽出を実現する。当該音声評価モデルは学生たちの高水準の表現方式を識別できる。 The speech evaluation model may employ a CNN convolutional neural network, which can extract local important information in the text and realizes information extraction from the local to the whole in a multi-layer convolution manner. The speech evaluation model can identify high-level expressions of students.

第３種類：
評価特徴として、評価待ち音声の識別結果からテキスト特徴を抽出してもよい。音声評価モデルはＲＮＮ再帰型ニューラルネットワークを採用してもよく、それはテキストのシーケンスセマンティクスとロジック情報を抽出できるから、受験生のテキスト理解に適切である。 Third type:
As the evaluation feature, a text feature may be extracted from the identification result of the voice waiting for evaluation. The speech evaluation model may employ an RNN recurrent neural network, which can extract sequence semantics and logic information of the text, which is appropriate for the examinee's text understanding.

本出願の他の実施例において、前記Ｓ１において、汎用評価モデルが評価待ちデータに対する第２評価結果を取得した後に、さらに以下のような処理ステップを追加してもよく、即ち、
前記評価待ちデータから、人工評価の対象としての目標評価待ちデータを選択する。 In another embodiment of the present application, in S1, after the general-purpose evaluation model acquires the second evaluation result for the data waiting for evaluation, the following processing steps may be further added:
From the evaluation waiting data, target evaluation waiting data to be subjected to artificial evaluation is selected.

具体的には、評価待ちデータは全体の受験生の試験データであってもよく、人工評価を行う場合に、評価待ちデータから、段階的に目標評価待ちデータを選択してもよい。該ステップにおいて、評価待ちデータから選択され、人工評価の対象としての評価待ちデータを、目標評価待ちデータとする。 Specifically, the evaluation waiting data may be test data of the entire examinee, and when performing artificial evaluation, target evaluation waiting data may be selected in stages from the evaluation waiting data. In this step, evaluation waiting data selected from the evaluation waiting data and targeted for artificial evaluation is set as target evaluation waiting data.

これに基づき、前記Ｓ１において、人工評価主体が前記評価待ちデータに対する第３評価結果を取得する過程は、具体的に、
人工評価主体が前記目標評価待ちデータに対する第３評価結果を取得することを含む。 Based on this, in the step S1, the process in which the artificial evaluation subject acquires the third evaluation result for the data waiting for the evaluation is specifically described as follows.
The artificial evaluation subject acquires a third evaluation result for the target evaluation waiting data.

さらに、前記評価待ちデータから、人工評価の対象としての目標評価待ちデータを選択する過程は、
前記第２評価結果を参照し、前記評価待ちデータから、人工評価の対象としての目標評価待ちデータを選択することを含んでもよい。 Further, the step of selecting target evaluation waiting data as an object of artificial evaluation from the evaluation waiting data,
The method may include referring to the second evaluation result and selecting target evaluation waiting data to be subjected to artificial evaluation from the evaluation waiting data.

つまり、汎用評価モデルが各々評価待ちデータに対する第２評価結果に応じて、各々評価待ちデータから、人工評価の対象としての目標評価待ちデータを選択する。 That is, the general-purpose evaluation model selects target evaluation waiting data as an object of artificial evaluation from each evaluation waiting data in accordance with the second evaluation result for each evaluation waiting data.

第２評価結果には、第２評価得点または第２評価レベルが含まれてもよい。つまり、第２評価結果は、点数またはレベル形式であってもよい。これに基づき、前記各々評価待ちデータの第２評価得点または第２評価レベルを参照し、正規分布のサンプリング方式に従って、前記各々評価待ちデータから、人工評価の対象としての目標評価待ちデータを選択してもよい。 The second evaluation result may include a second evaluation score or a second evaluation level. That is, the second evaluation result may be in the form of a score or a level. Based on this, by referring to the second evaluation score or the second evaluation level of each of the evaluation waiting data, target evaluation waiting data as an object of artificial evaluation is selected from each of the evaluation waiting data according to a normal distribution sampling method. You may.

第２評価結果が評価レベル形式であることを例として、図４を結合し、以下のように説明して、即ち、
各々評価待ちデータの第２評価レベルには、合計にｎ個のレベルが含まれる。そうすると、第２評価レベルの正規分布のサンプリング方式に従って、各々評価待ちデータから、目標評価待ちデータを抽出し、最終に抽出された目標評価待ちデータにおいて、レベル軸の両端レベルにあるデータが少なくて、レベル軸の中間レベルの区間にあるデータが多い。 FIG. 4 is combined and described as follows, taking as an example that the second evaluation result is in the form of an evaluation level:
The second evaluation level of each of the evaluation waiting data includes n levels in total. Then, according to the normal distribution sampling method of the second evaluation level, target evaluation waiting data is extracted from each evaluation waiting data, and in the finally extracted target evaluation waiting data, data at both ends of the level axis is small. , There are many data in the intermediate level section of the level axis.

理解できるのは、全体の受験生の水準が一般的に正規分布に従い、これに基づき、本実施例において、各々評価待ちデータの第２評価得点または第２評価レベルを参照し、正規
分布の抽出方式に従って、目標評価待ちデータを抽出することは、全体の受験生をよくカバーすることができ、トレーニングサンプルをより均衡にする。 It can be understood that the level of the entire examinee generally follows a normal distribution, and based on this, in this embodiment, a method of extracting a normal distribution by referring to the second evaluation score or the second evaluation level of each data waiting to be evaluated. In accordance with the above, extracting the target evaluation pending data can better cover the entire test taker and make the training sample more balanced.

本出願の他の実施例において、前記Ｓ２が各々の人工評価主体が前記評価待ちデータに対する第３評価結果、及び前記評価待ちデータの第２評価結果に応じて、前記各々の人工評価主体から専門家を確定する過程を紹介する。 In another embodiment of the present application, in step S2, each artificial evaluation subject is specialized by the respective artificial evaluation subject according to a third evaluation result of the data waiting for evaluation and a second evaluation result of the data waiting for evaluation. Introduce the process of defining a house.

オプショナルな実施形態であって、
まずは、各々の人工評価主体が前記評価待ちデータに対する第３評価結果、及び前記評価待ちデータの第２評価結果に応じて、前記第３評価結果と前記第２評価結果との関連性を算出する。 An optional embodiment,
First, each artificial evaluation subject calculates the relevancy between the third evaluation result and the second evaluation result according to the third evaluation result for the evaluation waiting data and the second evaluation result of the evaluation waiting data. .

さらに、専門家として、関連性が設定関連性条件を満たす第３評価結果に対応する人工評価主体を選択する。 Further, as an expert, an artificial evaluation subject corresponding to the third evaluation result whose relevance satisfies the set relevance condition is selected.

第２評価結果は、第２評価得点または第２評価レベルであってもよく、同じく、第３評価結果も第３評価得点または第３評価レベルであってもよい。本実施例において、汎用評価モデルが評価待ちデータに対する第２評価結果を標準として、各々の人工評価主体が評価待ちデータに対する第３評価結果と第２評価結果との間の関連性を算出し、該関連性は各々の第３評価結果と、標準としての第２評価結果との間の対応程度を表徴でき、関連性が高いほど、両者の対応程度が高いことを示し、つまり、第３評価結果を与える人工評価主体の専門水準が高いことを示す。 The second evaluation result may be the second evaluation score or the second evaluation level, and similarly, the third evaluation result may be the third evaluation score or the third evaluation level. In the present embodiment, the general-purpose evaluation model uses the second evaluation result for the data waiting for evaluation as a standard, and each artificial evaluation subject calculates the relevance between the third evaluation result and the second evaluation result for the data waiting for evaluation, The relevance can indicate the degree of correspondence between each third evaluation result and the second evaluation result as a standard, and the higher the relevance, the higher the degree of correspondence between them, that is, the third evaluation This indicates that the professional level of the artificial evaluation subject giving the result is high.

本実施例は、関連性条件を予め設定することで、専門家として、関連性が設定関連性条件を満たす第３評価結果に対応する人工評価主体を選択でき、当該専門家は較正専門家としてもよい。 In this embodiment, by setting the relevancy condition in advance, the expert can select an artificial evaluation subject corresponding to the third evaluation result whose relevance satisfies the set relevance condition, and the expert can be selected as a calibration expert Is also good.

設定関連性条件には、関連性が設定関連性閾値を超えることと、関連性が設定関連性レベルにあることが含まれてもよく、関連性レベルの例示には、関連性の低レベル、中レベル、高レベルが含まれてもよい。 The set relevancy condition may include that the relevance exceeds a set relevance threshold and that the relevance is at the set relevance level, examples of relevance levels include low relevance levels, Medium and high levels may be included.

第２評価結果が第２評価レベルであり、第３評価結果が第３評価得点であることを例として説明して、異なる第３評価得点と異なる第２評価レベルとの間の関連性を予め設定してもよい。 The case where the second evaluation result is the second evaluation level and the third evaluation result is the third evaluation score will be described as an example, and the relevance between different third evaluation scores and different second evaluation levels will be described in advance. May be set.

本実施例は、第３評価結果と第２評価結果との間の関連性で、各々の第３評価結果に対応する人工評価主体の評価品質、つまり、対応する人工評価主体の専門水準を測定し、これによって、専門家として、高水準の人工評価主体を選定できる。 In the present embodiment, the evaluation quality of the artificial evaluation subject corresponding to each third evaluation result, that is, the professional level of the corresponding artificial evaluation subject is measured by the relevance between the third evaluation result and the second evaluation result. In this way, it is possible to select a high-level artificial evaluation subject as an expert.

以下は、本出願の実施例に提供されるデータ評価装置を説明し、以下に説明されるデータ評価装置と前文に説明されたデータ方法とは、互いに対応し参照してもよい。 The following describes a data evaluation device provided in an embodiment of the present application, and the data evaluation device described below and the data method described in the preamble may correspond to each other and may be referred to.

図５に示すように、本出願の実施例におけるデータ評価装置は、
第１評価待ちデータを取得するための第１評価待ちデータ取得手段１１と、
評価モデルに基づき、前記第１評価待ちデータを評価することで、第１評価結果を得るための第１評価結果取得手段１２と、
前記第１評価結果が設定された結果収束条件を満たしていなければ、第２較正データを取得するための第２較正データ取得手段１３と、
現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定するまでに、前記第２較正データにより、前記評価モデルを反復更新するためのモデル更新手
段１４と、
最新の評価モデルに基づきデータ評価を行うためのモデル評価手段１５と、を備え、
前記評価モデルは第１較正データに基づきトレーニングすることで得られて、前記第１較正データには専門家が第２評価待ちデータに対する評価結果が含まれ、前記第２較正データには専門家が第３評価待ちデータに対する評価結果が含まれる。 As shown in FIG. 5, the data evaluation device in the embodiment of the present application includes:
First evaluation waiting data acquiring means 11 for acquiring first evaluation waiting data;
A first evaluation result acquisition unit for obtaining a first evaluation result by evaluating the first evaluation waiting data based on the evaluation model;
If the first evaluation result does not satisfy the set result convergence condition, a second calibration data acquisition unit 13 for acquiring second calibration data;
A model updating unit for repeatedly updating the evaluation model with the second calibration data until it is determined that the current updated evaluation model satisfies the set model update stop condition;
Model evaluation means 15 for performing data evaluation based on the latest evaluation model,
The evaluation model is obtained by training based on the first calibration data. The first calibration data includes an evaluation result of the second evaluation data by an expert, and the second calibration data includes an expert. The evaluation result for the third evaluation waiting data is included.

オプショナル的に、前記モデル更新手段により、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定する過程は、
現在の更新後の評価モデルにより、プリセットの検証セットにおいて検証を行って、検証結果を得ることと、
検証結果が設定された検証結果収束条件を満たしていると確定すれば、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定することと、を含む。 Optionally, the step of determining by the model updating means that the current updated evaluation model satisfies the set model update suspension condition includes:
With the current updated evaluation model, the verification is performed in the verification set of the preset to obtain the verification result,
If it is determined that the verification result satisfies the set verification result convergence condition, it is determined that the current updated evaluation model satisfies the set model update stop condition.

オプショナル的に、前記モデル更新手段が現在の更新後の評価モデルにより、プリセットの検証セットにおいて検証を行って、検証結果を得る過程は、
検証結果として、現在の更新後の評価モデルが検証セット内の検証サンプルに対する予測結果を取得することを含み、
前記モデル更新手段により、検証結果が設定された検証結果収束条件を満たしていると確定すれば、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定する過程は、
前記検証サンプルのマーク結果を基準として、前記検証サンプルの予測結果が設定された検証結果収束条件を満たしているかどうかを判定し、ＹＥＳであれば、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定すること、
または、
前の評価モデルが前記検証サンプルに対する予測結果を参照し、現在の更新後の評価モデルが前記検証サンプルに対する予測結果が設定された検証結果収束条件を満たしているかどうかを判定し、ＹＥＳであれば、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定することを含む。 Optionally, the step of the model updating means performing a verification in a preset verification set with the current updated evaluation model to obtain a verification result,
The verification result includes that the current updated evaluation model obtains prediction results for the verification samples in the verification set;
If the model updating means determines that the verification result satisfies the set verification result convergence condition, the step of determining that the current updated evaluation model satisfies the set model update stop condition includes:
Based on the mark result of the verification sample, it is determined whether the prediction result of the verification sample satisfies the set verification result convergence condition, and if YES, the model in which the current updated evaluation model is set Confirm that the update suspension condition has been met,
Or
The previous evaluation model refers to the prediction result for the verification sample, and the current updated evaluation model determines whether the prediction result for the verification sample satisfies the set verification result convergence condition. And determining that the current updated evaluation model satisfies the set model update suspension condition.

オプショナル的に、前記第２較正データ取得手段は、
汎用評価モデルが評価待ちデータに対する第２評価結果を取得するための第２評価結果取得手段と、
人工評価主体が前記評価待ちデータに対する第３評価結果を取得するための第３評価結果取得手段と、
各々の人工評価主体が前記評価待ちデータに対する第３評価結果、及び前記評価待ちデータの第２評価結果に応じて、前記各々の人工評価主体から前記専門家を確定するための専門家確定手段と、
前記専門家により評価された評価待ちデータから、前記第２較正データを確定するための第２較正データ確定手段と、を備える。 Optionally, said second calibration data acquisition means comprises:
Second evaluation result acquisition means for the general-purpose evaluation model to acquire a second evaluation result for the data waiting for evaluation;
Third evaluation result obtaining means for the artificial evaluation subject to obtain a third evaluation result for the evaluation waiting data;
Expert determination means for each artificial evaluation subject to determine the expert from each of the artificial evaluation subjects according to a third evaluation result of the data waiting for evaluation and a second evaluation result of the data waiting for evaluation; ,
A second calibration data determination unit configured to determine the second calibration data from the evaluation waiting data evaluated by the expert.

オプショナル的に、本出願の装置はさらに、
前記汎用評価モデルが評価待ちデータに対する第２評価結果を取得した後に、前記第２評価結果を参照し、前記評価待ちデータから、人工評価の対象としての目標評価待ちデータを選択するための目標評価待ちデータ選択手段を備える。これに基づき、前記第３評価結果取得手段により人工評価主体が前記評価待ちデータ対する第３評価結果を取得する過程は、
人工評価主体が前記目標評価待ちデータに対する第３評価結果を取得することを含んでもよい。 Optionally, the device of the present application further comprises:
After the general-purpose evaluation model obtains a second evaluation result for the evaluation waiting data, a target evaluation for selecting target evaluation waiting data as an object of artificial evaluation from the evaluation waiting data with reference to the second evaluation result A waiting data selection unit is provided. On the basis of this, the step of the artificial evaluation subject acquiring the third evaluation result for the evaluation waiting data by the third evaluation result acquiring means is performed,
An artificial evaluation subject may obtain a third evaluation result for the target evaluation waiting data.

オプショナル的に、前記第２評価結果は第２評価得点または第２評価レベルであり、前
記目標評価待ちデータ選択手段は、
各々前記評価待ちデータの第２評価得点または第２評価レベルを参照し、正規分布のサンプリング方式に従って、各々前記評価待ちデータから、人工評価の対象としての目標評価待ちデータを選択するための正規分布サンプリング手段を含んでもよい。 Optionally, the second evaluation result is a second evaluation score or a second evaluation level, and the target evaluation waiting data selecting means includes:
A normal distribution for selecting target evaluation waiting data as an object of artificial evaluation from each of the evaluation waiting data according to a normal distribution sampling method with reference to a second evaluation score or a second evaluation level of each of the evaluation waiting data. It may include sampling means.

オプショナル的に、前記専門家確定手段は、
各々の人工評価主体が前記評価待ちデータに対する第３評価結果、及び前記評価待ちデータの第２評価結果に応じて、前記第３評価結果と前記第２評価結果との関連性を算出するための関連性算出手段と、
前記専門家として、関連性が設定関連性条件を満たしている第３評価結果に対応する人工評価主体を選択するための関連性スクリーニング手段と、を備える。 Optionally, said expert determination means comprises:
Each artificial evaluation subject calculates a relevance between the third evaluation result and the second evaluation result according to a third evaluation result for the evaluation waiting data and a second evaluation result of the evaluation waiting data. Relevance calculating means;
And a relevance screening means for selecting an artificial evaluation subject corresponding to the third evaluation result whose relevance satisfies the set relevance condition as the expert.

本出願の実施例に提供されるデータ評価装置は、データ評価機器、例えば、ＰＣ端末、クラウドプラットフォーム、サーバー及びサーバークラスタなどに適用されてもよい。オプショナル的に、図６は、データ評価機器のハードウェア構成のブロック図を示し、図６を参照し、データ評価機器のハードウェア構成は、少なくとも一つのプロセッサー１と、少なくとも一つの通信インターフェース２と、少なくとも一つのメモリ３と、少なくとも一つの通信バス４を含んでもよく、
本出願の実施例において、プロセッサー１、通信インターフェース２、メモリ３、通信バス４の数は少なくとも一つであり、且つプロセッサー１、通信インターフェース２、メモリ３は通信バス４により、互いの通信を完成し、
プロセッサー１は、中央演算処理装置ＣＰＵまたは特定用途向け集積回路ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、
または、本発明の実施例を実施するように配置される一つまたは複数の集積回路などのものである可能性があり、
メモリ３には、高速ＲＡＭメモリ、また不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅｍｅｍｏｒｙ）など、例えば、少なくとも一つのディスクメモリが含まれる可能性があり、
メモリにはプログラムが記憶され、プロセッサーはメモリに記憶されるプログラムを呼び出すことができ、前記プログラムは、
第１評価待ちデータを取得し、
評価モデルに基づき、前記第１評価待ちデータを評価することで、第１評価結果を得て、前記評価モデルは第１較正データに基づきトレーニングすることで得られて、前記第１較正データには専門家の第２評価待ちデータに対する評価結果が含まれ、
前記第１評価結果が設定された結果収束条件を満たしていなければ、第２較正データを取得するとともに、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定するまでに、前記第２較正データにより、前記評価モデルを反復更新し、前記第２較正データには専門家の第３評価待ちデータに対する評価結果が含まれ、
最新の評価モデルに基づき、データ評価を行う。 The data evaluation device provided in the embodiment of the present application may be applied to a data evaluation device, for example, a PC terminal, a cloud platform, a server, and a server cluster. Optionally, FIG. 6 shows a block diagram of a hardware configuration of the data evaluation device, and referring to FIG. 6, the hardware configuration of the data evaluation device includes at least one processor 1 and at least one communication interface 2. , May include at least one memory 3 and at least one communication bus 4,
In the embodiment of the present application, the number of the processor 1, the communication interface 2, the memory 3, and the communication bus 4 is at least one, and the processor 1, the communication interface 2, and the memory 3 complete communication with each other by the communication bus 4. And
The processor 1 includes a central processing unit CPU or an application-specific integrated circuit ASIC (Application Specific Integrated Circuit),
Or it could be one or more integrated circuits or the like arranged to implement an embodiment of the invention,
The memory 3 may include, for example, at least one disk memory, such as a high-speed RAM memory, a non-volatile memory, and the like.
A program is stored in the memory, and the processor can call a program stored in the memory.
Obtain the first evaluation waiting data,
The first evaluation result is obtained by evaluating the first evaluation waiting data based on the evaluation model, and the evaluation model is obtained by training based on the first calibration data, and the first calibration data includes The evaluation result for the expert's second evaluation pending data is included,
If the first evaluation result does not satisfy the set result convergence condition, the second calibration data is obtained and the current updated evaluation model is determined to satisfy the set model update stop condition until it is determined. The evaluation model is repeatedly updated with the second calibration data, and the second calibration data includes an evaluation result for the third evaluation waiting data of the expert,
Data evaluation is performed based on the latest evaluation model.

オプショナル的に、前記プログラムの細分化機能と拡張機能とは、前文説明を参照すればよい。 Optionally, refer to the preamble description for the subdivision function and the extension function of the program.

本出願の実施例はさらに読み取り可能な記憶媒体を提供し、当該読み取り可能な記憶媒体には、プロセッサーによる実行に適するプログラムが記憶され、前記プログラムは、
第１評価待ちデータを取得し、
評価モデルに基づき、前記第１評価待ちデータを評価することで、第１評価結果を得て、前記評価モデルは第１較正データに基づきトレーニングすることで得られて、前記第１較正データには専門家の第２評価待ちデータに対する評価結果が含まれ、
前記第１評価結果が設定された結果収束条件を満たしていなければ、第２較正データを取得するとともに、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たし
ていると確定するまでに、前記第２較正データにより、前記評価モデルを反復更新し、前記第２較正データには専門家の第３評価待ちデータに対する評価結果が含まれ、
最新の評価モデルに基づき、データ評価を行う。 Embodiments of the present application further provide a readable storage medium, wherein the readable storage medium stores a program suitable for execution by a processor, the program comprising:
Obtain the first evaluation waiting data,
The first evaluation result is obtained by evaluating the first evaluation waiting data based on the evaluation model, and the evaluation model is obtained by training based on the first calibration data, and the first calibration data includes The evaluation result for the expert's second evaluation pending data is included,
If the first evaluation result does not satisfy the set result convergence condition, the second calibration data is obtained and the current updated evaluation model is determined to satisfy the set model update stop condition until it is determined. The evaluation model is repeatedly updated with the second calibration data, and the second calibration data includes an evaluation result for the third evaluation waiting data of the expert,
Data evaluation is performed based on the latest evaluation model.

最後に、説明する必要があるのは、本文において、例えば第１と第２等などの関係用語は、ただ一つの実体または操作を、他方の実体または操作と区分するために用いられ、必ずこれらの実体または操作の間には、如何なるこのような実際の関係または順序が存在することを要求または暗示するとは限らない。しかも、用語「含む」、「含み」またはその如何なる他の変体は、非排他的な含みをカバーすることを意図し、このように、一連要素が含まれる過程、方法、物品または機器には、それらの要素ばかりではなく、さらに明確的にリストされる他の要素が含まれ、または、このような過程、方法、物品または機器の固有の要素が含まれる。より多い制限がない場合に、「一つを含み……」という語句により限定される要素は、前記要素が含まれる過程、方法、物品または機器に、さらに他の同じ要素が存在する場合を排除しない。 Finally, it is necessary to explain that in the text, related terms, such as first and second, are used to distinguish one entity or operation from another entity or operation; Does not necessarily require or imply that any such actual relationship or order exists between the entities or operations of. Moreover, the term "comprising", "including", or any other variant thereof, is intended to cover non-exclusive inclusions, and thus processes, methods, articles or devices that include a series of elements, Not only those elements, but also other elements that are more specifically listed, or specific elements of such a process, method, article or device are included. In the absence of more restrictions, an element defined by the phrase "including one ..." excludes the case where the same element is present in a process, method, article or device in which it is included. do not do.

本明細書の各々実施例は、漸進という方式で説明し、各々実施例が主に説明するのは、他の実施例との相違点であり、各々実施例の間の同じまたは類似する部分は互いに参照すればよい。 Each embodiment of the present specification will be described in a progressive manner, and each embodiment will mainly describe the differences from the other embodiments, and the same or similar parts between each embodiment will be described. They may be referred to each other.

開示された実施例に対する前記説明により、当業者が本出願を実現または利用することができる。これらの実施例に対する多種の修正は当業者にとって、自明であり、本文に定義された一般的な原理は、本出願の精神または範囲から逸脱しない場合に、他の実施例に実現される。従って、本出願は、本文に示されるこれらの実施例に限定されず、本文に開示される原理と新規な特徴に一致する、最も広い範囲に合う。 The foregoing description of the disclosed embodiments allows those skilled in the art to make or use the present application. Various modifications to these embodiments will be apparent to those skilled in the art, and the general principles defined herein may be implemented in other embodiments without departing from the spirit or scope of the present application. Accordingly, the present application is not limited to these examples shown herein, but rather covers the broadest scope consistent with the principles and novel features disclosed herein.

Claims

データ評価方法であって、
第１評価待ちデータを取得し、
評価モデルに基づき、前記第１評価待ちデータを評価することで、第１評価結果を得て、前記評価モデルは第１較正データに基づきトレーニングすることで得られ、前記第１較正データには専門家による第２評価待ちデータに対する評価結果が含まれ、
前記第１評価結果が設定された結果収束条件を満たしていなければ、第２較正データを取得するとともに、現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定するまでに、前記第２較正データにより、前記評価モデルを反復更新し、前記第２較正データには専門家による第３評価待ちデータに対する評価結果が含まれ、
最新の評価モデルに基づき、データ評価を行うことを含むことを特徴とする方法。 A data evaluation method,
Obtain the first evaluation waiting data,
A first evaluation result is obtained by evaluating the first evaluation waiting data based on the evaluation model, and the evaluation model is obtained by training based on the first calibration data. The evaluation result for the second evaluation waiting data by the house is included,
If the first evaluation result does not satisfy the set result convergence condition, the second calibration data is obtained and the current updated evaluation model is determined to satisfy the set model update stop condition until it is determined. The iterative update of the evaluation model is performed based on the second calibration data, and the second calibration data includes an evaluation result for the third evaluation waiting data by an expert,
A method comprising performing data evaluation based on an updated evaluation model.

前記現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定する過程は、
前記現在の更新後の評価モデルにより、プリセットの検証セットにおいて検証を行って、検証結果を得ることと、
前記検証結果が設定された検証結果収束条件を満たしていると確定すると、前記現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定することと、を含むことを特徴とする請求項１に記載の方法。 The step of determining that the current updated evaluation model satisfies the set model update stop condition,
According to the current updated evaluation model, performing verification in a preset verification set, and obtaining a verification result,
Determining that the verification result satisfies the set verification result convergence condition, and determining that the current updated evaluation model satisfies the set model update stop condition. The method according to claim 1, wherein

前記現在の更新後の評価モデルにより、プリセットの検証セットにおいて検証を行って、前記検証結果を得ることは、
前記検証結果として、前記現在の更新後の評価モデルが検証セット内の検証サンプルに対する予測結果を取得することを含み、
前記検証結果が設定された前記検証結果収束条件を満たしていると確定すると、前記現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定することは、
前記検証サンプルのマーク結果を基準として、前記検証サンプルの予測結果が設定された前記検証結果収束条件を満たしているかどうかを判定し、ＹＥＳであれば、前記現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定すること、
または、
前の評価モデルが前記検証サンプルに対する予測結果を参照し、前記現在の更新後の評価モデルが前記検証サンプルに対する予測結果が設定された前記検証結果収束条件を満たしているかどうかを判定し、ＹＥＳであれば、前記現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定することを含むことを特徴とする請求項２に記載の方法。 According to the current updated evaluation model, performing verification in a preset verification set to obtain the verification result,
As the verification result, the current updated evaluation model includes obtaining a prediction result for a verification sample in a verification set,
When it is determined that the verification result satisfies the set verification result convergence condition, it is determined that the current updated evaluation model satisfies the set model update stop condition,
It is determined whether or not the prediction result of the verification sample satisfies the set verification result convergence condition based on the mark result of the verification sample, and if YES, the evaluation model after the current update is set. That the model update suspension condition has been met,
Or
The previous evaluation model refers to the prediction result for the verification sample, and the current updated evaluation model determines whether the prediction result for the verification sample satisfies the set verification result convergence condition. 3. The method of claim 2, including determining, if any, that the current updated evaluation model satisfies a set model update halt condition.

前記第１較正データと前記第２較正データを取得する過程は、
汎用評価モデルの評価待ちデータに対する第２評価結果、及び人工評価主体の前記評価待ちデータに対する第３評価結果を取得することと、
各々の前記人工評価主体の前記評価待ちデータに対する前記第３評価結果、及び前記評価待ちデータの前記第２評価結果に応じて、各々の前記人工評価主体から、前記専門家を確定することと、
前記専門家により評価された前記評価待ちデータから、前記第１較正データと前記第２較正データを確定することと、を含むことを特徴とする請求項１に記載の方法。 The step of obtaining the first calibration data and the second calibration data includes:
Acquiring a second evaluation result of the general-purpose evaluation model with respect to the evaluation-waiting data, and a third evaluation result of the artificial evaluation subject with respect to the evaluation-waiting data;
Determining the expert from each of the artificial evaluation subjects according to the third evaluation result of the artificial evaluation subject with respect to the evaluation pending data, and the second evaluation result of the evaluation pending data;
The method of claim 1, further comprising: determining the first calibration data and the second calibration data from the waiting data evaluated by the expert.

前記汎用評価モデルの前記評価待ちデータに対する前記第２評価結果を取得した後、さらに、
前記第２評価結果を参照し、前記評価待ちデータから、人工評価の対象としての目標評
価待ちデータを選択することを含み、
前記人工評価主体の前記評価待ちデータに対する前記第３評価結果を取得することは、
前記人工評価主体の前記目標評価待ちデータに対する前記第３評価結果を取得することを含むことを特徴とする請求項４に記載の方法。 After obtaining the second evaluation result for the evaluation waiting data of the general-purpose evaluation model,
Referring to the second evaluation result, and selecting target evaluation waiting data as a target of artificial evaluation from the evaluation waiting data,
Acquiring the third evaluation result for the evaluation waiting data of the artificial evaluation subject,
The method according to claim 4, further comprising obtaining the third evaluation result for the target evaluation waiting data of the artificial evaluation subject.

前記第２評価結果は、第２評価得点または第２評価レベルであり、
前記第２評価結果を参照し、前記評価待ちデータから、人工評価の対象としての前記目標評価待ちデータを選択することは、
各々の前記評価待ちデータの第２評価得点または第２評価レベルを参照し、正規分布のサンプリング方式に従って、各々の前記評価待ちデータから、人工評価の対象としての前記目標評価待ちデータを選択することを含むことを特徴とする請求項５に記載の方法。 The second evaluation result is a second evaluation score or a second evaluation level,
With reference to the second evaluation result, selecting the target evaluation waiting data as a target of artificial evaluation from the evaluation waiting data,
Referring to the second evaluation score or the second evaluation level of each of the evaluation waiting data and selecting the target evaluation waiting data as an object of artificial evaluation from each of the evaluation waiting data in accordance with a normal distribution sampling method; The method of claim 5, comprising:

各々の前記人工評価主体の前記評価待ちデータに対する前記第３評価結果、及び前記評価待ちデータの前記第２評価結果に応じて、各々の前記人工評価主体から前記専門家を確定することは、
各々の前記人工評価主体の前記評価待ちデータに対する前記第３評価結果、及び前記評価待ちデータの前記第２評価結果に応じて、前記第３評価結果と前記第２評価結果との関連性を算出することと、
前記専門家として、関連性が設定関連性条件を満たしている前記第３評価結果に対応する前記人工評価主体を選択することと、を含むことを特徴とする請求項４に記載の方法。 The third evaluation result of the artificial evaluation subject with respect to the evaluation waiting data and the second evaluation result of the evaluation waiting data, and determining the expert from each of the artificial evaluation subjects,
Calculating the relevance between the third evaluation result and the second evaluation result according to the third evaluation result of the artificial evaluation subject with respect to the evaluation waiting data and the second evaluation result of the evaluation waiting data To do
5. The method of claim 4, comprising selecting, as the expert, the artificial evaluator corresponding to the third evaluation result whose relevance satisfies a set relevance condition.

前記第２評価待ちデータと前記第３評価待ちデータは、評価待ち音声であり、前記評価モデルには、第１評価サブモデル、第２評価サブモデル、第３評価サブモデルのうちの、少なくとも一つが含まれ、
前記第１評価サブモデルは、評価待ち音声の音響特徴を評価特徴として、評価待ち音声のマーク評価結果をラベルとして、ニューラルネットワークモデルをトレーニングすることで得られて、
前記第２評価サブモデルは、評価待ち音声の識別結果に対応するテキスト特徴を評価特徴として、評価待ち音声のマーク評価結果をラベルとして、畳み込みニューラルネットワークモデルをトレーニングすることで得られて、
前記第３評価サブモデルは、評価待ち音声の識別結果に対応するテキスト特徴を評価特徴として、評価待ち音声のマーク評価結果をラベルとして、再帰型ニューラルネットワークモデルをトレーニングすることで得られることを特徴とする請求項１に記載の方法。 The second evaluation waiting data and the third evaluation waiting data are voices waiting for evaluation, and the evaluation model includes at least one of a first evaluation submodel, a second evaluation submodel, and a third evaluation submodel. One,
The first evaluation sub-model is obtained by training a neural network model using the acoustic feature of the voice waiting for evaluation as an evaluation feature and the label evaluation result of the voice waiting for evaluation as a label.
The second evaluation sub-model is obtained by training a convolutional neural network model using, as an evaluation feature, a text feature corresponding to the identification result of the voice awaiting evaluation, and a label evaluation result of the voice awaiting evaluation as a label.
The third evaluation submodel is obtained by training a recursive neural network model using a text feature corresponding to the identification result of the speech waiting for evaluation as an evaluation feature and a mark evaluation result of the speech waiting for evaluation as a label. The method according to claim 1, wherein

データ評価装置であって、
第１評価待ちデータを取得するための第１評価待ちデータ取得手段と、
評価モデルに基づき、前記第１評価待ちデータを評価することで、第１評価結果を得るための第１評価結果取得手段と、
前記第１評価結果が設定された結果収束条件を満たしていなければ、第２較正データを取得するための第２較正データ取得手段と、
現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定するまでに、前記第２較正データにより、前記評価モデルを反復更新するためのモデル更新手段と、
最新の評価モデルに基づき、データ評価を行うためのモデル評価手段と、を備え、
前記評価モデルは、第１較正データに基づきトレーニングすることで得られて、前記第１較正データには、専門家による第２評価待ちデータに対する評価結果が含まれ、前記第２較正データには、専門家による第３評価待ちデータに対する評価結果が含まれることを特徴とする装置。 A data evaluation device,
First evaluation waiting data acquiring means for acquiring first evaluation waiting data;
A first evaluation result acquisition unit for obtaining a first evaluation result by evaluating the first evaluation waiting data based on an evaluation model;
If the first evaluation result does not satisfy the set result convergence condition, a second calibration data acquisition unit for acquiring second calibration data;
Model updating means for repeatedly updating the evaluation model by the second calibration data until it is determined that the current updated evaluation model satisfies the set model update stop condition;
Model evaluation means for performing data evaluation based on the latest evaluation model,
The evaluation model is obtained by training based on first calibration data, wherein the first calibration data includes an evaluation result for a second evaluation waiting data by an expert, and the second calibration data includes: An apparatus including an evaluation result for third evaluation waiting data by an expert.

前記モデル更新手段が、前記現在の更新後の評価モデルが設定されたモデル更新停止条
件を満たしていると確定する過程は、
前記現在の更新後の評価モデルにより、プリセットの検証セットにおいて検証を行って、検証結果を得ることと、
前記検証結果が設定された検証結果収束条件を満たしていると確定すれば、前記現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定することと、を含むことを特徴とする請求項９に記載の装置。 The step of determining that the model update means determines that the current updated evaluation model satisfies the set model update stop condition,
According to the current updated evaluation model, performing verification in a preset verification set, and obtaining a verification result,
If it is determined that the verification result satisfies the set verification result convergence condition, it is determined that the current updated evaluation model satisfies the set model update stop condition. An apparatus according to claim 9, characterized in that:

前記モデル更新手段が、前記現在の更新後の評価モデルにより、プリセットの検証セットにおいて検証を行って、前記検証結果を得る過程は、
前記検証結果として、前記現在の更新後の評価モデルが検証セット内の検証サンプルに対する予測結果を取得することを含み、
前記モデル更新手段により前記検証結果が設定された前記検証結果収束条件を満たしていると確定すれば、前記現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定する過程は、
前記検証サンプルのマーク結果を基準として、前記検証サンプルの予測結果が設定された前記検証結果収束条件を満たしているかどうかを判定し、ＹＥＳであれば、前記現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定すること、
または、
前の評価モデルが前記検証サンプルに対する予測結果を参照し、前記現在の更新後の評価モデルが前記検証サンプルに対する予測結果が設定された前記検証結果収束条件を満たしているかどうかを判定し、ＹＥＳであれば、前記現在の更新後の評価モデルが設定されたモデル更新停止条件を満たしていると確定することを含むことを特徴とする請求項１０に記載の装置。 The step of the model updating means performing a verification in a preset verification set by the current updated evaluation model to obtain the verification result,
As the verification result, the current updated evaluation model includes obtaining a prediction result for a verification sample in a verification set,
A step of, if the model updating means determines that the verification result satisfies the set verification result convergence condition, determining that the current updated evaluation model satisfies the set model update stop condition; Is
It is determined whether or not the prediction result of the verification sample satisfies the set verification result convergence condition based on the mark result of the verification sample, and if YES, the evaluation model after the current update is set. That the model update suspension condition has been met,
Or
The previous evaluation model refers to the prediction result for the verification sample, and the current updated evaluation model determines whether the prediction result for the verification sample satisfies the set verification result convergence condition. 11. The apparatus according to claim 10, further comprising: determining that the current updated evaluation model satisfies a set model update stop condition, if any.

前記第２較正データ取得手段は、
汎用評価モデルの評価待ちデータに対する第２評価結果を取得するための第２評価結果取得手段と、
人工評価主体の前記評価待ちデータに対する第３評価結果を取得するための第３評価結果取得手段と、
各々の前記人工評価主体の前記評価待ちデータに対する前記第３評価結果、及び前記評価待ちデータの前記第２評価結果に応じて、各々の前記人工評価主体から前記専門家を確定するための専門家確定手段と、
前記専門家により評価された前記評価待ちデータから、前記第２較正データを確定するための第２較正データ確定手段と、を備えることを特徴とする請求項９に記載の装置。 The second calibration data obtaining means includes:
Second evaluation result acquisition means for acquiring a second evaluation result for the evaluation waiting data of the general-purpose evaluation model;
Third evaluation result obtaining means for obtaining a third evaluation result for the evaluation waiting data of the artificial evaluation subject;
An expert for deciding the expert from each of the artificial evaluators in accordance with the third evaluation result of each of the artificial evaluators on the evaluation awaiting data and the second evaluation result of the evaluation awaiting data Determining means;
The apparatus according to claim 9, further comprising: second calibration data determination means for determining the second calibration data from the evaluation waiting data evaluated by the expert.

さらに、
前記汎用評価モデルの前記評価待ちデータに対する前記第２評価結果を取得した後に、前記第２評価結果を参照し、前記評価待ちデータから、人工評価の対象としての目標評価待ちデータを選択するための目標評価待ちデータ選択手段を備え、
前記第３評価結果取得手段により前記人工評価主体の前記評価待ちデータ対する前記第３評価結果を取得する過程は、
前記人工評価主体の前記目標評価待ちデータに対する前記第３評価結果を取得することを含むことを特徴とする請求項１２に記載の装置。 further,
After acquiring the second evaluation result for the evaluation waiting data of the general-purpose evaluation model, referring to the second evaluation result, and selecting target evaluation waiting data as an object of artificial evaluation from the evaluation waiting data. A target evaluation waiting data selection means is provided,
The step of obtaining the third evaluation result for the evaluation waiting data of the artificial evaluation subject by the third evaluation result obtaining means,
13. The apparatus according to claim 12, further comprising acquiring the third evaluation result for the target evaluation waiting data of the artificial evaluation subject.

前記第２評価結果は、第２評価得点または第２評価レベルであり、
前記目標評価待ちデータ選択手段は、
各々の前記評価待ちデータの第２評価得点または第２評価レベルを参照し、正規分布のサンプリング方式に従って、各々の前記評価待ちデータから、人工評価の対象としての前記目標評価待ちデータを選択するための正規分布サンプリング手段を備えることを特徴とする請求項１３に記載の装置。 The second evaluation result is a second evaluation score or a second evaluation level,
The target evaluation waiting data selection means,
Referring to a second evaluation score or a second evaluation level of each of the evaluation waiting data and selecting the target evaluation waiting data as a target of artificial evaluation from each of the evaluation waiting data in accordance with a normal distribution sampling method; 14. The apparatus according to claim 13, further comprising a normal distribution sampling unit.

前記専門家確定手段は、
各々の前記人工評価主体の前記評価待ちデータに対する前記第３評価結果、及び前記評価待ちデータの前記第２評価結果に応じて、前記第３評価結果と前記第２評価結果との関連性を算出するための関連性算出手段と、
前記専門家として、関連性が設定関連性条件を満たしている前記第３評価結果に対応する前記人工評価主体を選択するための関連性スクリーニング手段と、を備えることを特徴とする請求項１２に記載の装置。 The expert determination means,
Calculating the relevance between the third evaluation result and the second evaluation result according to the third evaluation result of the artificial evaluation subject with respect to the evaluation waiting data and the second evaluation result of the evaluation waiting data Relevance calculating means for performing
13. The expert according to claim 12, further comprising: a relevance screening unit for selecting the artificial evaluation subject corresponding to the third evaluation result whose relevance satisfies a set relevance condition. The described device.

データ評価機器であって、
プログラムを記憶するためのメモリと、
請求項１〜８のいずれか一項に記載のデータ評価方法の各ステップを実現するように、前記プログラムを実行するためのプロセッサーと、を備えることを特徴とする機器。 A data evaluation device,
A memory for storing the program,
An apparatus, comprising: a processor for executing the program so as to realize each step of the data evaluation method according to any one of claims 1 to 8.

コンピュータプログラムが記憶される読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサーにより実行される際に、請求項１〜８のいずれか一項に記載のデータ評価方法の各ステップを実現することを特徴とする読み取り可能な記憶媒体。 A readable storage medium on which a computer program is stored, wherein each step of the data evaluation method according to any one of claims 1 to 8 is realized when the computer program is executed by a processor. A readable storage medium characterized by the above-mentioned.