JP2024022977A - Inference system, method, and inference unit - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide a new technique which can form an inference unit which operates a sentence even if there is no corpuses for generating teacher data or there are not enough corpuses for generating the teacher data.

SOLUTION: The inference system includes: an inference unit for receiving input of at least one sentence and outputting at least one sentence for the at least one input sentence; a generation unit for generating teacher data from a pair of a first sentence in a first language and a third sentence in the first language generated by machine-translating a second sentence in a second language as a translation of the first sentence; and a learning unit for learning the inference unit by using the teacher data.

SELECTED DRAWING: Figure 3

COPYRIGHT: (C)2024,JPO&INPIT

Description

本発明は、推論システム、方法、プログラム、および推論器に関する。 The present invention relates to an inference system, method, program, and inference device.

ニューラルネットを用いて文章を操作する技術が知られている。例えば、非特許文献１および非特許文献２は、通常の文章が入力されると、当該入力された文章を短縮した文章を出力する技術を開示している。このような文章を短縮する技術は、要約技術に利用されている。 Techniques for manipulating sentences using neural networks are known. For example, Non-Patent Document 1 and Non-Patent Document 2 disclose a technique that, when a normal sentence is input, a shortened sentence of the input sentence is output. Techniques for shortening such sentences are used in summarization techniques.

また、非特許文献３には、規準コーパスを用いて、文章の難易度を推定する技術を開示する。 Furthermore, Non-Patent Document 3 discloses a technique for estimating the difficulty level of sentences using a reference corpus.

Katja Filippova and Yasemin Altun, "Overcoming the Lack of Parallel Data in Sentence Compression," Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pages 1481-1491, Seattle, Washington, USA, 18-21 October 2013.Katja Filippova and Yasemin Altun, "Overcoming the Lack of Parallel Data in Sentence Compression," Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pages 1481-1491, Seattle, Washington, USA, 18-21 October 2013. Sander Wubben, Emiel Krahmer, Antal van den Bosch, Suzan Verberne, "Abstractive Compression of Captions with Attentive Recurrent Neural Networks," Proceedings of the 9th International Natural Language Generation conference, pages 41-50,Edinburgh, UK, September 5-8 2016.Sander Wubben, Emiel Krahmer, Antal van den Bosch, Suzan Verberne, "Abstractive Compression of Captions with Attentive Recurrent Neural Networks," Proceedings of the 9th International Natural Language Generation conference, pages 41-50, Edinburgh, UK, September 5-8 2016 . 佐藤 理史，「日本語テキストの難易度判定ツール『帯』」，Japio YEAR BOOK 2008 寄稿集，pp.52-57，2008Satoshi Sato, “Difficulty assessment tool for Japanese texts: Obi”, Japio YEAR BOOK 2008 Contribution Collection, pp.52-57, 2008

上述の非特許文献１および非特許文献２に開示されるようなニューラルネットワークを構成するためには、通常の文章（入力）と短縮された文章（出力）とを対応付けた教師データが必要となる。しかしながら、このような教師データに利用できるコーパスはほとんど存在しない。 In order to construct a neural network as disclosed in Non-Patent Document 1 and Non-Patent Document 2 mentioned above, training data that associates normal sentences (input) with shortened sentences (output) is required. Become. However, there are almost no corpora available for such training data.

また、非特許文献３に開示される技術は、ニューラルネットを用いる手法ではないので、規準コーパスを教師データとして用いることはできない。 Furthermore, since the technique disclosed in Non-Patent Document 3 is not a method using a neural network, the reference corpus cannot be used as training data.

本発明は、教師データを生成するためのコーパスが存在しないまたは十分ではない場合であっても、文章を操作する推論器を構成できる新たな技術の提供を目的とする。 The present invention aims to provide a new technique that can configure a reasoner that operates on sentences even when a corpus for generating training data does not exist or is insufficient.

ある実施の形態に従う推論システムは、１または複数の文が入力されると、当該入力された１または複数の文に対応する１または複数の文を出力する推論器と、第１言語の第１の文と、第１の文の翻訳である第２言語の第２の文を機械翻訳することで生成される第１言語の第３の文と、の組から教師データを生成する生成部と、教師データを用いて推論器を学習する学習部とを含む。 An inference system according to an embodiment includes: a reasoner that outputs one or more sentences corresponding to the input one or more sentences when one or more sentences are input; and a third sentence in the first language that is generated by machine translating a second sentence in the second language that is a translation of the first sentence. , and a learning section that learns the inference machine using training data.

生成部は、第１の文および第３の文の評価値を算出する算出部を含んでいてもよい。
生成部は、第１の文の評価値と第３の文の評価値とを比較することで、第１の文および第３の文の一方を教師データの入力に決定し、第１の文および第３の文の他方を教師データの出力に決定するようにしてもよい。 The generation unit may include a calculation unit that calculates evaluation values of the first sentence and the third sentence.
By comparing the evaluation value of the first sentence and the evaluation value of the third sentence, the generation unit determines one of the first sentence and the third sentence as the input of the teacher data, and inputs the first sentence. and the third sentence may be determined to be the output of the teaching data.

算出部は、文の長さ、および、文の難易度のいずれかを含んでいてもよい。
推論システムは、第１の文および前記第３の文について、文の長さ、および、文の難易度のいずれかを評価する評価部をさらに含んでいてもよい。 The calculation unit may include either the length of the sentence or the difficulty level of the sentence.
The inference system may further include an evaluation unit that evaluates either the sentence length or the sentence difficulty of the first sentence and the third sentence.

生成部は、評価値のレベルを示すメタ情報を教師データに付加するようにしてもよい。
学習部は、教師データを用いて学習した推論器を、教師データのうち特定のメタ情報が付加されたデータを用いて追加学習するようにしてもよい。 The generation unit may add meta information indicating the level of the evaluation value to the teacher data.
The learning unit may perform additional learning on the inference device that has learned using the teacher data using data to which specific meta information is added from among the teacher data.

推論システムは、第１の文を機械翻訳して第２の文を生成する第１の翻訳部と、第２の文を機械翻訳して第３の文を生成する第２の翻訳部とをさらに含んでいてもよい。 The inference system includes a first translation unit that machine-translates a first sentence to generate a second sentence, and a second translation unit that machine-translates the second sentence to generate a third sentence. It may further contain.

別の実施の形態に従えば、１または複数の文が入力されると、当該入力された１または複数の文に対応する１または複数の文を出力する推論器を構成する方法が提供される。方法は、第１言語の第１の文と、第１の文の翻訳である第２言語の第２の文を機械翻訳することで生成される第１言語の第３の文と、の組から教師データを生成するステップと、教師データを用いて推論器を学習するステップとを含む。 According to another embodiment, a method is provided for configuring a reasoner that, upon input of one or more sentences, outputs one or more sentences corresponding to the input sentence or sentences. . The method involves combining a first sentence in a first language and a third sentence in the first language, which is generated by machine translation of a second sentence in the second language, which is a translation of the first sentence. The method includes a step of generating training data from the above, and a step of learning a reasoner using the training data.

さらに別の実施の形態に従えば、コンピュータに上述の方法を実行させるためのプログラムが提供される。 According to yet another embodiment, a program is provided for causing a computer to perform the above method.

さらに別の実施の形態に従えば、１または複数の文が入力されると、当該入力された１または複数の文に対応する１または複数の文を出力する推論器が提供される。推論器は、教師データを用いて学習することにより構成される。教師データは、第１言語の第１の文と、第１の文の翻訳である第２言語の第２の文を機械翻訳することで生成される第１言語の第３の文と、の組から生成される。 According to yet another embodiment, a reasoner is provided that, upon input of one or more sentences, outputs one or more sentences corresponding to the input sentence or sentences. The inference machine is configured by learning using training data. The training data consists of a first sentence in the first language and a third sentence in the first language generated by machine translation of the second sentence in the second language, which is a translation of the first sentence. generated from the tuple.

本発明によれば、教師データを生成するためのコーパスが存在しないまたは十分ではない場合であっても、文章を操作する推論器を構成できる。 According to the present invention, even when a corpus for generating training data does not exist or is insufficient, it is possible to configure a reasoner that operates on sentences.

本実施の形態に従う推論システムの推論時の構成例を示す模式図である。1 is a schematic diagram showing an example of a configuration of an inference system according to the present embodiment at the time of inference; FIG. 実施の形態１に従う推論システムの教師データを生成するための構成例を示す模式図である。FIG. 2 is a schematic diagram showing a configuration example for generating training data of the inference system according to the first embodiment. 実施の形態１に従う推論システムの教師データを生成するための処理手順を示すフローチャートである。7 is a flowchart showing a processing procedure for generating training data of the inference system according to the first embodiment. 実施の形態１に従う推論システムの推論器を構成するための構成例を示す模式図である。1 is a schematic diagram showing a configuration example for configuring an inference device of an inference system according to the first embodiment; FIG. 実施の形態３に従う推論システムの教師データを生成するための構成例を示す模式図である。FIG. 7 is a schematic diagram showing a configuration example for generating training data of an inference system according to a third embodiment. 実施の形態３に従う推論システムの推論時の構成例を示す模式図である。FIG. 7 is a schematic diagram showing a configuration example of an inference system according to a third embodiment at the time of inference. 本実施の形態に従う推論システムを実現するハードウェア構成例を示す模式図である。FIG. 1 is a schematic diagram showing an example of a hardware configuration for realizing an inference system according to the present embodiment.

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。 Embodiments of the present invention will be described in detail with reference to the drawings. Note that the same or corresponding parts in the figures are designated by the same reference numerals, and the description thereof will not be repeated.

［Ａ．推論システム］
本実施の形態に従う推論システムについて説明する。 [A. Reasoning system]
An inference system according to this embodiment will be explained.

図１は、本実施の形態に従う推論システム１の推論時の構成例を示す模式図である。図１を参照して、推論システム１は、入力された文章から対応する文章を推論する推論器１０を含む。すなわち、推論器１０は、１または複数の文が入力されると、当該入力された１または複数の文に対応する１または複数の文を出力（推論）する。 FIG. 1 is a schematic diagram showing a configuration example of an inference system 1 according to the present embodiment at the time of inference. Referring to FIG. 1, an inference system 1 includes an inference device 10 that infers a corresponding sentence from an input sentence. That is, when one or more sentences are input, the inference device 10 outputs (infers) one or more sentences corresponding to the input one or more sentences.

推論器１０は、後述する教師データを用いて学習することにより構成される学習済モデルを含む。一例として、推論器１０は、ニューラルネットワークを用いて構成される。 The inference device 10 includes a learned model configured by learning using teacher data, which will be described later. As an example, the inference device 10 is configured using a neural network.

例えば、任意の１または複数の文を入力とすることができる。出力としては、入力された１または複数の文を短縮した結果（短文）とすることができる。このような入力と出力との組み合わせを採用した場合には、推論器１０は、入力された文章を短縮する短文化エンジンとして機能する。 For example, any one or more sentences can be input. The output can be the result of shortening one or more input sentences (short sentences). When such a combination of input and output is adopted, the reasoner 10 functions as a short sentence engine that shortens the input sentence.

あるいは、入力された文章を容易化した結果を出力とすることができる。このような入力と出力との組み合わせを採用した場合には、推論器１０は、入力された文章を理解し易くする容易化エンジンとして機能する。 Alternatively, the result of simplifying the input sentence can be output. When such a combination of input and output is adopted, the reasoner 10 functions as a facilitation engine that makes it easier to understand the input sentence.

なお、上述した短文化エンジンとは逆に、入力された文章を冗長化した結果を出力する推論器１０を実現してもよい。あるいは、上述した容易化エンジンとは逆に、入力された文章を難読化した結果を出力する推論器１０を実現してもよい。 Note that, contrary to the above-described short culture engine, an inference device 10 that outputs a redundant input sentence may be implemented. Alternatively, contrary to the above-mentioned facilitation engine, an inference device 10 that outputs a result of obfuscating an input sentence may be implemented.

このように、推論システム１に含まれる推論器１０は、入力された文章を任意に操作できる。 In this way, the inference device 10 included in the inference system 1 can arbitrarily manipulate input sentences.

以下では、主として、短文化エンジンを実現する場合の処理について説明する。短文化エンジンとして機能する推論器１０の動作例は、例えば、以下のようになる。 In the following, processing for realizing the short culture engine will be mainly explained. An example of the operation of the reasoner 10 functioning as a short culture engine is as follows, for example.

（入力１）シリンダヘッドをシリンダブロックに固定するためのボルトの締め付けによる歪み。 (Input 1) Distortion caused by tightening the bolts used to fix the cylinder head to the cylinder block.

（出力１）シリンダヘッドをシリンダブロックに固定するボルトによる歪み。
（入力２）図１は、基本筐体の前面右斜め上から筐体を透過して見たものであり、筐体内各部の配置の概略を示している。 (Output 1) Distortion caused by the bolts that fix the cylinder head to the cylinder block.
(Input 2) FIG. 1 is a view of the basic casing seen from diagonally above and to the right of the front surface of the casing, and shows an outline of the arrangement of each part within the casing.

（出力２）図１は、基本筐体の正面右斜め上方から見た図であり、筐体内の各部の配置の概略を示す。 (Output 2) FIG. 1 is a front view of the basic casing as viewed diagonally from above and to the right, and schematically shows the arrangement of each part within the casing.

（入力３）To provide information on appropriate diagnosis/monitoring of infections associated with administration of this drug and how to respond to such infections when they occur, in order to prepare for the risk of such infections and to minimize their seriousness when they occur.
（出力３）To provide information on appropriate diagnosis and monitoring of infections associated with administration of this drug and how to respond to such infections in order to minimize the risk and severity of such infections.
このように、短文化エンジンに入力された文章は短縮される。 (Input 3) To provide information on appropriate diagnosis/monitoring of infections associated with administration of this drug and how to respond to such infections when they occur, in order to prepare for the risk of such infections and to minimize their seriousness when they occur.
(Output 3) To provide information on appropriate diagnosis and monitoring of infections associated with administration of this drug and how to respond to such infections in order to minimize the risk and severity of such infections.
In this way, sentences input to the short culture engine are shortened.

［Ｂ．実施の形態１］
以下、本発明の実施の形態１に従う推論システム１について説明する。 [B. Embodiment 1]
The inference system 1 according to the first embodiment of the present invention will be described below.

（ｂ１：教師データの生成）
まず、推論器１０の構成に必要な教師データの生成について説明する。 (b1: Generation of teaching data)
First, generation of training data necessary for the configuration of the inference device 10 will be explained.

図２は、実施の形態１に従う推論システム１の教師データを生成するための構成例を示す模式図である。図２を参照して、推論システム１は、翻訳エンジン２２と、翻訳エンジン２４と、生成部２６とを含む。 FIG. 2 is a schematic diagram showing a configuration example for generating training data of the inference system 1 according to the first embodiment. Referring to FIG. 2, inference system 1 includes a translation engine 22, a translation engine 24, and a generation unit 26.

翻訳エンジン２２は、第１言語（例えば、日本語）の文Ｓ１を第２言語（例えば、英語）の文Ｔに翻訳する。すなわち、翻訳エンジン２２は、文Ｓ１を機械翻訳して文Ｔを生成する。このように、翻訳エンジン２２は、文Ｓ１に対応する文Ｔを推論する。 The translation engine 22 translates a sentence S1 in a first language (eg, Japanese) into a sentence T in a second language (eg, English). That is, the translation engine 22 generates a sentence T by machine translating the sentence S1. In this way, the translation engine 22 infers the sentence T corresponding to the sentence S1.

翻訳エンジン２４は、第２言語の文Ｔを第１言語の文Ｓ２に翻訳する。すなわち、翻訳エンジン２４は、文Ｔを機械翻訳して文Ｓ２を生成する。このように、翻訳エンジン２４は、文Ｔに対応する文Ｓ２を推論する。 The translation engine 24 translates the sentence T in the second language into a sentence S2 in the first language. That is, the translation engine 24 machine-translates the sentence T to generate the sentence S2. In this way, the translation engine 24 infers the sentence S2 corresponding to the sentence T.

このように、翻訳エンジン２２および翻訳エンジン２４との間では、入力言語と出力言語が逆になっている。２つの翻訳エンジンを接続することで、同じ第１言語の文Ｓ１と文Ｓ２との組が得られる。 In this way, the input and output languages of the translation engines 22 and 24 are reversed. By connecting two translation engines, a set of sentences S1 and S2 in the same first language can be obtained.

翻訳エンジン２２および翻訳エンジン２４には、公知の学習済モデルを用いることができる。一例として、Ｔｒａｎｓｆｏｒｍｅｒなどのニューラル機械翻訳（Neural Machine Translation：以下「ＮＭＴ」とも略称する。）モデルを用いることができる。なお、十分に大きいコーパスを用いて、翻訳エンジン２２および翻訳エンジン２４を学習することが好ましい。 A known trained model can be used for the translation engine 22 and the translation engine 24. As an example, a neural machine translation (hereinafter also abbreviated as "NMT") model such as Transformer can be used. Note that it is preferable to train the translation engines 22 and 24 using a sufficiently large corpus.

生成部２６は、文Ｓ１と文Ｓ２との組（文対）から教師データ２０を生成する。すなわち、生成部２６は、第１言語の文Ｓ１（第１の文）と、文Ｓ１の翻訳である第２言語の文Ｔ（第２の文）を機械翻訳することで生成される第１言語の文Ｓ２（第３の文）と、の組から教師データ２０を生成する。 The generation unit 26 generates the teacher data 20 from the set (sentence pair) of the sentence S1 and the sentence S2. That is, the generation unit 26 generates a first sentence generated by machine translating a sentence S1 (first sentence) in the first language and a sentence T (second sentence) in the second language, which is a translation of the sentence S1. Teacher data 20 is generated from the set of language sentence S2 (third sentence).

生成部２６は、文Ｓ１および文Ｓ２の評価値を算出するようにしてもよい。目的の推論器１０に応じた評価値が用いられる。例えば、短文化エンジンを構成する場合には、評価値として、文の長さ（文字数またはワード数）が採用すればよい。容易化エンジンを構成する場合には、評価値として、文の難易度を採用すればよい。 The generation unit 26 may calculate evaluation values for the sentences S1 and S2. An evaluation value corresponding to the target inference device 10 is used. For example, when constructing a short culture engine, the length of a sentence (the number of characters or words) may be used as the evaluation value. When configuring the facilitation engine, the difficulty level of the sentence may be used as the evaluation value.

また、生成部２６は、評価値などに基づいて、文Ｓ１と文Ｓ２との組を教師データ２０として用いることができるか否かを評価するようにしてもよい。この場合には、生成部２６は、教師データ２０として用いることができる文の組のみを教師データ２０に追加する。 Furthermore, the generation unit 26 may evaluate whether or not the set of sentences S1 and S2 can be used as the teacher data 20 based on the evaluation value or the like. In this case, the generation unit 26 adds only sets of sentences that can be used as the teacher data 20 to the teacher data 20.

より具体的には、生成部２６は、長さ算出部２７と、比較部２８とを含む。長さ算出部２７は、文Ｓ１および文Ｓ２のそれぞれの長さを算出する。比較部２８は、文Ｓ１の長さと文Ｓ２の長さとを比較する。 More specifically, the generation unit 26 includes a length calculation unit 27 and a comparison unit 28. The length calculation unit 27 calculates the length of each of the sentences S1 and S2. The comparison unit 28 compares the length of the sentence S1 and the length of the sentence S2.

生成部２６は、文Ｓ１および文Ｓ２のうち、長い方の文を長文ＬｏｎｇＳｎｔとして出力し、短い方の文を短文ＳｈｏｒｔＳｎｔとして出力する。長文ＬｏｎｇＳｎｔと短文ＳｈｏｒｔＳｎｔとの組が教師データ２０となる。 The generation unit 26 outputs the longer sentence of the sentence S1 and the sentence S2 as a long sentence LongSnt, and outputs the shorter sentence as a short sentence ShortSnt. The set of the long sentence LongSnt and the short sentence ShortSnt becomes the teacher data 20.

教師データ２０において、長文ＬｏｎｇＳｎｔが入力であり、短文ＳｈｏｒｔＳｎｔが出力となる。以下では、教師データ２０における入出力の対応関係を「ＬｏｎｇＳｎｔ｜｜｜ＳｈｏｒｔＳｎｔ」と表現することもある。 In the teacher data 20, a long sentence LongSnt is an input, and a short sentence ShortSnt is an output. In the following, the correspondence relationship between input and output in the teacher data 20 may be expressed as "LongSnt|||ShortSnt."

このように、生成部２６は、文Ｓ１の評価値（長さ）と文Ｓ２の評価値（長さ）とを比較することで、文Ｓ１および文Ｓ２の一方を教師データ２０の入力に決定し、文Ｓ１および文Ｓ２の他方を教師データ２０の出力に決定するようにしてもよい。 In this way, the generation unit 26 determines one of the sentences S1 and S2 to be input to the teacher data 20 by comparing the evaluation value (length) of the sentence S1 and the evaluation value (length) of the sentence S2. However, the other of the sentences S1 and S2 may be determined to be the output of the teacher data 20.

なお、文Ｓ１と文Ｓ２との意味が一致している可能性を高めるために、生成部２６は、文Ｓ１と文Ｓ２との類似度を算出するとともに、類似度が予め定められたしきい値（例えば、５０％）を超える場合に限って、教師データ２０として用いるようにしてもよい。 Note that in order to increase the possibility that the meanings of sentences S1 and S2 match, the generation unit 26 calculates the degree of similarity between sentences S1 and S2, and also sets the degree of similarity to a predetermined threshold. It may be used as the teacher data 20 only when it exceeds a value (for example, 50%).

文Ｓ１として、任意の分野の任意の言語の文を任意の量だけ用いることで、任意の分野の任意の言語の教師データ２０を任意の量だけ生成できる。 By using an arbitrary amount of sentences in an arbitrary language in an arbitrary field as the sentences S1, it is possible to generate an arbitrary amount of teacher data 20 in an arbitrary language in an arbitrary field.

図３は、実施の形態１に従う推論システム１の教師データを生成するための処理手順を示すフローチャートである。図３に示す各ステップは、例えば、プロセッサがプログラムを実行することで実現される。 FIG. 3 is a flowchart showing a processing procedure for generating teacher data of the inference system 1 according to the first embodiment. Each step shown in FIG. 3 is realized, for example, by a processor executing a program.

図３を参照して、推論システム１は、予め用意されたコーパスから文Ｓ１を選択する（ステップＳＴ２）。推論システム１は、選択された文Ｓ１を翻訳エンジン２２に入力して文Ｔを生成する（ステップＳＴ４）。続いて、推論システム１は、選択された文Ｔを翻訳エンジン２４に入力して文Ｓ２を生成する（ステップＳＴ６）。 Referring to FIG. 3, inference system 1 selects sentence S1 from a corpus prepared in advance (step ST2). The inference system 1 inputs the selected sentence S1 into the translation engine 22 to generate a sentence T (step ST4). Subsequently, the inference system 1 inputs the selected sentence T to the translation engine 24 to generate a sentence S2 (step ST6).

推論システム１は、文Ｓ１および文Ｓ２のそれぞれの長さを算出し（ステップＳＴ８）、算出した文の長さを比較する（ステップＳＴ１０）。 The inference system 1 calculates the length of each of the sentences S1 and S2 (step ST8), and compares the calculated sentence lengths (step ST10).

文Ｓ１が文Ｓ２より長ければ（ステップＳＴ１０において「Ｓ１＞Ｓ２」）、推論システム１は、文Ｓ１を長文ＬｏｎｇＳｎｔとし、文Ｓ２を短文ＳｈｏｒｔＳｎｔとして、教師データ２０に追加する（ステップＳＴ１２）。 If the sentence S1 is longer than the sentence S2 (“S1>S2” in step ST10), the inference system 1 adds the sentence S1 as a long sentence LongSnt and the sentence S2 as a short sentence ShortSnt to the teacher data 20 (step ST12).

文Ｓ２が文Ｓ１より長ければ（ステップＳＴ１０において「Ｓ２＞Ｓ１」）、推論システム１は、文Ｓ２を長文ＬｏｎｇＳｎｔとし、文Ｓ１を短文ＳｈｏｒｔＳｎｔとして、教師データ２０に追加する（ステップＳＴ１４）。 If the sentence S2 is longer than the sentence S1 (“S2>S1” in step ST10), the inference system 1 adds the sentence S2 as a long sentence LongSnt and the sentence S1 as a short sentence ShortSnt to the teacher data 20 (step ST14).

推論システム１は、教師データ２０が予め定められたサイズに到達したか否かを判断する（ステップＳＴ１６）。教師データ２０が予め定められたサイズに到達していなければ（ステップＳＴ１６においてＮＯ）、ステップＳＴ２以下の処理が繰り返される。 The inference system 1 determines whether the teacher data 20 has reached a predetermined size (step ST16). If the teacher data 20 has not reached the predetermined size (NO in step ST16), the processes from step ST2 onwards are repeated.

教師データ２０が予め定められたサイズに到達していれば（ステップＳＴ１６においてＹＥＳ）、教師データを生成するための処理は終了する。 If the teacher data 20 has reached the predetermined size (YES in step ST16), the process for generating the teacher data ends.

（ｂ２：推論器１０の学習）
次に、推論器１０の学習について説明する。 (b2: Learning of inference device 10)
Next, learning of the inference device 10 will be explained.

図４は、実施の形態１に従う推論システム１の推論器１０を構成するための構成例を示す模式図である。図４を参照して、推論システム１は、学習部４０を含む。 FIG. 4 is a schematic diagram showing a configuration example for configuring the inference device 10 of the inference system 1 according to the first embodiment. Referring to FIG. 4, the inference system 1 includes a learning section 40.

学習部４０は、教師データ２０を用いて推論器１０を学習する。より具体的には、学習部４０は、教師データ２０を用いて、推論器１０を構成するモデルのパラメータを最適化する。パラメータの最適化（学習）には、例えば、非特許文献２に開示される「ｓｅｑｕｅｎｃｅ２ｓｅｑｕｅｎｃｅ」といった任意の学習手法を採用できる。 The learning unit 40 trains the inference device 10 using the teacher data 20. More specifically, the learning unit 40 uses the teacher data 20 to optimize the parameters of the model that constitutes the inference device 10. For parameter optimization (learning), any learning method such as "sequence2sequence" disclosed in Non-Patent Document 2 can be adopted, for example.

推論器１０をニューラルネットワーク（ＮＭＴモデル１２）を用いて構成する場合には、ＮＭＴの手法を採用できる。より具体的には、学習部４０は、教師データ（ＬｏｎｇＳｎｔ｜｜｜ＳｈｏｒｔＳｎｔ）の長文ＬｏｎｇＳｎｔと、長文ＬｏｎｇＳｎｔをＮＭＴモデル１２に入力して得られる結果を対応する短文ＳｈｏｒｔＳｎｔとの差に基づいて、ＮＭＴモデル１２のパラメータを最適化する。このように、学習部４０は、一般的なＮＭＴの学習方法により、ＮＭＴモデル１２を学習することにより、短文化エンジンとして機能する推論器１０（学習済モデル）を構成できる。 When the inference device 10 is configured using a neural network (NMT model 12), an NMT method can be adopted. More specifically, the learning unit 40 inputs the long sentence LongSnt into the NMT model 12 and inputs the long sentence LongSnt into the NMT model 12 based on the difference between the long sentence LongSnt of the teacher data (LongSnt|||ShortSnt) and the corresponding short sentence ShortSnt. Optimize the parameters of the NMT model 12. In this way, the learning unit 40 can configure the inference device 10 (trained model) that functions as a short culture engine by learning the NMT model 12 using a general NMT learning method.

［Ｃ．実施の形態２］
上述の実施の形態１においては、翻訳エンジン２２を用いて、第１言語の文Ｓ１と第２言語の文Ｔとの対訳を用意する。すなわち、機械翻訳により対訳が用意される。 [C. Embodiment 2]
In the first embodiment described above, the translation engine 22 is used to prepare a bilingual translation of the sentence S1 in the first language and the sentence T in the second language. That is, parallel translations are prepared by machine translation.

但し、第１言語の文Ｓ１と第２言語の文Ｔとの対訳については、予め用意されている対訳コーパスを用いてもよいし、人手翻訳に代えてもよい。 However, for the bilingual translation between the sentence S1 in the first language and the sentence T in the second language, a bilingual corpus prepared in advance may be used, or manual translation may be used instead.

このように、図２に示す構成例において、翻訳エンジン２２は必須の構成ではなく、代替可能である。 In this way, in the configuration example shown in FIG. 2, the translation engine 22 is not an essential configuration and can be replaced.

［Ｄ．実施の形態３］
上述の実施の形態１においては、文Ｓ１と文Ｓ２との間で長さを比較することで、教師データ２０を生成する処理例を説明したが、評価値のレベルを示すメタ情報を教師データ２０に付加してもよい。より具体的には、短縮の度合いを示すメタ情報を教師データ２０に付加するとともに、短縮の度合いを示すメタ情報を反映した推論器１０を構成してもよい。 [D. Embodiment 3]
In the above-described first embodiment, an example of processing was described in which the teacher data 20 is generated by comparing the lengths of sentences S1 and S2. It may be added to 20. More specifically, meta information indicating the degree of shortening may be added to the teacher data 20, and the inference device 10 may be configured to reflect the meta information indicating the degree of shortening.

（ｄ１：教師データの生成）
図２に示す構成例により生成される教師データ２０において、長文ＬｏｎｇＳｎｔの長さに対する短文ＳｈｏｒｔＳｎｔの長さの比率Ｒ（＝ＳｈｏｒｔＳｎｔ／ＬｏｎｇＳｎｔ）は、文Ｓ１と文Ｓ２との組毎に異なる。ここで、比率Ｒは、短縮率を示す。 (d1: Generation of training data)
In the teacher data 20 generated by the configuration example shown in FIG. 2, the ratio R of the length of the short sentence ShortSnt to the length of the long sentence LongSnt (=ShortSnt/LongSnt) differs for each pair of sentences S1 and S2. Here, the ratio R indicates the shortening rate.

比率Ｒの大きさに基づいて、文の組を複数のクラス（例えば、２クラス）に分類してもよい。 Based on the magnitude of the ratio R, a set of sentences may be classified into a plurality of classes (for example, two classes).

図５は、実施の形態３に従う推論システム１の教師データを生成するための構成例を示す模式図である。図５に示す推論システム１は、図２に示す推論システム１に比較して、生成部２６の構成が異なっている。 FIG. 5 is a schematic diagram showing a configuration example for generating teacher data of the inference system 1 according to the third embodiment. The inference system 1 shown in FIG. 5 differs from the inference system 1 shown in FIG. 2 in the configuration of the generation unit 26.

より具体的には、生成部２６は、長さ算出部２７および比較部２８に加えて、比率算出部２９を含む。比率算出部２９は、文Ｓ１および文Ｓ２のうち長い方（長文ＬｏｎｇＳｎｔ）の文長さに対する短い方（短文ＳｈｏｒｔＳｎｔ）の文長さの比率Ｒを算出する。 More specifically, the generation unit 26 includes a ratio calculation unit 29 in addition to a length calculation unit 27 and a comparison unit 28. The ratio calculation unit 29 calculates the ratio R of the sentence length of the shorter one (short sentence ShortSnt) to the sentence length of the longer one (long sentence LongSnt) of sentences S1 and S2.

生成部２６は、算出される比率Ｒの大きさに基づいて、短縮の度合いを示すメタ情報を付加して、教師データ２０を生成する。 The generation unit 26 generates the teacher data 20 by adding meta information indicating the degree of reduction based on the magnitude of the calculated ratio R.

一例として、生成部２６は、（１）比率Ｒがしきい値（例えば、８０％）以上である文対には、短縮の度合いが相対的に低いことを示す＜ＷｅａｋＣｏｍｐｒｅｓｓｉｏｎ＞というタグを入力文の先頭に付加し、（２）比率Ｒがしきい値（例えば、８０％）未満である文対には、短縮の度合いが相対的に高いことを示す＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞というタグを入力文の先頭に付加する。 As an example, the generation unit 26 adds a tag <WeakCompression> indicating that the degree of contraction is relatively low to (1) a sentence pair in which the ratio R is equal to or higher than a threshold value (for example, 80%) to the input sentence. (2) For sentence pairs whose ratio R is less than a threshold (e.g. 80%), a tag <StrongCompression> indicating a relatively high degree of contraction is added to the beginning of the input sentence. Add to.

なお、比率Ｒが１００％に近い文対（すなわち、短縮の度合いが低いと判断できる文対）については、教師データ２０として用いることができないと判断して、破棄するようにしてもよい（すなわち、教師データ２０には含めないようにしてもよい）。 Note that sentence pairs for which the ratio R is close to 100% (i.e., sentence pairs that can be judged to have a low degree of contraction) may be determined to be unusable as the teacher data 20 and may be discarded (i.e., , may not be included in the teacher data 20).

このような短縮の度合いを示すメタ情報として複数種類のタグを先頭に付加することで、教師データ２０における入出力の対応関係は、以下のいずれかを含むことになる。 By adding multiple types of tags to the beginning as meta information indicating the degree of shortening, the input/output correspondence in the teacher data 20 will include one of the following.

＜ＷｅａｋＣｏｍｐｒｅｓｓｉｏｎ＞ＬｏｎｇＳｎｔ｜｜｜ＳｈｏｒｔＳｎｔ
＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞ＬｏｎｇＳｎｔ｜｜｜ＳｈｏｒｔＳｎｔ
（ｄ２：推論器１０の学習）
推論器１０を構成する場合には、メタ情報であるタグが先頭に付加された教師データ２０を用いて学習が行われる。学習方法としては、一般的なＮＭＴの学習方法を用いることができる。 <WeakCompression>LongSnt | | | ShortSnt
<StrongCompression>LongSnt | | | ShortSnt
(d2: Learning of inference device 10)
When configuring the inference device 10, learning is performed using the teacher data 20 to which a tag, which is meta information, is added at the beginning. As a learning method, a general NMT learning method can be used.

（ｄ３：推論）
図６は、実施の形態３に従う推論システム１の推論時の構成例を示す模式図である。図６を参照して、実施の形態３に従う推論システム１は、上述の教師データ２０を用いて構成された推論器１０に加えて、入力文の先頭にタグを付加するタグ付加部３０を含む。 (d3: Reasoning)
FIG. 6 is a schematic diagram showing a configuration example of the inference system 1 according to the third embodiment at the time of inference. Referring to FIG. 6, inference system 1 according to the third embodiment includes, in addition to inference device 10 configured using the above-mentioned teacher data 20, tag addition unit 30 that adds a tag to the beginning of an input sentence. .

タグ付加部３０は、入力文Ｓｎｔに対して、予め用意されたタグ（例えば、＜ＷｅａｋＣｏｍｐｒｅｓｓｉｏｎ＞または＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞）を付加する。その結果、タグ付加部３０からは、「＜ＷｅａｋＣｏｍｐｒｅｓｓｉｏｎ＞Ｓｎｔ」または「＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞Ｓｎｔ」が出力される。なお、タグ付加部３０は、指定されたモードに応じて、付加するタグを切り替える。 The tag addition unit 30 adds a previously prepared tag (for example, <WeakCompression> or <StrongCompression>) to the input sentence Snt. As a result, the tag adding unit 30 outputs “<WeakCompression>Snt” or “<StrongCompression>Snt”. Note that the tag adding section 30 switches the tag to be added depending on the specified mode.

タグ付加部３０から出力されるタグが付加された入力文は、推論器１０に入力される。これにより、＜ＷｅａｋＣｏｍｐｒｅｓｓｉｏｎ＞のタグが付加された入力文に対しては、相対的に度合いの低い短縮が行われて、出力文は相対的に長くなる。また、＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞のタグが付加された入力文に対しては、相対的に度合いの高い短縮が行われて、出力文は相対的に短くなる。 The tagged input sentence output from the tag adding section 30 is input to the inference device 10. As a result, the input sentence to which the <WeakCompression> tag is added is shortened to a relatively low degree, and the output sentence becomes relatively long. Further, an input sentence to which a tag of <StrongCompression> is added is subjected to a relatively high degree of compression, and the output sentence becomes relatively short.

このように、ユーザがモードを選択することで、共通の推論器１０を用いて、短縮の度合いを任意に切り替えることができる。 In this way, by selecting the mode by the user, the degree of reduction can be arbitrarily switched using the common inference device 10.

［Ｅ．実施の形態３の変形例］
上述の実施の形態３において説明したように、短縮の度合いを示すメタ情報を付加した教師データ２０を生成した場合には、学習により推論器１０を構成した後に、さらにチューニング（adaptation）を行ってもよい。 [E. Modification of Embodiment 3]
As explained in the third embodiment above, when the training data 20 with meta information indicating the degree of reduction is generated, after the inference device 10 is configured by learning, further tuning (adaptation) is performed. Good too.

一般的に、相対的に度合いの高い短縮が利用されると想定されているため、教師データ２０のうち、＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞のタグが付加された文対を用いて、追加学習（ファインチューニング）を行うようにしてもよい。 Generally, it is assumed that a relatively high degree of contraction is used, so additional learning (fine tuning) is performed using sentence pairs to which the <Strong Compression> tag is added from the training data 20. You may also do so.

より具体的には、上述の実施の形態３と同様の方法で、教師データ２０を用いて学習することにより推論器１０を構成する。なお、この学習においては、＜ＷｅａｋＣｏｍｐｒｅｓｓｉｏｎ＞のタグが付加された文対、および、＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞のタグが付加された文対の両方（すなわち、教師データ２０のすべて）が用いられる。 More specifically, the inference device 10 is configured by learning using the teacher data 20 in the same manner as in the third embodiment described above. Note that in this learning, both the sentence pairs to which the <WeakCompression> tag is added and the sentence pairs to which the <StrongCompression> tag is added (that is, all of the teacher data 20) are used.

続いて、教師データ２０に含まれる＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞のタグが付加された文対を用いて、推論器１０の追加学習が行われる。なお、教師データ２０に含まれる＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞のタグが付加された文対の一部だけが追加学習に用いられてもよい。また、＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞のタグが付加された同じ文対を複数回用いるようにしてもよい。 Subsequently, additional learning of the inference device 10 is performed using the sentence pairs to which the <StrongCompression> tag included in the teacher data 20 is added. Note that only some of the sentence pairs included in the teacher data 20 and tagged with <StrongCompression> may be used for additional learning. Furthermore, the same sentence pair to which the <StrongCompression> tag is added may be used multiple times.

このように、教師データ２０を用いて学習した推論器１０を、教師データ２０のうち特定のメタ情報（この例では、＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞のタグ）が付加されたデータを用いて追加学習するようにしてもよい。このような追加学習により、短縮の度合いを高めた圧縮化が得意な推論器１０を構成することができる。 In this way, the reasoner 10 trained using the teacher data 20 is additionally trained using data to which specific meta information (in this example, the <StrongCompression> tag) is added from the teacher data 20. It's okay. Through such additional learning, it is possible to configure an inference device 10 that is good at compression with a high degree of reduction.

なお、推論時には、図６に示す構成例に示すタグ付加部３０は、基本的には、入力文Ｓｎｔに対して＜ＳｔｒｏｎｇＣｏｍｐｒｅｓｓｉｏｎ＞を付加することになる。 Note that during inference, the tag addition unit 30 shown in the configuration example shown in FIG. 6 basically adds <StrongCompression> to the input sentence Snt.

本願発明者らの実験によれば、実施の形態３の変形例において説明した追加学習を行うことにより、日本語、英語、中国語、韓国語、ベトナム語のいずれについても、平均して約７５％程度の短縮を実現できることが確認された。 According to experiments by the inventors of the present application, by performing the additional learning described in the modification of Embodiment 3, on average, approximately 75% of Japanese, English, Chinese, Korean, and Vietnamese can be learned. It was confirmed that it was possible to achieve a reduction of approximately 1.5%.

［Ｆ．実施の形態４］
本発明の実施の形態に従う推論システム１の推論器１０には、１文ではなく、複数の文を連結して入力することも可能である。上述の実施の形態に従う推論器１０（短文化エンジン）は、数文程度を連結した結果を入力しても、短縮された文を出力可能である。但し、数文を超えると、適切に短縮できない場合もある。 [F. Embodiment 4]
It is also possible to input not one sentence but a plurality of connected sentences to the inference device 10 of the inference system 1 according to the embodiment of the present invention. The inference device 10 (short culture engine) according to the embodiment described above can output a shortened sentence even if the result of concatenating several sentences is input. However, if it exceeds a few sentences, it may not be possible to shorten it appropriately.

このような場合には、予め定められた数の範囲で文を連結して短縮するという処理を繰り返し実行するようにしてもよい。例えば、複数の文からなる文書については、連続する複数の文（２以上の文）を連結して、推論器１０の一つの入力とする。これによって、連結した複数の文に対応する短縮された文が出力される。この処理をボトムアップに繰り返し実行することで、複数の文からなる文書であっても、短縮された文章（例えば、要約）を生成できる。 In such a case, a process of concatenating and shortening sentences within a predetermined number range may be repeatedly executed. For example, for a document consisting of a plurality of sentences, a plurality of consecutive sentences (two or more sentences) are connected and used as one input to the inference device 10. As a result, a shortened sentence corresponding to the multiple concatenated sentences is output. By repeatedly executing this process from the bottom up, a shortened sentence (for example, a summary) can be generated even if the document consists of multiple sentences.

例えば、９文（Ｓｎｔ１～Ｓｎｔ９）を２文の要約を生成する場合には、以下のように処理することができる。なお、以下の説明において、「＋」は結合を意味し、「→」は推論器１０からの出力を意味する。 For example, when generating a two-sentence summary from nine sentences (Snt1 to Snt9), the following processing can be performed. In the following description, "+" means a combination, and "→" means an output from the inference device 10.

（１）短文化（Ｓｎｔ１＋Ｓｎｔ２）→ＣｏｍｐＳｎｔ１２
（２）短文化（Ｓｎｔ３＋Ｓｎｔ４）→ＣｏｍｐＳｎｔ３４
（３）短文化（Ｓｎｔ５＋Ｓｎｔ６）→ＣｏｍｐＳｎｔ５６
（４）短文化（Ｓｎｔ７＋Ｓｎｔ８＋Ｓｎｔ９）→ＣｏｍｐＳｎｔ７８９
すなわち、（１）～（４）においては、２または３文を連結して、短縮文ＣｏｍｐＳｎｔ１２，ＣｏｍｐＳｎｔ３４，ＣｏｍｐＳｎｔ５６，ＣｏｍｐＳｎｔ７８９がそれぞれ生成される。 (1) Short culture (Snt1+Snt2) → CompSnt12
(2) Short culture (Snt3+Snt4) → CompSnt34
(3) Short culture (Snt5+Snt6) → CompSnt56
(4) Short culture (Snt7+Snt8+Snt9) → CompSnt789
That is, in (1) to (4), two or three sentences are concatenated to generate shortened sentences CompSnt12, CompSnt34, CompSnt56, and CompSnt789, respectively.

（５）短文化（ＣｏｍｐＳｎｔ１２＋ＣｏｍｐＳｎｔ３４）→ＣｏｍｐＳｎｔ１２３４
（６）短文化（ＣｏｍｐＳｎｔ５６＋ＣｏｍｐＳｎｔ７８９）→ＣｏｍｐＳｎｔ５６７８９
すなわち、（５）および（６）においては、２つの短縮文を連結して、短縮文ＣｏｍｐＳｎｔ１２３４，ＣｏｍｐＳｎｔ５６７８９がそれぞれ生成される。 (5) Short culture (CompSnt12+CompSnt34) → CompSnt1234
(6) Short culture (CompSnt56+CompSnt789) → CompSnt56789
That is, in (5) and (6), two contracted sentences are concatenated to generate contracted sentences CompSnt1234 and CompSnt56789, respectively.

最終的に、短縮文ＣｏｍｐＳｎｔ１２３４および短縮文ＣｏｍｐＳｎｔ５６７８９が要約として出力される。 Finally, the shortened sentence CompSnt1234 and the shortened sentence CompSnt56789 are output as a summary.

上述したような処理は、この要約のプロセスは、所望の文数および／または所望の長さの文が生成されるまで繰り返されてもよい。 As described above, this summarization process may be repeated until a desired number of sentences and/or sentences of a desired length are generated.

［Ｇ．実施の形態５］
上述の実施の形態１～４においては、入力された文を短縮する短文化エンジンとして機能する推論器１０を例示したが、推論器１０による文章の操作内容は、どのようなものであってもよい。 [G. Embodiment 5]
In the first to fourth embodiments described above, the inference device 10 that functions as a short sentence engine that shortens the input sentence is illustrated, but the operation content of the sentence by the inference device 10 may be any type. good.

上述したように、容易化エンジンあるいは難読化エンジンとして機能する推論器１０を構成する場合には、文Ｓ１と文Ｓ２との組（文対）について、非特許文献３に示される手法を用いて、難易度を評価した上で、容易化エンジンあるいは難読化エンジンを構成するための教師データ２０を生成すればよい。 As described above, when configuring the inference device 10 that functions as a facilitation engine or an obfuscation engine, the method shown in Non-Patent Document 3 is used for the set (sentence pair) of sentence S1 and sentence S2. After evaluating the difficulty level, the teacher data 20 for configuring the facilitation engine or the obfuscation engine may be generated.

容易化エンジンを構成する場合には、難しい文を入力とし、対応する易しい文を出力として教師データ２０が生成される。逆に、難読化エンジンを構成する場合には、易しい文を入力とし、対応する難しい文を出力として教師データ２０が生成される。 When configuring the facilitation engine, the teacher data 20 is generated by inputting a difficult sentence and outputting a corresponding easy sentence. Conversely, when configuring an obfuscation engine, the teacher data 20 is generated using easy sentences as input and corresponding difficult sentences as output.

このように、教師データ２０を生成する際の文対の評価方法は、目的の推論器１０に必要な機能を実現するものであれば、どのようなものであってもよい。 In this way, the method for evaluating sentence pairs when generating the teacher data 20 may be any method as long as it realizes the functions necessary for the target reasoner 10.

［Ｈ．ハードウェア構成例］
次に、本実施の形態に従う推論システム１を実現するためのハードウェア構成例について説明する。 [H. Hardware configuration example]
Next, an example of a hardware configuration for realizing the inference system 1 according to this embodiment will be described.

図７は、本実施の形態に従う推論システム１を実現するハードウェア構成例を示す模式図である。推論システム１は、例えば、コンピュータの一例である情報処理装置１００を用いて実現される。 FIG. 7 is a schematic diagram showing an example of a hardware configuration for realizing the inference system 1 according to the present embodiment. The inference system 1 is realized using, for example, an information processing device 100 that is an example of a computer.

図７を参照して、情報処理装置１００は、主要なハードウェアコンポーネントとして、ＣＰＵ（central processing unit）１０２と、ＧＰＵ（graphics processing unit）１０４と、主メモリ１０６と、ディスプレイ１０８と、ネットワークインターフェイス（Ｉ／Ｆ：interface）１１０と、二次記憶装置１１２と、入力デバイス１２２と、光学ドライブ１２４とを含む。これらのコンポーネントは、内部バス１２８を介して互いに接続される。 Referring to FIG. 7, information processing apparatus 100 includes a CPU (central processing unit) 102, a GPU (graphics processing unit) 104, a main memory 106, a display 108, and a network interface ( 110, a secondary storage device 112, an input device 122, and an optical drive 124. These components are connected to each other via an internal bus 128.

ＣＰＵ１０２および／またはＧＰＵ１０４は、推論システム１の実現に必要な処理を実行するプロセッサである。ＣＰＵ１０２およびＧＰＵ１０４は、複数個配置されてもよいし、複数のコアを有していてもよい。 The CPU 102 and/or the GPU 104 are processors that execute processes necessary to implement the inference system 1. A plurality of CPUs 102 and GPUs 104 may be arranged, or may have a plurality of cores.

主メモリ１０６は、プロセッサ（ＣＰＵ１０２および／またはＧＰＵ１０４）が処理を実行するにあたって、プログラムコードやワークデータなどを一時的に格納（あるいは、キャッシュ）する記憶領域であり、例えば、ＤＲＡＭ（dynamic random access memory）やＳＲＡＭ（static random access memory）などの揮発性メモリデバイスなどで構成される。 The main memory 106 is a storage area that temporarily stores (or caches) program codes, work data, etc. when the processor (CPU 102 and/or GPU 104) executes processing, and is, for example, a DRAM (dynamic random access memory). ) and volatile memory devices such as SRAM (static random access memory).

ディスプレイ１０８は、処理に係るユーザインターフェイスや処理結果などを出力する表示部であり、例えば、ＬＣＤ（liquid crystal display）や有機ＥＬ（electroluminescence）ディスプレイなどで構成される。 The display 108 is a display unit that outputs a user interface related to processing, processing results, etc., and is configured with, for example, an LCD (liquid crystal display) or an organic EL (electroluminescence) display.

ネットワークインターフェイス１１０は、インターネット上またはイントラネット上の任意の情報処理装置などとの間でデータをやり取りする。ネットワークインターフェイス１１０としては、例えば、イーサネット（登録商標）、無線ＬＡＮ（local area network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの任意の通信方式を採用できる。 The network interface 110 exchanges data with any information processing device on the Internet or an intranet. As the network interface 110, any communication method such as Ethernet (registered trademark), wireless LAN (local area network), Bluetooth (registered trademark), etc. can be adopted.

入力デバイス１２２は、ユーザからの指示や操作などを受け付けるデバイスであり、例えば、キーボード、マウス、タッチパネル、ペンなどで構成される。 The input device 122 is a device that accepts instructions and operations from the user, and includes, for example, a keyboard, a mouse, a touch panel, a pen, and the like.

光学ドライブ１２４は、ＣＤ－ＲＯＭ（compact disc read only memory）、ＤＶＤ（digital versatile disc）などの光学ディスク１２６に格納されている情報を読出して、内部バス１２８を介して他のコンポーネントへ出力する。光学ディスク１２６は、非一過的（non-transitory）な記録媒体の一例であり、任意のプログラムを不揮発的に格納した状態で流通する。光学ドライブ１２４が光学ディスク１２６からプログラムを読み出して、二次記憶装置１１２などにインストールすることで、コンピュータが情報処理装置１００として機能するようになる。したがって、本発明の主題は、二次記憶装置１１２などにインストールされたプログラム自体、または、本実施の形態に従う機能や処理を実現するためのプログラムを格納した光学ディスク１２６などの記録媒体でもあり得る。 The optical drive 124 reads information stored on an optical disc 126 such as a CD-ROM (compact disc read only memory) or a DVD (digital versatile disc), and outputs the information to other components via an internal bus 128. The optical disc 126 is an example of a non-transitory recording medium, and is distributed in a state in which an arbitrary program is stored in a non-volatile manner. The computer comes to function as the information processing device 100 by the optical drive 124 reading the program from the optical disk 126 and installing it in the secondary storage device 112 or the like. Therefore, the subject matter of the present invention may be the program itself installed in the secondary storage device 112 or the like, or a recording medium such as the optical disk 126 that stores the program for realizing the functions and processing according to the present embodiment. .

図７には、非一過的な記録媒体の一例として、光学ディスク１２６などの光学記録媒体を示すが、これに限らず、フラッシュメモリなどの半導体記録媒体、ハードディスクまたはストレージテープなどの磁気記録媒体、ＭＯ（magneto-optical disk）などの光磁気記録媒体を用いてもよい。 Although FIG. 7 shows an optical recording medium such as an optical disk 126 as an example of a non-transitory recording medium, the present invention is not limited to this, and the present invention is not limited to semiconductor recording media such as flash memory, magnetic recording media such as hard disks, or storage tapes. , a magneto-optical recording medium such as MO (magneto-optical disk) may be used.

二次記憶装置１１２は、コンピュータを情報処理装置１００として機能させるために必要なプログラムおよびデータを格納する。例えば、ハードディスク、ＳＳＤ（solid state drive）などの不揮発性記憶装置で構成される。 The secondary storage device 112 stores programs and data necessary for the computer to function as the information processing device 100. For example, it is configured with a non-volatile storage device such as a hard disk or SSD (solid state drive).

より具体的には、二次記憶装置１１２は、図示しないＯＳ（operating system）の他、教師データ生成プログラム１１４と、学習プログラム１１６と、パラメータセット１１８と、推論プログラム１２０とを格納している。 More specifically, the secondary storage device 112 stores a teacher data generation program 114, a learning program 116, a parameter set 118, and an inference program 120 in addition to an OS (operating system) not shown.

教師データ生成プログラム１１４は、上述したような教師データ２０を生成するための処理を実現する。 The teacher data generation program 114 realizes processing for generating the teacher data 20 as described above.

学習プログラム１１６は、上述したような教師データ２０を用いて推論器１０を構成する処理を実現する。 The learning program 116 implements processing for configuring the inference device 10 using the teacher data 20 as described above.

パラメータセット１１８は、学習プログラム１１６による学習により最適化された結果を含む。 The parameter set 118 includes results optimized by learning by the learning program 116.

推論プログラム１２０は、パラメータセット１１８により規定される推論器１０に１または複数の入力文を入力して、結果を出力する処理を実現する。 The inference program 120 realizes a process of inputting one or more input sentences to the inference device 10 defined by the parameter set 118 and outputting a result.

プロセッサ（ＣＰＵ１０２および／またはＧＰＵ１０４）がプログラムを実行する際に必要となるライブラリや機能モジュールの一部を、ＯＳが標準で提供するライブラリまたは機能モジュールにより代替してもよい。この場合には、プログラム単体では、対応する機能を実現するために必要なプログラムモジュールのすべてを含むものにはならないが、ＯＳの実行環境下にインストールされることで、目的の処理を実現できる。このような一部のライブラリまたは機能モジュールを含まないプログラムであっても、本発明の技術的範囲に含まれ得る。 A part of the library or function module required when the processor (CPU 102 and/or GPU 104) executes a program may be replaced by a library or function module provided as standard by the OS. In this case, although a single program does not include all of the program modules necessary to implement the corresponding function, it is possible to implement the desired processing by installing it in the execution environment of the OS. Even programs that do not include some of these libraries or functional modules may be included in the technical scope of the present invention.

また、これらのプログラムは、上述したようないずれかの記録媒体に格納されて流通するだけでなく、インターネットまたはイントラネットを介してサーバ装置などからダウンロードすることで配布されてもよい。 Furthermore, these programs may not only be stored and distributed in any of the recording media as described above, but may also be distributed by being downloaded from a server device or the like via the Internet or an intranet.

図７には、単一のコンピュータを用いて情報処理装置１００を構成する例を示すが、これに限らず、コンピュータネットワークを介して接続された複数のコンピュータが明示的または黙示的に連携して、推論器１０を含む推論システム１を実現するようにしてもよい。例えば、文章の操作をウェブサービスとして提供する場合には、ウェブブラウザを介して入力された１または複数の文を推論器１０に入力し、推論器１０から出力される結果をウェブブラウザを介して提供する処理を１または複数のサーバで実行するようにしてもよい。この場合、教師データ２０を生成する処理、および、教師データ２０を用いて推論器１０を構成する処理は、別のサーバで実行されてもよい。 Although FIG. 7 shows an example in which the information processing apparatus 100 is configured using a single computer, the information processing apparatus 100 is not limited to this, and multiple computers connected via a computer network may explicitly or implicitly cooperate. , an inference system 1 including the inference device 10 may be realized. For example, when providing text manipulation as a web service, one or more sentences input via a web browser are input to the reasoner 10, and the results output from the reasoner 10 are sent via the web browser. The provided processing may be executed by one or more servers. In this case, the process of generating the teacher data 20 and the process of configuring the inference device 10 using the teacher data 20 may be executed by another server.

プロセッサ（ＣＰＵ１０２および／またはＧＰＵ１０４）がプログラムを実行することで実現される機能の全部または一部を、集積回路などのハードワイヤード回路（hard-wired circuit）を用いて実現してもよい。例えば、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）などを用いて実現してもよい。 All or part of the functions realized by the processor (CPU 102 and/or GPU 104) executing a program may be realized using a hard-wired circuit such as an integrated circuit. For example, it may be realized using an ASIC (application specific integrated circuit), an FPGA (field-programmable gate array), or the like.

当業者であれば、本発明が実施される時代に応じた技術を適宜用いて、本実施の形態に従う情報処理装置１００を実現できるであろう。 Those skilled in the art will be able to realize information processing device 100 according to this embodiment by appropriately using techniques appropriate to the era in which the present invention is implemented.

説明の便宜上、同一の情報処理装置１００が教師データ２０の生成処理、学習処理および推論処理を実行する例を示すが、これらの処理の一部を異なるハードウェアを用いて実現してもよい。 For convenience of explanation, an example will be shown in which the same information processing device 100 executes the generation process of the teacher data 20, the learning process, and the inference process, but some of these processes may be implemented using different hardware.

［Ｉ．その他の実施の形態］
上述の説明では、推論システム１を短文化、容易化等のタスクを実現するものとしてとらえているが、入力文と出力文とを有する点では、機械翻訳も同様の推論システム１と考えることができる。言い換えれば、学習のための教師データを異ならせることにより、異なるタスクを実現するシステムととらえることができる。つまり、教師データを変えることにより、翻訳タスクと短文化タスクとを、同じニューラルネットワーク構成（例えば、自己注意を有するトランスフォーマーのネットワーク構成など）と推論プログラムの組み合わせで実現できる。推論プログラムは共用で、パラメータデータが異なる組み合わせになる。推論プログラムが共用できる構成は、システム管理上の利点がある。 [I. Other embodiments]
In the above explanation, the inference system 1 is considered as one that realizes tasks such as shortening and simplification, but machine translation can also be considered a similar inference system 1 in that it has an input sentence and an output sentence. can. In other words, it can be viewed as a system that achieves different tasks by using different training data for learning. In other words, by changing the teacher data, a translation task and a short culture task can be realized by combining the same neural network configuration (for example, a network configuration of a transformer with self-attention) and an inference program. The inference program is shared and has different combinations of parameter data. A configuration in which inference programs can be shared has advantages in terms of system management.

そして、翻訳のための教師データ（いわゆる対訳コーパス）で学習した結果のパラメータデータ（翻訳パラメータデータ）と短文化のための教師データ（本明細書にて説明した教師データ）で学習した結果のパラメータ（短文化パラメータデータ）を保存していれば、図７のシステムにおいて、同じ推論プログラム１２０により、翻訳と短文化の機能を実現することができる。 Then, the parameter data (translation parameter data) as a result of learning with the training data for translation (so-called bilingual corpus) and the parameters as the result of learning with the training data for short culture (the training data explained in this specification). (Short Culture Parameter Data), in the system shown in FIG. 7, the translation and short culture functions can be realized by the same inference program 120.

このような短文化と翻訳の機能を有するシステムのさらなる応用例について説明する。この応用例では、音声信号を入力として、目的言語に翻訳された音声信号が出力される（同時通訳的な使い方）。例えば、日本語から英語への同時通訳を考えると、同時通訳システムの起動時には、音声認識プログラム（音声入力をテキストに変換）、音声合成プログラム（テキストを音声に変換して出力）、短文化プログラム、翻訳プログラムが異なるプロセスとして起動される。 Further application examples of the system having such short text and translation functions will be explained. In this application example, an audio signal is input, and the audio signal translated into the target language is output (simultaneous interpretation usage). For example, when considering simultaneous interpretation from Japanese to English, when starting up the simultaneous interpretation system, a speech recognition program (converts speech input to text), a speech synthesis program (converts text to speech and outputs it), a short cultural program, , the translation program is started as a separate process.

ここで、短文化プログラムと翻訳プログラムは推論プログラムが同じもので、起動時に読み込むパラメータデータが異なることで、別のタスクを実現するプロセスとして起動される。そして、ＯＳのプロセス間通信機能を利用し、各プロセス間でデータのやり取りが行われる。 Here, the short culture program and the translation program are the same inference program, but because the parameter data read at startup is different, they are launched as processes to accomplish different tasks. Then, data is exchanged between each process using the interprocess communication function of the OS.

この同時通訳システムに日本語が入力されると、日本語の音声入力が音声認識された結果、日本語テキスト文が得られる。この日本語テキスト文をまず、短文化プログラムで処理した上で、翻訳プログラムでの処理が行われ、目的言語でのテキストが音声合成プログラムにて処理され、音声出力が得られることになる。発話された文を簡略化して翻訳することは、人手による同時通訳でも行われることであり、このように、短文化された後で翻訳処理が行われることで、平均的に見て入力音声から翻訳結果が発話されるまでのレスポンスを改善できる。 When Japanese is input into this simultaneous interpretation system, a Japanese text sentence is obtained as a result of voice recognition of the Japanese voice input. This Japanese text sentence is first processed by a short culture program, then processed by a translation program, and the text in the target language is processed by a speech synthesis program to obtain speech output. Simplifying and translating uttered sentences is also done in manual simultaneous interpretation, and by performing translation processing after being shortened in this way, on average it is possible to It is possible to improve the response until the translation result is uttered.

［Ｊ．利点］
本実施の形態によれば、２つの翻訳エンジン、または、対訳コーパスおよび翻訳エンジンを用いて、教師データを生成できるので、コーパスが存在しないまたは十分ではない場合であっても、文章を操作する推論器を構成できる。 [J. advantage]
According to this embodiment, training data can be generated using two translation engines or a bilingual corpus and a translation engine, so even if a corpus does not exist or is insufficient, inference for manipulating sentences can be made. You can configure the vessel.

また、本実施の形態によれば、字幕の作成などの文章を短縮する必要がある場面で有益である。 Furthermore, the present embodiment is useful in situations where it is necessary to shorten sentences, such as when creating subtitles.

また、本実施の形態によれば、文章に含まれる冗長性を削減できるので、例えば、話し言葉を書き言葉に変換できる。会議などでの発言を書き起こしたような文章に対して適用すると、冗長な表現が削減されて、議事録などの作成を容易化できる。 Furthermore, according to the present embodiment, redundancy contained in sentences can be reduced, so that, for example, spoken words can be converted into written words. When applied to sentences such as transcriptions of statements made at meetings, etc., redundant expressions can be reduced, making it easier to create minutes.

また、本実施の形態に従う推論処理を、翻訳エンジンの一翻訳モデルとして構成することで、翻訳エンジンのシステムをそのまま流用することができる。つまり、日本語－英語を選択するのと同じように、短縮化を選択すれば、入力文が短い文となって出力される。 Further, by configuring the inference processing according to this embodiment as a translation model of a translation engine, the system of the translation engine can be used as is. In other words, just like selecting Japanese-English, if you select shortening, the input sentence will be output as a shorter sentence.

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed this time should be considered to be illustrative in all respects and not restrictive. The scope of the present invention is indicated by the claims rather than the description of the embodiments described above, and it is intended that all changes within the meaning and range equivalent to the claims are included.

１ 推論システム、１０ 推論器、１２ ＮＭＴモデル、２０ 教師データ、２２，２４ 翻訳エンジン、２６ 生成部、２７ 長さ算出部、２８ 比較部、２９ 比率算出部、３０ タグ付加部、４０ 学習部、１００ 情報処理装置、１０２ ＣＰＵ、１０４ ＧＰＵ、１０６ 主メモリ、１０８ ディスプレイ、１１０ ネットワークインターフェイス、１１２ 二次記憶装置、１１４ 教師データ生成プログラム、１１６ 学習プログラム、１１８ パラメータセット、１２０ 推論プログラム、１２２ 入力デバイス、１２４ 光学ドライブ、１２６ 光学ディスク、１２８ 内部バス、ＬｏｎｇＳｎｔ 長文、Ｒ 比率、Ｓ１，Ｓ２，Ｔ 文、ＳｈｏｒｔＳｎｔ 短文、Ｓｎｔ 入力文。 1 Inference system, 10 Reasoner, 12 NMT model, 20 Teacher data, 22, 24 Translation engine, 26 Generation unit, 27 Length calculation unit, 28 Comparison unit, 29 Ratio calculation unit, 30 Tag addition unit, 40 Learning unit, 100 information processing device, 102 CPU, 104 GPU, 106 main memory, 108 display, 110 network interface, 112 secondary storage device, 114 teacher data generation program, 116 learning program, 118 parameter set, 120 inference program, 122 input device, 124 optical drive, 126 optical disc, 128 internal bus, LongSnt long sentence, R ratio, S1, S2, T sentence, ShortSnt short sentence, Snt input sentence.

Claims (6)

１または複数の文が入力されると、当該入力された１または複数の文に対応する１または複数の文を出力する推論器と、
第１言語の第１の文と、前記第１の文の翻訳である第２言語の第２の文を機械翻訳することで生成される前記第１言語の第３の文と、の組から教師データを生成する生成部と、
前記教師データを用いて前記推論器を学習する学習部とを備える、推論システム。 a reasoner that, when one or more sentences is input, outputs one or more sentences corresponding to the inputted one or more sentences;
From a set of a first sentence in a first language and a third sentence in the first language generated by machine translation of a second sentence in the second language that is a translation of the first sentence. a generation unit that generates training data;
an inference system comprising: a learning unit that learns the inference machine using the teacher data; 前記生成部は、前記第１の文の評価値と前記第３の文の評価値とを比較することで、前記第１の文および前記第３の文の一方を前記教師データの入力に決定し、前記第１の文および前記第３の文の他方を前記教師データの出力に決定する、請求項１に記載の推論システム。 The generation unit determines one of the first sentence and the third sentence to be input to the teacher data by comparing the evaluation value of the first sentence and the evaluation value of the third sentence. The inference system according to claim 1, wherein the other of the first sentence and the third sentence is determined to be the output of the teacher data. 前記第１の文および前記第３の文について、文の長さ、および、文の難易度のいずれかを評価する評価部をさらに備える、請求項１に記載の推論システム。 The inference system according to claim 1, further comprising an evaluation unit that evaluates either the length of the sentence or the difficulty of the sentence for the first sentence and the third sentence. 前記生成部は、評価値のレベルを示すメタ情報を前記教師データに付加し、
前記学習部は、前記教師データを用いて学習した前記推論器を、前記教師データのうち特定のメタ情報が付加されたデータを用いて追加学習する、請求項１～３のいずれか１項に記載の推論システム。 The generation unit adds meta information indicating the level of the evaluation value to the teacher data,
4. The method according to claim 1, wherein the learning unit performs additional learning on the inference machine trained using the teacher data using data to which specific meta information is added among the teacher data. Described reasoning system. １または複数の文が入力されると、当該入力された１または複数の文に対応する１または複数の文を出力する推論器を構成する方法であって、
第１言語の第１の文と、前記第１の文の翻訳である第２言語の第２の文を機械翻訳することで生成される前記第１言語の第３の文と、の組から教師データを生成するステップと、
前記教師データを用いて前記推論器を学習するステップとを備える、方法。 A method of configuring a reasoner that, when one or more sentences are input, outputs one or more sentences corresponding to the input one or more sentences, the method comprising:
From a set of a first sentence in a first language and a third sentence in the first language generated by machine translation of a second sentence in the second language that is a translation of the first sentence. a step of generating training data;
and training the reasoner using the teacher data. １または複数の文が入力されると、当該入力された１または複数の文に対応する１または複数の文を出力する推論器であって、
前記推論器は、教師データを用いて学習することにより構成され、
前記教師データは、第１言語の第１の文と、前記第１の文の翻訳である第２言語の第２の文を機械翻訳することで生成される前記第１言語の第３の文と、の組から生成される、推論器。 A reasoner that, when one or more sentences is input, outputs one or more sentences corresponding to the input one or more sentences,
The inference device is configured by learning using training data,
The training data includes a third sentence in the first language that is generated by machine translation of a first sentence in the first language and a second sentence in the second language that is a translation of the first sentence. A reasoner generated from the set of and.

Images