WO2020213531A1 - 発話ペア獲得装置、発話ペア獲得方法、およびプログラム - Google Patents

発話ペア獲得装置、発話ペア獲得方法、およびプログラム Download PDF

Info

Publication number
WO2020213531A1
WO2020213531A1 PCT/JP2020/016149 JP2020016149W WO2020213531A1 WO 2020213531 A1 WO2020213531 A1 WO 2020213531A1 JP 2020016149 W JP2020016149 W JP 2020016149W WO 2020213531 A1 WO2020213531 A1 WO 2020213531A1
Authority
WO
WIPO (PCT)
Prior art keywords
utterance
pair
extraction
data
input
Prior art date
Application number
PCT/JP2020/016149
Other languages
English (en)
French (fr)
Inventor
航 光田
東中　竜一郎
太一 片山
準二 富田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/603,451 priority Critical patent/US12019986B2/en
Publication of WO2020213531A1 publication Critical patent/WO2020213531A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/632—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation

Definitions

  • the present invention relates to an utterance pair acquisition device, an utterance pair acquisition method, and a program.
  • the dialogue system Through the dialogue system, humans interact with computers to obtain various information and meet their needs.
  • the dialogue system also includes a dialogue system that not only accomplishes a predetermined task but also conducts daily conversation. Through such a dialogue system, human beings gain mental stability, satisfy their desire for approval, and build relationships of trust.
  • the types of dialogue systems are described in Reference 1.
  • an utterance generation model using Deep Learning has been attracting attention as a method of outputting the output utterance of the system in response to the input utterance of the input user.
  • This method prepares learning data in which input utterances and output utterances are paired, and learns a model that generates utterances based on the training data.
  • the utterance generation model regards input utterances and output utterances as vectors, and learns the correspondence between the vectors.
  • the quality of the utterance pair that is the training data directly affects the performance of the generative model, so it is desirable to obtain a large amount of high-quality learning data.
  • the input utterance and the output utterance are manually input. It is common to prepare training data by describing pairs.
  • a large amount of high-quality learning data is required to learn the utterance generation model, but there is a limit to the amount of data that can be created manually. Therefore, the learning data collected manually may not be able to handle input utterances having a wide range of variations, and the utterance generation model may not be trained so as to output output utterances suitable for input utterances.
  • the present invention has been made in view of the above circumstances, and is an utterance pair acquisition device and an utterance pair capable of acquiring an expansion utterance pair necessary for outputting an appropriate output utterance for an input utterance.
  • the purpose is to provide acquisition methods and programs.
  • the utterance pair acquisition device is composed of an extended source utterance pair data which is a set of extended source utterance pairs including an input utterance and an output utterance for the input utterance, and a set of utterances.
  • a keyword extraction unit that compares the degree of feature of a word contained in a certain comparative utterance data and extracts a keyword list consisting of keywords that are characteristic of the extended source utterance pair based on the comparison result, and the extracted keyword.
  • the extraction utterance pair data consisting of the set of extraction utterance pairs which is a set of arbitrary utterance pairs, among the extraction utterance pairs, the extraction utterance pair satisfying a predetermined condition for the keyword list.
  • the extraction utterance pair satisfying a predetermined condition for the keyword list.
  • the keyword extraction unit compares the degree of feature of the word included in the input utterance and the comparison utterance data in the extended source utterance pair data. , The keyword list for the input utterance is extracted, the degree of the feature of the word included in the output utterance and the comparison utterance data is compared, the keyword list for the output utterance is extracted, and the utterance pair is extracted.
  • the input utterance included in the extraction utterance pair satisfies a predetermined condition for the keyword list for the input utterance, and the output utterance for the input utterance is predetermined for the keyword list for the output utterance. If the conditions are satisfied, the extraction utterance pair may be extracted as the expansion utterance pair.
  • the predetermined condition is the ratio in which the words included in the extraction utterance pair match the keywords in the keyword list and can be arbitrarily set. You may try to.
  • the utterance pair acquisition method according to the second invention is included in the extended utterance pair data, which is a set of extended utterance pairs including the input utterance and the output utterance for the input utterance, and the comparative utterance data, which is a set of utterances.
  • the step of extracting the extraction utterance pair satisfying a predetermined condition for the keyword list as the extension utterance pair is executed including.
  • the program according to the third invention is included in a computer, an extended source utterance pair data which is a set of extended source utterance pairs composed of an input utterance and an output utterance for the input utterance, and comparative utterance data which is a set of utterances.
  • the degree of characteristics of the words is compared, and based on the comparison result, a keyword list consisting of keywords characteristic of the extended source utterance pair is extracted, and the extracted keyword list and an extraction which is a set of arbitrary utterance pairs are extracted.
  • the extraction utterance pair data consisting of a set of utterance pairs for extraction, among the utterance pairs for extraction, the utterance pair for extraction that satisfies a predetermined condition for the keyword list is extracted as the utterance pair for extension. It is a program to make you.
  • the utterance pair acquisition device According to the utterance pair acquisition device, the utterance pair acquisition method, and the program of the present invention, there is an effect that an expansion utterance pair necessary for outputting an appropriate output utterance for an input utterance can be acquired. can get.
  • the extended source utterance pair data it is a figure which shows the example of the support utterance pair data. It is a figure which shows the example of the utterance data for comparison. It is a figure which shows an example of the word which was obtained as a result of having performed the test for each word, and the p-value of a word.
  • the utterance pair data for extraction it is a figure which shows the example of the reply pair set of Twitter (registered trademark).
  • data similar to the learning data can be acquired from a large amount of text data and used for learning. Use a method to increase the amount of training data.
  • FIG. 1 is a block diagram showing an example of a system configuration of the utterance pair acquisition device 10 according to the embodiment of the present invention.
  • the utterance pair acquisition device 10 having the configuration shown in FIG. 1 can be configured by a computer including a CPU, a RAM, a program for executing each processing routine described later, and a ROM storing various data.
  • FIG. 2 is a schematic block diagram showing an example of a computer functioning as the utterance pair acquisition device 10.
  • the utterance pair acquisition device 10 can be realized by the computer 50 shown in FIG.
  • the computer 50 includes a CPU 51, a memory 52 as a temporary storage area, and a non-volatile storage unit 53. Further, the computer 50 has an input / output interface (I / F) 54 to which an input / output device or the like (not shown) is connected, and a read / write (R / W) unit 55 that controls reading and writing of data to a recording medium. To be equipped. Further, the computer 50 includes a network I / F 56 connected to a network such as the Internet.
  • the CPU 51, the memory 52, the storage unit 53, the input / output I / F 54, the R / W unit 55, and the network I / F 56 are connected to each other via the bus 57.
  • the storage unit 53 can be realized by a Hard Disk Drive (HDD), a solid state drive (SSD), a flash memory, or the like.
  • a program for operating the computer 50 is stored in the storage unit 53 as a storage medium.
  • the CPU 51 reads the program from the storage unit 53, expands it in the memory 52, and sequentially executes the processes included in the program.
  • the utterance pair acquisition device 10 of FIG. 1 includes a keyword extraction unit 12 and an utterance pair extraction unit 14.
  • the utterance pair acquisition device 10 will be described by exemplifying a case where the dialogue system is a supporting utterance generation system.
  • the extended utterance pair data is acquired by using the supported utterance pair data composed of the supported utterance pairs as the extended source utterance pair data.
  • Supporting utterance pair data is a set of utterances that express a positive (or negative) opinion on a specific topic, and a pair set in which the specific reason is paired as an input utterance and an output utterance.
  • Support utterance pair The data input utterance and output utterance pair is, for example, the output utterance pair of "the sea is beautiful" for the input utterance of "Yokohama is good”.
  • the application target of this method is not limited to the input utterance of the support utterance pair data, and any utterance pair data such as the utterance pair data related to the question and the utterance pair data related to the counterargument should be the extended source utterance pair data. Can be done.
  • the utterance pair acquisition device 10 receives input data of each of the expansion utterance pair data, the comparison utterance data, and the extraction utterance pair data, and performs processing in each processing unit. Each input data will be described.
  • the extended source utterance data is data that records a set of supportive utterance pairs collected manually.
  • a set of arbitrary utterance pairs can be used as extended source utterance pair data instead of manually collected data.
  • the utterance data for comparison is data that contains a set of utterances used to extract keywords characteristic of the extended source utterance pair data.
  • any data including various utterances or sentences may be used. For example, data containing tweets on Twitter (registered trademark), sentences in blog articles, and utterances in text chat can be used as utterance data for comparison.
  • the extraction utterance pair data is data that contains a set of extraction utterance pairs, which is the utterance pair that is the extraction source of the expansion utterance pair that is newly acquired.
  • a set of arbitrary utterance pairs can be used as extraction utterance pair data, which is a set of extension utterance pairs.
  • a reply pair of Twitter (registered trademark) or a pair of posts on a Web bulletin board can be used as the utterance pair for extraction.
  • a reply pair is a pair of a specific tweet and a tweet that is a reply to the specific tweet.
  • a pair of posts is a pair of a specific post on the bulletin board and a post that is a reply to the specific post.
  • Twitter registered trademark
  • the keyword extraction unit 12 compares the degree of the feature of the word contained in the extended source utterance pair data and the comparison utterance data, and based on the comparison result, creates a keyword list composed of keywords that are the feature of the extended source utterance pair. Extract. As will be described in detail below, the keyword extraction unit 12 compares the degree of character characteristics of the input utterance and the comparison utterance data in the extended source utterance pair data, and sets the keyword list for the input utterance. Is extracted. Further, the keyword extraction unit 12 compares the degree of the feature of the word included in the output utterance and the comparison utterance data, and extracts the keyword list for the output utterance.
  • FIG. 3 shows an example of supportive utterance pair data as an example of extended source utterance pair data. Each row corresponds to one pair, and the first column is the input utterance and the second column is the output utterance. Characteristic words in these utterances are extracted as keywords.
  • FIG. 4 shows an example of utterance data for comparison.
  • the utterances in the chat dialogue collected by the method described in Reference 2 were collected as comparative utterance data.
  • each line corresponds to one utterance.
  • the keyword extraction unit 12 regards the utterance recorded in the comparative utterance data as an utterance different from the input utterance and the output utterance included in the extended utterance pair data, and compares the utterance with the extended utterance pair data to obtain the extended utterance. List characteristic keywords from pair data.
  • the keyword extraction unit 12 calculates the frequency of appearance of words included in each input utterance data when extracting keywords.
  • the frequency of appearance is an example of the degree of characteristics.
  • Each utterance data is an input utterance of the extended source utterance data, an output utterance of the extended source utterance data, and three utterance data for comparison.
  • the input utterance word of the extended source utterance data and the word of the comparison utterance data are compared.
  • Output In order to output a keyword list for utterance, the words of the output utterance of the extended source utterance data and the words of the comparison utterance data are compared.
  • the keyword list for each of the input utterance and the output utterance is extracted because the characteristic keywords are different between the input utterance and the output utterance, and each of them is separately extracted. Further, each of them is separated and extracted because the process of the utterance pair extraction unit 14 in the subsequent stage of extraction targets the extraction utterance pair similar to both the input utterance and the output utterance of the extended source utterance pair data. It is.
  • morphological analysis is performed on the utterances included in each utterance data, and morphological analysis is performed so that the frequency of words can be counted by using a word-separated form.
  • Any morphological analyzer may be used, but for example, JTAG of Reference 3 is used.
  • the keyword extraction unit 12 calculates the frequency of occurrence of each word.
  • Table 1 shows a table summarizing the results of calculating the frequency of appearance of words included in each utterance data.
  • Table 1 is called a contingency table.
  • A is the number of times a specific word appears as an input utterance of extended source utterance data.
  • B is the number of times a word other than a specific word appears as an input utterance.
  • C is the number of times a specific word appears in the utterance of the comparative utterance data.
  • D is the number of times a word other than a specific word appears in the utterance of the comparison utterance data.
  • the ⁇ 2 test is used to calculate how characteristicly each word appears in the extended source utterance data.
  • the ⁇ 2 test can be realized using any tool that can be tested. For example, the calculation can be performed using the chi2 contingency function of scipy in Reference 4.
  • the keyword extraction unit 12 performs a ⁇ 2 test and creates a list of words that appear significantly higher than the expected value in the extended source utterance data. Generally, 0.01 or 0.05 is used as the significance level. Here, it is set to 0.05.
  • FIG. 5 shows an example of the word obtained as a result of performing the test for each word and the p-value of the word.
  • a word and a score (p-value) indicating how characteristic the word is in the extended source utterance data are arranged in each line.
  • the keyword extraction unit 12 extracts a word having a p value smaller than the value determined by the significance level as a keyword from the test result, and creates a keyword list.
  • the keyword extraction unit 12 creates a keyword list for input utterance and a keyword list for input utterance by performing the above test for each of the input utterance of the extended source utterance data and the output utterance of the extended source utterance data. To do.
  • the keyword list is created by using the ⁇ 2 test, but any method can be used to create the keyword list as long as the frequency of occurrence of each word is required. Good. As another method, for example, Fisher's exact test may be used to find the significant difference of each word to create a keyword list.
  • the utterance pair extraction unit 14 extracts the extraction utterance pair that satisfies a predetermined condition for the keyword list from the extraction utterance pairs of the extraction utterance pair data as the extended utterance pair. As will be described in detail below, the utterance pair extraction unit 14 extracts the extraction utterance pair as an extended utterance pair when the input utterance and the output utterance included in the extraction utterance pair satisfy the respective conditions. To do.
  • the predetermined condition of the input utterance is that the ratio of the words included in the input utterance to match the keywords included in the keyword list for the input utterance is equal to or more than the threshold value.
  • the condition of the output utterance is that the ratio of the words included in the output utterance to match the keywords included in the keyword list for the output utterance is equal to or more than the threshold value.
  • FIG. 6 shows an example of a reply pair set of Twitter (registered trademark) as an example of utterance pair data for extraction.
  • Each line corresponds to one reply pair, and each pair is separated by a space and consists of the first tweet and the second tweet of the reply to the first tweet.
  • the first tweet is considered an input utterance and the second tweet is considered an output utterance.
  • the extraction utterance pair data contains a lot of noise, it is necessary to extract only the extraction utterance pair similar to the extended source utterance pair data by using each of the keyword lists extracted by the keyword extraction unit 12. There is.
  • the utterance regarded as the input utterance of the extraction utterance pair is treated as the input utterance of the extraction utterance pair
  • the utterance regarded as the output utterance of the extraction utterance pair is treated as the output utterance of the extraction utterance pair.
  • the utterance pair extraction unit 14 compares the keyword list for input utterance with the input utterance of the utterance pair for extraction in order to extract the extended utterance pair for each of the utterance pairs for extraction included in the utterance pair data for extraction. To do. Further, the utterance pair extraction unit 14 compares the keyword list for output utterance with the output utterance of the utterance pair data for extraction.
  • the comparison method will be described using a keyword list for input utterance as an example.
  • the utterance pair extraction unit 14 performs morphological analysis on each of the utterance pairs for extraction of the utterance pair data for extraction using JTAG or the like in Reference 3, and converts the utterance pair into a word-separated format.
  • the morphological analysis of the utterance pair for extraction may be performed in advance. After that, for each word, check whether there is a keyword that matches the keyword list for input utterance.
  • the utterance pair extraction unit 14 calculates the ratio of all the words included in the input utterance of the extraction utterance pair that match the keywords included in the keyword list for input utterance. If the percentage of words matched is equal to or greater than the threshold value, it is determined that the input utterance is similar to the characteristics of the input utterance included in the extended source utterance pair data.
  • the threshold value can be set to any value. If the threshold value is increased, a small number of extended utterance pairs can be acquired with high accuracy, and if the threshold value is lowered, the accuracy is decreased, but a large number of extended utterance pairs can be acquired. Here, 0.5 is set as the threshold value. It should be noted that the threshold value of the number of words may be used instead of the ratio of words.
  • the utterance pair extraction unit 14 also makes a comparison in the output utterance.
  • the utterance pair extraction unit 14 calculates the ratio of words that match the keywords included in the keyword list for output utterances for all the words included in the output utterances of the utterance pair for extraction. If the ratio of matched words is equal to or greater than the threshold value, it is determined that the output utterance is similar to the characteristics of the output utterance included in the extended source utterance pair data. In this way, the ratio of words included in the extraction utterance pair that match the keywords in the keyword list (keyword list for input utterance or keyword list for output utterance) is used as a judgment condition, and the threshold value of the ratio is arbitrarily set. can do.
  • the utterance pair extraction unit 14 makes the above comparison for each of the extraction utterance pairs, and when the comparison results of the input utterance and the output utterance are equal to or greater than the threshold value, the extraction utterance pair is extracted as the extended utterance pair. ..
  • Table 2 shows an example of extracting an extended utterance pair from an extraction utterance pair.
  • Table 2 is an example of extracting an extended utterance pair from an extraction utterance pair (Twitter reply pair).
  • the underline indicates that the word is included in the keyword list.
  • the extracted utterance pairs for extraction include words such as "zinc” and "insta” that are not included in the extended source utterance pair, and the variation of input utterances increases. You can see that.
  • FIG. 7 shows an example of extended utterance pair data composed of extended utterance pairs output by the utterance pair extraction unit 14.
  • the extended utterance pair only the utterance pair similar to the extended source utterance pair data is extracted. This is because the extended utterance pair contains characteristic keywords included in the extended source utterance pair data. That is, the input utterance of the extended utterance pair has characteristics similar to the input utterance included in the extended source utterance pair data. Further, the output utterance of the extended utterance pair has characteristics similar to the output utterance included in the extended source utterance pair data. Therefore, by using the extended utterance pair data together with the extended source utterance pair data for learning the utterance generation model, it is possible to learn the utterance generation model that can handle more various inputs.
  • FIG. 8 is an example of a flowchart showing a processing routine of the utterance pair acquisition device 10.
  • step S100 the keyword extraction unit 12 compares the degree of feature of the word included in the input utterance in the extended source utterance pair data and the comparison utterance data, and extracts the keyword list for the input utterance.
  • the word appearance rate may be calculated as described above and compared by the ⁇ 2 test.
  • step S102 the keyword extraction unit 12 compares the degree of feature of the word included in the output utterance in the extended source utterance pair data and the comparison utterance data, and extracts the keyword list for the output utterance.
  • step S104 the utterance pair extraction unit 14 selects the extraction utterance pair to be processed from the extraction utterance pair data.
  • step S106 the utterance pair extraction unit 14 determines whether or not the ratio of words matching the keywords included in the keyword list for input utterance is equal to or greater than the threshold value for the input utterance of the selected utterance pair for extraction. If it is equal to or more than the threshold value, the process proceeds to step S108, and if it is less than the threshold value, the process proceeds to step S112.
  • step S108 the utterance pair extraction unit 14 determines whether or not the ratio of words matching the keywords included in the keyword list for output utterance is equal to or greater than the threshold value for the output utterance of the selected utterance pair for extraction. If it is equal to or more than the threshold value, the process proceeds to step S110, and if it is less than the threshold value, the process proceeds to step S112.
  • step S110 the utterance pair extraction unit 14 extracts the selected extraction utterance pair as an extended utterance pair.
  • step S112 the utterance pair extraction unit 14 determines whether or not the processing has been completed for all the utterance pairs for extraction, and if so, proceeds to step S114, and if not, returns to step S104 and next. Select the utterance pair for extraction and repeat the process.
  • step S114 the utterance pair extraction unit 14 outputs the extended utterance pair data composed of the extracted extended utterance pairs and ends the process.
  • the utterance pair acquisition device As described above, according to the utterance pair acquisition device according to the embodiment of the present invention, it is possible to acquire an expansion utterance pair necessary for outputting an appropriate output utterance for an input utterance.
  • the present invention is not limited to the above-described embodiment, and various modifications and applications are possible within a range that does not deviate from the gist of the present invention.
  • the keyword extraction unit 12 extracts only the keyword list for output utterance
  • the utterance pair extraction unit 14 compares only the output utterance of the extended utterance pair with the keyword list for output utterance, and the extended utterance pair. May be extracted. This is because, when it is desired to acquire many variations of output utterances as learning data used for learning the utterance generation model, it is sufficient to obtain at least an extended utterance pair having similar characteristics of output utterances.
  • the threshold value of the input utterance in the utterance pair extraction unit 14 and the threshold value of the output utterance may be made different.
  • the threshold value of input utterance is relatively low and the threshold value of output utterance is set high. By doing so, it is possible to extract the expansion utterance pair by narrowing down to the utterance pairs in which the characteristics of the output utterance side are more similar while ensuring the similarity of the characteristics of the input utterance side to some extent.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

入力発話に対して適切な出力発話を出力するために必要な拡張用の発話ペアを獲得することができる。　発話ペア獲得装置は、入力発話および入力発話に対する出力発話からなる拡張元発話ペアの集合である拡張元発話ペアデータと、発話の集合である比較用発話データとに含まれる単語の特徴の度合いを比較し、比較結果に基づいて、拡張元発話ペアの特徴となるキーワードからなるキーワードリストを抽出するキーワード抽出部と、抽出したキーワードリストと、任意の発話ペアの集合である抽出用発話ペアの集合からなる抽出用発話ペアデータとに基づいて、抽出用発話ペアのうち、キーワードリストについて所定の条件を満たす抽出用発話ペアを拡張用発話ペアとして抽出する発話ペア抽出部と、を含む。

Description

発話ペア獲得装置、発話ペア獲得方法、およびプログラム
　本発明は、発話ペア獲得装置、発話ペア獲得方法、およびプログラムに関する。
　対話システムを介して、人間はコンピュータと対話を行い、種々の情報を得たり、要望を満たしたりする。また、対話システムには、所定のタスクを達成するだけではなく、日常会話を行う対話システムも存在する。このような対話システムによって、人間は精神的な安定を得たり、承認欲を満たしたり、信頼関係を築いたりする。対話システムの類型については参考文献１に記載されている。
［参考文献１］河原達也，音声対話システムの進化と淘汰-歴史と最近の技術動向-，人工知能学会誌，Vol. 28，No. 1，p45-51，2013
　近年、対話システムにおいて、入力されたユーザの入力発話に対して、システムの出力発話を出力する方法として、Deep Learningを用いた発話生成モデルが注目されている。この手法は、入力発話と出力発話がペアになった学習データを用意し、それを元に発話を生成するモデルを学習する手法である。発話生成モデルは、入力発話と出力発話とをそれぞれベクトルとして捉えて、ベクトルの対応関係を学習する。発話生成モデルを利用することで、発話の文字列ではなく意味内容が理解できるようになるため、出力する出力発話の品質が向上する。発話生成モデルの詳細は非特許文献１に記載されている。
　発話生成モデルを学習する上で、学習データとなる発話ペアの品質は生成モデルの性能に直接影響するため、品質のよい学習データを大量に得られることが望ましい。例えば、任意の入力発話に対して質問を生成する発話生成装置や、任意の入力発話に対してその内容を支持する発話を生成する発話生成装置を学習する場合、人手で入力発話と出力発話のペアを記述することで、学習データを用意するのが一般的である。
Vinyals, O., Le, Q.: A neural conversational model. In: Proc. ICML Deep Learning Workshop (2015)
　発話生成モデルを学習するためには、多量かつ高品質な学習データが必要であるが、人手で作成できるデータの量には限界がある。そのため、人手で収集した学習データだけでは、幅広いバリエーションが存在する入力発話に対応できず、入力発話に適した出力発話を出力するように発話生成モデルを学習できない場合がある。
　本発明は、上記事情を鑑みて成されたものであり、入力発話に対して適切な出力発話を出力するために必要な拡張用の発話ペアを獲得することができる発話ペア獲得装置、発話ペア獲得方法、およびプログラムを提供することを目的とする。
　上記目的を達成するために、第１の発明に係る発話ペア獲得装置は、入力発話および前記入力発話に対する出力発話からなる拡張元発話ペアの集合である拡張元発話ペアデータと、発話の集合である比較用発話データとに含まれる単語の特徴の度合いを比較し、比較結果に基づいて、前記拡張元発話ペアの特徴となるキーワードからなるキーワードリストを抽出するキーワード抽出部と、抽出した前記キーワードリストと、任意の発話ペアの集合である抽出用発話ペアの集合からなる抽出用発話ペアデータとに基づいて、前記抽出用発話ペアのうち、前記キーワードリストについて所定の条件を満たす抽出用発話ペアを拡張用発話ペアとして抽出する発話ペア抽出部と、発話ペア抽出部と、を含んで構成されている。
　また、第１の発明に係る発話ペア獲得装置において、前記キーワード抽出部は、前記拡張元発話ペアデータにおける、前記入力発話と、前記比較用発話データとに含まれる単語の特徴の度合いを比較し、前記入力発話用のキーワードリストを抽出し、前記出力発話と、前記比較用発話データとに含まれる単語の特徴の度合いを比較し、前記出力発話用のキーワードリストを抽出し、前記発話ペア抽出部は、前記抽出用発話ペアに含まれる前記入力発話が、前記入力発話用のキーワードリストについて所定の条件を満たし、かつ、当該入力発話に対する出力発話が、前記出力発話用のキーワードリストについて所定の条件を満たす場合に、当該抽出用発話ペアを前記拡張用発話ペアとして抽出するようにしてもよい。
　また、第１の発明に係る発話ペア獲得装置において、前記所定の条件を、前記抽出用発話ペアに含まれる単語が、前記キーワードリストのキーワードにマッチした割合であって、任意に設定可能な割合とするようにしてもよい。
　第２の発明に係る発話ペア獲得方法は、入力発話および前記入力発話に対する出力発話からなる拡張元発話ペアの集合である拡張元発話ペアデータと、発話の集合である比較用発話データとに含まれる単語の特徴の度合いを比較し、比較結果に基づいて、前記拡張元発話ペアの特徴となるキーワードからなるキーワードリストを抽出するステップと、抽出した前記キーワードリストと、任意の発話ペアの集合である抽出用発話ペアの集合からなる抽出用発話ペアデータとに基づいて、前記抽出用発話ペアのうち、前記キーワードリストについて所定の条件を満たす抽出用発話ペアを拡張用発話ペアとして抽出するステップと、を含んで実行することを特徴とする。
　第３の発明に係るプログラムは、コンピュータに、入力発話および前記入力発話に対する出力発話からなる拡張元発話ペアの集合である拡張元発話ペアデータと、発話の集合である比較用発話データとに含まれる単語の特徴の度合いを比較し、比較結果に基づいて、前記拡張元発話ペアの特徴となるキーワードからなるキーワードリストを抽出し、抽出した前記キーワードリストと、任意の発話ペアの集合である抽出用発話ペアの集合からなる抽出用発話ペアデータとに基づいて、前記抽出用発話ペアのうち、前記キーワードリストについて所定の条件を満たす抽出用発話ペアを拡張用発話ペアとして抽出する、ことを実行させるためのプログラムである。
　本発明の発話ペア獲得装置、発話ペア獲得方法、およびプログラムによれば、入力発話に対して適切な出力発話を出力するために必要な拡張用の発話ペアを獲得することができる、という効果が得られる。
本発明の実施の形態に係る発話ペア獲得装置の構成を示すブロック図である。 発話ペア獲得装置として機能するコンピュータの一例を示す概略ブロック図である。 拡張元発話ペアデータの例として、支持発話ペアデータの例を示す図である。 比較用発話データの例を示す図である。 各単語について検定を行った結果として得られた単語および単語のｐ値の一例を示す図である。 抽出用発話ペアデータの例として、Twitter（登録商標）のリプライペア集合の例を示す図である。 発話ペア抽出部が出力する、拡張用発話ペアからなる拡張用発話ペアデータの例を示す図である。 本発明の実施の形態に係る発話ペア獲得装置における処理ルーチンを示すフローチャートである。
　以下、図面を参照して本発明の実施の形態を詳細に説明する。
　本発明の実施の形態では、人手で収集した学習データ（入力発話と出力発話のペア）をもとに、その学習データと類似するデータを多量のテキストデータから獲得することで、学習に利用できる学習データの量を増やす手法を用いる。
＜本発明の実施の形態に係る発話ペア獲得装置の構成＞
　図１は、本発明の実施の形態の発話ペア獲得装置１０のシステム構成の一例を示すブロック図である。図１に示す構成の発話ペア獲得装置１０は、ＣＰＵと、ＲＡＭと、後述する各処理ルーチンを実行するためのプログラムおよび各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。
　図２は、発話ペア獲得装置１０として機能するコンピュータの一例を示す概略ブロック図である。例えば、発話ペア獲得装置１０は、図２に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、入出力装置等（図示省略）が接続される入出力interface（Ｉ／Ｆ）５４、及び記録媒体に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータ５０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。
　記憶部５３は、Hard Disk Drive（ＨＤＤ）、solid state drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を機能させるためのプログラムが記憶されている。ＣＰＵ５１は、プログラムを記憶部５３から読み出してメモリ５２に展開し、プログラムが有するプロセスを順次実行する。
　以上が図２におけるコンピュータの電気的な構成の一例の説明である。
　以下、図１の発話ペア獲得装置１０について説明する。図１に示すように、発話ペア獲得装置１０は、キーワード抽出部１２と、発話ペア抽出部１４とを含んで構成されている。
　本発明の実施の形態の発話ペア獲得装置１０は、対話システムを支持発話生成システムとする場合を例に説明する。本発明の実施の形態では、支持発話ペアからなる支持発話ペアデータを拡張元発話ペアデータとして、拡張用発話ペアデータを獲得する。支持発話ペアデータとは、特定のトピックに対して肯定的（または否定的）な意見を述べる発話、および、その具体的な理由を、入力発話と出力発話としてペアにしたペア集合である。支持発話ペアデータの入力発話と出力発話とのペアは、例えば、「横浜は良い」という入力発話に対する「海が綺麗だ」という出力発話のペアである。
　なお、本手法の適用対象は、支持発話ペアデータの入力発話に限定されるものではなく、質問に関する発話ペアデータ、反論に関する発話ペアデータといった任意の発話ペアデータを拡張元発話ペアデータとすることができる。
　発話ペア獲得装置１０は、拡張用発話ペアデータ、比較用発話データ、および抽出用発話ペアデータの各々の入力データを受け付けて各処理部おいて処理を行うが、それぞれの入力データについて説明する。
　拡張元発話データは、人手で収集した支持発話ペアの集合を収録したデータである。人手で収集したデータでなく、任意の発話ペアの集合を拡張元発話ペアデータとして利用可能である。
　比較用発話データは、拡張元発話ペアデータに特徴的なキーワードを抽出するために利用される発話の集合を収録したデータである。比較用発話データは、さまざまな発話または文を含むデータであれば何を用いてもよい。例えば、Twitter（登録商標）におけるツイート、ブログ記事における文、およびテキストチャットにおける各発話などを収録したデータを比較用発話データとして利用できる。
　抽出用発話ペアデータは、新たに獲得したい拡張用発話ペアの抽出元となる発話ペアである抽出用発話ペアの集合を収録したデータである。任意の発話ペアの集合を拡張用発話ペアの集合である抽出用発話ペアデータとして利用可能である。抽出用発話ペアは、例えば、Twitter（登録商標）のリプライペア、またはWeb掲示板における投稿のペアを用いることができる。リプライペアは、特定のツイートと、特定のツイートに対する返信となるツイートとのペアである。また、投稿のペアは、掲示板の特定の投稿と、特定の投稿に対する返信となる投稿とのペアである。本発明の実施の形態では、Twitter（登録商標）のリプライペアを抽出用発話ペアに用いた例について説明する。
　以下、発話ペア獲得装置１０の各処理部について説明する。
　キーワード抽出部１２は、拡張元発話ペアデータと、比較用発話データとに含まれる単語の特徴の度合いを比較し、比較結果に基づいて、拡張元発話ペアの特徴となるキーワードからなるキーワードリストを抽出する。詳細には以下に説明するように、キーワード抽出部１２は、拡張元発話ペアデータにおける、入力発話と、比較用発話データとに含まれる単語の特徴の度合いを比較し、入力発話用のキーワードリストを抽出する。また、キーワード抽出部１２は、出力発話と、比較用発話データとに含まれる単語の特徴の度合いを比較し、出力発話用のキーワードリストを抽出する。
　図３に、拡張元発話ペアデータの例として、支持発話ペアデータの例を示す。各行は１ペアに対応しており、１列目が入力発話、２列目が出力発話となっている。これらの発話で特徴的な単語をキーワードとして抽出する。
　図４に、比較用発話データの例を示す。図４の例では、参考文献２に記載の手法で収集された雑談対話における発話を比較用発話データとして収集した。
［参考文献２］Higashinaka, R., Imamura, K., Meguro, T., Miyazaki, C., Kobayashi,N., Sugiyama, H., Hirano, T., Makino, T., Matsuo, Y.: Towards an open domain conversational system fully based on natural language processing. In: Proc. COLING,pp.928-939 (2014)
　図４の例では、各行は１発話に対応している。キーワード抽出部１２は、比較用発話データに収録された発話を拡張元発話ペアデータに含まれる入力発話および出力発話とは異なる発話としてみなし、拡張元発話ペアデータと比較することで、拡張元発話ペアデータから特徴的なキーワードを列挙する。
　キーワード抽出部１２では、キーワードを抽出するにあたって、入力された各発話データに含まれる単語の出現頻度を計算する。出現頻度が特徴の度合いの一例である。各発話データとは、拡張元発話データの入力発話、拡張元発話データの出力発話、および比較用発話データの３つである。入力発話用のキーワードリストを出力するために、拡張元発話データの入力発話の単語と比較用発話データの単語とを比較する。出力発話用のキーワードリストを出力するために、拡張元発話データの出力発話の単語と比較用発話データの単語とを比較する。このように、入力発話および出力発話のそれぞれに対するキーワードリストを抽出するのは、入力発話と出力発話とでは、特徴的なキーワードが異なるため、それぞれについて分別して抽出するためである。また、それぞれについて分別して抽出するのは、抽出後段の発話ペア抽出部１４の処理で、拡張元発話ペアデータの入力発話および出力発話のいずれにも類似する抽出用発話ペアを抽出対象とするためのである。
　以降、入力発話用のキーワードを例に、キーワードリストの抽出について説明を行う。
　単語の出現頻度を計算するにあたって、各発話データに含まれる発話を形態素解析し、分かち書きの形式にすることで単語の頻度を数えられるように形態素解析する。形態素解析器は何を用いてもよいが、例えば参考文献３のＪＴＡＧを用いる。
［参考文献３］Fuchi, T., Takagi, S.: Japanese morphological analyzer using word co-occurrence-JTAG-. In: Proc. COLING (1998)
　キーワード抽出部１２は、各単語の出現頻度を計算する。
　表１に、各発話データに含まれる単語の出現頻度を計算した結果をまとめた表を示す。
Figure JPOXMLDOC01-appb-T000001
　表１は分割表と呼ばれる。各発話データにおいて、着目した特定の単語（ターゲット）とそれ以外の単語（その他）の出現した回数がＡ～Ｄに入る。Ａは、特定の単語が拡張元発話データの入力発話として出現した回数である。Ｂは、特定の単語以外の単語が入力発話として出現した回数である。Ｃは、特定の単語が比較用発話データの発話に出現した回数である。Ｄは、特定の単語以外の単語が比較用発話データの発話に出現した回数である。
　分割表を用いて、単語ごとに拡張元発話データでどれぐらい特徴的に出現しているかをχ２検定を用いて計算する。χ２検定は検定が可能な任意のツールを用いて実現が可能である。例えば、参考文献４のscipyのchi2 contingency関数を用いて計算が可能である。
［参考文献４］"scipy.org" URL:https://www.scipy.org/
　キーワード抽出部１２は、χ２検定を行い、拡張元発話データで期待値よりも有意に出現頻度が高い単語のリストを作成する。有意水準は一般的に0.01や0.05を利用する。ここでは0.05とする。
　図５に、各単語について検定を行った結果として得られた単語および単語のｐ値の一例を示す。図５の検定結果に示すように、各行に単語と、その単語が拡張元発話データにおいてどの程度特徴的であるかを表すスコア（ｐ値）が並んでいる。キーワード抽出部１２は、検定結果から、有意水準で定めた値よりも小さいｐ値の単語をキーワードとして抽出し、キーワードリストを作成する。キーワード抽出部１２は、拡張元発話データの入力発話、および、拡張元発話データの出力発話のそれぞれで上記の検定を行うことで、入力発話用のキーワードリスト、および入力発話用のキーワードリストを作成する。
　なお、本発明の実施の形態では、χ２検定を用いてキーワードリストを作成したが、各単語の出現頻度が求められる手法であれば、どのような手法を用いてキーワードリストを作成してもよい。他の手法としては、例えば、フィッシャーの正確確率検定を用いて各単語の有意差を求めて、キーワードリストを作成してもよい。
　発話ペア抽出部１４は、抽出用発話ペアデータの抽出用発話ペアのうち、キーワードリストについて所定の条件を満たす抽出用発話ペアを拡張用発話ペアとして抽出する。詳細には以下に説明するように、発話ペア抽出部１４は、抽出用発話ペアに含まれる入力発話および出力発話が、それぞれ条件を満たす場合に、当該抽出用発話ペアを拡張用発話ペアとして抽出する。入力発話の所定の条件は、当該入力発話に含まれる単語が、入力発話用のキーワードリストに含まれるキーワードにマッチする割合が、閾値以上となることである。出力発話の条件は、当該出力発話に含まれる単語が、出力発話用のキーワードリストに含まれるキーワードにマッチする割合が、閾値以上となることである。
　図６に、抽出用発話ペアデータの例として、Twitter（登録商標）のリプライペア集合の例を示す。各行が１リプライペアに対応しており、各ペアはスペースで区切られ、１ツイート目と、１ツイート目に対する返信の２ツイート目で構成される。１ツイート目は入力発話とみなされ、２ツイート目は出力発話とみなされる。ただし、抽出用発話ペアデータには多くのノイズが含まれているため、キーワード抽出部１２で抽出したキーワードリストの各々を用いて拡張元発話ペアデータと類似する抽出用発話ペアのみを抽出する必要がある。以下、抽出用発話ペアのうち入力発話とみなす発話を、抽出用発話ペアの入力発話として扱い、抽出用発話ペアのうち出力発話とみなす発話を、抽出用発話ペアの出力発話として扱う。
　発話ペア抽出部１４は、抽出用発話ペアデータに含まれる抽出用発話ペアの各々について、拡張用発話ペアを抽出するために、入力発話用のキーワードリストと抽出用発話ペアの入力発話とを比較する。また、発話ペア抽出部１４は、出力発話用のキーワードリストと抽出用発話ペアデータの出力発話とを比較する。以下、比較手法では、入力発話用のキーワードリストを例に説明を行う。
　発話ペア抽出部１４は、まず、抽出用発話ペアデータの抽出用発話ペアの各々について、参考文献３のＪＴＡＧなどを利用して形態素解析を行い、分かち書きの形式に変換する。なお、抽出用発話ペアの形態素解析は事前に行っておいてもよい。以降、各単語について、入力発話用のキーワードリストにマッチするキーワードがあるかどうかを確認する。
　発話ペア抽出部１４は、抽出用発話ペアの入力発話に含まれる全単語について、入力発話用のキーワードリストに含まれるキーワードとマッチした割合を計算する。単語がマッチした割合が閾値以上の割合になっていれば、当該入力発話が、拡張元発話ペアデータに含まれる入力発話の特徴に類似すると判定する。閾値は任意の値を設定可能であり、閾値を高くすれば精度よく少数の拡張用発話ペアが獲得され、閾値を低くすれば精度が下がるが多数の拡張用発話ペアを獲得できる。ここでは、0.5を閾値として設定する。なお、単語の割合ではなく、単語の個数の閾値としてもよい。
　発話ペア抽出部１４は、同様に、出力発話でも比較を行う。発話ペア抽出部１４は、抽出用発話ペアの出力発話に含まれる全単語について、出力発話用のキーワードリストに含まれるキーワードとマッチした単語の割合を計算する。マッチした単語の割合が閾値以上の割合になっていれば、当該出力発話が、拡張元発話ペアデータに含まれる出力発話の特徴に類似すると判定する。このように、抽出用発話ペアに含まれる単語が、キーワードリスト（入力発話用のキーワードリストまたは出力発話用のキーワードリスト）のキーワードにマッチした割合を判定の条件とし、割合の閾値を任意に設定することができる。
　発話ペア抽出部１４は、抽出用発話ペアの各々について上記比較を行い、入力発話および出力発話の比較結果がそれぞれ閾値以上である場合に、当該抽出用発話ペアを、拡張用発話ペアとして抽出する。
　表２に抽出用発話ペアから拡張用発話ペアを抽出する例を示す。
Figure JPOXMLDOC01-appb-T000002
　表２は、抽出用発話ペア（Twitterのリプライペア）から拡張用発話ペアを抽出する場合の例である。下線はキーワードリストに含まれる単語であることを表す。
　表２のように、抽出される抽出用発話ペアには拡張元発話ペアには含まれない単語である「亜鉛」や「インスタ」などの単語が含まれており、より入力発話のバリエーションが増えていることがわかる。
　図７に、発話ペア抽出部１４が出力する、拡張用発話ペアからなる拡張用発話ペアデータの例を示す。拡張用発話ペアは、拡張元発話ペアデータに類似した発話ペアだけが抽出されている。なぜなら、拡張用発話ペアは、拡張元発話ペアデータに含まれる特徴的なキーワードを含んでいるからである。すなわち、拡張用発話ペアの入力発話は、拡張元発話ペアデータに含まれる入力発話と類似する特徴を有している。また、拡張用発話ペアの出力発話は、拡張元発話ペアデータに含まれる出力発話と類似する特徴を有している。そのため、拡張用発話ペアデータを拡張元発話ペアデータと共に発話生成モデルの学習に用いることで、よりさまざまな入力に対応可能な発話生成モデルの学習が可能となる。
＜本発明の実施の形態に係る発話ペア獲得装置の作用＞
　次に、本発明の実施の形態に係る発話ペア獲得装置１０の作用について説明する。図８は、発話ペア獲得装置１０の処理ルーチンを示すフローチャートの一例である。
　ステップＳ１００では、キーワード抽出部１２は、拡張元発話ペアデータにおける入力発話と、比較用発話データとに含まれる単語の特徴の度合いを比較し、入力発話用のキーワードリストを抽出する。具体的な単語の特徴の度合いの比較は、上述したように単語の出現割合を計算し、χ２検定により比較すればよい。
　ステップＳ１０２では、キーワード抽出部１２は、拡張元発話ペアデータにおける出力発話と、比較用発話データとに含まれる単語の特徴の度合いを比較し、出力発話用のキーワードリストを抽出する。
　ステップＳ１０４では、発話ペア抽出部１４は、抽出用発話ペアデータから処理対象の抽出用発話ペアを選択する。
　ステップＳ１０６では、発話ペア抽出部１４は、選択した抽出用発話ペアの入力発話について、入力発話用のキーワードリストに含まれるキーワードとマッチした単語の割合が、閾値以上であるかを判定する。閾値以上であればステップＳ１０８へ移行し、閾値未満であればステップＳ１１２へ移行する。
　ステップＳ１０８では、発話ペア抽出部１４は、選択した抽出用発話ペアの出力発話について、出力発話用のキーワードリストに含まれるキーワードとマッチした単語の割合が、閾値以上であるかを判定する。閾値以上であればステップＳ１１０へ移行し、閾値未満であればステップＳ１１２へ移行する。
　ステップＳ１１０では、発話ペア抽出部１４は、選択中の抽出用発話ペアを拡張用発話ペアとして抽出する。
　ステップＳ１１２では、発話ペア抽出部１４は、全ての抽出用発話ペアについて処理を終了したかを判定し、終了していればステップＳ１１４へ移行し、終了していなければステップＳ１０４に戻って次の抽出用発話ペアを選択して処理を繰り返す。
　ステップＳ１１４では、発話ペア抽出部１４は、抽出した拡張用発話ペアからなる拡張用発話ペアデータを出力して処理を終了する。
　以上説明したように、本発明の実施の形態に係る発話ペア獲得装置によれば、入力発話に対して適切な出力発話を出力するために必要な拡張用の発話ペアを獲得することができる。
　多量のテキストデータから学習データを抽出することで、学習に利用可能なデータの入力発話のバリエーションを増やせる。これにより、人手で収集した学習データに含まれる入力発話よりもより多くの入力発話に対して適切な出力発話を生成できるようになり、発話生成モデルの品質が向上する。
　なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
　例えば、上述した実施の形態では、入力発話用のキーワードリストと、出力発話用のキーワードリストとを用いて、比較し、拡張用発話ペアを抽出する場合を例に説明したが、これに限定されるものではない。例えば、キーワード抽出部１２で、出力発話用のキーワードリストのみを抽出し、発話ペア抽出部１４で、拡張用発話ペアの出力発話のみを出力発話用のキーワードリストと比較して、拡張用発話ペアを抽出するようにしてもよい。なぜならば、発話生成モデルの学習に用いる学習データとして、出力発話のバリエーションを多く獲得したい場合には、少なくとも出力発話の特徴が類似している拡張用発話ペアが得られればよいからである。
　また、例えば、発話ペア抽出部１４における入力発話の閾値と、出力発話の閾値とを異ならせるようにしてもよい。例えば、相対的に、入力発話の閾値を低くし出力発話の閾値を高く設定する。このようにすることにより、入力発話側の特徴の類似もある程度担保しつつ、出力発話側の特徴がより類似するような発話ペアに絞り込んで拡張用発話ペアを抽出することができる。
１０ 発話ペア獲得装置
１２ キーワード抽出部
１４ 発話ペア抽出部

Claims (5)

  1. 　入力発話および前記入力発話に対する出力発話からなる拡張元発話ペアの集合である拡張元発話ペアデータと、発話の集合である比較用発話データとに含まれる単語の特徴の度合いを比較し、比較結果に基づいて、前記拡張元発話ペアの特徴となるキーワードからなるキーワードリストを抽出するキーワード抽出部と、
    　抽出した前記キーワードリストと、任意の発話ペアの集合である抽出用発話ペアの集合からなる抽出用発話ペアデータとに基づいて、前記抽出用発話ペアのうち、前記キーワードリストについて所定の条件を満たす抽出用発話ペアを拡張用発話ペアとして抽出する発話ペア抽出部と、
    　を含む発話ペア獲得装置。
  2. 　前記キーワード抽出部は、前記拡張元発話ペアデータにおける、前記入力発話と、前記比較用発話データとに含まれる単語の特徴の度合いを比較し、前記入力発話用のキーワードリストを抽出し、前記出力発話と、前記比較用発話データとに含まれる単語の特徴の度合いを比較し、前記出力発話用のキーワードリストを抽出し、
    　前記発話ペア抽出部は、前記抽出用発話ペアに含まれる前記入力発話が、前記入力発話用のキーワードリストについて所定の条件を満たし、かつ、当該入力発話に対する出力発話が、前記出力発話用のキーワードリストについて所定の条件を満たす場合に、当該抽出用発話ペアを前記拡張用発話ペアとして抽出する請求項１に記載の発話ペア獲得装置。
  3. 　前記所定の条件を、前記抽出用発話ペアに含まれる単語が、前記キーワードリストのキーワードにマッチした割合であって、任意に設定可能な割合とする請求項１または請求項２に記載の発話ペア獲得装置。
  4. 　入力発話および前記入力発話に対する出力発話からなる拡張元発話ペアの集合である拡張元発話ペアデータと、発話の集合である比較用発話データとに含まれる単語の特徴の度合いを比較し、比較結果に基づいて、前記拡張元発話ペアの特徴となるキーワードからなるキーワードリストを抽出するステップと、
    　抽出した前記キーワードリストと、任意の発話ペアの集合である抽出用発話ペアの集合からなる抽出用発話ペアデータとに基づいて、前記抽出用発話ペアのうち、前記キーワードリストについて所定の条件を満たす抽出用発話ペアを拡張用発話ペアとして抽出するステップと、
    　を含む発話ペア獲得方法。
  5. 　コンピュータに、
    　入力発話および前記入力発話に対する出力発話からなる拡張元発話ペアの集合である拡張元発話ペアデータと、発話の集合である比較用発話データとに含まれる単語の特徴の度合いを比較し、比較結果に基づいて、前記拡張元発話ペアの特徴となるキーワードからなるキーワードリストを抽出し、
    　抽出した前記キーワードリストと、任意の発話ペアの集合である抽出用発話ペアの集合からなる抽出用発話ペアデータとに基づいて、前記抽出用発話ペアのうち、前記キーワードリストについて所定の条件を満たす抽出用発話ペアを拡張用発話ペアとして抽出する、
    　ことを実行させるためのプログラム。
PCT/JP2020/016149 2019-04-16 2020-04-10 発話ペア獲得装置、発話ペア獲得方法、およびプログラム WO2020213531A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/603,451 US12019986B2 (en) 2019-04-16 2020-04-10 Utterance pair acquisition apparatus, utterance pair acquisition method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019078137A JP2020177366A (ja) 2019-04-16 2019-04-16 発話ペア獲得装置、発話ペア獲得方法、およびプログラム
JP2019-078137 2019-04-16

Publications (1)

Publication Number Publication Date
WO2020213531A1 true WO2020213531A1 (ja) 2020-10-22

Family

ID=72837133

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/016149 WO2020213531A1 (ja) 2019-04-16 2020-04-10 発話ペア獲得装置、発話ペア獲得方法、およびプログラム

Country Status (3)

Country Link
US (1) US12019986B2 (ja)
JP (1) JP2020177366A (ja)
WO (1) WO2020213531A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11748576B2 (en) * 2021-01-21 2023-09-05 International Business Machines Corporation Interpretation of deep neural model based dialogue agents

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014222413A (ja) * 2013-05-13 2014-11-27 日本電信電話株式会社 対話パターン抽出装置、対話装置、方法、及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8224901B2 (en) * 2009-12-14 2012-07-17 International Business Machines Corporation Method and apparatus for enhancing compound documents with questions and answers
US9064006B2 (en) * 2012-08-23 2015-06-23 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
WO2018195875A1 (en) * 2017-04-27 2018-11-01 Microsoft Technology Licensing, Llc Generating question-answer pairs for automated chatting
US10599885B2 (en) * 2017-05-10 2020-03-24 Oracle International Corporation Utilizing discourse structure of noisy user-generated content for chatbot learning
US10678816B2 (en) * 2017-08-23 2020-06-09 Rsvp Technologies Inc. Single-entity-single-relation question answering systems, and methods
US11145291B2 (en) * 2018-01-31 2021-10-12 Microsoft Technology Licensing, Llc Training natural language system with generated dialogues
US10853577B2 (en) * 2018-09-21 2020-12-01 Salesforce.Com, Inc. Response recommendation system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014222413A (ja) * 2013-05-13 2014-11-27 日本電信電話株式会社 対話パターン抽出装置、対話装置、方法、及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MAKITA, MITSUHARU ET AL.: "Extracting Candidate Utterances from Dialogue Pairs Based on Semantic Similarity for Non-Task- Oriented Dialogue Systems", IEICE TECHNICAL REPORT, vol. 115, no. 70, 28 May 2015 (2015-05-28), pages 55 - 60, ISSN: 0913-5685 *
MITSUDA, KO ET AL.: "Construction of Keyword-based large-scale dialog rules in chat-oriented dialogue", PROCEEDINGS OF THE 25TH ANNUAL MEETING OF THE ASSOCIATION FOR NATURAL LANGUAGE PROCESSING, 4 March 2019 (2019-03-04), pages 1339 - 1342 *

Also Published As

Publication number Publication date
US20220207239A1 (en) 2022-06-30
JP2020177366A (ja) 2020-10-29
US12019986B2 (en) 2024-06-25

Similar Documents

Publication Publication Date Title
CN113239186B (zh) 一种基于多依存关系表示机制的图卷积网络关系抽取方法
JP5932869B2 (ja) Ｎ−ｇｒａｍ言語モデルの教師無し学習方法、学習装置、および学習プログラム
US12001465B2 (en) Response selecting apparatus, response selecting method, and response selecting program
CN108804526B (zh) 兴趣确定***、兴趣确定方法及存储介质
Shi et al. Towards Recurrent Neural Networks Language Models with Linguistic and Contextual Features.
Jacob Modelling speech emotion recognition using logistic regression and decision trees
CN108140019A (zh) 语言模型生成装置、语言模型生成方法及其程序、语音识别装置以及语音识别方法及其程序
King et al. Evaluating approaches to personalizing language models
KR101410601B1 (ko) 유머 발화를 이용하는 음성 대화 시스템 및 그 방법
CN104750677A (zh) 语音传译装置、语音传译方法及语音传译程序
JP6165657B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7323308B2 (ja) 同義語判定方法、同義語判定プログラム、および、同義語判定装置
WO2020213531A1 (ja) 発話ペア獲得装置、発話ペア獲得方法、およびプログラム
JP2018084627A (ja) 言語モデル学習装置およびそのプログラム
Lee et al. Pronunciation variation generation for spontaneous speech synthesis using state-based voice transformation
JP6082657B2 (ja) ポーズ付与モデル選択装置とポーズ付与装置とそれらの方法とプログラム
Seki et al. Diversity-based core-set selection for text-to-speech with linguistic and acoustic features
CN109344221B (zh) 录音文本生成方法、装置及设备
Song et al. Multimodal representation: Kneser-ney smoothing/skip-gram based neural language model
Li et al. Construction and analysis of hidden Markov model for piano notes recognition algorithm
JP2008293098A (ja) 応答スコア情報生成装置、対話処理装置
JP6518142B2 (ja) 言語モデル生成装置およびそのプログラム
JP2022185799A (ja) 情報処理プログラム、情報処理方法および情報処理装置
JP6067616B2 (ja) 発話生成手法学習装置、発話生成手法選択装置、発話生成手法学習方法、発話生成手法選択方法、プログラム
JP5860439B2 (ja) 言語モデル作成装置とその方法、そのプログラムと記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20790891

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20790891

Country of ref document: EP

Kind code of ref document: A1