JP2012042952A - Interaction processor, interaction processing method, and interaction processing program - Google Patents
Interaction processor, interaction processing method, and interaction processing program Download PDFInfo
- Publication number
- JP2012042952A JP2012042952A JP2011175395A JP2011175395A JP2012042952A JP 2012042952 A JP2012042952 A JP 2012042952A JP 2011175395 A JP2011175395 A JP 2011175395A JP 2011175395 A JP2011175395 A JP 2011175395A JP 2012042952 A JP2012042952 A JP 2012042952A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- information
- expert
- processing
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、対話処理装置、対話処理方法、及び対話処理プログラムに関する。 The present invention relates to a dialogue processing apparatus, a dialogue processing method, and a dialogue processing program.
利用者の発声内容に基づいて処理を行う対話処理技術が開発されている。例えば、ロボットに応用することで利用者が動作を指示する負担を軽減することが試みられている。この対話処理技術を用いることで、利用者が発話して指示した動作の種別を応答して動作を直ちに実行しない。これによりシステム側で誤認識された動作を直ちに実行することが回避され、利用者が意図する動作を導くことができる。 A dialogue processing technology has been developed that performs processing based on the content of a user's utterance. For example, it has been attempted to reduce the burden of the user instructing the operation by applying to a robot. By using this interactive processing technique, the operation type is not immediately executed in response to the type of operation that the user has uttered and instructed. As a result, it is possible to avoid immediately executing an operation erroneously recognized on the system side, and to guide an operation intended by the user.
例えば、特許文献1に記載の対話処理装置は、音声を入力する音声入力装置と、入力された音声を認識する音声認識部と、音声認識結果に応じて対話行動を制御する対話行動制御部と、を備え、対話行動制御部が、発話内容の記憶及びマッチングを行うトピック認識エキスパートと、モードの変更を管理するモード切替エキスパートが対話対象の発話に応じてモードの切り替えを行う。第1のモードでは発話された複数の単語をトピックとして記録するとともに、記録された複数のトピックに対して、第2のモードで発話された内容をマッチングして、最も尤度の高いトピックを選択する。
対話行動制御部は、音声認識結果を各エキスパートに配布し、選択したトピックと各エキスパートが選択される確からしさを表すスコアに基づいてエキスパートを選択する。エキスパートとは、利用者との対話において予め定めた種類の処理、又は利用者によって指示された種類の動作を行うための処理を行うモジュール(構成部)である。
For example, a dialogue processing device described in
The dialogue action control unit distributes the speech recognition result to each expert, and selects the expert based on the selected topic and a score representing the probability that each expert is selected. An expert is a module (configuration unit) that performs a predetermined type of process in a dialog with a user or a process for performing a type of operation instructed by the user.
しかしながら、特許文献1に記載の対話処理装置は、不適切なエキスパートを選択しても、選択したトピックを変更しなければ選択したエキスパートを変更しないことがあった。
However, the dialogue processing apparatus described in
本発明は上記の点に鑑みてなされたものであり、利用者の発話に適したエキスパートを選択する対話処理装置、対話処理方法、及び対話処理プログラムを提供する。 The present invention has been made in view of the above points, and provides an interactive processing device, an interactive processing method, and an interactive processing program for selecting an expert suitable for a user's utterance.
(1)本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、音声を入力する音声入力部と、前記音声入力部が入力した音声を認識する音声認識部と、予め定めた処理を行うエキスパート部であって、前記処理を行う場合、前記音声認識部が認識した認識結果に基づいて前記処理を継続するか否かを判定し、前記処理を行わない場合、前記音声認識部が認識した認識結果に基づいて適合性を推定する複数のエキスパート部と、
前記複数のエキスパート部のうち、前記処理を行う場合、前記処理を継続しないと判断したエキスパート部があるとき、前記複数のエキスパート部のうち前記処理を行わない場合に推定した適合性に基づいて前記処理を行うエキスパート部を選択する動作理解部と、を備えることを特徴とする対話処理装置である。
(1) The present invention has been made to solve the above problems, and one aspect of the present invention is a voice input unit that inputs voice and a voice recognition unit that recognizes voice input by the voice input unit. And an expert unit that performs a predetermined process, and when performing the process, it is determined whether to continue the process based on a recognition result recognized by the voice recognition unit, and the process is not performed. A plurality of expert units for estimating suitability based on a recognition result recognized by the voice recognition unit;
Of the plurality of expert units, when performing the process, when there is an expert unit that is determined not to continue the process, based on the suitability estimated when the process is not performed among the plurality of expert units. And an operation understanding unit that selects an expert unit to perform processing.
(2)本発明のその他の態様は、音声を入力する音声入力部と、前記音声入力部が入力した音声を認識する音声認識部と、予め定めた処理を行う機能を備える複数のエキスパート部のうち前記処理を行うエキスパート部について、前記音声認識部が認識した認識結果に基づいて前記処理を継続するか否かを判定し、前記処理を継続しないと判断した場合、前記複数のエキスパート部のうち前記処理を行わないエキスパート部の各々について、前記音声認識部が認識した認識結果に基づいて適合性を推定し、前記推定した適合性に基づいて前記処理を行うエキスパート部を選択する動作理解部とを備えることを特徴とする対話処理装置。 (2) According to another aspect of the present invention, there are provided a voice input unit that inputs voice, a voice recognition unit that recognizes voice input by the voice input unit, and a plurality of expert units that have a function of performing a predetermined process. Of the plurality of expert units, the expert unit that performs the process determines whether to continue the process based on the recognition result recognized by the voice recognition unit, and determines that the process is not continued. For each expert unit that does not perform the processing, an operation understanding unit that estimates compatibility based on a recognition result recognized by the voice recognition unit, and selects an expert unit that performs the processing based on the estimated compatibility; A dialogue processing apparatus comprising:
(3)本発明のその他の態様は、前記動作理解部は、前記推定した適合性に基づいて前記処理を継続するか否かを判定することを特徴とする(1)又は(2)の対話処理装置である。 (3) In another aspect of the present invention, the operation understanding unit determines whether or not to continue the processing based on the estimated suitability, and the dialogue according to (1) or (2) It is a processing device.
(4)本発明のその他の態様は、前記複数エキスパート部の各々は、利用者が行う質問内容を表す発話情報と、前記質問内容に対する出力情報を対応付けて記憶した処理情報記憶部を備え、前記処理は、前記音声認識部が認識した認識結果に対応する発話情報の一部が照合する発話情報に対応する出力情報を選択することを特徴とする(1)ないし(3)のいずれかの対話処理装置である。 (4) According to another aspect of the present invention, each of the plurality of expert units includes a processing information storage unit that stores utterance information that represents the question content performed by a user and output information for the question content in association with each other. Any one of (1) to (3) is characterized in that the processing selects output information corresponding to utterance information to be compared with a part of utterance information corresponding to a recognition result recognized by the voice recognition unit. It is a dialogue processing device.
(5)本発明のその他の態様は、前記複数のエキスパート部において前記処理情報記憶部に記憶された前記発話情報及び出力情報が各々異なることを特徴とする(4)の対話処理装置である。 (5) Another aspect of the present invention is the dialogue processing apparatus according to (4), wherein the speech information and the output information stored in the processing information storage unit are different from each other in the plurality of expert units.
(6)本発明のその他の態様は、予め定めた処理を行う機能を有する複数のエキスパート部を備える対話処理装置における対話処理方法において、前記対話処理装置が、入力した音声を認識する第1の過程と、前記複数のエキスパート部のうち前記処理を行うエキスパート部が、前記認識した認識結果に基づいて前記処理を継続するか否かを判定する第2の過程と、前記処理を行うエキスパート部が前記処理を継続しないと判断した場合、前記複数のエキスパート部のうち前記処理を行わないエキスパート部の各々が、前記認識した認識結果に基づいて適合性を推定する第3の過程と、前記対話処理装置が、前記推定した適合性に基づいて前記処理を行うエキスパート部を選択する第4の過程とを有すること、を特徴とする対話処理方法である。 (6) According to another aspect of the present invention, in the dialog processing method in the dialog processing apparatus including a plurality of expert units having a function of performing a predetermined process, the dialog processing apparatus recognizes an input voice. A second step in which an expert unit that performs the process among the plurality of expert units determines whether to continue the process based on the recognized recognition result; and an expert unit that performs the process. When it is determined that the process is not continued, a third process in which each of the expert units that do not perform the process among the plurality of expert units estimates suitability based on the recognized recognition result, and the dialogue process And a fourth step of selecting an expert unit for performing the processing based on the estimated suitability. .
(7)本発明のその他の態様は、予め定めた処理を行う機能を有する複数のエキスパート部を備える対話処理装置のコンピュータに、入力した音声を認識する手順、前記複数のエキスパート部のうち前記処理を行うエキスパート部について、前記認識した認識結果に基づいて処理を継続するか否かを判定する手順、前記処理を継続しないと判断した場合、前記複数のエキスパート部のうち前記処理を行わないエキスパート部の各々について、前記認識した認識結果に基づいて適合性を推定する手順、前記推定した適合性に基づいて前記処理を行うエキスパート部を選択する手順、を実行させるための対話処理プログラムである。 (7) In another aspect of the present invention, a procedure for recognizing an input voice in a computer of a dialog processing apparatus including a plurality of expert units having a function of performing a predetermined process, and the processing among the plurality of expert units A procedure for determining whether or not to continue the process based on the recognized recognition result, and an expert unit that does not perform the process among the plurality of expert units Is an interactive processing program for executing a procedure for estimating suitability based on the recognized recognition result and a procedure for selecting an expert unit to perform the processing based on the estimated suitability.
本発明の一態様(1)、(2)、(6)、(7)によれば、予め定めた種類の処理を行っているエキスパート部の処理を継続するか否か考慮されるため、利用者の発話に適したエキスパート部を選択することができる。
本発明のその他の態様(3)によれば、さらに現在予め定めた種類の処理を行っていないエキスパート部が利用者の発話に適したエキスパート部である可能性を考慮して、利用者の発話に適したエキスパート部を選択することができる。
本発明のその他の態様(4)によれば、さらに利用者の発話に適した出力情報を出力するエキスパート部を選択することができる。
本発明のその他の態様(5)によれば、さらに利用者の発話と、発話に対する応答が異なるエキスパート部の中から、利用者の発話に適したエキスパート部を選択することができる。
According to the aspects (1), (2), (6), and (7) of the present invention, since it is considered whether or not to continue the processing of the expert unit that performs a predetermined type of processing, The expert part suitable for the person's utterance can be selected.
According to the other aspect (3) of the present invention, the user's utterance is considered in consideration of the possibility that the expert section that is not currently performing the predetermined type of processing is an expert section suitable for the user's utterance. It is possible to select an expert section suitable for the above.
According to the other aspect (4) of the present invention, it is possible to select an expert unit that outputs output information suitable for the user's utterance.
According to the other aspect (5) of the present invention, an expert unit suitable for the user's utterance can be selected from among the expert units having different utterances from the user and responses to the utterances.
本発明の実施形態は、利用者が発話した音声を入力し、入力した音声信号に対して音声認識を行い、予め定めた種類の処理を行う複数のエキスパート部のうち現在処理を行っているエキスパート部について、音声認識結果に基づいて処理を継続するか否かを判定する。本実施形態は、処理を継続しないと判断した場合、複数のエキスパート部のうち現在起動していないエキスパート部の各々について、音声認識結果に基づいて適合性を推定する。本実施形態は、推定した適合性に基づいて処理を行うエキスパート部を選択する。
また、本実施形態は、さらに推定した適合性に基づいて現在処理を行っているエキスパート部の処理を継続するか否かを判定する。
In the embodiment of the present invention, an expert who is currently performing processing among a plurality of expert units that inputs speech uttered by a user, performs speech recognition on the input speech signal, and performs predetermined types of processing. The unit determines whether to continue the processing based on the voice recognition result. In the present embodiment, when it is determined that the processing is not continued, suitability is estimated based on the speech recognition result for each of the expert units that are not currently activated among the plurality of expert units. In the present embodiment, an expert unit that performs processing is selected based on the estimated suitability.
Further, in the present embodiment, it is determined whether or not to continue the processing of the expert unit that is currently processing based on the estimated suitability.
以下、図面を参照しながら本実施形態について説明する。
図1は、本実施形態に係る対話処理装置1の構成を示す概略図である。
対話処理装置1は、音声入力部101、音声認識部102、動作理解部103、エキスパート部104−1、エキスパート部104−2、エキスパート部104−3、タスク計画部106、情報出力部107及び情報提示部108を含んで構成される。
なお、エキスパート部104−1〜104−3を総称する場合や区別しない場合には、エキスパート部104−1〜104−3又は単にエキスパート部104と呼ぶ。
Hereinafter, the present embodiment will be described with reference to the drawings.
FIG. 1 is a schematic diagram illustrating a configuration of a
The
Note that the expert units 104-1 to 104-3 are collectively referred to as the expert units 104-1 to 104-3 or simply the expert unit 104 when not distinguished from each other.
音声入力部101は、受信した音波を音響信号に変換し、変換した音響信号を音声認識部102に出力する。音声入力部101は、例えばマイクロホンである。ここで、音声入力部101は、利用者が発話した音声に伴う音波を受信する。
音声認識部102は、音声入力部101から入力された音響信号に基づいて認識した音声認識情報を生成し、生成した音声認識情報を動作理解部103に出力する。音声認識部102の構成については後述する。
The
The
音声認識部102は、予め設定された時間(例えば、1秒)よりも長い時間、予め定めた値よりも音響信号の強度(例えば、パワー)が小さい場合、無音状態と検出する。音声認識部102は、前後が無音状態で挟まれる区間を発話区間と判断する。音声認識部102は、発話区間毎に上述の音声認識情報を動作理解部103に出力する。
The
動作理解部103は、現在処理を行っていないエキスパート部104から適合度情報を入力される。動作理解部103は、現在処理を行っているエキスパート部104から処理を継続するか否かを示す処理継続信号を入力される。
処理継続信号が処理を継続しないことを示す場合、動作理解部103は、入力された適合性情報に基づいて処理を開始するエキスパート部104を選択する。
なお、どのエキスパート部104も処理を行っておらず処理継続信号が入力されない場合(例えば、初期状態)、動作理解部103は、予め設定されたエキスパート部104を当初処理を開始するエキスパート部104と選択する。
動作理解部103は、選択したエキスパート部104に、処理を開始することを示す起動信号を出力する。
The
When the process continuation signal indicates that the process is not continued, the
If none of the expert units 104 perform processing and a processing continuation signal is input (for example, in an initial state), the
The
対話処理装置1は、上述のように処理の種類が各々異なるエキスパート部104−1〜104−3を複数個備える。図1に示す例では、エキスパート部の個数は3個であるが、本実施形態ではエキスパート部の個数は、1個よりも多ければ何個でもよい。エキスパート部(ドメインエキスパートとも呼ぶ)は、利用者との対話における予め定めた種類の処理や、利用者によって指示された種類の動作を行うための処理を行うモジュール(構成部)である。
エキスパート部104は、次のように共通の処理を行う機能をさらに有する。エキスパート部104は、動作理解部103から起動信号を入力された場合、動作理解部103から入力された音声認識情報に基づき予め設定された処理を行う。この処理は、エキスパート部104が備える動作処理部1045(後述)が行い、出力パターン情報を生成する。処理選択部107から処理選択信号を入力されたとき、生成した出力パターン信号を処理選択部107に出力する。起動信号が入力されたエキスパート部(処理を行うエキスパート部)は、動作理解部103から入力された音声認識情報に基づき処理を継続するか否か判定し、その処理を継続するか否かを示す処理継続信号を生成する。そのエキスパート部は、生成した処理継続信号を動作理解部103に出力する。
動作理解部103から起動信号が入力されないエキスパート部(処理を行わないエキスパート部)は、動作理解部103から入力された音声認識情報に基づいて適合性情報を推定し、推定した適合性情報を動作理解部103に出力する。
The
The expert unit 104 further has a function of performing common processing as follows. When the activation signal is input from the
An expert unit (an expert unit that does not perform processing) to which the activation signal is not input from the
情報出力部107は、各エキスパート部104−1〜104−3の動作処理部1045に対して一定時間間隔(例えば、10ms)で出力パターン情報の出力を要求することを示す出力要求信号を出力する。情報出力部107は、予め設定された処理を行っているエキスパート部104から出力パターン情報を入力され、入力された出力パターン情報を情報提示部108に出力する。
情報提示部108は、情報出力部107から入力された出力パターン情報を利用者が知覚可能な形態に変換して利用者に提示する。出力パターン情報が、応答情報のように形態がテキスト列を備える場合には、その応答情報に対してテキスト音声合成を行って音声信号を生成する。情報提示部108は生成した音声信号に基づく音を再生する。但し、出力パターン情報が指示可能情報である場合には、情報提示部108は出力パターン上右方を表す文字の画像に変換し、変換した画像を表示する。指示可能情報とは、利用者が発話によって情報提示部108に実行させることができる情報である。指示可能情報の例については後述する。出力パターン情報が、画像情報である場合には、その画像信号に基づく画像を表示する。
The
The
次に、本実施形態に係る対話処理装置1が行う対話処理について説明する。
図2は、本実施形態に係る対話処理を示すフローチャートである。
(ステップS101)音声入力部101は、受信した音波を音響信号に変換し、変換した音響信号を音声認識部102に出力する。その後、ステップS102に進む。
(ステップS102)音声認識部102は、音声入力部101から入力された音響信号に基づいて認識した音声認識情報を生成し、生成した音声認識情報を発話区間毎に動作理解部103に出力する。その後、ステップS103に進む。
Next, dialogue processing performed by the
FIG. 2 is a flowchart showing dialogue processing according to the present embodiment.
(Step S <b> 101) The
(Step S102) The
(ステップS103)エキスパート部104は、前回動作理解部103から起動信号を入力されたか否か判断する。即ち、エキスパート部104は、予め設定された処理を行うか否か判断する。エキスパート部104は、動作理解部103から起動信号を入力された場合(ステップS103 Y)、ステップS105に進む。エキスパート部104は、動作理解部103から起動信号を入力されない場合(ステップS103 N)、ステップS104に進む。
(Step S103) The expert unit 104 determines whether or not an activation signal has been input from the previous
(ステップS104)エキスパート部104は、動作理解部103から入力された音声認識情報に基づいて適合性情報を推定し、推定した適合性情報を動作理解部103に出力する。その後、ステップS107に進む。
(ステップS105)エキスパート部104は、動作理解部103から入力された音声認識情報に基づき予め設定された処理を行う。エキスパート部104は、自部が備える動作処理部1045において処理を行って出力パターン情報を生成する。処理選択部107から処理選択信号を入力されたとき、生成した出力パターン情報を処理選択部107に出力する。その後、ステップS106に進む。
(ステップS106)エキスパート部104は、動作理解部103から入力された音声認識情報に基づき処理を継続するか否か判定し、その処理を継続するか否かを示す処理継続信号を生成する。そのエキスパート部104は、生成した処理継続信号を動作理解部103に出力する。その後、ステップS107に進む。
(Step S <b> 104) The expert unit 104 estimates compatibility information based on the speech recognition information input from the
(Step S <b> 105) The expert unit 104 performs a preset process based on the voice recognition information input from the
(Step S106) The expert unit 104 determines whether or not to continue the processing based on the voice recognition information input from the
(ステップS107)動作理解部103は、対話処理装置1が備える全てのエキスパート部104−1〜104−3についてステップS103〜S106の処理を行ったか否か判断する。動作理解部103が対話処理装置1が備える全てのエキスパート部104−1〜104−3についてステップS103〜S106の処理を行ったと判断した場合(ステップS107 Y)、ステップS108に進む。動作理解部103がステップS103〜S106の処理を行っていないエキスパート部104があると判断した場合(ステップS107 N)、ステップS103に進む。
(ステップS108)動作理解部103は、現在予め設定された処理を行っていないエキスパート部104から適合性情報を入力される。動作理解部103は、現在予め設定された処理を行っているエキスパート部104から処理を継続するか否かを示す処理継続信号を入力される。処理継続信号が処理を継続しないこと(非継続)を示す場合、動作理解部103は、入力された適合性情報に基づいて次回起動するエキスパート部104を選択する。動作理解部103は選択したエキスパート部104に、処理を開始することを示す起動信号を出力する。その後、ステップS109に進む。
(Step S107) The
(Step S <b> 108) The
(ステップS109)情報出力部107は、各エキスパート部104−1〜104−3の動作処理部1045に対して一定時間間隔で出力要求信号を出力する。情報出力部107は、予め設定された処理を行っているエキスパート部104から出力パターン情報を入力され、入力された出力パターン情報を情報提示部108に出力する。その後、ステップS110に進む。
(ステップS110)情報提示部108は、情報出力部107から入力された出力パターン情報を利用者が知覚可能な形態に変換して利用者に提示する。その後、処理を終了する。
(Step S109) The
(Step S110) The
次に、音声認識部102の構成の一例について説明する。
図3は、本実施形態に係る音声認識部102の構成の一例を示す概略図である。
音声認識部102は、特徴量算出部1021、音響モデル記憶部1022、音素決定部1023、単語情報記憶部(単語辞書)1024、言語モデル記憶部1025、単語決定部1026を含んで構成される。
特徴量算出部1021は、音声入力部101から入力された音響信号に基づいてフレーム(例えば20ms)毎に音響特徴量(例えば、メル周波数ケプストラム(Mel frequency cepstral coefficient;MFCC))を算出する。特徴量算出部1021は、算出した音響特徴量を音素決定部1023に出力する。
Next, an example of the configuration of the
FIG. 3 is a schematic diagram illustrating an example of the configuration of the
The
The feature
音響モデル記憶部1022には、複数個の音響特徴量に対応する対数確率値のセットを音素情報毎に備える音響モデル(例えば、隠れマルコフモデル(hidden Markov model;HMM))が予め記憶されている。
音素決定部1023は、特徴量算出部1021から入力された音響特徴量に対応する対数確率値のセットを含む音素情報を音響モデル記憶部1022から読み出す。音素決定部1023は、音響モデル記憶部1022から読み出した対数確率値を入力された音響特徴量の順番に加算して音響スコア(尤度)を算出する。音素決定部1023は、音響スコアが1番目からM(Mは予め設定された1以上の整数)番目に大きい音素情報と各々の音響スコアを関連付けて音素候補情報として単語決定部1026及び動作理解部103に出力する。
The acoustic
The
単語情報記憶部1024には、音素情報の組からなる単語情報(単語ごとの読み)が予め複数個記憶されている。
言語モデル記憶部1025には、複数(例えば3個)の単語情報の組と対数確率値(単語信頼度)のセット(単語間の接続制約)を複数個備える言語モデルが予め記憶されている。
単語決定部1026は、音素決定部1023から入力された音素候補情報に含まれる音素情報の組に対応する単語情報を単語情報記憶部1024から読み出す。単語決定部1026は、読み出した単語情報の組に対応する単語信頼度を言語モデル記憶部1025から読み出し、読み出した単語信頼度を入力された音素候補情報が表す単語の順に加算して言語スコアを算出する。単語決定部1026は、算出した言語スコアが1番目からN(Nは予め定めた1以上の整数)番目に大きい単語情報と各々の言語スコアを単語候補情報と定める。単語決定部1026は、定めた単語候補情報に含まれる各単語情報の音素情報の組に対応する音響スコアを、入力された音素候補情報から抽出する。単語決定部1026は、定めた単語候補情報と抽出した音素候補情報を音声認識情報として動作理解部103に出力する。
The word
The language
The
次に、動作理解部103が行うエキスパート選択処理について説明する。
図4は、本実施形態に係る動作理解部103が行うエキスパート選択処理を示すフローチャートである。
(ステップS201)動作理解部103は、音声認識部102から入力された音声認識情報を各エキスパート部104−1〜104−3に出力する。その後、ステップS202に進む。
Next, expert selection processing performed by the
FIG. 4 is a flowchart showing expert selection processing performed by the
(Step S201) The
(ステップS202)動作理解部103は、現在予め設定された処理を行っていないエキスパート部104から適合性情報を入力される。適合性情報とは、そのエキスパート部104が与えられた音声認識情報に適合する度合いを示す情報、例えばエキスパート部104が次回処理を行う確率値Pである。確率値Pを算出する処理については後述する。その後、ステップS203に進む。
(Step S202) The
(ステップS203)動作理解部103は、現在予め設定された処理を行っているエキスパート部104から処理を継続するか否かを示す処理継続信号を入力される。
入力された処理継続信号が、そのエキスパート部104の処理を継続することを示す(例えば、信号値1)場合(ステップS203 Y)、動作理解部103は、処理を終了する。入力された処理継続信号が、そのエキスパート部104の処理を継続しないことを示す(例えば、信号値0)場合(ステップS203 N)、ステップS204に進む。
(Step S203) The
When the input process continuation signal indicates that the process of the expert unit 104 is continued (for example, signal value 1) (step S203 Y), the
(ステップS204)動作理解部103は、入力された適合性情報が示す適合性が最も高いエキスパート部104を、次回予め設定された処理を行うエキスパート部104と決定する。動作理解部103は、次回予め設定された処理を行うエキスパート部に、その処理を行うことを指示する起動信号を出力する。その後、処理を終了する。
(Step S204) The
次に、エキスパート部104が共通に備える構成について説明する。
図5は、本実施形態に係るエキスパート部104の構成を示す概略図である。
エキスパート部104は、特徴量生成部1041、処理情報記憶部1042、適合性推定部1043、処理継続判定部1044、動作処理部1045及び対話履歴記憶部1046を含んで構成される。
Next, a configuration that the expert unit 104 includes in common will be described.
FIG. 5 is a schematic diagram showing a configuration of the expert unit 104 according to the present embodiment.
The expert unit 104 includes a feature
特徴量生成部1041は、動作理解部103から入力された音声認識情報に基づいて特徴量情報を生成する。特徴量情報とは、与えられた音声認識情報に対してエキスパート部104毎の動作の特徴を表す特徴量の組からなる情報である。特徴量の具体例については、後述する。特徴量生成部1041は、特徴量情報を生成するために入力された音声認識情報の一部から特徴量情報の一部を抽出する。特徴量生成部1041は、入力された音声認識情報の他の部分に対応する処理情報を処理情報記憶部1042から読み出し、読み出した処理情報に基づいて特徴量情報の他の部分を生成する。さらに他の特徴量情報については、特徴量生成部1041は、対話履歴記憶部1046から読み出した対話履歴情報に基づいて生成する。特徴量の具体例及び生成方法については後述する。
The feature
特徴量生成部1041は、処理継続判定部1044から処理を継続しないことを示す処理継続信号を入力されたときから動作理解部103から起動信号を入力されるまで、生成した特徴量情報を適合性推定部1043に出力する。つまり、該当するエキスパート部104(具体的には動作処理部1045)が予め設定された処理を行わない場合に、適合性推定部1043が適合性情報を推定する。
特徴量生成部1041は、動作理解部103から起動信号を入力されたとき、又は処理継続判定部1044から処理を継続することを示す処理継続信号を入力されたとき、生成した特徴量情報を処理継続判定部1044に出力する。つまり、該当するエキスパート部104(具体的には動作処理部1045)が処理を行う場合に、処理継続判定部1044が処理の継続・非継続を判定する。
なお、後述するように特徴量生成部1041が出力する特徴量情報が含む特徴量の組は、適合性推定部1043に出力するものと処理継続判定部1044に出力するものとで異なってもよい。
The feature
The feature
As will be described later, the feature amount sets included in the feature amount information output by the feature
処理情報記憶部1042は、そのエキスパート部104が予め設定された処理を実行するための処理に用いる情報やその処理を特徴付ける情報を処理情報として記憶しておく。処理情報の詳細については後述する。
The processing
適合性推定部1043は、特徴量生成部1041から入力された特徴量情報(特徴量ベクトルF)に基づいて、当該エキスパート部104に係る適合性情報を推定する。適合性情報とは、エキスパート部104が入力された音声認識情報に適合する度合いを示す情報である。具体的には、適合性情報は、そのエキスパート部104が次回起動する確率値Pである。適合性推定部1043は、例えば式(1)を用いて確率値Pを算出する。
The
式(1)において、F1,...,Fnは、特徴量ベクトルFの要素値(特徴量)である。nは、特徴量ベクトルFの要素数である。a1,...,anは、要素値F1,...,Fnの各々に対する乗算係数であって、実数値をとる。a0は、バイアス値であって、実数値をとる。適合性推定部1043は、エキスパート部104毎の特徴量情報と起動・非起動(つまり予め設定した処理を行うか否か)の間の既知の関係を用いて、事前学習によって係数a0,...,anを予め算出し、設定しておく。
確率値Pは、特徴量の線形結合値(a0+Σl=1 nalFl)が増加するに従って単調に増加し、最小値0から最大値1までの間の実数値である。この線形結合値が∞に近づくと、確率値Pは1に漸近し、この線形結合値が−∞に近づくとPは0に漸近する。
適合性推定部1043は、推定した適合性情報を動作理解部103に出力する。
In Formula (1), F 1 ,. . . , F n are element values (feature quantities) of the feature quantity vector F. n is the number of elements of the feature vector F. a 1 ,. . . , An are the element values F 1 ,. . . , F n is a multiplication coefficient for each, and takes a real value. a 0 is a bias value and takes a real value. The
The probability value P monotonously increases as the linear combination value (a 0 + Σ l = 1 n a l F l ) of the feature amount increases, and is a real value between the
The
処理継続判定部1044は、特徴量生成部1041から入力された特徴量情報(特徴量ベクトルF)に基づいて、当該エキスパート部104の動作を継続するか否か(即ち、動作処理部1045が予め設定した処理を行うか否か)を判断する。処理継続判定部1044は、動作を継続するか否かを示す処理継続信号を生成する。処理継続信号の値は、例えば1又は0である。処理継続信号の値が1の場合、予め設定した処理を継続することを示す。処理継続信号の値が0の場合、予め設定した処理を継続しないことを示す。処理継続判定部1044は、生成した処理継続信号を特徴量生成部1041、動作処理部1045及び動作理解部103に出力する。
The processing
処理継続判定部1044は、現在予め設定された処理を行っているエキスパート部104が、その処理を継続するか否かを判断するために、例えばサポートベクターマシン(support vector machine;SVM)を用いる。サポートベクターマシンを用いる場合、処理継続判定部1044は、例えば、入力された特徴量情報を表す特徴量ベクトルFと重み係数を要素とする重み係数ベクトルwの内積を算出する。処理継続判定部1044は、算出した内積が予め定めた実数値b(例えば、ゼロ)と等しい又は大きい場合、処理を継続すると判断する。処理継続判定部1044は、算出した内積が予め定めた実数値bよりも小さい場合、処理を継続しない(非継続)と判断する。
The process
但し、処理継続判定部1044は、エキスパート部104毎に特徴量情報と動作継続・非継続(予め設定された処理を行うか否か)の既知の関係を用いて、事前学習によって重み係数ベクトルw及び実数値bを予め算出し、設定しておく。事前学習においては、例えば、上述の内積と実数値bの和である実数値yが1又は1よりも大きいという条件のもとで、重み係数ベクトルwのノルムが最小とする条件を課す。事前学習において算出する実数値yは、特徴量ベクトルFについて予め設定された処理を継続する場合に値1をとり、予め設定された処理を継続しない場合に値−1をとる。
However, the process
動作処理部1045は、処理継続判定部1044から処理を継続することを示す処理継続信号を入力された場合、又は、動作理解部103から起動信号を入力された場合、動作理解部103から入力された音声認識情報に基づいて予め定めた処理を行う。例えば、動作処理部1045は、音声認識情報に含まれる単語情報(キーワード)を備える発話パターン情報(例えば、質問情報)を処理情報記憶部1042から検索し、検索した発話パターン情報と対応する出力パターン情報(例えば、応答情報及び提示情報)を処理情報として処理情報記憶部1042から読み出す処理を行う。ここで、処理情報記憶部1042は、予め発話パターン情報と出力パターン情報を対応付けて処理情報として記憶している。
The
動作処理部1045は、情報出力部107から出力パターン情報の出力を要求することを示す出力要求信号を入力されたとき、読み出した出力パターン情報を情報出力部107に出力する。動作処理部1045は、読み出した発話パターン情報と出力パターン情報(又はこれらの識別情報)を時刻情報と対応付けて対話履歴記憶部1046に記憶する。従って、対話履歴記憶部1046には、時刻情報毎の発話パターン情報と出力パターン情報の情報列が対話履歴として記憶される。
When receiving an output request signal indicating that output of output pattern information is requested from the
動作処理部1045は、エキスパート部104−1〜104−3毎に各々異なる予め設定された処理を行う。エキスパート部104−1〜104−3が、各々RU(request understanding;要求理解)エキスパート部104−1、QA(question answering;質問応答)エキスパート部104−2、IP(interactive presentation;インタラクティブプレゼンテーション)エキスパート部104−3である場合を例にとって説明する。
以下の説明では、各機能部(特徴量生成部1041等)を、各エキスパート部104毎に区別する場合には、特徴量生成部1041−1等と呼ぶ。ここで、末尾の−1等は、エキスパート部104−1等を示す。
The
In the following description, when each functional unit (feature
RUエキスパート部104−1は、入力された音声認識情報からIPエキスパート部104−3の処理を開始させることを示す処理要求情報を抽出し、抽出した処理要求情報を確認するための対話処理(後述)を行う。RUエキスパート部104−1は、確認した処理要求情報をタスク計画部106(図示せず)に出力する。 The RU expert unit 104-1 extracts processing request information indicating that processing of the IP expert unit 104-3 is to be started from the input voice recognition information, and interactive processing for confirming the extracted processing request information (described later) )I do. The RU expert unit 104-1 outputs the confirmed processing request information to the task planning unit 106 (not shown).
タスク計画部106は、対話処理装置1が備える構成部の一つである。タスク計画部106は、RUエキスパート部104−1の動作処理部1045から入力された処理要求情報に基づいて処理を開始させるIPエキスパート部104−3を選択する。タスク計画部106は、自部が備える記憶部に処理要求情報と処理を開始させるIPエキスパート部104−3の識別情報を対応付けて予め記憶させておく。タスク計画部106は、入力された処理要求情報に対応するIPエキスパート部104−3の識別情報を読み出し、読み出した識別情報が示すIPエキスパート部104−3の動作処理部1045−3に処理を開始することを指示する起動信号を出力する。動作処理部1045−3は、動作理解部103以外に、タスク計画部106からも起動信号を入力されることがある。動作処理部1045−3は、起動信号を入力されたとき、動作理解部103から入力された音声認識情報に基づいて予め設定された処理(後述)を行う。
The task planning unit 106 is one of the components included in the
次に、RUエキスパート部104−1の処理情報記憶部1042−1が記憶する処理情報について動作処理部1045が行う処理とともに説明する。
図6は、本実施形態に係るRUエキスパート部104−1の処理情報記憶部1042−1が記憶する処理情報の一例を表す概念図である。
図6に示すように、処理情報記憶部1042−1は、発話パターン情報として質問情報、肯定発話情報、否定発話情報を記憶する。処理情報記憶部1042−1は、質問情報と対応付けて応答情報を出力パターン情報として記憶する。
質問情報とは、利用者が対話処理装置1に対して質問する内容を表す情報である。図6の最上行の「グリニッジ ニ ツイテ オシエテ クダサイ」とは、利用者が「グリニッジ」について質問することを表す質問情報である。そのうち、質問情報の一部として含まれ下線が付された部分「グリニッジ」、「オシエテ」は、キーワード情報を示す。キーワード情報とは、質問情報として必須であり、動作処理部1045−1が検索の手がかりとして音声認識情報に含まれる単語情報と照合する語句を表す情報である。
Next, processing information stored in the processing information storage unit 1042-1 of the RU expert unit 104-1 will be described together with processing performed by the
FIG. 6 is a conceptual diagram illustrating an example of processing information stored in the processing information storage unit 1042-1 of the RU expert unit 104-1 according to the present embodiment.
As illustrated in FIG. 6, the processing information storage unit 1042-1 stores question information, positive utterance information, and negative utterance information as utterance pattern information. The processing information storage unit 1042-1 stores response information as output pattern information in association with the question information.
The question information is information representing the content that the user asks the
図6の第2行の「カイジトシ グリニッジ ノ セツメイ デスネ」とは、利用者に対してグリニッジに対する説明を要求することについて確認を促す応答情報(出力パターン情報)である。第3行の「ハイ」、「ウン」とは、直前に提示された応答情報又は提示情報に対して肯定的な発話を表す肯定発話情報である。第4行の「イイエ」、「イヤ」とは、直前に提示された応答情報又は提示情報に対して否定的な発話を表す否定発話情報である。 “Kaijitoshi Greenwich no Settsu Meisune” in the second row of FIG. 6 is response information (output pattern information) that prompts the user to confirm that the user is requested to explain Greenwich. “High” and “Eun” in the third row are positive utterance information representing positive utterances with respect to response information or presentation information presented immediately before. “No” and “No” in the fourth line are negative utterance information representing a negative utterance with respect to the response information or the presentation information presented immediately before.
従って、動作処理部1045−1は、入力された音声認識情報に含まれる単語情報として「グリニッジ」及び「オシエテ」を含む場合、処理情報記憶部1042−1から「グリニッジ ニ ツイテ オシエテ クダサイ」を示す質問情報を読み出す。動作処理部1045は、この質問情報に対応する応答情報として「カイジトシ グリニッジ ノ セツメイ デスネ」を示す応答情報を処理情報記憶部1042−1から読み出す。動作処理部1045は、この読み出した応答情報を情報出力部107に出力し、読み出した質問情報と応答情報を時刻情報と対応付けて対話履歴記憶部1046−1に記憶する。動作処理部1045−1は、この読み出した質問情報のキーワードである「グリニッジ」、「セツメイ」を処理要求情報の候補として自部が備える記憶部に記憶する。
Therefore, when the word information included in the input speech recognition information includes “Greenwich” and “Osiete”, the motion processing unit 1045-1 indicates “Greenwich Niitsu Oshie Kakusai” from the processing information storage unit 1042-1. Read question information. The
動作処理部1045−1は、入力された音声認識情報に含まれる単語情報として「ハイ」を含む場合、処理情報記憶部1042−1から「ハイ」を示す肯定発話情報を読み出す。動作処理部1045−1は、読み出した肯定発話情報を対話履歴記憶部1046−1に時刻情報と対応付けて記憶する。
動作処理部1045−1は、肯定発話情報を読み出した場合、記憶した処理要求情報の候補「グリニッジ」、「セツメイ」を処理要求情報と定め、定めた処理要求情報をタスク計画部106に出力する。
When the word information included in the input voice recognition information includes “high”, the motion processing unit 1045-1 reads the positive utterance information indicating “high” from the processing information storage unit 1042-1. The operation processing unit 1045-1 stores the read positive utterance information in the dialog history storage unit 1046-1 in association with the time information.
When the affirmative utterance information is read, the motion processing unit 1045-1 determines the stored processing request information candidates “Greenwich” and “Settsume” as processing request information, and outputs the determined processing request information to the task planning unit 106. .
動作処理部1045−1は、入力された音声認識情報に含まれる単語情報として「イイエ」を含む場合、処理情報記憶部1042−1から「イイエ」を示す否定発話情報を読み出す。動作処理部1045−1は、読み出した否定発話情報を時刻情報と対応付けて対話履歴記憶部1046−1に記憶する。
動作処理部1045−1は、否定発話情報を読み出した場合、記憶した処理要求情報の候補「グリニッジ」、「セツメイ」を自部が備える記憶部から削除する。
If the word information included in the input speech recognition information includes “No”, the motion processing unit 1045-1 reads negative utterance information indicating “No” from the processing information storage unit 1042-1. The operation processing unit 1045-1 stores the read negative utterance information in the dialogue history storage unit 1046-1 in association with the time information.
When reading the negative utterance information, the operation processing unit 1045-1 deletes the stored processing request information candidates “Greenwich” and “Settsume” from the storage unit included in the operation processing unit 1045-1.
QAエキスパート部104−2は、予め定めた題目(例えば、世界遺産)に関する質問情報と応答情報の対を記憶する処理情報記憶部1042−2を備える。QAエキスパート部104−2は、音声認識情報に含まれる単語情報とキーワード情報が照合する質問情報に対応する応答情報を出力パターン情報として情報出力部107に出力する。
ここで、QAエキスパート部104−2の処理情報記憶部1042−2が記憶する処理情報について動作処理部1045が行う処理とともに説明する。
図7は、本実施形態に係るQAエキスパート部104−2の処理情報記憶部1042−2が記憶する処理情報の一例を表す概念図である。
図7に示すように、処理情報記憶部1042−2は、発話パターン情報として質問情報、肯定発話情報、否定発話情報、相槌情報を記憶する。処理情報記憶部1042−2は、質問情報と対応付けて応答情報と提示情報を出力パターン情報として記憶する。
図7の最上行の「イタリア ノ セカイイサン ノ リスト ヲ ミセテ クダサイ」とは、利用者が「イタリアの世界遺産のリストを見せ」ることを要求する質問情報である。そのうち、質問情報の一部として含まれ下線が付された部分「イタリア」、「セカイイサン」、「リスト」、「ミセテ」は、キーワード情報を示す。
The QA expert unit 104-2 includes a processing information storage unit 1042-2 that stores a pair of question information and response information related to a predetermined subject (for example, a World Heritage site). The QA expert unit 104-2 outputs response information corresponding to the question information checked by the word information and the keyword information included in the speech recognition information to the
Here, processing information stored in the processing information storage unit 1042-2 of the QA expert unit 104-2 will be described together with processing performed by the
FIG. 7 is a conceptual diagram illustrating an example of processing information stored in the processing information storage unit 1042-2 of the QA expert unit 104-2 according to the present embodiment.
As illustrated in FIG. 7, the processing information storage unit 1042-2 stores question information, positive utterance information, negative utterance information, and conflict information as utterance pattern information. The processing information storage unit 1042-2 stores response information and presentation information as output pattern information in association with the question information.
The top row of FIG. 7 is “Italian No Sekai San Noristo My Miste Kudasai”, which is question information requesting that the user “show the list of Italian World Heritage Sites”. Of these, underlined parts “Italy”, “Sekai Isan”, “List”, and “Misete” included as part of the question information indicate keyword information.
図7の第2行の「イタリア ノ セカイイサン ヲ チイキベツ ニ ショウカイ シマス」とは、利用者に対してイタリアの世界遺産を地域別に紹介することを示す応答情報(出力パターン情報)である。この応答情報は、同時に第4行に示す、イタリアの地域別の世界遺産のリストを示す画像情報(提示情報)を提示することについて利用者に対して注意を促す応答情報である。
第3行の「ドノ チイキ ノ リスト ガ ミタイ カ オッシャッテ クダサイ」とは、提示している画像情報を参照してどの地域のリストを提示すべきか利用者に対して指示を促す応答情報である。
図7の第5行の「ハイ」、「ウン」とは、直前に提示された応答情報又は提示情報に対しする肯定発話情報である。第6行の「イイエ」、「イヤ」とは、直前に提示された応答情報又は提示情報に対する否定発話情報である。
図7の第7行の「ナルホド」、「ソウデスネ」とは、直前に提示された応答情報に対して利用者が反応を示す相槌情報である。
The second line in FIG. 7 “Italian No Sekai Isan O Chi Ikibetsu Ni Show Kai Shimas” is response information (output pattern information) indicating that the Italian World Heritage site is introduced to the user by region. This response information is response information that urges the user to pay attention to presenting image information (presentation information) indicating a list of world heritages by region in Italy shown at the same time in the fourth row.
The third line, “Dono Chikino List Gamitaika Oshatte Kudasai” is response information that prompts the user to indicate which region list should be presented with reference to the presented image information.
“High” and “Eun” in the fifth line in FIG. 7 are positive utterance information for the response information or the presentation information presented immediately before. “No” and “No” in the sixth line are negative utterance information for response information or presentation information presented immediately before.
“Nalhod” and “Soudesne” on the seventh line in FIG. 7 are conflict information indicating that the user has reacted to the response information presented immediately before.
従って、動作処理部1045−2は、入力された音声認識情報に含まれる単語情報として「イタリア」、「セカイイサン」、「リスト」及び「ミセテ」を含む場合、処理情報記憶部1042−2から「イタリア ノ セカイイサン ノ リスト ヲ ミセテ クダサイ」を示す質問情報を読み出す。動作処理部1045−2は、この質問情報に対応する応答情報として「イタリア ノ セカイイサン ノ リスト ヲ ミセテ クダサイ。ドノ チイキ ノ リスト ガ ミタイ カ オッシャッテ クダサイ」を示す応答情報とイタリアの地域別の世界遺産のリストを示す画像情報を提示情報として読み出す。動作処理部1045−2は、この読み出した応答情報と提示情報を出力パターン情報として情報出力部107に出力し、読み出した質問情報を発話パターン情報として、応答情報及び提示情報を出力パターン情報として時刻情報と対応付けて対話履歴記憶部1046−2に記憶する。
Therefore, when the word information included in the input voice recognition information includes “Italy”, “Sekaiisan”, “List”, and “Misete”, the operation processing unit 1045-2 receives the information from the processing information storage unit 1042-2. Read out the question information indicating “Italian No Seisen Noristo”. The motion processing unit 1045-2 responds to this question information with the response information indicating “Italian No Sekai Iris Noristo My Miste Kudasai. The image information indicating the list is read as the presentation information. The operation processing unit 1045-2 outputs the read response information and presentation information to the
動作処理部1045−2は、入力された音声認識情報に含まれる単語情報として「ハイ」を含む場合、処理情報記憶部1042−2から「ハイ」を示す肯定発話情報を読み出す。動作処理部1045−2は、読み出した肯定発話情報を対話履歴記憶部1046−2に時刻情報と対応付けて記憶する。
動作処理部1045−2は、入力された音声認識情報に含まれる単語情報として「いいえ」を含む場合、処理情報記憶部1042−2から「イイエ」を示す否定発話情報を読み出す。動作処理部1045−2は、読み出した否定発話情報を対話履歴記憶部1046−2に時刻情報と対応付けて記憶する。
動作処理部1045−2は、入力された音声認識情報に含まれる単語情報として「なるほど」を含む場合、処理情報記憶部1042−2から「ナルホド」を示す相槌情報を読み出す。動作処理部1045−2は、読み出した相槌情報を対話履歴記憶部1046−2に時刻情報と対応付けて記憶する。
When the word information included in the input voice recognition information includes “high”, the motion processing unit 1045-2 reads the positive utterance information indicating “high” from the processing information storage unit 1042-2. The operation processing unit 1045-2 stores the read positive utterance information in the dialog history storage unit 1046-2 in association with the time information.
When the word information included in the input voice recognition information includes “No”, the motion processing unit 1045-2 reads out negative utterance information indicating “No” from the processing information storage unit 1042-2. The operation processing unit 1045-2 stores the read negative utterance information in the dialogue history storage unit 1046-2 in association with the time information.
When the word information included in the input speech recognition information includes “Iso”, the motion processing unit 1045-2 reads the conflict information indicating “Nalhod” from the processing information storage unit 1042-2. The operation processing unit 1045-2 stores the read conflict information in the dialog history storage unit 1046-2 in association with time information.
IPエキスパート部104−3は、予め定めた題目(トピック)のうち1つの事項(例えば、著名な世界遺産のうちの1つ)に関する提示情報(映像情報、音声情報)と応答情報を質問情報と対応付けて記憶する動作情報記憶部1042−3を備える。IPエキスパート部104−3は、音声認識情報に含まれる単語情報とキーワード情報が照合する質問情報に対応する応答情報及び提示情報を出力パターン情報として情報出力部107に出力する。
動作情報記憶部1042−3に記憶されている動作情報は、最初に出力すべき応答情報と提示情報の組を初期出力情報として含む。IPエキスパート部104−3は、タスク計画部106から処理を開始することを指示する起動信号が入力された場合、初期出力情報を情報出力部107に出力し、対話履歴記憶部1046−3に記憶する。
The IP expert unit 104-3 uses the presentation information (video information, audio information) and response information regarding one item (for example, one of famous world heritage) and the response information as question information. An operation information storage unit 1042-3 that stores the information in association with each other is provided. The IP expert unit 104-3 outputs response information and presentation information corresponding to the question information matched by the word information and the keyword information included in the speech recognition information to the
The motion information stored in the motion information storage unit 1042-3 includes a set of response information and presentation information to be output first as initial output information. When an activation signal instructing to start processing is input from the task planning unit 106, the IP expert unit 104-3 outputs initial output information to the
ここで、IPエキスパート部104−3の処理情報記憶部1042−3が記憶する処理情報について動作処理部1045−3が行う処理とともに説明する。
図8は、本実施形態に係るIPエキスパート部104−3の処理情報記憶部1042−3が記憶する処理情報の一例を表す概念図である。
図8に示すように、処理情報記憶部1042−3は、発話パターン情報として質問情報、指示可能情報を記憶する。処理情報記憶部1042−3は、応答情報と提示情報を出力パターン情報として記憶する。処理情報記憶部1042−3は、質問情報と対応付けて記憶する応答情報と提示情報を出力パターン情報として記憶する。
Here, processing information stored in the processing information storage unit 1042-3 of the IP expert unit 104-3 will be described together with processing performed by the operation processing unit 1045-3.
FIG. 8 is a conceptual diagram illustrating an example of processing information stored in the processing information storage unit 1042-3 of the IP expert unit 104-3 according to the present embodiment.
As illustrated in FIG. 8, the processing information storage unit 1042-3 stores question information and instructable information as utterance pattern information. The processing information storage unit 1042-3 stores response information and presentation information as output pattern information. The processing information storage unit 1042-3 stores response information and presentation information stored in association with the question information as output pattern information.
図8の最上行から第3行に太字で示される、応答情報と提示情報の組が初期出力情報である。図8の最上行及び第2行の「カイジトシ グリニッジ ノ アンナイ ヲ シマス/グリニッジヒョウジュンジ ノ キジュン トナル トシトシテ ユイショ アル ミナトマチ デス」とは、利用者に海事都市グリニッジの案内を開始することを示し、第3行のグリニッジ市内を示す画像情報を提示することについて注意を喚起する応答情報である。
図8の第4行の「グリニッジヒョウジュンジ ッテ ナンデスカ?」とは、利用者が対話処理装置1に対してグリニッジ標準時に対して問い合わせる質問情報である。そのうち、質問情報の一部として含まれ下線が付された部分「グリニッジヒョウジュンジ」、「ナンデスカ」は、キーワード情報を示す。
The combination of response information and presentation information, which is shown in bold from the top line to the third line in FIG. 8, is the initial output information. The top line and the second line in Fig. 8 indicate that the start of guidance for the maritime city of Greenwich is indicated to the user. This is response information that calls attention to presenting image information indicating the Greenwich city of the row.
The fourth line “Greenwich leopardy nandesuka?” In FIG. 8 is question information for the user to inquire about the Greenwich Mean Time with respect to the
図8の第5行の「グリニッジテンモンダイ デノ ヘイキンタイヨウジ ノ コトデス」とは、利用者に対してグリニッジ標準時に対する回答としてグリニッジ天文台での平均太陽時をを示す応答情報(出力パターン情報)である。この応答情報は、同時に第6行に示す、グリニッジ天文台の内容を示す画像情報(提示情報)を提示することについて利用者に対して注意を促す応答情報である。
図8の第7行の「トマル」、「ツギ」、「モドル」、「モウイチド」とは、利用者1が提示情報を提示する処理の形態を指示する指示可能情報である。「トマル」とは、画像情報の提示を停止することを指示する情報である。「ツギ」とは、現在提示されている画像情報の直後に提示される画像情報を提示することを指示する情報である。「モドル」とは、現在提示されている画像情報の直前に提示される画像情報を提示することを指示する情報である。「モウイチド」とは、現在提示している画像情報を再度初頭から提示することを指示する情報である。
“Greenwich Tenmon Dai Deno Haykin Taiyo Jino Cotodes” in the fifth line of FIG. 8 is response information (output pattern information) indicating the average solar time at the Greenwich Observatory as an answer to the Greenwich Mean Time for the user. is there. This response information is response information that urges the user to pay attention to simultaneously presenting image information (presentation information) indicating the contents of the Greenwich Observatory shown in the sixth line.
“Tomaru”, “Tsugi”, “Middle”, and “Moichid” in the seventh line of FIG. 8 are instructable information that indicates the form of processing in which the
従って、動作処理部1045−3は、タスク計画部106から起動信号が入力された場合、初期出力情報(応答情報、提示情報)を処理情報記憶部1042−3から読み出す。動作処理部1045−3は、読み出した初期出力情報を出力パターン情報として情報出力部107に出力し、対話履歴記憶部1046に記憶する。
動作処理部1045−3は、入力された音声認識情報に含まれる単語情報として「グリニッジヒョウジュンジ」及び「ナンデスカ」を含む場合、処理情報記憶部1042−3から「グリニッジヒョウジュンジ ッテ ナンデスカ?」を示す質問情報を読み出す。動作処理部1045−3は、この質問情報に対応する応答情報として「グリニッジテンモンダイ デノ ヘイキンタイヨウジ ノ コトデス」を示す応答情報とグリニッジ天文台の内容を示す画像情報を提示情報として読み出す。動作処理部1045−3は、この読み出した応答情報と提示情報を出力パターン情報として情報出力部107に出力し、読み出した質問情報を発話パターン情報として、応答情報及び提示情報を出力パターン情報として、時刻情報と対応付けて対話履歴記憶部1046−3に記憶する。
Therefore, when the activation signal is input from the task planning unit 106, the operation processing unit 1045-3 reads the initial output information (response information, presentation information) from the processing information storage unit 1042-3. The operation processing unit 1045-3 outputs the read initial output information to the
In the case where the word information included in the input voice recognition information includes “Greenwich leopard jungle” and “Nandeska”, the motion processing unit 1045-3 reads “Greenwich leopard jungle Nandeska?” From the processing information storage unit 1042-3. The question information indicating is read. The operation processing unit 1045-3 reads out response information indicating “Greenwich Tenmon Daino Hekin Taiyo no Kotodes” as response information corresponding to the question information and image information indicating the content of the Greenwich Observatory as presentation information. The operation processing unit 1045-3 outputs the read response information and presentation information as output pattern information to the
動作処理部1045−3は、入力された音声認識情報に含まれる単語情報として「トマル」を含む場合、処理情報記憶部1042−3から「トマル」を示す指示可能情報を読み出す。動作処理部1045−3は、現在出力している出力パターン情報の情報出力処理部107への出力を停止する。動作処理部1045−3は、読み出した指示可能情報を対話履歴記憶部1046−3に出力パターン情報として時刻情報と対応付けて記憶する。
動作処理部1045−3は、入力された音声認識情報に含まれる単語情報として「ツギ」を含む場合、処理情報記憶部1042−3から「ツギ」を示す指示可能情報を読み出す。動作処理部1045−3は、現在出力している提示情報よりも後に提示されるべき提示情報を出力パターン情報として情報出力部107へ出力する。動作処理部1045−3は、読み出した指示可能情報を対話履歴記憶部1046−3に出力パターン情報として時刻情報と対応付けて記憶する。
動作処理部1045−3は、入力された音声認識情報に含まれる単語情報として「モドル」を含む場合、処理情報記憶部1042−3から「モドル」を示す指示可能情報を読み出す。動作処理部1045−3は、現在出力している提示情報よりも前に提示されるべき提示情報を出力パターン情報として情報出力部107へ出力する。動作処理部1045−3は、読み出した指示可能情報を対話履歴記憶部1046−3に出力パターン情報として時刻情報と対応付けて記憶する。
動作処理部1045−3は、入力された音声認識情報に含まれる単語情報として「モウイチド」を含む場合、処理情報記憶部1042から「モウイチド」を示す指示可能情報を読み出す。動作処理部1045−3は、現在出力している提示情報を初頭から再度、出力パターン情報として情報出力部107へ出力する。動作処理部1045−3は、読み出した指示可能情報を対話履歴記憶部1046に出力パターン情報として時刻情報と対応付けて記憶する。
When the word information included in the input voice recognition information includes “Tomaru”, the operation processing unit 1045-3 reads instructable information indicating “Tomaru” from the processing information storage unit 1042-3. The operation processing unit 1045-3 stops the output of the currently output output pattern information to the information
If the word information included in the input voice recognition information includes “tsugi”, the operation processing unit 1045-3 reads instructable information indicating “tsugi” from the processing information storage unit 1042-3. The action processing unit 1045-3 outputs the presentation information to be presented after the currently output presentation information to the
When the word information included in the input voice recognition information includes “middle”, the operation processing unit 1045-3 reads instructable information indicating “middle” from the processing information storage unit 1042-3. The operation processing unit 1045-3 outputs the presentation information to be presented before the presentation information currently being output to the
When the word information included in the input voice recognition information includes “moichido”, the operation processing unit 1045-3 reads out instructable information indicating “moichido” from the processing
次に、各エキスパート部の特徴量生成部1041が生成する特徴量情報の具体例について説明する。
以下の説明において、特徴量Fi,rxは、入力された音声認識情報に基づく特徴量情報である。特徴量Fi,hxは、対話履歴記憶部1046から読み出した対話履歴情報に基づく特徴量情報である。SRRi,jは、音声認識情報においてエキスパートクラスiにおいてj番目に言語スコアが高い単語情報及び対応する音素情報である。エキスパートクラスとは、エキスパート部の種類を意味する。iは、エキスパートクラスの何れかを示すインデックスである。iがRUのとき、RUエキスパート部104−1を示す。iがQAのとき、QAエキスパート部104−2を示す。i=IPのとき、IPエキスパート部104−3を示す。SRRi,allは、音声認識情報においてエキスパートクラスiにおいて1番目からN番目に言語スコアが高い単語情報及び対応する音素情報の全てである。SRRlv,jは、大語彙言語モデルを用いた発話検証用の音声認識情報においてj番目に言語スコアが高い単語情報及び対応する音素情報の全てである。大語彙言語モデルとは、言語モデル記憶部1025に記憶される言語モデルであって、このモデルを構成する単語列に用いられる単語の種類の数(例えば、60、250語、)が多い言語モデルである(通常の言語モデルでは、例えば5、000語)。
Next, a specific example of feature amount information generated by the feature
In the following description, the feature amount F i, rx is feature amount information based on input speech recognition information. The feature amount F i, hx is feature amount information based on the conversation history information read from the conversation
図9は、本実施形態に係るエキスパート部104共通の特徴量情報の一例を示す表である。
図9の最左列から右側へ順に、関連があるエキスパートクラス(種類)、特徴量、内容を示す。図9の最左列においてエキスパートクラスが共通とは、RUエキスパート部104−1、QAエキスパート部104−2、IPエキスパート部104−3が共通に生成する特徴量情報を示す。
FIG. 9 is a table showing an example of feature amount information common to the expert unit 104 according to the present embodiment.
In the order from the leftmost column of FIG. 9 to the right side, the related expert classes (types), feature amounts, and contents are shown. The common expert class in the leftmost column of FIG. 9 indicates feature amount information generated in common by the RU expert unit 104-1, the QA expert unit 104-2, and the IP expert unit 104-3.
図9の上から第2行の特徴量Fi,r1は、SRRi,1が得られたかどうかを示す特徴量である。SRRi,1が得られた場合、Fi,r1の値が1であり、SRRi,1が得らなかった場合、Fi,r1の値が0である。
図9の上から第3行の特徴量Fi,r2は、SRRi,jに含まれる単語情報としてフィラーが含まれるかどうかを示す特徴量である。フィラーとは、意図をもった発話の間に挟みこむ語句、例えば「ええと」、「あのう」である。SRRi,1にフィラーが含まれる場合、Fi,r2の値が1であり、SRRi,1にフィラーが含まれない場合、Fi,r2の値が0である。
The feature amount F i, r1 in the second row from the top in FIG. 9 is a feature amount indicating whether or not SRR i, 1 has been obtained. When SRR i, 1 is obtained , the value of F i, r1 is 1, and when SRR i, 1 is not obtained , the value of F i, r1 is 0.
The feature amount F i, r2 in the third row from the top in FIG. 9 is a feature amount indicating whether or not a filler is included as word information included in SRR i, j . A filler is a phrase that is sandwiched between intentional utterances, for example, “um” or “no”. When SRR i, 1 contains a filler , the value of F i, r2 is 1, and when SRR i, 1 contains no filler , the value of F i, r2 is 0.
図9の上から第4行の特徴量Fi,r3は、SRRi,1に含まれる単語情報に係る単語信頼度の最小値を示す。
図9の上から第5行の特徴量Fi,r4は、SRRi,1に含まれる単語情報に係る単語信頼度の平均値を示す。
図9の上から第6行の特徴量Fi,r5は、SRRi,1に含まれる音韻情報に係る音響スコアを発話区間の時間で除算した値を示す。
図9の上から第7行の特徴量Fi,r6は、SRRi,1の言語スコアを示す。
図9の上から第8行の特徴量Fi,r7は、SRRi,1に含まれる単語数を示す。
図9の上から第9行の特徴量Fi,r8は、SRRi,allに含まれる単語数を示す。
図9の上から第10行の特徴量Fi,r9は、特徴量Fi,r5と、SRRlv,1の音響スコアを発話区間の時間で除算した値との差分値を示す。
The feature amount F i, r3 in the fourth row from the top in FIG. 9 indicates the minimum value of the word reliability related to the word information included in the SRR i, 1 .
The feature amount F i, r4 in the fifth row from the top in FIG. 9 indicates the average value of word reliability related to the word information included in SRR i, 1 .
The feature amount F i, r5 in the sixth line from the top in FIG. 9 indicates a value obtained by dividing the acoustic score related to the phoneme information included in SRR i, 1 by the time of the utterance interval.
The feature amount F i, r6 in the seventh line from the top in FIG. 9 indicates the language score of SRR i, 1 .
The feature amount F i, r7 in the eighth line from the top of FIG. 9 indicates the number of words included in SRR i, 1 .
The feature amount F i, r8 in the ninth line from the top in FIG. 9 indicates the number of words included in SRR i, all .
The feature values F i, r9 in the tenth line from the top of FIG. 9 indicate the difference values between the feature values F i, r5 and the value obtained by dividing the acoustic score of SRR lv, 1 by the time of the utterance interval.
図10は、本実施形態に係るRUエキスパート部104−1の特徴量情報の一例を示す表である。
図10の最左列から右側へ順に、関連があるエキスパートクラス(種類)、特徴量、内容を示す。図10の最左列においてエキスパートクラスがRUとは、RUエキスパート部104−1の特徴量生成部1041−1のみが生成する特徴量情報を示す。
図10の上から第2行の特徴量FRU,r10は、SRRRU,1が肯定発話情報を含むかどうかを示す特徴量である。SRRRU,1が肯定発話情報を含む場合、FRU,r10の値が1であり、SRRRU,1が肯定発話情報を含まない場合、FRU,r10の値が0である。特徴量生成部1041−1は、SRRRU,1が肯定発話情報を含むかどうかを判断するために、処理情報記憶部1042−1に記憶されている肯定発話情報と、SRRRU,1に含まれる単語情報を照合する。
FIG. 10 is a table showing an example of the feature amount information of the RU expert unit 104-1 according to the present embodiment.
In the order from the leftmost column in FIG. 10 to the right side, the related expert classes (types), feature amounts, and contents are shown. In the leftmost column of FIG. 10, the expert class RU indicates feature amount information generated only by the feature amount generation unit 1041-1 of the RU expert unit 104-1.
The feature value F RU, r10 in the second row from the top in FIG. 10 is a feature value indicating whether or not SRR RU, 1 includes positive utterance information. When SRR RU, 1 includes positive utterance information , the value of F RU, r10 is 1, and when SRR RU, 1 does not include positive utterance information , the value of F RU, r10 is zero. Feature amount generating unit 1041-1, to SRR RU, 1 to determine whether it contains a positive speech information, a positive speech information stored in the processing information storage unit 1042-1, included in SRR RU, 1 Check word information.
図10の上から第3行の特徴量FRU,r11は、SRRRU,2が否定発話情報を含むかどうかを示す特徴量である。SRRRU,2が否定発話情報を含む場合、FRU,r10は値1であり、SRRRU,1が否定発話情報を含まない場合、FRU,r10の値が0である。特徴量生成部1041−1は、SRRRU,1が否定発話情報を含むかどうかを判断するために、処理情報記憶部1042−1に記憶されている否定発話情報と、SRRRU,1に含まれる単語情報を照合する。 The feature value F RU, r11 in the third row from the top in FIG. 10 is a feature value indicating whether or not SRR RU, 2 includes negative utterance information. When SRR RU, 2 includes negative utterance information, F RU, r10 has a value of 1, and when SRR RU, 1 does not include negative utterance information , the value of F RU, r10 is zero. Feature amount generating unit 1041-1 in order to determine whether the SRR RU, 1 contains a negative speech information, a negative speech information stored in the processing information storage unit 1042-1, included in SRR RU, 1 Check word information.
図10の上から第4行の特徴量FRU,r12は、音声認識情報に含まれる認識結果となる単語情報のうち、言語モデルによる認識結果の候補数を示す。
図10の上から第5行の特徴量FRU,r13は、SRRRU,1に世界遺産の名称が含まれているか否かを示す特徴量である。SRRRU,1に世界遺産の名称が含まれている場合、FRU,r13は値1であり、SRRRU,1に世界遺産の名称が含まれていない場合、FRU,r13は値0である。特徴量生成部1041−1は、SRRRU,1が世界遺産の名称を含むかどうかを判断するために、処理情報記憶部1042−1に記憶されている質問情報に含まれるキーワードのうち世界遺産の名称を示す部分と照合する。
The feature amount F RU, r12 in the fourth line from the top in FIG.
The feature value F RU, r13 in the fifth row from the top in FIG. 10 is a feature value indicating whether or not the name of the World Heritage is included in SRR RU, 1 . If SRR RU, 1 contains a World Heritage name , FRU, r13 has a value of 1, and if SRR RU, 1 does not contain a World Heritage name , FRU, r13 has a value of 0. is there. In order to determine whether SRR RU, 1 includes the name of a world heritage , the feature quantity generation unit 1041-1 is a world heritage among the keywords included in the question information stored in the processing information storage unit 1042-1. It matches with the part indicating the name of.
図10の上から第6行の特徴量FRU,h1は、対話履歴記憶部1046−1から読み出した音声認識情報であるSRRRU,1が肯定発話情報を含むかどうかを示す特徴量である。SRRRU,1が肯定発話情報を含む場合、FRU,h1の値が1であり、SRRRU,1が肯定発話情報を含まない場合、FRU,h1の値が0である。特徴量生成部1041−1は、SRRRU,1が肯定発話情報を含むかどうかを判断するために、処理情報記憶部1042−1に記憶されている肯定発話情報と、SRRRU,1に含まれる単語情報を照合する。特徴量FRU,h1は、処理継続判定部1044−1において処理を継続するか否かを判定するために用いられるが、適合性推定部1043−1において確率値Pを算出するためには用いられない。 The feature value F RU, h1 in the sixth line from the top of FIG. 10 is a feature value indicating whether or not SRR RU, 1 which is voice recognition information read from the conversation history storage unit 1046-1 includes positive utterance information. . When SRR RU, 1 includes positive utterance information , the value of F RU, h1 is 1, and when SRR RU, 1 does not include positive utterance information , the value of F RU, h1 is zero. Feature amount generating unit 1041-1, to SRR RU, 1 to determine whether it contains a positive speech information, a positive speech information stored in the processing information storage unit 1042-1, included in SRR RU, 1 Check word information. The feature amount F RU, h1 is used to determine whether or not to continue processing in the processing continuation determination unit 1044-1, but is used to calculate the probability value P in the suitability estimation unit 1043-1. I can't.
図10の上から第7行の特徴量FRU,h2は、RUエキスパート部104−1に遷移した後のターン数を示す特徴量である。ターン数とは、利用者による発話、対話制御装置1からの情報提示(提示情報の提示、応答情報の提示)の回数である。特徴量生成部1041−1は、対話履歴記憶部1046−1から対話履歴を読み出し、動作理解部103−1から起動信号を入力された時刻から後の読み出した対話履歴に含まれる質問情報、応答情報、肯定発話情報及び否定発話情報の総数を算出する。 The feature value F RU, h2 in the seventh line from the top in FIG. 10 is a feature value indicating the number of turns after transition to the RU expert unit 104-1. The number of turns is the number of times that the user speaks and presents information from the dialog control device 1 (presentation information presentation, response information presentation). The feature value generation unit 1041-1 reads the conversation history from the conversation history storage unit 1046-1, and the question information and response included in the read conversation history after the time when the activation signal is input from the operation understanding unit 103-1. The total number of information, positive utterance information, and negative utterance information is calculated.
図10の上から第8行の特徴量FRU,h3は、RUエキスパート部104−1に遷移した後の否定発話の回数を示す特徴量である。特徴量生成部1041−1は、対話履歴記憶部1046−1から対話履歴を読み出し、動作理解部103−1から起動信号を入力された時刻から後の読み出した対話履歴に含まれる否定発話情報の総数を算出する。
図10の上から第9行の特徴量FRU,h4は、特徴量FRU,h3を特徴量FRU,h2で除算した特徴量である。
The feature value F RU, h3 in the eighth line from the top in FIG. 10 is a feature value indicating the number of negative utterances after the transition to the RU expert unit 104-1. The feature value generation unit 1041-1 reads the conversation history from the conversation history storage unit 1046-1, and the negative utterance information included in the read conversation history after the time when the activation signal is input from the operation understanding unit 103-1. Calculate the total number.
The feature values F RU, h4 in the ninth line from the top in FIG. 10 are feature values obtained by dividing the feature values F RU, h3 by the feature values F RU, h2 .
図11は、本実施形態に係るIPエキスパート部104−3の特徴量情報の一例を示す表である。
図11の最左列から右側へ順に、関連があるエキスパートクラス(種類)、特徴量、内容を示す。図11の最左列においてエキスパートクラスがIPとは、IPエキスパート部104−3の特徴量生成部1041−3のみが生成する特徴量情報を示す。
FIG. 11 is a table showing an example of feature amount information of the IP expert unit 104-3 according to the present embodiment.
In the order from the leftmost column in FIG. 11 to the right side, the related expert classes (types), feature amounts, and contents are shown. The expert class IP in the leftmost column of FIG. 11 indicates feature amount information generated only by the feature amount generation unit 1041-3 of the IP expert unit 104-3.
図11の上から第2行の特徴量FIP,r10は、SRRIP,1に含まれる単語情報と照合するキーワード情報を含む質問情報が処理情報記憶部1042−3にあるか否かを示す特徴量である。このような質問情報がある場合、FIP,r10の値は1であり、このような質問情報がない場合、FIP,r10の値は0である。
図11の上から第3行の特徴量FIP,r11は、質問情報に含まれるキーワードと照合する単語であって、SRRIP,jに含まれる単語情報における単語数を、SRRIP,jに含まれる単語数で除算した値を、全ての認識結果jにわたる総和をとり、さらに認識結果の個数で除算した値である。この質問情報とは、処理情報記憶部1042−3に記憶されている質問情報である。これは、特徴量FIP,r12〜FIP,r16においても同様である。
The feature amount F IP, r10 in the second row from the top of FIG. 11 indicates whether or not the question information including keyword information to be matched with the word information included in the SRR IP, 1 is in the processing information storage unit 1042-3. It is a feature quantity. When there is such question information , the value of F IP, r10 is 1, and when there is no such question information , the value of F IP, r10 is 0.
Feature amount F IP, r11 from the top of the
図11の上から第4行の特徴量FIP,r12は、質問情報に含まれるキーワードkと照合する単語であって、SRRIP,allに含まれる単語情報における単語数の全認識候補内での個数を、認識結果の個数で除算した値であって、キーワードk間の最小値を示す。
図11の上から第5行の特徴量FIP,r13は、質問情報に含まれるキーワードkと照合する単語であって、SRRIP,allに含まれる単語情報における単語数の全認識候補内での個数を、認識結果の個数で除算した値であって、キーワードk間の最大値を示す。
The feature amount F IP, r12 in the fourth line from the top of FIG. 11 is a word to be matched with the keyword k included in the question information, and is included in all recognition candidates for the number of words in the word information included in the SRR IP, all. Is the value obtained by dividing the number of recognition by the number of recognition results, and indicates the minimum value between keywords k.
The feature amount F IP, r13 in the fifth line from the top of FIG. 11 is a word to be matched with the keyword k included in the question information, and is included in all the recognition candidates for the number of words in the word information included in the SRR IP, all. Is the value obtained by dividing the number of recognition by the number of recognition results, and indicates the maximum value between keywords k.
図11の上から第6行の特徴量FIP,r14は、質問情報に含まれるキーワードkに照合する単語であって第1候補SRRIP,1に含まれる単語情報における単語に対応する単語信頼度のキーワードk間の平均値である。
図11の上から第7行の特徴量FIP,r15は、質問情報に含まれるキーワードkに照合する単語であって第1候補SRRIP,1に含まれる単語情報における単語に対応する単語信頼度のキーワードk間の最小値である。
図11の上から第8行の特徴量FIP,r16は、質問情報に含まれるキーワードkに照合する単語であって第1候補SRRIP,1に含まれる単語情報における単語に対応する単語信頼度のキーワードk間の最大値である。
図11の上から第9行の特徴量FIP,h1は、IPエキスパート部104−3が既出(即ち対話処理装置1が動作開始以降、予め設定された処理を行ったことがある)であるか否かを示す特徴量である。IPエキスパート部104−3が既出である場合、特徴量FIP,h1は値1である。IPエキスパート部104−3が既出でない場合、特徴量FIP,h1は値0である。IPエキスパート部104−3が既出であるか否かを判断するために、特徴量生成部1041は対話履歴記憶部1046−3から読み出した対話履歴情報に質問情報等の発話パターン情報及び応答情報等の出力パターン情報が含まれているか否かを判断する。
The feature amount F IP, r14 in the sixth line from the top of FIG. 11 is a word to be matched with the keyword k included in the question information and corresponds to the word in the word information included in the first candidate SRR IP, 1. It is the average value between the keywords k.
The feature amount F IP, r15 in the seventh line from the top of FIG. 11 is a word to be matched with the keyword k included in the question information and corresponds to the word in the word information included in the first candidate SRR IP, 1. This is the minimum value between the degree k keywords.
The feature amount F IP, r16 in the eighth line from the top in FIG. 11 is a word to be matched with the keyword k included in the question information and corresponds to the word in the word information included in the first candidate SRR IP, 1. It is the maximum value between keywords k.
The feature amount F IP, h1 in the ninth line from the top of FIG. 11 is already published by the IP expert unit 104-3 (that is, the
図12は、本実施形態に係るQAエキスパート部104−2の特徴量情報の一例を示す表である。
図12の最左列から右側へ順に、関連があるエキスパートクラス(種類)、特徴量、内容を示す。図12の最左列においてエキスパートクラスがQAとは、QAエキスパート部104−2の特徴量生成部1041−2のみが生成する特徴量情報を示す。
FIG. 12 is a table showing an example of feature amount information of the QA expert unit 104-2 according to the present embodiment.
In the order from the leftmost column in FIG. 12 to the right side, the related expert classes (types), feature amounts, and contents are shown. In the leftmost column of FIG. 12, the expert class QA indicates feature amount information generated only by the feature amount generation unit 1041-2 of the QA expert unit 104-2.
図12の上から第2行の特徴量FQA,r10は、SRRQA,1に含まれる単語情報と照合するキーワード情報を含む質問情報が処理情報記憶部1042−2にあるか否かを示す特徴量である。このような質問情報がある場合、FQA,r10の値が1であり、このような質問情報がない場合、FQA,r10の値は0である。
図12の上から第3行の特徴量FQA,r11は、質問情報に含まれるキーワードと照合する単語であって、SRRQA,jに含まれる単語情報における単語数を、SRRQA,jに含まれる単語数で除算した値を、全ての認識結果jにわたる総和をとり、さらに認識結果の個数で除算した値である。この質問情報とは、処理情報記憶部1042−2に記憶されている質問情報である。これは、特徴量FQA,r12〜FQA,r16においても同様である。
The feature value F QA, r10 in the second row from the top in FIG. 12 indicates whether or not the question information including keyword information to be matched with the word information included in the SRR QA, 1 exists in the processing information storage unit 1042-2. It is a feature quantity. If there is such question information , the value of F QA, r10 is 1, and if there is no such question information , the value of F QA, r10 is 0.
Feature amount F QA, r11 of the third row from the top of FIG. 12 is a word to be matched with the keywords included in the question information, the number of words in the word information included in the SRR QA, j, SRR QA, the j The value obtained by dividing the number of included words is the sum of all the recognition results j, and further divided by the number of recognition results. This question information is the question information stored in the processing information storage unit 1042-2. The same applies to the feature amounts F QA, r12 to F QA, r16 .
図12の上から第4行の特徴量FQA,r12は、質問情報に含まれるキーワードkと照合する単語であって、SRRQA,allに含まれる単語情報における単語数の全認識候補内での個数を、認識結果の個数で除算した値であって、キーワードk間の最小値を示す。
図12の上から第5行の特徴量FQA,r13は、質問情報に含まれるキーワードkと照合する単語であって、SRRQA,allに含まれる単語情報における単語数の全認識候補内での個数を、認識結果の個数で除算した値であって、キーワードk間の最大値を示す。
The feature amount F QA, r12 in the fourth line from the top of FIG. 12 is a word to be checked against the keyword k included in the question information, and is included in all recognition candidates for the number of words in the word information included in the SRR QA, all. Is the value obtained by dividing the number of recognition by the number of recognition results, and indicates the minimum value between keywords k.
The feature amount F QA, r13 in the fifth line from the top of FIG. 12 is a word to be matched with the keyword k included in the question information, and is included in all recognition candidates for the number of words in the word information included in the SRR QA, all. Is the value obtained by dividing the number of recognition by the number of recognition results, and indicates the maximum value between keywords k.
図12の上から第6行の特徴量FQA,r14は、質問情報に含まれるキーワードkに照合する単語であって第1候補SRRQA,1に含まれる単語情報における単語に対応する単語信頼度のキーワードk間の平均値である。
図12の上から第7行の特徴量FQA,r15は、質問情報に含まれるキーワードkに照合する単語であって第1候補SRRQA,1に含まれる単語情報における単語に対応する単語信頼度のキーワードk間の最小値である。
図12の上から第8行の特徴量FQA,r16は、SRRIP,1に含まれる単語情報における単語が相槌情報であるか否かを示す特徴量である。SRRIP,1に含まれる単語情報における単語が相槌情報である場合、特徴量FQA,r16の値は1である。SRRIP,1に含まれる単語情報における単語が相槌情報ではない場合、特徴量FQA,r16の値は0である。特徴量生成部1041−2は、SRRIP,1に含まれる単語情報における単語が相槌情報であるかどうかを判断するために、処理情報記憶部1042−2に記憶されている相槌情報と、SRRIP,1に含まれる単語情報を照合する。
The feature amount F QA, r14 in the sixth line from the top of FIG. 12 is a word to be matched with the keyword k included in the question information, and the word trust corresponding to the word in the word information included in the first candidate SRR QA, 1. It is the average value between the keywords k.
The feature amount F QA, r15 in the seventh line from the top in FIG. 12 is a word to be matched with the keyword k included in the question information, and the word trust corresponding to the word in the word information included in the first candidate SRR QA, 1. This is the minimum value between the degree k keywords.
The feature amount F QA, r16 in the eighth line from the top of FIG. 12 is a feature amount indicating whether or not the word in the word information included in the SRR IP, 1 is the conflict information. When the word in the word information included in the SRR IP, 1 is the conflict information, the value of the feature value FQA, r16 is 1. When the word in the word information included in the SRR IP, 1 is not the conflict information, the value of the feature value FQA, r16 is 0. In order to determine whether the word in the word information included in the SRR IP, 1 is the conflict information, the feature value generation unit 1041-2 determines the conflict information stored in the processing information storage unit 1042-2 and the SRR. Word information contained in IP, 1 is collated.
図12の上から第9行の特徴量FQA,h1は、対話履歴記憶部1046−2から読み出した音声認識情報であるSRRQA,1が肯定発話情報を含むかどうかを示す特徴量である。SRRQA,1が肯定発話情報を含む場合、FQA,h1の値は1であり、SRRQA,1が肯定発話情報を含まない場合、FQA,h1の値は0である。特徴量生成部1041−2は、SRRQA,1が肯定発話情報を含むかどうかを判断するために、処理情報記憶部1042−2に記憶されている肯定発話情報と、SRRQA,1に含まれる単語情報を照合する。特徴量FQA,h1は、処理継続判定部1044−2において処理を継続するか否かを判定するために用いられるが、適合性推定部1043−2において確率値Pを算出するためには用いられない。 The feature amount F QA, h1 in the ninth line from the top in FIG. 12 is a feature amount indicating whether or not SRR QA, 1 which is voice recognition information read from the dialogue history storage unit 1046-2 includes positive utterance information. . When SRR QA, 1 includes positive utterance information , the value of F QA, h1 is 1, and when SRR QA, 1 does not include positive utterance information , the value of F QA, h1 is zero. Feature amount generating unit 1041-2, to SRR QA, 1 to determine whether it contains a positive speech information, a positive speech information stored in the processing information storage unit 1042-2, included in SRR QA, 1 Check word information. The feature amount F QA, h1 is used to determine whether or not to continue processing in the processing continuation determination unit 1044-2, but is used to calculate the probability value P in the suitability estimation unit 1043-2. I can't.
図12の上から第10行の特徴量FQA,h2は、QAエキスパート部104−2に遷移した後のターン数を示す特徴量である。ターン数とは、利用者が行う発話及び対話処理装置1からの応答の総数である。そこで、特徴量生成部1041−2は、対話履歴記憶部1046−2から対話履歴を読み出し、動作理解部103−2から起動信号を入力された時刻から後の読み出した対話履歴に含まれる質問情報、応答情報、肯定発話情報及び否定発話情報の総数を算出する。
The feature value F QA, h2 in the tenth row from the top in FIG. 12 is a feature value indicating the number of turns after transition to the QA expert unit 104-2. The number of turns is the total number of utterances and responses from the
図12の上から第11行の特徴量FQA,h3は、QAエキスパート部104−2に遷移(予め設定された処理を開始)した後の否定発話の回数を示す特徴量である。特徴量生成部1041−2は、対話履歴記憶部1046−2から対話履歴を読み出し、動作理解部103−2から起動信号を入力された時刻から後の読み出した対話履歴に含まれる否定発話情報の総数を算出する。
図12の上から第12行の特徴量FQA,h4は、特徴量FQA,h3を特徴量FQA,h2で除算した特徴量である。
The feature amount F QA, h3 in the eleventh line from the top in FIG. 12 is a feature amount indicating the number of negative utterances after transitioning to the QA expert unit 104-2 (starting a preset process). The feature value generation unit 1041-2 reads the conversation history from the conversation history storage unit 1046-2, and stores the negative utterance information included in the read conversation history after the time when the activation signal is input from the operation understanding unit 103-2. Calculate the total number.
The feature amount F QA, h4 in the twelfth line from the top of FIG. 12 is a feature amount obtained by dividing the feature amount F QA, h3 by the feature amount F QA, h2 .
上述の特徴量を、各エキスパート部104−1〜104−3の適合性推定部1043−1〜1043−3は、確率値の算出に、処理継続判定部1044−1〜1044−3は、エキスパート部の処理を継続するか否かの判断に用いる。
具体的には、RUエキスパート部104−1の適合性推定部1043−1は、特徴量FRU,r1−FRU,r13、FRU,h2−FRU,h4を、式(1)の特徴量F1−Fnに代入して確率値Pを算出する。処理継続判定部1044−1は、特徴量FRU,r1−FRU,r13、FRU,h1−FRU,h4を、特徴量ベクトルFの要素値として処理を継続するか否か判断する。
The suitability estimation units 1043-1 to 1043-3 of the expert units 104-1 to 104-3 are used to calculate the probability values, and the processing continuation determination units 1044-1 to 1044-3 are experts. This is used to determine whether or not to continue the process.
Specifically, the suitability estimation unit 1043-1 of the RU expert unit 104-1 calculates the feature quantities F RU, r1 −F RU, r13 , F RU, h2 −F RU, h4 as the feature of the formula (1). A probability value P is calculated by substituting it into the quantity F 1 -F n . The process continuation determination unit 1044-1 determines whether or not to continue the process using the feature values FRU , r1- FRU , r13 , FRU , h1- FRU , h4 as element values of the feature vector F.
具体的には、IPエキスパート部104−3の適合性推定部1043−3は、特徴量FIP,r1−FIP,r16、FIP,h1を、式(1)の特徴量F1−Fnに代入して確率値P(適合)を算出する。処理継続判定部1044−3は、特徴量FIP,r1−FIP,r16、FIP,h1を、特徴量ベクトルFの要素値として処理を継続するか否か判断する。
具体的には、QAエキスパート部104−2の適合性推定部1043−2は、特徴量FQA,r1−FQA,r16、FQA,h2−FQA,h4を、式(1)の特徴量F1−Fnに代入して確率値Pを算出する。処理継続判定部1044−2は、特徴量FQA,r1−FQA,r16、FQA,h1−FQA,h4を、特徴量ベクトルFの要素値として処理を継続するか否か判断する。
Specifically, the suitability estimation unit 1043-3 of the IP expert unit 104-3 converts the feature amount F IP, r1 −F IP, r16 , F IP, h1 into the feature amount F 1 −F of Expression (1). Substituting for n , the probability value P (conformity) is calculated. The process continuation determination unit 1044-3 determines whether or not to continue the process using the feature values F IP, r1 −F IP, r16 , F IP, h1 as element values of the feature value vector F.
Specifically, the suitability estimation unit 1043-2 of the QA expert unit 104-2 calculates the feature amounts F QA, r1 -F QA, r16 , F QA, h2 -F QA, h4 as the feature of the formula (1). A probability value P is calculated by substituting it into the quantity F 1 -F n . The process continuation determination unit 1044-2 determines whether or not to continue the process using the feature values FQA , r1- FQA , r16 , FQA , h1- FQA , h4 as element values of the feature value vector F.
なお、上述の特徴量を全て確率値の算出又は、エキスパート部の処理を継続するか否かの判断に用いると、演算量が過大になるうえ、各特徴量に乗算する係数を事前学習する際に過学習(overfitting)が生じ、却って推定精度や判断精度が低下するおそれがある。そこで、上述の特徴量のうち確率値、又は処理継続・非継続の判断に寄与する一部の特徴量のみを用い、確率値、又は処理継続・非継続の判断に寄与しないものを用いなくともよい。次に、その一部の特徴量情報の例について説明する。 Note that if all the above-mentioned feature quantities are used for calculating probability values or determining whether to continue the processing of the expert part, the amount of computation becomes excessive and when the coefficients to be multiplied with each feature quantity are pre-learned In other words, overfitting occurs, and there is a possibility that the estimation accuracy and the determination accuracy are lowered. Therefore, it is possible to use only the probability value or a part of the feature amount that contributes to the process continuation / non-continuation judgment among the above-mentioned feature quantities and not use the probability value or the one that does not contribute to the process continuation / non-continuation judgment Good. Next, an example of part of the feature amount information will be described.
図13は、本実施形態に係るRUエキスパート部104−1が用いる特徴量情報の一例を示す表である。
図13の最上行は、最左列から右側へ順に、特徴量、適合性推定、継続・非継続判定を示す。図13の最左列の第2行以降の行は、RUエキスパート部104−1が用いる特徴量の候補としてFRU,r1,...FRU,r13,FRU,h1,...,FRU,h4,Faを示す。ここで、特徴量Faとは、(具体的には動作処理部1045が)予め設定した処理を行わないエキスパート部104が推定した適合性情報(確率値P)の最大値を示す。
図13において、−印は該当する情報がないことを示す。図13の左から第2列において、○は適合性推定に用いる特徴量であることを示す。図13の左から第3列において、○は継続・非継続判断に用いる特徴量であることを示す。
即ち、図13は、適合性推定部1043−1は、適合性情報(確率値P)を算出する際に特徴量FRU,r2,...FRU,r6,FRU,r8,FRU,r13を用いることを示す。従って、特徴量生成部1041は、これらの特徴量情報を生成し、生成した特徴量情報を適合性推定部1043に出力する。
また、図13は、処理継続判定部1044−1は、処理の継続・非継続を判定する際に特徴量FRU,r1,FRU,r2,FRU,r4,FRU,r5,FRU,h1,FRU,h2,Faを用いることを示す。従って、特徴量生成部1041−1は、特徴量FRU,r1,FRU,r2,FRU,r4,FRU,r5,FRU,h1,FRU,h2を表す特徴量情報を生成し、生成した特徴量情報を処理継続判定部1044−1に出力する。
FIG. 13 is a table showing an example of feature amount information used by the RU expert unit 104-1 according to the present embodiment.
The top row in FIG. 13 shows the feature amount, suitability estimation, and continuation / non-continuation determination in order from the leftmost column to the right side. The second and subsequent rows in the leftmost column in FIG. 13 are FRU, r1 , ... As feature quantity candidates used by the RU expert unit 104-1. . . FRU, r13 , FRU, h1 ,. . . Shows the F RU, h4, F a. Here, the feature amount F a, the maximum value of (
In FIG. 13,-indicates that there is no corresponding information. In the second column from the left in FIG. 13, ◯ indicates that the feature is used for fitness estimation. In the third column from the left in FIG. 13, ◯ indicates that the feature amount is used for continuation / non-continuation determination.
That is, FIG. 13 shows that the suitability estimation unit 1043-1 calculates the feature values F RU, r2,. . . FRU, r6 , FRU, r8 , FRU, r13 are used. Therefore, the feature
Further, FIG. 13, the processing continuation determination unit 1044-1, the feature amount F RU in determining the continuation or non-continuation of the process, r1, F RU, r2, F RU, r4, F RU, r5, F RU shows the use of h1, F RU, h2, F a. Therefore, the feature quantity generation unit 1041-1 generates feature quantity information representing the feature quantities FRU , r1 , FRU , r2 , FRU , r4 , FRU , r5 , FRU, h1 , FRU, h2. The generated feature amount information is output to the processing continuation determination unit 1044-1.
図14は、本実施形態に係るIPエキスパート部104−3が用いる特徴量情報の一例を示す表である。
図14の最上行は、最左列から右側へ順に、特徴量、適合性推定、継続・非継続判定を示す。図14の最左列の第2行以降の行は、IPエキスパート部104−3が用いる特徴量の候補としてFIP,r1,...FIP,r16,FIP,h1,Faを示す。
図14において、−印は該当する情報がないことを示す。図14の左から第2列において、○は適合性推定に用いる特徴量であることを示す。図14の左から第3列において、○は継続非継続判定に用いる特徴量であることを示す。
即ち、図14は、適合性推定部1043−3は、適合性情報(確率値P)を算出する際に特徴量FIP,r2,FIP,r4,FIP,r6,...FIP,r10,FIP,r12,...FIP,r14を用いることを示す。従って、特徴量生成部1041−1は、これらの特徴量情報を生成し、生成した特徴量情報を適合性推定部1043−3に出力する。
また、図14は、処理継続判定部1044−3は、処理の継続・非継続を判定する際に特徴量FIP,r1,...FIP,r8,Faを用いることを示す。従って、特徴量生成部1041−3は、特徴量FIP,r1,...FIP,r8を表す特徴量情報を生成し、生成した特徴量情報を処理継続判定部1044−3に出力する。
FIG. 14 is a table showing an example of feature amount information used by the IP expert unit 104-3 according to the present embodiment.
The top row in FIG. 14 shows feature amounts, suitability estimation, and continuation / non-continuation determination in order from the leftmost column to the right side. The second and subsequent rows in the leftmost column of FIG. 14 are F IP, r1 ,... As feature amount candidates used by the IP expert unit 104-3. . . Shows the F IP, r16, F IP, h1, F a.
In FIG. 14, “-” indicates that there is no corresponding information. In the second column from the left in FIG. 14, ◯ indicates a feature amount used for fitness estimation. In the third column from the left in FIG. 14, ◯ indicates a feature amount used for continuous / non-continuous determination.
That is, FIG. 14 is compatible estimator 1043-3 are compatible information feature amount F IP when calculating (probability value P), r2, F IP, r4, F IP, r6,. . . F IP, r10 , F IP, r12,. . . F IP, r14 is used. Therefore, the feature amount generation unit 1041-1 generates the feature amount information and outputs the generated feature amount information to the suitability estimation unit 1043-3.
Further, FIG. 14 illustrates that the processing continuation determination unit 1044-3 determines the continuation / non-continuation of processing when the feature amounts F IP, r1 ,. . . Indicates that the use of F IP, r8, F a. Therefore, the feature quantity generation unit 1041-3 performs the feature quantities F IP, r1 ,. . . FIP, the feature amount information representing r8 is generated, and the generated feature amount information is output to the processing continuation determination unit 1044-3.
図15は、本実施形態に係るQAエキスパート部104−2が用いる特徴量情報の一例を示す表である。
図15の最上行は、最左列から右側へ順に、特徴量、適合性推定、継続・非継続判定を示す。図15の最左列の第2行以降の行は、QAエキスパート部104−2が用いる特徴量の候補としてFQA,r1,...FQA,r16,FQA,h1,...FQA,h4,Faを示す。
図15において、−印は該当する情報がないことを示す。図15の左から第2列において、○は適合性推定に用いる特徴量であることを示す。図15の左から第3列において、○は継続・非継続判定に用いる特徴量であることを示す。
即ち、図15は、適合性推定部1043−2は、適合性情報(確率値P)を算出する際に特徴量FQA,r2,...FQA,r4,FQA,r6,...FQA,r8,FQA,r10,FQA,r13,...FQA,r15を用いることを示す。従って、特徴量生成部1041−2は、これらの特徴量情報を生成し、生成した特徴量情報を適合性推定部1043−2に出力する。
また、図15は、処理継続判定部1044−2は、処理の継続・非継続を判定する際に特徴量FQA,r1,...FQA,r6,FQA,h1,Faを用いることを示す。従って、特徴量生成部1041−2は、特徴量FQA,r1,...FQA,r6,FQA,h1を表す特徴量情報を生成し、生成した特徴量情報を処理継続判定部1044−2に出力する。
FIG. 15 is a table showing an example of feature amount information used by the QA expert unit 104-2 according to the present embodiment.
The top row in FIG. 15 shows feature amounts, suitability estimation, and continuation / non-continuation determination in order from the leftmost column to the right side. The second and subsequent rows in the leftmost column of FIG. 15 are F QA, r 1 , ... As feature quantity candidates used by the QA expert unit 104-2. . . F QA, r16 , F QA, h 1 ,. . . Shows the F QA, h4, F a.
In FIG. 15, “-” indicates that there is no corresponding information. In the second column from the left in FIG. 15, ◯ indicates a feature amount used for fitness estimation. In the third column from the left in FIG. 15, ◯ indicates a feature amount used for continuation / non-continuation determination.
That is, FIG. 15 shows that the suitability estimation unit 1043-2 calculates the feature amounts F QA, r2 ,. . . F QA, r4 , F QA, r6,. . . FQA, r8 , FQA, r10 , FQA, r13,. . . It indicates that FQA, r15 is used. Therefore, the feature quantity generation unit 1041-2 generates the feature quantity information, and outputs the generated feature quantity information to the suitability estimation unit 1043-2.
FIG. 15 illustrates that the process continuation determination unit 1044-2 determines the feature amount F QA, r1 ,. . . Indicates that the use of F QA, r6, F QA, h1, F a. Therefore, the feature quantity generation unit 1041-2 is configured to use the feature quantity F QA, r1 ,. . . Feature amount information representing F QA, r6 , F QA, h1 is generated, and the generated feature amount information is output to the processing continuation determination unit 1044-2.
なお、本実施形態では、動作理解部103は、予め設定された処理を行わないエキスパート部104から入力され確率値Pのうち最大値を特徴量Faとして選択し、選択した特徴量Faを予め設定された処理を行うエキスパート部104の処理継続判定部1044に出力する。処理継続判定部1044は、動作理解部103から特徴量Faから入力されるようにする。これにより、処理継続判定部1044は音声認識結果に対するエキスパート部の適合性を考慮して、当該エキスパート部104が実行している処理の継続・非継続の判断を行うことができる。
In the present embodiment, the
なお、適合性推定や継続・非継続判定に用いる特徴量を選択するために、本実施形態について事前検証を行っておく。この検証では、特徴量の候補の中から、特徴量を1個除外して各エキスパート部が正しく選択されるかを適合性推定、処理の継続・非継続の判断の各々について調べる。除外対象の特徴量を変更して検証を繰り返す。そして、除外対象の特徴量毎について性能の指標値であるF値を求めた。次に、F値が最も高くなる除外対象の特徴量を特徴量の候補から削除して検証を繰り返す。但し、特徴量の候補の中から、どの特徴量を除外してもF値がこれ以上高くならなったときに検証を終了する。検証が終了して残った特徴量の候補の一例が、図13〜15に示す特徴量である。この残った特徴量の候補が、適合性推定又は継続・非継続判定に用いる特徴量として選択される。 Note that this embodiment is pre-verified in order to select feature quantities used for suitability estimation and continuation / non-continuation determination. In this verification, one of the feature quantities is excluded from the feature quantity candidates, and whether each expert part is correctly selected is examined for each of the suitability estimation and the continuation / non-continuation judgment of the process. The verification is repeated by changing the feature quantity to be excluded. Then, an F value that is an index value of performance is obtained for each feature quantity to be excluded. Next, the feature quantity to be excluded having the highest F value is deleted from the feature quantity candidates, and the verification is repeated. However, the verification is terminated when the F value becomes higher than any feature quantity from among the feature quantity candidates. An example of feature quantity candidates remaining after the verification is the feature quantity shown in FIGS. The remaining feature quantity candidates are selected as feature quantities used for suitability estimation or continuation / non-continuation determination.
F値とは、適合率(precision)と再現率(recall)の調和平均、つまり適合率と再現率の積を、適合率と再現率の相加平均で除算した値である。適合率とは選択された情報の数の選択対象の情報の数に対する割合であり、本実施形態では、エキスパート部104毎の選択された回数の試行回数に対する割合である。再現率とは選択された情報の数の正解情報の数に対する割合であり、本実施形態では、エキスパート部104毎の選択された回数の正解として選択されるべき試行回数に対する割合である。一般に適合率が増加すると再現率が低下する関係にあるが、F値が高いほどエキスパート部104を選択する精度が高いことを表す。 The F value is a harmonic average of a precision and a recall, that is, a value obtained by dividing the product of the precision and the recall by the arithmetic average of the precision and the recall. The relevance ratio is a ratio of the number of selected information to the number of pieces of information to be selected, and in this embodiment, is a ratio of the selected number of times for each expert unit 104 to the number of trials. The recall is the ratio of the number of selected information to the number of correct information, and in this embodiment, the ratio is the ratio of the number of times selected for each expert unit 104 to the number of trials to be selected as the correct answer. In general, there is a relationship in which the recall rate decreases as the matching rate increases, but the higher the F value, the higher the accuracy of selecting the expert unit 104.
なお、図1に示す対話処理装置1は、IPエキスパート部104−3を1個備えるが、本実施形態では、これには限られない。本実施形態では対話処理装置1は、各々異なる質問情報、応答情報、提示情報のセットを記憶しているIPエキスパート部104−3を複数個備えてもよい。
1 includes one IP expert unit 104-3, but the present embodiment is not limited to this. In the present embodiment, the
なお、図1に示す対話処理装置1では、動作理解部103が、現在処理を行っているエキスパート部から処理を継続するか否かを示す処理継続信号を入力され、現在処理を行っていないエキスパート部から適合度情報を入力される。各エキスパート部は音声認識情報に基づいて特徴量情報を生成する。現在予め設定された処理を行っているエキスパート部は、生成した特徴量情報に基づき処理継続信号を生成する。現在予め設定された処理を行っていないエキスパート部は、生成した特徴量情報に基づき適合度情報を生成する。
しかし、本実施形態ではこれには限られず、動作理解部103は、各エキスパート部104−1〜104−3から音声認識情報に基づいて生成した特徴量情報を入力されるようにしてもよい。このとき、動作理解部103は、処理継続判定部1044と同様に現在予め設定された処理を行っているエキスパート部から入力された特徴量情報に基づき処理継続信号を生成し、適合性推定部1043と同様に現在予め設定された処理を行っていないエキスパート部から入力された特徴量情報に基づき適合性情報を生成する。この場合、各エキスパート部104−1〜104−3は、適合性推定部1043と処理継続判定部1044を省略してもよい。
In the
However, the present embodiment is not limited to this, and the
次に、対話処理装置1が出力する発話と利用者の発話からなる対話の一例について説明する。
図16は、本実施形態に係る対話処理装置1による対話の一例を示す表である。
図16は、最左列から右側へ順に、発話主体、発話(動作)、選択エキスパートを示す。選択エキスパートとは、予め設定された処理を行うエキスパート部104として動作理解部103が選択したエキスパート部104である。
図16の第2行は、対話処理装置1が、利用者に対して「こんにちは、イタリア、ギリシャと他の地域の有名な世界遺産についての質問にお答えします。また、いくつかの世界遺産について詳しく説明できます。何でも聞いてみて下さい。」という音声を提示することを示す。これにより、対話処理装置1は利用者に対して問合せを促す。図16の第2行は、この選択エキスパートがQAエキスパート部104−1であることを示す。
図16の第3行は、対話処理装置1が上述の音声を受けて利用者が発話した「イタリアの世界遺産のリストを見せて下さい。」を示す音声を認識し、対話処理装置1はイタリアの世界遺産のリストを画像で表示することを示す。図16の第3行は、この選択エキスパートがQAエキスパート部104−1であることを示す。
Next, an example of a dialog composed of the utterance output from the
FIG. 16 is a table showing an example of dialogue by the
FIG. 16 shows an utterance subject, an utterance (motion), and a selection expert in order from the leftmost column to the right side. The selected expert is an expert unit 104 selected by the
The second row of FIG. 16, the
The third line in FIG. 16 recognizes the voice indicating that the
図16の第4行は、対話処理装置1が、利用者に対して「イタリアの世界遺産を地域別に紹介します。どの地域のリストを見たいかおっしゃって下さい。」という音声を提示することを示す。これにより、対話処理装置1は利用者に対して紹介する地域について音声で指示することを促す。図16の第4行は、この選択エキスパートがQAエキスパート部104−1であることを示す。
図16の第5行は、対話処理装置1が上述の音声を受けて利用者が発話した「他に何が聞けますか?」、を示す音声を認識し、対話処理装置1はイタリアの世界遺産のリストを画像で表示することを示す。図16の第5行は、この選択エキスパートがQAエキスパート部104−1であることを示す。
The fourth line in FIG. 16 is that the
The fifth line of FIG. 16 recognizes the voice indicating that “what else can you hear?” Spoken by the user when the
図16の第6行は、対話処理装置1が利用者に対して「イタリア、ギリシャの世界遺産と、他の著名な世界遺産に関して質問にお答えします。」という音声を提示することを示し、世界遺産のリストを画像情報として提示する。
これにより、対話処理装置1は世界遺産に関する質問を利用者に対して促す。図16の第6行は、この選択エキスパートがQAエキスパート部104−1であることを示す。
The sixth line in FIG. 16 indicates that the
As a result, the
図16の第7行は、対話処理装置1が、利用者が発話した「グリニッジについて教えてください。」という音声を認識し、RUエキスパート部104−1が処理を開始したことを示す。
図16の第8行は、対話処理装置1が「海事都市グリニッジの説明ですね?」という音声を提示し、利用者に認識した情報の確認を促す。図16の第8行は、この処理に係るエキスパート部がRUエキスパート部104−1であることを示す。
図16の第9行は、対話処理装置1が、利用者が発話した「はい」という音声を認識し、認識した情報が肯定応答情報であることを認識する。図16の第9行は、この選択エキスパートがRUエキスパート部104−1であることを示す。
The seventh line in FIG. 16 indicates that the
The eighth line of FIG. 16 presents a voice saying “is it a description of maritime city Greenwich?” Prompting the user to confirm the recognized information. The eighth line in FIG. 16 indicates that the expert unit related to this process is the RU expert unit 104-1.
The ninth line of FIG. 16 recognizes that the
図16の第10行は、対話処理装置1が「はい、海事都市グリニッジの案内をします。グリニッジ標準時の基準となる都市として由緒ある港町です。」という音声を提示し、提示する情報の概要を示す。図16の第10行は、この選択エキスパートがIPエキスパート部104−3であることを示す。
図16の第11行は、対話処理装置1が、利用者が発話した「グリニッジ標準時ってなんですか?」という音声を認識することを示す。図16の第11行は、この選択エキスパートが104−3であることを示す。
図16の第12行は、対話処理装置1が「グリニッジ天文台での平均太陽時です。」という音声を、利用者の発話に対する応答情報として提示することを示す。図16の第12行は、この選択エキスパートがIPエキスパート部104−3であることを示す。
The 10th line in FIG. 16 is an outline of information to be presented by the
The eleventh line in FIG. 16 indicates that the
The twelfth line of FIG. 16 indicates that the
次に、本実施形態に係る対話処理装置1の検証結果として選択エキスパートの選択精度について説明する。なお、検証において、IPエキスパート部104−3を8個備える対話処理装置1を用いた。
図17は、本実施形態に係る対話処理装置1が選択したエキスパート部104の回数の一例を示す表である。
図17の各列は、対話処理装置1が選択したエキスパート部104(選択エキスパート)を示す。図17の各行は、正解として既知のエキスパート部104(正解エキスパート)を示す。選択エキスパート、正解エキスパートの種類は、それぞれRUエキスパート部104−1を1種類(RU)、QAエキスパート部104−2を1種類(QA)、IPエキスパート部104−3を8種類(IP1〜IP8)、計10種類である。IP1〜IP8は、各々異なる処理情報(質問情報、応答情報、提示情報)を記憶し出力する。 図17の第3〜12行、第3〜12列の各欄は、その行の正解エキスパートに対してその列の選択エキスパートと選択した回数を示す。図17の第13列は、全選択エキスパートにわたる正解エキスパート毎の回数の合計値(試行回数)を示す。図17の第13行は、全正解エキスパートにわたる選択エキスパート毎の選択された回数の合計値を示す。従って、図17の第3〜12行の各対角要素は、エキスパート部毎の正しく選択された回数を示す。
Next, the selection accuracy of the selection expert will be described as a verification result of the
FIG. 17 is a table showing an example of the number of times of the expert unit 104 selected by the
Each column of FIG. 17 shows the expert unit 104 (selected expert) selected by the
図17が示すように、RUについては、234回中162回が正解である。QAについては、1025回中941回が正解である。IP1については、12回中8回が正解である。IP2については、22回中18回が正解である。IP3については、72回中52回が正解である。IP4については、80回中61回が正解である。IP5については、29回中26回が正解である。IP6については、35回中24回が正解である。IP7については、57回中43回が正解である。IP8については、17回中12回が正解である。従って、全エキスパート部104にわたる正答率は85.09%である。 As shown in FIG. 17, for RU, 162 out of 234 are correct. For QA, 941 out of 1025 are correct. For IP1, 8 out of 12 are correct. For IP2, 18 out of 22 are correct. For IP3, 52 out of 72 are correct. For IP4, 61 out of 80 are correct. For IP5, 26 out of 29 are correct answers. For IP6, 24 out of 35 are correct. For IP7, 43 out of 57 are correct. For IP8, 12 out of 17 are correct. Therefore, the correct answer rate over all expert sections 104 is 85.09%.
比較として、従来技術を用いた場合のエキスパート部104の選択精度について説明する。選択対象となるエキスパート部104の個数及び種類は、上述と同様である。ここでは、エキスパート部104毎に異なる言語モデルを用いて音声認識してスコア値を算出する。また、直前のエキスパート部と同一のエキスパート部について予め定めた値を算出したスコア値に加算して、直前のエキスパート部を優先して選択する(参考文献: B. Lin, H. Wang, and L. Lee. A distributed architecture for cooperative spoken dialogue agents with coherent dialogue state and history. n Proc. ASRU−99, 1999)。 As a comparison, the selection accuracy of the expert unit 104 when using the conventional technique will be described. The number and type of expert units 104 to be selected are the same as described above. Here, the score value is calculated by performing speech recognition using different language models for each expert unit 104. In addition, a value determined in advance for the same expert part as the immediately preceding expert part is added to the calculated score value, and the immediately preceding expert part is preferentially selected (references: B. Lin, H. Wang, and L). Lee, A distributed architecture for cooperative spoken dialog agents with coherent dialogue state and history, Proc. ASRU-99, 1999.
図18は、従来技術によって選択したエキスパート部104の回数の一例を示す表である。
図18において、用いたエキスパート部の個数及び種類、試行回数、各行各列の配列は、図17が示す結果と同様である。
図18によれば、RUについては、234回中128回が正解である。QAについては、1025回中951回が正解である。IP1については、12回中4回が正解である。IP2については、22回中7回が正解である。IP3については、72回中21回が正解である。IP4については、80回中19回が正解である。IP5については、29回中12回が正解である。IP6については、35回中9回が正解である。IP7については、57回中15回が正解である。IP8については、17回中1回が正解である。従って、全エキスパート部104にわたる正答率は73.72%である。これより本実施形態では全エキスパート部104にわたる正答率が11.37%向上している。
FIG. 18 is a table showing an example of the number of times of the expert unit 104 selected by the prior art.
In FIG. 18, the number and type of expert units used, the number of trials, and the arrangement of each row and column are the same as the results shown in FIG.
According to FIG. 18, about RU, 128 out of 234 are correct. For QA, 951 out of 1025 are correct. For IP1, 4 out of 12 are correct. For IP2, 7 out of 22 are correct. For IP3, 21 out of 72 are correct. For IP4, 19 out of 80 are correct. For IP5, 12 out of 29 are correct. For IP6, 9 out of 35 are correct. For IP7, 15 out of 57 are correct. For IP8, 1 out of 17 is correct. Therefore, the correct answer rate over all expert sections 104 is 73.72%. Thus, in the present embodiment, the correct answer rate over all expert sections 104 is improved by 11.37%.
このように、本実施形態では、予め定めた処理を行う機能を有する複数のエキスパート部を備え、入力した音声を認識し、複数のエキスパート部のうち前記処理を行うエキスパート部が、前記認識した認識結果に基づいて前記処理を継続するか否かを判定し、前記処理を行うエキスパート部が前記処理を継続しないと判断した場合、前記複数のエキスパート部のうち前記処理を行わないエキスパート部の各々が、前記認識した認識結果に基づいて適合性を推定し、前記推定した適合性に基づいて前記処理を行うエキスパート部を選択する。これにより、処理を行っているエキスパート部の処理を継続するか否か考慮されるため、利用者の発話に適したエキスパート部を選択することができる。 As described above, in the present embodiment, a plurality of expert units having a function of performing a predetermined process are provided, the input speech is recognized, and the expert unit that performs the process among the plurality of expert units recognizes the recognized recognition. If it is determined whether to continue the process based on the result and the expert unit that performs the process determines not to continue the process, each of the expert units that do not perform the process among the plurality of expert units The fitness is estimated based on the recognized recognition result, and the expert unit that performs the processing is selected based on the estimated fitness. Thereby, since it is considered whether or not to continue the processing of the expert unit that is processing, it is possible to select the expert unit suitable for the user's utterance.
また、本実施形態では、さらに推定した適合性に基づいて前記処理を行うエキスパート部の処理を継続するか否かを判定する。これにより、本実施形態に係る対話処理装置は現在処理を行っていないエキスパート部が利用者の発話に適したエキスパート部である可能性を考慮して、利用者の発話に適したエキスパート部を選択することができる。 Further, in the present embodiment, it is determined whether or not to continue the process of the expert unit that performs the process based on the estimated suitability. As a result, the dialogue processing apparatus according to the present embodiment selects the expert unit suitable for the user's utterance in consideration of the possibility that the expert unit that is not currently processing is an expert unit suitable for the user's utterance. can do.
また、本実施形態では、前記複数エキスパート部の各々は、利用者が行う質問内容を表す発話情報と、前記質問内容に対する出力情報を対応付けて記憶した処理情報記憶部を備え、前記処理は、前記音声認識部が認識した認識結果に対応する発話情報の一部が照合する発話情報に対応する出力情報を選択する。これにより、さらに利用者の発話に適した出力情報を出力するエキスパート部を選択することができる。 Further, in the present embodiment, each of the plurality of expert units includes a processing information storage unit that stores therein utterance information representing the content of a question performed by a user and output information corresponding to the question content, and the processing includes: Output information corresponding to the utterance information to be compared with a part of the utterance information corresponding to the recognition result recognized by the voice recognition unit is selected. Thereby, the expert part which outputs further the output information suitable for a user's speech can be selected.
また、本実施形態では、前記複数のエキスパート部において前記処理情報記憶部に記憶された前記発話情報及び出力情報が各々異なることを特徴とする。これにより、さらに利用者の発話と、発話に対する応答が異なるエキスパート部の中から、利用者の発話に適したエキスパート部を選択することができる。 In the present embodiment, the utterance information and the output information stored in the processing information storage unit in the plurality of expert units are different from each other. Thereby, the expert part suitable for a user's utterance can be selected from the expert part from which a user's utterance and the response with respect to an utterance differ further.
なお、上述した実施形態における対話処理装置1の一部、例えば、特徴量算出部1021、音素決定部1023、単語決定部1026、動作理解部103、特徴量生成部1041、適合性推定部1043、処理継続判定部1044、動作処理部1045、タスク計画部106、及び情報出力部107をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。
Note that a part of the
また、対話処理装置1が備えるエキスパート部104のうち少なくとも1つは、対話処理装置1が備える他の機能部、例えば、特徴量算出部1021、音素決定部1023、単語決定部1026、動作理解部103、タスク計画部106、及び情報出力部107を実現する、別個のコンピュータシステムを備え、そのコンピュータシステムを用いて実現されるものであっても良い。その場合、対話処理装置1を実現するプログラムとは別個のプログラムを用いて実現する。
対話処理装置1が備える他の機能部、例えば、特徴量算出部1021、音素決定部1023、単語決定部1026、動作理解部103タスク計画部106、及び情報出力部107を実現する、別個のコンピュータシステムを備え、そのコンピュータシステムを用いて実現されるものであってもよい。その場合、対話処理装置1を実現するプログラムとは別個のプログラムを用いて実現する。
In addition, at least one of the expert units 104 included in the
A separate computer that implements other functional units included in the
また、対話処理装置1が備えるエキスパート部104のうち少なくとも1つは、音声認識部を備え、その音声認識部が備える音響モデル部はエキスパート部104毎に異なる音響モデルを記憶しても良い。また、その音声認識部が備える言語モデル部はエキスパート部104毎に異なる言語モデルを記憶しても良い。その場合、対話処理装置1は、音声入力部101は動作理解部103に音響信号を出力する。動作理解部103は、音声入力部101から入力された音響信号を音声認識情報の代わりに、音声認識部を備えるエキスパート部104に出力する。そのエキスパート部104は、動作理解部103から入力された音響信号に基づいて音声認識情報を生成するようにする。対話処理装置1が備えるエキスパート部の全てが音声認識部を備える場合、音声認識部102を省略しても良い。
Further, at least one of the expert units 104 included in the
なお、ここでいう「コンピュータシステム」とは、対話処理装置1に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における対話処理装置1の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。対話処理装置1の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
Here, the “computer system” is a computer system built in the
Further, a part or all of the
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。 As described above, the embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to the above, and various design changes and the like can be made without departing from the scope of the present invention. It is possible to
1…対話処理装置、101…音声入力部、102…音声認識部、
1021…特徴量算出部、1022…音響モデル記憶部、1023…音素決定部、
1024…単語情報記憶部、1025…言語モデル記憶部、1026…単語決定部、
103…動作理解部、104(104−1〜104−3)エキスパート部、
104−1…RUエキスパート部、104−2…QAエキスパート部、
104−3…IPエキスパート部、
1041(1041−1〜1041−3)…特徴量生成部、
1042(1042−1〜1042−3)…処理情報記憶部、
1043(1043−1〜1043−3)…適合性推定部、
1044(1044−1〜1044−3)…処理継続判定部、
1045(1045−1〜1045−3)…動作処理部、
1046(1046−1〜1046−3)…対話履歴記憶部、
106…タスク計画部、107…情報出力部、108…情報提示部
DESCRIPTION OF
1021 ... Feature amount calculation unit, 1022 ... Acoustic model storage unit, 1023 ... Phoneme determination unit,
1024 ... Word information storage unit, 1025 ... Language model storage unit, 1026 ... Word determination unit,
103 ... operation understanding unit, 104 (104-1 to 104-3) expert unit,
104-1 ... RU expert part, 104-2 ... QA expert part,
104-3 ... IP Expert Department,
1041 (1041-1 to 1041-3) ... feature quantity generation unit,
1042 (1042-1 to 1042-3) ... processing information storage unit,
1043 (1043-1 to 1043-3) ... suitability estimation unit,
1044 (1044-1 to 1044-3) ... processing continuation determination unit,
1045 (1045-1 to 1045-3) ... operation processing unit,
1046 (1046-1 to 1046-3) ... dialogue history storage unit,
106 ... Task planning part, 107 ... Information output part, 108 ... Information presentation part
Claims (7)
前記音声入力部が入力した音声を認識する音声認識部と、
予め定めた処理を行うエキスパート部であって、前記処理を行う場合、前記音声認識部が認識した認識結果に基づいて前記処理を継続するか否かを判定し、前記処理を行わない場合、前記音声認識部が認識した認識結果に基づいて適合性を推定する複数のエキスパート部と、
前記複数のエキスパート部のうち、前記処理を行う場合、前記処理を継続しないと判断したエキスパート部があるとき、前記複数のエキスパート部のうち前記処理を行わない場合に推定した適合性に基づいて前記処理を行うエキスパート部を選択する動作理解部と、
を備えることを特徴とする対話処理装置。 A voice input unit for inputting voice;
A voice recognition unit for recognizing voice input by the voice input unit;
An expert unit that performs a predetermined process; when performing the process, it is determined whether to continue the process based on a recognition result recognized by the voice recognition unit; and when the process is not performed, A plurality of expert units for estimating suitability based on recognition results recognized by the voice recognition unit;
Of the plurality of expert units, when performing the process, when there is an expert unit that is determined not to continue the process, based on the suitability estimated when the process is not performed among the plurality of expert units. An operation understanding unit that selects an expert unit to perform processing;
A dialogue processing apparatus comprising:
前記音声入力部が入力した音声を認識する音声認識部と、
予め定めた処理を行う機能を備える複数のエキスパート部のうち前記処理を行うエキスパート部について、前記音声認識部が認識した認識結果に基づいて前記処理を継続するか否かを判定し、
前記処理を継続しないと判断した場合、前記複数のエキスパート部のうち前記処理を行わないエキスパート部の各々について、前記音声認識部が認識した認識結果に基づいて適合性を推定し、前記推定した適合性に基づいて前記処理を行うエキスパート部を選択する動作理解部と、
を備えることを特徴とする対話処理装置。 A voice input unit for inputting voice;
A voice recognition unit for recognizing voice input by the voice input unit;
For an expert unit that performs the process among a plurality of expert units having a function of performing a predetermined process, it is determined whether to continue the process based on a recognition result recognized by the voice recognition unit,
When it is determined that the processing is not continued, for each of the expert units that do not perform the processing among the plurality of expert units, the compatibility is estimated based on the recognition result recognized by the voice recognition unit, and the estimated matching An action understanding unit that selects an expert unit for performing the processing based on the characteristics;
A dialogue processing apparatus comprising:
を特徴とする請求項1又は2に記載の対話処理装置。 The dialogue processing apparatus according to claim 1, wherein the operation understanding unit determines whether or not to continue the processing based on the estimated suitability.
利用者が行う質問内容を表す発話情報と、前記質問内容に対する出力情報を対応付けて記憶した処理情報記憶部を備え、
前記処理は、前記音声認識部が認識した認識結果に対応する発話情報の一部が照合する発話情報に対応する出力情報を選択すること
を特徴とする請求項1ないし3のいずれか1項に記載の対話処理装置。 Each of the plurality of expert units includes:
A processing information storage unit that stores utterance information representing the content of a question performed by a user and output information corresponding to the question content,
The process according to any one of claims 1 to 3, wherein the processing selects output information corresponding to utterance information to be collated by a part of utterance information corresponding to a recognition result recognized by the voice recognition unit. The dialog processing device described.
前記処理情報記憶部に記憶された前記発話情報及び出力情報が各々異なること
を特徴とする請求項4に記載の対話処理装置。 The dialogue processing apparatus according to claim 4, wherein the utterance information and the output information stored in the processing information storage unit are different from each other in the plurality of expert units.
前記対話処理装置が、入力した音声を認識する第1の過程と、
前記複数のエキスパート部のうち前記処理を行うエキスパート部が、前記認識した認識結果に基づいて前記処理を継続するか否かを判定する第2の過程と、
前記処理を行うエキスパート部が前記処理を継続しないと判断した場合、前記複数のエキスパート部のうち前記処理を行わないエキスパート部の各々が、前記認識した認識結果に基づいて適合性を推定する第3の過程と、
前記対話処理装置が、前記推定した適合性に基づいて前記処理を行うエキスパート部を選択する第4の過程とを有すること、
を特徴とする対話処理方法。 In a dialogue processing method in a dialogue processing apparatus including a plurality of expert units having a function of performing a predetermined process,
A first process in which the dialogue processing apparatus recognizes an input voice;
A second step in which an expert unit that performs the process among the plurality of expert units determines whether or not to continue the process based on the recognized recognition result;
When the expert unit that performs the process determines that the process is not continued, each of the expert units that do not perform the process among the plurality of expert units estimates the suitability based on the recognized recognition result. And the process
The interactive processing device includes a fourth step of selecting an expert unit for performing the processing based on the estimated suitability;
An interactive processing method characterized by the above.
入力した音声を認識する手順、
前記複数のエキスパート部のうち前記処理を行うエキスパート部について、前記認識した認識結果に基づいて処理を継続するか否かを判定する手順、
前記処理を継続しないと判断した場合、前記複数のエキスパート部のうち前記処理を行わないエキスパート部の各々について、前記認識した認識結果に基づいて適合性を推定する手順、
前記推定した適合性に基づいて前記処理を行うエキスパート部を選択する手順、
を実行させるための対話処理プログラム。 In a computer of a dialogue processing apparatus having a plurality of expert units having a function of performing a predetermined process,
Recognizing input speech,
A procedure for determining whether to continue the process based on the recognized recognition result for the expert unit that performs the process among the plurality of expert units,
If it is determined that the processing is not continued, for each of the expert units that do not perform the processing among the plurality of expert units, a procedure for estimating suitability based on the recognized recognition result,
A procedure for selecting an expert unit to perform the processing based on the estimated suitability;
Interactive processing program to execute.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US37292610A | 2010-08-12 | 2010-08-12 | |
US61/372,926 | 2010-08-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012042952A true JP2012042952A (en) | 2012-03-01 |
JP5715526B2 JP5715526B2 (en) | 2015-05-07 |
Family
ID=45899252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011175395A Active JP5715526B2 (en) | 2010-08-12 | 2011-08-10 | Dialog processing device, dialog processing method, and dialog processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5715526B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9653077B2 (en) | 2012-11-16 | 2017-05-16 | Honda Motor Co., Ltd. | Message processing device |
WO2017200079A1 (en) * | 2016-05-20 | 2017-11-23 | 日本電信電話株式会社 | Dialog method, dialog system, dialog device, and program |
WO2019235190A1 (en) * | 2018-06-06 | 2019-12-12 | ソニー株式会社 | Information processing device, information processing method, program, and conversation system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000305872A (en) * | 1999-04-20 | 2000-11-02 | Fujitsu Ltd | Electronic mail system, electronic mail processor, its processing method, and computer readable storage medium recording electronic mail processing program |
JP2003167875A (en) * | 2001-12-04 | 2003-06-13 | Aruze Corp | Server for providing translation service, program storage medium used for this server and translation system using this server |
WO2007013521A1 (en) * | 2005-07-26 | 2007-02-01 | Honda Motor Co., Ltd. | Device, method, and program for performing interaction between user and machine |
WO2009028647A1 (en) * | 2007-08-31 | 2009-03-05 | National Institute Of Information And Communications Technology | Non-dialogue learning device and dialogue learning device |
-
2011
- 2011-08-10 JP JP2011175395A patent/JP5715526B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000305872A (en) * | 1999-04-20 | 2000-11-02 | Fujitsu Ltd | Electronic mail system, electronic mail processor, its processing method, and computer readable storage medium recording electronic mail processing program |
JP2003167875A (en) * | 2001-12-04 | 2003-06-13 | Aruze Corp | Server for providing translation service, program storage medium used for this server and translation system using this server |
WO2007013521A1 (en) * | 2005-07-26 | 2007-02-01 | Honda Motor Co., Ltd. | Device, method, and program for performing interaction between user and machine |
WO2009028647A1 (en) * | 2007-08-31 | 2009-03-05 | National Institute Of Information And Communications Technology | Non-dialogue learning device and dialogue learning device |
Non-Patent Citations (2)
Title |
---|
CSNG200600443009; 神田直之、外6名: '複数ドメイン音声対話システムにおける対話履歴を利用したドメイン選択の高精度化' 情報処理学会研究報告 Vol. SLP-60, No. 11, 20060204, pp. 55-60, 社団法人情報処理学会 * |
JPN6014040662; 神田直之、外6名: '複数ドメイン音声対話システムにおける対話履歴を利用したドメイン選択の高精度化' 情報処理学会研究報告 Vol. SLP-60, No. 11, 20060204, pp. 55-60, 社団法人情報処理学会 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9653077B2 (en) | 2012-11-16 | 2017-05-16 | Honda Motor Co., Ltd. | Message processing device |
WO2017200079A1 (en) * | 2016-05-20 | 2017-11-23 | 日本電信電話株式会社 | Dialog method, dialog system, dialog device, and program |
JPWO2017200079A1 (en) * | 2016-05-20 | 2018-12-27 | 日本電信電話株式会社 | Dialogue method, dialogue system, dialogue apparatus, and program |
WO2019235190A1 (en) * | 2018-06-06 | 2019-12-12 | ソニー株式会社 | Information processing device, information processing method, program, and conversation system |
Also Published As
Publication number | Publication date |
---|---|
JP5715526B2 (en) | 2015-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106796788B (en) | Improving automatic speech recognition based on user feedback | |
US8244522B2 (en) | Language understanding device | |
US7698136B1 (en) | Methods and apparatus for flexible speech recognition | |
JP5633042B2 (en) | Speech recognition apparatus, speech recognition method, and speech recognition robot | |
US9542931B2 (en) | Leveraging interaction context to improve recognition confidence scores | |
US8024184B2 (en) | Speech recognition device, speech recognition method, computer-executable program for causing computer to execute recognition method, and storage medium | |
JP3945356B2 (en) | Spoken dialogue apparatus and program | |
US20130090921A1 (en) | Pronunciation learning from user correction | |
CA2511733A1 (en) | System and method for spelling recognition using speech and non-speech input | |
Nakano et al. | A two-stage domain selection framework for extensible multi-domain spoken dialogue systems | |
US20090220926A1 (en) | System and Method for Correcting Speech | |
US10417345B1 (en) | Providing customer service agents with customer-personalized result of spoken language intent | |
López-Cózar et al. | Testing the performance of spoken dialogue systems by means of an artificially simulated user | |
JP5715526B2 (en) | Dialog processing device, dialog processing method, and dialog processing program | |
JP6696803B2 (en) | Audio processing device and audio processing method | |
Walker et al. | Semi-supervised model training for unbounded conversational speech recognition | |
Rabiner et al. | Statistical methods for the recognition and understanding of speech | |
Stuttle et al. | A framework for dialogue data collection with a simulated ASR channel. | |
JP4992925B2 (en) | Spoken dialogue apparatus and program | |
KR100848148B1 (en) | Apparatus and method for syllabled speech recognition and inputting characters using syllabled speech recognition and recording medium thereof | |
JP2009116075A (en) | Speech recognition device | |
JP4042435B2 (en) | Voice automatic question answering system | |
Gilbert et al. | Your mobile virtual assistant just got smarter! | |
JP4947545B2 (en) | Speech recognition apparatus and computer program | |
AU2018101475B4 (en) | Improving automatic speech recognition based on user feedback |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140924 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150313 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5715526 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |