WO2007007502A1 - 対話支援装置 - Google Patents
対話支援装置 Download PDFInfo
- Publication number
- WO2007007502A1 WO2007007502A1 PCT/JP2006/311792 JP2006311792W WO2007007502A1 WO 2007007502 A1 WO2007007502 A1 WO 2007007502A1 JP 2006311792 W JP2006311792 W JP 2006311792W WO 2007007502 A1 WO2007007502 A1 WO 2007007502A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- utterance
- user
- dialogue
- candidate
- support apparatus
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90332—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
Definitions
- the present invention relates to a dialogue support apparatus that supports dialogue between people.
- a typical example is a translation device in which a translation method based on parallel translation of examples and examples is mounted on a small information processing device such as a PDA (Personal Digital Assistant).
- PDA Personal Digital Assistant
- Such devices provide more than a thousand examples to cover a general travel conversation.
- simply allowing the user to visually select a desired example from the list has a problem in usability in actual usage, that is, usability. In particular, this problem becomes even more pronounced when the display for viewing the list of examples is small and the number of examples that can be viewed simultaneously is small.
- Patent Document 1 Japanese Patent Laid-Open No. 2003-30187
- Example 1 “Tell me how to get to the airport.” ⁇ How can I go to the airport? ”
- the example search operation that leads to the utterance output of the translation device is reduced, but the search operation of the example that cannot output the utterance due to the interrupted utterance of the other party still remains. Therefore, depending on how the translation device is used, in order to output one utterance from the translation device, it takes several times the operation of searching for one example.
- the present invention has been made in view of the above circumstances, and interrupted speech of the other party. Even if there is, there is a need to provide a dialogue support device that can reduce the number of operations required to generate one utterance and assist the dialogue so that the conversation is completed quickly as a whole.
- a dialogue support apparatus is a dialogue support apparatus that supports a dialogue, and holds a first example and a second example associated with each other in association with each other.
- a candidate for the first example is extracted by searching the example database based on the database, utterance accepting means for accepting the user's utterance, and the utterance accepted by the utterance accepting means, and the extracted first example
- An example selection means for selecting one first example from candidate examples and outputting a second example corresponding to the selected first example, and the second example output by the example selection means
- Transmitting means for transmitting to the user's dialog support device, receiving means for receiving the second example transmitted from the other user's dialog support device, and outputting the second example received by the receiving means Utterance output means, and example reevaluation means for re-evaluating the candidate for the first example extracted by the example selection means based on the second example received by the receiving means. It is characterized by.
- the search operation information that did not reach the utterance is reused and the target of the next search operation is narrowed down.
- the amount of operations required to generate the utterance of is reduced, and the dialogue can be supported so that the dialogue is completed promptly as a whole.
- FIG. 1 is a block diagram showing a configuration of an embodiment of a dialogue support apparatus according to the present invention.
- FIGS. 2 (a) and 2 (b) are diagrams showing a display example of the dialogue support apparatus according to the present invention.
- FIG. 3 is a diagram showing an example of an example database.
- FIG. 4 is a flowchart showing an operation flow of an example selection unit.
- FIG. 5 is a diagram showing an example of dynamic programming used by the example selector to calculate similarity. is there.
- FIG. 6 is a flowchart showing the overall operation flow when supporting the dialogue.
- FIG. 7 is a diagram showing an example of a scene where the dialogue support apparatus according to the present invention is used.
- FIGS. 8A and 8B are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 9 (a) and 9 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 10A and 10B are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 11 (a) and 11 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 12 (a) and 12 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 13A and 13B are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 14 (a) and 14 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 15 (a) and 15 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 16 (a) and 16 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention. 17] FIGS. 17 (a) and 17 (b) are diagrams showing the effect of the present invention quantitatively.
- FIG. 18 is a block diagram showing the configuration of another embodiment of the dialogue support apparatus according to the present invention.
- FIG. 19 is a diagram showing a display example of the dialogue support apparatus according to the present invention.
- FIG. 20 is a diagram showing an example of an example database.
- FIGS. 21 (a) and 21 (b) are diagrams showing a display example of the dialogue support apparatus according to the present invention.
- FIGS. 22 (a) and 22 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIG. 23 (a) and FIG. 23 (b) are diagrams showing a display example of the dialogue support apparatus according to the present invention.
- FIGS. 24 (a) and 24 (b) are diagrams showing a display example of the dialogue support apparatus according to the present invention.
- FIGS. 25 (a) and 25 (b) are diagrams showing a display example of the dialogue support apparatus according to the present invention. 26] FIGS.
- FIGS. 26 (a) and 26 (b) are diagrams showing a display example of the dialogue support apparatus according to the present invention.
- FIGS. 27 (a) and 27 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 28 (a) and 28 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 29 (a) and 29 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 30 (a) and 30 (b) are diagrams showing a display example of the dialogue support apparatus according to the present invention.
- FIG. 31 is a diagram showing an example of an example database.
- FIGS. 32 (a) and 32 (b) are diagrams showing a display example of the dialogue support apparatus according to the present invention.
- FIGS. 33 (a) and 33 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 34 (a) and 34 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 35 (a) and 35 (b) are diagrams showing a display example of the dialogue support apparatus according to the present invention.
- FIGS. 36 (a) and 36 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 37 (a) and 37 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 38 (a) and 38 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 39 (a) and 39 (b) are diagrams showing a display example of the dialogue support apparatus according to the present invention.
- FIGS. 40 (a) and 40 (b) are diagrams showing a display example of the dialogue support apparatus according to the present invention.
- FIGS. 41 (a) and 41 (b) are diagrams showing quantitatively the effect of the present invention.
- FIG. 42 is a diagram showing an example of an example database (FIG. 42).
- FIGS. 43 (a) and 43 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 44 (a) and 44 (b) are diagrams showing a display example of the dialogue support apparatus according to the present invention.
- 45 (a) and 45 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 46 (a) and 46 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 47 (a) and 47 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 48 (a) and 48 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 49 (a) and 49 (b) are diagrams showing a display example of the dialogue support apparatus according to the present invention.
- FIGS. 50 (a) and 50 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIGS. 51 (a) and 51 (b) are diagrams showing display examples of the dialogue support apparatus according to the present invention.
- FIG. 52 is a block diagram showing a configuration of an embodiment of a dialogue support system according to the present invention.
- a dialog support apparatus is a dialog support apparatus that supports a dialog, and an example database that holds a first example and a second example used in a dialog in association with each other;
- An utterance accepting unit that accepts a user's utterance, and a first example candidate is extracted by searching the example database based on the utterance accepted by the utterance accepting unit, and among the extracted candidates of the first example
- An example selection unit that selects one first example from the above and outputs a second example corresponding to the selected first example, and a dialogue support apparatus for the other user that outputs the second example output by the example selection unit Transmitting means for transmitting to the receiving apparatus, receiving means for receiving the second example transmitted from the dialogue support apparatus of the other user, and utterance for outputting the second example received by the receiving means.
- example reevaluation means for performing reevaluation based on the first example candidate extracted by the example selection means based on the second example received by the receiving means. It is characterized by providing.
- Dialogue can be supported so that necessary operations can be reduced and the dialogue can be completed quickly as a whole.
- the example database further holds the first example and the second example and an evaluation tag in association with each other, and the example selection means sets the second example to be output to the second example.
- the example re-evaluation means re-evaluates the candidate for the first example based on the evaluation tag included in the second example received by the receiving unit. It is preferable to carry out.
- the evaluation tag is at least one of a constant tag relating to information to be provided and a condition tag indicating a condition of requested information
- the example reevaluation means includes the second example.
- the first example candidate may be re-evaluated based on the condition tag of the evaluation tag and the constant tag of the evaluation tag corresponding to each of the first example candidates. This makes it possible to easily re-evaluate the candidate for the first example.
- the example re-evaluating unit may be configured so that the receiving unit selects from the conversation support device of the other user before one first example is selected from the candidates for the first example by the example selecting unit. If the second example is received, the candidate for the first example may be re-evaluated.
- the example re-evaluation unit is configured to use the receiving unit to support the conversation user's dialog before the first example is selected from the first example candidates by the example selection unit.
- the candidate for the first example may be re-evaluated and the user may be prompted to select one first example from the first example candidates. Les.
- the dialogue support apparatus further includes candidate notification means for notifying the user of the candidate for the first example extracted by the example selection means, and one candidate from the candidates for the first example.
- Selection instruction receiving means for receiving a selection instruction for the first example from the user, and the example selection means may select the first example according to the selection instruction received by the selection instruction receiving means. .
- the candidate notification unit may rearrange the first example candidates and notify the user of the first example candidates based on a result reevaluated by the example reevaluation unit. This Therefore, the user can easily find a desired example without newly speaking from the candidate examples.
- the dialogue support apparatus further includes topic change detection means for detecting a change in topic based on the second example received by the receiving means, and the example reevaluation means includes Before the first selecting example is selected from the candidates for the first example by the example selecting unit, the second example is received from the conversation support device of the partner user by the receiving unit, and the topic change detection is performed. If a change in topic is detected by the means, the first example candidate may not be re-evaluated. As a result, it is possible to guide the user not to search for a middle-level example of an example candidate that no longer includes a desired example because the topic has changed, and not to increase the operation amount of the dialogue support apparatus.
- the example re-evaluation means is configured to use the receiving means for the dialogue support device of the partner user before the first example is selected from the candidates for the first example by the example selection means.
- the candidate of the first example is not re-evaluated and the user is prompted to speak. Also good.
- it can be determined that the user should input from the beginning by ignoring the currently displayed example candidates, and the amount of operation of the dialogue support device required to generate one utterance of the user is further reduced. It becomes possible.
- the utterance accepting unit accepts the utterance in continuous speech recognition processing using a language model constructed from the first example held in the example database, or holds the example database
- the utterance may be received from a keyboard that is limited to the words constituting the first example.
- the dialogue support system is a dialogue support system that supports dialogue using a first dialogue support device and a second dialogue support device connected to a server
- the first dialogue support apparatus includes an utterance accepting unit that accepts a user's utterance, a receiving unit that receives the second example transmitted from the server, and an utterance output unit that outputs the second example received by the server.
- a candidate for the first example is extracted by searching the example database based on the utterance transmitted from the first dialogue support device, and one first example is extracted from the extracted candidates for the first example.
- Example re-evaluation means for re-evaluating the candidate for the first example extracted by the second example, the second example output by the example selection means, and the result re-evaluated by the example re-evaluation means
- the present invention can be realized as a dialogue support method that can be realized as such a dialogue support device as a step using characteristic means provided in the dialogue support device such as NAGKO. It can also be realized as a program that causes a computer to execute steps. Needless to say, such a program can be distributed via a recording medium such as a CD-ROM or a transmission medium such as the Internet.
- FIG. 1 is a block diagram showing a configuration of an embodiment of a dialogue support apparatus according to the present invention.
- the dialogue support device is a device for supporting a dialogue between people. As shown in FIG. 1, the example database 101, the utterance reception unit 102, the example selection unit 103, the transmission unit 104, and the reception unit 10 are used. 5. An utterance output unit 106 and an example reevaluation unit 107 are provided.
- the utterance receiving unit 102 is an utterance receiving unit
- the example selecting unit 103 is an example selecting unit
- the transmitting unit 104 is a transmitting unit
- the receiving unit 105 is a receiving unit.
- the utterance output unit 106 corresponds to an utterance output unit
- the example reevaluation unit 107 corresponds to an example reevaluation unit.
- the example database 101 holds examples used in dialogue.
- the utterance receiving unit 102 receives user's utterance and outputs it as utterance information.
- the example selection unit 103 extracts example candidates from the example database 101 based on the utterance information, selects a desired example from the extracted example candidates, and outputs an example corresponding to the example.
- the transmission unit 104 transmits the example output from the example selection unit 103 to the conversation support device of the partner user.
- the receiving unit 105 receives an example output from the dialogue support device of the other user.
- the utterance output unit 106 outputs an example received by the receiving unit 105.
- the example reevaluation unit 107 performs reevaluation on the example candidates held in the example selection unit 103 based on the examples received by the reception unit 105.
- FIG. 1 is a basic configuration of the present invention, in which one conversation participant uses one configuration, and the transmission unit 104 and the reception unit 105 are respectively received by the other party's dialogue support apparatus.
- the dialogue support device may be connected directly or indirectly through a server or the like.
- FIGS. 2A and 2B are diagrams showing display examples of the dialogue support apparatus. Assume that user 1 who speaks Japanese uses dialogue support apparatus 201 shown in FIG. 2 (a), and user 2 who speaks English uses conversation support apparatus 202 shown in FIG. 2 (b).
- FIG. 3 is a diagram illustrating an example of an example stored in the example database 101 of the dialogue support apparatus 201.
- Language 1 corresponding to the first example is your native language
- language 2 corresponding to the second example is your partner's native language.
- a corresponding example that is, an example “Good morning” of language 2 is output as an evaluation tag.
- the conversation support device 202 has a symmetric configuration in which language 1 is English and language 2 is Japanese. Evaluation tags are defined in advance for each example.
- a constant tag is assigned based on the amount of information provided.
- a constant tag “v: 3” is assigned as a tag.
- V: indicates that the type of the evaluation tag is a constant tag
- “3” indicates that the value of the constant is 3.
- a condition tag is given for an example of restricting information from the other party.
- “f:” indicates that the type of the evaluation tag is a condition
- This is a conditional expression that prescribes
- nothing is assigned as an evaluation tag for an example that is not involved in the exchange of information with the other party, such as Example No. 1.
- the utterance reception unit 102 acquires the user's utterance as character information using a continuous voice recognition process or a keyboard, and outputs it as utterance information.
- the utterance information is a character string corresponding to the user's utterance.
- the speech accepting unit 102 accepts a user's speech by continuous speech recognition processing, it is possible to improve speech recognition accuracy by constructing a language model from the example stored in the example database 101.
- the utterance receiving unit 102 receives a user's utterance from the keyboard, it is possible to input characters efficiently by limiting the input to the words constituting the language 1 example stored in the example database 101. It becomes possible.
- FIG. 4 is a flowchart showing an operation flow of the example selection unit 103.
- the example selection unit 103 selects the example closest to the utterance information according to the flowchart shown in FIG. 4, and outputs the translation example and the evaluation tag.
- the example selection unit 103 calculates the similarity between the utterance information and all examples of language 1 in the example database 101 (step S401).
- the example selecting unit 103 calculates the distance between the utterance information and each example using the dynamic programming shown in FIG. 5 as the similarity.
- a sentence unit is either a letter, a word, a reading letter, or a combination thereof.
- the example selection unit 103 creates an example candidate E by arranging in order from the most similar example. (Step S402). Then, the example selection unit 103 presents the example candidate E to the user (step S403). Next, the example selection unit 103 selects a desired example e instructed by the user (step S404). Then, the example selection unit 103 refers to the example database 101 and outputs the example for translation of the example e and the evaluation tag (step S405). At this time, the example selection unit 103 holds the example candidate E until the desired example e is selected by the user, and sets the example candidate E to be empty when the example e is selected.
- the transmission unit 104 uses the language of the example database 101 sequentially output from the example selection unit 103.
- the example of 2 and its evaluation tag are transmitted to the other party's dialogue support device.
- the transmitted information is received by the receiving unit 105 of the other party's dialogue support apparatus and output to the other party through the utterance output unit 106.
- the utterance output unit 106 is configured by a display device such as an LCD, speech synthesis processing, or a combination thereof.
- the example re-evaluation unit 107 supports the other party's dialog at the stage where the example selection unit 103 holds the example candidate E and the user has not selected the desired example e, that is, at step S403.
- the example included in the candidate example E is re-evaluated using the evaluation tag. Then, the example reevaluation unit 107 rearranges the examples included in the example candidate E and presents them to the user.
- FIG. 6 is a flowchart showing the overall operation flow at this time.
- a user 1 who is a traveler who wants to know the cheap way to go to the airport has a dialogue with a user 2 who is a passerby familiar with local transportation will be described as an example.
- the way to the airport is by train, bus or subway, which is the cheapest means of transportation.
- step S101 the user 1 presses the utterance input button 601 and utters “Let's go to the airport,” (step S101).
- the utterance reception unit 102 converts it into character information by voice recognition processing, and outputs “I want to go to the airport” as the utterance information.
- the speech information is displayed in the display area 701 as shown in FIG. 9 (a).
- step S403 the examples included in the example candidates are sequentially displayed in the display area 702 (step S102).
- step S103 when user 1 selects "Leave to the airport" from display area 702 as desired example e (step S103), the translation example "I want” “go to the airp ort” is displayed in the display area 801.
- the parallel translation example and its evaluation tag are transmitted to the dialogue support apparatus 202 of the user 2 by the transmission unit 104 (step S104).
- the receiving unit 105 receives it (step S105), and an utterance “I want to go to the ai ⁇ ort ⁇ ” is given to the user 2 as shown in FIG. 10 (b).
- step S106 Provided as an utterance
- the user 2 presses the utterance input button 901 and utters "You can go by train, by bus or by subway” (step SI 07).
- the utterance reception unit 102 converts the utterance into character information and displays it in the display area 1001.
- speech recognition is performed for a long utterance. There is a high probability that an error will occur, and it is assumed here that a word omission error has occurred and that “ ⁇ You can go by train, by bus” is obtained as character information.
- Y3 ⁇ 4U can go by tram or by bus (1)
- step S108 The numbers in parentheses attached to the examples are the similarity calculated by the dynamic planning method in Fig. 5.
- the example candidate E created by the example selection unit 103 is displayed in the display area 1002. [0047] In this case, it is sufficient that the user 2 can quickly select a desired example e from the example candidates, but generally this selection operation takes time in a small device such as a portable terminal. For example, as shown in Fig. 12, when only three candidate examples can be displayed at the same time, it is necessary to check each time while scrolling the display.
- the rearranged example candidates are presented to the user 2 together with a message 1301 that prompts the user to select a desired example from the example candidates as shown in FIG. 15 (b).
- the user 2 In the conventional method in which the example re-evaluation unit 107 does not exist, in the above example, the user 2 generally presses the utterance input button 901 and utters "You can go by subway ⁇ " and searches for the example again. This is because it is unclear at this point whether or not such a candidate is included even if a candidate for an example is searched, and it is determined that it is faster to search from the beginning again. Thus, the effect of the present embodiment is quantitatively verified, and it is assumed that the average operation amount from when the user inputs an utterance until the desired example is selected is T.
- user 1 and user 2 support dialogue The following dialogue through the device
- an example selection unit As shown in FIG. 18, in addition to the configuration of the dialogue support apparatus shown in FIG. 1, an example selection unit
- the example selected in 103 and the example received from the other party's dialogue support device received by the receiving unit 105 are recorded, and the topic change detecting unit 1601 for detecting the change in the topic is provided.
- the example reevaluating unit 107 is the topic change detecting unit. Re-evaluation may be performed according to whether the topic detected by 1601 has changed.
- the topic change detection unit 1601 can detect a topic change using words such as “by the way” and “Now”. In other words, when the topic changes, the example re-evaluation unit 107 does not include the desired example because the topic has changed by controlling the example candidate held in the example selection unit 103 not to be re-evaluated. It is possible to guide users not to search for examples and to increase the amount of operation of the device.
- a message 1701 prompting the user to input an utterance may be displayed.
- Message 1701 allows the user to ignore the currently displayed example candidate and determine that it should be entered from the beginning, further reducing the amount of device operation required to generate one user utterance. Become.
- the constant tag and the condition tag may be further subdivided, symbolized, or graph-structured according to the type of information used in the example described above only by the quantitative description. Les.
- the example database 101 is configured as shown in FIG. 20 in the present embodiment and supports dialogues in different languages will be described.
- User 1 is the first visitor to the site and User 2 is a local resident.
- the local climate is hot and humid.
- the evaluation tag of each example shown in FIG. 20 is composed of a logical description using symbols that are not quantitative descriptions.
- the conditional expression x CLIM is a condition that the constant tag matches the symbol CLIM meaning climate.
- CLIM” of No. 4 is a constant tag
- CLIM indicates that the constant is a symbol TEMP or CLIM indicating temperature.
- the user 1 presses the utterance input button 601 and says, "The climate around here is utterance of the voice.
- the utterance reception unit 102 performs the speech recognition process. It is converted into text information and “How is the climate around here” output as utterance information.
- the utterance information is displayed in the display area 701 as shown in FIG.
- the example selection unit 103 calculates the similarity to all the language 1 examples included in the example database 101.
- the examples included in the example candidates are sequentially displayed in the display area 702.
- Fig. 23 (a) when user 1 selects "the climate in this area is strong" from display area 702 as desired example e, ⁇ How is the climate here ⁇ is displayed in the display area 801. Also, the bilingual example and its evaluation tag are transmitted to the dialogue support apparatus 202 of the user 2 by the transmission unit 104. In the dialogue support apparatus 202 of the user 2, the reception unit 105 receives it, and the utterance “How is the climate here” is provided to the user 2 as the utterance.
- the user 2 presses the utterance input button 901 and utters “It's very dry here”.
- the utterance reception unit 102 converts the utterance into character information and displays it in the display area 1001.
- the probability that a speech recognition error will occur for a word with a short utterance time is high.
- the numbers in parentheses attached to the examples are the similarity calculated by the dynamic programming method in Fig. 5.
- the example candidate E created by the example selection unit 103 is displayed in the display area 1002.
- Example 1 In the conventional method in which the re-evaluation unit 107 does not exist, the user 2 generally presses the utterance input button 901 to say “It's very hot here”, and searches for the example again. This is because it is not clear at the time whether such an example is included even if a candidate for the example is searched, and it is judged that it is faster to search again from the beginning.
- the example re-evaluation unit 107 of the dialogue support apparatus of the user 2 is used.
- the interpretable range of each example is calculated by the number of constant types of the constant tag.
- the interpretable range of Example No. 8 is 3, but the interpretable range of Example No. 11 is 2.
- the example re-evaluation unit 107 arranges the example No. 11 before the example No. 8. The rearranged example candidates are presented to user 2 with a message 1301 prompting the user to select a desired example from the example candidates as shown in FIG. 28 (b).
- FIGS. 30A and 30B are diagrams showing display examples of the dialogue support apparatus. It is assumed that the user 1 who speaks Chinese uses the dialogue support apparatus 201 shown in FIG. 30 (a), and the user 2 who speaks English uses the dialogue support apparatus 202 shown in FIG. 30 (b).
- FIG. 31 is a diagram showing an example of an example stored in the example database 101 of the dialogue support apparatus 201.
- Language 1 corresponding to the first example is your native language
- language 2 corresponding to the second example is your partner's native language.
- the dialogue support apparatus 202 has a symmetric configuration in which language 1 is English and language 2 is Chinese. Evaluation tags are defined in advance for each example.
- the utterance reception unit 102 converts it into character information by voice recognition processing
- the utterance information is displayed in the display area 701 as shown in FIG.
- the user 1 can display a desired example e from the display area 702.
- step S 103 When “remaining place” is selected (step S 103), the translation example “I want to go to the ai ort” is displayed in the display area 801.
- the parallel translation example and its evaluation tag are transmitted to the dialogue support apparatus 202 of the user 2 by the transmission unit 104 (step S 104).
- the receiving unit 105 receives it (step S105), and utters “I want to go to the ai ⁇ ort ⁇ ” as shown in FIG. 34 (b).
- Step S 106 Provided as (Step S 106)
- the user 2 presses the utterance input button 901 and utters “You can go by train, by bus or by subway” (step S I 07).
- the utterance receiving unit 102 converts the utterance into character information and displays it in the display area 1001.
- the utterance reception unit 102 is configured by voice recognition processing, there is a high probability that a voice recognition error will occur for a long utterance.
- a word omission error has occurred and that “ ⁇ You can go by train, by bus” is obtained as character information.
- step S108 The numbers in parentheses attached to the examples are the similarity calculated by the dynamic planning method in Fig. 5.
- the example candidate E created by the example selection unit 103 is displayed in the display area 1002.
- this selection operation generally takes time in a small device such as a portable terminal. For example, as shown in Fig. 36, if only three candidate examples can be displayed at the same time, it will take time to select each item because it is necessary to confirm each item while scrolling the display.
- the user 2 In the conventional method in which the example re-evaluation unit 107 does not exist, in the above example, the user 2 generally presses the utterance input button 901 and utters "You can go by subway ⁇ " and searches for the example again. This is because it is unclear at this point whether or not such a candidate is included even if a candidate for an example is searched, and it is determined that it is faster to search from the beginning again. Thus, the effect of the present embodiment is quantitatively verified, and it is assumed that the average operation amount from when the user inputs an utterance until the desired example is selected is T.
- user 1 and user 2 support dialogue The following dialogue through the device
- the amount of operation close to 2T is spent to generate.
- the example reevaluation unit 107 re-evaluates the example candidate, so there is no need to search again from the beginning. 1.
- 5T manipulated variable is enough to generate “sitting paddle”. Therefore, the amount of operation of the device required to generate one utterance when viewed in the entire dialogue is reduced.
- the evaluation tag of each example shown in Fig. 42 is composed of a logical description using a symbol that is not a quantitative description.
- the evaluation tag “v: TEMP I CLIM” of No. 4 is a constant tag, and the constant TEMP I CLIM indicates that the constant is a symbol TEMP or CLIM indicating temperature.
- user 1 presses the utterance input button 601 to display “these individuals attached near gas symptoms” sample.
- the utterance reception unit 102 converts it into text information by voice recognition processing, and uses it as utterance information.
- the speech information is displayed in the display area 701 as shown in FIG.
- step S403 the examples included in the example candidates are sequentially displayed in the display area 702.
- the user 1 uses the display area 702 as the desired example e.
- “How is the climate here” which is a translation example, is displayed in the display area 801.
- the bilingual example and its evaluation tag are transmitted to the dialogue support device 202 of the user 2 by the transmission unit 104.
- the receiving unit 105 receives it, and the utterance “How is the climate here” is provided to the user 2 as the utterance.
- the numbers in parentheses attached to the examples are the similarity calculated by the dynamic programming method in Fig. 5.
- the example candidate E created by the example selection unit 103 is displayed in the display area 1002.
- E is selected from display area 702.
- the dialogue support apparatus includes an utterance reception unit 102, a transmission unit 104, a reception unit 105, and an utterance output unit 106, and the dialogue support device via the network 2210 such as the Internet.
- a connected server includes an example database 101, an example selection unit 103, and an example reevaluation unit 107.
- the transmission unit 104 transmits the utterance information to the server, and the reception unit 2201 of the server receives it. Then, the transmission unit 2202 of the server transmits the example candidate specified by the server based on the utterance information to the reception unit 106 of the user's dialogue support apparatus.
- the server transmits the parallel translation example corresponding to the selected example to the user's dialog support device.
- the reception unit 2201 of the server receives the utterance information from the conversation support device of the other user until one example is selected from the example candidates in the user's dialog support device, and based on this utterance information.
- the specified example candidate is transmitted to the other user's dialog support device, it is received from the other user's dialog support device that one example has been selected from the example candidates.
- the server transmission unit 2202 transmits the parallel translation example corresponding to the selected example to the user's dialogue support device, and uses the evaluation tag corresponding to the selected example by the server example re-evaluation unit 107. Re-evaluation is performed, and the re-evaluated example candidates are transmitted to the user's dialogue support device.
- the dialogue support apparatus has a function of promptly completing the utterance of a dialogue participant, and is useful as translation application software for a mobile phone, a mobile terminal, or the like. It can also be applied to uses such as public street terminals and information terminals. Furthermore, the conversation in the same language can be applied to applications such as a chat system for fixed phrases.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Machine Translation (AREA)
Abstract
相手の割込み的な発話があっても、1つの発話を生成するまでに必要な操作を減らし、全体的に速やかに対話が完了するように対話を支援することができる対話支援装置を提供する。対話支援装置は、対話で使用される用例を保持する用例データベース(101)と、ユーザの発話を受け付け、発話情報として出力する発話受付部(102)と、発話情報に基づいて用例データベース(101)の中から用例の候補を抽出し、抽出した用例の候補の中からユーザによって指示された所望の用例を選択し、その用例に対応する用例を出力する用例選択部(103)と、対応する用例を相手ユーザの対話支援装置に送信する送信部(104)と、相手ユーザの対話支援装置から送信される用例を受信する受信部(105)と、受信された用例を出力する発話出力部(106)、用例に基づいて用例選択部(103)に保持されている用例の候補について再評価を行う用例再評価部(107)とを備える。
Description
明 細 書
対話支援装置
技術分野
[0001] 本発明は、人と人との対話を支援する対話支援装置に関するものである。
背景技術
[0002] 従来、一般の人々が海外旅行などで現地の人々と対話をする際に、その異言語対 話を支援することを目的として翻訳装置が開発されてきた。代表的なものとしては、例 文や用例の対訳に基づく翻訳方式を、 PDA (Personal Digital Assistant)などの小型 の情報処理装置に実装した翻訳装置がある。そのような装置では、一般的な旅行会 話をカバーするために数千以上の用例が用意されている。しかし、ユーザに所望の 用例をそのリストから目視で選択させるだけでは実際の使用状況における使い勝手、 すなわち、ユーザビリティに問題がある。特に、用例のリストを見るための表示部が小 さぐ同時に見ることができる用例の数が少ない場合は、この問題は一層顕著になる 。また、翻訳装置の一般的な使用状況を想定すると、相手との対話の中で数文以上 の用例を使用しなければならず、翻訳装置を介して 1つの対話が完了するまでに予 想以上の時間を要する。したがって、人と人との対話支援を最終目的として、大量の 用例リストの中からユーザに所望の用例を速やかに選択させるための機能が必要と されている。
[0003] この問題を解決するための一方法として、見本対話モデルや会話練習履歴コーパ スを利用してユーザの次の発話候補を絞り込む手法が提案されてレ、る(例えば特許 文献 1参照)。
特許文献 1 :特開 2003— 30187号公報
発明の開示
発明が解決しょうとする課題
[0004] このような翻訳装置を実際に使用する場合、言語の異なる 2人のユーザがそれぞれ の翻訳装置を自由に利用して対話を行う。 自分が相手に伝えたい内容がそのまま用 例として翻訳装置の中に存在すればそれを検索すればよいが、翻訳装置に用意さ
れている用例は様々な対話場面で使用できるように短文で構成されるのが一般的で ある。このように用例が短文で構成されるのは、長文であると文意は具体的であるが、 その利用場面が著しく限定されるからである。したがって、ユーザは相手に伝えたい 内容を複数の用例を順次選択することによって表現しなければならない。
[0005] しかしながら、例えば特許文献 1などに記載された手法を利用して用例の選択時間 を短縮することは可能であっても、ある用例の選択時刻から次の用例の選択時刻ま での時間差を 0にすることは不可能である。よって、次に示すように翻訳装置の使い 方によっては、 1つの発話を翻訳装置から出力するために、 1つの用例を検索する操 作の何倍かの操作をしなければならないという問題がある。
[0006] 例えば、 日本語を話すユーザ Aと英語を話すユーザ Bとが対話をする場合、ユーザ A力 S「空港へ行く安い交通手段を知りたい」とユーザ Bに伝えたいときに、関連する用 例として
<用例 1 >「空港へ行く方法を教えて下さい。」〃How can I go to the airport?"
<用例 2 >「安い方がいいです。 J "I'd like to take the cheaper way."
だけが翻訳装置に用意されているとすると、ユーザ Aは「空港へ行く方法を教えて下 さレ、。」を選択してから「安い方がいいです。」を選択することになる。この時、ユーザ B は翻訳装置から出力される用例 1 " How can I go to the ai卬 ort?"を聞いてから、ある 時間が経過して次の用例 2" I'd like to take the cheaper way."を聞くことになる。ここ で、ユーザ Bが用例 1を聞いた瞬間にユーザ Aの質問に答えようとして、 自分の翻訳 装置で空港への行き方をすベて列挙する用例を検索しているとする。その最中にュ 一ザ Aからの用例 2を聞くと、ユーザ Bはユーザ Aの質問に的確に答えるための用例 の検索を最初から開始しなければならず、それまでの検索操作をすベて破棄するこ とになる。すなわち、翻訳装置力 の発話出力に至る用例検索操作は軽減されるが、 相手の割込み的な発話によって発話を出力することができない用例の検索操作は依 然残ったままである。したがって、翻訳装置の使い方によっては、 1つの発話を翻訳 装置から出力するために、 1つの用例を検索する操作の何倍かの操作を要している
[0007] そこで、本発明は上記の事情に鑑みてなされたものであり、相手の割込み的な発話
があっても、 1つの発話を生成するまでに必要な操作を減らし、全体的に速やかに対 話が完了するように対話を支援することができる対話支援装置を提供することを目的 とする。
課題を解決するための手段
[0008] 上記目的を達成するため、本発明に係る対話支援装置は、対話を支援する対話支 援装置であって、対話で使用される第 1用例および第 2用例を対応付けて保持する 用例データベースと、ユーザの発話を受け付ける発話受付手段と、前記発話受付手 段によって受け付けられた前記発話に基づいて前記用例データベースを検索するこ とによって第 1用例の候補を抽出し、抽出した前記第 1用例の候補の中から 1つの第 1用例を選択し、選択した前記第 1用例に対応する第 2用例を出力する用例選択手 段と、前記用例選択手段によって出力された前記第 2用例を相手ユーザの対話支援 装置に送信する送信手段と、前記相手ユーザの対話支援装置から送信される第 2用 例を受信する受信手段と、前記受信手段によって受信された前記第 2用例を出力す る発話出力手段と、前記受信手段によって受信された前記第 2用例に基づいて、前 記用例選択手段によって抽出された前記第 1用例の候補について再評価を行う用 例再評価手段とを備えることを特徴とする。
発明の効果
[0009] 本発明に係る対話支援装置によれば、相手の割込み的な発話があっても、発話に 至らなかった検索操作情報を再利用し、次の検索操作の対象を絞り込むので、 1つ の発話を生成するまでに必要な操作量が減り、全体的に速やかに対話が完了するよ うに対話を支援することができる。
図面の簡単な説明
[0010] [図 1]図 1は本発明に係る対話支援装置の一実施の形態の構成を示すブロック図で ある。
[図 2]図 2 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。
[図 3]図 3は用例データベースの一例を示す図である。
[図 4]図 4は用例選択部の動作の流れを示すフローチャートである。
[図 5]図 5は用例選択部が類似度の計算に使用する動的計画法の一例を示す図で
ある。
園 6]図 6は対話を支援する場合の全体の動作の流れを示すフローチャートである。 園 7]図 7は本発明に係る対話支援装置が利用される場面の一例を示す図である。
[図 8]図 8 (a)、(b)は本発明に係る対話支援装置の表示例を示す図である。
[図 9]図 9 (a)、(b)は本発明に係る対話支援装置の表示例を示す図である。
園 10]図 10 (a)、(b)は本発明に係る対話支援装置の表示例を示す図である。 園 11]図 11 (a)、(b)は本発明に係る対話支援装置の表示例を示す図である。 園 12]図 12 (a)、(b)は本発明に係る対話支援装置の表示例を示す図である。 園 13]図 13 (a)、(b)は本発明に係る対話支援装置の表示例を示す図である。
[図 14]図 14 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。 園 15]図 15 (a)、(b)は本発明に係る対話支援装置の表示例を示す図である。
[図 16]図 16 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。 園 17]図 17 (a)、(b)は本発明の効果を定量的に示した図である。
園 18]図 18は本発明に係る対話支援装置の他の実施の形態の構成を示すブロック 図である。
[図 19]図 19は本発明に係る対話支援装置の表示例を示す図である。
[図 20]図 20は用例データベースの一例を示す図である。
園 21]図 21 (a)、(b)は本発明に係る対話支援装置の表示例を示す図である。 園 22]図 22 (a)、(b)は本発明に係る対話支援装置の表示例を示す図である。 園 23]図 23 (a)、(b)は本発明に係る対話支援装置の表示例を示す図である。 園 24]図 24 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。 園 25]図 25 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。 園 26]図 26 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。 園 27]図 27 (a)、(b)は本発明に係る対話支援装置の表示例を示す図である。 園 28]図 28 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。 園 29]図 29 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。 園 30]図 30 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。
[図 31]図 31は用例データベースの一例を示す図である。
[図 32]図 32 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。
[図 33]図 33 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。
[図 34]図 34 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。
[図 35]図 35 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。
[図 36]図 36 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。
[図 37]図 37 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。
[図 38]図 38 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。
[図 39]図 39 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。
[図 40]図 40 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。
[図 41]図 41 (a)、 (b)は本発明の効果を定量的に示した図である。
[図 42]図 42(ま用例データベースの一例を示す図である。
[図 43]図 43 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。
[図 44]図 44 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。
[図 45]図 45 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。
[図 46]図 46 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。
[図 47]図 47 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。
[図 48]図 48 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。
[図 49]図 49 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。
[図 50]図 50 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。
[図 51]図 51 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。
[図 52]図 52(ま本発明に係る対話支援システムの一実施の形態の構成を示すブロッ ク図である。
符号の説明
101 用例データベース
102 発話受付部
103 用例選択部
104 送信部
105 受信部
106 発話出力部
107 用例再評価部
201 ユーザ 1の PDA
202 ユーザ 2の PDA
601 発話入力ボタン
701 発話情報の表示領域
702 用例候補の表示領域
801 対応する用例の表示領域
901 発話入力ボタン
1001 発話情報の表示領域
1002 予測候補の表示領域
1301 ユーザに用例候補の中から所望の用例を選択することを促すメッセージ
1601 話題変化検出部
1701 ユーザに発話の入力を促すメッセージ
発明を実施するための最良の形態
[0012] 本発明の実施の形態に係る対話支援装置は、対話を支援する対話支援装置であ つて、対話で使用される第 1用例および第 2用例を対応付けて保持する用例データ ベースと、ユーザの発話を受け付ける発話受付手段と、前記発話受付手段によって 受け付けられた前記発話に基づいて前記用例データベースを検索することによって 第 1用例の候補を抽出し、抽出した前記第 1用例の候補の中から 1つの第 1用例を選 択し、選択した前記第 1用例に対応する第 2用例を出力する用例選択手段と、前記 用例選択手段によって出力された前記第 2用例を相手ユーザの対話支援装置に送 信する送信手段と、前記相手ユーザの対話支援装置から送信される第 2用例を受信 する受信手段と、前記受信手段によって受信された前記第 2用例を出力する発話出 力手段と、前記受信手段によって受信された前記第 2用例に基づいて、前記用例選 択手段によつて抽出された前記第 1用例の候補にっレ、て再評価を行う用例再評価 手段とを備えることを特徴とする。
[0013] これによつて、相手の割込み的な発話があっても、 1つの発話を生成するまでに必
要な操作を減らし、全体的に速やかに対話が完了するように対話を支援することがで きる。
[0014] ここで、前記用例データベースは、さらに、前記第 1用例および前記第 2用例と評価 タグとを対応付けて保持し、前記用例選択手段は、出力する前記第 2用例に、当該 第 2用例に対応する評価タグを含めて出力し、前記用例再評価手段は、前記受信手 段によって受信された前記第 2用例に含まれる前記評価タグに基づいて、前記第 1 用例の候補について再評価を行うことが好ましい。
[0015] また、前記評価タグは、提供する情報に関する定数タグ、および要求する情報の条 件を示す条件タグの少なくとも 1つであり、前記用例再評価手段は、前記第 2用例に 含まれる前記評価タグの条件タグと、前記第 1用例の候補それぞれに対応する評価 タグの定数タグとに基づいて、前記第 1用例の候補について再評価を行ってもよい。 これによつて、第 1用例の候補について再評価を簡単に行うことができる。
[0016] また、前記用例再評価手段は、前記用例選択手段によって前記第 1用例の候補の 中から 1つの第 1用例が選択される前に、前記受信手段によって前記相手ユーザの 対話支援装置から前記第 2用例が受信された場合、前記第 1用例の候補について 再評価を行ってもよレ、。
[0017] ここで、前記用例再評価手段は、前記用例選択手段によって前記第 1用例の候補 の中から 1つの第 1用例が選択される前に、前記受信手段によって前記相手ユーザ の対話支援装置力 前記第 2用例が受信された場合、前記第 1用例の候補について 再評価を行うとともに、前記ユーザに前記第 1用例候補の中から 1つの第 1用例を選 択することを促してもよレ、。
[0018] また、前記対話支援装置は、さらに、前記用例選択手段によって抽出された前記第 1用例の候補を前記ユーザに通知する候補通知手段と、前記第 1用例の候補の中か ら 1つの第 1用例の選択指示を前記ユーザから受け付ける選択指示受付手段とを備 え、前記用例選択手段は、前記選択指示受付手段によって受け付けられた前記選 択指示により前記第 1用例を選択してもよい。
[0019] ここで、前記候補通知手段は、前記用例再評価手段によって再評価された結果に 基づいて、前記第 1用例の候補を並べ替えて前記ユーザに通知してもよい。これによ
つて、ユーザは新たに発話することなぐ所望の用例を用例候補の中から簡単に探 すことが可能になる。
[0020] また、前記対話支援装置は、さらに、前記受信手段によって受信された前記第 2用 例に基づいて、話題の変化を検出する話題変化検出手段を備え、前記用例再評価 手段は、前記用例選択手段によって前記第 1用例の候補の中から 1つの第 1用例が 選択される前に、前記受信手段によって前記相手ユーザの対話支援装置から前記 第 2用例が受信され、かつ前記話題変化検出手段によって話題の変化が検出された 場合、前記第 1用例の候補について再評価を行わなくてもよい。これによつて、話題 が変化したために所望の用例を含まなくなった用例候補の中力 用例を探さないよう にユーザを導き、対話支援装置の操作量を増加させないことが可能になる。
[0021] ここで、前記用例再評価手段は、前記用例選択手段によって前記第 1用例の候補 の中から 1つの第 1用例が選択される前に、前記受信手段によって前記相手ユーザ の対話支援装置から前記第 2用例が受信され、かつ前記話題変化検出手段によつ て話題の変化が検出された場合、前記第 1用例の候補について再評価を行わず、か つ前記ユーザに発話を促してもよい。これによつて、ユーザは現在表示されている用 例候補を無視して最初から入力すべきであると判断できるので、さらにユーザの 1発 話の生成に要する対話支援装置の操作量を削減することが可能になる。
[0022] また、前記発話受付手段は、前記用例データベースが保持する前記第 1用例から 構築された言語モデルを用いた連続音声認識処理で前記発話を受け付ける、また は、前記用例データベースが保持する前記第 1用例を構成する単語に入力を限定さ れたキーボードから前記発話を受け付けてもよい。
[0023] また、本発明の実施の形態に係る対話支援システムは、サーバと接続される第 1対 話支援装置および第 2対話支援装置を用いて対話を支援する対話支援システムで あって、前記第 1対話支援装置は、ユーザの発話を受け付ける発話受付手段と、前 記サーバから送信される第 2用例を受信する受信手段と、前記サーバによって受信 された前記第 2用例を出力する発話出力手段と、前記発話受付手段によって受け付 けられた前記発話を前記サーバに送信する送信手段とを備え、前記サーバは、対話 で使用される第 1用例および第 2用例を対応付けて保持する用例データベースと、前
記第 1対話支援装置から送信された前記発話に基づいて前記用例データベースを 検索することによって第 1用例の候補を抽出し、抽出した前記第 1用例の候補の中か ら 1つの第 1用例を選択し、選択した前記第 1用例に対応する第 2用例を出力する用 例選択手段と、前記第 2対話支援装置から送信された発話に対応する第 2用例に基 づいて、前記用例選択手段によって抽出された前記第 1用例の候補について再評 価を行う用例再評価手段と、前記用例選択手段によって出力された前記第 2用例、 および前記用例再評価手段によって再評価された結果を前記第 1対話支援装置に 送信する送信手段とを備え、前記第 2対話支援装置は、ユーザの発話を受け付ける 発話受付手段と、前記サーバから送信される第 2用例を受信する受信手段と、前記 受信手段によって受信された前記第 2用例を出力する発話出力手段と、前記発話受 付手段によって受け付けられた前記発話を前記サーバに送信する送信手段とを備え ることを特徴とする。
[0024] なお、本発明は、このような対話支援装置として実現することができるだけでなぐこ のような対話支援装置が備える特徴的な手段をステップとする対話支援方法として実 現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりす ることもできる。そして、そのようなプログラムは、 CD— ROM等の記録媒体やインタ 一ネット等の伝送媒体を介して配信することができるのは言うまでもない。
[0025] 以下、本発明の実施の形態について、図面を参照しながら説明する。
[0026] (実施の形態 1)
図 1は本発明に係る対話支援装置の一実施の形態の構成を示すブロック図である
[0027] 対話支援装置は、人と人との対話を支援するための装置であり、図 1に示すように 用例データベース 101、発話受付部 102、用例選択部 103、送信部 104、受信部 10 5、発話出力部 106、および用例再評価部 107を備えている。
[0028] ここで、発話受付部 102は発話受付手段に、用例選択部 103は用例選択手段、候 補通知手段および選択指示受付手段に、送信部 104は送信手段に、受信部 105は 受信手段に、発話出力部 106は発話出力手段に、用例再評価部 107は用例再評価 手段に、それぞれ相当する。
[0029] 用例データベース 101は、対話で使用される用例を保持している。発話受付部 10 2は、ユーザの発話を受け付け、発話情報として出力する。用例選択部 103は、発話 情報に基づいて用例データベース 101の中から用例の候補を抽出し、抽出した用例 の候補の中から所望の用例を選択し、その用例に対応する用例を出力する。送信部 104は、用例選択部 103から出力される用例を相手ユーザの対話支援装置に送信 する。受信部 105は、相手ユーザの対話支援装置から出力される用例を受信する。 発話出力部 106は、受信部 105で受信された用例を出力する。用例再評価部 107 は、受信部 105で受信された用例に基づいて用例選択部 103に保持されている用 例の候補について再評価を行う。
[0030] なお、図 1に示すブロック図は本発明の基本構成であり、対話参加者 1人が 1つの 構成を使用し、送信部 104と受信部 105とをそれぞれ相手の対話支援装置の受信 部 105と送信部 104に接続することによって、対話支援装置を介した異言語対話が 実現される。対話支援装置は直接接続してもよいし、サーバなどを介して間接的に接 続してもよい。
[0031] 次に、上記のように構成された対話支援装置で異言語の対話を支援する場合の構 成について、さらに説明する。
[0032] 図 2 (a)、 (b)は対話支援装置の表示例を示す図である。 日本語を話すユーザ 1は 図 2 (a)に示す対話支援装置 201を使用し、英語を話すユーザ 2は図 2 (b)に示す対 話支援装置 202を使用するものとする。
[0033] 図 3は、対話支援装置 201の用例データベース 101が保持する用例の一例を示す 図である。第 1用例に相当する言語 1は自分の母国語、第 2用例に相当する言語 2は 相手の母国語である。例えば、用例選択部 103によって発話 No. 2が選択されると 対応する用例、すなわち、言語 2の用例" Good morning"と評価タグが出力される。対 話支援装置 202においては言語 1が英語、言語 2が日本語となる対称的な構成とな る。評価タグは各用例に事前に定義しておく。
[0034] 評価タグとして、定数タグと条件タグの 2種類を定義する。相手に情報を提供する用 例については、提供する情報の量に基づいて定数タグを付与する。ここでは、例えば 用例 No. 5が提供する情報の量が「電車」「バス」「地下鉄」の 3種類であるため、評価
タグとして定数タグ" v : 3"を付与する。形式的には" V: "が評価タグの種類が定数タグ であることを示し、 "3"が定数の値が 3であることを示している。
[0035] 相手からの情報に制限を与える用例については、条件タグを付与する。ここでは、 例えば用例データベース 101の用例 No. 12は、相手に対して要求する情報の量は 少ない方が望ましいことを意味するので、評価タグとして条件タグ" f : xく =y "を付与 する。形式的には" f : "が評価タグの種類が条件であることを示し、 "x< =y "が用例 選択部 103で保持される用例候補に含まれる用例を並べ替えるときに、その順序を 規定する条件式であることを示している。なお、用例 No. 1のように相手との情報の やりとりに関与しない用例については評価タグとして何も付与しない。
[0036] 発話受付部 102は、ユーザの発話を連続音声認識処理またはキーボードによって 文字情報として取得し、発話情報として出力する。ここで、発話情報はユーザの発話 に相当する文字列である。発話受付部 102がユーザの発話を連続音声認識処理に よって受け付ける場合は、言語モデルを用例データベース 101が保持する用例から 構築することで、音声認識精度を向上させることが可能である。また、発話受付部 10 2がユーザの発話をキーボードから受け付ける場合は、用例データベース 101が保 持する言語 1の用例を構成する単語に入力を限定することで、効率的に文字入力す ることが可能になる。
[0037] 図 4は用例選択部 103の動作の流れを示すフローチャートである。用例選択部 10 3は、図 4に示すフローチャートに従って発話情報に最も近い用例を選択してその対 訳用例と評価タグを出力する。
[0038] まず、用例選択部 103は、発話情報と用例データベース 101の言語 1のすベての 用例との類似度を計算する (ステップ S401)。ここで、用例選択部 103は、類似度と して例えば図 5に示す動的計画法を用いて発話情報と各用例との距離を計算する。 図 5の動的計画法において、文の構成単位は文字または単語または読みの文字な どのいずれか、あるいは、その組み合わせである。例えば、構成単位が単語でひ = 1 の場合、文 1 = {電車か、バスで }と文 2 = {電車か、バスで、行けます }の類似度は a [ 2] [3] = 1として計算される。この計算では文 1と文 2が類似するほど値が小さい。
[0039] 次に、用例選択部 103は、最も類似する用例から順に並べて用例候補 Eを作成す
る(ステップ S402)。そして、用例選択部 103は、用例候補 Eをユーザに提示する(ス テツプ S403)。次に、用例選択部 103は、ユーザによって指示された所望の用例 eを 選択する(ステップ S404)。そして、用例選択部 103は、用例データベース 101を参 照して用例 eの対訳用例と評価タグを出力する (ステップ S405)。このとき、用例選択 部 103は、用例候補 Eをユーザによって所望の用例 eが選択されるまで保持し、用例 eが選択された時点で空にセットする。
[0040] 送信部 104は、用例選択部 103から順次出力される用例データベース 101の言語
2の用例とその評価タグを相手の対話支援装置に送信する。送信された情報は相手 の対話支援装置の受信部 105で受信され、発話出力部 106を通じて相手に出力さ れる。発話出力部 106は、例えば LCDなどの表示デバイスまたは音声合成処理、あ るいはその組み合わせで構成する。
[0041] 用例再評価部 107は、用例選択部 103が用例候補 Eを保持し、かつ、ユーザが所 望の用例 eを選択していない段階、すなわちステップ S403のときに、相手の対話支 援装置から対訳用例と評価タグが送信された場合、その評価タグを用いて用例候補 Eに含まれる用例の再評価を行う。そして、用例再評価部 107は、用例候補 Eに含ま れる用例を並べ替えてユーザに提示する。
[0042] 以下、上記のように構成された対話支援装置で異言語の対話を支援する場合の動 作について説明する。
[0043] 図 6はこのときの全体の動作の流れを示すフローチャートである。ここでは、図 7に 示すように空港へ行く安い方法が知りたい旅行者あるユーザ 1が、現地の交通機関 に詳しい通行人であるユーザ 2と対話を行う場合を例として説明する。ここでは、空港 へ行く方法としては電車またはバスまたは地下鉄があり、地下鉄が一番安い交通手 段であると仮定する。
[0044] 図 8 (a)に示すようにユーザ 1が発話入力ボタン 601を押して、「空港へ行きたレ、」を 発話 (ステップ S101)したとする。発話受付部 102は、音声認識処理によって文字情 報に変換し、発話情報として「空港へ行きたい」を出力する。図 9 (a)に示すように発 話情報は表示領域 701に表示される。発話情報は用例選択部 103によって用例デ ータベース 101に含まれるすべての言語 1の用例との類似度が計算され、ステップ S
402で用例候補 E= {空港へ行きたレ、 }が得られる。ステップ S403において用例候 補に含まれる用例は表示領域 702に順に表示される(ステップ S 102)。
[0045] 図 10 (a)に示すように、ユーザ 1が所望の用例 eとして表示領域 702から「空港へ行 きたレ、」を選択(ステップ S 103)すると、その対訳用例である" I want to go to the airp ort"は表示領域 801に表示される。また、対訳用例とその評価タグは送信部 104によ つてユーザ 2の対話支援装置 202に送信される(ステップ S 104)。ユーザ 2の対話支 援装置 202では受信部 105がそれを受信 (ステップ S 105)し、図 10 (b)に示すように ユーザ 2に対して発話" I want to go to the ai卬 ort〃が発話として提供される(ステップ S 106)。
[0046] 同様にユーザ 2が図 11 (b)に示すように、発話入力ボタン 901を押して、〃 You can go by train, by bus or by subway"と発話する(ステップ S I 07)。図 12 (b)に示すよう に発話受付部 102によって発話は文字情報に変換されて表示領域 1001に表示さ れる。発話受付部 102が音声認識処理で構成されている場合、長い発声に対しては 音声認識誤りが発生する確率が高い。ここでは単語の脱落誤りが発生し、文字情報 として〃 You can go by train, by bus"が得られたと仮定する。用例選択部 103は、こ の発話情報に対して用例データベース 101に含まれるすべての用例との類似度を計 算し、用例候補 E= {
Y¾U can go by tram or by bus (1)
You can go by train or by subway (2)
You can go by bus or by subway (2)
You can go by train (2)
You can go by bus (2)
You can go by train, by bus or by subway (3)
You can go by subway (3)
}
を作成する (ステップ S 108)。なお、用例に付随する括弧書きの数字は図 5の動的計 画法で計算された類似度である。用例選択部 103によって作成された用例候補 Eは 表示領域 1002に表示される。
[0047] この場合、ユーザ 2がこの用例候補の中から所望の用例 eを素早く選択できればよ レ、が、一般に携帯端末などのような小型のデバイスにおいてはこの選択操作には時 間を要する。例えば、図 12のように用例候補を同時に 3文しか表示できないような場 合には、表示をスクロールさせながら逐一確認せざるを得ないので選択に時間を要 する。
[0048] ここで、ユーザ 2が所望の用例 eを検索している最中に、図 13 (a)に示すようにユー ザ 1が次の発話「最も安いのがいいです」を表示領域 701へ入力(ステップ S 109)し たとする。上記と同様にユーザ 1が所望する用例 e =「最も安いのがいいです」を表示 領域 702から選択 (ステップ S 110、 S 111)すると、用例 e =「最も安いのがいいです」 とその評価タグ" f : xく =y "がユーザ 2の対話支援装置 202に送信される (ステップ S 112)。送信された内容は図 14 (b)に示すようにユーザ 2の対話支援装置 202から出 力(ステップ S 113、 S 114)されるので、ユーザ 2は地下鉄が一番安い交通手段であ ることから" You can go by subway"を選択しようと用例の検索方針を変更する。
[0049] 次に、ユーザ 2の対話支援装置の用例再評価部 107は、用例選択部 103が保持 する用例候補 E= {
You can go by tram or by bus ( 1 )く v : 2
You can go by train or by subway (2) < v : 2 >
You can go by bus or by subway (2) < v : 2 >
You can go by train (2) <v : 1 >
You can go by bus (2) <v : 1ノ
You can go by train, by bus or by subway 3) < v : 3 >
You can go by subway (3) < v : 1 > を、ユーザ 1の対話支援装置 201から送信された評価タグ" f : xく =y "を用いて再評 価する(ステップ S 115)。すなわち、用例候補 Eに含まれるすべての用例について用 例データベース 101で定義されている評価タグを参照しながら、定数部が条件式 Xく
=yを満たすように並べ替える。したがって、評価タグとして定数タグ v : nを持つ用例 で、 nが小さい用例ほど候補の先頭となり、用例候補 Eは、
E={
You can go by train (2) <v: 1 >
You can go by bus (2) <v: 1 >
You can go by subway (3) <v: 1 >
You can go by train or by bus (1) <v: 2>
You can go by train or by subway (2) <v: 2>
You can go by bus or by subway (2) <v: 2>
You can go by train, by bus or by subway (3) <v: 3>
}
となる。並べ替えられた用例候補はユーザ 2に対して、図 15(b)に示すようにユーザ に用例候補の中から所望の用例を選択することを促すメッセージ 1301と共に提示さ れる。
[0050] したがって、ユーザ 2は図 16(b)に示すように所望の用例として用例 e =〃 You can go by subway〃をすぐに選択(ステップ SI 16)することができるので、図 16(a)に示す ようにユーザ 1に対して「地下鉄で行けます」が迅速に出力される(ステップ S117〜S 119)。
[0051] 用例再評価部 107が存在しない従来の方式では、上記の例において、ユーザ 2は 発話入力ボタン 901を押して" You can go by subway〃を発声し、再度用例を検索す るのが一般的である。なぜなら用例の候補を検索してもそのような用例が含まれてレヽ るかどうかはその時点では不明であり、再度最初から検索した方が早いと判断するか らである。ここで、本実施の形態の効果を定量的に検証する。ユーザが発話を入力し てから所望の用例を選択するまでの平均操作量を Tと仮定する。例としてユーザ 1と ユーザ 2が対話支援装置を介して以下の対話
ュ' ~ザ 1: I want to go to the airport.
(ユーザ 2:「電車かバスか地下鉄で行けます」 )
ュ' ~ザ 1: ihe cheapest is welcomed.
ユーザ 2:「地下鉄で行けます」
を行った場合 (カツコ内は相手からの割り込み発話によって対話支援装置から出力さ
れなかった発話)、図 17 (a)、(b)に示すタイミングであったとすると、図 17 (a)に示す 従来の方式ではユーザ 2は「地下鉄で行けます」を生成するのに 2Tに近い操作量を 費やしている。し力しながら、図 17 (b)に示す本実施の形態では用例再評価部 107 によって用例候補が再評価されるため、最初から検索し直す必要がなぐ「地下鉄で 行けます」を生成するのに 1. 5Tの操作量でよい。したがって、対話全体で見たとき の 1発話の生成に要する装置の操作量が削減されることになる。
[0052] なお、図 18に示すように、図 1に示す対話支援装置の構成に加えて、用例選択部
103で選択された用例と、受信部 105で受信する相手の対話支援装置からの用例を 記録し、話題の変化を検出する話題変化検出部 1601を備え、用例再評価部 107が 話題変化検出部 1601によって検出された話題の変化の有無に応じて再評価を行つ てもよレ、。ここで、話題変化検出部 1601は、例えば「ところで」、「さて」等の言葉によ り話題の変化を検出することができる。すなわち、話題が変化した際に用例再評価部 107が用例選択部 103に保持されている用例候補について再評価を行わないように 制御することで、話題が変化したために所望の用例を含まなくなった用例候補の中 力 ユーザに用例を探さないように導き、装置の操作量を増加させないことが可能に なる。また、このときに、図 19に示すようにユーザに発話の入力を促すメッセージ 170 1を表示してもよい。メッセージ 1701によって、ユーザは現在表示されている用例候 補を無視して最初から入力すべきであると判断できるので、さらにユーザの 1発話の 生成に要する装置の操作量を削減することが可能になる。
[0053] また、定数タグと条件タグについては、上記のような数量的な記述だけでなぐ用例 の情報の種類に応じてさらに細分化あるいは記号化あるいはグラフ構造ィヒして定義 してもよレ、。以下、本実施の形態において用例データベース 101が図 20に示すよう に構成され、異言語の対話を支援する場合の動作について説明する。ここでは、ュ 一ザ 1は初めて現地を訪れた旅行者であり、ユーザ 2は現地の住人であると仮定する 。また、現地の気候は暑くて湿度が高いと仮定する。
[0054] 図 20に示す各用例の評価タグは数量的な記述ではなぐ記号を用いて論理的な 記述で構成する。例えば、発話 No. 1の評価タグ" f : x = CLIM"は条件タグであり、 条件式 x = CLIMは定数タグが気候を意味する記号 CLIMに一致するという条件を
示している。また、例えば No. 4の評価タグ" v : TEMP | CLIM"は定数タグであり、 定数 TEMP | CLIMは定数が温度を意味する記号 TEMPまたは CLIMであること を示している。
[0055] 図 21 (a)に示すようにユーザ 1が発話入力ボタン 601を押して、「この辺りの気候は レ、かがですカ を発話したとする。発話受付部 102は、音声認識処理によって文字情 報に変換し、発話情報として「この辺りの気候はいかがですか」を出力する。図 22 (a) に示すように発話情報は表示領域 701に表示される。発話情報は用例選択部 103 によって用例データベース 101に含まれるすべての言語 1の用例との類似度が計算 され、ステップ S402で用例候補 E=にの辺りの気候はいかがですカ が得られる。 ステップ S403において用例候補に含まれる用例は表示領域 702に順に表示される
[0056] 図 23 (a)に示すように、ユーザ 1が所望の用例 eとして表示領域 702から「この辺り の気候はいかがです力」を選択すると、その対訳用例である〃 How is the climate here 〃は表示領域 801に表示される。また、対訳用例とその評価タグは送信部 104によつ てユーザ 2の対話支援装置 202に送信される。ユーザ 2の対話支援装置 202では受 信部 105がそれを受信し、ユーザ 2に対して発話" How is the climate here"が発話と して提供される。
[0057] 同様にユーザ 2が図 24 (b)に示すように、発話入力ボタン 901を押して、 " It's very dry here"と発話する。図 25 (b)に示すように発話受付部 102によって発話は文字情 報に変換されて表示領域 1001に表示される。発話受付部 102が音声認識処理で 構成されている場合、発声時間の短い単語について音声認識誤りが発生する確率 が高い。ここでは単語の脱落誤りが発生し、文字情報として" It's very here"が得られ たと仮定する。用例選択部 103は、この発話情報に対して用例データベース 101に 含まれるすべての用例との類似度を計算し、用例候補 E= {
it s very cold here (1ノ
It's very warm here (l)
It's very wet here (l)
It's very sunny here (1)
It's very mild here (1)
It's very dry here (l)
It's very cloudy here (l)
It's very hot here (1)
}
を作成する。なお、用例に付随する括弧書きの数字は図 5の動的計画法で計算され た類似度である。用例選択部 103によって作成された用例候補 Eは表示領域 1002 に表示される。
[0058] この場合、ユーザ 2がこの用例候補の中から所望の用例 eを素早く選択できればよ レ、が、一般に携帯端末などのような小型のデバイスにおいてはこの選択操作には時 間を要する。例えば図 25のように用例候補を同時に 3文しか表示できないような場合 には、表示をスクロールさせながら逐一確認せざるを得ないので選択に時間を要す る。
[0059] ここで、ユーザ 2が所望の用例 eを検索している最中に、図 26 (a)に示すようにユー ザ 1が次の発話「気温はどうです力」を表示領域 701へ入力したとする。上記と同様 にユーザ 1が所望する用例 e=「気温はどうですか」を表示領域 702から選択すると、 用例 e =「気温はどうです力」とその評価タグ" f : x=TEMP"がユーザ 2の対話支援 装置 202に送信される。送信された内容は図 27 (b)に示すようにユーザ 2の対話支 援装置 202から出力されるので、ユーザ 2は具体的には気温の情報を求めていること 力ら" It's very hot"を相手に伝えようと用例の検索方針を変更せざるを得なレ、。用例 再評価部 107が存在しない従来の方式では、ユーザ 2は発話入力ボタン 901を押し て" It's very hot here"を発声し、再度用例を検索するのが一般的である。なぜなら用 例の候補を検索してもそのような用例が含まれているかどうかはその時点では不明で あり、再度最初から検索した方が早いと判断するからである。
[0060] し力、しながら、本実施の形態では、ユーザ 2の対話支援装置の用例再評価部 107
、用例選択部 103が保持する用例候補 E= {
It's very cold here (l) <v : TEMP | CLIM >
It's very warm here (l) <v : TEMP | CLIM >
It's very wet here (1) <v: HUM | CLIM>
It's very sunny here (1) <v: CLIM>
It's very mild here(l) <v:TEMP | HUM | CLIM>
It's very dry here(l) <v:HUM | CLIM>
It's very cloudy here (1) <v: CLIM>
It's very hot here (1)く v:TEMP | CLIM>
}
は、ユーザ 1の対話支援装置 201からの評価タグ" f:x=TEMP"を用いて再評価す る。すなわち、用例候補 Eに含まれるすべての用例について用例データベース 101 で定義されている評価タグを参照しながら、定数部が条件式 x=TEMPを満たすよう に並べ替える。したがって、評価タグとして定数タグ" v:n"を持つ用例で、 n力 STEMP に一致する用例ほど候補の先頭となり、用例候補 Eは、
E={
It's very cold here(l) <v:TEMP | CLIM>
It's very warm here(l) <v:TEMP | CLIM>
It's very hot here (1) < v:TEMP | CLIM>
It's very mild here(l) <v:TEMP | HUM | CLIM>
It's very wet here (1) <v: HUM | CLIM>
It's very sunny here山 <v: CLIM>
It's very dry here(l) <v:HUM | CLIM>
It's very cloudy here(l) <v: CLIM>
}
となる。ここで、用例 No. limit's very hot here"(l) <v:TEMP | CLIM>力 用例 No.8 "It's very mild here"(l) <v:TEMP | HUM | CLIM>よりも前に並べられ るのは、その用例の条件式 x=TEMPに対する意味的な条件式充足度が高いから である。すなわち、各用例の解釈可能範囲は、その定数タグの定数の種類数によつ て計算され、解釈可能範囲が小さいほど意味的な条件式充足度が高いと判断する。 例えば、用例 No.8の解釈可能範囲は 3であるが、用例 No. 11の解釈可能範囲は 2
である。したがって、用例再評価部 107は、用例 No. 11を用例 No. 8よりも前に並べ る。並べ替えられた用例候補はユーザ 2に対して、図 28 (b)に示すようにユーザに用 例候補の中から所望の用例を選択することを促すメッセージ 1301と共に提示される
[0061] したがって、ユーザ 2は図 29 (b)に示すように所望の用例として用例 e =〃 It's very hot here"をすぐに選択することができるので、図 29 (a)に示すようにユーザ 1に対し て「ここはとても暑いです」が迅速に出力される。
[0062] 以上のように、用例候補を再評価しているので、最初から検索し直す必要がなぐ 対話全体で見たときの 1発話の生成に要する操作量を削減することができる。
[0063] ここまでは、対話支援装置において、ユーザ 1が日本語を話し、ユーザ 2が英語を 話すと仮定した場合について説明したが、以下では、ユーザ 1が中国語を話し、ユー ザ 2が英語を話すと仮定した場合について説明する。ここでは、上記同様に図 7に示 すように空港へ行く安い方法が知りたい旅行者あるユーザ 1が、現地の交通機関に 詳しい通行人であるユーザ 2と対話を行う場合を例として説明する。また、上記同様 に空港へ行く方法としては電車またはバスまたは地下鉄があり、地下鉄が一番安い 交通手段であると仮定する。なお、上記と同様の構成については説明を省略する。
[0064] 図 30 (a)、 (b)は対話支援装置の表示例を示す図である。中国語を話すユーザ 1 は図 30 (a)に示す対話支援装置 201を使用し、英語を話すユーザ 2は図 30 (b)に示 す対話支援装置 202を使用するものとする。
[0065] 図 31は、対話支援装置 201の用例データベース 101が保持する用例の一例を示 す図である。第 1用例に相当する言語 1は自分の母国語、第 2用例に相当する言語 2 は相手の母国語である。例えば、用例選択部 103によって発話 No. 2が選択される と対応する用例、すなわち、言語 2の用例" Good morning"と評価タグが出力される。 対話支援装置 202においては言語 1が英語、言語 2が中国語となる対称的な構成と なる。評価タグは各用例に事前に定義しておく。
[0066] 図 32 (a)に示すようにユーザ 1が発話入力ボタン 601を押して、
「想去机场」
を発話 (ステップ S 101)したとする。発話受付部 102は、音声認識処理によって文字 情報に変換し、発話情報として
「想去机场」 を出力する。図 33 (a)に示すように発話情報は表示領域 701に表示される。発話情 報は用例選択部 103によって用例データベース 101に含まれるすべての言語 1の用 例との類似度が計算され、ステップ S402で用例候補 E =
{想去机场} が得られる。ステップ S403において用例候補に含まれる用例は表示領域 702に順 に表示される(ステップ S102)。
[0067] 図 34 (a)に示すように、ユーザ 1が所望の用例 eとして表示領域 702から
「想去机场」 を選択(ステップ S 103)すると、その対訳用例である" I want to go to the ai卬 ort"は 表示領域 801に表示される。また、対訳用例とその評価タグは送信部 104によってュ 一ザ 2の対話支援装置 202に送信される(ステップ S 104)。ユーザ 2の対話支援装置 202では受信部 105がそれを受信(ステップ S 105)し、図 34 (b)に示すようにユーザ 2に対して発話" I want to go to the ai卬 ort〃が発話として提供される(ステップ S 106)
[0068] 同様にユーザ 2が図 35 (b)に示すように、発話入力ボタン 901を押して、 " You can go by train, by bus or by subway"と発話する(ステップ S I 07)。図 36 (b)に示すよう に発話受付部 102によって発話は文字情報に変換されて表示領域 1001に表示さ れる。発話受付部 102が音声認識処理で構成されている場合、長い発声に対しては 音声認識誤りが発生する確率が高い。ここでは単語の脱落誤りが発生し、文字情報 として〃 You can go by train, by bus"が得られたと仮定する。用例選択部 103は、こ の発話情報に対して用例データベース 101に含まれるすべての用例との類似度を計 算し、用例候補 E= {
ou can go by tram or by bus (1)
You can go by train or by subway (2)
You can go by bus or by subway (2)
You can go by train (2)
You can go by bus (2)
You can go by train, by bus or by subway (3)
You can go by subway (3)
}
を作成する (ステップ S 108)。なお、用例に付随する括弧書きの数字は図 5の動的計 画法で計算された類似度である。用例選択部 103によって作成された用例候補 Eは 表示領域 1002に表示される。
[0069] この場合、ユーザ 2がこの用例候補の中から所望の用例 eを素早く選択できればよ レ、が、一般に携帯端末などのような小型のデバイスにおいてはこの選択操作には時 間を要する。例えば、図 36のように用例候補を同時に 3文しか表示できないような場 合には、表示をスクロールさせながら逐一確認せざるを得ないので選択に時間を要 する。
[0070] ここで、ユーザ 2が所望の用例 eを検索している最中に、図 37 (a)に示すようにユー ザ 1が次の発話
「最便宜的好」
を表示領域 701へ入力(ステップ S109)したとする。上記と同様にユーザ 1が所望す る用例 e =
「最便宜的好」
を表示領域 702から選択 (ステップ S 110、 S 111)すると、用例 e = 「最便宜的好」 とその評価タグ" f : x< = 'がユーザ 2の対話支援装置 202に送信される (ステップ S 112)。送信された内容は図 38 (b)に示すようにユーザ 2の対話支援装置 202から出 力(ステップ S 113、 S 114)されるので、ユーザ 2は地下鉄が一番安い交通手段であ
ること力 ' You can go by subway〃を選択しようと用例の検索方針を変更する。
次に、ユーザ 2の対話支援装置の用例再評価部 107は、用例選択部 103が保持 する用例候補 E={
ou can go by tram or by bus ( 1 )く v : 2〉
You can go by train or by subway (2) <v: 2>
You can go by bus or by subway (2) <v: 2>
You can go by train (2) <v: 1 >
You can go by bus (2) <v: 1 >
You can go by train, by bus or by subway (3) <v: 3>
You can go by subway (3)く v: 1〉
}
を、ユーザ 1の対話支援装置 201から送信された評価タグ" f:xく = 'を用いて再評 価する(ステップ S115)。すなわち、用例候補 Eに含まれるすべての用例について用 例データベース 101で定義されている評価タグを参照しながら、定数部が条件式 Xく =yを満たすように並べ替える。したがって、評価タグとして定数タグ v:nを持つ用例 で、 nが小さい用例ほど候補の先頭となり、用例候補 Eは、
E={
You can go by train (2)く v: 1〉
You can go by bus (2) <v: 1 >
You can go by subway、3) <v: 1 >
You can go by train or by bus (1) <v: 2>
You can go by train or by subway (2) <v: 2>
You can go by bus or by subway (2) <v: 2>
You can go by train, by bus or by subway (3)く v: 3>
}
となる。並べ替えられた用例候補はユーザ 2に対して、図 39(b)に示すようにユーザ に用例候補の中から所望の用例を選択することを促すメッセージ 1301と共に提示さ れる。
[0072] したがって、ユーザ 2は図 40 (b)に示すように所望の用例として用例 e =〃 You can go by subway〃をすぐに選択(ステップ S I 16)することができるので、図 40 (a)に示す ようにユーザ 1に対して
「坐地铁就能去」
が迅速に出力される(ステップ S 117〜S 119)。
[0073] 用例再評価部 107が存在しない従来の方式では、上記の例において、ユーザ 2は 発話入力ボタン 901を押して" You can go by subway〃を発声し、再度用例を検索す るのが一般的である。なぜなら用例の候補を検索してもそのような用例が含まれてレヽ るかどうかはその時点では不明であり、再度最初から検索した方が早いと判断するか らである。ここで、本実施の形態の効果を定量的に検証する。ユーザが発話を入力し てから所望の用例を選択するまでの平均操作量を Tと仮定する。例としてユーザ 1と ユーザ 2が対話支援装置を介して以下の対話
ュ' ~ザ 1: I want to go to the airport.
(ユーザ 2 :
「坐电车, 巴士, 或者坐地铁就能去」
)
ュ' ~~ザ 1: he cheapest is welcomed.
ユーザ 2 :
「坐地铁就能去」
を行った場合 (カツコ内は相手からの割り込み発話によって対話支援装置から出力さ れなかった発話)、図 41 (a)、 (b)に示すタイミングであったとすると、図 41 (a)に示す 従来の方式ではユーザ 2は
「坐地铁就能去」
を生成するのに 2Tに近い操作量を費やしている。し力しながら、図 41 (b)に示す本 実施の形態では用例再評価部 107によって用例候補が再評価されるため、最初から 検索し直す必要がなぐ
「坐地铁就能去」 を生成するのに 1. 5Tの操作量でよい。したがって、対話全体で見たときの 1発話の 生成に要する装置の操作量が削減されることになる。
[0074] 次に、本実施の形態において用例データベース 101が図 42に示すように構成され 、異言語の対話を支援する場合の動作について説明する。ここでは、中国語を話す ユーザ 1は初めて現地を訪れた旅行者であり、英語を話すユーザ 2は現地の住人で あると仮定する。また、現地の気候は暑くて湿度が高いと仮定する。
[0075] 図 42に示す各用例の評価タグは数量的な記述ではなぐ記号を用いて論理的な 記述で構成する。例えば、発話 No. 1の評価タグ" f : x = CLIM"は条件タグであり、 条件式 x = CLIMは定数タグが気候を意味する記号 CLIMに一致するという条件を 示している。また、例えば No. 4の評価タグ" v:TEMP I CLIM"は定数タグであり、 定数 TEMP I CLIMは定数が温度を意味する記号 TEMPまたは CLIMであること を示している。
[0076] 図 43 (a)に示すようにユーザ 1が発話入力ボタン 601を押して、 「这个附近的气候怎样」
を発話したとする。発話受付部 102は、音声認識処理によって文字情報に変換し、 発話情報として
「这个附近的气候怎样」
を出力する。図 44 (a)に示すように発話情報は表示領域 701に表示される。発話情 報は用例選択部 103によって用例データベース 101に含まれるすべての言語 1の用 例との類似度が計算され、ステップ S402で用例候補 E =
{这个附近的气候怎样}
が得られる。ステップ S403において用例候補に含まれる用例は表示領域 702に順 に表示される。
[0077] 図 45 (a)に示すように、ユーザ 1が所望の用例 eとして表示領域 702から 「迖个附近的气候怎样」
を選択すると、その対訳用例である" How is the climate here "は表示領域 801に表示 される。また、対訳用例とその評価タグは送信部 104によってユーザ 2の対話支援装 置 202に送信される。ユーザ 2の対話支援装置 202では受信部 105がそれを受信し 、ユーザ 2に対して発話" How is the climate here"が発話として提供される。
[0078] 同様にユーザ 2が図 46 (b)に示すように、発話入力ボタン 901を押して、〃 It's very dry here "と発話する。図 47 (b)に示すように発話受付部 102によって発話は文字情 報に変換されて表示領域 1001に表示される。発話受付部 102が音声認識処理で 構成されている場合、発声時間の短い単語について音声認識誤りが発生する確率 が高い。ここでは単語の脱落誤りが発生し、文字情報として" It's very here"が得られ たと仮定する。用例選択部 103は、この発話情報に対して用例データベース 101に 含まれるすべての用例との類似度を計算し、用例候補 E= {
it s very cold here (1ノ
It's very warm here (l)
It's very wet here (l)
It's very sunny here (1)
It's very mild here (1)
It's very dry here )
It's very cloudy here、丄 J
It's very hot here )
}
を作成する。なお、用例に付随する括弧書きの数字は図 5の動的計画法で計算され た類似度である。用例選択部 103によって作成された用例候補 Eは表示領域 1002 に表示される。
[0079] この場合、ユーザ 2がこの用例候補の中から所望の用例 eを素早く選択できればよ レ、が、一般に携帯端末などのような小型のデバイスにおいてはこの選択操作には時 間を要する。例えば図 47のように用例候補を同時に 3文しか表示できないような場合 には、表示をスクロールさせながら逐一確認せざるを得ないので選択に時間を要す る。
[0080] ここで、ユーザ 2が所望の用例 eを検索している最中に、図 48 (a)に示すようにユー ザ 1が次の発話
「气温怎样」
を表示領域 701へ入力したとする。上記と同様にユーザ 1が所望する用例 e =
「气温怎样」
を表示領域 702から選択すると、用例 e =
「气温怎样」
とその評価タグ" f:x=TEMP"がユーザ 2の対話支援装置 202に送信される。送信 された内容は図 49(b)に示すようにユーザ 2の対話支援装置 202から出力されるの で、ユーザ 2は具体的には気温の情報を求めていることから "It's very hot"を相手に 伝えようと用例の検索方針を変更せざるを得ない。用例再評価部 107が存在しない 従来の方式では、ユーザ 2は発話入力ボタン 901を押して" It's very hot here"を発 声し、再度用例を検索するのが一般的である。なぜなら用例の候補を検索してもその ような用例が含まれているかどうかはその時点では不明であり、再度最初から検索し た方が早いと判断するからである。
[0081] し力しながら、本実施の形態では、ユーザ 2の対話支援装置の用例再評価部 107 力 用例選択部 103が保持する用例候補 E= {
It's very cold here(l) <v:TEMP | CLIM>
It's very warm here(l) <v:TEMP | CLIM>
It's very wet here (1) <v: HUM | CLIM>
It's very sunny here (1) <v: CLIM>
It's very mild here(l) <v:TEMP | HUM | CLIM>
It's very dry here(l) <v:HUM | CLIM>
It's very cloudy here J <v: CLIM>
It's very hot here (1)く v:TEMP | CLIM>
}
は、ユーザ 1の対話支援装置 201からの評価タグ" f:x=TEMP"を用いて再評価す
る。すなわち、用例候補 Eに含まれるすべての用例について用例データベース 101 で定義されている評価タグを参照しながら、定数部が条件式 x=TEMPを満たすよう に並べ替える。したがって、評価タグとして定数タグ" v:n"を持つ用例で、 n力 STEMP に一致する用例ほど候補の先頭となり、用例候補 Eは、
E={
It's very cold here(l) <v:TEMP | CLIM>
It's very warm here(l) <v:TEMP | CLIM>
It's very hot here (1)く v:TEMP | CLIM>
It's very mild here(l) <v:TEMP | HUM | CLIM>
It's very wet here (1) <v: HUM | CLIM>
It's very sunny here (1) <v: CLIM>
It's very dry here(l) <v:HUM | CLIM>
It's very cloudy here (1ノ <v: CLIM>
}
となる。ここで、用例 No. limit's very hot here"(l) <v:TEMP | CLIM>力 用例 No.8 "It's very mild here"(l) <v:TEMP | HUM | CLIM>よりも前に並べられ るのは、その用例の条件式 x=TEMPに対する意味的な条件式充足度が高いから である。すなわち、各用例の解釈可能範囲は、その定数タグの定数の種類数によつ て計算され、解釈可能範囲が小さいほど意味的な条件式充足度が高いと判断する。 例えば、用例 No.8の解釈可能範囲は 3である力 用例 No. 11の解釈可能範囲は 2 である。したがって、用例再評価部 107は、用例 No. 11を用例 No. 8よりも前に並べ る。並べ替えられた用例候補はユーザ 2に対して、図 50(b)に示すようにユーザに用 例候補の中から所望の用例を選択することを促すメッセージ 1301と共に提示される したがって、ユーザ 2は図 51 (b)に示すように所望の用例として用例 e =〃 It's very hot here"をすぐに選択することができるので、図 51 (a)に示すようにユーザ 1に対し て
「这里非常热」
が迅速に出力される。
[0083] 以上のように、用例候補を再評価しているので、最初から検索し直す必要がなぐ 対話全体で見たときの 1発話の生成に要する操作量を削減することができる。
[0084] なお、図 52に示すように対話支援装置が発話受付部 102と送信部 104と受信部 1 05と発話出力部 106とを備え、インターネット等のネットワーク 2210を介して対話支 援装置と接続されるサーバが用例データベース 101と用例選択部 103と用例再評価 部 107とを備えるシステムとして構成することも可能である。この場合、送信部 104が 発話情報をサーバに送信し、サーバの受信部 2201が受信する。そして、サーバの 送信部 2202が、サーバが発話情報に基づいて特定した用例候補をユーザの対話 支援装置の受信部 106に送信することになる。また、サーバは、ユーザの対話支援 装置から用例候補の中から 1つの用例が選択されたことを受信すると、選択された用 例に対応する対訳用例をユーザの対話支援装置に送信する。ここで、ユーザの対話 支援装置において用例候補の中から 1つの用例が選択されるまでに、サーバの受信 部 2201が相手ユーザの対話支援装置から発話情報を受信し、この発話情報に基づ いて特定した用例候補を相手ユーザの対話支援装置に送信した後、相手ユーザの 対話支援装置から用例候補の中から 1つの用例が選択されたことを受信したとする。 この場合、サーバの送信部 2202は、選択された用例に対応する対訳用例をユーザ の対話支援装置に送信するとともに、サーバの用例再評価部 107が選択された用例 に対応する評価タグを用いて再評価を行い、再評価を行った用例候補をユーザの対 話支援装置に送信することになる。
[0085] また、本実施の形態では、一例として日本語と英語の場合と、中国語と英語の場合 とを取り上げたが、仏語など他の言語についても同様に実施可能であり、本発明は 言語に依存しない。
産業上の利用可能性
[0086] 本発明に係る対話支援装置は、対話参加者の発話を速やかに完了させる機能を 有し、携帯電話や携帯端末等の翻訳アプリケーションソフトウェア等として有用である 。また公共の街頭端末や案内端末等の用途にも応用できる。さらに、同言語の対話 では、定型文のチャットシステムなどの用途にも応用できる。
Claims
請求の範囲
[1] 対話を支援する対話支援装置であって、
対話で使用される第 1用例および第 2用例を対応付けて保持する用例データべ一 スと、
ユーザの発話を受け付ける発話受付手段と、
前記発話受付手段によって受け付けられた前記発話に基づいて前記用例データ ベースを検索することによって第 1用例の候補を抽出し、抽出した前記第 1用例の候 補の中から 1つの第 1用例を選択し、選択した前記第 1用例に対応する第 2用例を出 力する用例選択手段と、
前記用例選択手段によって出力された前記第 2用例を相手ユーザの対話支援装 置に送信する送信手段と、
前記相手ユーザの対話支援装置から送信される第 2用例を受信する受信手段と、 前記受信手段によって受信された前記第 2用例を出力する発話出力手段と、 前記受信手段によって受信された前記第 2用例に基づいて、前記用例選択手段に よって抽出された前記第 1用例の候補について再評価を行う用例再評価手段と を備えることを特徴とする対話支援装置。
[2] 前記用例データベースは、さらに、前記第 1用例および前記第 2用例と評価タグと を対応付けて保持し、
前記用例選択手段は、出力する前記第 2用例に、当該第 2用例に対応する評価タ グを含めて出力し、
前記用例再評価手段は、前記受信手段によって受信された前記第 2用例に含まれ る前記評価タグに基づいて、前記第 1用例の候補について再評価を行う
ことを特徴とする請求項 1記載の対話支援装置。
[3] 前記評価タグは、提供する情報に関する定数タグ、および要求する情報の条件を 示す条件タグの少なくとも 1つであり、
前記用例再評価手段は、前記第 2用例に含まれる前記評価タグの条件タグと、前 記第 1用例の候補それぞれに対応する評価タグの定数タグとに基づいて、前記第 1 用例の候補について再評価を行う
ことを特徴とする請求項 2記載の対話支援装置。
[4] 前記用例再評価手段は、前記用例選択手段によって前記第 1用例の候補の中か ら 1つの第 1用例が選択される前に、前記受信手段によって前記相手ユーザの対話 支援装置から前記第 2用例が受信された場合、前記第 1用例の候補について再評 価を行う
ことを特徴とする請求項 1記載の対話支援装置。
[5] 前記用例再評価手段は、前記用例選択手段によって前記第 1用例の候補の中か ら 1つの第 1用例が選択される前に、前記受信手段によって前記相手ユーザの対話 支援装置から前記第 2用例が受信された場合、前記第 1用例の候補について再評 価を行うとともに、前記ユーザに前記第 1用例候補の中から 1つの第 1用例を選択す ることを促す
ことを特徴とする請求項 4記載の対話支援装置。
[6] 前記対話支援装置は、さらに、
前記用例選択手段によって抽出された前記第 1用例の候補を前記ユーザに通知 する候補通知手段と、
前記第 1用例の候補の中から 1つの第 1用例の選択指示を前記ユーザから受け付 ける選択指示受付手段とを備え、
前記用例選択手段は、前記選択指示受付手段によって受け付けられた前記選択 指示により前記第 1用例を選択する
ことを特徴とする請求項 1記載の対話支援装置。
[7] 前記候補通知手段は、前記用例再評価手段によって再評価された結果に基づい て、前記第 1用例の候補を並べ替えて前記ユーザに通知する
ことを特徴とする請求項 6記載の対話支援装置。
[8] 前記対話支援装置は、さらに、
前記受信手段によって受信された前記第 2用例に基づいて、話題の変化を検出す る話題変化検出手段を備え、
前記用例再評価手段は、前記用例選択手段によって前記第 1用例の候補の中か ら 1つの第 1用例が選択される前に、前記受信手段によって前記相手ユーザの対話
支援装置から前記第 2用例が受信され、かつ前記話題変化検出手段によって話題 の変化が検出された場合、前記第 1用例の候補について再評価を行わない
ことを特徴とする請求項 1記載の対話支援装置。
[9] 前記用例再評価手段は、前記用例選択手段によって前記第 1用例の候補の中か ら 1つの第 1用例が選択される前に、前記受信手段によって前記相手ユーザの対話 支援装置から前記第 2用例が受信され、かつ前記話題変化検出手段によって話題 の変化が検出された場合、前記第 1用例の候補について再評価を行わず、かつ前 記ユーザに発話を促す
ことを特徴とする請求項 8記載の対話支援装置。
[10] 前記発話受付手段は、前記用例データベースが保持する前記第 1用例から構築さ れた言語モデルを用いた連続音声認識処理で前記発話を受け付ける、または、前 記用例データベースが保持する前記第 1用例を構成する単語に入力を限定されたキ 一ボードから前記発話を受け付ける
ことを特徴とする請求項 1記載の対話支援装置。
[11] サーバと接続される第 1対話支援装置および第 2対話支援装置を用いて対話を支 接する対話支援システムであって、
前記第 1対話支援装置は、
ユーザの発話を受け付ける発話受付手段と、
前記サーバから送信される第 2用例を受信する受信手段と、
前記サーバによって受信された前記第 2用例を出力する発話出力手段と、 前記発話受付手段によって受け付けられた前記発話を前記サーバに送信する送 信手段とを備え、
前記サーバは、
対話で使用される第 1用例および第 2用例を対応付けて保持する用例データべ一 スと、
前記第 1対話支援装置から送信された前記発話に基づいて前記用例データべ一 スを検索することによって第 1用例の候補を抽出し、抽出した前記第 1用例の候補の 中から 1つの第 1用例を選択し、選択した前記第 1用例に対応する第 2用例を出力す
る用例選択手段と、
前記第 2対話支援装置から送信された発話に対応する第 2用例に基づいて、前記 用例選択手段によつて抽出された前記第 1用例の候補にっレ、て再評価を行う用例 再評価手段と、
前記用例選択手段によって出力された前記第 2用例、および前記用例再評価手段 によって再評価された結果を前記第 1対話支援装置に送信する送信手段とを備え、 前記第 2対話支援装置は、
ユーザの発話を受け付ける発話受付手段と、
前記サーバから送信される第 2用例を受信する受信手段と、
前記受信手段によって受信された前記第 2用例を出力する発話出力手段と、 前記発話受付手段によって受け付けられた前記発話を前記サーバに送信する送 信手段とを備える
ことを特徴とする対話支援システム。
対話を支援する対話支援方法であって、
ユーザの発話を受け付ける発話受付ステップと、
前記発話受付ステップにおいて受け付けられた前記発話に基づいて、対話で使用 される第 1用例および第 2用例を対応付けて保持する用例データベースを検索する ことによって第 1用例の候補を抽出し、抽出した前記第 1用例の候補の中から 1つの 第 1用例を選択し、選択した前記第 1用例に対応する第 2用例を出力する用例選択 ステップと、
前記用例選択ステップにおいて出力された前記第 2用例を相手ユーザの対話支援 装置に送信する送信ステップと、
前記相手ユーザの対話支援装置から送信される第 2用例を受信する受信ステップ と、
前記受信ステップにおいて受信された前記第 2用例を出力する発話出力ステップと 前記受信ステップにおいて受信された前記第 2用例に基づいて、前記用例選択ス テツプにおいて抽出された前記第 1用例の候補について再評価を行う用例再評価ス
テツプと
を含むことを特徴とする対話支援方法。
[13] 対話を支援するためのプログラムであって、
ユーザの発話を受け付ける発話受付ステップと、
前記発話受付ステップにおいて受け付けられた前記発話に基づいて、対話で使用 される第 1用例および第 2用例を対応付けて保持する用例データベースを検索する ことによって第 1用例の候補を抽出し、抽出した前記第 1用例の候補の中から 1つの 第 1用例を選択し、選択した前記第 1用例に対応する第 2用例を出力する用例選択 ステップと、
前記用例選択ステップにおいて出力された前記第 2用例を相手ユーザの対話支援 装置に送信する送信ステップと、
前記相手ユーザの対話支援装置から送信される第 2用例を受信する受信ステップ と、
前記受信ステップにおいて受信された前記第 2用例を出力する発話出力ステップと 前記受信ステップにおいて受信された前記第 2用例に基づいて、前記用例選択ス テツプにおいて抽出された前記第 1用例の候補について再評価を行う用例再評価ス テツプとをコンピュータに実行させる
ことを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006538188A JP3983794B2 (ja) | 2005-07-13 | 2006-06-13 | 対話支援装置 |
US11/785,188 US7512538B2 (en) | 2005-07-13 | 2007-04-16 | Dialog supporting device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005204199 | 2005-07-13 | ||
JP2005-204199 | 2005-07-13 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US11/785,188 Continuation US7512538B2 (en) | 2005-07-13 | 2007-04-16 | Dialog supporting device |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2007007502A1 true WO2007007502A1 (ja) | 2007-01-18 |
Family
ID=37636901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2006/311792 WO2007007502A1 (ja) | 2005-07-13 | 2006-06-13 | 対話支援装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7512538B2 (ja) |
JP (1) | JP3983794B2 (ja) |
CN (1) | CN101052965A (ja) |
WO (1) | WO2007007502A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120239377A1 (en) * | 2008-12-31 | 2012-09-20 | Scott Charles C | Interpretor phone service |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003196275A (ja) * | 2002-11-07 | 2003-07-11 | Toshiba Corp | 自然言語処理装置及びその方法 |
JP2004295578A (ja) * | 2003-03-27 | 2004-10-21 | Matsushita Electric Ind Co Ltd | 翻訳装置 |
JP2005100335A (ja) * | 2003-09-01 | 2005-04-14 | Advanced Telecommunication Research Institute International | 機械翻訳装置、機械翻訳コンピュータプログラム及びコンピュータ |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6339754B1 (en) * | 1995-02-14 | 2002-01-15 | America Online, Inc. | System for automated translation of speech |
JP2000242642A (ja) | 1999-02-18 | 2000-09-08 | Sony Corp | 翻訳処理方法及び翻訳処理装置 |
JP4135307B2 (ja) * | 2000-10-17 | 2008-08-20 | 株式会社日立製作所 | 音声通訳サービス方法および音声通訳サーバ |
JP3974412B2 (ja) | 2001-01-24 | 2007-09-12 | 松下電器産業株式会社 | 音声変換装置 |
US7050979B2 (en) * | 2001-01-24 | 2006-05-23 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for converting a spoken language to a second language |
JP2003030187A (ja) | 2001-07-18 | 2003-01-31 | Nec Corp | 自動通訳システム、会話学習装置、自動通訳装置及びその方法並びにそのプログラム |
JP4502615B2 (ja) | 2003-09-26 | 2010-07-14 | 日本電気株式会社 | 類似文検索装置、類似文検索方法、およびプログラム |
-
2006
- 2006-06-13 CN CNA2006800011584A patent/CN101052965A/zh active Pending
- 2006-06-13 JP JP2006538188A patent/JP3983794B2/ja not_active Expired - Fee Related
- 2006-06-13 WO PCT/JP2006/311792 patent/WO2007007502A1/ja active Application Filing
-
2007
- 2007-04-16 US US11/785,188 patent/US7512538B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003196275A (ja) * | 2002-11-07 | 2003-07-11 | Toshiba Corp | 自然言語処理装置及びその方法 |
JP2004295578A (ja) * | 2003-03-27 | 2004-10-21 | Matsushita Electric Ind Co Ltd | 翻訳装置 |
JP2005100335A (ja) * | 2003-09-01 | 2005-04-14 | Advanced Telecommunication Research Institute International | 機械翻訳装置、機械翻訳コンピュータプログラム及びコンピュータ |
Also Published As
Publication number | Publication date |
---|---|
US20070198270A1 (en) | 2007-08-23 |
US7512538B2 (en) | 2009-03-31 |
JPWO2007007502A1 (ja) | 2009-01-29 |
CN101052965A (zh) | 2007-10-10 |
JP3983794B2 (ja) | 2007-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101583181B1 (ko) | 응답 스티커 추천방법 및 컴퓨터 프로그램 | |
KR101634086B1 (ko) | 감정 분석을 통한 스티커 추천 방법 및 시스템 | |
JP3962767B2 (ja) | 対話支援装置 | |
JP3822990B2 (ja) | 翻訳装置、記録媒体 | |
JP3920812B2 (ja) | コミュニケーション支援装置、支援方法、及び支援プログラム | |
JP3962766B2 (ja) | 対話支援装置 | |
US20190172444A1 (en) | Spoken dialog device, spoken dialog method, and recording medium | |
KR101615848B1 (ko) | 유사상황 검색을 통한 대화 스티커 추천방법 및 컴퓨터 프로그램 | |
KR20160089152A (ko) | 화행 분석을 통한 스티커 추천 방법 및 시스템 | |
WO2006085565A1 (ja) | 情報通信端末、情報通信システム、情報通信方法、情報通信プログラムおよびそれを記録した記録媒体 | |
CN102439661A (zh) | 用于车辆内自动交互的面向服务语音识别 | |
US20100049500A1 (en) | Dialogue generation apparatus and dialogue generation method | |
JP6141483B1 (ja) | 音声翻訳装置、音声翻訳方法、及び音声翻訳プログラム | |
KR20100134396A (ko) | 시각 장애인용 음성 버스 조회 안내 시스템 및 그 제어 방법 | |
US20080270128A1 (en) | Text Input System and Method Based on Voice Recognition | |
JP2005249829A (ja) | 音声認識を行うコンピュータネットワークシステム | |
JP3984642B2 (ja) | 対話支援装置 | |
WO2007007502A1 (ja) | 対話支援装置 | |
JP4079275B2 (ja) | 会話支援装置 | |
WO2021161856A1 (ja) | 情報処理装置及び情報処理方法 | |
WO2001015140A1 (en) | Speech recognition system for data entry | |
JP2006301967A (ja) | 会話支援装置 | |
JP5402307B2 (ja) | データ出力装置、表示装置及びプログラム | |
JP2022018724A (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
JP6383748B2 (ja) | 音声翻訳装置、音声翻訳方法、及び音声翻訳プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 2006538188 Country of ref document: JP |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application | ||
WWE | Wipo information: entry into national phase |
Ref document number: 11785188 Country of ref document: US |
|
WWE | Wipo information: entry into national phase |
Ref document number: 200680001158.4 Country of ref document: CN |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 06757277 Country of ref document: EP Kind code of ref document: A1 |