WO2019216053A1 - 対話装置 - Google Patents
対話装置 Download PDFInfo
- Publication number
- WO2019216053A1 WO2019216053A1 PCT/JP2019/014115 JP2019014115W WO2019216053A1 WO 2019216053 A1 WO2019216053 A1 WO 2019216053A1 JP 2019014115 W JP2019014115 W JP 2019014115W WO 2019216053 A1 WO2019216053 A1 WO 2019216053A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- utterance
- user
- system utterance
- user terminal
- generation unit
- Prior art date
Links
- 230000014509 gene expression Effects 0.000 claims abstract description 71
- 230000004044 response Effects 0.000 claims abstract description 29
- 230000002452 interceptive effect Effects 0.000 claims description 38
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000005034 decoration Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 99
- 238000000034 method Methods 0.000 description 31
- 238000004891 communication Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 239000003795 chemical substances by application Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 230000011664 signaling Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 102200095678 rs11004439 Human genes 0.000 description 1
- 102220057255 rs730881172 Human genes 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
Definitions
- One aspect of the present invention relates to a dialogue apparatus.
- a mechanism for outputting natural utterances as if they were conversations between people is known.
- speech synthesis is controlled according to a rule that changes the pitch of a specific second section in an answer to a speech to a pitch that has a predetermined relationship with the pitch of the first section.
- a speech synthesizer that modifies the rule according to at least one of a speaker attribute or an agent attribute of a speaker.
- An interactive apparatus includes an acquisition unit that acquires a user utterance input by a user, a plurality of generation units that generate a system utterance corresponding to the user utterance, and a plurality of generation units selected from the plurality of generation units.
- An output unit that outputs system utterances generated by the two generation units, and a plurality of generation units includes a first generation unit having a first scenario and a second generation having a second scenario different from the first scenario.
- the output unit outputs the first system utterance generated by the first generation unit in response to the user utterance in the first expression format, and continues to the second system utterance after the first system utterance.
- the second system utterance generated by the generation unit is output in a second expression format different from the first expression format.
- two types of system utterances by the first and second agents (generation units) having different scenarios are output for one user utterance in different expression formats.
- This user interface provides the user with a situation in which multiple agents with different personalities have a continuous conversation with the user, so that a situation in which multiple people respond to one utterance is simulated. Can be expressed.
- a scene in which a plurality of people respond to one utterance can be represented in a pseudo manner by a dialog device.
- the interactive device is a computer that executes an automatic dialogue with a user.
- a user is a person who uses an interactive device.
- An automatic dialogue is a conversation exchange between a user and a computer (this computer is generally referred to as a “bot”).
- the computer automatically utters in response to the utterance from the user.
- An utterance is a single episode uttered by a user or a computer.
- the user's utterance is also referred to as “user utterance”
- the computer's utterance is also referred to as “system utterance”.
- the usage purpose of the interactive device is not limited.
- the interactive device may be used in a FAQ (Frequently Asked Questions) system that answers a user's question, or may be used in a chat system that performs an arbitrary story that is not limited to FAQ.
- the interactive device may be incorporated in a virtual assistant function that performs an arbitrary task based on a voice operation.
- the interactive device may be a part of a client-server type system or a single device. In the present embodiment, it is assumed that the interactive device is a computer that functions as a server.
- FIG. 1 is a diagram illustrating an example of a functional configuration of the interactive apparatus 10 according to the embodiment.
- FIG. 2 is a diagram illustrating an example of a more detailed functional configuration of the interactive apparatus 10.
- the interactive device 10 can be connected to at least one user terminal 90 via a communication network.
- the configuration of the communication network is not limited at all, and may be configured using, for example, at least one of the Internet and an intranet.
- the user terminal 90 is a computer (client terminal) operated by a user.
- the user terminal 90 has a function of transmitting an utterance (user utterance) input by the user to the dialog device 10 and a function of outputting an utterance (system utterance) received from the dialog device 10.
- the type of the user terminal 90 is not limited, and may be, for example, a stationary computer or device or a portable computer or device.
- Specific examples of the user terminal 90 include, but are not limited to, a smartphone, a tablet terminal, a wearable terminal, a personal computer, a smart speaker, a smart TV, and a smart home appliance.
- a scenario is data that defines a rule for a dialogue (a rule that defines what kind of system utterance is output when what kind of user utterance is accepted).
- One of the features of the dialogue device 10 is that a plurality of system utterances are continuously output for a certain user utterance as if a plurality of agents having different personalities continuously talk to the user. is there.
- the characteristics will be described in detail.
- the dialogue apparatus 10 includes, as functional elements, a front function 20 that comprehensively controls automatic dialogue and one or more bot functions 30 that output system utterances related to a specific topic.
- the front function 20 generates a system utterance corresponding to the user utterance received from the user terminal 90 based on the scenario in the scenario database 21, and transmits the generated system utterance to the user terminal 90.
- the system utterance transmitted to the user terminal 90 at this stage corresponds to the first system utterance.
- the front function 20 determines a bot function 30 for processing the user utterance, and outputs information based on the user utterance to the bot function 30. Thereafter, the front function 20 transmits the system utterance generated by the bot function 30 to the user terminal 90 as the second system utterance.
- Each bot function 30 generates a system utterance corresponding to information received from the front function 20 (information based on a user utterance) based on a scenario in the scenario database 31, and outputs the generated system utterance to the front function 20. .
- This system utterance also corresponds to the user utterance.
- the first system utterance is a system utterance (response) output first with respect to a certain user utterance
- the second system utterance is a system utterance (response) output second with respect to the user utterance. It is.
- the front function 20 generates a first system utterance
- the bot function 30 generates a second system utterance
- which function in the dialogue apparatus 10 generates the first and second system utterances is not limited.
- one bot function 30 may generate a first system utterance and another bot function 30 may generate a second system utterance.
- the bot function 30 may generate a first system utterance and the front function 20 may generate a second system utterance.
- the dialogue apparatus 10 outputs the second system utterance without acquiring another user utterance.
- Each bot function 30 is an expert agent having specific knowledge
- the front function 20 is a main agent that controls one or more bot functions 30.
- the dialogue apparatus 10 first outputs the first system utterance generated by the front function 20 for one user utterance, and then outputs the second system utterance generated by the bot function 30.
- no new user utterance occurs between the first system utterance and the second system utterance. Therefore, from the user's point of view, this mechanism is such that the first personality accepts his story once and relays it to the second personality, and the second personality finally answers the story. This is similar to, for example, a situation where a receptionist receives a telephone inquiry and connects to a person in charge.
- the front function 20 includes a scenario database 21, an acquisition unit 22, an utterance control unit 23, a generation unit 24, and an output unit 25.
- the scenario database 21 is a database that stores a plurality of scenarios related to a specific topic. For example, the scenario database 21 stores scenarios for relaying to other bot functions 30.
- the acquisition unit 22 is a functional element that acquires a data signal such as a user utterance from the user terminal 90.
- the utterance control unit 23 is a functional element that determines how to process a user utterance.
- the generation unit 24 is a functional element that generates a system utterance corresponding to a user utterance with reference to the scenario database 21.
- the output unit 25 is a functional element that outputs a system utterance generated by the front function 20 or the bot function 30.
- each bot function 30 includes a scenario database 31 and a generation unit 32.
- the scenario database 31 is a database that stores a plurality of scenarios related to a specific topic.
- the scenario database 31 stores a scenario for outputting a more specialized response than the front function 20.
- the generation unit 32 is a functional element that refers to the scenario database 31 and generates a system utterance corresponding to the user utterance and outputs the system utterance to the front function 20.
- the scenario stored in the scenario database 31 is different from the scenario stored in the scenario database 21 of the front function 20.
- one corresponds to the first scenario and the other corresponds to the second scenario.
- This configuration means that one of the generation unit 24 and the generation unit 32 corresponds to a first generation unit having a first scenario, and the other corresponds to a second generation unit having a second scenario.
- FIG. 3 is a sequence diagram showing an example of the operation of the dialogue apparatus 10.
- FIG. 4 is a sequence diagram showing another example of the operation of the interactive apparatus 10.
- FIGS. 3 and 4 show the front function 20 and the bot function 30 of the interactive device 10 individually, and only the bot function 30 for processing user utterances.
- step S11 the user terminal 90 transmits user utterance data to the dialogue apparatus 10.
- the front function 20 receives the user utterance data.
- the user utterance data is data including at least a user utterance.
- the user utterance data may include other data items such as utterance attributes.
- the user utterance acquisition method in the user terminal 90 is not limited.
- the user terminal 90 may acquire a user utterance input by voice (that is, a user utterance represented by voice data), or a user utterance input by a character string (that is, a user utterance represented by text data). May be obtained.
- the user terminal 90 may automatically generate a user utterance in the form of voice data or text data based on a user instruction.
- the utterance attribute is information indicating characteristics or characteristics related to the user utterance, and can be used in an automatic dialog.
- utterance attributes may be used to determine system utterances.
- the specific content of the speech attribute is not limited.
- the speech attribute may include a user attribute indicating a property or characteristic of a user who intends to use an automatic dialog and a terminal attribute indicating a property or characteristic of the user terminal 90.
- the type and number of data items indicating user attributes are not limited.
- the user attribute may be one selected from a name, gender, age, and address, or may be a combination of two or more items arbitrarily selected from the four items.
- the user attribute may include one or more other data items different from the four items.
- the type and number of data items indicating terminal attributes are not limited at all.
- the terminal attribute may be one selected from the terminal name, the operating system name, and the operation mode, or may be a combination of two or more items arbitrarily selected from the three items.
- the terminal attribute may include one or more data items different from the three items.
- step S12 the utterance control unit 23 determines the bot function 30 for processing the user utterance data. For example, the utterance control unit 23 determines which bot function 30 is to process the user utterance data based on at least one of the user utterance and the utterance attribute included in the user utterance data and a preset rule.
- step S13 the generation unit 24 generates a first system utterance corresponding to the user utterance data.
- the generating unit 24 selects a scenario corresponding to the user utterance by searching the scenario database 21 using the user utterance data, and generates a system utterance defined by the scenario as the first system utterance.
- the first system utterance generated here may be expressed in, for example, a phrase often used in intermediary. Examples of such expressions include “connect to the traffic guide” and “please wait for a while as you connect to the assistant”.
- the output unit 25 transmits the first system utterance data including the first system utterance to the user terminal 90.
- the first system utterance data includes the expression format of the first system utterance at the user terminal 90 as the first expression format.
- the expression format is a method for expressing a system utterance in a manner that can be perceived by a person.
- the type of expression format and the specific implementation method are not limited.
- the expression format may be defined by an auditory expression that is an expression that can be grasped by a person's hearing, or may be defined by a visual expression that is an expression that can be grasped by a person's vision. Both may be defined.
- Specific methods of auditory expression and visual expression are not limited.
- the auditory expression may include at least one selected from voice and sound effects.
- the visual representation may include at least one selected from a speech balloon, font, character decoration, screen color, icon, character, and chat room.
- the first expression format may be defined by an arbitrary method.
- the first representation format may be defined by any of metadata, a configuration file, and a program (algorithm), or may be defined by a combination of any two or more methods selected from these methods.
- the first expression format may be set by the output unit 25 or the generation unit 24, or may be set by other components of the front function 20.
- the output unit 25 transmits the first system utterance data including the first system utterance and the first expression format to the user terminal 90. That is, the output unit 25 outputs the first system utterance in the first expression format.
- the first system utterance data further includes instruction data.
- the instruction data is data for causing the user terminal 90 to transmit a request signal for the purpose of acquiring the second system utterance.
- This instruction data may be generated in the form of metadata, for example, or may be defined by other methods.
- the output unit 25 transmits the instruction data to the user terminal 90 together with the first system utterance, but the method of transmitting the instruction data is not limited to this.
- the output unit 25 may transmit the instruction data to the user terminal 90 in a manner independent of the first system utterance.
- the output unit 25 may transmit the instruction data after transmitting the first system utterance data.
- the user terminal 90 When the user terminal 90 receives the first system utterance data, the user terminal 90 outputs the first system utterance in the first expression format. Thereby, the user can recognize the first reply to the user utterance (for example, the system utterance indicating the intermediary).
- step S15 the user terminal 90 transmits a request signal to the dialogue apparatus 10 in response to the instruction data included in the first system utterance data.
- This request signal is a data signal for obtaining the second system utterance following the first system utterance.
- the acquisition unit 22 receives the request signal.
- the utterance control unit 23 outputs user utterance data to the corresponding bot function 30 in response to the request signal.
- the user utterance data passed from the front function 20 to the bot function 30 includes information based on the user utterance, and may further include an utterance attribute.
- the information based on the user utterance may be the user utterance itself received from the user terminal 90. Therefore, the utterance control unit 23 may transfer the user utterance data received in step S11 to the bot function 30.
- the information based on the user utterance may be another data (for example, another text) generated based on the user utterance received from the user terminal 90.
- the utterance control unit 23 generates an initialization text (for example, text “#init”) corresponding to the received user utterance, and outputs user utterance data including the text to the bot function 30. Good.
- the utterance control unit 23 may output user utterance data including another text generated by transforming the received user utterance to the bot function 30.
- step S17 the generation unit 32 generates a second system utterance corresponding to the user utterance data.
- the generation unit 32 selects a scenario corresponding to the user utterance by searching the scenario database 31 using the user utterance data, and generates a system utterance defined by the scenario as a second system utterance.
- the content of the user utterance data acquired by the bot function 30 from the front function 20 is not limited. In any case, the generation unit 32 generates a second system utterance corresponding to the user utterance received from the user terminal 90.
- the bot function 30 outputs the second system utterance data including the second system utterance to the front function 20.
- the second system utterance data further includes the expression format of the second system utterance at the user terminal 90 as the second expression format.
- the specific method of the second expression format is not limited, and may be any visual expression or any auditory expression, or may be a combination of visual expression and auditory expression.
- the second representation format is different from the first representation format. Similar to the first representation format, the second representation format may be defined in the bot function 30 by any method (metadata, setting file, program, etc.).
- the second expression format may be set by the generation unit 32 or may be set by another component of the bot function 30.
- step S19 the output unit 25 of the front function 20 transmits the second system utterance data to the user terminal 90. Therefore, the output unit 25 outputs the second system utterance in the second expression format after the first system utterance without acquiring another user utterance in the dialogue apparatus 10 after the user utterance is acquired in step S11. To do.
- the user terminal 90 Upon receiving the second system utterance data, the user terminal 90 outputs the second system utterance in the second expression format. Thereby, the user can recognize a further reply to the user utterance (for example, a direct answer to the user utterance).
- the series of processes in steps S11 to S19 can be executed again.
- the dialogue apparatus 10 may execute the series of processes to relay the user utterance to different bot functions 30.
- FIG. 3 shows a process in which the front function 20 relays the user utterance to the bot function 30.
- one bot function may take a user utterance for another bot function.
- An example of intermediation between the bot functions 30 will be described with reference to FIG. In this description, the two bot functions 30 are distinguished from the bot functions A and B.
- step S18A the bot function A outputs the second system utterance data including the second system utterance, the second expression format, and the instruction data to the front function 20.
- the instruction data included in the second system utterance data is data for causing the user terminal 90 to transmit a request signal for obtaining the third system utterance generated by the bot function B.
- step S19A the output unit 25 outputs the second system utterance data to the user terminal 90.
- the user terminal 90 Upon receiving the second system utterance data, the user terminal 90 outputs the second system utterance in the second expression format. Thereby, the user can recognize a further reply to the user utterance (for example, a direct response to the user utterance or a system utterance indicating further relay).
- step S20 the user terminal 90 transmits a request signal to the dialogue apparatus 10 in response to the instruction data included in the second system utterance data.
- This request signal is a data signal for obtaining the third system utterance following the second system utterance.
- the acquisition unit 22 receives the request signal.
- the utterance control unit 23 outputs user utterance data to the corresponding bot function B in response to the request signal.
- the content of the user utterance data is not limited as in step S16. Therefore, the user utterance data may include the user utterance itself received from the user terminal 90, or may include other data (for example, another text) generated based on the user utterance.
- step S22 the bot function B generates a third system utterance corresponding to the user utterance data.
- the generation unit 32 generates the third system utterance in response to the reception of the request signal in step S20.
- the generation unit 32 selects a scenario corresponding to the user utterance by searching the scenario database 31 using the user utterance data, and generates a system utterance defined by the scenario as a third system utterance.
- the content of the user utterance data acquired by the bot function B from the front function 20 is not limited. In any case, the generation unit 32 of the bot function B generates a third system utterance corresponding to the user utterance received from the user terminal 90.
- the bot function 30 of the bot function B outputs the third system utterance data including the third system utterance to the front function 20.
- the third system utterance data further includes the expression format of the third system utterance at the user terminal 90 as the third expression format. Similar to the first and second representation formats, the specific method of the third representation format is not limited. However, the third representation format is different from the first representation format and the second representation format.
- step S24 the output unit 25 of the front function 20 transmits the third system utterance data to the user terminal 90. Therefore, after the user utterance is acquired in step S11, the output unit 25 does not receive another user utterance in the dialog device 10, and in response to receiving the request signal, the third system utterance in the third expression format. Output.
- the user terminal 90 When receiving the third system utterance data, the user terminal 90 outputs the third system utterance in the third expression format. Thereby, the user can recognize a further reply to the user utterance (for example, a direct answer to the user utterance).
- the bot function A may generate a first system utterance output in the first representation format
- the bot function B may generate a second system utterance output in the second representation format
- the bot function 30 may generate the first system utterance
- the front function 20 may generate the second system utterance.
- FIG. 3 and FIG. 4 are only examples of processing of the interactive apparatus 10.
- the dialogue apparatus 10 causes the user terminal 90 to transmit a request signal by transmitting instruction data to the user terminal 90 along with the transmission of the first system utterance, and sends the second system utterance to the user terminal 90 in response to the request signal.
- This mechanism can be said to be a kind of postback, which is a mechanism for retransmitting data input at the client terminal to the same program, not another program.
- the user Since the second representation format is different from the first representation format, the user has a situation in which the first personality utters the first system utterance and the second personality different from the first personality utters the second system utterance. Can be experienced.
- the specific method of the expression format is not limited, the dialogue apparatus 10 can switch the expression of the system utterance by various methods.
- the first expression may be a female voice and the second expression may be a male voice.
- a male voice for example, an adult voice
- a male voice for example, a child's voice having a different voice quality
- the first expression form may be an elliptical balloon and the second expression form may be a rectangular balloon.
- the first expression form may be a certain character having a certain voice quality
- the second expression form may be a different character having a different voice quality.
- the second representation format may be the same and different representation format as the first representation format.
- FIG. 5 is a diagram illustrating an example of expressing system utterances in a chat room.
- a chat room is an expression method that visually shows a conversation history between a user and one bot. For example, when the user inputs “Tell me today's weather in Tokyo”, the user terminal 90 displays the user utterance in the chat room 200 with a balloon 201 and transmits the user utterance to the dialogue apparatus 10. In response to the user utterance, the dialogue apparatus 10 transmits a system utterance “connect to weather information” to the user terminal 90.
- This system utterance is a first system utterance generated by the generation unit 24 of the front function 20.
- the user terminal 90 displays this first system utterance in the chat room 200 with a balloon 202.
- the chat room 200 is a user interface corresponding to the front function 20 (generation unit 24).
- the bot function 30 for processing the user utterance transmits a system utterance “sunny, but it rains late at night” to the user terminal 90.
- This system utterance is a second system utterance generated by the generation unit 32 of the bot function 30.
- the user terminal 90 switches the screen from the chat room 200 to the chat room 210 and displays the second system utterance in the chat room 210 with a balloon 211.
- Chat room 210 is a user interface corresponding to bot function 30 (generation unit 32).
- the user terminal 90 displays the user utterance in the chat room 210 with a balloon 212 and transmits the user utterance to the dialogue apparatus 10.
- the dialogue apparatus 10 transmits a system utterance “the maximum temperature is expected to be 20 ° C.” to the user terminal 90. Since this system utterance is a system utterance generated by the generation unit 32 of the bot function 30, the user terminal 90 displays the system utterance in the chat room 210 with a balloon 213.
- the user terminal 90 transmits the user utterance to the dialogue apparatus 10.
- the dialogue apparatus 10 transmits a system utterance “connecting to the traffic guide” to the user terminal 90.
- This system utterance is a first system utterance generated by the generation unit 24 of the front function 20.
- the user terminal 90 switches the screen from the chat room 210 to the chat room 200, displays the user utterance with the balloon 203, and displays the first system utterance with the balloon 204.
- the bot function 30 for processing the user utterance transmits a system utterance “What is the transportation means to use?” To the user terminal 90.
- This system utterance is a second system utterance generated by the generation unit 32 of another bot function 30.
- the user terminal 90 switches the screen from the chat room 200 to the chat room 220 and displays the second system utterance in the chat room 220 with a balloon 221.
- the chat room 220 is a user interface corresponding to the other bot function 30 (generation unit 32).
- the user terminal 90 displays the user utterance in the chat room 220 with a balloon 222 and transmits it to the dialogue apparatus 10.
- the dialogue apparatus 10 transmits a system utterance “Please get off at Akasaka Mitsuke on the Ginza Line” to the user terminal 90. Since this system utterance is a system utterance generated by the generation unit 32 of the other bot function 30, the user terminal 90 displays the system utterance in the chat room 220 with a balloon 223. As described above, one chat room may indicate a history of conversation between the user and one agent. This means that the dialogue shown in one chat room corresponding to one generation unit is limited to one or more user utterances and one or more system utterances generated by the generation unit.
- the shape of the balloon in the chat room 200 is different from that of the chat rooms 210 and 220, but the shape of the balloon may be unified between the chat rooms. Or the shape of a balloon may differ for every chat room. Alternatively, other visual expressions such as fonts and screen colors may be different between the chat rooms 200, 210, and 220.
- each functional block may be realized by one device physically and / or logically coupled, and two or more devices physically and / or logically separated may be directly and / or indirectly. (For example, wired and / or wireless) and may be realized by the plurality of devices.
- the dialogue apparatus 10 may function as a computer that performs the processing according to the present embodiment.
- FIG. 6 is a diagram illustrating an example of a hardware configuration of the computer 100 that functions as the interactive apparatus 10.
- the computer 100 may physically include a processor 1001, a memory 1002, a storage 1003, a communication device 1004, an input device 1005, an output device 1006, a bus 1007, and the like.
- the term “apparatus” can be read as a circuit, a device, a unit, or the like.
- the hardware configuration of the interactive device 10 may be configured to include one or a plurality of each device illustrated in the figure, or may be configured not to include some devices.
- Each function in the interactive apparatus 10 is performed by causing the processor 1001 to perform computation by reading predetermined software (program) on hardware such as the processor 1001 and the memory 1002, and performing communication by the communication device 1004, the memory 1002, and the storage 1003 This is realized by controlling the reading and / or writing of data.
- predetermined software program
- the processor 1001 controls the entire computer by operating an operating system, for example.
- the processor 1001 may be configured by a central processing unit (CPU) including an interface with peripheral devices, a control device, an arithmetic device, a register, and the like.
- CPU central processing unit
- the interactive device 10 may be realized by the processor 1001.
- the processor 1001 reads a program (program code), software module, and data from the storage 1003 and / or the communication device 1004 to the memory 1002, and executes various processes according to these.
- a program program code
- the program a program that causes a computer to execute at least a part of the operations described in the above embodiments is used.
- at least a part of the functional elements of the interactive apparatus 10 may be realized by a control program stored in the memory 1002 and operated by the processor 1001, and may be realized similarly for other functional blocks.
- the above-described various processes have been described as being executed by one processor 1001, they may be executed simultaneously or sequentially by two or more processors 1001.
- the processor 1001 may be implemented by one or more chips. Note that the program may be transmitted from a network via a telecommunication line.
- the memory 1002 is a computer-readable recording medium and includes, for example, at least one of ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), RAM (Random Access Memory), and the like. May be.
- the memory 1002 may be called a register, a cache, a main memory (main storage device), or the like.
- the memory 1002 can store a program (program code), a software module, and the like that can be executed to implement the wireless communication method according to the embodiment of the present invention.
- the storage 1003 is a computer-readable recording medium, such as an optical disk such as a CDROM (Compact Disc ROM), a hard disk drive, a flexible disk, a magneto-optical disk (for example, a compact disk, a digital versatile disk, Blu-ray (registered). (Trademark) disk), smart card, flash memory (for example, card, stick, key drive), floppy disk, magnetic strip, etc.
- the storage 1003 may be referred to as an auxiliary storage device.
- the storage medium described above may be, for example, a table including a memory 1002 and / or a storage 1003, a server, or other suitable medium.
- the communication device 1004 is hardware (transmission / reception device) for performing communication between computers via a wired and / or wireless network, and is also referred to as a network device, a network controller, a network card, a communication module, or the like.
- a network device for performing communication between computers via a wired and / or wireless network
- a network controller for controlling network access
- a network card for controlling communication between computers via a wired and / or wireless network
- a communication module or the like.
- at least some functional elements of the interactive device 10 may be realized by the communication device 1004.
- the input device 1005 is an input device (for example, a keyboard, a mouse, a microphone, a switch, a button, a sensor, etc.) that accepts an input from the outside.
- the output device 1006 is an output device (for example, a display, a speaker, an LED lamp, etc.) that performs output to the outside. Note that the input device 1005 and the output device 1006 may have an integrated configuration (for example, a touch panel).
- each device such as the processor 1001 and the memory 1002 is connected by a bus 1007 for communicating information.
- the bus 1007 may be configured with a single bus or may be configured with different buses between apparatuses.
- the computer 100 is configured to include hardware such as a microprocessor, a digital signal processor (DSP), an application specific integrated circuit (ASIC), a programmable logic device (PLD), and a field programmable gate array (FPGA). Some or all of the functional blocks may be realized by the hardware. For example, the processor 1001 may be implemented by at least one of these hardware.
- DSP digital signal processor
- ASIC application specific integrated circuit
- PLD programmable logic device
- FPGA field programmable gate array
- the interactive apparatus includes an acquisition unit that acquires a user utterance input by a user, a plurality of generation units that generate a system utterance corresponding to the user utterance, and a plurality of generations.
- An output unit that outputs a system utterance generated by one generation unit selected from the first generation unit, and a plurality of generation units includes a first generation unit having a first scenario, and a second different from the first scenario.
- a second generation unit having a scenario wherein the output unit outputs the first system utterance generated by the first generation unit in response to the user utterance in the first expression format, and continues to the user after the first system utterance.
- the second system utterance generated by the second generation unit according to the utterance is output in a second expression format different from the first expression format.
- two types of system utterances by the first and second agents (generation units) having different scenarios are output for one user utterance in different expression formats.
- This user interface provides the user with a situation in which multiple agents with different personalities have a continuous conversation with the user, so that a situation in which multiple people respond to one utterance is simulated. Can be expressed.
- the acquisition unit receives a user utterance from the user terminal
- the output unit transmits instruction data for transmitting the first system utterance to the user terminal and causing the user terminal to transmit a request signal.
- the second system utterance may be transmitted to the user terminal in response to receiving the request signal from the user terminal without receiving another user utterance.
- the output unit may transmit the instruction data to the user terminal together with the first system utterance.
- the second generation unit may generate the second system utterance in response to receiving the request signal.
- Receiving the request signal from the user terminal is presumed that both the user terminal and the communication between the user terminal and the interactive device are normal.
- By generating the second system utterance for the first time when the system environment is expected to be normal it is possible to avoid the generation process from being wasted. For example, it is possible to prevent a situation in which the generated second system utterance cannot be provided to the user terminal.
- the expression format may be defined by at least one of auditory expression and visual expression.
- auditory expression and visual expression a scene in which a plurality of people respond to one utterance can be experienced by the person through his or her hearing or vision.
- the auditory expression includes at least one selected from voice and sound effects
- the visual expression is selected from a speech balloon, font, character decoration, screen color, icon, character, and chat room. May be included.
- the dialogue shown in one chat room corresponding to one generation unit may be limited to one or more user utterances and one or more system utterances generated by the generation unit. Good. By preparing a dedicated chat room for each of the plurality of generation units, it is possible to provide the user with an experience in which the chat room changes according to the content of the scenario utterance.
- notification of information is not limited to the aspect and embodiment described in this specification, and may be performed by other methods.
- notification of information includes physical layer signaling (for example, DCI (Downlink Control Information), UCI (Uplink Control Information)), upper layer signaling (for example, RRC (Radio Resource Control) signaling, MAC (Medium Access Control) signaling), It may be implemented by broadcast information (MIB (Master Information Block), SIB (System Information Block))), other signals, or a combination thereof.
- the RRC signaling may be called an RRC message, and may be, for example, an RRC connection setup message, an RRC connection reconfiguration message, or the like.
- Each aspect / embodiment described in this specification includes LTE (Long Term Evolution), LTE-A (LTE-Advanced), SUPER 3G, IMT-Advanced, 4G, 5G, FRA (Future Radio Access), W-CDMA.
- LTE Long Term Evolution
- LTE-A Long Term Evolution-Advanced
- SUPER 3G IMT-Advanced
- 4G 5G
- FRA Full Radio Access
- W-CDMA Wideband
- GSM registered trademark
- CDMA2000 Code Division Multiple Access 2000
- UMB User Mobile Broadband
- IEEE 802.11 Wi-Fi
- IEEE 802.16 WiMAX
- IEEE 802.20 UWB (Ultra-Wideband)
- Bluetooth registered trademark
- systems using other appropriate systems and / or next-generation systems extended based on these systems.
- Information etc. can be output from the upper layer (or lower layer) to the lower layer (or upper layer). Input / output may be performed via a plurality of network nodes.
- the input / output information or the like may be stored in a specific place (for example, a memory) or may be managed by a management table. Input / output information and the like can be overwritten, updated, or additionally written. The output information or the like may be deleted. The input information or the like may be transmitted to another device.
- the determination may be performed by a value represented by 1 bit (0 or 1), may be performed by a true / false value (Boolean: true or false), or may be performed by comparing numerical values (for example, a predetermined value) Comparison with the value).
- notification of predetermined information is not limited to explicitly performed, but is performed implicitly (for example, notification of the predetermined information is not performed). Also good.
- software, instructions, etc. may be transmitted / received via a transmission medium.
- software may use websites, servers, or other devices using wired technology such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or wireless technology such as infrared, wireless and microwave.
- wired technology such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or wireless technology such as infrared, wireless and microwave.
- DSL digital subscriber line
- wireless technology such as infrared, wireless and microwave.
- system and “network” used in this specification are used interchangeably.
- information, parameters, and the like described in this specification may be represented by absolute values, may be represented by relative values from a predetermined value, or may be represented by other corresponding information.
- the radio resource may be indicated by an index.
- User terminals and mobile communication terminals are known by those skilled in the art from subscriber stations, mobile units, subscriber units, wireless units, remote units, mobile devices, wireless devices, wireless communication devices, remote devices, mobile subscriber stations, access terminals, It may also be called mobile terminal, wireless terminal, remote terminal, handset, user agent, mobile client, client, or some other appropriate terminology.
- determining may encompass a wide variety of actions. “Judgment” and “determination” are, for example, judgment, calculation, calculation, processing, derivation, investigating, looking up (eg, table) , Searching in a table or another data structure), ascertaining what has been ascertaining, and so on. In addition, “determination” and “determination” are reception (for example, receiving information), transmission (for example, transmitting information), input (input), output (output), and access. (Accessing) (eg, accessing data in a memory) may be considered as “determined” or “determined”.
- determination and “determination” means that “resolving”, “selecting”, “choosing”, “establishing”, and “comparing” are regarded as “determining” and “determining”. May be included. In other words, “determination” and “determination” may include considering some operation as “determination” and “determination”.
- connection means any direct or indirect connection or coupling between two or more elements and It can include the presence of one or more intermediate elements between two “connected” or “coupled” elements.
- the coupling or connection between the elements may be physical, logical, or a combination thereof.
- the two elements are radio frequency by using one or more wires, cables and / or printed electrical connections, as well as some non-limiting and non-inclusive examples.
- electromagnetic energy such as electromagnetic energy having wavelengths in the region, the microwave region and the light (both visible and invisible) region can be considered “connected” or “coupled” to each other.
- the phrase “based on” does not mean “based only on”, unless expressly specified otherwise. In other words, the phrase “based on” means both “based only on” and “based at least on.”
- any reference to the element does not generally limit the quantity or order of the elements. These designations can be used herein as a convenient way to distinguish between two or more elements. Thus, a reference to the first and second elements does not mean that only two elements can be employed there, or that in some way the first element must precede the second element.
- DESCRIPTION OF SYMBOLS 10 ... Dialogue device, 20 ... Front function, 21 ... Scenario database, 22 ... Acquisition part, 23 ... Speech control part, 24 ... Generation part, 25 ... Output part, 30 ... Bot function, 31 ... Scenario database, 32 ... Generation part , 90 ... user terminal, 200, 210, 220 ... chat room.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一実施形態に係る対話装置は、ユーザにより入力されたユーザ発話を取得する取得部と、ユーザ発話に対応するシステム発話を生成する複数の生成部と、複数の生成部から選択された一つの生成部により生成されたシステム発話を出力する出力部とを備える。複数の生成部は、第1シナリオを有する第1生成部と、該第1シナリオとは異なる第2シナリオを有する第2生成部とを含む。出力部は、ユーザ発話に応じて第1生成部により生成された第1システム発話を第1表現形式で出力し、第1システム発話に続けて、ユーザ発話に応じて第2生成部により生成された第2システム発話を、第1表現形式とは異なる第2表現形式で出力する。
Description
本発明の一側面は対話装置に関する。
あたかも人同士の会話のように自然な発話を出力するための仕組みが知られている。例えば、特許文献1には、発言に対する回答における特定の第2区間の音高が第1区間の音高に対して所定の関係にある音高となるように変更させる規則で音声合成を制御するとともに、発言者の話者属性、または、エージェント属性の少なくとも一方にしたがって該規則を修正する音声合成装置が記載されている。
人同士の会話では、第1の人の発話を第2の人がいったん受けて第3の人につなぎ、第3の人が第1の人に応答するような場面(例えば、電話での問合せを受付の人が受けて担当者につなぐ場面)がある。このような場面と同様に、一つの発話に対して複数の人が応答するような場面を疑似的に表現できる対話装置が望まれている。
本発明の一側面に係る対話装置は、ユーザにより入力されたユーザ発話を取得する取得部と、ユーザ発話に対応するシステム発話を生成する複数の生成部と、複数の生成部から選択された一つの生成部により生成されたシステム発話を出力する出力部とを備え、複数の生成部が、第1シナリオを有する第1生成部と、該第1シナリオとは異なる第2シナリオを有する第2生成部とを含み、出力部が、ユーザ発話に応じて第1生成部により生成された第1システム発話を第1表現形式で出力し、第1システム発話に続けて、ユーザ発話に応じて第2生成部により生成された第2システム発話を、第1表現形式とは異なる第2表現形式で出力する。
このような側面においては、互いに異なるシナリオを有する第1および第2のエージェント(生成部)による2種類のシステム発話が、互いに異なる表現形式で一のユーザ発話に対して出力される。このユーザインタフェースにより、あたかも人格の異なる複数のエージェントがユーザと連続的に会話するような場面がユーザに提供されるので、一つの発話に対して複数の人が応答するような場面を疑似的に表現することができる。
本発明の一側面によれば、一つの発話に対して複数の人が応答するような場面を対話装置で疑似的に表現することができる。
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。
対話装置は、ユーザとの間で自動対話を実行するコンピュータである。ユーザとは対話装置を利用する人である。自動対話とはユーザとコンピュータ(このコンピュータは一般に「ボット」ともいわれる。)との間の会話のやり取りであり、この自動対話ではコンピュータはユーザからの発話に応答して自動的に発話する。発話とはユーザまたはコンピュータが発する一回分の話である。以下では、ユーザの発話を「ユーザ発話」ともいい、コンピュータの発話を「システム発話」ともいう。
対話装置の利用目的は何ら限定されない。例えば、対話装置はユーザの質問に回答するFAQ(Frequently Asked Questions)システムで用いられてもよいし、FAQに限られない任意の話を行う雑談システムで用いられてもよい。あるいは、対話装置は、音声操作に基づいて任意のタスクを実行するバーチャルアシスタント機能に組み込まれてもよい。
対話装置はクライアント-サーバ型システムの一部であってもよいし、単体の装置であってもよい。本実施形態では、対話装置はサーバとして機能するコンピュータであるとする。図1は、実施形態に係る対話装置10の機能構成の一例を示す図である。図2は、対話装置10のより詳細な機能構成の一例を示す図である。対話装置10は通信ネットワークを介して少なくとも一つのユーザ端末90と接続することができる。通信ネットワークの構成は何ら限定されず、例えばインターネットおよびイントラネットの少なくとも一方を用いて構成されてもよい。
ユーザ端末90はユーザにより操作されるコンピュータ(クライアント端末)である。ユーザ端末90は、ユーザにより入力された発話(ユーザ発話)を対話装置10に送信する機能と、対話装置10から受信した発話(システム発話)を出力する機能とを備える。ユーザ端末90の種類は限定されず、例えば、据置型のコンピュータまたは装置であってもよいし、携帯型のコンピュータまたは装置であってもよい。ユーザ端末90の具体的な例として、スマートフォン、タブレット端末、ウェアラブル端末、パーソナルコンピュータ、スマートスピーカ、スマートテレビ、およびスマート家電が挙げられるが、これらに限定されない。
対話装置10は、ユーザ端末90からユーザ発話を受信すると、そのユーザ発話に対応するシステム発話をシナリオに基づいて生成し、生成したシステム発話をユーザ端末90に送信する。シナリオとは対話のルール(どのようなユーザ発話を受け付けた場合にどのようなシステム発話を出力するかを規定したルール)を規定するデータである。対話装置10の特徴の一つは、或る一つのユーザ発話に対して、あたかも、人格の異なる複数のエージェントがユーザと連続的に会話するように複数のシステム発話を連続して出力する点にある。以下では、その特徴について特に詳しく説明する。
図1に示すように、対話装置10は機能要素として、自動対話を統括的に制御するフロント機能20と、特定の話題に関するシステム発話を出力する1以上のボット機能30とを備える。
フロント機能20は、ユーザ端末90から受信したユーザ発話に対応するシステム発話をシナリオデータベース21内のシナリオに基づいて生成し、生成したシステム発話をユーザ端末90に送信する。この段階でユーザ端末90に送信されるシステム発話は第1システム発話に相当する。また、フロント機能20はそのユーザ発話を処理させるボット機能30を決定し、ユーザ発話に基づく情報をそのボット機能30に出力する。その後、フロント機能20は、そのボット機能30で生成されたシステム発話を第2システム発話としてユーザ端末90に送信する。
それぞれのボット機能30は、フロント機能20から受け付けた情報(ユーザ発話に基づく情報)に対応するシステム発話をシナリオデータベース31内のシナリオに基づいて生成し、生成したシステム発話をフロント機能20に出力する。このシステム発話もユーザ発話に対応するものである。
第1システム発話は、或る一つのユーザ発話に対して最初に出力されるシステム発話(応答)であり、第2システム発話はそのユーザ発話に対して2番目に出力されるシステム発話(応答)である。本実施形態では、フロント機能20が第1システム発話を生成し、ボット機能30が第2システム発話を生成する例を特に示す。しかし、第1および第2のシステム発話を対話装置10内のどの機能が生成するかは限定されない。例えば、或る一つのボット機能30が第1システム発話を生成し、別のボット機能30が第2システム発話を生成してもよい。あるいは、ボット機能30が第1システム発話を生成し、フロント機能20が第2システム発話を生成してもよい。いずれにしても、対話装置10は、或るユーザ発話に対して第1システム発話を出力した後に、別のユーザ発話を取得することなく第2システム発話を出力する。
それぞれのボット機能30は特定の知識を有するエキスパート・エージェントであり、フロント機能20は1以上のボット機能30を統括するメインエージェントである、ということができる。本実施形態では、対話装置10は一つのユーザ発話に対して、まずフロント機能20で生成された第1システム発話を出力し、次いで、ボット機能30で生成された第2システム発話を出力する。上述したように、第1システム発話と第2システム発話との間に新たなユーザ発話は発生しない。したがって、ユーザからすると、この仕組みは、自分の話を第1の人格がいったん受け付けて第2の人格に取り次ぎ、該第2の人格がその話に対して最終的に答えるようなものである。これは、例えば、電話での問合せを受付の人が受けて担当者につなぐ場面に似ている。
図2に示すように、フロント機能20はシナリオデータベース21、取得部22、発話制御部23、生成部24、および出力部25を備える。シナリオデータベース21は、特定の話題に関する複数のシナリオを記憶するデータベースであり、例えば、他のボット機能30への取り次ぎのためのシナリオを記憶する。取得部22は、ユーザ発話などのデータ信号をユーザ端末90から取得する機能要素である。発話制御部23はユーザ発話をどのように処理するかを決定する機能要素である。生成部24は、シナリオデータベース21を参照して、ユーザ発話に対応するシステム発話を生成する機能要素である。出力部25は、フロント機能20またはボット機能30により生成されたシステム発話を出力する機能要素である。
図2に示すように、それぞれのボット機能30はシナリオデータベース31および生成部32を備える。シナリオデータベース31は、特定の話題に関する複数のシナリオを記憶するデータベースであり、例えば、フロント機能20よりも専門的な応答を出力するためのシナリオを記憶する。生成部32は、シナリオデータベース31を参照して、ユーザ発話に対応するシステム発話を生成してそのシステム発話をフロント機能20に出力する機能要素である。
シナリオデータベース31に記憶されるシナリオは、フロント機能20のシナリオデータベース21に記憶されているシナリオとは異なる。これら2種類のシナリオでは、一方が第1シナリオに相当し、他方が第2シナリオに相当する。この構成は、生成部24および生成部32の一方が、第1シナリオを有する第1生成部に相当し、他方が、第2シナリオを有する第2生成部に相当することを意味する。
図3および図4を参照しながら、ユーザ端末90との間で自動対話を実行する際の対話装置10の動作を説明する。図3は対話装置10の動作の一例を示すシーケンス図である。図4は対話装置10の動作の別の例を示すシーケンス図である。理解を容易にするために、図3および図4では、対話装置10のフロント機能20およびボット機能30を個々に示すと共に、ユーザ発話を処理するボット機能30のみを示す。
ステップS11では、ユーザ端末90がユーザ発話データを対話装置10に送信する。対話装置10ではフロント機能20がそのユーザ発話データを受信する。ユーザ発話データはユーザ発話を少なくとも含むデータである。ユーザ発話データは、発話属性などの他のデータ項目を含んでもよい。
ユーザ端末90におけるユーザ発話の取得方法は限定されない。例えば、ユーザ端末90は音声入力されたユーザ発話(すなわち音声データで表されるユーザ発話)を取得してもよいし、文字列で入力されたユーザ発話(すなわちテキストデータで表されるユーザ発話)を取得してもよい。あるいは、ユーザ端末90はユーザの指示に基づいて自動的にユーザ発話を音声データまたはテキストデータの形式で生成してもよい。
発話属性とはユーザ発話に関連する性質または特徴を示す情報であり、自動対話で用いられ得る。例えば、発話属性はシステム発話を決定するために用いられてもよい。発話属性の具体的な内容は限定されない。例えば、発話属性は、自動対話を利用しようとするユーザの性質または特徴を示すユーザ属性と、ユーザ端末90の性質または特徴を示す端末属性とを含んでもよい。ユーザ属性を示すデータ項目の種類および個数は何ら限定されない。例えば、ユーザ属性は名前、性別、年齢、および住所から選択される一つであってもよいし、該4項目から任意に選択される2以上の項目の組合せであってもよい。あるいは、ユーザ属性は該4項目とは異なる他の1以上のデータ項目を含んでもよい。端末属性を示すデータ項目の種類および個数も何ら限定されない。例えば、端末属性は端末名、オペレーティングシステム名、および作動モードから選択される一つであってもよいし、該3項目から任意に選択される2以上の項目の組合せであってもよい。あるいは、端末属性は該3項目とは異なる他の1以上のデータ項目を含んでもよい。
ステップS12では、発話制御部23がそのユーザ発話データを処理させるボット機能30を決定する。例えば、発話制御部23はユーザ発話データに含まれるユーザ発話および発話属性の少なくとも一方と、予め設定されている規則とに基づいて、どのボット機能30にユーザ発話データを処理させるかを決定する。
ステップS13では、生成部24がそのユーザ発話データに対応する第1システム発話を生成する。生成部24はユーザ発話データを用いてシナリオデータベース21を検索することでユーザ発話に対応するシナリオを選択し、そのシナリオで定義されるシステム発話を第1システム発話として生成する。ここで生成される第1システム発話は、例えば、取り次ぎの際によく用いられる言い回しで表現されてもよい。このような表現の例として、「交通案内につなぎます」「アシスタントにつなぐのでしばらくお待ちください」などが挙げられる。
ステップS14では、出力部25がその第1システム発話を含む第1システム発話データをユーザ端末90に送信する。この第1システム発話データは、ユーザ端末90での第1システム発話の表現形式を第1表現形式として含む。表現形式とは、人が知覚できる態様でシステム発話を表現するための方法である。表現形式の種類および具体的な実現方法は限定されない。例えば、表現形式は、人の聴覚で把握できる表現である聴覚表現で定義されてもよいし、人の視覚で把握できる表現である視覚表現で定義されてもよいし、その聴覚表現および視覚表現の双方で定義されてもよい。聴覚表現および視覚表現の具体的な手法は限定されない。例えば、聴覚表現は、音声および効果音から選択される少なくとも一つを含んでもよい。視覚表現は吹き出し、フォント、文字装飾、画面色、アイコン、キャラクタ、およびチャットルームから選択される少なくとも一つを含んでもよい。
フロント機能20内において第1表現形式は任意の手法で定義されてよい。例えば、第1表現形式はメタデータ、設定ファイル、およびプログラム(アルゴリズム)のいずれかで定義されてもよいし、これらの手法から選択される任意の2以上の手法の組合せで定義されてもよい。第1表現形式は出力部25または生成部24で設定されてもよいし、フロント機能20の他の構成要素で設定されてもよい。
このように、第1表現形式の具体的な手法および実現方法は限定されない。いずれにしても、出力部25は、第1システム発話および第1表現形式を含む第1システム発話データをユーザ端末90に送信する。すなわち、出力部25は、第1システム発話を第1表現形式で出力する。
本実施形態では、第1システム発話データは指示データをさらに含む。指示データは、第2システム発話の取得を目的とする要求信号をユーザ端末90に送信させるためのデータである。この指示データは、例えばメタデータの形式で生成されてもよいし、他の手法で定義されてもよい。本実施形態では出力部25は指示データを第1システム発話と共にユーザ端末90に送信するが、指示データの送信方法はこれに限定されない。例えば、出力部25は第1システム発話とは独立したかたちで指示データをユーザ端末90に送信してもよく、例えば、第1システム発話データを送信した後に指示データを送信してもよい。
ユーザ端末90は第1システム発話データを受信すると第1システム発話を第1表現形式で出力する。これにより、ユーザはユーザ発話に対する最初の返事(例えば、取り次ぎを示すシステム発話)を認識できる。
ステップS15では、ユーザ端末90が、第1システム発話データに含まれていた指示データに応答して、要求信号を対話装置10に送信する。この要求信号は、第1システム発話に続けて第2システム発話を得るためのデータ信号である。対話装置10では取得部22がその要求信号を受信する。
ステップS16では、発話制御部23がその要求信号に応答して、対応するボット機能30にユーザ発話データを出力する。フロント機能20からボット機能30に渡されるユーザ発話データは、ユーザ発話に基づく情報を含み、発話属性をさらに含んでもよい。ユーザ発話に基づく情報は、ユーザ端末90から受信されたユーザ発話そのものでもよく、したがって、発話制御部23はステップS11で受信されたユーザ発話データをボット機能30に転送してもよい。あるいは、ユーザ発話に基づく情報は、ユーザ端末90から受信されたユーザ発話に基づいて生成される別のデータ(例えば別のテキスト)でもよい。例えば、発話制御部23は、受信されたユーザ発話に対応する初期化用のテキスト(例えば「#init」というテキスト)を生成し、このテキストを含むユーザ発話データをボット機能30に出力してもよい。あるいは、発話制御部23は、受信されたユーザ発話を変形することで生成した別のテキストを含むユーザ発話データをボット機能30に出力してもよい。
ステップS17では、生成部32がそのユーザ発話データに対応する第2システム発話を生成する。これは、生成部32が要求信号の受信に応答して第2システム発話を生成することを意味する。生成部32はユーザ発話データを用いてシナリオデータベース31を検索することでユーザ発話に対応するシナリオを選択し、そのシナリオで定義されるシステム発話を第2システム発話として生成する。上述したように、ボット機能30がフロント機能20から取得するユーザ発話データの内容は限定されない。いずれにしても、生成部32は、ユーザ端末90から受信されたユーザ発話に応じた第2システム発話を生成する。
ステップS18では、ボット機能30がその第2システム発話を含む第2システム発話データをフロント機能20に出力する。この第2システム発話データはさらに、ユーザ端末90での第2システム発話の表現形式を第2表現形式として含む。第1表現形式と同様に、第2表現形式の具体的な手法は限定されず、任意の視覚表現または任意の聴覚表現であってもよいし、視覚表現および聴覚表現の組合せであってもよい。ただし、第2表現形式は第1表現形式とは異なる。第1表現形式と同様に、ボット機能30内において第2表現形式は任意の手法(メタデータ、設定ファイル、プログラムなど)で定義されてよい。第2表現形式は生成部32で設定されてもよいし、ボット機能30の他の構成要素で設定されてもよい。
ステップS19では、フロント機能20の出力部25がその第2システム発話データをユーザ端末90に送信する。したがって、出力部25は、ステップS11でユーザ発話が取得された後に対話装置10で別のユーザ発話が取得されることなく、第1システム発話に続けて第2システム発話を第2表現形式で出力する。ユーザ端末90はその第2システム発話データを受信すると第2システム発話を第2表現形式で出力する。これにより、ユーザはユーザ発話に対するさらなる返事(例えば、ユーザ発話への直接的な回答)を認識できる。
ステップS11~S19の一連の処理は再び実行され得る。例えば、対話装置10は、話題(シナリオ)が変わるようなユーザ発話を受信した場合に、そのユーザ発話を異なるボット機能30に取り次ぐためにその一連の処理を実行してもよい。
図3の例はフロント機能20がユーザ発話をボット機能30に取り次ぐ処理を示す。この取り次ぎに加えてまたは代えて、或るボット機能が別のボット機能のためにユーザ発話を取り次いでもよい。図4を参照しながら、ボット機能30間での取り次ぎの例を説明する。この説明では、二つのボット機能30をボット機能A,Bと区別する。
ステップS11~S17までの処理は図3の例と同じである。ステップS17に続いて、ステップS18Aでは、ボット機能Aが第2システム発話、第2表現形式、および指示データを含む第2システム発話データをフロント機能20に出力する。第2システム発話データに含まれる指示データは、ボット機能Bにより生成される第3システム発話の取得を目的とする要求信号をユーザ端末90に送信させるためのデータである。
ステップS19Aでは、出力部25がその第2システム発話データをユーザ端末90に出力する。ユーザ端末90は第2システム発話データを受信すると第2システム発話を第2表現形式で出力する。これにより、ユーザはユーザ発話に対するさらなる返事(例えば、ユーザ発話への直接的な回答、または、さらなる取り次ぎを示すシステム発話)を認識できる。
ステップS20では、ユーザ端末90が、第2システム発話データに含まれていた指示データに応答して、要求信号を対話装置10に送信する。この要求信号は、第2システム発話に続けて第3システム発話を得るためのデータ信号である。対話装置10では取得部22がその要求信号を受信する。
ステップS21では、発話制御部23がその要求信号に応答して、対応するボット機能Bにユーザ発話データを出力する。このユーザ発話データの内容が限定されないことは上記のステップS16と同じである。したがって、ユーザ発話データは、ユーザ端末90から受信されたユーザ発話そのものを含んでもよいし、該ユーザ発話に基づいて生成される別のデータ(例えば別のテキスト)を含んでもよい。
ステップS22では、ボット機能Bがそのユーザ発話データに対応する第3システム発話を生成する。これは、生成部32がステップS20での要求信号の受信に応答して第3システム発話を生成することを意味する。生成部32はユーザ発話データを用いてシナリオデータベース31を検索することでユーザ発話に対応するシナリオを選択し、そのシナリオで定義されるシステム発話を第3システム発話として生成する。上述したように、ボット機能Bがフロント機能20から取得するユーザ発話データの内容は限定されない。いずれにしても、ボット機能Bの生成部32は、ユーザ端末90から受信されたユーザ発話に応じた第3システム発話を生成する。
ステップS23では、ボット機能Bのボット機能30がその第3システム発話を含む第3システム発話データをフロント機能20に出力する。この第3システム発話データはさらに、ユーザ端末90での第3システム発話の表現形式を第3表現形式として含む。第1および第2の表現形式と同様に、第3表現形式の具体的な手法も限定されない。ただし、第3表現形式は第1表現形式とも第2表現形式とも異なる。
ステップS24では、フロント機能20の出力部25がその第3システム発話データをユーザ端末90に送信する。したがって、出力部25は、ステップS11でユーザ発話が取得された後に対話装置10で別のユーザ発話が受信されることなく、要求信号の受信に応答して第3システム発話を第3表現形式で出力する。ユーザ端末90は第3システム発話データを受信すると第3システム発話を第3表現形式で出力する。これにより、ユーザはユーザ発話に対するさらなる返事(例えば、ユーザ発話への直接的な回答)を認識できる。
上述したように、第1および第2のシステム発話を対話装置10内のどの機能が生成するかは限定されない。したがって、例えば、ボット機能Aが、第1表現形式で出力される第1システム発話を生成し、ボット機能Bが、第2表現形式で出力される第2システム発話を生成してもよい。あるいは、ボット機能30がその第1システム発話を生成し、フロント機能20がその第2システム発話を生成してもよい。図3および図4はいずれも対話装置10の処理の一例に過ぎないことに留意されたい。
対話装置10は、第1システム発話の送信に伴って指示データもユーザ端末90に送信することでユーザ端末90に要求信号を送信させ、その要求信号に応じて第2システム発話をユーザ端末90に送信する。この仕組みは、クライアント端末で入力されたデータを別のプログラムではなく同一プログラムに再送する仕組みであるポストバック(Postback)の一種であるといえる。
第2表現形式は第1表現形式と異なるので、ユーザはあたかも第1の人格が第1システム発話を発し、その第1の人格とは異なる第2の人格が第2システム発話を発するような状況を経験することができる。上述したように、表現形式の具体的な手法は限定されないので、対話装置10は様々な手法でシステム発話の表現を切り替えることができる。例えば、第1表現形式が女性の声で第2表現形式が男性の声でもよい。あるいは、第1表現形式が或る声質の男性の声(例えば大人の声)であり、第2表現形式が異なる声質の男性の声(例えば子供の声)でもよい。あるいは、第1表現形式が楕円形の吹き出しであり、第2表現形式が矩形の吹き出しでもよい。あるいは、第1表現形式が或る声質を持つ或るキャラクタであり、第2表現形式が異なる声質を持つ異なるキャラクタでもよい。このように、第2表現形式は、第1表現形式と同種で且つ異なる表現形式であってもよい。
図5を参照しながらシステム発話の表現のさらに別の例を説明する。図5は、システム発話をチャットルームで表現する例を示す図である。チャットルームとは、ユーザと一つのボットとの間の対話履歴を視覚的に示す表現方法である。例えば、ユーザが「今日の東京の天気を教えて。」と入力すると、ユーザ端末90はそのユーザ発話をチャットルーム200内に吹き出し201で表示すると共に、そのユーザ発話を対話装置10に送信する。対話装置10はそのユーザ発話に応答して「天気情報につなぎます。」というシステム発話をユーザ端末90に送信する。このシステム発話はフロント機能20の生成部24により生成される第1システム発話である。ユーザ端末90はこの第1システム発話をチャットルーム200内に吹き出し202で表示する。チャットルーム200は、フロント機能20(生成部24)に対応するユーザインタフェースである。
その第1システム発話に続いて、そのユーザ発話を処理するボット機能30が「晴れますが、夜遅くから雨が降ります。」というシステム発話をユーザ端末90に送信する。このシステム発話はボット機能30の生成部32により生成される第2システム発話である。ユーザ端末90は第2システム発話データに応答して、画面をチャットルーム200からチャットルーム210に切り替えると共に、このチャットルーム210内にその第2システム発話を吹き出し211で表示する。チャットルーム210は、ボット機能30(生成部32)に対応するユーザインタフェースである。この第2システム発話を受けてユーザが「気温は?」と入力すると、ユーザ端末90はそのユーザ発話をチャットルーム210内に吹き出し212で表示すると共に、そのユーザ発話を対話装置10に送信する。対話装置10はそのユーザ発話に応答して「最高気温は20℃になる見込みです。」というシステム発話をユーザ端末90に送信する。このシステム発話は、ボット機能30の生成部32により生成されるシステム発話であるので、ユーザ端末90はそのシステム発話をチャットルーム210内に吹き出し213で表示する。
そのシステム発話に続いてユーザが「赤坂への行き方は?」と入力すると、ユーザ端末90はそのユーザ発話を対話装置10に送信する。対話装置10はそのユーザ発話に応答して「交通案内につなぎます。」というシステム発話をユーザ端末90に送信する。このシステム発話はフロント機能20の生成部24により生成される第1システム発話である。ユーザ端末90は画面をチャットルーム210からチャットルーム200に切り替え、そのユーザ発話を吹き出し203で表示し、その第1システム発話を吹き出し204で表示する。
その第1システム発話に続いて、そのユーザ発話を処理するボット機能30が「交通手段は何を使いますか?」というシステム発話をユーザ端末90に送信する。このシステム発話は別のボット機能30の生成部32により生成される第2システム発話である。ユーザ端末90は画面をチャットルーム200からチャットルーム220に切り替えると共に、このチャットルーム220内にその第2システム発話を吹き出し221で表示する。チャットルーム220は、該別のボット機能30(生成部32)に対応するユーザインタフェースである。この第2システム発話を受けてユーザが「電車」と入力すると、ユーザ端末90はそのユーザ発話をチャットルーム220内に吹き出し222で表示すると共に対話装置10に送信する。対話装置10はそのユーザ発話に応答して「銀座線の赤坂見附で降りてください」というシステム発話をユーザ端末90に送信する。このシステム発話は、該別のボット機能30の生成部32により生成されるシステム発話であるので、ユーザ端末90はそのシステム発話をチャットルーム220内に吹き出し223で表示する。このように、一つのチャットルームは、ユーザと一つのエージェントとの対話履歴を示してもよい。これは、一つの生成部に対応する一つのチャットルームで示される対話が、1以上のユーザ発話と該生成部により生成される1以上のシステム発話とに限定されることを意味する。
図5の例ではチャットルーム200内の吹き出しの形状がチャットルーム210,220と異なるが、吹き出しの形状はチャットルーム間で統一されてもよい。あるいは、吹き出しの形状はチャットルーム毎に異なってもよい。あるいは、チャットルーム200,210,220の間でフォント、画面色などの他の視覚表現が異なってもよい。
上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成要素)は、ハードウェアおよび/またはソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的および/または論理的に結合した一つの装置により実現されてもよいし、物理的および/または論理的に分離した2つ以上の装置を直接的および/または間接的に(例えば、有線および/または無線)で接続し、これら複数の装置により実現されてもよい。
例えば、本発明の一実施の形態における対話装置10は、本実施形態の処理を行うコンピュータとして機能してもよい。図6は、対話装置10として機能するコンピュータ100のハードウェア構成の一例を示す図である。コンピュータ100は、物理的には、プロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006、バス1007などを含んでもよい。
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。対話装置10のハードウェア構成は、図に示した各装置を一つまたは複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
対話装置10における各機能は、プロセッサ1001、メモリ1002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることで、プロセッサ1001が演算を行い、通信装置1004による通信や、メモリ1002およびストレージ1003におけるデータの読み出しおよび/または書き込みを制御することで実現される。
プロセッサ1001は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ1001は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)で構成されてもよい。例えば、対話装置10の少なくとも一部の機能要素はプロセッサ1001で実現されてもよい。
また、プロセッサ1001は、プログラム(プログラムコード)、ソフトウェアモジュールやデータを、ストレージ1003および/または通信装置1004からメモリ1002に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、対話装置10の少なくとも一部の機能要素は、メモリ1002に格納され、プロセッサ1001で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、一つのプロセッサ1001で実行される旨を説明してきたが、2以上のプロセッサ1001により同時または逐次に実行されてもよい。プロセッサ1001は、1以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されてもよい。
メモリ1002は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)などの少なくとも一つで構成されてもよい。メモリ1002は、レジスタ、キャッシュ、メインメモリ(主記憶装置)などと呼ばれてもよい。メモリ1002は、本発明の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュールなどを保存することができる。
ストレージ1003は、コンピュータ読み取り可能な記録媒体であり、例えば、CDROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも一つで構成されてもよい。ストレージ1003は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ1002および/またはストレージ1003を含むテーブル、サーバその他の適切な媒体であってもよい。
通信装置1004は、有線および/または無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。例えば、対話装置10の少なくとも一部の機能要素は通信装置1004で実現されてもよい。
入力装置1005は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど)である。出力装置1006は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカー、LEDランプなど)である。なお、入力装置1005および出力装置1006は、一体となった構成(例えば、タッチパネル)であってもよい。
また、プロセッサ1001やメモリ1002などの各装置は、情報を通信するためのバス1007で接続される。バス1007は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
また、コンピュータ100は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部または全てが実現されてもよい。例えば、プロセッサ1001は、これらのハードウェアの少なくとも一つで実装されてもよい。
以上説明したように、本発明の一側面に係る対話装置は、ユーザにより入力されたユーザ発話を取得する取得部と、ユーザ発話に対応するシステム発話を生成する複数の生成部と、複数の生成部から選択された一つの生成部により生成されたシステム発話を出力する出力部とを備え、複数の生成部が、第1シナリオを有する第1生成部と、該第1シナリオとは異なる第2シナリオを有する第2生成部とを含み、出力部が、ユーザ発話に応じて第1生成部により生成された第1システム発話を第1表現形式で出力し、第1システム発話に続けて、ユーザ発話に応じて第2生成部により生成された第2システム発話を、第1表現形式とは異なる第2表現形式で出力する。
このような側面においては、互いに異なるシナリオを有する第1および第2のエージェント(生成部)による2種類のシステム発話が、互いに異なる表現形式で一のユーザ発話に対して出力される。このユーザインタフェースにより、あたかも人格の異なる複数のエージェントがユーザと連続的に会話するような場面がユーザに提供されるので、一つの発話に対して複数の人が応答するような場面を疑似的に表現することができる。
他の側面に係る対話装置では、取得部がユーザ端末からユーザ発話を受信し、出力部が、第1システム発話をユーザ端末に送信し、ユーザ端末に要求信号を送信させるための指示データをユーザ端末に送信し、別のユーザ発話を受信することなくユーザ端末から要求信号を受信したことに応答して、第2システム発話をユーザ端末に送信してもよい。このポストバックのような手順により、一つのユーザ発話に対して、2種類のエージェント(生成部)による2種類のシステム発話を連続してユーザ端末に提供することができる。
他の側面に係る対話装置では、出力部が、指示データを第1システム発話と共にユーザ端末に送信してもよい。指示データおよび第1システム発話を一回の送信処理でユーザ端末に提供することで、全体の処理時間と、ユーザ端末および対話装置の双方における処理時間とを短縮することができる。
他の側面に係る対話装置では、第2生成部が、要求信号を受信したことに応答して第2システム発話を生成してもよい。ユーザ端末から要求信号を受信するということは、ユーザ端末も、ユーザ端末と対話装置との間の通信も正常であると推定される。システム環境が正常であると見込まれる場合に初めて第2システム発話を生成することで、その生成処理が無駄になることを回避できる。例えば、生成した第2システム発話をユーザ端末に提供できないという状況を防ぐことができる。
他の側面に係る対話装置では、表現形式が聴覚表現および視覚表現の少なくとも一方で定義されてもよい。この場合には、一つの発話に対して複数の人が応答するような場面を人の聴覚または視覚を介してその人に経験させることができる。
他の側面に係る対話装置では、聴覚表現が、音声および効果音から選択される少なくとも一つを含み、視覚表現が、吹き出し、フォント、文字装飾、画面色、アイコン、キャラクタ、およびチャットルームから選択される少なくとも一つを含んでもよい。このような表現形式により、一つの発話に対して複数の人が応答するような場面を人の聴覚または視覚を介してその人にわかり易く伝えることができる。
他の側面に係る対話装置では、一つの生成部に対応する一つのチャットルームで示される対話が、1以上のユーザ発話と該生成部により生成される1以上のシステム発話とに限定されてもよい。複数の生成部のそれぞれについて専用のチャットルームを用意することで、シナリオ発話の内容に応じてチャットルームが変わるような体験をユーザに提供することができる。
以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨および範囲を逸脱することなく修正および変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。
情報の通知は、本明細書で説明した態様および実施形態に限られず、他の方法で行われてもよい。例えば、情報の通知は、物理レイヤシグナリング(例えば、DCI(Downlink Control Information)、UCI(Uplink Control Information))、上位レイヤシグナリング(例えば、RRC(Radio Resource Control)シグナリング、MAC(Medium Access Control)シグナリング、報知情報(MIB(Master Information Block)、SIB(System Information Block)))、その他の信号またはこれらの組み合わせによって実施されてもよい。また、RRCシグナリングは、RRCメッセージと呼ばれてもよく、例えば、RRC接続セットアップ(RRC Connection Setup)メッセージ、RRC接続再構成(RRC Connection Reconfiguration)メッセージなどであってもよい。
本明細書で説明した各態様/実施形態は、LTE(Long Term Evolution)、LTE-A(LTE-Advanced)、SUPER 3G、IMT-Advanced、4G、5G、FRA(Future Radio Access)、W-CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broadband)、IEEE 802.11(Wi-Fi)、IEEE 802.16(WiMAX)、IEEE 802.20、UWB(Ultra-Wideband)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステムおよび/またはこれらに基づいて拡張された次世代システムに適用されてもよい。
本明細書で説明した各態様/実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
情報等は、上位レイヤ(または下位レイヤ)から下位レイヤ(または上位レイヤ)へ出力され得る。複数のネットワークノードを介して入出力されてもよい。
入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
判定は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:trueまたはfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
本明細書で説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペアおよびデジタル加入者回線(DSL)などの有線技術および/または赤外線、無線およびマイクロ波などの無線技術を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、これらの有線技術および/または無線技術は、伝送媒体の定義内に含まれる。
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、またはこれらの任意の組み合わせによって表されてもよい。
なお、本明細書で説明した用語および/または本明細書の理解に必要な用語については、同一のまたは類似する意味を有する用語と置き換えてもよい。
本明細書で使用する「システム」および「ネットワーク」という用語は、互換的に使用される。
また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースはインデックスで指示されるものであってもよい。
上述したパラメータに使用する名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。様々なチャネル(例えば、PUCCH、PDCCHなど)および情報要素(例えば、TPCなど)は、あらゆる好適な名称によって識別できるので、これらの様々なチャネルおよび情報要素に割り当てている様々な名称は、いかなる点においても限定的なものではない。
ユーザ端末および移動通信端末は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。
本明細書で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)(例えば、テーブル、テーブルまたは別のデータ構造での探索)、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。
「接続された(connected)」、「結合された(coupled)」という用語、またはこれらのあらゆる変形は、2またはそれ以上の要素間の直接的または間接的なあらゆる接続または結合を意味し、互いに「接続」または「結合」された2つの要素間に1またはそれ以上の中間要素が存在することを含むことができる。要素間の結合または接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。本明細書で使用する場合、2つの要素は、1またはそれ以上の電線、ケーブルおよび/またはプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域および光(可視および不可視の両方)領域の波長を有する電磁エネルギーなどの電磁エネルギーを使用することにより、互いに「接続」または「結合」されると考えることができる。
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
本明細書で「第1の」、「第2の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第1および第2の要素への参照は、2つの要素のみがそこで採用され得ること、または何らかの形で第1の要素が第2の要素に先行しなければならないことを意味しない。
「含む(include)」、「含んでいる(including)」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または(or)」は、排他的論理和ではないことが意図される。
本明細書において、文脈または技術的に明らかに一つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。
10…対話装置、20…フロント機能、21…シナリオデータベース、22…取得部、23…発話制御部、24…生成部、25…出力部、30…ボット機能、31…シナリオデータベース、32…生成部、90…ユーザ端末、200,210,220…チャットルーム。
Claims (7)
- ユーザにより入力されたユーザ発話を取得する取得部と、
前記ユーザ発話に対応するシステム発話を生成する複数の生成部と、
前記複数の生成部から選択された一つの生成部により生成された前記システム発話を出力する出力部と
を備え、
前記複数の生成部が、第1シナリオを有する第1生成部と、該第1シナリオとは異なる第2シナリオを有する第2生成部とを含み、
前記出力部が、
前記ユーザ発話に応じて前記第1生成部により生成された第1システム発話を第1表現形式で出力し、
前記第1システム発話に続けて、前記ユーザ発話に応じて前記第2生成部により生成された第2システム発話を、前記第1表現形式とは異なる第2表現形式で出力する、
対話装置。 - 前記取得部がユーザ端末から前記ユーザ発話を受信し、
前記出力部が、
前記第1システム発話を前記ユーザ端末に送信し、
前記ユーザ端末に要求信号を送信させるための指示データを前記ユーザ端末に送信し、
別のユーザ発話を受信することなく前記ユーザ端末から前記要求信号を受信したことに応答して、前記第2システム発話を前記ユーザ端末に送信する、
請求項1に記載の対話装置。 - 前記出力部が、前記指示データを前記第1システム発話と共に前記ユーザ端末に送信する、
請求項2に記載の対話装置。 - 前記第2生成部が、前記要求信号を受信したことに応答して前記第2システム発話を生成する、
請求項2または3に記載の対話装置。 - 前記表現形式が聴覚表現および視覚表現の少なくとも一方で定義される、
請求項1~4のいずれか一項に記載の対話装置。 - 前記聴覚表現が、音声および効果音から選択される少なくとも一つを含み、
前記視覚表現が、吹き出し、フォント、文字装飾、画面色、アイコン、キャラクタ、およびチャットルームから選択される少なくとも一つを含む、
請求項5に記載の対話装置。 - 一つの前記生成部に対応する一つの前記チャットルームで示される対話が、1以上のユーザ発話と該生成部により生成される1以上のシステム発話とに限定される、
請求項6に記載の対話装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/982,907 US11430440B2 (en) | 2018-05-11 | 2019-03-29 | Dialog device |
JP2020518183A JP7112487B2 (ja) | 2018-05-11 | 2019-03-29 | 対話装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-092493 | 2018-05-11 | ||
JP2018092493 | 2018-05-11 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019216053A1 true WO2019216053A1 (ja) | 2019-11-14 |
Family
ID=68467072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/014115 WO2019216053A1 (ja) | 2018-05-11 | 2019-03-29 | 対話装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11430440B2 (ja) |
JP (1) | JP7112487B2 (ja) |
WO (1) | WO2019216053A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190098110A (ko) * | 2019-08-02 | 2019-08-21 | 엘지전자 주식회사 | 지능형 프레젠테이션 방법 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001209820A (ja) * | 2000-01-25 | 2001-08-03 | Nec Corp | 感情表出装置及びプログラムを記録した機械読み取り可能な記録媒体 |
JP2003205483A (ja) * | 2001-11-07 | 2003-07-22 | Sony Corp | ロボットシステム及びロボット装置の制御方法 |
JP2006072992A (ja) * | 2004-08-16 | 2006-03-16 | Mitsubishi Electric Research Laboratories Inc | 家電機器のネットワークの1つの共通グラフィカルユーザインタフェース及び家電機器ネットワーク |
WO2015174172A1 (ja) * | 2014-05-13 | 2015-11-19 | シャープ株式会社 | 制御装置およびメッセージ出力制御システム |
WO2017200076A1 (ja) * | 2016-05-20 | 2017-11-23 | 日本電信電話株式会社 | 対話方法、対話システム、対話装置、およびプログラム |
JP2018032330A (ja) * | 2016-08-26 | 2018-03-01 | 株式会社アドバンスト・メディア | 情報処理システム、情報処理装置、サーバ、情報処理方法及びプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6721706B1 (en) * | 2000-10-30 | 2004-04-13 | Koninklijke Philips Electronics N.V. | Environment-responsive user interface/entertainment device that simulates personal interaction |
JP6078964B2 (ja) * | 2012-03-26 | 2017-02-15 | 富士通株式会社 | 音声対話システム及びプログラム |
US9576574B2 (en) * | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
US9690542B2 (en) * | 2014-12-22 | 2017-06-27 | Microsoft Technology Licensing, Llc | Scaling digital personal assistant agents across devices |
US10102844B1 (en) * | 2016-03-29 | 2018-10-16 | Amazon Technologies, Inc. | Systems and methods for providing natural responses to commands |
-
2019
- 2019-03-29 US US16/982,907 patent/US11430440B2/en active Active
- 2019-03-29 JP JP2020518183A patent/JP7112487B2/ja active Active
- 2019-03-29 WO PCT/JP2019/014115 patent/WO2019216053A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001209820A (ja) * | 2000-01-25 | 2001-08-03 | Nec Corp | 感情表出装置及びプログラムを記録した機械読み取り可能な記録媒体 |
JP2003205483A (ja) * | 2001-11-07 | 2003-07-22 | Sony Corp | ロボットシステム及びロボット装置の制御方法 |
JP2006072992A (ja) * | 2004-08-16 | 2006-03-16 | Mitsubishi Electric Research Laboratories Inc | 家電機器のネットワークの1つの共通グラフィカルユーザインタフェース及び家電機器ネットワーク |
WO2015174172A1 (ja) * | 2014-05-13 | 2015-11-19 | シャープ株式会社 | 制御装置およびメッセージ出力制御システム |
WO2017200076A1 (ja) * | 2016-05-20 | 2017-11-23 | 日本電信電話株式会社 | 対話方法、対話システム、対話装置、およびプログラム |
JP2018032330A (ja) * | 2016-08-26 | 2018-03-01 | 株式会社アドバンスト・メディア | 情報処理システム、情報処理装置、サーバ、情報処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11430440B2 (en) | 2022-08-30 |
JP7112487B2 (ja) | 2022-08-03 |
JPWO2019216053A1 (ja) | 2021-01-07 |
US20210005200A1 (en) | 2021-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11462213B2 (en) | Information processing apparatus, information processing method, and program | |
WO2017165105A1 (en) | Universal internet of things (iot) smart translator | |
US11868734B2 (en) | Dialogue system | |
EP3635533B1 (en) | Electronic apparatus for processing user utterance for controlling an external electronic apparatus and controlling method thereof | |
KR102599948B1 (ko) | 전자 장치 및 그의 와이파이 연결 방법 | |
WO2019216053A1 (ja) | 対話装置 | |
CN105471998A (zh) | 一种用于在多个终端中同步应用数据的方法和装置 | |
US11971977B2 (en) | Service providing apparatus | |
KR20210066651A (ko) | 전자 장치 및 이의 제어 방법 | |
JPWO2019207909A1 (ja) | 対話サーバ | |
WO2019220791A1 (ja) | 対話装置 | |
JP6944594B2 (ja) | 対話装置 | |
US20200357414A1 (en) | Display apparatus and method for controlling thereof | |
CN112530435B (zh) | 数据传输方法、装置、***、可读存储介质及电子设备 | |
CN108055655A (zh) | 一种语音设备加好友的方法、装置、设备及存储介质 | |
US20110216915A1 (en) | Providing audible information to a speaker system via a mobile communication device | |
WO2019211967A1 (ja) | 対話装置 | |
JP6847006B2 (ja) | 通信制御装置及び端末 | |
KR20200116654A (ko) | 전자 장치 및 이의 제어 방법 | |
WO2019017033A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR101618353B1 (ko) | 서버 및 클라이언트의 언어동기화를 위한 언어변환방법 및 이를 위한 서버-클라이언트 시스템 | |
JP7429193B2 (ja) | 対話装置及び対話プログラム | |
WO2024053187A1 (ja) | メッセージ送信装置 | |
WO2020090148A1 (ja) | 対話システム | |
KR20220012021A (ko) | 맞춤형 대화 연결 서비스 제공방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19800651 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020518183 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19800651 Country of ref document: EP Kind code of ref document: A1 |