WO2018043112A1 - 情報提示装置、および情報提示方法 - Google Patents
情報提示装置、および情報提示方法 Download PDFInfo
- Publication number
- WO2018043112A1 WO2018043112A1 PCT/JP2017/029341 JP2017029341W WO2018043112A1 WO 2018043112 A1 WO2018043112 A1 WO 2018043112A1 JP 2017029341 W JP2017029341 W JP 2017029341W WO 2018043112 A1 WO2018043112 A1 WO 2018043112A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- presentation
- agent
- user
- voice
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000004044 response Effects 0.000 claims description 33
- 230000008451 emotion Effects 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 33
- 238000012544 monitoring process Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 8
- 230000003068 static effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 241000167854 Bourreria succulenta Species 0.000 description 5
- 235000019693 cherries Nutrition 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001172 regenerating effect Effects 0.000 description 2
- 235000011442 Prunus x yedoensis Nutrition 0.000 description 1
- 241000220307 Prunus yedoensis Species 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
Definitions
- the present technology relates to an information presentation apparatus and an information presentation method, and more particularly, to an information presentation apparatus and an information presentation method that can explicitly present the main points of audio output.
- the user does not express the point of the story explicitly but the user needs to read it from the facial expression of the agent, and the point is still difficult to understand.
- the present technology has been made in view of such a situation, and makes it easy for the user to understand the presentation information output as voice.
- An information presentation apparatus includes an acquisition unit that acquires presentation information to be presented to a user, and support information that is presented to the user together with the presentation information based on the acquired presentation information And a generating unit that synthesizes a voice corresponding to the generated support information, and a presentation unit that presents the synthesized voice corresponding to the support information as an utterance of the first agent.
- the presenting unit can output a voice synthesized in correspondence with the support information as an utterance of the first agent by displaying the character image of the first agent.
- the generation unit can further synthesize a voice corresponding to the presentation information, and the presentation unit can further output the synthesized voice corresponding to the presentation information as a statement of a second agent. Can do.
- the presenting unit can output the synthesized voice corresponding to the presentation information as the second agent's utterance by displaying the character image of the second agent.
- the information presentation device may further include an analysis unit that analyzes the acquired presentation information, and the generation unit generates the support information based on an analysis result of the presentation information. be able to.
- the information presentation device may further include a detection unit that detects a user state, and the presentation unit corresponds to the support information according to the detected user state.
- the synthesized voice can be output as a statement from the first agent.
- the detecting unit may further detect a user attribute, and the presenting unit may utter a voice synthesized according to the support information according to the detected user attribute by the first agent. Can be output as
- the generation unit can generate the support information including an emotion word for the presentation information.
- the generation unit can generate the support information including the main points of the presentation information.
- the generation unit can generate the support information including a question about the content of the presentation information.
- the generation unit can generate the support information including user information related to the presentation information.
- the generation unit can generate the support information based on an explanatory text explaining a video related to the presentation information.
- the generation unit generates response information to be presented as a response utterance by the second agent with respect to the support information to be presented as the utterance of the first agent, and synthesizes a voice corresponding to the response information.
- the presenting unit can further output the synthesized voice corresponding to the response information as an utterance of the second agent.
- the generation unit generates response information to be presented as an utterance of a response by the second agent in response to an utterance from the user with respect to the presentation information presented as an utterance of the second agent, and corresponds to the response information
- the presenting unit can further output the synthesized speech corresponding to the response information as a message from the second agent.
- An information presentation method includes an acquisition step of acquiring presentation information to be presented to a user by an information presentation device, and presenting the presentation information to the user based on the acquired presentation information. Generating a support information for synthesizing, synthesizing a voice corresponding to the generated support information, and presenting a step of presenting the synthesized voice corresponding to the support information as an utterance of the first agent Including.
- presentation information to be presented to the user is acquired, and based on the acquired presentation information, support information to be presented to the user together with the presentation information is generated and generated.
- the voice corresponding to the support information is synthesized, and the synthesized voice corresponding to the support information is presented as an utterance of the first agent.
- FIG. 11 is a block diagram illustrating a configuration example of a general-purpose computer.
- presentation information voice corresponding to character information
- main agent and subagent two types of agents that speak a word are set.
- the main agent speaks the voice corresponding to the presentation information
- the sub-agent speaks the voice corresponding to the support information generated based on the presentation information like a so-called hand for the main agent.
- the support information is for deepening the user's understanding of the presentation information or attracting interest (details will be described later).
- the audio of the support information by the subagent is always output regardless of the state of the user (static information presentation process), and the output starts and ends according to the user state (dynamic information presentation process). It can be set to either.
- Both agents are displayed on the display and perform various expressions according to the content of the audio output (gestures expressing gestures, surprises, joys, sadness, disappointments, gestures, facial expressions, etc.) Change).
- Both agents change the voice quality, change the way of speaking, and output one voice from the left speaker and the other voice from the right speaker so that the user can distinguish.
- you may change the external appearances, such as a body shape and clothes of both agents.
- the way of speaking may be changed according to the contents of the presentation information and the support information, for example, the bright news is spoken and the dark news is calm.
- a plurality of both agents may be prepared, and the agents may be changed according to the contents of the presentation information and support information.
- both agents are not limited to one each, and there may be two or more.
- one main agent and two or more subagents may appear at the same time.
- both agents may be displayed on the display.
- the presentation information may be displayed without displaying the main agent on the display and the sound may be output, and only the subagent may be displayed and the sound corresponding to the support information may be output.
- the presentation information and the support information may be displayed, and the corresponding audio may be output.
- the agent is displayed and the sound thereof is output. Therefore, the present technology is assumed to be applied to an apparatus including at least a speaker and a display, such as a television receiver or a tablet PC. . However, the present technology can also be applied to an apparatus that does not include a display. In addition, for example, this technology can be applied to a robot to cause one robot to play the roles of a main agent and a subagent, or a robot that is applied to multiple robots can use a main agent, and other robots can use a subagent. You can play the role of an agent.
- FIG. 1 shows an example in which the subagent 12 presents emotion words as support information.
- the presentation information spoken by the main agent 11 “The cherry blossoms in Tokyo are in full bloom next week” is analyzed, and support information including emotion words is generated according to the analysis result, and the subagent 12 is generated. Is output as audio. By outputting the voice of the support information including the emotion word, an effect of attracting the user's interest to the presentation information can be expected.
- exclamation words herein, wow, etc.
- FIG. 2 shows an example in which the subagent repeats the main points of the presentation information as support information.
- the presentation information spoken by the main agent 11 is analyzed, “Tokyo cherry blossoms will be in full bloom early next month. This year ’s population is likely to be more than last year.” (In this case, full bloom at the beginning of next month) is extracted, and support information including the extracted main points “is in full bloom at the beginning of next month” is generated, and it is repeated as the voice of the subagent 12.
- the support information “It is the beginning of next month that it is in full bloom” may be generated by inverting the extracted key words.
- FIG. 3 and FIG. 4 show an example in which the subagent presents a question whose answer is the main point of the presentation information as support information.
- the question as support information is selected from 5W1H (when, where, who, what, why, how) according to the main point.
- the presentation information “the cherry blossoms in Tokyo are in full bloom next week” spoken by the main agent 11 is analyzed, and the main points (next week in this case) are extracted according to the analysis results, and the extracted main points are answered.
- the question “when?” Is selected as the support information, and is output as the voice of the subagent 12. Further, the main agent 11 outputs a voice “Next week” so as to answer the question from the subagent 12.
- the presentation information spoken by the main agent 11 “This weekend, there is a fireworks display in ABC Park” is analyzed, and the main point (in this case, ABC Park) is extracted and extracted.
- the question “Where?” Is selected as the support information for which the main point is the answer, and is output as the voice of the subagent 12. Further, the main agent 11 outputs a voice “ABC Park” to answer the question from the subagent 12.
- the main agent 11 Since the main agent 11 repeatedly speaks the key points of the presentation information when the sub-agent 12 makes a question with the key points as support information, it is possible to deepen the user's understanding and to prevent the key points from being missed. I can expect.
- the main agent 11 can also answer the user's question by voice.
- the main agent 11 may react to the user's reaction.
- the user can ask the main agent 11 about the question and missed words and obtain an answer to the answer, so that the user can deepen the understanding and can be expected to prevent the important point from being missed.
- 5 and 6 show an example in which the subagent presents user information related to the presentation information as support information.
- User information related to the presentation information is searched from the user DB.
- the user DB it is assumed that the user schedule, mail, address book, created document, search history, browsing history, input characters, music, image, video, and the like are registered.
- the presentation information spoken by the main agent 11 “the cherry blossoms in Tokyo are in full bloom next week. The number of people watching the cherry blossoms is likely to increase.” Is analyzed, and an important word (in this case, cherry blossom viewing) is extracted. The search is performed on the user DB. If the extracted important word is registered in the user DB, support information “I went to Hanami at XX Park last year” is generated based on the search result, and the voice is output from the subagent 12.
- the presentation information spoken by the main agent 11 “Brexit has been decided last week” is analyzed, and an important word (in this case, radiation) is extracted according to the analysis result and is extracted from the user DB. Searched. If an important word extracted in the user DB is not registered, support information “What is Radio?” For asking about the important word is generated and output from the subagent 12.
- Talking the user information related to the presentation information as the support information by the subagent can be expected to attract the user's interest in the presentation information. Moreover, the meaning of the word which a user does not know can be taught and the effect which raises a user's satisfaction can be anticipated.
- support information are not limited to those described above. Moreover, the examples of the support information described above can be combined as appropriate.
- FIG. 7 illustrates a configuration example of an information presentation apparatus that implements the various examples described above, which is an embodiment of the present technology.
- This information presentation device 20 includes a presentation information acquisition unit 21, a presentation information analysis unit 22, a user DB 23, an agent utterance control unit 24, an expression DB 25, a user state processing unit 26, a display 27, a speaker 28, a microphone 29, and a sensor 30. Prepare.
- the presentation information acquisition unit 21 acquires presentation information (text data) for presentation to a user as a voice from a predetermined server on the Internet, for example, and supplies it to the presentation information analysis unit 22.
- the presentation information analysis unit 22 analyzes the presentation information, such as natural language analysis, and outputs the analysis result to the agent utterance control unit 24.
- the agent utterance control unit 24 controls the voices of the main agent 11 and the subagent 12. That is, the voice corresponding to the presentation information is synthesized and output from the speaker 28 as the voice of the main agent 11. Further, the support information is generated based on the analysis result of the presentation information, and the corresponding voice is synthesized and output from the speaker 28 as the voice of the subagent 12.
- response information that is a response of the main agent 11 to the utterance (question or the like) of the subagent 12 is generated, and the voice is synthesized and output from the speaker 28.
- the speech corresponding to the presentation information, support information, and response information can be changed by referring to the representation DB 25 respectively.
- the agent utterance control unit 24 controls display of the main agent 11 and the subagent 12. Specifically, the main agent 11 and the subagent 12 are displayed on the display 27, and various expression operations (speaking with gestures, surprised, disappointed, etc.) are executed in accordance with the voice output.
- the agent utterance control unit 24 can generate the voices of the main agent 11 and the subagent 12 with reference to the expression DB 25, and can cause both agents to execute various expression operations. The user can distinguish whether it belongs to the main agent 11 or the subagent 12 by listening to the voice.
- the user state processing unit 26 indicates the user state (the degree of reaction to the presentation information, the frequency of reaction, the facial expression, etc.) based on the user's utterance input from the microphone 29 and the video input from the sensor 30.
- the agent utterance control unit 24 is notified of the identification result.
- the display 27 displays images of the main agent 11 and the subagent 12 according to control from the agent utterance control unit 24.
- the speaker 28 outputs the sounds of the main agent 11 and the subagent 12 according to the control from the agent utterance control unit 24.
- the microphone 29 collects the user's utterances and sounds around the information presentation device 20 and outputs them to the user state processing unit 26.
- the sensor 30 captures an image around the user and the information presentation device 20 and outputs the image to the user state processing unit 26.
- the display 27, the speaker 28, the microphone 29, and the sensor 30 need to be arranged in the vicinity of the user, but all of them are necessarily contained in one housing. There is no need. That is, for example, the display 27 and the speaker 28 may be housed in separate housings.
- those other than the display 27, the speaker 28, the microphone 29, and the sensor 30 may be arranged at arbitrary places where they can communicate with each other. For example, you may arrange
- Example of presentation information analysis Next, analysis of the presentation information by the presentation information analysis unit 22, generation of support information by the agent utterance control unit 24, and the main agent 11 that answers a question from the subagent 12 or a question from the user as support information An example of the remark will be described.
- FIG. 8 shows an example of presentation information analysis by the presentation information analysis unit 22.
- presentation information when presentation information is supplied to the presentation information analysis unit 22, structure decomposition is performed by natural language analysis.
- the result is notified to the agent utterance control unit 24, and the main agent 11 and the sub-agent 12 (based on the dependency and case (time case, place case, main case, target case, purpose case, cause case, etc.) of each clause. Or an interaction (question and answer) is generated.
- FIG. 9 is a flowchart for explaining static information presentation processing by the information presentation device 20.
- the static information presentation process is a process of outputting the support information voice in accordance with the progress of the presentation information voice regardless of the state of the user.
- step S1 the presentation information acquisition unit 21 acquires the presentation information from a predetermined server on the Internet and supplies it to the presentation information analysis unit 22, for example.
- step S ⁇ b> 2 the presentation information analysis unit 22 analyzes the presentation information and outputs the analysis result to the agent utterance control unit 24.
- step S3 the agent utterance control unit 24 generates support information based on the analysis result of the presentation information.
- step S4 the agent utterance control unit 24 synthesizes a voice corresponding to the presentation information and outputs it from the speaker 28 as a voice of the main agent 11.
- step S ⁇ b> 5 the agent utterance control unit 24 synthesizes the voice corresponding to the support information and outputs it from the speaker 28 as the voice of the subagent 12.
- step S6 the agent utterance control unit 24 determines whether the output of the voice corresponding to the presentation information and the support information has been completed, returns the process to step S4 until it is determined that the output has been completed, and performs the processes in steps S4 to S6. repeat. And when it determines with the output of the audio
- the main agent 11 does not just speak the voice of the presentation information, but the sub-agent 12 speaks the voice of the support information, so that it is possible to deepen the user's understanding of the presentation information. Become.
- FIG. 10 is a flowchart for explaining dynamic information presentation processing by the information presentation apparatus 20.
- the dynamic information presentation process is a process of outputting the support information voice in accordance with the progress of the presentation information voice according to the state of the user.
- step S11 the presentation information acquisition unit 21 acquires the presentation information from a predetermined server on the Internet, for example, and supplies it to the presentation information analysis unit 22.
- step S 12 the presentation information analysis unit 22 analyzes the presentation information and outputs the analysis result to the agent utterance control unit 24.
- step S13 the agent utterance control unit 24 generates support information based on the analysis result of the presentation information. Note that the generation of support information may be executed when outputting of audio corresponding to the support information is started in step S16 described later.
- step S14 the agent utterance control unit 24 synthesizes the voice corresponding to the presentation information and outputs the synthesized voice from the speaker 28 as the voice of the main agent 11.
- step S15 the agent utterance control unit 24 acquires user state information representing the user state from the user state processing unit 26.
- the agent utterance control unit 24 synthesizes the voice corresponding to the support information according to the user status represented by the user status information, and outputs the synthesized voice from the speaker 28 as the voice of the subagent 12.
- the state of the user refers to the degree of reaction to the presentation information by the voice of the main agent 11, the frequency of the reaction, the facial expression, and the like. Start output. Then, when the user's attention to the presentation information returns, the output of the voice corresponding to the support information is stopped.
- the output of the voice corresponding to the support information may be controlled according to conditions other than the user's state, such as a predetermined time elapses after the output of the presentation information is started.
- step S17 the agent utterance control unit 24 determines whether the output of the voice corresponding to the presentation information is completed, returns the process to step S14 until it is determined that the output is completed, and repeats the processes in steps S14 to S17. And when it determines with the output of the audio
- the main agent 11 does not simply speak the voice of the presentation information, but the subagent 12 speaks the voice of the support information in response to the user's state. It is possible to deepen the understanding and to expect the user's attention and interest in the presented information.
- FIG. 11 is an application example in which the information presentation device 20 is applied to a signage device 50 for guidance installed in a tourist facility, for example, and shows a case where the information presentation device 20 is used by a plurality of users 61 and 62.
- the signage device 50 can dynamically change the support information by identifying the states and attributes of the users 61 and 62 (adults and children, men and women, parents and children, etc.).
- the signage device 50 shown in FIG. 11 dynamically changes information to be presented according to the presence or absence of a user's reaction.
- the case where the user has reacted means that, for example, an operation in which the user approaches the screen, turns his face, or opens his eyes is detected.
- the support information “is there anything else?” Is output as the voice of the subagent 12, and further, the information “Science that can be bought at the shop is actually the voice of the main agent 11. "Goods are interesting” is output.
- the support information can be dynamically changed according to the presence or absence of the user's reaction, and the information spoken by the main agent 11 can be changed accordingly. Therefore, when there is a user's reaction, the information can be conveyed in detail, and when there is no user's reaction, other topics can be conveyed, and as a result, an effect of attracting the user's interest is expected. it can.
- the users 61 and 62 are distinguished and their attributes (in the example of FIG. 13, adults and children) and presence / absence of reaction are detected. Then, the presentation information “Science discovery and latest technology are introduced in this facility” is output as the voice of the main agent 11, and when there is a reaction of the adult user 61, the sub agent 12 Support information for adults “What is the content?” Is output as voice, and further, information for adults “I will explain the AA technology and BB material mechanism” is output as the voice of the main agent 11.
- the child support information “How do you enjoy it?” Is output as the voice of the sub-agent 12, and the child-oriented information “CC” is output as the voice of the main agent 11. "There is a corner to play and make”.
- the presence / absence of each reaction is detected by distinguishing user attributes (in the example of the figure, adults and children), and when there is a response to the adult user 61 and the child user 62
- the support information can be changed dynamically depending on when there is a response, and the information spoken by the main agent 11 can be changed accordingly. As a result, even when users with different attributes exist at the same time, it is possible to expect an effect of attracting both users as a result.
- the support information is dynamically changed depending on whether the adult user 61 does not respond or the child user 62 does not respond, and the information spoken by the main agent 11 is also changed accordingly. It is also possible to change it.
- FIG. 14 shows an example of support information in an application example in which the information presentation device 20 is applied to a car navigation device.
- the presentation information “Turn right for 500 m” is output as the voice of the main agent 11.
- support information “There is an XY chef's restaurant” is output as an introduction of a nearby facility, or “Pedestrian pop-out attention” is output as an alert.
- the introduction of the neighboring facilities described above is realized by performing an information search based on, for example, position information based on GPS, a signboard in a captured image outside the vehicle, and the like.
- the above-described alerting is realized from the result of analyzing the driving history of the user (driver), the line of sight during driving, or the like, and analyzing the captured video outside the vehicle.
- the VQA technique is a technique for detecting a subject in an image and generating a description thereof.
- FIG. 15 shows an example of an image outside the vehicle photographed from the vehicle.
- This video shows pedestrian crossings, oncoming lanes, oncoming vehicles, traffic lights, pedestrians, billboards, houses, etc.
- VQA technology is applied to this image, for example, “There is a pedestrian crossing in the horizontal direction in the middle of the screen. There is a pedestrian on the right side of the pedestrian crossing. There is a signal above the pedestrian crossing and green. On the left side of the screen, there is an oncoming lane and the oncoming vehicle is heading.There is a signboard on the left side of the screen and at the end of the pedestrian crossing. There is a residence. "Is generated. By using this document, for example, it is possible to monitor the traffic volume of self-propelled lanes and oncoming lanes, and to predict the crossing of pedestrians, so that support information effective for the user (driver) is output as voice. It becomes possible to do.
- FIG. 16 shows an example of support information in an application example in which the information presentation device 20 is applied to a remote family watching system.
- the remote family refers to a child who is answering at home or an elderly person living alone.
- the presentation information spoken by the main agent 11 “Today, get up at 6 o'clock ...” is analyzed, and support information including emotion words according to the analysis result “is more relaxed than usual. Is generated and output as the voice of the subagent 12.
- the presentation information spoken by the main agent 11 is generated based on a document generated by applying the VQA technique to a video capturing a remote family house.
- FIG. 17 shows an example of an image capturing the inside of a remote family house.
- the entrance of the living room is imaged and the video is analyzed or the VQA technology is applied as shown in FIG.
- FIG. B if the kitchen is imaged and the video is analyzed or the VQA technique is applied, the cooking time zone can be recorded.
- FIG. C the time spent sitting on the sofa can be recorded.
- any video is analyzed or VQA technology is applied, it is possible to monitor the danger of a remote family falling or the like.
- the information presentation device 20 is applied to a remote family watching system, the user can easily understand the state of the remote family by voice in normal times. Further, when an abnormality occurs, it is possible to know the specific content of the abnormality that has occurred by voice.
- FIGS. 18 and 19 show examples of support information in an application example in which the information presentation device 20 is applied to a moving image teaching material reproduction device.
- the main agent 11 does not appear, but one subagent 12 appears.
- the subagent 12 may or may not be displayed on the screen.
- the explanation that the person who actually appears in the video (in this case, the lecturer who lectures) speaks “This is AA and BB works” is the presentation information, this is analyzed, and the analysis result The words that the user is likely to question (in this case, the function of the BB) are extracted, and support information for explaining the extracted words “the function of the BB is to bbb” is generated. , And output as the voice of the subagent 12.
- words that are likely to be questioned by the user may be collected in advance from the past question history for the lecture, for example, in addition to extracting from the analysis result of the presentation information. In that case, support information for explaining words that the user may be wondering about may be generated in advance. Moreover, you may make it collect the word which the user knew in real time.
- the main agent 11 does not appear, and two subagents 12-1 and 12-2 appear.
- the subagents 12-1 and 12-2 may or may not be displayed on the screen.
- the main agent 11 does not appear, and the explanation “This is AA and BB works” spoken by the person who actually appears in the video (in this case, the lecturer who gives the lecture) is the presentation information.
- This is analyzed, and the words that the user seems to be wondering (in this case, the function of BB) are extracted according to the analysis result, and the support information of the question including the extracted words “What is the function of BB? ? "Is output as the voice of the subagent 12-1.
- support information for explaining the extracted words “It is to be bbb” is generated and output as the voice of the subagent 12-2.
- words that the user may be wondering may be collected in advance from, for example, past question histories for the lecture, as in the example of FIG. In that case, support information for explaining words that the user may be wondering about may be generated in advance. Moreover, you may make it collect the word which the user knew in real time.
- the subagent 12-1 asks the question and the subagent 12-2 explains it.
- a deepening effect can be expected.
- the above-described series of processing can be executed by hardware or can be executed by software.
- a program constituting the software is installed in the computer.
- the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
- FIG. 20 is a block diagram illustrating a configuration example of hardware of a computer that executes a series of processes by the information presentation apparatus 20 described above by a program.
- a CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- An input / output interface 105 is further connected to the bus 104.
- An input unit 106, an output unit 107, a storage unit 108, a communication unit 109, and a drive 110 are connected to the input / output interface 105.
- the input unit 106 includes a keyboard, a mouse, a microphone, and the like.
- the output unit 107 includes a display, a speaker, and the like.
- the storage unit 108 includes a hard disk, a nonvolatile memory, and the like.
- the communication unit 109 includes a network interface or the like.
- the drive 110 drives a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
- the CPU 101 loads the program stored in the storage unit 108 to the RAM 103 via the input / output interface 105 and the bus 104 and executes the program. A series of processing is performed.
- the program executed by the computer (CPU 101) can be provided by being recorded in the removable medium 211 as a package medium, for example.
- the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
- the program executed by the computer 100 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as when a call is made in parallel. It may be a program in which processing is performed.
- the present technology can also have the following configurations.
- An information presentation apparatus comprising: a presentation unit that presents a synthesized voice corresponding to the support information as a statement of the first agent.
- the presenting unit outputs a voice synthesized corresponding to the support information as an utterance of the first agent by displaying a character image of the first agent.
- the generation unit further synthesizes speech corresponding to the presentation information, The information presenting device according to (1) or (2), wherein the presenting unit further outputs a voice synthesized corresponding to the presenting information as an utterance of the second agent.
- the presentation unit displays a character image of the second agent, and outputs a synthesized voice corresponding to the presentation information as an utterance of the second agent.
- An analysis unit that analyzes the acquired presentation information; The information generation device according to any one of (1) to (4), wherein the generation unit generates the support information based on an analysis result of the presentation information.
- the information generation device (9) The information generation device according to any one of (1) to (7), wherein the generation unit generates the support information including a gist of the presentation information. (10) The said presentation part produces
- Information presentation apparatus in any one of said (1) to (7). (11) The information generation device according to any one of (1) to (7), wherein the generation unit generates the support information including user information related to the presentation information. (12) The information generation device according to any one of (1) to (7), wherein the generation unit generates the support information based on an explanatory text explaining a video related to the presentation information.
- the generation unit generates response information to be presented as a response speech by the second agent with respect to the support information to be presented as a speech of the first agent, and synthesizes a voice corresponding to the response information.
- the information presenting device according to any one of (3) to (12), wherein the presenting unit further outputs a voice synthesized corresponding to the response information as a statement of the second agent.
- the generation unit generates response information to be presented as an utterance of a response by the second agent in response to an utterance from the user with respect to the presentation information presented as an utterance of the second agent, and corresponds to the response information Synthesize the voice to The information presenting device according to any one of (3) to (12), wherein the presenting unit further outputs a voice synthesized corresponding to the response information as a statement of the second agent.
- An obtaining step for obtaining presentation information to be presented to the user Based on the acquired presentation information, a generation step of generating support information to be presented to the user together with the presentation information, and synthesizing voice corresponding to the generated support information; A presentation step of presenting a voice synthesized in correspondence with the support information as an utterance of the first agent.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本技術は、音声として出力される提示情報をユーザに理解し易くすることができるようにする情報提示装置、および情報提示方法に関する。 本技術の一側面である情報提示装置は、ユーザに対して提示するための提示情報を取得する取得部と、取得された前記提示情報に基づき、前記提示情報とともにユーザに提示するためのサポート情報を生成し、生成した前記サポート情報に対応する音声を合成する生成部と、前記サポート情報に対応して合成された音声を第1のエージェントの発言として提示する提示部とを備える。本技術は、例えば、ロボット、サイネージ装置、カーナビゲーション装置、見守りシステム、動画再生装置等に適用できる。
Description
本技術は、情報提示装置、および情報提示方法に関し、特に、音声出力の要点を明示的に提示できるようにした情報提示装置、および情報提示方法に関する。
従来、文字情報を読み上げる技術、すなわち、文字情報に対応する音声を合成して出力することによりユーザに提示する技術が存在する。
ただし、人が読むことを前提として書かれている新聞の記事等に対応する音声を合成して出力する場合、その音声出力は平坦なものとなってしまい、どこが要点であるのかをユーザが理解しづらい問題があった。
そこで、従来、文字情報に基づいて音声出力を行う場合にユーザがより理解し易くなる方法が提案されている。具体的には、言葉を話すキャラクタ(以下、エージェントと称する)を画面上に表示させ、文字情報の内容に合わせてエージェントが人間のような感情を表現しながら音声出力を行う方法(例えば、特許文献1参照)が提案されている。また、書き言葉から成る文字情報を話し言葉に変換してから読み上げる方法(例えば、特許文献2参照)が提案されている。
エージェントが感情を表現しながら話す方法では、話の要点を明示的に表すものではなくユーザがエージェントの表情からそれを読み取る必要があり、依然として、要点等が理解しづらいことがあった。
話し言葉に変換して読み上げる方法では、書き言葉を読み上げるよりは理解し易いものの、やはり要点等が理解しづらいことがあった。
本技術はこのような状況に鑑みてなされたものであり、音声として出力される提示情報をユーザに理解し易くするものである。
本技術の一側面である情報提示装置は、ユーザに対して提示するための提示情報を取得する取得部と、取得された前記提示情報に基づき、前記提示情報とともにユーザに提示するためのサポート情報を生成し、生成した前記サポート情報に対応する音声を合成する生成部と、前記サポート情報に対応して合成された音声を第1のエージェントの発言として提示する提示部とを備える。
前記提示部は、前記第1のエージェントのキャラクタ像を表示することにより、前記サポート情報に対応して合成された音声を前記第1のエージェントの発言として出力することができる。
前記生成部は、さらに、前記提示情報に対応する音声を合成することができ、前記提示部は、さらに、前記提示情報に対応して合成された音声を第2のエージェントの発言として出力することができる。
前記提示部は、前記第2のエージェントのキャラクタ像を表示することにより、前記提示情報に対応して合成された音声を前記第2のエージェントの発言として出力することができる。
本技術の一側面である情報提示装置は、取得された前記提示情報を解析する解析部をさらに備えることができ、前記生成部は、前記提示情報の解析結果に基づき、前記サポート情報を生成することができる。
本技術の一側面である情報提示装置は、ユーザの状態を検出する検出部をさらに備えることができ、前記提示部は、検出された前記ユーザの状態に応じて、前記サポート情報に対応して合成された音声を第1のエージェントの発言として出力することができる。
前記検出部は、さらにユーザの属性を検出することができ、前記提示部は、検出された前記ユーザの属性に応じて、前記サポート情報に対応して合成された音声を第1のエージェントの発言として出力することができる。
前記生成部は、前記提示情報に対する感情語を含む前記サポート情報を生成することができる。
前記生成部は、前記提示情報の要点を含む前記サポート情報を生成することができる。
前記生成部は、前記提示情報の内容に対する質問を含む前記サポート情報を生成することができる。
前記生成部は、前記提示情報に関連するユーザ情報を含む前記サポート情報を生成することができる。
前記生成部は、前記提示情報に関連する映像を説明する説明文に基づいて前記サポート情報を生成することができる。
前記生成部は、前記第1のエージェントの発言として提示する前記サポート情報に対し、前記第2のエージェントによる応答の発言として提示する応答情報を生成して、前記応答情報に対応する音声を合成することができ、前記提示部は、さらに、前記応答情報に対応して合成された音声を第2のエージェントの発言として出力することができる。
前記生成部は、前記第2のエージェントの発言として提示した前記提示情報に対するユーザからの発言に対し、前記第2のエージェントによる応答の発言として提示する応答情報を生成して、前記応答情報に対応する音声を合成することができ、前記提示部は、さらに、前記応答情報に対応して合成された音声を第2のエージェントの発言として出力することができる。
本技術の一側面である情報提示方法は、情報提示装置による、ユーザに対して提示するための提示情報を取得する取得ステップと、取得された前記提示情報に基づき、前記提示情報とともにユーザに提示するためのサポート情報を生成し、生成した前記サポート情報に対応する音声を合成する生成ステップと、前記サポート情報に対応して合成された音声を第1のエージェントの発言として提示する提示ステップとを含む。
本技術の一側面においては、ユーザに対して提示するための提示情報が取得され、取得された前記提示情報に基づき、前記提示情報とともにユーザに提示するためのサポート情報が生成され、生成された前記サポート情報に対応する音声が合成され、前記サポート情報に対応して合成された音声が第1のエージェントの発言として提示される。
本技術の一側面によれば、音声として出力される提示情報をユーザに理解し易くすることができる。
以下、本技術を実施するための最良の形態(以下、実施の形態と称する)について、図面を参照しながら詳細に説明する。
<本技術の概要説明>
始めに、本技術の概要について説明する。本技術は、文字情報(以下、提示情報と称する)に対応する音声をユーザに提示するものであり、言葉を話す2種類のエージェント(メインエージェントとサブエージェント)が設定される。
始めに、本技術の概要について説明する。本技術は、文字情報(以下、提示情報と称する)に対応する音声をユーザに提示するものであり、言葉を話す2種類のエージェント(メインエージェントとサブエージェント)が設定される。
メインエージェントは、提示情報に対応する音声を話し、サブエージェントは、メインエージェントに対する所謂、合いの手のように、提示情報に基づいて生成されるサポート情報に対応する音声を話すようにする。ここで、サポート情報とは、提示情報に対するユーザの理解を深めたり、関心を引いたりするためのものである(詳細後述)。
ただし、サブエージェントによるサポート情報の音声は、ユーザの状態に拘わりなく常に出力する場合(静的情報提示処理)と、ユーザの状態に応じて出力を開始、終了する場合(動的情報提示処理)のいずれかに設定できるようにする。
両エージェントはディスプレイに表示され、音声出力の内容に合わせて各種の表現動作を行う(身振り手振りを加えて話す、驚く、喜ぶ、悲しむ、がっかりする等の感情を表す身振り、手振り、顔の表情等を変化させる)。
両エージェントは、ユーザが区別できるように、声質を換えたり、話し方を換えたり、一方の音声を左側のスピーカから、他方の音声を右側のスピーカから出力したりする。また、両エージェントの体形、服装等の外観を変えてもよい。さらに、例えば、明るいニュースははしゃいだ話し方、暗いニュースは落ち着いた話し方にする等、提示情報およびサポート情報の内容に応じて話し方を変えてもよい。また、さらに、両エージェントを複数用意し、提示情報およびサポート情報の内容に応じてエージェントを変更してもよい。
なお、両エージェントは、それぞれ1体ずつに限るものではなく2体以上存在してもよい。例えば、1体のメインエージェントと2体以上のサブエージェントを同時に登場させてもよい。
また、ディスプレイに両エージェントの一方だけを表示するようにしてもよい。その場合、例えば、ディスプレイにメインエージェントを表示せずに提示情報を表示してその音声を出力し、サブエージェントだけを表示させて、サポート情報に対応する音声を出力するようにしてもよい。
さらに、ディスプレイに両エージェントを表示せず、提示情報とサポート情報を表示して、それぞれに対応する音声を出力するようにしてもよい。
上述したように、本技術ではエージェントを表示するとともに、その音声を出力するので、例えば、テレビジョン受像機やタブレット型PC等のように、少なくともスピーカとディスプレイを備える装置への適用が想定される。ただし、本技術はディスプレイを備えていない装置にも適用できる。また、例えば、本技術をロボットに適用して1台のロボットにメインエージェントとサブエージェントの役割を演じさせたり、複数のロボットに適用してあるロボットにはメインエージェントを、他のロボットにはサブエージェントの役割を演じさせたりすることができる。
<サブエージェントがサポート情報として感情語を提示する例>
図1は、サブエージェント12がサポート情報として感情語を提示する例を示している。
図1は、サブエージェント12がサポート情報として感情語を提示する例を示している。
同図の例では、メインエージェント11が話す提示情報「東京の桜は来週満開だって」が解析され、その解析結果に応じて感情語を含むサポート情報「楽しそうだね」が生成され、サブエージェント12の音声として出力される。感情語を含むサポート情報の音声を出力することにより、提示情報に対してユーザの関心を引く効果が期待できる。なお、感情語の代わりに感嘆詞(へえ、わあ等)を用いてもよい。
<サブエージェントがサポート情報として要点を復唱する例>
図2は、サブエージェントがサポート情報として提示情報の要点を復唱する例を示している。
図2は、サブエージェントがサポート情報として提示情報の要点を復唱する例を示している。
同図の例では、メインエージェント11が話す提示情報「来月初旬に東京の桜が満開になるよ。今年の人出は去年より多くなりそうだよ」が解析され、その解析結果に応じて要点(いまの場合、来月初旬に満開)が抽出され、抽出された要点を含むサポート情報「来月初旬に満開なんだね」が生成され、サブエージェント12の音声として復唱される。なお、抽出された要点の言葉を倒置してサポート情報「満開になるのは来月初旬なんだね」を生成するようにしてもよい。サポート情報として要点を復唱することにより、ユーザの理解をより深める効果が期待できる。
<サブエージェントがサポート情報として要点が回答となる質問を提示する例>
図3および図4は、サブエージェントがサポート情報として提示情報の要点が回答となる質問を提示する例を示している。サポート情報としての質問は、5W1H(when,where,who,what,why,how)の中から要点に応じて選択される。
図3および図4は、サブエージェントがサポート情報として提示情報の要点が回答となる質問を提示する例を示している。サポート情報としての質問は、5W1H(when,where,who,what,why,how)の中から要点に応じて選択される。
図3の例では、メインエージェント11が話す提示情報「東京の桜は来週満開だって」が解析され、その解析結果に応じて要点(いまの場合、来週)が抽出され、抽出された要点が回答となるサポート情報として質問「いつ?」が選択され、サブエージェント12の音声として出力される。さらに、サブエージェント12からの質問に答えるようにメインエージェント11から「来週だよ」の音声が出力される。
図4の例では、メインエージェント11が話す提示情報「今週末、ABC公園で花火大会があるよ」が解析され、その解析結果に応じて要点(いまの場合、ABC公園)が抽出され、抽出された要点が回答となるサポート情報として質問「どこで?」が選択され、サブエージェント12の音声として出力される。さらに、サブエージェント12からの質問に答えるようにメインエージェント11から「ABC公園だよ」の音声が出力される。
サブエージェント12がサポート情報として要点が回答となる質問を行うことにより、メインエージェント11が提示情報の要点を繰り返し話すことになるので、ユーザの理解をより深めるとともに、要点の聞き逃しを防ぐ効果が期待できる。
なお、サブエージェント12が質問を行う前にユーザからの同様の質問を行う発声が検知された場合、ユーザの質問に対してメインエージェント11が音声により回答することもできる。
すなわち、ユーザの反応にメインエージェント11が反応するようにしてもよい。この場合、ユーザは疑問点や聞き逃した言葉をメインエージェント11に尋ね、その回答を得ることができるので、ユーザの理解をより深めるとともに、要点の聞き逃しを防ぐ効果が期待できる。
<サブエージェントがサポート情報として関連するユーザの情報を提示する例>
図5および図6は、サブエージェントがサポート情報として提示情報に関連するユーザの情報を提示する例を示している。提示情報に関連するユーザの情報は、ユーザDB上から検索されるものとする。なお、ユーザDBには、ユーザのスケジュール、メール、アドレス帳、作成文書、検索履歴、閲覧履歴、入力文字、音楽、画像、動画等が登録されているものとする。
図5および図6は、サブエージェントがサポート情報として提示情報に関連するユーザの情報を提示する例を示している。提示情報に関連するユーザの情報は、ユーザDB上から検索されるものとする。なお、ユーザDBには、ユーザのスケジュール、メール、アドレス帳、作成文書、検索履歴、閲覧履歴、入力文字、音楽、画像、動画等が登録されているものとする。
図5の例では、メインエージェント11が話す提示情報「東京の桜は来週満開だって。お花見する人が増えそうだよ。」が解析され、重要な単語(いまの場合、お花見)が抽出されてユーザDB上で検索が行われる。抽出された重要な単語がユーザDBに登録されている場合には、その検索結果に基づきサポート情報「去年はXX公園にお花見に行ったね」が生成され、その音声がサブエージェント12から出力される。
なお、重要な単語に関連する音楽や効果音を再生したり、画像や動画を表示したりしてもよい。
図6の例では、メインエージェント11が話す提示情報「先週、Brexitが決まったね。」が解析され、その解析結果に応じて重要な単語(いまの場合、Brexit)が抽出されてユーザDB上から検索される。ユーザDBに抽出された重要な単語が登録されていない場合には、その重要な単語を質問するサポート情報「Brexitってなに?」が生成され、サブエージェント12から出力される。
さらに、ユーザDBに登録されていない重要な単語(いまの場合、Brexit)がインターネット上のWikiPedia等で検索され、その検索結果に基づく提示情報「英国がEUを離脱することだよ。国民投票で決まったんだ」が生成されて、その音声がサブエージェント12からの質問に答えるようにメインエージェント11から出力される。
サブエージェントがサポート情報として提示情報に関連するユーザの情報を話すことにより、提示情報に対してユーザの関心を引く効果が期待できる。また、ユーザが知らない単語の意味を教えることができ、ユーザの満足度を上げる効果が期待できる。
なお、サポート情報の例は上述したものにかぎられるものではない。また、上述したサポート情報の例は、適宜組み合わせることが可能である。
<本技術の実施の形態である情報提示装置の構成例>
次に、図7は、本技術の実施の形態である、上述した様々な例を実現する情報提示装置の構成例を示している。
次に、図7は、本技術の実施の形態である、上述した様々な例を実現する情報提示装置の構成例を示している。
この情報提示装置20は、提示情報取得部21、提示情報解析部22、ユーザDB23、エージェント発話制御部24、表現DB25、ユーザ状態処理部26、ディスプレイ27、スピーカ28、マイク29、およびセンサ30を備える。
提示情報取得部21は、例えば、インターネット上の所定のサーバからユーザに音声として提示するため提示情報(テキストデータ)を取得して提示情報解析部22に供給する。提示情報解析部22は、提示情報に対して例えば自然言語解析等の解析を行い、その解析結果をエージェント発話制御部24に出力する。
ユーザDB23には、ユーザのスケジュール、メール、アドレス帳、作成文章、検索履歴、閲覧履歴、入力文字等が登録されているものとする。
エージェント発話制御部24は、メインエージェント11およびサブエージェント12の音声を制御する。すなわち、提示情報に対応する音声を合成してメインエージェント11の音声としてスピーカ28から出力させる。また、提示情報の解析結果に基づきサポート情報を生成してそれに対応する音声を合成し、サブエージェント12の音声としてスピーカ28から出力させる。
さらに、上述した例に示されたように、サブエージェント12の発言(質問等)に対するメインエージェント11の応答となる応答情報を生成し、その音声を合成してスピーカ28から出力させる。
なお、提示情報、サポート情報、および応答情報に対応する音声は、それぞれ表現DB25を参照して、その表現方法を変更することができる。
さらに、エージェント発話制御部24は、メインエージェント11およびサブエージェント12の表示を制御する。具体的には、ディスプレイ27にメインエージェント11およびサブエージェント12を表示させ、音声出力に合わせて各種の表現動作(身振り手振りを加えて話す、驚く、がっかりする等)を実行させる。
表現DB25には、メインエージェント11とサブエージェント12に適用するための、例えば、性別、年齢、職業、出身地等の違いに応じた様々な話し方や表現動作が登録されている。エージェント発話制御部24は、表現DB25を参照して、メインエージェント11およびサブエージェント12の音声を生成することができ、両エージェントに各種の表現動作を実行させることができる。ユーザは、音声を聞くことにより、それがメインエージェント11のものであるか、サブエージェント12のものであるかを区別することができる。
ユーザ状態処理部26は、マイク29から入力されるユーザの発声と、センサ30から入力される映像等に基づき、ユーザの状態(提示情報に対する反応の程度、反応の頻度、表情等を指す)を識別し、識別結果をエージェント発話制御部24に通知する。
ディスプレイ27は、エージェント発話制御部24からの制御に従い、メインエージェント11およびサブエージェント12の画像を表示する。スピーカ28は、エージェント発話制御部24からの制御に従い、メインエージェント11およびサブエージェント12の音声を出力する。
マイク29は、ユーザの発声や情報提示装置20の周囲の音声を収集してユーザ状態処理部26に出力する。センサ30は、ユーザや情報提示装置20の周囲の映像を撮像してユーザ状態処理部26に出力する。
なお、上述した情報提示装置20の構成要素のうち、ディスプレイ27、スピーカ28、マイク29、およびセンサ30については、ユーザの近傍に配置する必要があるものの、これらの全てが必ずしも一筐体内に収める必要はない。すなわち、例えば、ディスプレイ27とスピーカ28をそれぞれ別の筐体に収めてもよい。
さらに、情報提示装置20の構成要素のうち、ディスプレイ27、スピーカ28、マイク29、およびセンサ30以外のものについては、それらが互いに通信可能な任意の場所に配置するようにしてもよい。例えば、インターネット上のいわゆるクラウドサーバに配置してもよい。
<提示情報の解析の一例>
次に、提示情報解析部22による提示情報の解析と、エージェント発話制御部24によるサポート情報の生成と、サポート情報としてのサブエージェント12からの質問やユーザからの質問に対して回答するメインエージェント11の発言の例について説明する。
次に、提示情報解析部22による提示情報の解析と、エージェント発話制御部24によるサポート情報の生成と、サポート情報としてのサブエージェント12からの質問やユーザからの質問に対して回答するメインエージェント11の発言の例について説明する。
図8は、提示情報解析部22による提示情報の解析の一例を示している。同図に示されるように、提示情報解析部22に提示情報が供給されると、自然言語解析によって構造分解が行われる。その結果が、エージェント発話制御部24に通知され、各文節の係り受けと格(時間格、場所格、主格、対象格、目的格、原因格等)に基づき、メインエージェント11とサブエージェント12(またはユーザ)との対話(質問と回答)が生成される。
図8の例では、提示情報「5月29日の日曜日にXYZ競技場でサッカーリーグ第1ステージ第14節の試合が行われ、暫定首位を走るチーム川崎はチーム磐田に相手のオウンゴールで挙げた得点が決勝点となり1対0で勝ちました。」が取得されると構造分解が行われる。そして、提示情報の5W1H等として「(いつ)5月29日の日曜日」、「(どこで)XYZ競技場」、「(だれが)チーム川崎」、「(何を)チーム磐田に勝った」、「(どのように)相手のオウンゴールで挙げた得点が決勝点となり1対0です」の対話が生成される。
<情報提示装置20による静的提示処理について>
次に、図9は、情報提示装置20による静的情報提示処理を説明するフローチャートである。
次に、図9は、情報提示装置20による静的情報提示処理を説明するフローチャートである。
静的情報提示処理は、ユーザの状態に拘わりなく、提示情報の音声の出力の進行に合わせて、サポート情報の音声を出力する処理である。
ステップS1において、提示情報取得部21は、例えば、インターネット上の所定のサーバから提示情報を取得して提示情報解析部22に供給する。ステップS2において、提示情報解析部22は、提示情報を解析し、その解析結果をエージェント発話制御部24に出力する。ステップS3において、エージェント発話制御部24は、提示情報の解析結果に基づきサポート情報を生成する。
ステップS4において、エージェント発話制御部24は、提示情報に対応する音声を合成してメインエージェント11の音声としてスピーカ28から出力させる。ステップS5において、エージェント発話制御部24は、サポート情報に対応する音声を合成してサブエージェント12の音声としてスピーカ28から出力させる。
ステップS6において、エージェント発話制御部24は、提示情報およびサポート情報に対応する音声の出力が終了したかを判定し、終了したと判定するまで処理をステップS4に戻して、ステップS4乃至S6の処理を繰り返す。そして、提示情報およびサポート情報に対応する音声の出力が終了したと判定した場合、該静的情報提示処理を終了する。
該静的情報提示処理によれば、単にメインエージェント11が提示情報の音声を話すだけでなく、サブエージェント12がサポート情報の音声を話すので、提示情報に対するユーザの理解をより深めることが可能となる。
<情報提示装置20による動的提示処理について>
次に、図10は、情報提示装置20による動的情報提示処理を説明するフローチャートである。
次に、図10は、情報提示装置20による動的情報提示処理を説明するフローチャートである。
動的情報提示処理は、ユーザの状態に応じて、提示情報の音声の出力の進行に合わせて、サポート情報の音声を出力する処理である。
ステップS11において、提示情報取得部21は、例えば、インターネット上の所定のサーバから提示情報を取得して提示情報解析部22に供給する。ステップS12において、提示情報解析部22は、提示情報を解析し、その解析結果をエージェント発話制御部24に出力する。ステップS13において、エージェント発話制御部24は、提示情報の解析結果に基づきサポート情報を生成する。なお、サポート情報の生成は、後述するステップS16にてサポート情報に対応する音声の出力を開始する場合に実行するようにしてもよい。
ステップS14において、エージェント発話制御部24は、提示情報に対応する音声を合成してメインエージェント11の音声としてスピーカ28から出力させる。
ステップS15においては、エージェント発話制御部24は、ユーザ状態処理部26からユーザの状態を表すユーザ状態情報を取得する。ステップS16において、エージェント発話制御部24は、ユーザ状態情報が表わすユーザの状態に応じて、サポート情報に対応する音声を合成してサブエージェント12の音声としてスピーカ28から出力させる。
ここで、ユーザの状態とは、メインエージェント11の音声による提示情報に対する反応の程度、反応の頻度、表情等を指し、提示情報に対するユーザの注意がそれたときに、サポート情報に対応する音声の出力を開始するようにする。そして、提示情報に対するユーザの注意が戻ったときに、サポート情報に対応する音声の出力を停止するようにする。
なお、例えば、提示情報の音声の出力を開始してから所定の時間が経過する等、ユーザの状態以外の条件に応じて、サポート情報に対応する音声の出力を制御してもよい。
ステップS17において、エージェント発話制御部24は、提示情報に対応する音声の出力が終了したかを判定し、終了したと判定するまで処理をステップS14に戻して、ステップS14乃至S17の処理を繰り返す。そして、提示情報に対応する音声の出力が終了したと判定した場合、該動的情報提示処理を終了する。
該動的情報提示処理によれば、単にメインエージェント11が提示情報の音声を話すだけでなく、ユーザの状態に対応して、サブエージェント12がサポート情報の音声を話し出すので、提示情報に対するユーザの理解をより深めることができるとともに、提示情報に対してユーザの注意や興味を引く効果が期待できる。
<情報提示装置20の応用例>
以下、情報提示装置20の様々な応用例について説明する。
以下、情報提示装置20の様々な応用例について説明する。
<サイネージ装置への適用>
図11は、情報提示装置20を例えば観光施設等に設置する案内用のサイネージ装置50に適用した応用例であり、複数のユーザ61および62によって使用される場合を示している。
図11は、情報提示装置20を例えば観光施設等に設置する案内用のサイネージ装置50に適用した応用例であり、複数のユーザ61および62によって使用される場合を示している。
この場合、サイネージ装置50は、ユーザ61および62の状態や属性(大人と子供、男性と女性、親と子等)を識別して、動的にサポート情報を変更することができる。
図12および図13は、図11に示されたサイネージ装置50がユーザの反応の有無に応じて、動的に提示する情報を変更する例を示している。ここで、ユーザの反応があった場合とは、例えば、ユーザが画面に近づいたり、顔を向けたり、目を見開いたりする動作が検出されたことを指す。
図12の例では、ユーザ61および62を区別せず、反応の有無だけが検出される。そして、メインエージェント11の音声として提示情報「この施設では、科学の発見や最新技術を紹介しているよ」が出力され、提示情報の音声に対してユーザの反応があった場合、サブエージェント12の音声としてサポート情報「最新の技術ってどんなものがあるのかな?」が出力され、さらに、メインエージェント11の音声として情報「最新のロボットとゲーム対戦できるよ」が出力される。
反対に、ユーザ61および62の反応がない場合、サブエージェント12の音声としてサポート情報「ほかに何かウリがある?」が出力され、さらに、メインエージェント11の音声として情報「実はショップで買える科学グッズが面白いよ」が出力される。
図12の例によれば、ユーザの反応の有無に応じ、動的にサポート情報を変更することができ、それに応じてメインエージェント11が話す情報も変更することができる。よって、ユーザの反応がある場合には、その情報を詳細に伝えることができ、ユーザの反応がない場合には、他の話題を伝えることができ、結果的にユーザの関心を引く効果が期待できる。
図13の例では、ユーザ61および62を区別して、その属性(同図の例では、大人と子供)と反応の有無が検出される。そして、メインエージェント11の音声として提示情報「この施設では、科学の発見や最新技術を紹介しているよ」が出力され、それに対して大人のユーザ61の反応があった場合、サブエージェント12の音声として大人向けのサポート情報「どんな内容なのかな?」が出力され、さらに、メインエージェント11の音声として大人向けの情報「AA技術やBB素材の仕組みについて解説するよ」が出力される。
また、子供のユーザ62の反応があった場合、サブエージェント12の音声として子供向けのサポート情報「どんなふうに楽しめるの?」が出力され、さらに、メインエージェント11の音声として子供向けの情報「CCを作って遊ぶコーナーがあるよ」が出力される。
図13の例によれば、ユーザの属性(同図の例では、大人と子供)を区別してそれぞれの反応の有無が検出され、大人のユーザ61に反応があった場合と、子供のユーザ62に反応があった場合とで、動的にサポート情報を変更することができ、それに応じてメインエージェント11が話す情報も変更することができる。これにより、属性の異なるユーザが同時に存在する場合にも、結果的に両ユーザの関心を引く効果が期待できる。
なお、図示は省略するが、大人のユーザ61に反応がない場合と、子供のユーザ62に反応がない場合とで、動的にサポート情報を変更し、それに応じてメインエージェント11が話す情報も変更するようにすることも可能である。
<カーナビゲーション装置への適用>
次に、図14は、情報提示装置20をカーナビゲーション装置に適用した応用例におけるサポート情報の例を示している。
次に、図14は、情報提示装置20をカーナビゲーション装置に適用した応用例におけるサポート情報の例を示している。
図14の例では、メインエージェント11の音声として提示情報「500m先右折です。」が出力される。また、提示情報から間もなく右折が行われることが判明され、それを支援するためにサブエージェント12の音声としてサポート情報「対向車は混雑し始めているよ。」が出力される。また、サポート情報としては近隣の施設の紹介として「XYシェフのレストランがあるよ」が出力されたり、注意喚起として「歩行者の飛び出し注意」が出力されたりする。上述した近隣の施設の紹介は、例えばGPSに基づく位置情報や、撮像された車外の映像内の看板等に基づいて情報検索が行われることにより実現される。上述した注意喚起は、ユーザ(運転者)の運転歴や運転時の視線等を分析したり、撮像された車外の映像を解析したりした結果から実現される。
なお、サポート情報の生成については、カーナビゲーション装置が搭載されている車両から運転中に車外を撮影した、例えば図15に示されるような映像に対してVQA技術を適用することにより生成される文書に基づいて行うようにしてもよい。ここで、VQA技術とは、映像内に写っている被写体を検出して、その説明文を生成する技術である。
図15は、車両から撮影される車外の映像の一例を示している。この映像には、横断歩道、対向車線、対向車、信号、歩行者、看板、住宅等が写っている。この映像にVQA技術を適用した場合、例えば「画面縦方向中程に横方向に横断歩道が存在する。横断歩道の右側に歩行者がいて横断しそう。横断歩道の上方に信号が存在し、緑色に点灯している。画面横方向中央からやや右側に対向車線が存在し、対向車が向かってきている。画面左側、横断歩道の先には看板が存在する。画面右側、歩行者の先には住宅が存在する。」が生成される。この文書を用いれば、例えば、自走車線や対向車線の交通量を監視したり、歩行者の横断を予測したりすることができるので、ユーザ(運転者)にとって有効なサポート情報を音声として出力することが可能となる。
<見守りシステムへの適用>
次に、図16は、情報提示装置20を遠隔家族の見守りシステムに適用した応用例におけるサポート情報の例を示している。ここで、遠隔家族とは、家で留守番をしている子供や、独居老人等を指す。
次に、図16は、情報提示装置20を遠隔家族の見守りシステムに適用した応用例におけるサポート情報の例を示している。ここで、遠隔家族とは、家で留守番をしている子供や、独居老人等を指す。
図16の例では、メインエージェント11が話す提示情報「今日は、6時に起床して、...」が解析され、その解析結果に応じて感情語を含むサポート情報「いつもよりのんびりしていたみたいだね」が生成され、サブエージェント12の音声として出力される。
なお、メインエージェント11が話す提示情報については、遠隔家族の家を撮像している映像に対してVQA技術を適用することにより生成される文書に基づいて生成される。
図17は、遠隔家族の家の中を撮像している映像の例を示している。例えば、同図Aに示されるようにリビングの入り口を撮像し、その映像を解析したり、VQA技術を適用したりすれば、リビングへの出入り回数を記録できる。また、同図Bに示されるように、台所を撮像し、その映像を解析したり、VQA技術を適用したりすれば、料理時間帯を記録できる。さらに、同図Cに示されるようにリビングを撮像し、その映像を解析したり、VQA技術を適用したりすれば、ソファーに座っている時間を記録できる。また、いずれの映像も、解析したり、VQA技術を適用したりすれば、遠隔家族の転倒等の危険を監視することできる。
そして、遠隔家族の家を撮像している映像から危険な事象が検出された場合、映像に対してVQA技術を適用することにより生成される文書に基づいてサポート情報が生成され、サブエージェント12の音声として「大変!リビングで倒れているよ」や「3日間外出していないようです」等が出力される。
上述したように、情報提示装置20を遠隔家族の見守りシステムに適用すれば、ユーザは、平常時には遠隔家族の様子を音声で分かり易く知ることができる。また、異常発生時には、音声によって発生している異常の具体的な内容を知ることができる。
<動画教材への適用>
次に、図18および図19は、情報提示装置20を動画教材の再生装置に適用した応用例におけるサポート情報の例を示している。
次に、図18および図19は、情報提示装置20を動画教材の再生装置に適用した応用例におけるサポート情報の例を示している。
図18の例では、メインエージェント11は登場せず、1体のサブエージェント12が登場する。ただし、サブエージェント12は画面上に表示してもよいし、しなくてもよい。そして、動画の中に実際に登場する人物(いまの場合、講義を行う講師)が話す説明「これはAAであり、BBの働きがあります」が提示情報とされ、これが解析され、その解析結果に応じてユーザが疑問に思いそうな言葉(いまの場合、BBの働き)が抽出され、抽出された言葉を説明するためのサポート情報「BBの働きってbbbすることだね」が生成され、サブエージェント12の音声として出力される。
なお、ユーザが疑問に思いそうな言葉については、提示情報の解析結果から抽出する以外に、例えば、当該講義に対する過去の質問履歴から予め収集しておいてもよい。その場合、ユーザが疑問に思いそうな言葉を説明するためのサポート情報についても予め生成しておけばよい。また、ユーザが疑問に思った言葉をリアルタイムに収集するようにしてもよい。
図18の例によれば、ユーザ自身が疑問な言葉を質問しなくてもサブエージェント12が、それを解説してくれるので、講義内容に対するユーザの理解を深める効果が期待できる。
図19の例では、メインエージェント11は登場せず、2体のサブエージェント12-1および12-2が登場する。ただし、サブエージェント12-1および12-2は画面上に表示してもよいし、しなくてもよい。そして、メインエージェント11は登場せず、動画の中に実際に登場する人物(いまの場合、講義を行う講師)が話す説明「これはAAであり、BBの働きがあります」が提示情報とされ、これが解析され、その解析結果に応じてユーザが疑問に思いそうな言葉(いまの場合、BBの働き)が抽出され、抽出された言葉を含む質問のサポート情報「BBの働きってなにかな?」がサブエージェント12-1の音声として出力される。さらに、抽出された言葉を説明するためのサポート情報「bbbすることだよ」が生成され、サブエージェント12-2の音声として出力される。
なお、ユーザが疑問に思いそうな言葉については、図18の例と同様に、例えば、当該講義に対する過去の質問履歴から予め収集しておいてもよい。その場合、ユーザが疑問に思いそうな言葉を説明するためのサポート情報についても予め生成しておけばよい。また、ユーザが疑問に思った言葉をリアルタイムに収集するようにしてもよい。
図19の例によれば、ユーザ自身が疑問な言葉を質問しなくてもサブエージェント12-1がそれを質問し、サブエージェント12-2が解説してくれるので、講義内容に対するユーザの理解を深める効果が期待できる。
<上述した一連の処理をソフトウェアにより実行する場合について>
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図20は、上述した情報提示装置20による一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、入力部106、出力部107、記憶部108、通信部109、およびドライブ110が接続されている。
入力部106は、キーボード、マウス、マイクロフォンなどよりなる。出力部107は、ディスプレイ、スピーカなどよりなる。記憶部108は、ハードディスクや不揮発性のメモリなどよりなる。通信部109は、ネットワークインタフェースなどよりなる。ドライブ110は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア111を駆動する。
以上のように構成されるコンピュータ100では、CPU101が、例えば、記憶部108に記憶されているプログラムを、入出力インタフェース105およびバス104を介して、RAM103にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU101)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア211に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
なお、コンピュータ100が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
本技術は以下のような構成も取ることができる。
(1)
ユーザに対して提示するための提示情報を取得する取得部と、
取得された前記提示情報に基づき、前記提示情報とともにユーザに提示するためのサポート情報を生成し、生成した前記サポート情報に対応する音声を合成する生成部と、
前記サポート情報に対応して合成された音声を第1のエージェントの発言として提示する提示部と
を備える情報提示装置。
(2)
前記提示部は、前記第1のエージェントのキャラクタ像を表示することにより、前記サポート情報に対応して合成された音声を前記第1のエージェントの発言として出力する
前記(1)に記載の情報提示装置。
(3)
前記生成部は、さらに、前記提示情報に対応する音声を合成し、
前記提示部は、さらに、前記提示情報に対応して合成された音声を第2のエージェントの発言として出力する
前記(1)または(2)に記載の情報提示装置。
(4)
前記提示部は、前記第2のエージェントのキャラクタ像を表示することにより、前記提示情報に対応して合成された音声を前記第2のエージェントの発言として出力する
前記(3)に記載の情報提示装置。
(5)
取得された前記提示情報を解析する解析部をさらに備え、
前記生成部は、前記提示情報の解析結果に基づき、前記サポート情報を生成する
前記(1)から(4)のいずれかに記載の情報提示装置。
(6)
ユーザの状態を検出する検出部をさらに備え、
前記提示部は、検出された前記ユーザの状態に応じて、前記サポート情報に対応して合成された音声を第1のエージェントの発言として出力する
前記(1)から(5)のいずれかに記載の情報提示装置。
(7)
前記検出部は、さらにユーザの属性を検出し、
前記提示部は、検出された前記ユーザの属性に応じて、前記サポート情報に対応して合成された音声を第1のエージェントの発言として出力する
前記(6)に記載の情報提示装置。
(8)
前記生成部は、前記提示情報に対する感情語を含む前記サポート情報を生成する
前記(1)から(7)のいずれかに記載の情報提示装置。
(9)
前記生成部は、前記提示情報の要点を含む前記サポート情報を生成する
前記(1)から(7)のいずれかに記載の情報提示装置。
(10)
前記生成部は、前記提示情報の内容に対する質問を含む前記サポート情報を生成する
前記(1)から(7)のいずれかに記載の情報提示装置。
(11)
前記生成部は、前記提示情報に関連するユーザ情報を含む前記サポート情報を生成する
前記(1)から(7)のいずれかに記載の情報提示装置。
(12)
前記生成部は、前記提示情報に関連する映像を説明する説明文に基づいて前記サポート情報を生成する
前記(1)から(7)のいずれかに記載の情報提示装置。
(13)
前記生成部は、前記第1のエージェントの発言として提示する前記サポート情報に対し、前記第2のエージェントによる応答の発言として提示する応答情報を生成して、前記応答情報に対応する音声を合成し、
前記提示部は、さらに、前記応答情報に対応して合成された音声を第2のエージェントの発言として出力する
前記(3)から(12)のいずれかに記載の情報提示装置。
(14)
前記生成部は、前記第2のエージェントの発言として提示した前記提示情報に対するユーザからの発言に対し、前記第2のエージェントによる応答の発言として提示する応答情報を生成して、前記応答情報に対応する音声を合成し、
前記提示部は、さらに、前記応答情報に対応して合成された音声を第2のエージェントの発言として出力する
前記(3)から(12)のいずれかに記載の情報提示装置。
(15)
情報提示装置の情報提示方法において、
前記情報提示装置による、
ユーザに対して提示するための提示情報を取得する取得ステップと、
取得された前記提示情報に基づき、前記提示情報とともにユーザに提示するためのサポート情報を生成し、生成した前記サポート情報に対応する音声を合成する生成ステップと、
前記サポート情報に対応して合成された音声を第1のエージェントの発言として提示する提示ステップと
を含む情報提示方法。
(1)
ユーザに対して提示するための提示情報を取得する取得部と、
取得された前記提示情報に基づき、前記提示情報とともにユーザに提示するためのサポート情報を生成し、生成した前記サポート情報に対応する音声を合成する生成部と、
前記サポート情報に対応して合成された音声を第1のエージェントの発言として提示する提示部と
を備える情報提示装置。
(2)
前記提示部は、前記第1のエージェントのキャラクタ像を表示することにより、前記サポート情報に対応して合成された音声を前記第1のエージェントの発言として出力する
前記(1)に記載の情報提示装置。
(3)
前記生成部は、さらに、前記提示情報に対応する音声を合成し、
前記提示部は、さらに、前記提示情報に対応して合成された音声を第2のエージェントの発言として出力する
前記(1)または(2)に記載の情報提示装置。
(4)
前記提示部は、前記第2のエージェントのキャラクタ像を表示することにより、前記提示情報に対応して合成された音声を前記第2のエージェントの発言として出力する
前記(3)に記載の情報提示装置。
(5)
取得された前記提示情報を解析する解析部をさらに備え、
前記生成部は、前記提示情報の解析結果に基づき、前記サポート情報を生成する
前記(1)から(4)のいずれかに記載の情報提示装置。
(6)
ユーザの状態を検出する検出部をさらに備え、
前記提示部は、検出された前記ユーザの状態に応じて、前記サポート情報に対応して合成された音声を第1のエージェントの発言として出力する
前記(1)から(5)のいずれかに記載の情報提示装置。
(7)
前記検出部は、さらにユーザの属性を検出し、
前記提示部は、検出された前記ユーザの属性に応じて、前記サポート情報に対応して合成された音声を第1のエージェントの発言として出力する
前記(6)に記載の情報提示装置。
(8)
前記生成部は、前記提示情報に対する感情語を含む前記サポート情報を生成する
前記(1)から(7)のいずれかに記載の情報提示装置。
(9)
前記生成部は、前記提示情報の要点を含む前記サポート情報を生成する
前記(1)から(7)のいずれかに記載の情報提示装置。
(10)
前記生成部は、前記提示情報の内容に対する質問を含む前記サポート情報を生成する
前記(1)から(7)のいずれかに記載の情報提示装置。
(11)
前記生成部は、前記提示情報に関連するユーザ情報を含む前記サポート情報を生成する
前記(1)から(7)のいずれかに記載の情報提示装置。
(12)
前記生成部は、前記提示情報に関連する映像を説明する説明文に基づいて前記サポート情報を生成する
前記(1)から(7)のいずれかに記載の情報提示装置。
(13)
前記生成部は、前記第1のエージェントの発言として提示する前記サポート情報に対し、前記第2のエージェントによる応答の発言として提示する応答情報を生成して、前記応答情報に対応する音声を合成し、
前記提示部は、さらに、前記応答情報に対応して合成された音声を第2のエージェントの発言として出力する
前記(3)から(12)のいずれかに記載の情報提示装置。
(14)
前記生成部は、前記第2のエージェントの発言として提示した前記提示情報に対するユーザからの発言に対し、前記第2のエージェントによる応答の発言として提示する応答情報を生成して、前記応答情報に対応する音声を合成し、
前記提示部は、さらに、前記応答情報に対応して合成された音声を第2のエージェントの発言として出力する
前記(3)から(12)のいずれかに記載の情報提示装置。
(15)
情報提示装置の情報提示方法において、
前記情報提示装置による、
ユーザに対して提示するための提示情報を取得する取得ステップと、
取得された前記提示情報に基づき、前記提示情報とともにユーザに提示するためのサポート情報を生成し、生成した前記サポート情報に対応する音声を合成する生成ステップと、
前記サポート情報に対応して合成された音声を第1のエージェントの発言として提示する提示ステップと
を含む情報提示方法。
11 メインエージェント, 12 サブエージェント, 20 情報提示装置, 21 提示情報取得部, 22 提示情報解析部, 23 ユーザDB, 24 エージェント発話制御部, 25 表現DB, 26 ユーザ状態処理部, 27 ディスプレイ, 28 スピーカ, 29 マイク, 30 センサ, 50 サイネージ装置, 100 コンピュータ, 101 CPU
Claims (15)
- ユーザに対して提示するための提示情報を取得する取得部と、
取得された前記提示情報に基づき、前記提示情報とともにユーザに提示するためのサポート情報を生成し、生成した前記サポート情報に対応する音声を合成する生成部と、
前記サポート情報に対応して合成された音声を第1のエージェントの発言として提示する提示部と
を備える情報提示装置。 - 前記提示部は、前記第1のエージェントのキャラクタ像を表示することにより、前記サポート情報に対応して合成された音声を前記第1のエージェントの発言として出力する
請求項1に記載の情報提示装置。 - 前記生成部は、さらに、前記提示情報に対応する音声を合成し、
前記提示部は、さらに、前記提示情報に対応して合成された音声を第2のエージェントの発言として出力する
請求項2に記載の情報提示装置。 - 前記提示部は、前記第2のエージェントのキャラクタ像を表示することにより、前記提示情報に対応して合成された音声を前記第2のエージェントの発言として出力する
請求項3に記載の情報提示装置。 - 取得された前記提示情報を解析する解析部をさらに備え、
前記生成部は、前記提示情報の解析結果に基づき、前記サポート情報を生成する
請求項2に記載の情報提示装置。 - ユーザの状態を検出する検出部をさらに備え、
前記提示部は、検出された前記ユーザの状態に応じて、前記サポート情報に対応して合成された音声を第1のエージェントの発言として出力する
請求項2に記載の情報提示装置。 - 前記検出部は、さらにユーザの属性を検出し、
前記提示部は、検出された前記ユーザの属性に応じて、前記サポート情報に対応して合成された音声を第1のエージェントの発言として出力する
請求項6に記載の情報提示装置。 - 前記生成部は、前記提示情報に対する感情語を含む前記サポート情報を生成する
請求項2に記載の情報提示装置。 - 前記生成部は、前記提示情報の要点を含む前記サポート情報を生成する
請求項2に記載の情報提示装置。 - 前記生成部は、前記提示情報の内容に対する質問を含む前記サポート情報を生成する
請求項2に記載の情報提示装置。 - 前記生成部は、前記提示情報に関連するユーザ情報を含む前記サポート情報を生成する
請求項2に記載の情報提示装置。 - 前記生成部は、前記提示情報に関連する映像を説明する説明文に基づいて前記サポート情報を生成する
請求項2に記載の情報提示装置。 - 前記生成部は、前記第1のエージェントの発言として提示する前記サポート情報に対し、前記第2のエージェントによる応答の発言として提示する応答情報を生成して、前記応答情報に対応する音声を合成し、
前記提示部は、さらに、前記応答情報に対応して合成された音声を第2のエージェントの発言として出力する
請求項3に記載の情報提示装置。 - 前記生成部は、前記第2のエージェントの発言として提示した前記提示情報に対するユーザからの発言に対し、前記第2のエージェントによる応答の発言として提示する応答情報を生成して、前記応答情報に対応する音声を合成し、
前記提示部は、さらに、前記応答情報に対応して合成された音声を第2のエージェントの発言として出力する
請求項3に記載の情報提示装置。 - 情報提示装置の情報提示方法において、
前記情報提示装置による、
ユーザに対して提示するための提示情報を取得する取得ステップと、
取得された前記提示情報に基づき、前記提示情報とともにユーザに提示するためのサポート情報を生成し、生成した前記サポート情報に対応する音声を合成する生成ステップと、
前記サポート情報に対応して合成された音声を第1のエージェントの発言として提示する提示ステップと
を含む情報提示方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17846120.8A EP3506083A4 (en) | 2016-08-29 | 2017-08-15 | INFORMATION PRESENTATION DEVICE AND INFORMATION PRESENTATION PROCEDURE |
CN201780051501.4A CN109643224A (zh) | 2016-08-29 | 2017-08-15 | 信息提示装置和信息提示方法 |
JP2018537101A JPWO2018043112A1 (ja) | 2016-08-29 | 2017-08-15 | 情報提示装置、および情報提示方法 |
US16/310,633 US10878799B2 (en) | 2016-08-29 | 2017-08-15 | Information presenting apparatus and information presenting method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016166783 | 2016-08-29 | ||
JP2016-166783 | 2016-08-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018043112A1 true WO2018043112A1 (ja) | 2018-03-08 |
Family
ID=61300632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/029341 WO2018043112A1 (ja) | 2016-08-29 | 2017-08-15 | 情報提示装置、および情報提示方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10878799B2 (ja) |
EP (1) | EP3506083A4 (ja) |
JP (1) | JPWO2018043112A1 (ja) |
CN (1) | CN109643224A (ja) |
WO (1) | WO2018043112A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019231587A1 (en) * | 2018-06-01 | 2019-12-05 | Apple Inc. | Providing audio information with a digital assistant |
JPWO2018190099A1 (ja) * | 2017-04-10 | 2020-02-27 | ヤマハ株式会社 | 音声提供装置、音声提供方法及びプログラム |
JP2020173774A (ja) * | 2019-04-08 | 2020-10-22 | バイドゥ ドットコム タイムス テクノロジー (ベイジン) カンパニー リミテッド | ナレーションを生成するための方法、装置、サーバー、コンピュータ可読記憶媒体及びコンピュータプログラム |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3506083A4 (en) * | 2016-08-29 | 2019-08-07 | Sony Corporation | INFORMATION PRESENTATION DEVICE AND INFORMATION PRESENTATION PROCEDURE |
CN111161704A (zh) * | 2018-10-22 | 2020-05-15 | 联想图像(天津)科技有限公司 | 一种电子设备的控制方法及电子设备 |
CN114881715A (zh) * | 2021-02-05 | 2022-08-09 | 阿里巴巴集团控股有限公司 | 文本生成方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000266551A (ja) * | 1999-03-19 | 2000-09-29 | Equos Research Co Ltd | 目的地設定装置及びエージェント装置 |
JP2000339250A (ja) | 1999-05-25 | 2000-12-08 | Nippon Telegr & Teleph Corp <Ntt> | 対話メッセージ生成方法、その装置、そのプログラムを記録した媒体 |
JP2001275058A (ja) * | 2000-01-21 | 2001-10-05 | Jisedai Joho Hoso System Kenkyusho:Kk | 映像内容の説明文生成方法、映像内容説明文生成装置、ダイジェスト映像の番組化方法、ダイジェスト映像の番組化装置およびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2003509976A (ja) | 1999-09-10 | 2003-03-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 受信可能番組に関して助言する方法及び装置 |
JP2005100382A (ja) * | 2003-09-01 | 2005-04-14 | Matsushita Electric Ind Co Ltd | 対話装置及び対話方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU652209B2 (en) * | 1990-11-14 | 1994-08-18 | Robert Macandrew Best | Talking video games |
US5553864A (en) * | 1992-05-22 | 1996-09-10 | Sitrick; David H. | User image integration into audiovisual presentation system and methodology |
JP2002268699A (ja) * | 2001-03-09 | 2002-09-20 | Sony Corp | 音声合成装置及び音声合成方法、並びにプログラムおよび記録媒体 |
US6356837B1 (en) * | 2001-03-19 | 2002-03-12 | Alpine Electronics, Inc. | Navigation system |
JP2002318594A (ja) * | 2001-04-20 | 2002-10-31 | Sony Corp | 言語処理装置および言語処理方法、並びにプログラムおよび記録媒体 |
US7775885B2 (en) * | 2005-10-14 | 2010-08-17 | Leviathan Entertainment, Llc | Event-driven alteration of avatars |
US8180486B2 (en) * | 2006-10-02 | 2012-05-15 | Honda Motor Co., Ltd. | Mobile robot and controller for same |
BRPI0916749A2 (pt) * | 2008-07-28 | 2015-11-03 | Breakthrough Perfomancetech Llc | sistema e métodos de treinamento configurados para treinar usuários com base em computador e meio tangível legível em computador |
JP5821824B2 (ja) * | 2012-11-14 | 2015-11-24 | ヤマハ株式会社 | 音声合成装置 |
US9517559B2 (en) * | 2013-09-27 | 2016-12-13 | Honda Motor Co., Ltd. | Robot control system, robot control method and output control method |
EP3216008B1 (en) | 2014-11-05 | 2020-02-26 | Intel Corporation | Avatar video apparatus and method |
US20160216941A1 (en) * | 2015-01-23 | 2016-07-28 | Duane Ramseur | System for avatar to voice read messages |
JP6665446B2 (ja) * | 2015-08-21 | 2020-03-13 | ヤマハ株式会社 | 情報処理装置、プログラム及び音声合成方法 |
EP3506083A4 (en) * | 2016-08-29 | 2019-08-07 | Sony Corporation | INFORMATION PRESENTATION DEVICE AND INFORMATION PRESENTATION PROCEDURE |
-
2017
- 2017-08-15 EP EP17846120.8A patent/EP3506083A4/en not_active Withdrawn
- 2017-08-15 WO PCT/JP2017/029341 patent/WO2018043112A1/ja active Application Filing
- 2017-08-15 CN CN201780051501.4A patent/CN109643224A/zh not_active Withdrawn
- 2017-08-15 US US16/310,633 patent/US10878799B2/en active Active
- 2017-08-15 JP JP2018537101A patent/JPWO2018043112A1/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000266551A (ja) * | 1999-03-19 | 2000-09-29 | Equos Research Co Ltd | 目的地設定装置及びエージェント装置 |
JP2000339250A (ja) | 1999-05-25 | 2000-12-08 | Nippon Telegr & Teleph Corp <Ntt> | 対話メッセージ生成方法、その装置、そのプログラムを記録した媒体 |
JP2003509976A (ja) | 1999-09-10 | 2003-03-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 受信可能番組に関して助言する方法及び装置 |
JP2001275058A (ja) * | 2000-01-21 | 2001-10-05 | Jisedai Joho Hoso System Kenkyusho:Kk | 映像内容の説明文生成方法、映像内容説明文生成装置、ダイジェスト映像の番組化方法、ダイジェスト映像の番組化装置およびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2005100382A (ja) * | 2003-09-01 | 2005-04-14 | Matsushita Electric Ind Co Ltd | 対話装置及び対話方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3506083A4 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2018190099A1 (ja) * | 2017-04-10 | 2020-02-27 | ヤマハ株式会社 | 音声提供装置、音声提供方法及びプログラム |
WO2019231587A1 (en) * | 2018-06-01 | 2019-12-05 | Apple Inc. | Providing audio information with a digital assistant |
CN112154412A (zh) * | 2018-06-01 | 2020-12-29 | 苹果公司 | 用数字助理提供音频信息 |
KR20210005200A (ko) * | 2018-06-01 | 2021-01-13 | 애플 인크. | 디지털 어시스턴트를 이용한 오디오 정보 제공 |
KR102488285B1 (ko) * | 2018-06-01 | 2023-01-13 | 애플 인크. | 디지털 어시스턴트를 이용한 오디오 정보 제공 |
KR20230010845A (ko) * | 2018-06-01 | 2023-01-19 | 애플 인크. | 디지털 어시스턴트를 이용한 오디오 정보 제공 |
US11609739B2 (en) | 2018-06-01 | 2023-03-21 | Apple Inc. | Providing audio information with a digital assistant |
US11861265B2 (en) | 2018-06-01 | 2024-01-02 | Apple Inc. | Providing audio information with a digital assistant |
KR102651249B1 (ko) | 2018-06-01 | 2024-03-27 | 애플 인크. | 디지털 어시스턴트를 이용한 오디오 정보 제공 |
JP2020173774A (ja) * | 2019-04-08 | 2020-10-22 | バイドゥ ドットコム タイムス テクノロジー (ベイジン) カンパニー リミテッド | ナレーションを生成するための方法、装置、サーバー、コンピュータ可読記憶媒体及びコンピュータプログラム |
JP7030095B2 (ja) | 2019-04-08 | 2022-03-04 | バイドゥ ドットコム タイムス テクノロジー (ベイジン) カンパニー リミテッド | ナレーションを生成するための方法、装置、サーバー、コンピュータ可読記憶媒体及びコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN109643224A (zh) | 2019-04-16 |
US20190180733A1 (en) | 2019-06-13 |
JPWO2018043112A1 (ja) | 2019-06-24 |
EP3506083A1 (en) | 2019-07-03 |
US10878799B2 (en) | 2020-12-29 |
EP3506083A4 (en) | 2019-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018043112A1 (ja) | 情報提示装置、および情報提示方法 | |
US20220284896A1 (en) | Electronic personal interactive device | |
EP3766066B1 (en) | Generating response in conversation | |
Schweinberger et al. | Hearing facial identities | |
JP2022534708A (ja) | 動的に反応する仮想キャラクターのためのマルチモーダルモデル | |
JP2020056996A (ja) | 音色選択可能なボイス再生システム、その再生方法、およびコンピュータ読み取り可能な記録媒体 | |
WO2018118420A1 (en) | Method, system, and apparatus for voice and video digital travel companion | |
CN109817244A (zh) | 口语评测方法、装置、设备和存储介质 | |
JP2023552854A (ja) | ヒューマンコンピュータインタラクション方法、装置、システム、電子機器、コンピュータ可読媒体及びプログラム | |
JP2017064853A (ja) | ロボット、コンテンツ決定装置、コンテンツ決定方法、及びプログラム | |
Chastagnol et al. | Designing an emotion detection system for a socially intelligent human-robot interaction | |
KR20190109651A (ko) | 인공지능 기반의 음성 모방 대화 서비스 제공 방법 및 시스템 | |
CN114048299A (zh) | 对话方法、装置、设备、计算机可读存储介质及程序产品 | |
Mattheij et al. | Mirror mirror on the wall | |
JP7070546B2 (ja) | 情報処理装置および情報処理方法 | |
CN106113057A (zh) | 基于机器人的音视频宣传方法和*** | |
JP5689774B2 (ja) | 対話型情報発信装置、対話型情報発信方法、及びプログラム | |
JP2016201678A (ja) | 認識装置、映像コンテンツ提示システム | |
CN114201596A (zh) | 虚拟数字人使用方法、电子设备和存储介质 | |
Shan et al. | Speech-in-noise comprehension is improved when viewing a deep-neural-network-generated talking face | |
JP4741817B2 (ja) | 音声出力装置、キャラクタ画像表示装置、音声出力方法、およびキャラクタ画像表示方法 | |
CN116137662A (zh) | 页面展示方法及装置、电子设备、存储介质和程序产品 | |
JP2018055232A (ja) | コンテンツ提供装置、コンテンツ提供方法、及びプログラム | |
JP2004101637A (ja) | オンライン教育システム、情報処理装置、情報提供方法及びプログラム | |
WO2019146199A1 (ja) | 情報処理装置、及び情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17846120 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2018537101 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2017846120 Country of ref document: EP |