WO2023210171A1 - 音声対話装置及び音声対話方法 - Google Patents
音声対話装置及び音声対話方法 Download PDFInfo
- Publication number
- WO2023210171A1 WO2023210171A1 PCT/JP2023/008785 JP2023008785W WO2023210171A1 WO 2023210171 A1 WO2023210171 A1 WO 2023210171A1 JP 2023008785 W JP2023008785 W JP 2023008785W WO 2023210171 A1 WO2023210171 A1 WO 2023210171A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- image
- dialogue
- keyword
- voice
- Prior art date
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims description 15
- 239000000284 extract Substances 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims description 8
- 230000000699 topical effect Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000036772 blood pressure Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000035900 sweating Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
Definitions
- the present invention relates to a voice dialogue device and a voice dialogue method.
- This application claims priority based on Japanese Patent Application No. 2022-73531 filed on April 27, 2022, and for designated countries where incorporation by reference of documents is permitted, the above The contents described in the application are incorporated by reference into this application and made a part of the description of this application.
- the notification information When displaying notification information to the driver, if the driver's driving load is higher than the predetermined driving load, the notification information is temporarily displayed with a level of importance added to the notification information based on the driver's predetermined operation.
- a technique is known in which notification information is suppressed and displayed according to the degree of importance when redisplaying the notification information (Patent Document 1).
- Patent Document 1 even if the display of the notification information is suppressed and then the notification information that was displayed before the suppression is redisplayed, when the notification information is redisplayed, the user There is a problem in that users sometimes forget the contents of the notification information that they were using.
- the problem to be solved by the present invention is to provide an audio dialogue device and an audio dialogue method that allow the user to recall the contents of the output information before the interruption when restarting the provision of information to the user after the interruption.
- the present invention recognizes the user's dialogue content before interrupting the audio dialogue, extracts a keyword in the audio dialogue before the interruption as a pre-interruption keyword based on the dialogue content, and based on the extracted pre-interruption keyword,
- the above problem is solved by generating an icon image representing the content of the conversation before interruption, and generating a control command to display the generated icon image.
- the user when restarting the provision of information to a user that has been interrupted, the user can recall the content of the output information before the interruption.
- FIG. 1 is a block diagram showing an embodiment of a voice dialogue device according to the present invention.
- FIGS. 2A and 2B are diagrams showing examples of screens displayed to the user in this embodiment.
- FIGS. 3A, 3B, and 3C are examples of icon images of the amount of information that changes depending on the user's operating load in this embodiment.
- FIGS. 4A, 4B, and 4C are examples of icon images that change depending on the topic recognized during interruption of voice dialogue in this embodiment.
- FIG. 5 is a diagram illustrating an example of a flowchart of processing related to the voice interaction method executed by the voice interaction device.
- a voice dialogue system including a voice dialogue device is a system that performs voice dialogue with a user using voice recognition technology and voice synthesis technology.
- the user refers to a person who uses the voice dialogue system, and is mainly the driver of the vehicle, but the user may also be a fellow passenger other than the driver.
- the voice dialogue system 100 may be a system used in a place other than a car.
- the present invention will be explained using an example in which the present invention is applied to a voice dialogue system that performs voice dialogue with the user, with the driver of the vehicle as the user, but the present invention is not limited to this, and the present invention is not limited to this, and the present invention is not limited to this, and the present invention is not limited to this.
- the present invention may be applied to a voice dialogue system.
- FIG. 1 is a block diagram showing an embodiment of a voice dialogue system according to this embodiment.
- the voice dialogue system 100 includes a voice dialogue device 1 , an in-vehicle sound collection device 2 , vehicle sensors 3 , a user state detection device 4 , and a map database 5 . These devices and databases are mounted on a vehicle and are connected by, for example, a CAN or other in-vehicle LAN, so that they can mutually send and receive information.
- the voice dialogue device 1 is a device that controls voice dialogue with a user, and includes a processor 10 and an output device 6.
- the output device 6 is a device that outputs information to the user through an agent function by an anthropomorphic agent (hereinafter also simply referred to as agent A), specifically, through a medium that is a combination of audio and images. be.
- agent A an anthropomorphic agent
- the output device 6 will be described here as an example of an electronic device mounted on a vehicle, it may be any electronic device that has an agent function, for example, it may be a portable electronic device with a display. Further, functions related to the audio output and video output of agent A may be installed in a mobile phone such as a smartphone. Further, the output device 6 only needs to be able to present information to the user by outputting audio, images, text information, etc., and may also be used as a display of a navigation device, for example.
- FIGS. 2(a) and 2(b) are diagrams showing examples of screens displayed to the user in the voice dialogue system according to the present embodiment.
- the screen shown in FIG. 2 is displayed on a head-up display device or a display device installed in the host vehicle.
- FIG. 2(a) shows an example of visually displaying agent A.
- agent A is displayed on the display 101 so that an agent image 102, which is an avatar imitating a human, is superimposed on the scenery outside the vehicle.
- agent A displays the agent image 102 when outputting communication information to the user using the agent function that receives the control command from the display control unit 17.
- the user can have a voice conversation with agent A, who is the conversation partner, while understanding his body language.
- the voice dialogue device 1 includes a dialogue interruption function that interrupts the voice dialogue with the user. If the voice dialogue device 1 determines that it is necessary to interrupt the voice conversation during the voice conversation with the user, the voice conversation device 1 interrupts the voice conversation. While the voice dialogue is interrupted, as shown in FIG. 2(b), the image of agent A, who is the user's voice dialogue partner, is not displayed. In this embodiment, as shown in FIG. 2(b), while the voice conversation is interrupted, the display 111 displays an icon image 112 representing the conversation content before the voice conversation is interrupted, superimposed on the scenery outside the vehicle. shown above.
- the contents of the icon image include illustrations, text, photographs, and videos that represent the content of the dialogue before the audio dialogue is interrupted, as well as avatar facial expressions that correspond to the atmosphere of the audio dialogue. Further, examples of conversation contents displayed on the icons include topics such as cafes, restaurants, shopping, events, sightseeing spots, music, news, weather, and scenery.
- the user's conversation partner will be described using a voice dialogue system as an example, but the conversation partner is not limited to this and may be a human being. For example, it is a conversation partner other than the vehicle occupant who is outside the vehicle.
- the display of agent A who has a voice dialogue with the user as a dialogue partner is shown as an example, but if the dialogue partner is a human being, an image of the dialogue partner may be displayed. It's okay.
- the voice dialogue device 1 determines to resume the voice conversation while the voice conversation is interrupted, the voice conversation device 1 restarts the voice conversation. When the voice dialogue resumes, as shown in FIG.
- the agent image 102 of agent A who is the user's dialogue partner, is displayed again, and the display of the above-mentioned icon image is interrupted.
- the display of the icon image is not limited to being interrupted, and the icon image may continue to be displayed after the voice dialogue is resumed.
- agent A includes a speaker and other audio output units for outputting voices and sound effects, and a display and other display units for displaying images including text. Communication information is output by providing sounds, characters, and other images to the user.
- the anthropomorphic agent is just one example, and the agent may be an agent that displays a predetermined character, avatar, or icon without imitating a human. Agent A may be installed as a physical entity in a form that allows it to appear and appear by operating an actuator.
- the present invention can also be applied to a voice dialogue system in which agent A is not displayed as a conversation partner.
- the in-vehicle sound pickup device 2 collects sounds heard by passengers inside the vehicle.
- the in-vehicle sound collection device 2 is, for example, a microphone installed inside the vehicle.
- the sounds collected by the in-vehicle sound collection device 2 are mainly sounds that have a sound source inside the vehicle, and include the user's voice and the sound output from the in-vehicle media.
- User voices include, for example, conversations between occupants and interactions between the voice dialogue system and the occupants.
- In-vehicle media is, for example, audio or radio.
- the vehicle sensors 3 acquire vehicle surrounding information around the vehicle.
- the vehicle sensors 3 are, for example, an exterior camera that captures an image of the exterior of the vehicle.
- the camera outside the vehicle is a CCD camera or a CMOS camera having an image sensor such as a CCD or CMOS.
- the camera outside the vehicle acquires an image of the surroundings of the vehicle as vehicle surroundings information.
- the vehicle sensors 3 include a GPS. GPS detects the current position of the own vehicle. The detection results of the vehicle sensors 3 are output to the processor 10 at predetermined time intervals.
- the user state detection device 4 detects information regarding the user's state.
- the user's status includes, for example, information regarding the user's physical movements.
- Examples of the user state detection device 4 include an in-vehicle camera that captures an image of the user in the car, a biosignal measurement sensor that detects biosignals of the user, and the like.
- the in-vehicle camera is a CCD camera, a CMOS camera, or the like having an image sensor such as a CCD or CMOS.
- the biosignal measurement sensor is provided inside the steering wheel or seat, and detects biosignals such as the user's blood pressure, changes in pulse rate, and degree of sweating as information about the user's body.
- the detection results of the user state detection device 4 are output to the processor 10 at predetermined time intervals.
- the map database 5 is a database that stores map information.
- the map information includes road information and the like.
- the map database 5 includes information on POI (Point Of Interest).
- a POI is information about a specific location on a map, for example, the location of a building that is a landmark such as a public facility, restaurant, or tourist attraction.
- the voice dialogue device 1 can access a ROM that stores programming for executing various processes, and a CPU as an operating circuit that functions as the voice dialogue device 1 by executing the programs stored in the ROM.
- the processor 10 includes a RAM that functions as a storage device, and an agent A as an output device 6.
- the processor 10 includes, as functional blocks, a recognition unit 11, a driving situation acquisition unit 12, a keyword extraction unit 13, a driving load estimation unit 14, a determination unit 15, an image generation unit 16, a display control unit 17, Equipped with
- the processor 10 includes a keyword image database 18 and a dialogue partner information database 19.
- the recognition unit 11 recognizes the content of the user's dialogue before interrupting the user's voice dialogue.
- the recognition unit 11 acquires the user's voice and/or the user's conversation partner's voice before interrupting the voice conversation from the in-vehicle sound pickup device 2 .
- the recognition unit 11 performs voice recognition processing on the acquired voice to recognize the content of the user's dialogue. Further, the recognition unit 11 may summarize the contents of the user's dialogue.
- the content of the user's dialogue includes the content of the user's utterances before the interruption, and the utterances of the user's dialogue partner before the interruption.
- the recognition unit 11 recognizes at least one topical object among the content of the user's conversation, the in-vehicle content being played in the vehicle, and objects around the vehicle.
- the topic object is a topic candidate to be provided to the user when resuming voice interaction with the user, and is, for example, an object in which the user may be interested. Even while interrupting the audio interaction with the user, the user may become interested in visually or audibly perceptible objects. Since the user's interest may shift from the content of the conversation before the interruption to another topic, in this embodiment, the topic object that the user may be interested in during the interruption is recognized.
- the recognition unit 11 recognizes the content of the user's conversation.
- the recognition unit 11 acquires the user's voice while the voice dialogue is interrupted from the in-vehicle sound collection device 2 .
- the recognition unit 11 performs voice recognition processing on the acquired user's voice to recognize the content of the user's conversation.
- the recognition unit 11 may summarize the content of the user's conversation.
- the content of the user's conversation includes the content of the conversation between the user and other occupants while the voice interaction with the user is interrupted.
- the recognition unit 11 recognizes in-vehicle content being played inside the car. Examples of the content include music being played from media such as in-car audio and radio, and the content of statements made by radio personalities.
- the recognition unit 11 acquires media audio from the in-vehicle sound collection device 2.
- the recognition unit 11 performs voice recognition processing on the acquired media voice to recognize in-vehicle content. Further, the recognition unit 11 may summarize the content of in-vehicle content, such as the content of a radio program or the content of a radio personality's remarks.
- the recognition unit 11 recognizes objects surrounding the vehicle based on information detected by vehicle sensors 3 such as GPS and an external camera.
- vehicle surrounding object is, for example, a POI (Point of Interest) around the vehicle.
- the recognition unit 11 recognizes POIs located around the vehicle as objects around the vehicle based on the current position of the own vehicle and map information in the map database 5.
- the recognition unit 11 also performs image recognition processing on the image around the vehicle captured by the external camera, extracts feature points of the identified POI, and recognizes objects around the vehicle.
- the driving status acquisition unit 12 acquires driving status information indicating the driving status of the user driving the vehicle from the user status detection device 4.
- the user's driving situation information includes information regarding the user's body and information regarding the user's movements.
- Information regarding the user's body includes the user's blood pressure, changes in pulse rate, and degree of sweating.
- the information regarding the user's actions includes the user's operation details, facial expressions, line of sight, gestures, and the like.
- the driving status acquisition unit 12 performs image recognition processing on the user's image acquired from the user status detection device 4 to acquire information regarding the user's motion.
- the keyword extracting unit 13 extracts a pre-interruption keyword in the voice dialogue before the interruption, based on the dialogue content before the interruption of the voice dialogue recognized by the recognition unit 11. For example, the keyword extraction unit 13 extracts a keyword in the audio dialogue before interruption as a pre-interruption keyword based on the summary of the dialogue content. The keyword extraction unit 13 extracts nouns included in the conversation content before interruption as keyword candidates, and extracts the keyword candidate with the highest degree of importance as the pre-interruption keyword.
- the keyword extraction unit 13 extracts topical keywords based on the content of the user's conversation and/or the in-car content recognized by the recognition unit 11 while the voice dialogue is interrupted. For example, the keyword extraction unit 13 extracts keywords in the conversation content and in-car content as keywords based on the summary of the conversation content and in-car content. Further, the keyword extracting unit 13 extracts keywords based on objects surrounding the vehicle recognized by the recognizing unit 11 while the voice dialogue is interrupted. For example, the keyword extraction unit 13 extracts the name of the object surrounding the vehicle as a keyword from the information on the object surrounding the vehicle.
- the operating load estimating unit 14 estimates the user's operating load based on the user's driving situation.
- the driving load is the load that the user bears when driving the vehicle. The greater the driving load, the higher the driver's concentration required for driving.
- the operating load estimating unit 14 estimates the operating load based on the user's driving operation status. For example, the driving load estimating unit 14 estimates the driving load to be larger as the amount of steering operation or the amount of accelerator pedal or brake pedal operation is larger.
- the operating load estimating unit 14 estimates the operating load based on the user's physical condition. For example, the operating load estimating unit 14 estimates the operating load to be larger as the user's blood pressure or heart rate is higher. Further, the operating load estimating unit 14 may estimate the operating load based on the state of the user's posture. The operating load estimating unit 14 estimates the movement of the user's line of sight, and the greater the movement of the user's line of sight, the greater the operating load is estimated.
- the operating load estimating unit 14 estimates the operating load based on the driving situation.
- the driving load estimating unit 14 estimates the driving load to be larger when the vehicle is running in a specific situation than in other situations. For example, when the vehicle is running, the driving load estimation unit 14 estimates the driving load to be larger than when the vehicle is stopped.
- the specific situation is when the vehicle is traveling on a highway, when the vehicle is turning left or right, or when an obstacle such as another vehicle is close to the vehicle.
- the determination unit 15 determines whether or not to interrupt the user's voice dialogue.
- the determination unit 15 acquires information regarding the user's state from the user state detection device 4, and determines to interrupt the user's voice interaction when the user's state is such that it is necessary to interrupt the voice interaction. Further, the determination unit 15 determines not to interrupt the user's voice interaction when the user's state is not a state where it is necessary to interrupt the voice interaction.
- the state in which it is necessary to interrupt the voice dialogue is, for example, when the user's driving load increases.
- the determination unit 15 determines to interrupt the user's voice dialogue when the user is operating the steering wheel. Further, the determination unit 15 determines that the user's voice dialogue is to be interrupted when the user's blood pressure or heart rate is high.
- the situations in which it is necessary to interrupt the user's voice dialogue include, but are not limited to, situations in which it is necessary to interrupt the user's voice dialogue, such as when the driving role is switched from the system to the driver in automated driving, or when the user receives another voice call or a call with video. Examples include when the user interrupts the conversation, and when the user performs an operation to interrupt the conversation.
- the determination unit 15 determines whether the user's state is based on the user's voice when the user is performing a driving operation, that is, when the driving main body has been switched from the system to the user in automatic driving. It is determined that the dialogue needs to be interrupted.
- the determination unit 15 determines whether or not to resume the interrupted user's voice interaction. For example, while the user's voice dialogue is interrupted, the determination unit 15 acquires information regarding the user's state at a certain period, and determines whether the user's state is the user's voice dialogue based on the information regarding the user's state. Determine whether or not it is possible to resume the process.
- the state in which the user's voice dialogue can be resumed is, for example, when the user's driving load has decreased, or when the driving role has been switched from the user to the system in automatic driving.
- the image generation unit 16 generates an icon image representing the content of the topic of the user's voice dialogue.
- the icon image includes, for example, a keyword image corresponding to a keyword in voice dialogue, and a dialogue partner image representing a user's dialogue partner.
- the image generation unit 16 generates an icon image representing the content of the conversation before the voice conversation is interrupted, based on the pre-interruption keyword.
- the image generation unit 16 refers to the keyword image database 18 based on the pre-interruption keyword, and acquires a pre-interruption keyword image corresponding to the pre-interruption keyword from the keyword image database 18 . For example, when the image generation unit 16 extracts a keyword related to a cafe, it obtains an image representing the cafe, for example, an image of a coffee cup.
- the image generation unit 16 also refers to the dialogue partner information database 19 and obtains a dialogue partner image representing the dialogue partner with whom the user was interacting before interrupting the voice dialogue, such as avatar model data and character name. Then, the image generation unit 16 combines the acquired keyword image and the conversation partner image to generate an icon image including the keyword image and the conversation partner image. With this, for example, when the user's voice dialogue is interrupted, the image generation unit 16 generates an icon image representing the content of the voice conversation before the interruption, based on the pre-interruption keyword image and the conversation partner image. .
- the image generation unit 16 acquires images of the objects surrounding the vehicle captured by the vehicle sensors 3 and generates an image of the objects surrounding the vehicle. It is also possible to generate an icon image including the following. Furthermore, the image generation unit 16 may generate an icon image that does not include the conversation partner image but includes the keyword image.
- an icon image may be generated according to the operating load estimated by the operating load estimation unit 14.
- the image generation unit 16 generates an icon image with an amount of information depending on the operating load.
- the amount of information of the icon image is set to a smaller value as the operating load increases.
- the image generation unit 16 determines whether the operating load is greater than the load threshold while the user's voice interaction is interrupted. When determining that the operating load is greater than the load threshold, the image generation unit 16 generates an icon image with less information than when determining that the operating load is not greater than the load threshold. Thereby, when the operating load is large, the amount of information displayed to the user can be reduced.
- an icon image representing the content of the dialogue before the interruption may be generated with an amount of information corresponding to the operating load, or after displaying the icon image, the amount of information corresponding to the operating load may be reduced.
- the icon image displayed to the user may be updated to an icon image with an amount of information corresponding to the operating load.
- FIGS. 3A to 3C are examples of icon images in which the amount of information changes depending on the driving load when the user is a driver.
- FIG. 3A is a diagram showing an icon image 301 when the user's operating load is low.
- the icon image 301 shown in FIG. 3(a) is an example of an icon image with a large amount of information displayed to the user, and includes a keyword image 302 representing the content of the conversation before interruption, and a keyword image 302 representing the content of the conversation before the interruption, and a voice conversation of the user. It also includes a dialogue partner image 303 representing an avatar that is the partner.
- Keyword image 302 is an example of a keyword image corresponding to the keyword "cafe". By displaying more information, the user can smoothly resume voice interaction.
- an icon image 311 is an example of an icon image with a small amount of information displayed to the user, and the image of the conversation partner is no longer displayed, and a keyword image 312 representing the content of the conversation before interruption is displayed. has been done.
- the icon image 321 includes only an image 322 indicating that a voice dialogue was being performed.
- the image 322 may be any image representing that an audio dialogue was being performed, and may be, for example, an icon of an application that was performing an audio dialogue. This can prevent the user's attention from being distracted by the display of the icon image.
- the icon is displayed to the user based on at least one topic among the user's conversation content, in-car content, and objects surrounding the vehicle. You may update the image. For example, after displaying the icon image, the image generation unit 16 determines whether the recognition unit 11 has recognized the topic. When determining that the topic object has been recognized, the image generation unit 16 determines whether the importance of the recognized topic object is greater than the importance threshold.
- the degree of importance is set in advance for each topic, for example. The degree of importance is set to a higher value as the probability of becoming a topic candidate in the user's voice dialogue is higher.
- the image generation unit 16 When determining that the importance of the topic is greater than the importance threshold, the image generation unit 16 generates a new icon image based on the topic image representing the topic whose importance is determined to be greater than the importance threshold. , updates the icon image displayed to the user with the generated icon image.
- the image generation unit 16 acquires a topic image representing a topic object. For example, the image generation unit 16 acquires a keyword image corresponding to a keyword in a topical object from the keyword image database 18 as a topical image. Further, the image generation unit 16 may obtain an image of a subject surrounding the vehicle as a topic image. The image generation unit 16 generates an icon image including a topic image. Further, at this time, the image generation unit 16 may generate an icon image including the topic image and the conversation partner image.
- the image generation unit 16 changes the importance level of the topic object each time the recognition unit 11 recognizes the topic object while the user's voice interaction is interrupted and until the user's voice interaction is restarted. Determine whether it is larger than a threshold value. When the degree of importance is greater than the importance threshold, the image generation unit 16 generates an icon image including a topic image representing the topic object.
- FIGS. 4(a) to 4(c) An example of an icon image that changes depending on the topic recognized while the user's voice dialogue is interrupted will be explained using FIGS. 4(a) to 4(c).
- FIGS. 4A to 4C are examples of icon images that are updated according to the recognized topic while the user's voice dialogue is interrupted.
- FIG. 4(a) is an example of a pre-interruption icon image that is displayed to the user immediately after the user's voice interaction is interrupted.
- the icon image 401 includes a pre-interruption keyword image 402 and a conversation partner image 403.
- the icon image displayed to the user is updated based on the user's conversation content, in-vehicle content, and information about objects surrounding the vehicle.
- FIG. 4(b) shows an icon image updated based on the in-vehicle content.
- the icon image 411 includes a keyword image 412 of in-vehicle content and a conversation partner image 414.
- the in-car content is music played from the audio system.
- the icon image 411 shows that the avatar shown in the dialogue partner image 414 is interested in the music played from the audio.
- FIG. 4(c) shows an icon image that is further updated after the icon image of FIG. 4(b) is displayed.
- the icon image 421 includes a keyword image 422 indicating objects around the vehicle and a conversation partner image 424.
- the icon image 421 shows that the avatar shown in the dialogue partner image 424 is interested in objects surrounding the vehicle.
- the pre-interruption keyword image 413 in FIG. 4(b) and the pre-interruption keyword image 423 in FIG. 4(c) even after the icon image is updated, the pre-interruption keyword image is reduced to the icon image. It may also be displayed as
- the display control unit 17 performs control to display the icon image generated by the image generation unit 16 to the user.
- the display control unit 17 generates a control command to display the icon image to the user, and transmits the generated control command to the output device 6.
- the output device 6 uses the agent function of the agent A to output output data including an icon image as communication information.
- the output device 6 is not limited to displaying the icon image, and a communication device outside the voice dialogue device 1 may display the icon image.
- the communication device is, for example, a device used by a user, such as a smartphone or a tablet terminal. In this case, the display control unit 17 outputs a control command to the communication device.
- the display control unit 17 causes the user to display an icon image representing the content of the interaction before the interruption while the voice interaction is interrupted. Therefore, even while the voice dialogue is interrupted, the user can look at the icon image and remember the content of the conversation before the interruption, and when restarting the voice conversation, the user can smoothly start the voice conversation.
- the keyword image database 18 is a database that stores keyword images corresponding to keywords in voice dialogue for each keyword.
- keyword image data corresponding to each keyword is stored in advance. For example, for the keyword "cafe", an image representing a cafe, for example, an image of a coffee cup is stored. Further, for example, the keyword image database 18 stores, for a keyword related to a specific landmark, an image representing the landmark.
- the dialogue partner information database 19 is a database that stores the user's dialogue partner information for each dialogue partner.
- the dialogue partner information is, for example, a dialogue partner image representing the dialogue partner.
- the conversation partner information database 19 stores, for example, an image representing the avatar of agent A and an image of the user's conversation partner.
- FIG. 5 is an example of a flowchart showing a control procedure related to the voice interaction method. While the user is having a voice interaction, the processor 10 starts the flow from step S101.
- step S101 the processor 10 determines whether to interrupt the user's voice interaction. If it is determined that the voice dialogue is to be interrupted, the processor 10 proceeds to step S102. If it is determined that the voice dialogue is not to be interrupted, the processor 10 returns to step S101 and repeats the flow below.
- step S102 the processor 10 recognizes the content of the conversation before the interruption.
- step S103 the processor 10 extracts a pre-interruption keyword based on the content of the conversation before the interruption.
- step S104 the processor 10 generates an icon image including a pre-interruption keyword image corresponding to the pre-interruption keyword and a dialogue partner image representing the user's dialogue partner in the voice dialogue before interruption.
- the processor 10 obtains a pre-interruption keyword image from the keyword image database 18 based on the pre-interruption keyword, and also refers to the dialogue partner information database 19 to obtain a dialogue partner image. Then, the processor 10 synthesizes the pre-interruption keyword image and the conversation partner image to generate an icon image.
- step S105 the processor 10 generates a control command to display the icon image to the user.
- step S106 the processor 10 outputs the control command generated in step S105 to the output device 6.
- the output device 6 displays the icon image to the user.
- step S107 the processor 10 determines whether to restart the user's voice interaction. If it is determined that the user's voice interaction is to be resumed, the processor 10 proceeds to step S115. If it is determined that the user's voice interaction is not to be resumed, the processor 10 proceeds to step S108.
- step S108 the processor 10 determines whether at least one topical object among the content of the user's conversation, in-vehicle content, and objects surrounding the vehicle has been recognized. If it is determined that the topic subject is not recognized, the processor 10 proceeds to step S109. If it is determined that the topic subject has been recognized, the processor 10 proceeds to step S111. In step S109, the processor 10 determines whether the user's operating load is greater than a load threshold. If it is determined that the user's operating load is greater than the load threshold, the processor 10 proceeds to step S110. In step S110, the processor 10 generates an icon image with a small amount of information. If it is determined that the user's operating load is not greater than the load threshold, the processor 10 returns to step S107 and repeats the flow below.
- step S111 the processor 10 extracts the recognized keyword of the topic.
- step S112 the processor 10 determines whether the importance of the keyword extracted in step S111 is greater than the importance threshold. If it is determined that the importance of the topical keyword is greater than the importance threshold, the processor 10 proceeds to step S113.
- step S113 the processor 10 generates an icon image that includes the topic. For example, the processor 10 generates an icon image that includes a topic image representing a topic object and a conversation partner image. If it is determined that the importance of the topical keyword is not greater than the importance threshold, the processor 10 proceeds to step S109.
- step S114 the processor 10 updates the icon image displayed to the user with the generated icon image. For example, the processor 10 updates the displayed icon image to the icon image generated in step S110 or the icon image generated in step S113.
- the processor 10 performs display control to display the newly generated icon image to the user. After updating the icon image in step S114, the processor 10 returns to step S107 and repeats the flow below. In step S115, the processor 10 resumes the user's voice interaction.
- the content of the user's conversation before the voice conversation is interrupted is recognized, and the keywords in the voice conversation before the interruption are set based on the conversation contents.
- an icon image representing the content of the conversation before interruption is generated, and a control command for displaying the generated icon image is generated.
- a pre-interruption keyword image corresponding to a pre-interruption keyword is acquired from a database in which keyword images corresponding to keywords in voice dialogue are stored for each keyword, and a pre-interruption keyword image corresponding to a pre-interruption keyword is acquired from a database in which keyword images corresponding to keywords in voice dialogue are stored.
- a dialogue partner image representing the dialogue partner with whom the conversation was being held is acquired, and an icon image including the pre-interruption keyword image and the dialogue partner image is generated. Thereby, it is possible to generate an icon image that appropriately represents the content of the conversation before the interruption and the conversation partner.
- the icon image after displaying the icon image, at least one of the topics of the user's conversation, the in-vehicle content being played in the vehicle, and objects around the vehicle is recognized. Determine whether the importance of the topic is greater than the importance threshold, and update the icon image displayed to the user based on the topic image representing the topic whose importance is determined to be greater than the importance threshold. . Thereby, when restarting the user's dialogue, the user can resume the dialogue with topic content that is of interest to the user.
- the driving load of the user is estimated based on the driving status, and the driving load is set to a load threshold. If it is determined that the operating load is greater than the load threshold, an icon image with an amount of information corresponding to the operating load is generated. Thereby, when the operating load on the user is high, it is possible to prevent the user's attention from being distracted by the icon display.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
プロセッサ(10)は、音声対話を中断する前のユーザの対話内容を認識し、対話内容に基づいて、中断する前の音声対話におけるキーワードを中断前キーワードとして抽出し、抽出した中断前キーワードに基づいて、中断する前の対話内容を表すアイコン画像を生成し、生成されたアイコン画像を表示させる制御指令を生成する。
Description
本発明は、音声対話装置及び音声対話方法に関するものである。
本出願は、2022年4月27日に出願された日本国特許出願の特願2022-73531に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
本出願は、2022年4月27日に出願された日本国特許出願の特願2022-73531に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
ドライバへの通知情報を表示したときに、ドライバの運転負荷が所定の運転負荷よりも高い場合には、ドライバの所定操作に基づき、通知情報に重要度を付加して、通知情報の表示を一時的に抑制し、再表示の際に、重要度に応じて通知情報を表示する技術が知られている(特許文献1)。
しかしながら、特許文献1の技術では、通知情報の表示を抑制した後、抑制する前に表示していた通知情報を再表示したとしても、通知情報を再表示した時には、ユーザが、抑制前に表示していた通知情報の内容を忘れてしまっていることがあるという問題がある。
本発明が解決しようとする課題は、中断したユーザへの情報提供を再開する時にユーザが中断前の出力情報の内容を思い出すことができる音声対話装置及び音声対話方法を提供することである。
本発明は、音声対話を中断する前のユーザの対話内容を認識し、対話内容に基づいて、中断する前の音声対話におけるキーワードを中断前キーワードとして抽出し、抽出した中断前キーワードに基づいて、中断する前の対話内容を表すアイコン画像を生成し、生成されたアイコン画像を表示させる制御指令を生成することによって上記課題を解決する。
本発明によれば、中断したユーザへの情報提供を再開する時にユーザが中断前の出力情報の内容を思い出すことができる。
以下、本発明の実施形態を図面に基づいて説明する。本発明に係る音声対話装置を含む音声対話システムは、音声認識技術及び音声合成技術を用いて、ユーザと音声対話をするシステムである。ユーザとは、音声対話システムを利用する者をいい、主として車両の運転者であるが、ユーザは運転者以外の他の同乗者であってもよい。また、音声対話システム100は、自動車以外の場所で利用されるシステムであってもいい。以下においては、車両の運転者をユーザとして、本発明をユーザと音声対話をする音声対話システムに適用した例で説明するが、これに限らず、ユーザと他のユーザとの音声対話を制御する音声対話システムに本発明を適用することとしてもよい。
図1は、本実施形態に係る音声対話システムの実施形態を示すブロック図である。音声対話システム100は、音声対話装置1と、車内収音装置2と、車両センサ類3と、ユーザ状態検出装置4と、地図データベース5とを備える。これらの装置及びデータベースは、車両に搭載されたものであって、たとえばCANその他の車載LANにより接続され、相互に情報の送受信を行うことができる。また、音声対話装置1は、ユーザとの音声対話を制御する装置であって、プロセッサ10と出力装置6とを備える。
出力装置6は、擬人化されたエージェント(以下、単にエージェントAともいう)によるエージェント機能、具体的には、音声及び画像これらの組み合わせの媒体を介して、ユーザに対して情報を出力する装置である。なお、ここでは出力装置6は、車両に搭載した電子機器を例として説明するが、エージェント機能を備えた電子機器であればよく、例えば、持ち運び可能なディスプレイ付電子機器であってもよい。また、エージェントAの音声出力及び映像出力に関する機能をスマートフォン等の携帯電話に搭載してもよい。また、出力装置6は、音声、画像、文字情報などを出力してユーザに情報を提示できればよく、例えば、ナビゲーション装置のディスプレイを兼用して用いてもよい。
図2(a)及び(b)は、本実施形態に係る音声対話システムにおいてユーザに表示される画面の一例を示す図である。例えば、図2に示されている画面は、自車両に搭載されているヘッドアップディスプレイ装置又はディスプレイ装置に表示される。図2(a)では、視覚的にエージェントAを表示させる例が図示されている。図2(a)に示されるように、エージェントAは、人間を模したアバターであるエージェント画像102が車外風景に重畳表示されるようにディスプレイ101上に表示されている。以上のように、エージェントAは、表示制御部17からの制御指令を受けたエージェント機能により、ユーザにコミュニケーション情報を出力する場合には、エージェント画像102を表示させる。ユーザは、ディスプレイ101に表示される画面を介して、会話相手であるエージェントAの身振り手振りを把握しながら音声対話をすることができる。
また、音声対話装置1は、ユーザとの音声対話を中断する対話中断機能を備える。音声対話装置1は、ユーザとの音声対話中に、音声対話を中断する必要があると判定した場合には、音声対話を中断する。音声対話が中断されている間、図2(b)に示すように、ユーザの音声対話相手であるエージェントAの画像は表示されない。本実施形態では、図2(b)に示すように、音声対話が中断されている間、音声対話を中断する前の対話内容を表すアイコン画像112が車外風景に重畳表示されるようにディスプレイ111上に表示されている。アイコン画像の内容は、音声対話を中断する前の対話内容を表すイラスト、文字、写真、動画や、音声対話の雰囲気に応じたアバターの表情などが挙げられる。また、アイコンに表示される対話内容の一例として、カフェ、レストラン、ショッピング、イベント、観光地、音楽、ニュース、天気、風景などの話題が挙げられる。
また、本実施形態では、ユーザの対話相手は、音声対話システムを例として説明するが、これに限らず、対話相手は人間であってもよい。例えば、車両の外にいる車両の乗員以外の対話相手である。図2(a)の例では、対話相手として、ユーザと音声対話をするエージェントAの表示を一例として図示しているが、対話相手が人間である場合には、対話相手を撮像した画像であってもよい。また、音声対話装置1は、音声対話を中断している間に、音声対話を再開すると判定した場合には、音声対話を再開する。音声対話が再開すると、図2(a)で示されているように、ユーザの対話相手であるエージェントAのエージェント画像102が再度表示されるとともに、前述のアイコン画像の表示が中断される。なお、アイコン画像の表示を中断することに限らず、音声対話の再開後に、アイコン画像を表示し続けることとしてもよい。
以上のように、エージェントAは、音声や効果音を出力するためのスピーカその他の音声出力部や、文字を含む画像を表示するディスプレイその他の表示部を含み、エージェントAの動作とともに、音声、効果音、文字その他の画像をユーザに提供することでコミュニケーション情報を出力する。また、擬人化されたエージェントは一例であり、人間を模さずとも、所定のキャラクタ、アバターやアイコンを表示させたエージェントであってもよい。エージェントAは、物理的な個体として、アクチュエータを動作させて出没可能な形態で設置されてもよい。また、会話相手としてエージェントの表示を一例として図示するのみならず、会話相手としてエージェントAが表示されない音声対話システムにも適用できる。
車内収音装置2は、車両の車内で乗員が聞く音を収音する。車内収音装置2は、例えば、車内に設置されたマイクである。車内収音装置2により収音される音は、主として車両の室内に音源がある音であって、ユーザの音声、車内メディアから出力される音を含む。ユーザの音声は、例えば、乗員間での会話、音声対話システムと乗員との対話を含む。車内メディアは、例えば、オーディオ、ラジオである。
車両センサ類3は、車両周辺の車両周辺情報を取得する。車両センサ類3は、例えば車両の車外を撮像する車外カメラである。車外カメラは、CCD、CMOS等の撮像素子を有するCCDカメラやCMOSカメラ等である。車外カメラは、車両周辺を撮像した画像を車両周辺情報として取得する。また、車両センサ類3は、GPSを含む。GPSは、自車両の現在位置を検出する。車両センサ類3の検出結果は、所定の時間間隔でプロセッサ10に出力される。
ユーザ状態検出装置4は、ユーザの状態に関する情報を検出する。ユーザの状態は、例えば、ユーザの身体動作に関する情報を含む。ユーザ状態検出装置4は、例えば、車内のユーザを撮像する車内カメラ、ユーザの生体信号を検出する生体信号測定センサなどが挙げられる。車内カメラは、CCD、CMOS等の撮像素子を有するCCDカメラやCMOSカメラ等である。生体信号測定センサは、ステアリングホイールや着座シートの内部に設けられ、ユーザの血圧や、脈拍数の変化、発汗の程度といった生体信号をユーザの身体に関する情報として検出する。ユーザ状態検出装置4の検出結果は、所定の時間間隔でプロセッサ10に出力される。
地図データベース5は、地図情報を記憶するデータベースである。地図情報は、道路の情報等を含む。また、地図データベース5は、POI(Point Of Interest)の情報を含む。POIは、地図上の特定の場所、例えば、公共施設や飲食店、観光名所等のランドマークとなる建物の場所の情報である。
音声対話装置1は、各種処理を実行するためのプログラミングが格納されたROMと、このROMに格納されたプログラムを実行することで、音声対話装置1として機能する動作回路としてのCPUと、アクセス可能な記憶装置として機能するRAMとを備えたプロセッサ10と、出力装置6としてのエージェントAとで構成されている。プロセッサ10は、機能ブロックとして、認識部11と、運転状況取得部12と、キーワード抽出部13と、運転負荷推定部14と、判定部15と、画像生成部16と、表示制御部17と、を備える。プロセッサ10は、キーワード画像データベース18と、対話相手情報データベース19とを備える。
認識部11は、ユーザの音声対話を中断する前のユーザの対話内容を認識する。認識部11は、車内収音装置2から、音声対話を中断する前のユーザの音声及び/又はユーザの対話相手の音声を取得する。認識部11は、取得した音声に対して音声認識処理を実行して、ユーザの対話内容を認識する。また、認識部11は、ユーザの対話内容を要約することとしてもよい。ユーザの対話内容は、中断前のユーザの発言内容、中断前のユーザの対話相手の発言内容を含む。
また、認識部11は、アイコン画像を表示した後、ユーザの会話内容、車両内で再生されている車内コンテンツ及び車両周辺の車両周辺対象のうち少なくともいずれかひとつの話題対象を認識する。話題対象は、ユーザとの音声対話を再開する時にユーザに提供する話題の候補であって、例えば、ユーザが興味を持つ可能性がある対象である。ユーザとの音声対話を中断している間にも、ユーザは、視覚的又は聴覚的に認識できる対象に対して興味を持つことがある。中断前の対話内容から他の対象にユーザの興味が移ることがあるため、本実施形態では、中断している間にユーザが興味を持つ可能性がある話題対象を認識する。
例えば、認識部11は、ユーザの会話内容を認識する。認識部11は、車内収音装置2から、音声対話を中断している間のユーザの音声を取得する。認識部11は、取得したユーザの音声に対して音声認識処理を実行して、ユーザの会話内容を認識する。また、認識部11は、ユーザの会話内容を要約することとしてもよい。ユーザの会話内容は、ユーザとの音声対話を中断している間のユーザと他の乗員との間の中断中会話内容を含む。
認識部11は、車内で再生されている車内コンテンツを認識する。コンテンツは、例えば、車内のオーディオやラジオなどのメディアから再生されている音楽やラジオパーソナリティーの発言内容などが挙げられる。認識部11は、車内収音装置2からメディアの音声を取得する。認識部11は、取得したメディアの音声に対して音声認識処理を実行して、車内コンテンツを認識する。また、認識部11は、ラジオの番組内容やラジオパーソナリティーの発言内容など、車内コンテンツの内容を要約することとしてもよい。
認識部11は、GPSや車外カメラなどの車両センサ類3によって検出した情報に基づいて、車両周辺対象を認識する。車両周辺対象は、例えば、車両周辺のPOI(Point Of Interest)である。例えば、認識部11は、自車両の現在位置と地図データベース5の地図情報とに基づいて、車両周辺に位置するPOIを車両周辺対象として認識する。また、認識部11は、車外カメラによって撮像された自車両周辺の画像に対して画像認識処理を実行し、特定したPOIの特徴点を抽出し、車両周辺対象を認識する。
運転状況取得部12は、ユーザ状態検出装置4から、車両を運転するユーザの運転状況を示す運転状況情報を取得する。例えば、ユーザの運転状況情報は、ユーザの身体に関する情報や、ユーザの動作に関する情報を含む。ユーザの身体に関する情報は、ユーザの血圧や、脈拍数の変化、発汗の程度である。また、ユーザの動作に関する情報は、ユーザの操作内容、表情、視線、仕草などを含む。運転状況取得部12は、例えば、ユーザ状態検出装置4から取得したユーザの画像に対して画像認識処理を実行して、ユーザの動作に関する情報を取得する。
キーワード抽出部13は、認識部11によって認識した、音声対話を中断する前の対話内容に基づいて、中断する前の音声対話における中断前キーワードを抽出する。例えば、キーワード抽出部13は、対話内容の要約に基づいて、中断する前の音声対話におけるキーワードを中断前キーワードとして抽出する。キーワード抽出部13は、中断する前の対話内容に含まれる名詞をキーワード候補として抽出し、最も重要度が高いキーワード候補を中断前キーワードとして抽出する。
また、キーワード抽出部13は、音声対話を中断している間に認識部11によって認識したユーザの会話内容及び/又は車内コンテンツに基づいて、話題対象のキーワードを抽出する。例えば、キーワード抽出部13は、会話内容及び車内コンテンツの要約に基づいて、会話内容及び車内コンテンツにおけるキーワードをキーワードとして抽出する。また、キーワード抽出部13は、音声対話を中断している間に認識部11によって認識した車両周辺対象に基づいて、キーワードを抽出する。例えば、キーワード抽出部13は、車両周辺対象の情報から、車両周辺対象の名称をキーワードとして抽出する。
運転負荷推定部14は、ユーザの運転状況に基づいて、ユーザの運転負荷を推定する。運転負荷は、ユーザが車両を運転する時にユーザが負う負荷である。運転負荷が大きいほど、運転者であるユーザには運転に対して高い集中力が要求される。運転負荷推定部14は、ユーザの運転操作の状況に基づいて、運転負荷を推定する。例えば、運転負荷推定部14は、ステアリング操作量、又は、アクセルペダルもしくはブレーキペダル操作量が大きいほど、運転負荷を大きく推定する。
また、運転負荷推定部14は、ユーザの身体状況に基づいて、運転負荷を推定する。例えば、運転負荷推定部14は、ユーザの血圧又は心拍数が高いほど、運転負荷を大きく推定する。また、運転負荷推定部14は、ユーザの姿勢の状況に基づいて、運転負荷を推定してもよい。運転負荷推定部14は、ユーザの視線の動きを推定し、ユーザの視線の動きが大きいほど、運転負荷を大きく推定する。
また、運転負荷推定部14は、走行状況に基づいて、運転負荷を推定する。運転負荷推定部14は、車両の走行状況が特定の状況である場合に、それ以外の状況である場合よりも、運転負荷を大きく推定する。例えば、運転負荷推定部14は、車両が走行している場合には、車両が停車している場合よりも、運転負荷を大きく推定する。また、特定の状況は、車両が高速道路を走行している場合、車両が右左折している場合、車両に他車両等の障害物が近い場合である。
判定部15は、ユーザの音声対話を中断するか否かを判定する。判定部15は、ユーザ状態検出装置4から、ユーザの状態に関する情報を取得し、ユーザの状態が、音声対話を中断する必要がある状態である場合に、ユーザの音声対話を中断すると判定する。また、判定部15は、ユーザの状態が、音声対話を中断する必要がある状態ではない場合に、ユーザの音声対話を中断しないと判定する。音声対話を中断する必要がある状態とは、例えば、ユーザの運転負荷が高まった場合である。判定部15は、ユーザがステアリング操作をしている状態である場合に、ユーザの音声対話を中断すると判定する。また、判定部15は、ユーザの血圧や心拍が高い場合に、ユーザの音声対話を中断すると判定する。
なお、これに限らず、ユーザの音声対話を中断する必要がある状況とは、自動運転において運転主体がシステムから運転者に切り替わった場合、ユーザに他の音声通話又は映像付通話の着信があった場合、及び、ユーザが会話中断操作をした場合などが挙げられる。判定部15は、ユーザを撮像した画像に基づいて、ユーザが運転操作をしている、すなわち、自動運転において運転主体がシステムからユーザに切り替わっている場合には、ユーザの状態が、ユーザの音声対話を中断する必要がある状態であると判定する。
また、判定部15は、中断したユーザの音声対話を再開するか否かを判定する。例えば、判定部15は、ユーザの音声対話を中断している間、一定の周期で、ユーザの状態に関する情報を取得し、ユーザの状態に関する情報に基づいて、ユーザの状態が、ユーザの音声対話を再開できる状態であるか否かを判定する。ユーザの音声対話を再開できる状態とは、例えば、ユーザの運転負荷が低くなった場合、自動運転において運転主体がユーザからシステムに切り替わっている場合などである。
画像生成部16は、ユーザの音声対話の話題内容を表すアイコン画像を生成する。アイコン画像は、例えば、音声対話におけるキーワードに対応するキーワード画像と、ユーザの対話相手を表す対話相手画像とを含む。画像生成部16は、ユーザの音声対話を中断した場合には、中断前キーワードに基づいて、音声対話を中断する前の対話内容を表すアイコン画像を生成する。画像生成部16は、中断前キーワードに基づいて、キーワード画像データベース18を参照して、中断前キーワードに対応する中断前キーワード画像をキーワード画像データベース18から取得する。例えば、画像生成部16は、カフェに関するキーワードを抽出した場合には、カフェを表す画像、例えば、コーヒーカップの画像を取得する。
また、画像生成部16は、対話相手情報データベース19を参照し、アバターのモデルデータやキャラクタ名など、音声対話を中断する前にユーザと対話していた対話相手を表す対話相手画像を取得する。そして、画像生成部16は、取得したキーワード画像と対話相手画像とを合成して、キーワード画像と対話相手画像とを含むアイコン画像を生成する。これにより、画像生成部16は、例えば、ユーザの音声対話を中断した場合には、中断前キーワード画像と対話相手画像とに基づいて、中断前の音声対話の対話内容を表すアイコン画像を生成する。
なお、画像生成部16は、ユーザの音声対話の対話内容が車両周辺対象に関するものである場合には、車両センサ類3によって撮像された車両周辺対象の画像を取得して、車両周辺対象の画像を含むアイコン画像を生成することとしてもよい。また、画像生成部16は、対話相手画像を含まずキーワード画像を含むアイコン画像を生成することとしてもよい。
また、本実施形態では、運転負荷推定部14によって推定した運転負荷に応じて、アイコン画像を生成してもよい。例えば、画像生成部16は、運転負荷に応じた情報量のアイコン画像を生成する。アイコン画像の情報量は、運転負荷が大きいほど、小さい値に設定される。画像生成部16は、ユーザの音声対話を中断している間に、運転負荷が負荷閾値より大きいか否かを判定する。運転負荷が負荷閾値より大きいと判定した場合には、画像生成部16は、運転負荷が負荷閾値より大きくないと判定した場合よりも情報量が少ないアイコン画像を生成する。これにより、運転負荷が大きい場合には、ユーザに表示している情報量を少なくすることができる。
なお、本実施形態では、音声対話を中断する時に、運転負荷に応じた情報量の、中断前の対話内容を表すアイコン画像を生成してもよいし、アイコン画像を表示した後、運転負荷が変化した場合に、ユーザに表示しているアイコン画像を、運転負荷に応じた情報量のアイコン画像に更新してもよい。
運転負荷に応じて変化するアイコン画像の例を、図3(a)~(c)を用いて説明する。図3(a)~(c)は、ユーザが運転者である場合に、運転負荷に応じて情報量が変化するアイコン画像を示す一例である。図3(a)は、ユーザの運転負荷が低い場合のアイコン画像301を示す図である。図3(a)に示されているアイコン画像301は、ユーザに表示している情報量の多いアイコン画像の一例であって、中断前の対話内容を表すキーワード画像302と、ユーザの音声対話の相手であるアバターを表す対話相手画像303とを含む。キーワード画像302は、カフェというキーワードに対応したキーワード画像の一例である。より多くの情報が表示されることで、ユーザは、スムーズに音声対話を再開できるようになる。
一方、ユーザの音声対話を中断している間に、ユーザの運転負荷が高くなった場合、図3(b)に示されているように、ユーザに表示している情報量の少ないアイコン画像が表示される。図3(b)では、アイコン画像311は、ユーザに表示している情報量の少ないアイコン画像の一例であって、対話相手画像の表示がなくなり、中断前の対話内容を表すキーワード画像312が表示されている。また、さらに運転負荷が高くなった場合には、図3(c)に示されているように、ユーザに表示している情報量のより少ない画像が表示される。図3(c)では、アイコン画像321は、音声対話をしていたことを表す画像322だけを含む。画像322は、音声対話をしていたことを表す画像であればよく、例えば、音声対話を行っていたアプリケーションのアイコンであってもよい。これによって、アイコン画像の表示によってユーザの注意力が散漫になることを防止できる。
また、本実施形態では、ユーザの音声対話を中断している間に、ユーザの会話内容、車内コンテンツ及び車両周辺対象のうち少なくともいずれかひとつの話題対象に基づいて、ユーザに表示しているアイコン画像を更新してもよい。例えば、画像生成部16は、アイコン画像を表示した後、認識部11によって話題対象を認識したか否かを判定する。話題対象を認識したと判定した場合に、画像生成部16は、認識した話題対象の重要度が重要度閾値より大きいか否かを判定する。重要度は、例えば、話題対象ごとに予め設定されている。重要度は、ユーザの音声対話において話題の候補になる可能性が高いほど大きい値に設定されている。
画像生成部16は、話題対象の重要度が重要度閾値より大きいと判定した場合、重要度が重要度閾値より大きいと判定した話題対象を表す話題画像に基づいて、新たにアイコン画像を生成し、ユーザに表示しているアイコン画像を、生成したアイコン画像に更新する。画像生成部16は、話題対象を表す話題画像を取得する。例えば、画像生成部16は、キーワード画像データベース18から、話題対象におけるキーワードに対応するキーワード画像を話題画像として取得する。また、画像生成部16は、車両周辺対象を撮像した画像を話題画像として取得してもよい。画像生成部16は、話題画像を含むアイコン画像を生成する。また、このとき、画像生成部16は、話題画像と対話相手画像とを含むアイコン画像を生成してもよい。
画像生成部16は、ユーザの音声対話を中断している間、ユーザの音声対話を再開するまで、認識部11によって話題対象が認識された場合に、その都度、話題対象の重要度が重要度閾値より大きいか否かを判定する。重要度が重要度閾値より大きいときには、画像生成部16は、当該話題対象を表す話題画像を含むアイコン画像を生成する。
ユーザの音声対話を中断している間に認識した話題対象によって変化するアイコン画像の一例を、図4(a)~(c)を用いて説明する。図4(a)~(c)は、ユーザの音声対話を中断している間に、認識した話題対象に応じて更新されるアイコン画像の一例である。図4(a)は、ユーザの音声対話が中断した直後にユーザに表示している中断前アイコン画像の一例である。アイコン画像401は、中断前キーワード画像402と対話相手画像403とを含む。
一方、ユーザの音声対話を長時間中断している場合、ユーザの興味は変化することが考えられる。このため、本実施形態では、ユーザの会話内容、車内コンテンツ、車両周辺対象の情報に基づいてユーザに表示しているアイコン画像を更新する。図4(b)では、車内コンテンツに基づいて更新されたアイコン画像が示されている。アイコン画像411は、車内コンテンツのキーワード画像412と、対話相手画像414とを含む。車内コンテンツは、オーディオから流れている音楽である。例えば、アイコン画像411では、対話相手画像414で示されているアバターがオーディオから流れてきた音楽に興味を示している様子が示されている。
また、図4(c)では、図4(b)のアイコン画像が表示された後にさらに更新されたアイコン画像が示されている。図4(c)では、アイコン画像421は、車両周辺対象を示すキーワード画像422と、対話相手画像424とを含む。例えば、アイコン画像421では、対話相手画像424で示されているアバターが、車両周辺対象に興味を示している様子が示されている。なお、図4(b)の中断前キーワード画像413と図4(c)の中断前キーワード画像423で示されているように、アイコン画像の更新後も、アイコン画像には中断前キーワード画像を縮小して表示することとしてもよい。
表示制御部17は、画像生成部16によって生成したアイコン画像をユーザに表示させる制御を行う。表示制御部17は、アイコン画像をユーザに表示させる制御指令を生成し、生成した制御指令を出力装置6に送信する。出力装置6は、制御指令を受信すると、エージェントAのエージェント機能により、アイコン画像を含む出力データをコミュニケーション情報として出力する。なお、本実施形態では、出力装置6がアイコン画像を表示することに限らず、音声対話装置1の外部にある通信装置がアイコン画像を表示することとしてもよい。通信装置は、例えば、ユーザが利用するスマートフォン、タブレット端末等の装置である。この場合、表示制御部17は、制御指令を通信装置に出力する。
以上のように、表示制御部17は、ユーザの音声対話を中断した場合には、音声対話を中断している間、中断前の対話内容を表すアイコン画像をユーザに対して表示させる。これにより、ユーザは、音声対話を中断している間でも、アイコン画像を見て、中断前の対話内容を思い出すことができ、音声対話を再開する時に、スムーズに音声対話を開始できる。
キーワード画像データベース18は、音声対話におけるキーワードに対応するキーワード画像をキーワードごとに記憶するデータベースである。本実施形態では、予め各キーワードに対応するキーワード画像のデータが記憶されている。例えば、カフェというキーワードに対して、カフェを表す画像、例えば、コーヒーカップの画像が記憶されている。また、例えば、キーワード画像データベース18は、特定のランドマークに関するキーワードに対して、当該ランドマークを表す画像が記憶されている。
対話相手情報データベース19は、ユーザの対話相手情報を対話相手ごとに記憶するデータベースである。対話相手情報は、例えば、対話相手を表す対話相手画像である。対話相手情報データベース19には、例えば、エージェントAのアバターを表す画像、ユーザの対話相手を撮像した画像が記憶される。
次に、図5を用いて、本実施形態にかかる音声対話方法を実行するための制御の手順を示す一例を説明する。図5は、音声対話方法に係る制御の手順を示すフローチャートの一例である。ユーザが音声対話をしている間、プロセッサ10は、ステップS101からフローを開始する。
ステップS101では、プロセッサ10は、ユーザの音声対話を中断するか否かを判定する。音声対話を中断すると判断した場合には、プロセッサ10は、ステップS102に進む。音声対話を中断すると判断しない場合には、プロセッサ10は、ステップS101に戻り、以下フローを繰り返す。ステップS102では、プロセッサ10は、中断前の対話内容を認識する。ステップS103では、プロセッサ10は、中断前の対話内容に基づいて、中断前キーワードを抽出する。
ステップS104では、プロセッサ10は、中断前キーワードに対応する中断前キーワード画像と、中断前の音声対話におけるユーザの対話相手を表す対話相手画像とを含むアイコン画像を生成する。例えば、プロセッサ10は、中断前キーワードに基づいて、キーワード画像データベース18から、中断前キーワード画像を取得するとともに、対話相手情報データベース19を参照して、対話相手画像を取得する。そして、プロセッサ10は、中断前キーワード画像と対話相手画像とを合成してアイコン画像を生成する。
ステップS105では、プロセッサ10は、アイコン画像をユーザに表示させる制御指令を生成する。ステップS106では、プロセッサ10は、ステップS105で生成した制御指令を出力装置6に出力する。出力装置6は、制御指令を受信すると、アイコン画像をユーザに表示する。ステップS107では、プロセッサ10は、ユーザの音声対話を再開するか否かを判定する。ユーザの音声対話を再開すると判定した場合には、プロセッサ10は、ステップS115に進む。ユーザの音声対話を再開しないと判定した場合には、プロセッサ10は、ステップS108に進む。
ステップS108では、プロセッサ10は、ユーザの会話内容、車内コンテンツ及び車両周辺対象のうち少なくともいずれかひとつの話題対象を認識したか否かを判定する。話題対象を認識していないと判定した場合、プロセッサ10は、ステップS109に進む。話題対象を認識したと判定した場合、プロセッサ10は、ステップS111に進む。ステップS109では、プロセッサ10は、ユーザの運転負荷が負荷閾値より大きいか否かを判定する。ユーザの運転負荷が負荷閾値より大きいと判定した場合には、プロセッサ10は、ステップS110に進む。ステップS110では、プロセッサ10は、情報量の小さいアイコン画像を生成する。ユーザの運転負荷が負荷閾値より大きくないと判定した場合には、プロセッサ10は、ステップS107に戻り、以下フローを繰り返す。
ステップS111では、プロセッサ10は、認識した話題対象のキーワードを抽出する。ステップS112では、プロセッサ10は、ステップS111で抽出したキーワードの重要度が重要度閾値より大きいか否かを判定する。話題対象のキーワードの重要度が重要度閾値より大きいと判定した場合には、プロセッサ10は、ステップS113に進む。ステップS113では、プロセッサ10は、話題対象を含むアイコン画像を生成する。例えば、プロセッサ10は、話題対象を表す話題画像と対話相手画像とを含むアイコン画像を生成する。話題対象のキーワードの重要度が重要度閾値より大きくないと判定した場合には、プロセッサ10は、ステップS109に進む。
ステップS114では、プロセッサ10は、ユーザに表示しているアイコン画像を、生成したアイコン画像に更新する。例えば、プロセッサ10は、表示しているアイコン画像を、ステップS110で生成したアイコン画像、又は、ステップS113で生成したアイコン画像に更新する。プロセッサ10は、新たに生成したアイコン画像をユーザに表示する表示制御を行う。ステップS114でアイコン画像を更新した後、プロセッサ10は、ステップS107に戻り、以下フローを繰り返す。ステップS115では、プロセッサ10は、ユーザの音声対話を再開する。
以上のように、本実施形態では、音声対話を中断した場合に、音声対話を中断する前のユーザの対話内容を認識し、対話内容に基づいて、中断する前の音声対話におけるキーワードを中断前キーワードとして抽出し、抽出した中断前キーワードに基づいて、中断する前の対話内容を表すアイコン画像を生成し、生成されたアイコン画像を表示させる制御指令を生成する。これにより、中断前に提供していた情報をユーザが覚えている状態で、中断したユーザへの情報提供を再開できる。
また、本実施形態では、音声対話におけるキーワードに対応するキーワード画像がキーワードごとに記憶されているデータベースから、中断前キーワードに対応する中断前キーワード画像を取得し、音声対話を中断する前にユーザと対話していた対話相手を表す対話相手画像を取得し、中断前キーワード画像と対話相手画像とを含むアイコン画像を生成する。これにより、中断前の対話内容や対話相手を適切に表すアイコン画像を生成できる。
また、本実施形態では、アイコン画像を表示した後、ユーザの会話内容、車両内で再生されている車内コンテンツ及び車両周辺の車両周辺対象のうち少なくともいずれかひとつの話題対象を認識し、認識した話題対象の重要度が重要度閾値より大きいか否かを判定し、重要度が重要度閾値より大きいと判定した話題対象を表す話題画像に基づいて、ユーザに表示しているアイコン画像を更新する。これにより、ユーザの対話を再開する時に、ユーザが興味のある話題内容で対話を再開できる。
また、本実施形態では、車両を運転するユーザの運転状況を示す運転状況情報を取得し、アイコン画像を表示した後、運転状況に基づいて、ユーザの運転負荷を推定し、運転負荷が負荷閾値より大きいか否かを判定し、運転負荷が負荷閾値より大きいと判定した場合には、運転負荷に応じた情報量のアイコン画像を生成する。これにより、ユーザにかかる運転負荷が高い場合に、ユーザの注意力がアイコン表示によって散漫となることを防止できる。
なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
100…音声対話システム
1…音声対話装置
10…プロセッサ
11…認識部
12…運転状況取得部
13…キーワード抽出部
14…運転負荷推定部
15…判定部
16…画像生成部
17…表示制御部
2…車内収音装置
3…車両センサ類
4…ユーザ状態検出装置
5…地図データベース
6…出力装置
A…エージェント
1…音声対話装置
10…プロセッサ
11…認識部
12…運転状況取得部
13…キーワード抽出部
14…運転負荷推定部
15…判定部
16…画像生成部
17…表示制御部
2…車内収音装置
3…車両センサ類
4…ユーザ状態検出装置
5…地図データベース
6…出力装置
A…エージェント
Claims (5)
- ユーザの音声対話を制御するプロセッサを備える音声対話装置であって、
前記プロセッサは、
前記音声対話を中断する前の前記ユーザの対話内容を認識する認識部と、
前記対話内容に基づいて、中断する前の前記音声対話におけるキーワードを中断前キーワードとして抽出するキーワード抽出部と、
抽出した前記中断前キーワードに基づいて、中断する前の前記対話内容を表すアイコン画像を生成する画像生成部と、
生成された前記アイコン画像を表示させる制御指令を生成する表示制御部と、を備える音声対話装置。 - 前記画像生成部は、
前記音声対話におけるキーワードに対応するキーワード画像が前記キーワードごとに記憶されているデータベースから、前記中断前キーワードに対応する中断前キーワード画像を取得し、
前記音声対話を中断する前に前記ユーザと対話していた対話相手を表す対話相手画像を取得し、
前記中断前キーワード画像と前記対話相手画像とを含む前記アイコン画像を生成する請求項1に記載の音声対話装置。 - 前記認識部は、
前記アイコン画像を表示した後、前記ユーザの会話内容、車両内で再生されている車内コンテンツ及び前記車両周辺の車両周辺対象のうち少なくともいずれかひとつの話題対象を認識し、
前記画像生成部は、
認識した前記話題対象の重要度が重要度閾値より大きいか否かを判定し、
前記重要度が前記重要度閾値より大きいと判定した前記話題対象を表す話題画像に基づいて、前記ユーザに表示している前記アイコン画像を更新する請求項1又は2に記載の音声対話装置。 - 前記プロセッサは、
車両を運転する前記ユーザの運転状況を示す運転状況情報を取得する運転状況取得部と、
前記運転状況に基づいて、前記ユーザの運転負荷を推定する運転負荷推定部と、をさらに備え、
前記画像生成部は、
前記運転負荷が負荷閾値より大きいか否かを判定し、
前記運転負荷が前記負荷閾値より大きいと判定した場合には、前記運転負荷に応じた情報量の前記アイコン画像を生成する請求項1又は2に記載の音声対話装置。 - プロセッサによって実行される、ユーザの音声対話を制御する音声対話方法であって、
前記プロセッサは、
前記音声対話を中断する前の前記ユーザの対話内容を認識し、
前記対話内容に基づいて、中断する前の前記音声対話におけるキーワードを中断前キーワードとして抽出し、
抽出した前記中断前キーワードに基づいて、中断する前の前記対話内容を表すアイコン画像を生成し、
生成された前記アイコン画像を表示させる制御指令を生成する音声対話方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-073531 | 2022-04-27 | ||
JP2022073531 | 2022-04-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023210171A1 true WO2023210171A1 (ja) | 2023-11-02 |
Family
ID=88518548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/008785 WO2023210171A1 (ja) | 2022-04-27 | 2023-03-08 | 音声対話装置及び音声対話方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023210171A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005309185A (ja) * | 2004-04-23 | 2005-11-04 | Nissan Motor Co Ltd | 音声入力装置、および音声入力方法 |
US20080104612A1 (en) * | 2006-11-01 | 2008-05-01 | Abernethy Jr Michael Negley | Mirroring of conversation stubs |
US20090157726A1 (en) * | 2007-12-17 | 2009-06-18 | Abernethy Jr Michael Negley | Restoration of conversation stub for recognized experts |
WO2018134198A1 (en) * | 2017-01-17 | 2018-07-26 | Jaguar Land Rover Limited | Communication control apparatus and method |
JP2021515938A (ja) * | 2018-03-05 | 2021-06-24 | グーグル エルエルシーGoogle LLC | 自動化されたアシスタントによる以前の対話コンテキスト間の遷移 |
US20210331689A1 (en) * | 2018-11-30 | 2021-10-28 | Lg Electronics Inc. | Vehicle control device and vehicle control method |
-
2023
- 2023-03-08 WO PCT/JP2023/008785 patent/WO2023210171A1/ja unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005309185A (ja) * | 2004-04-23 | 2005-11-04 | Nissan Motor Co Ltd | 音声入力装置、および音声入力方法 |
US20080104612A1 (en) * | 2006-11-01 | 2008-05-01 | Abernethy Jr Michael Negley | Mirroring of conversation stubs |
US20090157726A1 (en) * | 2007-12-17 | 2009-06-18 | Abernethy Jr Michael Negley | Restoration of conversation stub for recognized experts |
WO2018134198A1 (en) * | 2017-01-17 | 2018-07-26 | Jaguar Land Rover Limited | Communication control apparatus and method |
JP2021515938A (ja) * | 2018-03-05 | 2021-06-24 | グーグル エルエルシーGoogle LLC | 自動化されたアシスタントによる以前の対話コンテキスト間の遷移 |
US20210331689A1 (en) * | 2018-11-30 | 2021-10-28 | Lg Electronics Inc. | Vehicle control device and vehicle control method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6515764B2 (ja) | 対話装置及び対話方法 | |
US10929652B2 (en) | Information providing device and information providing method | |
JP3918850B2 (ja) | エージェント装置 | |
JP6713490B2 (ja) | 情報提供装置及び情報提供方法 | |
CN111661068A (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
JP2010128099A (ja) | 車載用音声情報提供システム | |
WO2016181670A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US11450316B2 (en) | Agent device, agent presenting method, and storage medium | |
JP2010204637A (ja) | 音声認識装置、音声認識方法、及びナビゲーション装置 | |
JP7239366B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP2018200192A (ja) | 地点提案装置及び地点提案方法 | |
JP4253918B2 (ja) | エージェント装置 | |
WO2023210171A1 (ja) | 音声対話装置及び音声対話方法 | |
CN111731320B (zh) | 智能体***、智能体服务器及其控制方法、存储介质 | |
JP6387287B2 (ja) | 不明事項解消処理システム | |
KR102371513B1 (ko) | 대화 시스템 및 대화 처리 방법 | |
CN113450788A (zh) | 声音输出的控制方法和声音输出控制装置 | |
JP2023162857A (ja) | 音声対話装置及び音声対話方法 | |
CN114834456A (zh) | 向车辆的驾驶员提供辅助信息的方法和装置 | |
JP6555113B2 (ja) | 対話装置 | |
CN113516978B (zh) | 声音输出的控制方法和声音输出控制装置 | |
JP2020130502A (ja) | 情報処理装置および情報処理方法 | |
JP2019190940A (ja) | 情報提供装置 | |
JP7407046B2 (ja) | 音声出力の制御方法および音声出力制御装置 | |
WO2023153314A1 (ja) | 車内機器制御装置、車内機器制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23793988 Country of ref document: EP Kind code of ref document: A1 |