WO2004027527A1 - 対話型装置 - Google Patents

対話型装置 Download PDF

Info

Publication number
WO2004027527A1
WO2004027527A1 PCT/JP2003/012040 JP0312040W WO2004027527A1 WO 2004027527 A1 WO2004027527 A1 WO 2004027527A1 JP 0312040 W JP0312040 W JP 0312040W WO 2004027527 A1 WO2004027527 A1 WO 2004027527A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
behavior pattern
pattern
proposal
interactive device
Prior art date
Application number
PCT/JP2003/012040
Other languages
English (en)
French (fr)
Inventor
Shinichi Yamamoto
Hiroshi Yamamoto
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP03797719A priority Critical patent/EP1542101A1/en
Priority to US10/528,438 priority patent/US20060100880A1/en
Priority to JP2004538008A priority patent/JPWO2004027527A1/ja
Publication of WO2004027527A1 publication Critical patent/WO2004027527A1/ja

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons

Definitions

  • the present invention relates to an interactive device capable of performing an interaction with a user.
  • An audio device that monitors ecological information and successively adjusts and reproduces a resident's favorite audio / video signal to a level according to the resident's current living condition and physical condition is disclosed (for example, Patent Document 1). See).
  • This acoustic device uses a sensor installed in the room to grasp the living condition of the resident, and monitors identification information and ecological information from a portable transceiver (including a biometric sensor) worn by the resident to sequentially live.
  • the user's favorite audio signal is adjusted to a level according to the current living condition and physical condition of the resident and played.
  • Patent Document 1 Japanese Patent Application Laid-Open No. H11-112221
  • An object of the present invention is to provide an interactive device capable of determining an action pattern according to a user's health condition without wearing a biological sensor on a human body.
  • the interactive apparatus comprises: grasping means for grasping a user's health condition; decision means for deciding an action pattern according to the user's health condition grasped by the grasping means; Execution to instruct the execution of the action pattern determined Instruction means; suggestion means for suggesting the behavior pattern to the user by voice before instructing execution of the behavior pattern determined by the determination means; and reply of the user to the suggested behavior pattern is the suggestion.
  • Determining means for determining whether or not the response is to accept the action pattern, wherein the execution instruction means determines that the response from the user is a response to accept the suggested action pattern. In such a case, execution of the proposed action pattern is instructed, whereby the above-described object is achieved.
  • the grasping means may grasp the health condition of the user based on the utterance of the user.
  • the grasping means may grasp a health condition of the user based on a keyword issued by the user.
  • the method Before instructing execution of the behavior pattern determined by the determination means, the method further comprises a proposal necessity determination means for determining whether it is necessary to propose the behavior pattern to the user, When it is determined that it is necessary to propose the behavior pattern to the user before instructing execution of the behavior pattern, the behavior pattern may be suggested to the user by voice.
  • the proposal necessity determining means M may determine the necessity of the proposal according to the value of a flag indicating the necessity of the proposal assigned in advance to the behavior pattern.
  • the suggestion necessity determination means may determine necessity of a proposal based on a time distribution of the number of executions of the action pattern.
  • the deciding means decides one of a plurality of behavior patterns to which priorities are respectively assigned as behavior patterns corresponding to the health condition of the user, and determines whether the behavior pattern is accepted by the user.
  • the priority assigned to the behavior pattern may be changed depending on whether or not it is determined.
  • the behavior pattern suggested to the user by the suggestion means may include selection of a content to be played on a playback device.
  • the content may include audio data, video data, and lighting control data
  • the playback device may change at least one of the light amount and the light color of the lighting device based on the lighting control data.
  • the interactive device may have at least one of an agent function and a movement function.
  • the health condition of the user may represent at least one of the emotion of the user and the physical condition of the user.
  • An interactive device includes: a voice input unit configured to convert a voice uttered by a user into a voice signal; a voice recognition unit configured to recognize a word uttered by the user based on a voice signal output from the voice input unit; The words expected to be uttered by the user are registered in advance, a dialogue database holding the correspondence between the registered words and the health condition of the user, and the words recognized by the voice recognition unit.
  • Comprehension means for comprehending the health status of the user by collating words registered in the dialogue night and determining the health status of the user according to the collation result; Based on the behavior pattern table holding the correspondence between the user's health state and the behavior pattern of the interactive device, the user's health state ascertained by the grasping means is determined. Deciding means for deciding the same behavior pattern, execution instruction means for instructing execution of the behavior pattern decided by the deciding means, and grasping before instructing execution of the behavior pattern decided by the deciding means.
  • Proposal means for synthesizing a proposal sentence based on the output result of the means and the output result of the determination means, and suggesting the behavior pattern to the user by voice; and the reply of the user to the proposed behavior pattern is A determination unit that determines whether the response is to accept the proposed action pattern, wherein the execution instructing unit determines that the user's response is in the suggested line. If it is determined that the response is to accept the motion pattern, the execution of the proposed behavior pattern is instructed, thereby achieving the above object.
  • FIG. 1 is a diagram showing an external appearance of a robot 1 as an example of an interactive device of the present invention.
  • FIG. 2 is a diagram illustrating an example of the internal configuration of the mouth pot 1.
  • FIG. 3 is a diagram showing an example of the relationship between the keypad issued by the user stored in the conversation database 140 and the health condition of the user.
  • FIG. 4 is a diagram showing an example of the relationship between the user's health state stored in the information database 160 and the behavior pattern of the lopot 1. .
  • FIG. 5 is a flowchart showing an example of a procedure of a process in which the mouth pot 1 grasps a user's health condition and instructs execution of an action pattern adapted to the user's health condition.
  • FIG. 6 is a diagram showing an example of a configuration of a reproducing apparatus 210 that enables synchronous reproduction of audio data and Z or video data and illumination control data.
  • FIG. 7 is a diagram showing an example of the internal configuration of the voice recognition unit 40.
  • FIG. 8A is a diagram showing an example of the internal configuration of the processing unit 50 shown in FIG.
  • FIG. 8B is a diagram showing another example of the internal configuration of the processing unit 50 shown in FIG.
  • FIG. 8C is a diagram showing another example of the internal configuration of the processing unit 50 of FIG.
  • FIG. 9 is a diagram for explaining an example of a method of creating a proposal sentence by the proposal means 50 e.
  • FIG. 10 is a diagram showing an example of the internal configuration of the proposal necessity determination means 50d.
  • FIG. 11 is a diagram showing an example of the structure of the action proposal necessity table 162. BEST MODE FOR CARRYING OUT THE INVENTION
  • the health condition of the user indicates at least one of the emotion of the user and the physical condition of the user.
  • “User” shall mean the owner of the interactive device.
  • FIG. 1 shows the appearance of a mouth pot 1 as an example of the interactive device of the present invention.
  • Robot 1 is configured to be able to interact with the user.
  • the mouth pot 1 shown in FIG. 1 includes a camera 10 corresponding to the “eye”, a speaker 110 and an antenna 62 corresponding to the “mouth”, and a microphone 30 and an antenna 62 corresponding to the “ear”. And a movable part 180 corresponding to a “neck” or an “arm”.
  • the mouth pot 1 may be an autonomously-running mouth pot (movable mouth pot) having a moving section 160 that allows the user to move, or a type in which he / she cannot move. It may be something.
  • the robot 1 may be configured to move forward and backward by controlling the rotation of a roller installed on a limb, or may be a movable mouth pot such as a tire type and a leg type. Mouth pot 1 may be a humanoid robot that imitates an animal that walks bipedally, such as a human, or a pet robot that imitates a four-legged animal.
  • An interactive device can be any device configured to interact with a user.
  • the interactive device may be, for example, an interactive toy, an interactive portable device (including a mobile phone), or an interactive device. —It could be a woman.
  • An interactive agent must have a function (a software agent function) that moves around an information space such as the Internet and performs information processing such as information search, filtering, and schedule adjustment on behalf of humans. Is preferred.
  • An interactive agent is sometimes called an anthropomorphic agent because it interacts with a human as if it were a human.
  • the interactive device may have at least one of an agent function and a movement function.
  • FIG. 2 shows an example of the internal configuration of the mouth pot 1.
  • the image recognition unit 20 captures an image from the camera 10 (image input unit), recognizes the captured image, and outputs the recognition result to the processing unit 50.
  • the voice recognition unit 40 captures voice from the microphone 30 (voice input unit), recognizes the captured voice, and outputs the recognition result to the processing unit 50.
  • FIG. 7 shows an example of the internal configuration of the voice recognition unit 40.
  • Speech recognition section 40 includes speech detection means 71, comparison operation means 72, recognition means 73, and registered speech database 74.
  • the voice detection means 71 cuts out a waveform portion where the voice signal waveform input from the voice input unit 30 satisfies a certain criterion as a voice section actually uttered by the user, and compares and calculates the voice signal waveform of the section as a voice waveform.
  • the fixed criterion for extracting a voice segment is, for example, that the power of a signal waveform in a frequency band of 1 kHz or less, which is generally a human voice band, is equal to or higher than a certain level.
  • the comparison calculating means 72 compares the voice waveform input from the voice detection means 71 with the voice waveform registered in the registered voice data base 74 in order, and stores the result in the registered voice database 74. The similarity is calculated for each registered voice waveform, and the calculation result is output to the recognition means 73.
  • a method of comparing the sum of power component differences at each frequency after performing frequency analysis such as Fourier transform on the audio waveform may be employed, After the analysis, a method of performing DP matching in consideration of temporal expansion and contraction in the polar coordinate transformed cepstrum feature and mel cepstrum feature may be adopted. Further, in order to increase the efficiency of the comparison operation, the sound waveform registered in the registered sound database 74 may be used as a comparison element (for example, a power component of each frequency) used in the comparison operation means 72.
  • a voice waveform that is not intended to be uttered such as a user's coughing or humming, is registered. Register as This makes it possible to distinguish between a utterance intended by the user and an unintended utterance.
  • the recognizing means 73 detects the speech waveform having the highest similarity among the similarities of the respective speech waveforms inputted from the comparison calculating means 72, and is detected from the registered speech data base 74.
  • the speech waveform is converted into characters by determining words corresponding to the speech waveform, and the characters are output to the processing unit 50. If there is no significant difference between the similarities, the input speech is determined to be noise, and the speech waveform is not converted to text. Alternatively, it may be converted to the letters “noise”.
  • FIG. 8A shows an example of the internal configuration of the processing section 50 shown in FIG.
  • the processing unit 50 searches the dialog database 140 based on the speech recognition result by the speech recognition unit 40, and generates a response sentence. This response sentence is output to the speech synthesis unit 100.
  • the speech synthesizer 100 synthesizes the response sentence into speech.
  • the synthesized voice is output from a voice output unit 110 such as a speaker.
  • the conversation database 140 stores the conversation patterns and the rules for generating response statements. ing. Further, the interaction database 140 stores the relationship between the words (key words) spoken by the user and the health condition of the user.
  • FIG. 3 shows an example of the relationship between the user's keyboard stored in the conversation database 140 and the user's health status.
  • the relationship between the keyword issued by the user and the health condition of the user is expressed in the form of a table.
  • row 31 of this table indicates that the keywords “sleepy”, “sinful”, and “no appetite” are associated with the user's health condition (physical condition) of “tired”.
  • Rows 32 of this table indicate that the keywords “done!” And “excellent!” Are associated with the user's health condition (emotion) of “joy”.
  • the method of expressing the relationship between the keyword issued by the user and the user's health condition is not limited to the method shown in FIG.
  • the relationship between the keyword issued by the user and the user's health status can be expressed by any method.
  • the processing unit 50 (grasping means 50 b) extracts a key from the speech recognition result obtained by the speech recognition unit 40 and searches the conversation database 140 using the key word. I do. As a result, the processing unit 50 (the grasping means 5Ob) grasps the user's health condition from the keyword. For example, if the keyword extracted from the speech recognition result is "sleepy"
  • the processing unit 50 (grasping means 5 O b) refers to the table shown in FIG. It is determined that the vehicle is in a “tired” state.
  • the processing unit 50 (grasping means 5 O b) detects that the user's voice strength or tension level is lower than a predetermined level, the processing unit 50 (grasping means 5 O b) ) Determines that the user's health condition is “tired”. It should be noted that the user's health condition may be grasped by using the image recognition result by the image recognition unit 20 in addition to the voice recognition result by the voice recognition unit 40.
  • the health condition of the user may be grasped by using the image recognition result by the image recognition unit 20 alone. For example, when the processing unit 50 (grasping means 5 O b) detects that the user blinks frequently (or that the user yawns), the processing unit 50 (grasping means 5 O b) In b), it is determined that the user's health condition is “tired”.
  • the processing unit 50 (grasping means 5 Ob) functions as a grasping means for grasping the health condition of the user based on the utterance of the user or based on the image recognition result.
  • the information base 160 includes information such as today's weather and news, knowledge of various common senses, and information about the user (owner) of Mouth Pot 1 (eg, gender, age, name, occupation) , Personality, hobbies, date of birth, etc.) and information on mouth pot 1 (eg, information on model number, internal configuration, etc.) are stored.
  • Information such as today's weather and secondary use is acquired by the robot 1 from the outside via the transmission / reception unit 60 (communication unit) and the processing unit 50, and stored in the information database 160. Further, in the information database 160, the relationship between the user's health condition and the behavior pattern is stored as a behavior pattern table 161.
  • FIG. 4 shows an example of the behavior pattern table 161 stored in the information database 160.
  • the behavior pattern table 16 1 defines the relationship between the user's health status and the behavior pattern of the robot 1.
  • the relationship between the health condition of the user and the behavior pattern of Lopot 1 is expressed in the form of a table.
  • row 41 of this table indicates that the health condition of the user “tired” is associated with the three behavior patterns of the robot 1.
  • the three behavior patterns are as follows.
  • Bath preparation prepare the bath to encourage the user to take a bath
  • row 42 of this table indicates that the user's health condition of “joy” is associated with the behavior pattern of the lopot 1 of “Panzai's Gestia”.
  • the method of expressing the relationship between the user's health status and the behavior pattern of Lopot 1 is not limited to the method shown in FIG.
  • the relationship between the user's health status and the behavior pattern of Lopot 1 can be expressed by any method.
  • An example of the behavior pattern of Robot 1 is to select content (software) that matches the user's health condition, play the selected content (software) on a playback device, or match the user's health condition. This includes selecting a food and beverage recipe and cooking the food according to the selected recipe, preparing a bath, and demonstrating a small story to laugh.
  • the processing unit 50 responds to the timing signal t 1 output from the grasping means 50 b by searching the dialog database 140 in response to the user's grasped by searching the conversation database 140.
  • the information database 16 0 (behavior pattern table 16 1) is searched using the health condition.
  • the processing unit 50 (behavior pattern determination means 50 c) determines the behavior pattern of the mouth pot 1 according to the user's health condition. For example, when the user's health state is “tired”, the processing unit 50 (behavioral pattern determining means 50 c) generates a table (behavioral pattern table 16 1) shown in FIG. Referring to, one of the three behavior patterns defined corresponding to the state of “tired” is determined as the behavior pattern of Lopot 1.
  • the processing unit 50 may determine one of the three behavior patterns as the behavior pattern of the robot 1 in various modes. it can. For example, when priority is assigned to each of three action patterns in advance, the action pattern of Lopot 1 can be determined in order from the one with the highest priority.
  • the priority may be changed according to the time zone. For example, in the time zone from 18:00 to 22:00, the priority of “bath preparation” is the highest, 6:00 to 8:00, 11:00 to 13:00, 17:00 to 19: In the time period of 00, the priority of “selection and cooking of food and drink recipes” may be set to the highest priority, and in other time periods, the priority of “selection and reproduction of contents” may be set to the highest priority.
  • the processing unit 50 functions as a determination means for determining a behavior pattern according to the user's health state grasped by the grasping means 5Ob.
  • the processing unit 50 (execution instructing means 50 g) generates a control signal corresponding to the determined action pattern in response to the timing signal t2 output from the action pattern determining means 50c, and generates the control signal. Output to the operation control unit 120.
  • the operation control unit 120 drives various factories 130 according to a control signal output from the processing unit 50 (execution instructing means 50 g). This allows the robot 1 to operate in a desired manner.
  • the operation control unit 120 responds to the control signal output from the processing unit 50 (execution instructing means 50 g) by using the “arm” of the mouth pot 1. To drive up and down (part of 130).
  • the operation control unit 120 grasps the disc according to the control signal output from the processing unit 50 (execution instruction means 50 g).
  • An actuator (a part of the actuator 130) that controls the “fingers” (gripping means) of the robot 1 may be driven so that the gripped disk is set on the playback device. For example, it is assumed that a plurality of disks are stored in a rack in a predetermined order. I do.
  • the processing unit 50 functions as an execution instructing unit that instructs the operation control unit 120 to execute the behavior pattern determined by the behavior pattern determining unit 50c.
  • the processing unit determines whether the behavior pattern is “preparation for bath”. If the determined behavior pattern is “preparation for bath”, the processing unit
  • execution instructing means 50 g may control the remote control unit 70 so as to transmit a remote control signal to the hot water supply control device.
  • the hot water supply controller supplies an appropriate amount of hot water to the bathtub in response to the remote control signal (or, after supplying an appropriate amount of water to the bathtub, heats the water until the water reaches the appropriate temperature).
  • the processing unit 50 (execution instruction means 50 g) functions as execution instruction means for instructing the remote control unit 70 to execute the action pattern determined by the action pattern determination means 50 c. .
  • the processing unit 50 transmits a remote control signal to the reproduction device so as to transmit the remote control signal to the reproduction device.
  • the control unit 70 may be controlled.
  • the playback device selects and plays content from the discs set in the playback device according to the remote control signal. If the playback device is connected to a disc changer that can set multiple discs, the playback device should select content from the multiple discs and play it according to the remote control signal. It may be.
  • a music selection list including all the songs of a plurality of discs may be stored in the memory of the processing unit 50, or the playback device reads the music selection list of the disc from the header of the disc and transmits / receives the list.
  • the information may be stored in a memory in the processing unit 50 via the unit 60.
  • the processing unit 50 (execution instruction means 50 g) functions as execution instruction means for instructing the remote control unit 70 to execute the action pattern determined by the action pattern determination means 50 c. I do.
  • FIG. 8B shows another example of the internal configuration of the processing unit 50 shown in FIG. In the example shown in FIG. 8B, the processing unit 50 (proposing unit 50e) proposes the action pattern to the user by voice before instructing execution of the determined action pattern.
  • the processing unit 50 (proposing means 50 e) responds to the timing signal t 2 output from the action pattern determining means 50 c. Generates a question sentence (suggestion sentence) saying “Thank you for your tiredness. Let's get ready for the bath?” What is necessary is just to output to 0.
  • the speech synthesis unit 100 synthesizes the question sentence into speech.
  • the synthesized voice is output from the voice output unit 110.
  • the proposal means 50 e has a proposal sentence synthesis unit inside.
  • the dialogue database 140 has a proposal sentence format database inside, and this proposal sentence format database contains multiple proposal sentence formats corresponding to multiple proposal expressions.
  • the "proposal expression” is, for example, as shown in the example of Fig. 9, "A. Is it B?”, "A is A, but is B allowed?” It is a sentence expression that shows the cause (A) that motivated the proposal and the corresponding response (B).
  • the proposing means (proposed sentence synthesizing unit) 50 e is composed of “the grasped health state” inputted from the grasping means 50 b and “determined behavior pattern” inputted from the behavior pattern determining means 50 c. And selecting a proposal sentence format that matches the above-mentioned “understood health condition” from the proposal sentence format database.
  • the suggestion means (proposed sentence synthesizing unit) 50e proposes by inserting “understood health condition” into A of the proposed sentence format and “determined behavior pattern” into B of the proposed sentence format. Synthesize the draft.
  • the suggestion means for example, if the “understood health condition” is “tired” and the “determined behavior pattern” is “bath preparation”, the suggestion means (proposed sentence synthesis unit) 50 e Are you ready for the bath? " Are synthesized.
  • the proposal sentence is output to speech synthesis unit 100.
  • the speech synthesis unit 100 synthesizes the proposed sentence into speech.
  • the synthesized voice is output from the voice output unit 110.
  • the processing unit 50 uses the dialogue database (the proposed sentence format database) 140, the speech synthesis unit 100, and the speech output unit 110.
  • the function Before instructing the execution of the action pattern determined by the action pattern determining means 50c, the function functions as a suggestion means for suggesting the action pattern to the user by voice.
  • the user replies to the proposal from the robot 1 whether the proposal is accepted or rejected. For example, the user replies “Yes”, “Soya”, “Do it” and so on as an intention to accept the proposal (Y es), and does not accept the proposal (No). Indications such as "No", “Iran” or "No need to do” shall be given. It is assumed that such a reply pattern is stored in advance in the dialogue server 140.
  • the processing unit 50 (the proposal acceptance determination unit 50 f) responds to the evening signal t 5 output from the proposal unit 50 e and outputs the result of the speech recognition by the speech recognition unit 40 to the interactive database 14. By analyzing with reference to 0, it is determined whether the response from the user is a response of accepting the proposal (Yes) or a response of not accepting the proposal (No).
  • the processing unit 50 uses the speech recognition unit 40 and the conversation database 140 to propose the user's response to the proposed action pattern. Function as a consent determination means for determining whether the response is to accept the action pattern.
  • FIG. 8C shows another example of the internal configuration of the processing unit 50 shown in FIG. Before instructing execution of the determined behavior pattern, it may be determined whether or not it is necessary to propose the behavior pattern to the user. For example, each action in the table shown in Figure 4 By preliminarily setting the action proposal necessity table 162 shown in FIG. 11 in which a flag indicating the necessity of proposal is assigned to the pattern, the processing unit 50 (proposition necessity determination means
  • the processing unit 50 (the proposal necessity determination means 50 d) performs the process before instructing the execution of the action pattern.
  • the action pattern is proposed to the user, and if the value of the flag assigned to the action pattern is "0", the action pattern is not suggested to the user before instructing the execution of the action pattern.
  • a proposal be made to the user in advance. Whether a user wants to take a bath or not depends largely on his or her mood at that time, and if there is no need to make advance proposals to the user, there is a risk that the shower will be less likely.
  • advance proposal to the user is unnecessary. This is because there is a risk that if the user is turned off every time after giving the user a refuse. '
  • the processing section 50 (the proposal necessity determination means 50 d) performs the processing in the information database 1
  • a proposal necessity to determine whether it is necessary to propose the behavior pattern to the user before instructing the execution of the decided behavior pattern is given. Functions as a rejection determination unit.
  • the time distribution record holding unit 90 includes a time measuring unit 91, an integrating unit 92, and a time distribution data base 93.
  • the proposal necessity determination means 50d includes a comparison determination unit inside.
  • the time measuring unit 91 receives the input of the execution instruction means 50 g, measures the time at which the action pattern was executed, and outputs the time to the integrating unit 92.
  • the time distribution data base 93 records and holds the number of times each action pattern is executed at each time, and the integrating unit 92 measures each time an input from the time measuring unit 91 is received. One time is added to the number of executions recorded in the time distribution data 93 at the time.
  • the time distribution record holding unit 90 accumulates the history information of the action patterns executed for each time.
  • the suggestion necessity determining means (comparison determining unit) 50 d has a preset value and, when receiving an input from the behavior pattern determining means 50 c, performs the action at that time (or time zone).
  • the number of past executions of the pattern is referred to from the time distribution record holding unit 90, and is compared with the preset value. If the number of past executions of the behavior pattern is smaller than a preset value, the comparison determination unit determines that it is necessary to propose the behavior pattern, and the number of past executions of the behavior pattern is determined in advance. If the value is larger than the set value, it is determined that the action pattern does not need to be proposed.
  • the determination result is output from the proposal necessity determination means 50d as a determination result of the proposal necessity determination means 50d.
  • the proposal necessity determination unit 50d determines the necessity of the proposal based on the time distribution of the number of executions of the action pattern.
  • FIG. 5 shows a procedure of a process in which the robot 1 grasps a user's health condition and instructs execution of an action pattern adapted to the user's health condition.
  • Step ST1 The user's health condition is grasped.
  • the processing unit 50 extracts a keyword from the result of the speech recognition by the speech recognition unit 40, and searches the conversation database 140 using the keyword.
  • the processing unit 50 can grasp the health condition of the user from the keyword.
  • An example of the dialog between the user and the mouth pot 1 is shown below.
  • U indicates the utterance of the user
  • S indicates the utterance of robot small 1.
  • the processing unit 50 changes the user's health state to It is determined that the state is “tired”.
  • Step ST2 An action pattern according to the user's health status determined in step ST1 is determined.
  • the processing unit 50 searches the information database 160 (behavior pattern table 161) using the user's health condition.
  • the processing unit 50 can determine a behavior pattern corresponding to the user's health condition. It is preferable that the action pattern is set in advance as a result of estimating a user's request.
  • Step ST3 Before instructing execution of the behavior pattern determined in step ST2, the proposal necessity determination means 50d determines whether or not it is necessary to propose the behavior pattern to the user.
  • step ST3 If the determination result in step ST3 is “Yes”, the process proceeds to step ST4. If the determination result in step ST3 is “No”, the process proceeds to step ST6.
  • Step ST4 Before instructing the execution of the action pattern determined in step ST2 by the suggestion means 50e, the action pattern is suggested to the user.
  • An example of the dialog between the user and the mouth pot 1 is shown below.
  • U indicates the utterance of the user
  • S indicates the utterance of the robot 1.
  • Step ST5 The proposal acceptance determination means 50f determines whether or not the user has replied to accept the action pattern proposed by the mouth pot 1 in step ST4.
  • step ST5 If the determination result in step ST5 is “Yes”, the process proceeds to step ST6. If the determination result in step ST5 is “No”, the process proceeds to step ST7.
  • Step ST6 Execution of the action pattern determined in step ST2 is instructed by the execution instructing means 50g.
  • Step ST7 Proposed behavior pattern and user did not accept the proposal
  • This history information is referred to when determining the content of the next action pattern in step ST2.
  • the priority assigned to the behavior pattern that the user has not accepted may be lowered.
  • step ST7 when the user accepts the proposal in step ST5, the proposed behavior pattern and that the user has accepted (accepted) the proposal. May be stored in the information database 160 as history information. This history information is referred to when determining the contents of the action pattern from the next time in step ST2.
  • the priority assigned to the behavior pattern accepted by the user may be made higher. As described above, it is preferable to change the priority assigned to the action pattern according to whether or not the proposed action pattern is accepted by the user. Thereby, the user's habit and the like can be reflected in the determination of the behavior pattern. As a result, it becomes possible to improve the rate at which the behavior pattern determined by the mouth pot 1 actually matches the health condition of the user.
  • the user may make a reverse proposal.
  • the mouth pot 1 receives the counter proposal and determines whether or not the counter proposal is feasible. If it is determined that the reverse proposal is feasible, the mouth pot 1 updates the relationship between the user's health status stored in the information database 160 and the activity pattern of Lopot 1. (For example, after changing the priority of the behavior pattern in the table shown in FIG. 4 or adding a new behavior pattern to the table shown in FIG. 4), Indicate the line. If it is determined that the reverse proposal is not feasible, the robot 1 notifies the user that “the reverse proposal cannot be performed”. In this way, by making a reverse proposal from the user, the user's habit and the like can be reflected in the determination of the action schedule. As a result, it is possible to improve the rate at which the behavior pattern determined by the mouth pot 1 actually matches the user's health condition.
  • Step ST3 may be omitted in FIG.
  • the action patterns are proposed to the user before the execution of the action pattern is instructed.
  • steps ST3, ST4, ST5, and ST7 may be omitted.
  • the execution of the behavior pattern is immediately instructed for all the behavior patterns determined according to the user's health condition without waiting for a response from the user.
  • the user's health condition is grasped, and an action pattern according to the user's health condition is determined. This frees the user from having to mount various sensors. In addition, the user feels that the mouth pot is a good friend who is concerned about their health.
  • a form in which the behavior pattern is proposed to the user may be adopted. If so, do users accept the proposal? Since the user has the final authority to decide whether or not to accept the proposal, the user is not compelled to accept the proposal, and the discretion of the user is large. This makes it possible to suppress runaway of the robot and to make the robot feel familiar as a user-friendly entity.
  • the robot as an example of the interactive device of the present invention is a friendly and useful mouth pot that is close to life.
  • a mouth pot can help the user's life and be a good friend of the user.
  • the content (software) played on the playback device may include at least one of video data, audio data, and lighting control data. It is possible to reproduce the audio data recorded on the recording medium in synchronization with the reproduction of the video data recorded on the recording medium (such as DVD). Furthermore, it is possible to reproduce the illumination control data recorded on the recording medium in synchronization with the reproduction of the audio data and / or the video data recorded on the recording medium (such as a DVD). You. Such synchronized playback makes it possible to realize content (software) with a high “healing” effect and “hypnosis” effect.
  • FIG. 6 shows a configuration example of a reproducing apparatus 210 that enables synchronous reproduction of audio data and Z or video data and lighting control data.
  • an audio output device for example, a speaker
  • a video output device for example, a TV
  • a lighting device By connecting an audio output device (for example, a speaker), a video output device (for example, a TV), and a lighting device to the playback device 210, the playback device 210 is provided by a recording medium. It becomes possible to change the lighting pattern of the lighting device (for example, at least one of the light amount and the light color of the lighting device) in conjunction with music, Z, or video.
  • L 0 0 is a controller 2 2 2 0 and an interface controller (I / F controller) 2230 and a reading unit 2120 are included.
  • Controller 2220 controls the overall operation of playback device 2100 based on an operation command from the user input to I / F controller 2230 and a control signal supplied from decoding unit 2140.
  • the I / F controller 2230 detects a user operation (for example, a remote control signal from the remote control unit 70 (FIG. 2)), and operates an operation command (for example, a playback command) corresponding to the operation. ) Is output to the controller 2220.
  • a user operation for example, a remote control signal from the remote control unit 70 (FIG. 2)
  • an operation command for example, a playback command
  • the reading unit 2120 reads information recorded on the recording medium 2110.
  • the recording medium 2110 is typically a DVD (Dig i t a l Ve r sa t i
  • the recording medium 21 10 is not limited to DVD.
  • Recording medium 2110 can be any type of recording medium. However, in the following description, a case where the recording medium 2110 is a DVD will be described as an example.
  • the reading unit 2120 is, for example, an optical pickup.
  • a format of the data recorded on the recording medium 2110 a format modified from a format conforming to the DVD-Video standard is used. That is, a format in which a lighting pack (L-PCK: LightningPack) is newly provided in the VOBU is used.
  • the L-PCK data is used to output the lighting control data in synchronization with the presentation data.
  • MPEG-2 (Moving Picture Experts Group 2) is a system that multiplexes an arbitrary number of encoded streams and plays back each stream in synchronization with a wide range of applications. There are two types of methods specified. The two types are a program stream (PS: Programm Stream) method and a transport stream (TS: Transport Stream) method. DVD Digital storage media such as the one adopts the program stream (PS: Program am) method.
  • PS Program Stream
  • MPEG-PS method the program stream (PS: Program Stream) method specified in MPEG-2
  • MPEG-PS method the trans- stream format specified in MPEG-2
  • the TS (Transport Stream) method is abbreviated as “MPEG-TS method”.
  • NV-PCK, A-PCK, V-PCK, SP-PCK all adopt the format conforming to the MPEG_PS method. Therefore, L-PCK will also adopt a format that complies with the MPEG-PS method.
  • the playback device 2100 further includes a stream data generation unit 2130 and a decoding unit 2140.
  • the stream data generation unit 2130 generates stream data including the encoded AV data and the encoded illumination control data based on the output of the reading unit 2120.
  • encoded AV data refers to data including at least one of encoded audio data and encoded video data.
  • the stream data generated by the stream data generation unit 2130 has a format conforming to the MPEG-PS system. Such stream data is obtained, for example, by receiving information recorded on a DVD 2120 in the form of an RF signal, digitizing and amplifying the RF signal, and performing EFM and demodulation processing.
  • the configuration of the stream data generation unit 2130 can be the same as a known configuration, and a detailed description is omitted here.
  • Decoding section 2140 includes decomposition section 2150, AV data decoding section 2160, illumination control data decoding section 2170, 3 ⁇ 3 generation section 2180, and synchronization controller (control section) 2190. .
  • Decomposition unit 2150 receives stream data having a format conforming to the MPEG-PS format from stream data generation unit 2130, and The stream is decomposed into coded AV data and coded lighting control data. Such decomposition is performed by referring to the identification code (stream-id) in the PES packet header.
  • the disassembly unit 2150 is, for example, a demultiplexer.
  • the AV data decoding unit 2160 outputs AV data by decoding the encoded AV data.
  • AV data refers to data including at least one of audio data and video data.
  • the AV data decoding unit 2160 includes a video buffer 2161 for temporarily storing the encoded video data output from the decomposing unit 2150, and a coded video data by decoding the video data.
  • a video decoder 2162 for outputting video data; an audio buffer 2163 for temporarily storing encoded audio data output from the decomposition unit 2150; and audio data by decoding the encoded audio data.
  • an audio decoder 2 164 that outputs Lighting control data decoding section 2170 outputs lighting control data by decoding the coded lighting control data.
  • the “lighting control data” is data for controlling a plurality of pixels included in the lighting device.
  • the illumination control data decoding unit 2170 includes: an illumination buffer 2171 for temporarily storing encoded illumination control data output from the decomposition unit 2150; and an illumination buffer by decoding the encoded illumination control data. And a lighting decoder 2172 for outputting control data.
  • the 3 ⁇ 3 generation unit 2180 generates an STC (Sytem Time Clock).
  • the STC is obtained by adjusting (ie, increasing or decreasing) the frequency of the 27 MHz reference clock based on the SCR.
  • STC reproduces the reference time used when encoding the data when decoding the encoded data.
  • the AV data decoding unit 2160 outputs AV data.
  • the AV data decoding unit 216 and the lighting control data decoding unit 2 are synchronized so that the output timing and the lighting control data decoding unit 217 0 0 output the lighting control data are synchronized. 1 7 0 control.
  • Such synchronous playback control includes, for example, controlling the video decoder 2 16 2 so that the video decoder 2 16 2 outputs an access unit of video data when the STC and PTS match, and
  • the audio decoder 216 controls the audio decoder 216 so that the audio data access unit is output from the audio decoder 211, and when the STC and PTS match, the lighting decoder 2 This is achieved by controlling the lighting decoder 2 172 so that the access unit of the lighting control data is output from the 172.
  • the timing at which the AV data decoding unit 2160 decodes the AV data and the timing at which the illumination control data decoding unit 2170 decodes the illumination control data are synchronized. As described above, the AV data decoding unit 210 and the illumination control decoding unit 210 may be controlled.
  • Such synchronous playback control includes, for example, controlling the video decoder 2 16 2 so that the video decoder 2 16 2 decodes the video data access unit when the STC and DTS match,
  • the audio decoder 216 is controlled such that the audio data access unit is decoded by the audio decoder 216 when the STC matches the DTS, and when the STC matches the DTS
  • the timing of decoding the access unit of the video data, audio data, and lighting control data may be controlled.
  • Access unit output timing (sequence) and key This is because the timing (order) of decoding the access units may be different. With such control, it becomes possible to synchronously reproduce video data, audio data, and lighting control data.
  • Video data output from the video decoder 216 is output to an external device (for example, TV) via the NTSC encoder 220.
  • the video decoder 216 and the TV may be directly connected via the output terminal 224 of the playback device 210 or may be indirectly connected via the home LAN. Good.
  • the audio data output from the audio decoder 216 is output to an external device (for example, a speaker) via a digital analog converter (DAC) 220.
  • the audio decoder 216 and the speaker may be directly connected via the output terminal 225 of the playback device 210 or may be connected indirectly via the home LAN. Good.
  • the lighting control data output from the lighting decoder 2 172 is output to an external device (for example, a lighting device).
  • the lighting decoder 2 17 2 and the lighting device may be directly connected via the output terminal 2 260 of the playback device 2 100 or indirectly connected via the home LAN. Is also good.
  • the stream data generated by the stream data generation unit 2130 may include encoded sub-picture data, or may include navigation data.
  • the decomposing unit 210 may use the stream data to encode the sub-picture data with the coded sub-picture data. Decompose into data.
  • decoding section 2140 may further include a Navipack circuit, a sub-picture decoder, and a closed caption data decoder.
  • the Navipack circuit generates a control signal by processing the navigation data, and outputs the control signal to the controller 222.
  • the sub-picture decoder decodes the encoded sub-picture data to convert the Output to coder 222.
  • the closed caption data decoder outputs the closed caption data to the NTSC encoder 220 by decoding the coded closed caption data included in the coded video data.
  • the functions of these circuits are well known and have no relevance to the subject of the present invention, so that detailed description will be omitted.
  • decoding section 210 may include a known configuration that is not shown in FIG.
  • the audio data and the Z or video data recorded on the recording medium are recorded on the recording medium in synchronization with the reproduction.
  • a playback device capable of playing back illumination control data is provided.
  • an audio output device for example, a speaker
  • a video output device for example, a TV
  • a lighting device By connecting an audio output device (for example, a speaker), a video output device (for example, a TV), and a lighting device to this playback device, the lighting pattern can be linked to the music and Z or video provided by the recording medium. It can be changed.
  • An example of a lighting pattern that has a “healing” effect is a lighting pattern that expresses sunlight through trees.
  • the health condition of the user is grasped, and the behavior pattern according to the user's health condition is determined. This frees the user from having to mount various sensors.
  • users will find the interactive device a concern (good friend) for their health.
  • the value of the interactive device is increased, and the user's satisfaction and desire for the interactive device are increased.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Toys (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

生体センサを人体に装着することなく、ユーザの健康状態に応じた行動パターンを決定することが可能な対話型装置１を提供する。対話型装置１は、ユーザの健康状態を把握する把握手段５０ｂと、ユーザの健康状態に応じた行動パターンを決定する行動パターン決定手段５０ｃと、その行動パターンの実行を指示する実行指示手段５０ｇと、その行動パターンの実行を指示する前に、その行動パターンをユーザに音声で提案する提案手段５０ｅと、提案された行動パターンに対するユーザの返事が提案された行動パターンを受け入れるという返事か否かを判定する提案承諾判定手段５０ｆとを備えている。実行指示手段５０ｇは、ユーザの返事が提案された行動パターンを受け入れるという返事であると判定された場合に、提案された行動パターンの実行を指示する。

Description

技術分野
本発明は、 ユーザとの対話を行うことが可能な対話型装置に関する。 明
背景技術
生態情報を監視して逐次居住者の好みのオ書ーディオ信号を当該居住者の現在の 生活状態及び体調に応じたレベルに調整して再生する音響装置が開示されている (例えば、 特許文献 1を参照） 。 この音響装置は、 部屋に設置されたセンサによ つて居住者の生活状態を把握し、 居住者が装着する携帯送受信機 （生体センサを 含む） からの識別情報、 生態情報を監視して逐次居住者の好みのオーディオ信号 を当該居住者の現在の生活状態及び体調に応じたレベルに調整して再生する。
特許文献 1 ：特開平 1 1一 2 2 1 1 9 6号公報
しかし、 上記特許文献 1に記載の従来技術では、 生体情報などを取得するため に居住者は携帯送受信機を装着する必要があり、 居住者にとつて装着の煩わしさ のため大変不便であるとともに、 部屋に設置されたセンサによって居住者は生活 を常々監視されていることになり、 不快な思いをするといつた課題があった。 本発明は、 生体センサを人体に装着することなく、 ユーザの健康状態に応じた 行動パターンを決定することが可能な対話型装置を提供することを目的とする。
発明の開示
本発明の対話型装置は、 ユーザの健康状態を把握する把握手段と、 前記把握手 段によって把握された前記ユーザの健康状態に応じた行動パターンを決定する決 定手段と、 前記決定手段によつて決定された行動パ夕一ンの実行を指示する実行 指示手段と、 前記決定手段によって決定された行動パターンの実行を指示する前 に、 前記ユーザに前記行動パターンを音声で提案する提案手段と、 前記提案され た行動パターンに対する前記ユーザの返事が前記提案された行動パターンを受け 入れるという返事か否かを判定する判定手段とを備え、 前記実行指示手段は、 前 記ュ一ザの返事が前記提案された行動パターンを受け入れるという返事であると 判定された場合に、 前記提案された行動パターンの実行を指示し、 これにより上 記目的が達成される。
前記把握手段は、 前記ユーザの発話に基づいて前記ユーザの健康状態を把握し てもよい。
前記把握手段は、 前記ユーザが発するキーワードに基づいて前記ユーザの健康 状態を把握してもよい。
前記決定手段によって決定された行動パターンの実行を指示する前に、 前記ュ 一ザに前記行動パターンを提案する必要があるか否かを判定する提案要否判定手 段をさらに備え、 前記提案手段は、 前記行動パターンの実行を指示する前に前記 ユーザに前記行動パターンを提案する必要があると判定された場合に、 前記ユー ザに前記行動パ夕一ンを音声で提案してもよい。
M記提案要否判定手段は、 前記行動パターンに予め割り当てられた提案の要否 を示すフラグの値に応じて提案の要否を判定してもよい。
前記提案要否判定手段は、 前記行動パターンが実行された実行回数の時間分布 に基づいて提案の要否を判定してもよい。
前記決定手段は、 優先順位がそれぞれ割り当てられた複数の行動パターンのう ちの 1つを前記ユーザの健康状態に応じた行動パターンとして決定し、 その行動 パタ一ンが前記ュ一ザに受け入れられたか否かに応じて、 その行動パターンに割 り当てられた優先順位を変動させてもよい。 ' 前記ユーザの健康状態に応じた行動パターンを記憶する記憶手段をさらに備え、 前記決定手段は、 前記記憶手段に記憶された行動パターンを用いて前記行動パ夕 ーンを決定してもよい。
前記提案手段によって前記ユーザに提案される行動パターンは、 再生機器で再 生するコンテンツの選択を含んでもよい。
前記コンテンツは、 音声データと映像デ一夕と照明制御データとを含み、 前記 再生機器が照明制御データに基づいて照明装置の光量および光色の少なくとも一 方を変化させてもよい。
前記対話型装置は、 エージェント機能および移動機能のうちの少なくとも 1つ の機能を有していてもよい。
前記ュ一ザの健康状態は、 前記ユーザの感情および前記ユーザの体調のうちの 少なくとも一方を表してもよい。
本発明の対話型装置は、 ユーザが発する音声を音声信号に変換する音声入力部 と、 前記音声入力部から出力される音声信号に基づいてユーザが発した言葉を認 識する音声認識部と、 前記ユーザが発すると予想される言葉が予め登録され、 前 記登録されている言葉と前記ユーザの健康状態との対応関係を保持している対話 データベースと、 前記音声認識部によって認識された言葉と前記対話デ一夕べ一 スに登録されている言葉とを照合し、 その照合結果に応じて前記ユーザの健康状 態を決定することによって、 前記ユーザの健康状態を把握する把握手段と、 前記 ユーザの健康状態と対話型装置の行動バタ一ンとの対応関係を保持している行動 パターンテーブルに基づいて、 前記把握手段によって把握された前記ユーザの健 康状態に応じた行動パターンを決定する決定手段と、 前記決定手段によって決定 された行動パターンの実行を指示する実行指示手段と、 前記決定手段によって決 定された行動パターンの実行を指示する前に、 前記把握手段の出力結果と前記決 定手段の出力結果とに基づいて提案文を合成し、 前記ユーザに前記行動パターン を音声で提案する提案手段と、 前記提案された行動パターンに対する前記ユーザ の返事が前記提案された行動パターンを受け入れるという返事か否かを判定する 判定手段とを備え、 前記実行指示手段は、 前記ユーザの返事が前記提案された行 動パターンを受け入れるという返事であると判定された場合に、 前記提案された 行動パターンの実行を指示し、 これにより上記目的が達成される。
前記提案された行動パターンに対して前記ユーザから逆提案された行動パ夕一 ンを受け取る手段と、 前記逆提案された行動パターンを前記対話型装置が実行可 能であるか否かを判定する手段と、 前記逆提案された行動パターンを前記対話型 装置が実行可能であると判定された場合に、 前記行動パターンテーブルに保持さ れている前記ユーザの健康状態と前記対話型装置の行動パターンとの対応関係を 更新する手段とをさらに備えていてもよい。 図面の簡単な説明
図 1は、 本発明の対話型装置の一例としてのロポット 1の外観を示す図である。 図 2は、 口ポット 1の内部構成の一例を示す図である。
図 3は、 対話データべ一ス 1 4 0に格納されているュ一ザが発するキーヮ一ド とユーザの健康状態との関係の一例を示す図である。
図 4は、 情報デ一夕ベース 1 6 0に格納されているユーザの健康状態とロポッ ト 1の行動パターンとの関係の一例を示す図である。 .
図 5は、 口ポット 1がユーザの健康状態を把握し、 ユーザの健康状態に適合し た行動パ夕一ンの実行を指示する処理の手順の一例を示すフローチヤ一卜である。 図 6は、 音声データおよび Zまたは映像データと照明制御データとの同期再生 を可能にする再生装置 2 1 0 0の構成の一例を示す図である。
図 7は、 音声認識部 4 0の内部構成の一例を示す図である。
図 8 aは、 図 2に示される処理部 5 0の内部構成の一例を示す図である。
図 8 bは、 図 2に示される処理部 5 0の内部構成の他の例を示す図である。 図 8 cは、 図 2の処理部 5 0の内部構成の他の例を示す図である。
図 9は、 提案手段 5 0 eによる提案文の作成方法の一例を説明するための図で ある。 図 1 0は、 提案要否判定手段 5 0 dの内部構成の一例を示す図である。
図 1 1は、 行動提案要否テーブル 1 6 2の構造の一例を示す図である。 発明を実施するための最良の形態
以下、 図面を参照しながら本発明の実施の形態を説明する。
本明細書では、 「ユーザの健康状態」 とは、 ユーザの感情およびユーザの体調 のうちの少なくとも一方を表すものとする。 「ユーザ」 とは、 対話型装置の所有 者をいうものとする。
図 1は、 本発明の対話型装置の一例としての口ポット 1の外観を示す。 ロボッ ト 1は、 ユーザと対話を行うことが可能なように構成されている。
図 1に示される口ポット 1は、 「目」 に相当するカメラ 1 0と、 「口」 に相当 するスピーカ 1 1 0およびアンテナ 6 2と、 「耳」 に相当するマイク 3 0および アンテナ 6 2と、 「首」 や 「腕」 に相当する可動部 1 8 0とを有している。 口ポット 1は、 自らが移動することを可能にする移動部 1 6 0を有する自律走 行型口ポット （移動式口ポット） であってもよいし、 自らが移動することができ ないタイプのものであってもよい。
ロポッ卜 1が移動することを可能にするメカニズムとしては任意のメカニズム を採用することができる。 例えば、 ロボット 1は、 手足に設置されたローラの回 転を制御することによって前進、 後退するように構成されていてもよいし、 タイ ャ式ゃ脚式などの移動式口ポットでもよい。 口ポット 1は、 人のような二足直立 歩行を行う動物を模倣した人間型ロボットでもよいし、 4足歩行の動物を模倣し たぺット型ロボットでもよい。
なお、 対話型装置の一例として、 対話型の口ポットを説明したが、 対話型装置 はこれに限定されない。 対話型装置は、 ユーザと対話を行うことが可能なように 構成された任意の装置であり得る。 対話型装置は、 例えば、 対話型の玩具であつ てもよいし、 対話型携帯機器 （携帯電話を含む） であってもよいし、 対話型のェ —ジェン卜であってもよい。
対話型のエージェントは、 インタ一ネットのような情報空間を動き回り、 情報 検索、 フィルタリング、 スケジュール調整などの情報処理を人間の代わりに行つ てくれる機能 （ソフトウェアエージェントの機能） を有していることが好ましい。 対話型のエージェントはあたかも人間であるかのように人間と対話をするため、 擬人化エージェントと呼ばれることもある。
対話型装置は、 エージェント機能および移動機能のうちの少なくとも 1つの機 能を有していてもよい。
図 2は、 口ポット 1の内部構成の一例を示す。
画像認識部 2 0は、 カメラ 1 0 (画像入力部） から画像を取り込み、 その取り 込んだ画像を認識し、 その認識結果を処理部 5 0に出力する。
音声認識部 4 0は、 マイク 3 0 (音声入力部） から音声を取り込み、 その取り 込んだ音声を認識し、 その認識結果を処理部 5 0に出力する。
図 7は、 音声認識部 4 0の内部構成の一例を示す。
音声入力部 3 0 (マイク） によって、 音声が音声信号波形に変換される。 音声 信号波形は、 音声認識部 4 0に出力される。 音声認識部 4 0は、 音声検出手段 7 1と、 比較演算手段 7 2と、 認識手段 7 3と、 登録音声データベース 7 4とを含 む。
音声検出手段 7 1は、 音声入力部 3 0から入力された音声信号波形が一定基準 を満たす波形部分を実際にユーザが発声した音声区間として切り出し、 その区間 の音声信号波形を音声波形として比較演算手段 7 2に出力する。 ここで、 音声区 間を切り出す一定基準とは、 例えば、 一般的に人間の音声帯域である 1 k H z以 下の周波数帯域における信号波形のパワーが一定レベル以上であるということが あげられる。
登録音声データベース 7 4には、 ユーザが発話すると予測される言葉に対する 音声波形とその言葉が予め対応付けられて登録されている。 比較演算手段 7 2は、 音声検出手段 7 1から入力された音声波形と登録音声デ —夕ベース 7 4に登録されている音声波形とを順次、 比較し、 登録音声データべ —ス 7 4に登録された音声波形毎に類似度を算出し、 その算出結果を認識手段 7 3に出力する。 ここで、 2つの音声波形を比較する手法としては、 音声波形をフ 一リエ変換等の周波数分析した後の各周波数におけるパワー成分の差分合計を比 較する手法を採用してもよいし、 周波数分析した後、 さらに極座標変換したケプ ストラム特徴量やメルケプストラム特徴量において時間的伸縮を考慮した D Pマ ツチングを行う手法を採用してもよい。 また、 比較演算の効率化のために、 登録 音声データベース 7 4に登録されている音声波形を比較演算手段 7 2で用いる比 較要素 （例えば、 各周波数のパワー成分） としてもよい。 また、 登録音声デ一夕 ベース 7 4に登録されている音声波形には、 ユーザの咳払いやうなり声等、 発声 を意図しない塲合の音声波形を登録し、 対応する言葉として 「意図しない発声」 として登録しておく。 これによつて、 ユーザが意図した発声と意図しない発声と を区別することが可能となる。
認識手段 7 3は、 比較演算手段 7 2から入力される各音声波形毎の類似度のう ち、 最も高い類似度を持つ音声波形を検出し、 登録音声デ一夕ベース 7 4から検 出された音声波形に対応する言葉を決定することにより、 音声波形を文字に変換 し、 その文字を処理部 5 0に出力する。 各類似度に大きな差異が見られない場合 には、 入力音声はノイズであると判断して、 音声波形から文字への変換を行わな い。 あるいは、 「ノイズ」 という文字に変換してもよい。
図 8 aは、 図 2に示される処理部 5 0の内部構成の一例を示す。
処理部 5 0 (処理手段 5 0 a ) は、 音声認識部 4 0による音声認識結果に基づ いて対話データベース 1 4 0を検索し、 応答文を生成する。 この応答文は、 音声 合成部 1 0 0に出力される。 音声合成部 1 0 0は、 応答文を音声に合成する。 合 成された音声は、 スピーカなどの音声出力部 1 1 0から出力される。
対話データべ一ス 1 4 0には、 対話のパターンや応答文の生成規則が格納され ている。 さらに、 対話データベース 1 4 0には、 ユーザが発する言葉 （キーヮ一 ド） とユーザの健康状態との関係が格納されている。
図 3は、 対話データべ一ス 1 4 0に格納されているユーザが発するキーヮード とユーザの健康状態との関係の一例を示す。
図 3に示される例では、 ュ一ザが発するキーヮードとユーザの健康状態との関 係は表の形式で表現されている。 例えば、 この表の行 3 1は、 「眠い」 、 「しん どい」 、 「食欲がない」 というキーワードと 「疲れ」 というユーザの健康状態 (体調） とが対応づけられていることを示す。 この表の行 3 2は、 「やった！」 、 「最高！」 というキーワードと 「喜び」 というュ一ザの健康状態 （感情） とが対 応づけられていることを示す。
なお、 ュ一ザが発するキーワードとユーザの健康状態との関係を表現する方法 は図 3に示される方法に限定されない。 ユーザが発するキ一ワードとユーザの健 康状態との関係は任意の方法で表現され得る。
処理部 5 0 (把握手段 5 0 b ) は、 音声認識部 4 0による音声認識結果からキ 一ヮ一ドを抽出し、 そのキ一ワードを用いて対話デ一夕べ一ス 1 4 0を検索する。 その結果、 処理部 5 0 (把握手段 5 O b ) は、 そのキーワードからユーザの健康 状態を把握する。 例えば、 音声認識結果から抽出されたキーワードが 「眠い」 、
「しんどい」 、 「食欲がない」 のうちの 1つであった場合には、 処理部 5 0 (把 握手段 5 O b ) は、 図 3に示される表を参照してユーザの健康状態が 「疲れ」 の 状態であると判定する。
なお、 上述したキーワードを用いる方法に代えて、 または、 上述したキーヮ一 ドを用いる方法に加えて、 音声認識結果に基づいてユーザの音声の強さまたは張 りのレベルを検出することにより、 ユーザの健康状態を把握するようにしてもよ い。 例えば、 処理部 5 0 (把握手段 5 O b ) がユーザの音声の強さまたは張りの レベルが所定のレベル以下であることを検出した場合には、 処理部 5 0 (把握手 段 5 O b ) は、 ユーザの健康状態が 「疲れ」 の状態であると判定する。 なお、 音声認識部 4 0による音声認識結果に加えて、 画像認識部 2 0による画 像認識結果を用いてユーザの健康状態を把握するようにしてもよい。 あるいは、 画像認識部 2 0による画像認識結果を単独で用いてユーザの健康状態を把握する ようにしてもよい。 例えば、 処理部 5 0 (把握手段 5 O b ) がュ一ザがまばたき する頻度が多いこと （または、 ユーザがあくびをしたこと） を検出した場合には、 処理部 5 0 (把握手段 5 O b ) は、 ユーザの健康状態が 「疲れ」 の状態であると 判定する。
このように、 処理部 5 0 (把握手段 5 O b ) は、 ユーザの発話に基づいて、 ま たは、 画像認識結果に基づいて、 ユーザの健康状態を把握する把握手段として機 能する。
情報デ一夕ベース 1 6 0には、 今日の天気やニュースなどの情報や、 各種一般 常識などの知識や、 口ポット 1のユーザ （所有者） に関する情報 （例えば、 性別、 年齢、 名前、 職業、 性格、 趣味、 生年月日などの情報） や、 口ポット 1に関する 情報 （例えば、 型番、 内部構成などの情報） が格納されている。 今日の天気や二 ユースなどの情報は、 例えば、 ロボット 1が外部から送受信部 6 0 (通信部） お よび処理部 5 0を介して取得され、 情報データベース 1 6 0に格納される。 さら に、 情報データベース 1 6 0には、 ユーザの健康状態と行動パターンとの関係が 行動パターンテーブル 1 6 1として格納されている。
図 4は、 情報デ一夕ベース 1 6 0に格納されている行動パターンテーブル 1 6 1の一例を示す。 行動パターンテ一ブル 1 6 1は、 ユーザの健康状態とロボット 1の行動パターンとの関係を定義する。
図 4に示される例では、 ュ一ザの健康状態とロポット 1の行動パターンとの関 係は表の形式で表現されている。 例えば、 この表の行 4 1は、 「疲れ」 というュ 一ザの健康状態とロボット 1の 3つの行動パターンとが対応づけられていること を示す。 3つの行動パターンは、 以下のとおりである。
1 ) コンテンツの選択、 再生： 「癒し」 「催眠」 効果を発揮するコンテンツ (ソフト） を選択し、 その選択されたコンテンツ （ソフト） を再生機器で再生す る
2 ) 風呂の準備：ユーザに入浴を勧めるために風呂の準備をする
3 ) 飲食物のレシピの選択、 調理： 「食欲を増進させる」 「滋養の高い」 飲食 物のレシピを選択し、 その選択されたレシピに従って飲食物を調理する
また、 この表の行 4 2は、 「喜び」 というユーザの健康状態と 「パンザィのジ エスチヤ」 というロポッ卜 1の行動パターンとが対応づけられていることを示す。 なお、 ユーザの健康状態とロポット 1の行動パターンとの関係を表現する方法 は図 4に示される方法に限定されない。 ユーザの健康状態とロポット 1の行動パ ターンとの関係は任意の方法で表現され得る。
ロポット 1の行動パターンの例としては、 ュ一ザの健康状態に適合したコンテ ンッ （ソフト） を選択しその選択されたコンテンツ （ソフト） を再生機器で再生 すること、 ユーザの健康状態に適合した飲食物のレシピを選択しその選択された レシピに従って飲食物を調理すること、 風呂の準備をすること、 笑いを取るため の小話を実演することなどが挙げられる。
処理部 5 0 (行動パターン決定手段 5 0 c ) は、 把握手段 5 0 bから出力され るタイミング信号 t 1に応答して対話データベース 1 4 0を検索することによつ て把握されたユーザの健康状態を用いて情報データベース 1 6 0 (行動パターン テーブル 1 6 1 ) を検索する。 その結果、 処理部 5 0 (行動パターン決定手段 5 0 c ) は、 ユーザの健康状態に応じた口ポット 1の行動パターンを決定する。 例 えば、 ユーザの健康状態が 「疲れ」 の状態である場合には、 処理部 5 0 (行動パ ターン決定手段 5 0 c ) は、 図 4に示される表 （行動パターンテ一ブル 1 6 1 ) を参照して、 「疲れ」 の状態に対応して定義されている 3つの行動パターンのう ちの 1つをロポット 1の行動パターンとして決定する。
ここで、 処理部 5 0 (行動パターン決定手段 5 0 c ) は、 様々な態様で、 3つ の行動パターンのうちの 1つをロポット 1の行動パターンとして決定することが できる。 例えば、 3つの行動パターンのそれぞれに優先順位が予め割り当てられ ている塲合には、 その優先順位の高いものから順にロポット 1の行動パターンと して決定することができる。 その優先順位を時間帯に応じて変動させるようにし てもよい。 例えば、 18 ： 00〜22 ： 00の時間帯は 「風呂の準備」 の優先順 位を最も高くし、 6 : 00〜8 : 00、 1 1 : 00-13 : 00, 17 : 00〜 19 : 00の時間帯は 「飲食物のレシピの選択、 調理」 の優先順位を最も高くし、 その他の時間帯は 「コンテンツの選択、 再生」 の優先順位を最も高くするように してもよい。
このように、 処理部 50 (行動パターン決定手段 50 c) は、 把握手段 5 O b によって把握されたユーザの健康状態に応じた行動パターンを決定する決定手段 として機能する。
処理部 50 (実行指示手段 50 g) は、 行動パターン決定手段 50 cから出力 されるタイミング信号 t 2に応答して、 決定された行動パターンに応じた制御信 号を生成し、 その制御信号を動作制御部 120に出力する。
動作制御部 120は、 処理部 50 (実行指示手段 50 g) から出力される制御 信号に応じて各種のァクチユエ一夕 130を駆動する。 これにより、 ロボット 1 を所望の態様で動作させることが可能になる。
例えば、 決定された行動パターンが 「バンザィのジエスチヤ」 である場合には、 動作制御部 120は、 処理部 50 (実行指示手段 50 g) から出力される制御信 号に従って、 口ポット 1の 「腕」 を上下させるァクチユエ一夕 （ァクチユエ一夕 130の一部） を駆動する。 あるいは、 決定された行動パターンが 「コンテンツ の選択、 再生」 である場合には、 動作制御部 120は、 処理部 50 (実行指示手 段 50 g) から出力される制御信号に従って、 ディスクを把持し把持したデイス クを再生機器にセットするようにロボット 1の 「手の指」 （把持手段） を制御す るァクチユエ一夕 （ァクチユエ一夕 130の一部） を駆動するようにしてもよい。 例えば、 複数のディスクは所定の順にラックに整理されて収納されているものと する。
このように、 処理部 5 0 (実行指示手段 5 0 g ) は、 行動パターン決定手段 5 0 cによって決定された行動パターンの実行を動作制御部 1 2 0に指示する実行 指示手段として機能する。
あるいは、 決定された行動パターンが 「風呂の準備」 である場合には、 処理部
5 0 (実行指示手段 5 0 g ) は、 給湯制御装置にリモートコントロール信号を送 信するようにリモートコントロール部 7 0を制御してもよい。 給湯制御装置は、 リモートコントロール信号に応じて風呂桶に適温の湯を適量だけ供給する （ある いは、 風呂桶に適量の水を供給した後、 その水が適温の湯になるまで加熱する） 。 この場合には、 処理部 5 0 (実行指示手段 5 0 g ) は、 行動パターン決定手段 5 0 cによって決定された行動パターンの実行をリモートコントロール部 7 0に指 示する実行指示手段として機能する。
あるいは、 決定された行動パターンが 「コンテンツの選択、 再生」 である場合 には、 処理部 5 0 (実行指示手段 5 0 g ) は、 再生機器にリモートコント口一ル 信号を送信するようにリモートコントロール部 7 0を制御してもよい。 再生機器 は、 リモートコントロール信号に応じて再生機器にセットされているディスクの 中からコンテンツを選択し、 再生する。 再生機器が複数のディスクをセット可能 なディスクチェンジャーに接続されている場合には、 その再生機器はリモ一トコ ン卜ロール信号に応じてその複数のディスクの中からコンテンツを選択し、 再生 するようにしてもよい。 なお、 複数のディスクのすべての曲を含む選曲リストを 処理部 5 0内のメモリに格納しておくようにしてもよいし、 再生機器がディスク のヘッダ部からそのディスクの選曲リストを読み取り、 送受信部 6 0経由で処理 部 5 0内のメモリに格納するようにしてもよい。 この場合には、 処理部 5 0 (実 行指示手段 5 0 g ) は、 行動パターン決定手段 5 0 cによって決定された行動パ ターンの実行をリモートコントロール部 7 0に指示する実行指示手段として機能 する。 図 8 bは、 図 2に示される処理部 5 0の内部構成の他の例を示す。 図 8 bに示 される例では、 処理部 5 0 (提案手段 5 0 e ) は、 決定された行動パターンの実 行を指示する前に、 ユーザにその行動パターンを音声で提案する。 例えば、 決定 された行動パターンが 「風呂の準備」 である場合には、 行動パターン決定手段 5 0 cから出力されるタイミング信号 t 2に応答して、 処理部 5 0 (提案手段 5 0 e ) は、 対話デ一夕ベース 1 4 0を参照して、 「お疲れのようですね。 お風呂の 準備をいたしましようか？」 という疑問文 （提案文） を生成し、 音声合成部 1 0 0に出力するようにすればよい。 音声合成部 1 0 0は、 その疑問文を音声に合成 する。 合成された音声は、 音声出力部 1 1 0から出力される。
次に、 図 9を参照して提案手段 5 0 eによる提案文の作成方法を説明する。 提 案手段 5 0 eは内部に提案文合成部を備えている。 対話データベース 1 4 0は提 案文フォーマツトデ一夕べ一スを内部に備えており、 この提案文フォーマツトデ —夕ベースには、 複数の提案表現に対応する複数の提案文フォーマツ卜が記録保 持されている。 ここで、 「提案表現」 とは、 例えば、 図 9の例で示すような 「A ですね。 Bしましようか？」 、 「Aのようですが、 Bしてもいいですか？」 とい うような、 提案する動機となった原因 （A) とそれに対する対応 (B) を示す文 章表現のことである。
まず、 提案手段 （提案文合成部） 5 0 eは、 把握手段 5 0 bから入力される 「把握された健康状態」 と、 行動パターン決定手段 5 0 cから入力される 「決定 された行動パターン」 とに基づいて、 提案文フォ一マットデータベースから前記 「把握された健康状態」 に合う提案文フォーマットを選択する。 次に、 提案手段 (提案文合成部） 5 0 eは、 「把握された健康状態」 を提案文フォーマットの A に、 「決定された行動パターン」 を提案文フォーマットの Bに挿入することで提 案文を合成する。 例えば、 「把握された健康状態」 が 「疲れ」 であり、 「決定さ れた行動パターン」 が 「風呂の準備」 である場合には、 提案手段 （提案文合成 部） 5 0 eは、 「お疲れのようですね。 お風呂の準備をいたしましようか？」 と いう提案文を合成する。 提案文は、 音声合成部 1 0 0に出力される。 音声合成部 1 0 0は、 提案文を音声に合成する。 合成された音声は音声出力部 1 1 0から出 力される。
このように、 処理部 5 0 (提案手段 5 0 e ) は、 対話データベース （提案文フ ォ一マツ卜データベース） 1 4 0と音声合成部 1 0 0と音声出力部 1 1 0とを用 いて、 行動パターン決定手段 5 0 cによって決定された行動パターンの実行を指 示する前に、 ユーザにその行動パターンを音声で提案する提案手段として機能す る。
ユーザは、 ロボット 1からの提案に対してその提案を受け入れるか、 または、 受け入れないかの返事をする。 例えば、 ユーザは、 その提案を受け入れる （Y e s ) という意思表示として 「はい」 、 「そやな」 、 「そうしてくれ」 などの返事 をし、 その提案を受け入れない （N o ) という意思表示として 「いいえ」 、 「い らん」 、 「その必要なし」 などの返事をするものとする。 このような返事のパ夕 —ンは対話デ一夕べ一ス 1 4 0に予め格納しておくものとする。
処理部 5 0 (提案承諾判定手段 5 0 f ) は、 提案手段 5 0 eから出力される夕 ィミング信号 t 5に応答して音声認識部 4 0による音声認識結果を対話データべ —ス 1 4 0を参照して分析することにより、 ュ一ザからの返事が提案を受け入れ る （Y e s ) という返事なのか、 提案を受け入れない （N o ) という返事なのか を判定する。
このように、 処理部 5 0 (提案承諾判定手段 5 0 f ) は、 音声認識部 4 0と対 話データベース 1 4 0とを用いて、 提案された行動パターンに対するユーザの返 事がその提案された行動パターンを受け入れるという返事か否かを判定する提案 承諾判定手段として機能する。
図 8 cは、 図 2に示される処理部 5 0の内部構成の他の例を示す。 決定された 行動パターンの実行を指示する前に、 ユーザにその行動パターンを提案する必要 があるか否かを判定するようにしてもよい。 例えば、 図 4に示される表の各行動 パターンに提案の要否を示すフラグを予め割り当てた図 1 1に示す行動提案要否 テーブル 1 6 2を予め設定しておくことにより、 処理部 5 0 (提案要否判定手段
5 0 d ) は、 そのフラグの値に応じて提案の要否を判定することができる。 例え ば、 処理部 5 0 (提案要否判定手段 5 0 d ) は、 行動パターンに割り当てられた フラグの値が" 1 " である場合には、 その行動パターンの実行を指示する前にそ の行動パターンをユーザに提案し、 行動パターンに割り当てられたフラグの値 が" 0 " である場合には、 その行動パターンの実行を指示する前にその行動パ夕 —ンをユーザに提案しない。
例えば、 「風呂の準備」 という行動パターンについては、 ユーザへの事前の提 案は要とされることが好ましい。 ュ一ザが風呂に入りたいか否かはそのときの気 分に負うところが大きく、 ユーザへの事前の提案を不要とするとおしっけがまし くなつてしまうおそれがあるからである。 例えば、 「バイザイのジエスチヤ」 と いう行動パターンについては、 ユーザへの事前の提案は不要とされることが好ま しい。 ユーザにいちいち断ってから万歳をしたのでは気がぬけてしまうおそれが あるからである。 '
このように、 処理部 5 0 (提案要否判定手段 5 0 d ) は、 情報データべ一ス 1
6 0 (行動提案要否テ一ブル 1 6 2 ) を用いて、 決定された行動パターンの実行 を指示する前に、 ユーザにその行動パターンを提案する必要があるか否かを判定 する提案要否判定手段として機能する。
行動パターンが実行される時間帯が決まっている場合や、 その行動パターンが 頻繁に実行される場合には、 ユーザにその行動パターンをいちいち提案すること は望まれないことが多い。 逆に、 普段ほとんど実行されないような行動パターン の場合には、 その行動パタ一ンの実行を指示する前にその行動パターンをユーザ に提案することによってユーザがその行動パターンの実行を望んでいるか否かを 確認することが望ましい。
図 1 0を参照して、 上述した機能を実現する提案要否判定手段 5 0 dを説明す る。 時間分布記録保持部 9 0は、 時刻計測部 9 1と、 積算部 9 2と、 時間分布デ —夕ベース 9 3とを含む。 提案要否判定手段 5 0 dは内部に比較決定部を備えて いる。 時刻計測部 9 1は、 実行指示手段 5 0 gの入力を受け、 行動パターンが実 行された時刻を計測し、 積算部 9 2に出力する。 時間分布デ一夕ベース 9 3は、 時刻毎に各行動パターンが実行された回数を記録保持しており、 積算部 9 2は、 時刻計測部 9 1からの入力を受ける毎に、 計測された時刻における時間分布デー 夕ベース 9 3に記録された実行回数に 1回分を積算していく。 このようにして時 間分布記録保持部 9 0は、 時刻毎に実行された行動パターンの履歴情報を蓄えて いく。 提案要否判定手段 （比較決定部） 5 0 dは、 予め設定された値を持ち、 行 動パターン決定手段 5 0 cからの入力を受けた際に、 その時刻 （もしくは時間 帯） におけるその行動パターンの過去の実行回数を時間分布記録保持部 9 0から 参照し、 前記予め設定された値と比較する。 比較決定部は、 その行動パターンの 過去の実行回数が予め設定された値より小さい場合には、 その行動パターンを提 案をする必要があると判定し、 その行動パターンの過去の実行回数が予め設定さ れた値より大きい場合には、 その行動パタ一ンを提案をする必要がないと判定す る。 その判定結果は、 提案要否判定手段 5 0 dの判定結果として提案要否判定手 段 5 0 dから出力する。
このように、 提案要否判定手段 5 0 dは、 行動パターンが実行された実行回数 の時間分布に基づいて提案の要否を判定する。
図 5は、 ロボット 1がユーザの健康状態を把握し、 ユーザの健康状態に適合し た行動パターンの実行を指示する処理の手順を示す。
ステップ S T 1 ：ユーザの健康状態が把握される。
例えば、 処理部 5 0 (把握手段 5 O b ) は、 音声認識部 4 0による音声認識結 果からキーワードを抽出し、 そのキーワードを用いて対話デ一夕べ一ス 1 4 0を 検索する。 その結果、 処理部 5 0 (把握手段 5 O b ) は、 そのキーワードからュ 一ザの健康状態を把握することができる。 以下にユーザと口ポット 1との対話の例を示す。 ここで、 Uはユーザの発話を 示し、 Sはロボッ小 1の発話を示す。
U：今日はしんどい〜。
S ：そのようですね。
このように、 ュ一ザが 「眠い」 、 「しんどい」 、 「食欲がない」 といったキー ワードを発話した場合には、 処理部 50 (把握手段 5 O b) は、 ユーザの健康状 態を 「疲れ」 の状態であると判定する。
ステップ ST2 ：ステップ ST 1において把握されたユーザの健康状態に応じ た行動パターンが決定される。
例えば、 処理部 50 (行動パターン決定手段 50 c) は、 ユーザの健康状態を 用いて情報データべ一ス 160 (行動パターンテーブル 161) を検索する。 そ の結果、 処理部 50 (行動パターン決定手段 50 c) は、 ユーザの健康状態に対 応する行動パターンを決定することができる。 行動パターンは、 ュ一ザの要望を 推定したものとして予め設定されていることが好ましい。
ステップ ST3 ：ステップ ST 2において決定された行動パターンの実行を指 示する前に、 提案要否判定手段 50 dによってその行動パターンをユーザに提案 する必要があるか否かが判定される。
ステップ ST3の判定結果が 「Ye s」 である場合には処理はステップ ST4 に進み、 ステップ ST 3の判定結果が 「No」 である場合には処理はステップ S T 6に進む。
ステップ ST4 ：提案手段 50 eによってステップ ST 2において決定された 行動パターンの実行を指示する前に、 その行動パターンがユーザに提案される。 以下にユーザと口ポット 1との対話の例を示す。 ここで、 Uはユーザの発話を 示し、 Sはロボット 1の発話を示す。
S ：お疲れのようですね。 それでは癒し効果のあるコンテンツ （ソフト） を 再生しましょうか？ U：頼むわ。
ステップ ST 5 ：提案承諾判定手段 50 f によってステップ ST 4において口 ポット 1が提案した行動パターンをユーザが受け入れる返答をしたか否かが判定 される。
ステップ ST5の判定結果が 「Ye s」 である場合には処理はステップ ST 6 に進み、 ステップ ST 5の判定結果が 「No」 である場合には処理はステップ S T 7に進む。
ステップ ST6 ：実行指示手段 50 gによってステップ ST 2において決定さ れた行動パターンの実行が指示される。
ステップ ST7 ：提案された行動パターンとュ一ザが提案を受け入れなかった
(リジェクトした） こととが履歴情報として情報デ一夕べ一ス 160に格納され る。
この履歴情報は、 ステップ ST 2において次回からの行動パターンの内容を決 定する際に参照される。 ユーザが受け入れなかつた行動パターンに割り当てられ た優先順位を低くするようにしてもよい。
なお、 ステップ ST 7に代えて、 または、 ステップ ST 7に加えて、 ステップ ST5においてユーザが提案を受け入れた場合に、 提案された行動パターンとュ —ザが提案を受け入れた （アクセプトした） こととを履歴情報として情報データ ベース 160に格納するようにしてもよい。 この履歴情報は、 ステップ ST2に おいて次回からの行動パターンの内容を決定する際に参照される。 ュ一ザが受け 入れた行動パターンに割り当てられた優先順位を高くするようにしてもよい。 このように、 提案された行動パターンがュ一ザに受け入れられたか否かに応じ て、 その行動パターンに割り当てられた優先順位を変動させることが好ましい。 これにより、 ユーザの癖などを行動パターンの決定に反映させることができる。 その結果、 口ポット 1によって決定される行動パターンがユーザの健康状態に実 際に適合する割合を向上させることが可能になる。 なお、 ステツプ S T 5においてユーザが提案を受け入れなかった場合には、 ュ 一ザが逆提案をするようにしてもよい。 この場合、 口ポット 1は、 その逆提案を 受け取り、 その逆提案が実行可能であるか否かを判定する。 その逆提案が実行可 能であると判定された塲合には、 口ポット 1は、 情報データベース 1 6 0に格納 されているュ一ザの健康状態とロポット 1の行動パターンとの関係を更新した上 で （例えば、 図 4に示される表の行動パターンの優先順位を変更した上で、 また は、 図 4に示される表に新たな行動パターンを追加した上で） 、 その逆提案の実 行を指示する。 その逆提案が実行可能でないと判定された場合には、 ロボット 1 は、 「その逆提案を実行することはできません」 という旨をユーザに通知する。 このように、 ユーザから逆提案を行うことにより、 ユーザの癖などを行動パ夕一 ンの決定に反映させることができる。 その結果、 口ポット 1によって決定される 行動パターンがユーザの健康状態に実際に適合する割合を向上させることが可能 になる。
なお、 図 5においてステップ S T 3を省略してもよい。 この場合には、 ユーザ の健康状態に応じて決定されたすベての行動パターンについて、 その行動パタ一 ンの実行を指示する前に、 その行動パターンがユーザに提案されることになる。 また、 図 5においてステップ S T 3、 S T 4、 S T 5、 S T 7を省略してもよ い。 この場合には、 ユーザの健康状態に応じて決定されたすベての行動パターン がユーザからの返事を待つことなく即時に行動パターンの実行が指示されること になる。
以上のように、 本実施の形態によれば、 ユーザの健康状態が把握され、 ユーザ の健康状態に応じた行動パターンが決定される。 これにより、 ュ一ザは各種セン サを装着する煩わしさから解放される。 さらに、 ユーザは口ポットを自分の健康 状態を心配してくれる存在 （良き友） と感じるようになる。
さらに、 行動パターンの実行を指示する前に、 その行動パターンをユーザに提 案する形式を採用してもよい。 この場合には、 ユーザがその提案を受け入れるか 否かの最終権限を有することになるため、 その提案を受け入れることをロポッ卜 から強制されることがなく、 ユーザの裁量の自由度が大きい。 これにより、 ロボ ッ卜の暴走を抑えることができるとともに、 ロポッ卜をユーザフレンドリな存在 として身近に感じることが可能になる。
日本能率協会総合研究所が行ったアンケートによれば、 コンシユーマが描く夢 の口ポットは 「より本物に近いペットロボット」 がトップ人気であった。 人間と 居住空間を共にする生活密着型の共生又はエンターテインメント型のロボットが 待望されている。
本発明の対話型装置の一例としてのロボットは、 生活密着型のフレンドリでか つ役に立つ口ポットであることが理解できょう。 このような口ポットはュ一ザの 生活を助け、 ユーザの良き友になり得る。
なお、 再生機器で再生されるコンテンツ （ソフト） は、 映像デ一夕、 音声デー 夕、 照明制御デ一夕のうちの少なくとも 1つを含んでいてもよい。 記録媒体 (D V Dなど） に記録されている映像データを再生することに同期して記録媒体に記 録されている音声デ一夕を再生することが可能である。 さらに、 記録媒体 (D V Dなど） に記録されている音声デー夕および/または映像デー夕を再生すること に同期して記録媒体に記録されている照明制御デ一夕を再生することが可能であ る。 このような同期再生により、 「癒し」 効果や 「催眠」 効果の高いコンテンツ (ソフト） を実現することが可能になる。
図 6は、 音声データおよび Zまたは映像データと照明制御データとの同期再生 を可能にする再生装置 2 1 0 0の構成例を示す。 再生装置 2 1 0 0に音声出力装 置 （例えば、 スピーカ） と映像出力装置 （例えば、 T V) と照明装置とを接続す ることにより、 再生装置 2 1 0 0は、 記録媒体によって提供される音楽および Z または映像に連動して照明装置の照明パターン （例えば、 照明装置の光量および 光色の少なくとも一方） を変化させることが可能になる。
L 0 0は、 コント口一ラ 2 2 2 0と、 イン夕フェースコントローラ ( I /Fコントローラ） 2230と、 読み取り部 2120とを含む。
コントローラ 2220は、 I/Fコントローラ 2230に入力されるユーザか らの操作コマンドや復号化部 2140から供給される制御信号に基づいて、 再生 装置 2100の全体の動作を制御する。
I/Fコントローラ 2230は、 ュ一ザの操作 （例えば、 リモートコント口一 ル部 70 (図 2) からのリモートコントロール信号） を検知して、 その操作に対 応する操作コマンド （例えば、 再生コマンド） をコントローラ 2220に出力す る。
読み取り部 2120は、 記録媒体 2110に記録された情報を読み取る。 記録媒体 2110は、 典型的には、 DVD (D i g i t a l Ve r s a t i
1 e D i s k) である。 し力し、 記録媒体 21 10は D VDに限定されない。 記録媒体 2110は、 任意のタイプの記録媒体であり得る。 ただし、 以下の説明 では、 記録媒体 21 10が DVDである塲合を例にとり説明することにする。 こ の場合には、 読み取り部 2120は、 例えば、 光ピックアップである。
記録媒体 21 10に記録されているデ一夕のフォーマットとして、 DVD— V i d e o規格に準拠したフォーマツトを改変したフォーマツトが使用される。 す なわち、 VOBUの中に、 ライティングパック （L— PCK： L i gh t i ng P a c k) が新たに設けられたフォーマットが使用される。 L— PCKのデ一 夕は、 プレゼンテ一ションデ一夕に同期して照明制御データを出力するためのデ 一夕である。
MPEG— 2 (Mov i ng P i c t u r e Exp e r t s Gr oup 2) は、 広範囲なアプリケーションに対応するために、 任意の数の符号化され たストリームを多重化し、 それぞれのストリームを同期をとりながら再生するた めの方式として 2種類の方式を規定している。 その 2種類の方式とは、 プログラ ムストリーム （P S ： P r o g r am S t r e am) 方式と、 トランスポート ストリーム （TS ： Tr an s po r t S t r e am) 方式とである。 DVD などのデジタルストレ一ジメディアでは、 プログラムストリーム （PS ： P r o g r am S t r e am) 方式が採用されている。 以下の説明では、 MPEG— 2に規定されているプログラムストリーム （PS : P r og r am S t r e a m) 方式を 「MPEG— PS方式」 と略記し、 MP E G— 2に規定されているト ランスポ一トストリ一ム （TS ： T r a n s p o r t S t r e am) 方式を 「MPEG— TS方式」 と略記する。
NV— PCK、 A一 PCK、 V一 PCK、 SP— PCKは、 いずれも、 MPE G_ PS方式に準拠したフォ一マットを採用している。 従って、 L— PCKも、 MP EG— PS方式に準拠したフォ一マツトを採用することとする。
再生装置 2100は、 ストリームデータ生成部 2130と、 復号化部 2140 とをさらに含む。
ストリームデータ生成部 2130は、 読み取り部 2120の出力に基づいて、 符号化された A Vデータと符号化された照明制御データとを含むス卜リ一ムデー タを生成する。 ここで、 「符号化された A Vデ一夕」 とは、 符号化された音声デ —夕および符号化された映像データのうちの少なくとも一方を含むデータをいう。 ストリームデータ生成部 2130によって生成されるストリームデ一タは、 M PEG— P S方式に準拠したフォーマツトを有している。 このようなストリーム データは、 例えば、 DVD2120に記録されている情報を RF信号の形式で受 け取り、 その RF信号をデジタル化して増幅し、 EFMおよび復調処理を施すこ とにより得られる。 ストリームデータ生成部 2130の構成は公知のものと同一 にすることができるので、 ここでは詳しい説明を省略する。
復号化部 2140は、 分解部 2150と、 A Vデータ復号化部 2160と、 照 明制御デ一夕復号化部 2170と、 3丁<3生成部2180と、 同期コントローラ (制御部） 2190とを含む。
分解部 2150は、 ストリームデータ生成部 2130から、 MPEG— PS方 式に準拠したフォーマツトを有するストリームデータを受け取り、 そのストリー ムデ一夕を符号化された A Vデータと符号化された照明制御デ一夕とに分解する。 このような分解は、 PESパケットヘッダ中の識別コード （s t r e am— i d) を参照することによって行われる。 分解部 2150は、 例えば、 デマルチプ レクサである。
AVデータ復号化部 2160は、 符号化された AVデ一夕を復号化することに より AVデータを出力する。 ここで、 「AVデータ」 とは、 音声データおよび映 像データのうちの少なくとも一方を含むデ一夕をいう。
AVデータ復号化部 2160は、 分解部 2150から出力される符号化された 映像デ一夕を一時的に格納するビデオバッファ 2161と、 符号化された映像デ —夕を複号化することにより、 映像データを出力するビデオデコーダ 2162と、 分解部 2150から出力される符号化された音声データを一時的に格納するォ一 ディォバッファ 2163と、 符号化された音声データを復号化することにより、 音声データを出力するオーディオデコーダ 2164とを含む。 照明制御デ一夕復号化部 2170は、 符号化された照明制御データを復号化す ることにより照明制御データを出力する。 ここで、 「照明制御データ」 とは、 照 明装置に含まれる複数の画素を制御するためのデ一夕である。
照明制御データ復号化部 2170は、 分解部 2150から出力される符号化さ れた照明制御データを一時的に格納する照明バッファ 2171と、 符号化された 照明制御データを復号化することにより、 照明制御デ一夕を出力する照明デコ一 ダ 2172とを含む。
3丁<3生成部2180は、 STC (Sye t em T ime C l o c k) を 生成する。 STCは、 SCRに基づいて 27 MHzの基準クロックの周波数を調 整する （すなわち、 増減させる） ことによって得られる。 STCは、 データを符 号化したときに用いられた基準時間を符号化データを復号化する際に再現したも のである。
同期コントローラ 2190は、 A Vデータ復号化部 2160が A Vデータを出 力するタイミングと照明制御データ復号化部 2 1 7 0が照明制御データを出力す るタイミングとが同期するように、 AVデ一夕復号化部 2 1 6 0と照明制御デー 夕復号化部 2 1 7 0とを制御する。
このような同期再生の制御は、 例えば、 S T Cと P T Sとが一致したときにビ デォデコーダ 2 1 6 2から映像データのアクセスュニットが出力されるようにビ デォデコーダ 2 1 6 2を制御し、 S T Cと P T Sとが一致したときにオーディォ デコーダ 2 1 6 4から音声データのアクセスュニッ卜が出力されるようにオーデ ィォデコーダ 2 1 6 4を制御し、 S T Cと P T Sとが一致したときに照明デコ一 ダ 2 1 7 2から照明制御データのアクセスュニッ卜が出力されるように照明デコ ーダ 2 1 7 2を制御することによって達成される。
同期コントローラ 2 1 9 0は、 A Vデータ復号化部 2 1 6 0が A Vデータを復 号化するタイミングと照明制御データ復号化部 2 1 7 0が照明制御データを復号 化するタイミングとが同期するように、 AVデータ復号化部 2 1 6 0と照明制御 デ一夕復号化部 2 1 7 0とを制御するようにしてもよい。
このような同期再生の制御は、 例えば、 S T Cと D T Sとが一致したときにビ デォデコーダ 2 1 6 2によって映像データのアクセスュニットが復号化されるよ うにビデオデコーダ 2 1 6 2を制御し、 S T Cと D T Sとが一致したときにォ一 ディォデコーダ 2 1 6 4によって音声データのアクセスュニットが復号化される ようにオーディオデコ一ダ 2 1 6 4を制御し、 S T Cと D T Sとが一致したとき に照明デコーダ 2 1 7 2によって照明制御デ一夕のアクセスュニッ卜が復号化さ れるように照明デコーダ 2 1 7 2を制御することによって達成される。
このように、 映像データ、 音声データ、 照明制御デ一夕のアクセスユニットを 出力するタイミングの制御に加えて、 または、 映像データ、 音声データ、 照明制 御デ一夕のアクセスュニットを出力するタイミングの制御に代えて、 映像デ一夕、 音声データ、 照明制御データのアクセスユニットを復号化するタイミングの制御 を行うようにしてもよい。 アクセスユニットを出力するタイミング （順序） とァ クセスユニットを復号化するタイミング （順序） とが異なる場合があるからであ る。 このような制御により、 映像デ一夕、 音声データ、 照明制御データを同期再 生することが可能になる。
ビデオデコーダ 2 1 6 2から出力される映像デ一タは、 N T S Cエンコーダ 2 2 0 0を介して外部機器 （例えば、 TV) に出力される。 ビデオデコーダ 2 1 6 2と T Vとは、 再生装置 2 1 0 0の出力端子 2 2 4 0を介して直接的に接続され てもよいし、 ホーム L ANを介して間接的に接続されてもよい。
オーディオデコーダ 2 1 6 4から出力される音声デ一夕は、 デジタル アナ口 グコンパ一夕 （D A C) 2 2 1 0を介して外部機器 （例えば、 スピーカ） に出力 される。 オーディオデコーダ 2 1 6 4とスピーカとは、 再生装置 2 1 0 0の出力 端子 2 2 5 0を介して直接的に接続されてもよいし、 ホーム L ANを介して間接 的に接続されてもよい。
照明デコーダ 2 1 7 2から出力される照明制御データは、 外部機器 （例えば、 照明装置） に出力される。 照明デコーダ 2 1 7 2と照明装置とは、 再生装置 2 1 0 0の出力端子 2 2 6 0を介して直接的に接続されてもよいし、 ホーム L ANを 介して間接的に接続されてもよい。
なお、 ストリームデータ生成部 2 1 3 0によって生成されるストリームデータ は、 符号化された副映像デ一タを含んでいてもよいし、 ナビゲ一シヨンデータを 含んでいてもよい。 例えば、 ストリームデータが符号化された副映像データとナ ピゲ一シヨンデータとを含む場合には、 分解部 2 1 5 0は、 そのストリ一ムデー 夕を符号化された副映像データとナビゲ一ションデータとに分解する。 図 6には 示されていないが、 復号化部 2 1 4 0は、 ナビパック回路と、 サブピクチャデコ ーダと、 クローズドキヤプションデータデコーダとをさらに含んでいてもよい。 ナビパック回路は、 ナビゲーションデータを処理することにより制御信号を生成 し、 その制御信号をコントロ一ラ 2 2 2 0に出力する。 サブピクチャデコーダは、 符号化された副映像データを復号化することにより副映像データを N T S Cェン コーダ 2 2 0 0に出力する。 クローズドキャプションデータデコーダは、 符号化 された映像デ一夕に含まれる符号化されたクローズドキャプションデータを復号 化することによりクローズドキャプションデータを N T S Cエンコーダ 2 2 0 0 に出力する。 これらの回路の機能は公知であり、 本発明の主題には関係しないの で詳しい説明を省略する。 このように、 復号化部 2 1 4 0は、 図 6に示されてい ない公知の構成を含んでいてもよい。
以上説明したように、 図 6に示される再生装置 2 1 0 0によれば、 記録媒体に 記録されている音声データおよび Zまたは映像データを再生することに同期して、 その記録媒体に記録されている照明制御データを再生することが可能な再生装置 が提供される。 この再生装置に音声出力装置 （例えば、 スピーカ） と映像出力装 置 （例えば、 T V) と照明装置とを接続することにより、 記録媒体によって提供 される音楽および Zまたは映像に連動して照明パターンを変化させることが可能 になる。 「癒し」 効果のある照明パターンの例としては、 木漏れ日を表現した照 明パターンを挙げることができる。 産業上の利用可能性
以上のように、 本発明の対話型装置によれば、 ュ一ザの健康状態が把握され、 ユーザの健康状態に応じた行動パターンが決定される。 これにより、 ユーザは各 種センサを装着する煩わしさから解放される。 さらに、 ユーザは対話型装置を自 分の健康状態を心配してくれる存在 （良き友） と感じるようになる。 その結果、 対話型装置の価値を高めることになり、 ユーザの対話型装置に対する満足感、 所 有欲を高めることになる。

Claims

請求の範囲
1 . ユーザの健康状態を把握する把握手段と、
前記把握手段によって把握された前記ユーザの健康状態に応じた行動パターン を決定する決定手段と、
前記決定手段によって決定された行動パターンの実行を指示する実行指示手段 と、
前記決定手段によって決定された行動パターンの実行を指示する前に、 前記ュ —ザに前記行動パターンを音声で提案する提案手段と、
前記提案された行動パターンに対する前記ユーザの返事が前記提案された行動 パターンを受け入れるという返事か否かを判定する判定手段と
を備え、
前記実行指示手段は、 前記ュ一ザの返事が前記提案された行動パタ一ンを受け 入れるという返事であると判定された場合に、 前記提案された行動パターンの実 行を指示する、 対話型装置。
2 . 前記把握手段は、 前記ユーザの発話に基づいて前記ユーザの健康状態を把握 する、 請求の範囲第 1項に記載の対話型装置。
3 . 前記把握手段は、 前記ユーザが発するキ一ワードに基づいて前記ユーザの健 康状態を把握する、 請求の範囲第 2項に記載の対話型装置。
4 . 前記決定手段によって決定された行動パターンの実行を指示する前に、 前記 ユーザに前記行動パターンを提案する必要があるか否かを判定する提案要否判定 手段をさらに備え、
前記提案手段は、 前記行動パターンの実行を指示する前に前記ユーザに前記行 動パターンを提案する必要があると判定された場合に、 前記ユーザに前記行動パ ターンを音声で提案する、 請求の範囲第 1項に記載の対話型装置。
5 . 前記提案要否判定手段は、 前記行動パターンに予め割り当てられた提案の要 否を示すフラグの値に応じて提案の要否を判定する、 請求の範囲第 4項に記載の
6 . 前記提案要否判定手段は、 前記行動パターンが実行された実行回数の時間分 布に基づいて提案の要否を判定する、 請求の範囲第 4項に記載の対話型装置。
7 . 前記決定手段は、 優先順位がそれぞれ割り当てられた複数の行動パターンの うちの 1つを前記ユーザの健康状態に応じた行動パターンとして決定し、 その行 動パ夕一ンが前記ユーザに受け入れられたか否かに応じて、 その行動パターンに 割り当てられた優先順位を変動させる、 請求の範囲第 1項に記載の対話型装置。
8 . 前記ユーザの健康状態に応じた行動パターンを記憶する記憶手段をさらに備 え、
前記決定手段は、 前記記憶手段に記憶された行動パターンを用いて前記行動パ ターンを決定する、 請求の範囲第 1項に記載の対話型装置。
9 . 前記提案手段によって前記ユーザに提案される行動パターンは、 再生機器で 再生するコンテンツの選択を含む、 請求の範囲第 1項に記載の対話型装置。
1 0 . 前記コンテンツは、 音声データと映像データと照明制御デ一夕とを含み、 前記再生機器が照明制御データに基づいて照明装置の光量および光色の少なくと も一方を変化させる、 請求の範囲第 9項に記載の対話型装置。
1 1 . 前記対話型装置は、 エージェント機能および移動機能のうちの少なくとも 1つの機能を有している、 請求の範囲第 1項に記載の対話型装置。
1 2 . 前記ユーザの健康状態は、 前記ユーザの感情および前記ユーザの体調のう ちの少なくとも一方を表す、 請求の範囲第 1項に記載の対話型装置。
1 3 . ユーザが発する音声を音声信号に変換する音声入力部と、
前記音声入力部から出力される音声信号に基づいてユーザが発した言葉を認識 する音声認識部と、
前記ユーザが発すると予想される言葉が予め登録され、 前記登録されている言 葉と前記ユーザの健康状態との対応関係を保持している対話データベースと、 前記音声認識部によつて認識された言葉と前記対話デ一夕べ一スに登録されて いる言葉とを照合し、 その照合結果に応じて前記ユーザの健康状態を決定するこ とによって、 前記ユーザの健康状態を把握する把握手段と、
前記ユーザの健康状態と対話型装置の行動パ夕一ンとの対応関係を保持してい る行動パターンテ一ブルに基づいて、 前記把握手段によって把握された前記ュ一 ザの健康状態に応じた行動パターンを決定する決定手段と、
前記決定手段によって決定された行動パターンの実行を指示する実行指示手段 と、
前記決定手段によって決定された行動パターンの実行を指示する前に、 前記把 握手段の出力結果と前記決定手段の出力結果とに基づいて提案文を合成し、 前記 ユーザに前記行動パターンを音声で提案する提案手段と、
前記提案された行動パターンに対する前記ユーザの返事が前記提案された行動 パターンを受け入れるという返事か否かを判定する判定手段と
を備え、 前記実行指示手段は、 前記ユーザの返事が前記提案された行動パターンを受け 入れるという返事であると判定された場合に、 前記提案された行動パターンの実 行を指示する、 対話型装置。
1 4 . 前記提案された行動パターンに対して前記ユーザから逆提案された行動パ ターンを受け取る手段と、
前記逆提案された行動パターンを前記対話型装置が実行可能であるか否かを判 定する手段と、
前記逆提案された行動パターンを前記対話型装置が実行可能であると判定され た場合に、 前記行動パターンテーブルに保持されている前記ユーザの健康状態と 前記対話型装置の行動パターンとの対応関係を更新する手段と
をさらに備えた、 請求の範囲第 1 3項に記載の対話型装置。
PCT/JP2003/012040 2002-09-20 2003-09-19 対話型装置 WO2004027527A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP03797719A EP1542101A1 (en) 2002-09-20 2003-09-19 Interactive device
US10/528,438 US20060100880A1 (en) 2002-09-20 2003-09-19 Interactive device
JP2004538008A JPWO2004027527A1 (ja) 2002-09-20 2003-09-19 対話型装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002276121 2002-09-20
JP2002-276121 2002-09-20

Publications (1)

Publication Number Publication Date
WO2004027527A1 true WO2004027527A1 (ja) 2004-04-01

Family

ID=32025058

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/012040 WO2004027527A1 (ja) 2002-09-20 2003-09-19 対話型装置

Country Status (5)

Country Link
US (1) US20060100880A1 (ja)
EP (1) EP1542101A1 (ja)
JP (1) JPWO2004027527A1 (ja)
CN (1) CN1701287A (ja)
WO (1) WO2004027527A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006330136A (ja) * 2005-05-24 2006-12-07 Advanced Telecommunication Research Institute International 表情付け音声発生装置
JP2009247710A (ja) * 2008-04-08 2009-10-29 Nippon Telegr & Teleph Corp <Ntt> 花粉症状診断装置、方法及びシステム
JP2013136131A (ja) * 2011-12-28 2013-07-11 Toyota Motor Corp ロボットの制御方法、ロボットの制御装置、及びロボット
JP2013529317A (ja) * 2010-05-19 2013-07-18 サノフィ−アベンティス・ドイチュラント・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 対話、及び／又は、命令決定プロセスの操作データの変更
JP2014059764A (ja) * 2012-09-18 2014-04-03 Sharp Corp 自走式制御機器、自走式制御機器の制御方法、外部機器制御システム、自走式制御機器制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2014221150A (ja) * 2013-05-14 2014-11-27 シャープ株式会社 電子機器
WO2015146824A1 (ja) * 2014-03-25 2015-10-01 シャープ株式会社 対話型家電システム、サーバ装置、対話型家電機器、家電システムが対話を行なうための方法、当該方法をコンピュータに実現させるためのプログラムを格納した不揮発性のコンピュータ読み取り可能なデータ記録媒体
JP2016101441A (ja) * 2014-11-28 2016-06-02 マッスル株式会社 パートナーロボットおよびその遠隔制御システム
WO2017199662A1 (ja) * 2016-05-20 2017-11-23 Ｇｒｏｏｖｅ Ｘ株式会社 自律行動型ロボット及びコンピュータプログラム
JP2018049358A (ja) * 2016-09-20 2018-03-29 株式会社イシダ 健康管理システム
JP2020013593A (ja) * 2019-08-22 2020-01-23 東芝ライフスタイル株式会社 安否確認システム、及び冷蔵庫
WO2020017165A1 (ja) * 2018-07-20 2020-01-23 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP2020030814A (ja) * 2018-08-22 2020-02-27 バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド 情報を処理するための方法と装置
JP2020185618A (ja) * 2019-05-10 2020-11-19 株式会社スター精機 機械動作方法，機械動作設定方法及び機械動作確認方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040073690A1 (en) 2002-09-30 2004-04-15 Neil Hepworth Voice over IP endpoint call admission
US7359979B2 (en) * 2002-09-30 2008-04-15 Avaya Technology Corp. Packet prioritization and associated bandwidth and buffer management techniques for audio over IP
US7978827B1 (en) 2004-06-30 2011-07-12 Avaya Inc. Automatic configuration of call handling based on end-user needs and characteristics
JP4741500B2 (ja) * 2004-09-14 2011-08-03 パナソニック株式会社 機器制御装置、機器、機器制御装置の制御方法、プログラムおよび機器制御システム
JP2007094544A (ja) * 2005-09-27 2007-04-12 Fuji Xerox Co Ltd 情報検索システム
US20090197504A1 (en) * 2008-02-06 2009-08-06 Weistech Technology Co., Ltd. Doll with communication function
US8218751B2 (en) 2008-09-29 2012-07-10 Avaya Inc. Method and apparatus for identifying and eliminating the source of background noise in multi-party teleconferences
JP5201050B2 (ja) * 2009-03-27 2013-06-05 ブラザー工業株式会社 会議支援装置、会議支援方法、会議システム、会議支援プログラム
KR101759190B1 (ko) * 2011-01-04 2017-07-19 삼성전자주식회사 휴대용 무선 단말기에서 통화 중 위급상황을 신고하기 위한 방법 및 장치
US8878991B2 (en) * 2011-12-07 2014-11-04 Comcast Cable Communications, Llc Dynamic ambient lighting
JP5904021B2 (ja) * 2012-06-07 2016-04-13 ソニー株式会社 情報処理装置、電子機器、情報処理方法、及びプログラム
US9380443B2 (en) 2013-03-12 2016-06-28 Comcast Cable Communications, Llc Immersive positioning and paring
CN108305640A (zh) * 2017-01-13 2018-07-20 深圳大森智能科技有限公司 智能机器人主动服务方法与装置
KR101999657B1 (ko) * 2017-09-22 2019-07-16 주식회사 원더풀플랫폼 챗봇을 이용한 사용자 케어 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0893308A2 (en) * 1997-07-22 1999-01-27 Kabushiki Kaisha Equos Research Device mounted in vehicle
JP2001148889A (ja) * 1999-11-19 2001-05-29 Daiwa House Ind Co Ltd 住宅内機器の統括操作システム
JP2002123289A (ja) * 2000-10-13 2002-04-26 Matsushita Electric Ind Co Ltd 音声対話装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6606598B1 (en) * 1998-09-22 2003-08-12 Speechworks International, Inc. Statistical computing and reporting for interactive speech applications
US6405170B1 (en) * 1998-09-22 2002-06-11 Speechworks International, Inc. Method and system of reviewing the behavior of an interactive speech recognition application
US6697457B2 (en) * 1999-08-31 2004-02-24 Accenture Llp Voice messaging system that organizes voice messages based on detected emotion
US6526382B1 (en) * 1999-12-07 2003-02-25 Comverse, Inc. Language-oriented user interfaces for voice activated services
JP2001188784A (ja) * 1999-12-28 2001-07-10 Sony Corp 会話処理装置および方法、並びに記録媒体
JP2001249945A (ja) * 2000-03-07 2001-09-14 Nec Corp 感情生成方法および感情生成装置
US6975988B1 (en) * 2000-11-10 2005-12-13 Adam Roth Electronic mail method and system using associated audio and visual techniques

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0893308A2 (en) * 1997-07-22 1999-01-27 Kabushiki Kaisha Equos Research Device mounted in vehicle
JP2001148889A (ja) * 1999-11-19 2001-05-29 Daiwa House Ind Co Ltd 住宅内機器の統括操作システム
JP2002123289A (ja) * 2000-10-13 2002-04-26 Matsushita Electric Ind Co Ltd 音声対話装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4677543B2 (ja) * 2005-05-24 2011-04-27 株式会社国際電気通信基礎技術研究所 表情付け音声発生装置
JP2006330136A (ja) * 2005-05-24 2006-12-07 Advanced Telecommunication Research Institute International 表情付け音声発生装置
JP2009247710A (ja) * 2008-04-08 2009-10-29 Nippon Telegr & Teleph Corp <Ntt> 花粉症状診断装置、方法及びシステム
JP2013529317A (ja) * 2010-05-19 2013-07-18 サノフィ−アベンティス・ドイチュラント・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 対話、及び／又は、命令決定プロセスの操作データの変更
JP2013136131A (ja) * 2011-12-28 2013-07-11 Toyota Motor Corp ロボットの制御方法、ロボットの制御装置、及びロボット
JP2014059764A (ja) * 2012-09-18 2014-04-03 Sharp Corp 自走式制御機器、自走式制御機器の制御方法、外部機器制御システム、自走式制御機器制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2014221150A (ja) * 2013-05-14 2014-11-27 シャープ株式会社 電子機器
US10224060B2 (en) 2014-03-25 2019-03-05 Sharp Kabushiki Kaisha Interactive home-appliance system, server device, interactive home appliance, method for allowing home-appliance system to interact, and nonvolatile computer-readable data recording medium encoded with program for allowing computer to implement the method
WO2015146824A1 (ja) * 2014-03-25 2015-10-01 シャープ株式会社 対話型家電システム、サーバ装置、対話型家電機器、家電システムが対話を行なうための方法、当該方法をコンピュータに実現させるためのプログラムを格納した不揮発性のコンピュータ読み取り可能なデータ記録媒体
JP2015184563A (ja) * 2014-03-25 2015-10-22 シャープ株式会社 対話型家電システム、サーバ装置、対話型家電機器、家電システムが対話を行なうための方法、当該方法をコンピュータに実現させるためのプログラム
JP2016101441A (ja) * 2014-11-28 2016-06-02 マッスル株式会社 パートナーロボットおよびその遠隔制御システム
WO2017199662A1 (ja) * 2016-05-20 2017-11-23 Ｇｒｏｏｖｅ Ｘ株式会社 自律行動型ロボット及びコンピュータプログラム
JPWO2017199662A1 (ja) * 2016-05-20 2018-07-05 Ｇｒｏｏｖｅ Ｘ株式会社 自律行動型ロボット及びコンピュータプログラム
GB2564821A (en) * 2016-05-20 2019-01-23 Groove X Inc Autonomous action robot and computer program
US11230014B2 (en) 2016-05-20 2022-01-25 Groove X, Inc. Autonomously acting robot and computer program
JP2018049358A (ja) * 2016-09-20 2018-03-29 株式会社イシダ 健康管理システム
WO2020017165A1 (ja) * 2018-07-20 2020-01-23 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP2020030814A (ja) * 2018-08-22 2020-02-27 バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド 情報を処理するための方法と装置
US11474779B2 (en) 2018-08-22 2022-10-18 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for processing information
JP2020185618A (ja) * 2019-05-10 2020-11-19 株式会社スター精機 機械動作方法，機械動作設定方法及び機械動作確認方法
JP2020013593A (ja) * 2019-08-22 2020-01-23 東芝ライフスタイル株式会社 安否確認システム、及び冷蔵庫

Also Published As

Publication number Publication date
JPWO2004027527A1 (ja) 2006-01-19
CN1701287A (zh) 2005-11-23
US20060100880A1 (en) 2006-05-11
EP1542101A1 (en) 2005-06-15

Similar Documents

Publication Publication Date Title
WO2004027527A1 (ja) 対話型装置
CN1237505C (zh) 模拟人际交互并利用相关数据装载外部数据库的用户接口/娱乐设备
JP6053097B2 (ja) 機器操作システム、機器操作装置、サーバ、機器操作方法およびプログラム
JP2007041988A (ja) 情報処理装置および方法、並びにプログラム
WO2008002074A1 (en) Media file searching based on voice recognition
EP2834987A1 (en) Controlling the presentation of a media program based on passively sensed audience reaction
JP2007034664A (ja) 感情推定装置および方法、記録媒体、および、プログラム
JPWO2018142686A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2009103226A1 (zh) 一种语音识别频道选择***、方法及频道转换装置
JP2004527809A (ja) 個人のインタラクションをシミュレートする環境反応型ユーザインタフェース／エンタテインメントデバイス
KR20060112601A (ko) 키 생성 방법 및 키 생성 장치
CN102404278A (zh) 一种基于声纹识别的点歌***及其应用方法
WO2009038225A1 (ja) コンテンツ再生装置及びコンテンツ再生方法
JP2009134669A (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
JP2019200598A (ja) サーバ
CN109829075A (zh) 智能播放音乐的方法和装置
JP4411900B2 (ja) 電子機器間の相互成長システム、電子機器及びロボット装置
JP2006245941A (ja) コンテンツ視聴システム、コンテンツ受信装置およびコンテンツ視聴用家庭内機器
CN109213892A (zh) 一种音频播放方法、装置、设备及存储介质
JP7290154B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US8574020B2 (en) Animated interactive figure and system
JP2010124391A (ja) 情報処理装置、機能設定方法及び機能設定プログラム
US20060084047A1 (en) System and method of segmented language learning
CN112233647A (zh) 信息处理设备和方法以及计算机可读存储介质
JP2006270845A (ja) リモートコントローラ、及び楽音再生システム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2004538008

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2003797719

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 20038252929

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2003797719

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2006100880

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10528438

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10528438

Country of ref document: US