WO2016178329A1 - 情報処理システム、制御方法、および記憶媒体 - Google Patents
情報処理システム、制御方法、および記憶媒体 Download PDFInfo
- Publication number
- WO2016178329A1 WO2016178329A1 PCT/JP2016/052858 JP2016052858W WO2016178329A1 WO 2016178329 A1 WO2016178329 A1 WO 2016178329A1 JP 2016052858 W JP2016052858 W JP 2016052858W WO 2016178329 A1 WO2016178329 A1 WO 2016178329A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- advice
- emotion signal
- unit
- processing system
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000008451 emotion Effects 0.000 claims abstract description 233
- 238000004891 communication Methods 0.000 claims abstract description 84
- 238000013459 approach Methods 0.000 claims description 17
- 238000004519 manufacturing process Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 description 33
- 238000012986 modification Methods 0.000 description 26
- 230000004048 modification Effects 0.000 description 26
- 238000012545 processing Methods 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 230000002996 emotional effect Effects 0.000 description 10
- 239000000284 extract Substances 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 5
- 238000013075 data extraction Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000037081 physical activity Effects 0.000 description 2
- CONKBQPVFMXDOV-QHCPKHFHSA-N 6-[(5S)-5-[[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]methyl]-2-oxo-1,3-oxazolidin-3-yl]-3H-1,3-benzoxazol-2-one Chemical class C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)C[C@H]1CN(C(O1)=O)C1=CC2=C(NC(O2)=O)C=C1 CONKBQPVFMXDOV-QHCPKHFHSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Definitions
- the present disclosure relates to an information processing system, a control method, and a storage medium.
- Patent Document 1 has been proposed as an advice system for communicating with people through dialogue.
- the degree of concentration of participants (presenters, students) in presentations, meetings, workshops, etc. is detected, and feedback is given to the participants. For example, when a less concentrated student is in the back seat, a message such as “Please speak louder” is displayed to the presenter.
- the present disclosure proposes an information processing system, a control method, and a storage medium that can generate an advice for constructing an ideal communication state based on a signal indicating a user's emotion.
- a usage setting unit that sets a usage in which the first user communicates with the second user, a communication unit that receives an emotion signal of at least one of the first user and the second user, Based on an ideal state corresponding to the use of the received emotion signal, a generation unit that generates advice to the first user, and the generated advice is sent to the first user via the communication unit.
- an information processing system including a control unit that transmits to a client terminal corresponding to the above.
- the selection input unit that receives a selection of a usage in which the first user communicates with the second user, and the emotion signal detected from at least one of the first user and the second user, Based on the ideal state corresponding to the application selected by the selection input unit, the selected application is transmitted to an external server that generates advice to the first user, and is generated according to the application and the emotion signal.
- an information processing system including a communication unit that receives advice to the first user and a notification unit that notifies advice to the first user is proposed.
- the first user sets an application for communicating with the second user, the emotion signal of at least one of the first user and the second user is received by the communication unit, Based on an ideal state according to the use of the received emotion signal, generating an advice to the first user, and sending the generated advice to the first user via the communication unit
- a control method is proposed, including controlling by a control unit to transmit to a corresponding client terminal.
- the selection input unit that receives the selection of the usage in which the first user communicates with the second user, and the emotion signal detected from at least one of the first user and the second user. Based on an ideal state corresponding to the use selected by the selection input unit, the selected use is transmitted to an external server that generates advice to the first user, and according to the use and emotion signal.
- a storage medium storing a program for functioning as a communication unit that receives the generated advice to the first user and a notification unit that notifies the advice to the first user is proposed.
- “Influence” is calculated from the pattern of speaker change during conversation. For example, when the user A speaks unilaterally or the user A keeps talking while the user B is blocked, it can be said that the influence of the user A is great. Also, if both words are spoken so as to cover the other party's words, both influences are great. Also, if the conversation has long and irregular interruptions, it can be said that its influence is small.
- “Mimikuri” is calculated based on the number of times and time the user imitates the other person's words, gestures and gestures during the conversation. Usually, if you are crazy about conversation and are in the right wavelength or sympathize with each other, you tend to imitate each other's gestures, hand gestures, and words. It can be said that they are in sync with each other.
- the amount of activity is calculated from the amount of gestures and the intensity of body movement. It can be seen that the greater the “activity” value, the more interested and interested in the other person's story.
- Consistency is calculated from the prosody of the utterance, the amount of fluctuation of the gesture, and the fluctuation of the pitch, loudness and rhythm of the speaking voice. It can be seen that the greater the “consistency” value, the more concentrated the spirit is, and the smaller the value, the more emotional.
- Such an emotion signal can be calculated from sensor data detected by, for example, a sensor device (a camera sensor, a microphone, a gyro sensor, an acceleration sensor, a geomagnetic sensor, or the like) worn by the user.
- a sensor device a camera sensor, a microphone, a gyro sensor, an acceleration sensor, a geomagnetic sensor, or the like
- the system recognizes the state of communication based on these emotion signals, and the ideal communication state according to the purpose of communication, the social position of the user, the relationship of the interlocutor, etc., that is, the ideal emotion signal. Advise the user to make the status appear.
- the information processing system when the user A is negotiating with the user B, acquires an emotion signal detected from at least one of the user A and the user B, Recognize the state. Next, the information processing system compares the ideal communication state (that is, the emotion signal state) in the “negotiation” field with the current emotion signal, and gives advice for constructing ideal communication information from the user terminal 5. Present to user A. For example, when the value of “activity level” is lower than the ideal value, advice such as “Please speak with gestures” is presented. In addition, the advice to the user A is presented together with a radar chart indicating the values and ideal values of the detected user A's emotion signals (“influence”, “mimikuri”, “activity level”, and “consistency”). It may be broken.
- the information processing system according to the present embodiment can generate advice for constructing an ideal communication state based on a signal indicating the user's emotion.
- FIG. 2 is a diagram illustrating an overall configuration of the information processing system 1 according to the present embodiment.
- the information processing system 1 according to the present embodiment includes a sensor device 10 (1 a, 1 b) that is attached to a user and detects data for calculating an emotion signal, and an emotion signal that calculates an emotion signal.
- the server 2 includes an advice generation server 3 that generates advice based on emotion signals, and a user terminal 5 that feeds back the generated advice to the user.
- the sensor device 10, the emotion signal server 2, the advice generation server 3, and the user terminal 5 can be connected via the network 4.
- the sensor device 10 may have various forms such as a necklace type as shown in FIG. 2, a glasses type, a head-mounted type, a watch type, a bracelet type, and a badge type.
- the sensor device 10 is not limited to a device worn by the user, and may be a device possessed by the user, such as a smartphone or a mobile phone terminal.
- the sensor device 10 may be integrated with the user terminal 5.
- the sensor device 10 detects a user's utterance, loudness, amount of physical activity, whispering, competing, etc. using a camera sensor, a microphone, a gyro sensor, an acceleration sensor, a geomagnetic sensor, and the like, and the detected data (sensor value) Is transmitted to the emotion signal server 2 via the network 4.
- the transmission to the emotion signal server 2 may be performed via a mobile terminal such as a smartphone, a mobile phone terminal, or a tablet terminal that the user has.
- the emotion signal server 2 analyzes data (sensor value) detected by the sensor device 10 and calculates a user's emotion signal (for example, influence, mimicry, activity level, and consistency).
- the calculated emotion signal can be stored in the emotion signal DB 22.
- the emotion signal DB 12 also stores ideal emotion signal values according to the use of this system (for example, types of social communication such as “negotiation”, “listening”, “collaboration”, “guidance”). .
- the advice generation server 3 receives a selection of a use from the user, and performs advice based on the emotion signal value to construct an ideal communication according to the use. Specifically, the advice generation server 3 calls an ideal emotion signal value for the selected application from the emotion signal DB 22 of the emotion signal server 2 and is calculated by the ideal emotion signal value and the emotion signal server 2. Compared with the current emotion signal value, advice is generated from the result, and feedback is made to the user.
- the advice based on the comparison result may be generated based on, for example, a case (rule) stored in the advice information DB 32, or may be generated using a recommendation technique such as machine learning or collaborative filtering.
- the user terminal 5 is an information processing apparatus that presents a result to the user.
- the user terminal 5 notifies the user of advice based on the comparison result transmitted from the advice generation server 3 by display output, audio output, vibration, or the like.
- FIG. 3 is a block diagram illustrating an example of the configuration of the sensor device 10 according to the present embodiment.
- the sensor device 10 according to the present embodiment includes a sensor unit 11, a sensor data extraction unit 12, a control unit 13, a communication unit 14, and a storage unit 15.
- the sensor unit 11 has a function of detecting a user's movement and voice, and can be realized by, for example, a camera sensor, a microphone, a gyro sensor, an acceleration sensor, a geomagnetic sensor, and the like.
- Sensor data extraction unit 12 extracts sensor data (captured image, audio information, etc.) from sensor unit 11.
- the control unit 13 controls each component of the sensor device 10.
- the control unit 13 is realized by a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and a nonvolatile memory.
- the control unit 13 controls the sensor data extracted by the sensor data extraction unit 12 to be temporarily stored in the storage unit 15 and transmitted from the communication unit 14 to the emotion signal server 2.
- the communication unit 14 functions as an I / F (interface) that transmits / receives data to / from an external device in accordance with an instruction from the control unit 13.
- the communication unit 14 connects to the network 4 and transmits the sensor data to the emotion signal server 2 on the network (cloud) in real time.
- the communication unit 14 is connected to the user terminal 5 possessed by the user via a short-distance wireless connection via Wi-Fi (registered trademark), infrared communication, Bluetooth (registered trademark), or the like, and the emotion signal server 2 via the user terminal 5.
- the sensor data may be transmitted in real time.
- the storage unit 15 stores a program for the control unit 13 to execute each process.
- the storage unit 15 also has an area for temporarily storing sensor data.
- FIG. 4 is a block diagram illustrating an example of the configuration of the emotion signal server 2 according to the present embodiment.
- the emotion signal server 2 includes a control unit 20, a communication unit 21, an emotion signal DB 22, and a user information DB 23.
- the control unit 20 controls each component of the emotion signal server 2.
- the control unit 20 is realized by a microcomputer that includes a CPU, a ROM, a RAM, and a nonvolatile memory. As shown in FIG. 4, the control unit 20 according to this embodiment also functions as a data processing unit 20a, a data analysis unit 20b, an emotion signal calculation unit 20c, and a user management unit 20d.
- the data processing unit 20a prepares the sensor data detected by the sensor device 10 received by the communication unit 21, processes the data into a state where it can be analyzed more accurately, and outputs the data to the data analysis unit 20b.
- the data analysis unit 20b analyzes the sensor data arranged by the data processing unit 20a, extracts information such as speech, voice volume, amount of physical activity, gesture gesture, whispering, companion, etc., and an emotion signal calculation unit To 20c.
- the emotion signal calculation unit 20c calculates the user's emotion signal based on the information obtained by the data analysis. More specifically, the emotion signal calculation unit 20c calculates four values such as influence, mimicry, activity level, and consistency as emotion signals. In this embodiment, as an example, the values of these emotion signals are calculated as normalized numerical values between 0 and 1. Hereinafter, calculation of four emotion signals will be described in detail.
- the emotion signal calculation unit 20c for example, the frequency of speech, the length of speech, the strength of voice, and the overlap of speech obtained by analyzing voice data of conversation between the user A and the user B collected by the microphone ( "Impact power" is calculated based on the frequency at which speech is interrupted and the like. For example, the emotion signal calculation unit 20c determines that the influence of the user A is small when the frequency of the speech of the user A is less than that of the user B. The emotion signal calculation unit 20c also determines the length of the speech in the same manner (determines that the “influence” is greater as the length of the speech is longer).
- the emotion signal calculation unit 20c compares the average levels of the voice strengths of the user A and the user B, and determines that the influence of the user A is small when the average level of the voice strength of the user B is larger. . The emotion signal calculation unit 20c determines that the influence of the interrupted user is small when the frequency of interrupting the speech is high when the speech is duplicated.
- the mimicry emotion signal calculation unit 20c agrees with the other party obtained by analyzing the movement of the user's head detected by, for example, a camera, an infrared sensor, an acceleration sensor, a gyro sensor, or the utterance collected by the microphone. "Mimikuri” is calculated on the basis of the action (whispering, reconciliation, repetition of the same word, etc.) indicating. For example, the emotion signal calculation unit 20c determines that the mimicry is high when the same word is acquired in the conversation (appearance establishment is high). In addition, the appearance probability of a specific word (such as “I see”, “Is it true”, “Yes”, “Yes”, etc.) indicating a conflict is measured to determine mimicry.
- a specific word such as “I see”, “Is it true”, “Yes”, “Yes”, etc.
- the emotion signal calculation unit 20c is based on the gesture gesture motion obtained by analyzing the movements of the user's hands and upper body detected by the camera, infrared sensor, acceleration sensor, gyro sensor, etc. Calculate “activity level”. The number of gestures of the user and the movement of the upper body increase when the user is enthusiastic or eager to talk. The emotion signal calculation unit 20c determines the activity level by quantifying the number of gestures and the size of the upper body movement.
- the emotion signal calculation unit 20c determines, for example, the frequency of speech, the length of speech, the strength of voice, the frequency of speech, the speed of speech obtained by analyzing the speech collected by the microsensor. Based on this, “consistency” is calculated. For example, the emotion signal calculation unit 20c measures changes in voice strength and voice pitch (frequency) during conversation in a time series, and based on the deviation and appearance probability, whether the utterance is consistent or modulation occurs. Measure consistency and calculate consistency (high consistency when consistent, low consistency when modulated).
- the emotion signal calculated as described above is stored in the emotion signal DB 22 and is transmitted to the advice generation server 3 via the communication unit 21.
- the user management unit 20d manages user information stored in the user information DB 23. For example, the user management unit 20d performs processing such as registration, deletion, and update of user information in the user information DB 23.
- User information includes, for example, the user's name, age, gender, hobbies / preferences, user ID, and speaking tendency (average speech frequency, voice strength, voice frequency, speaking speed, frequency of gestures, etc.) including.
- the communication unit 21 functions as an I / F (interface) that transmits / receives data to / from an external device in accordance with an instruction from the control unit 20.
- the communication unit 21 is connected to the network 4 and receives sensor data sensed during conversation from the sensor device 10 or transmits a calculated emotion signal to the advice generation server 3.
- the communication unit 21 returns an ideal emotion signal for a predetermined use extracted from the emotion signal DB 22 in response to a request from the advice generation server 3.
- the emotion signal DB 22 stores the emotion signal calculated by the emotion signal calculation unit 20c. Further, the emotion signal DB 22 may store ideal emotion signals for different uses such as “negotiation”, “listening”, “collaboration”, and “guidance”.
- the ideal emotion signal is, for example, an ideal value obtained by a machine learning method or a statistical method using many cases in the application as teacher data.
- the ideal emotion signal may be input to the administrator as a desirable numerical value for each application.
- the user information DB 23 stores information (user information) related to users who are users of this system.
- FIG. 5 is a block diagram illustrating an example of the configuration of the advice generation server 3 according to the present embodiment.
- the advice generation server 3 includes a control unit 30, a communication unit 31, and an advice information DB 32.
- the control unit 30 controls each configuration of the advice generation server 3.
- the control unit 30 is realized by a microcomputer that includes a CPU, a ROM, a RAM, and a nonvolatile memory. As shown in FIG. 5, the control unit 30 according to the present embodiment also functions as an application setting unit 30a, a comparison unit 30b, and an advice generation unit 30c.
- the usage setting unit 30a sets the usage of advice generation.
- the usage setting unit 30 a may set the usage selected by the user on the usage selection screen displayed on the user terminal 5.
- the use of advice generation specifically refers to four categories assumed in social communication between people (or people and robots): “negotiation”, “listening”, “collaboration”, And “instruction” is assumed. “Negotiation” corresponds to situations where, for example, a request for transfer to the boss or improvement of treatment within the company is required, or a situation where a contract is concluded with an outside sales or business partner. Applicable to customers who have complained (complaint response scene).
- collaboration corresponds to, for example, a case of consulting with a partner who performs together on how to proceed with work or duty
- instruction corresponds to, for example, a case of educating a subordinate who repeats lateness.
- the user selects which of the above four categories the communication to be performed on the use selection screen described later. In the middle of a conversation, it is assumed that the type of communication changes dynamically depending on the development of the story. Therefore, the user may select a use each time.
- the comparison unit 30b compares the current emotion signal of the user calculated by the emotion signal server 2 with an ideal emotion signal corresponding to the use set by the use setting unit 30a.
- the ideal emotion signal according to the application may be acquired from the emotion signal DB 22 of the emotion signal server 2, for example, or may be stored in the internal memory of the advice generation server 3. Further, the comparison unit 30b outputs the comparison result to the advice generation unit 30c.
- the advice generation unit 30c refers to the advice information DB 32 based on the comparison result, and generates an advice to the user so as to approach an ideal state.
- the advice information DB 32 stores an advice set for each use, which will be described later with reference to FIG. Each advice set depends on the combination of the value of user A (system use: self) and the value of user B (partner) in each emotional signal, that is, “influence”, “mimikuri”, “activity level” and “consistency” Including advice.
- the communication unit 31 transmits / receives data to / from an external device in accordance with an instruction from the control unit 30.
- the communication unit 31 receives an emotion signal of the user calculated by the emotion signal server 2 or an ideal emotion signal for the set use from the emotion signal server 2, or receives the advice generated by the advice generation unit 30c. Or transmitted to the user terminal 5. Further, the communication unit 31 may transmit the emotion signal of the target user and an ideal emotion signal for the set use together with the advice.
- the advice information DB 32 stores advice information used when the advice generation unit 30c generates advice.
- the advice information may be an advice set for each purpose-specific emotion signal type, which will be described later with reference to FIG.
- Such an advice set is an advice rule generated in advance based on a case.
- the configuration of the advice generation server 3 according to this embodiment has been described above. 2, 4, and 5, the advice generation server 3 and the emotion signal server 2 have been described as separate bodies. However, the present embodiment is not limited to this, and the advice generation server 3 and the emotion signal server 2 are one. May be realized by the same server.
- FIG. 6 is a block diagram illustrating an example of the configuration of the user terminal 5 according to the present embodiment.
- the user terminal 5 includes a control unit 50, a communication unit 51, an operation input unit 52, a display unit 53, and a storage unit 54.
- the user terminal 5 may be realized by a notebook PC (personal computer) as shown in FIG. 1, or may be realized by a tablet terminal, a smartphone, a mobile phone terminal, a desktop PC, or the like.
- the user terminal 5 may be realized by a wearable device such as a glasses-type device, a watch-type device, or a neck device.
- the control unit 50 controls each component of the user terminal 5. Further, the control unit 50 is realized by a microcomputer including a CPU, a ROM, a RAM, and a nonvolatile memory.
- the control unit 50 displays an application selection screen on the display unit 53 or transmits an application selection input from the operation input unit 52 from the communication unit 51 to the advice generation server 3 to give advice according to the application. Control to request generation.
- the control unit 50 controls the display unit 53 to display a display screen including the advice information received from the advice generation server 3 and the current emotion signal value or ideal signal value, and notify the user.
- the communication unit 51 transmits / receives data to / from an external device in accordance with an instruction from the control unit 50. For example, the communication unit 51 transmits use selection information to the advice generation server 3 on the network, or receives advice information from the advice generation server 3.
- the communication unit 51 may have a function of transmitting and receiving data by connecting to an external device present in the vicinity. Specifically, the communication unit 51 can also receive sensor data from the sensor device 10 worn by the user and transmit it to the emotion signal server 2 on the network.
- the operation input unit 52 has a function of detecting a user operation on the user terminal 5 and outputting it to the control unit 50 as operation input information.
- the operation input unit 52 is realized by, for example, a touch panel, and can be integrated with the display unit 53 to detect a user operation on the display screen. Further, the operation input unit 52 may analyze the sound collected by the microphone to realize voice input by the user, or analyze the captured image captured by the camera to realize gesture input by the user. Also good.
- the display unit 53 has a function of displaying various screens such as a menu screen, an operation screen, a usage selection screen, an advice notification screen, and is realized by, for example, a liquid crystal display.
- the display unit 53 corresponds to a lens portion located in front of the user's eyes when worn, and is a lens unit that performs display using, for example, hologram optical technology. Also good. Specific examples of the display screen including the usage selection screen and the advice notification screen to be displayed will be described later with reference to FIGS.
- the storage unit 54 stores a program for the control unit 50 to execute each process. Further, the storage unit 54 according to the present embodiment may temporarily store the advice information received from the advice generation server 3.
- the main configuration of the user terminal 5 has been described above.
- the configuration of the user terminal 5 is not limited to the example illustrated in FIG. 6, and further includes, for example, a sensor unit (camera, microphone, infrared sensor, acceleration sensor, gyro sensor, etc.) and a sensor data extraction unit. You may have.
- the display unit 53 is used as an example of the output unit.
- the present embodiment is not limited to this.
- the user terminal 5 includes a speaker or a vibration unit and outputs advice information. You may perform by audio
- FIG. 7 is a flowchart showing an operation process of the information processing system according to the present embodiment.
- the user terminal 5 displays an opening message and a usage input screen (steps S103 and S106). Specifically, the user terminal 5 displays a usage selection screen on the display unit 53 together with an opening message such as “Please select a usage”.
- FIG. 8 shows an example of an initial screen including a use selection screen according to the present embodiment. As shown in FIG. 8, for example, a usage selection screen 113 is displayed on the upper right of the initial screen 100. On the usage selection screen 113, four usages such as negotiation, listening, collaboration, and guidance can be selected. In the example illustrated in FIG. 8, “listening” is selected as an example.
- an advice display screen 114 is displayed at the lower right of the initial screen 100, and a graph screen 111 on which the value of each emotion signal is displayed is displayed on the left side of the initial screen 100.
- the advice display screen 114 is blank, and the emotion signal value graph is not displayed.
- the details of the scramble ON / OFF button 112 will be described in Modification 3 described later, but in this embodiment, it is always “OFF”.
- the display of the initial screen 100 can be performed based on the display information received from the advice generation server 3.
- an emotion signal acquisition process for the user is performed (step S112).
- the advice generation server 3 selects the emotion signal (specifically, influence, mimicry) calculated based on the user's sensing data acquired from the sensor device 10 by the emotion signal server 2. , Activity level, consistency value) from the emotion signal server 2 in substantially real time.
- user A and user B communicating with each other wear sensor devices 10a and 10b (see FIG. 2), and user A's emotion signal based on user A's sensing data and user B's The emotion signal of the user B based on the sensing data can be acquired.
- a significant emotion signal indicates a value of an emotion signal that can be generated by performing comparison processing with an ideal emotion signal.
- the advice generation server 3 when a significant emotion signal can be acquired (step S115 / Yes), the advice generation server 3 generates advice for constructing an ideal state according to the use based on the emotion signal (step S118). ).
- the specific processing content of the advice generation processing will be described later with reference to FIG.
- the advice generation server 3 transmits the generated advice information to the user terminal 5.
- the user terminal 5 displays the advice information received from the advice generation server 3 and notifies the user (step S121). Specifically, the user terminal 5 displays advice information for approaching an ideal state corresponding to the selected application on the advice display screen 114 shown in FIG.
- the graph screen 111 displays the current user emotion signal values and ideal emotion signal values received from the advice generation server 3 together with the advice information, and presents the current state and ideal state to the user. It can be intuitively grasped. In the case of only the graph screen 111, it is assumed that it is impossible to determine how to respond to the ideal state during communication, and therefore, it is displayed together with specific advice. Specific examples of display of advice information and the like will be described later with reference to FIGS.
- FIG. 9 is a flowchart showing the advice generation process according to the present embodiment.
- the advice generation server 3 receives the “negotiation” advice set from the advice information DB 32 when the use set based on the user's selection is “negotiation” (step S133 / Yes). Extraction is performed, and advice on each emotion signal (specifically, influence, mimicry, activity level, and consistency) is acquired using the advice set (step S136).
- FIG. 10 shows an example of an advice set stored in the advice information DB 32.
- the advice information DB 32 stores an application set 60 for “negotiation”, an advice set 61 for “listening”, an advice set 62 for “collaboration”, and an advice set 63 for “guidance”.
- Each advice set includes “influence” advice information 60a, “Mimikuri” advice information 60b, “activity level” advice information 60c, and “consistency” advice information 60d.
- Each piece of advice information is normalized emotion signal values (influence, mimicry, activity level, consistency) of user A (referred to as “self” in FIG. 10) and user B (referred to as “partner” in FIG. 10). It is linked to the coordinates corresponding to the combination.
- a description will be given using a matrix 600 in which advice is stored at each coordinate.
- the advice generation unit 30c extracts the “negotiation” advice set 60, and first generates “influence” advice.
- the “influence” advice generation processing will be described in detail with reference to FIG.
- the “influence” of the user in communication is, for example, the frequency of speech, the length of speech, the strength of voice, the overlap of speech, the frequency at which speech is interrupted when the speech overlaps, etc. Based on the above, a normalized numerical value between 0 and 1 is calculated.
- FIG. 11 is a diagram for explaining advice generation of “influence” in the case of use “negotiation” according to the present embodiment.
- the ideal state of “influence” is considered to have the same influence on each other. This is because it is not preferable that one of the persons has a great influence in the negotiation. Therefore, the ideal combination of influences of the user A (self) and the user B (partner) is a portion indicated mainly by a region 601 where the influences of both are balanced.
- the ideal value is based on data received from the emotion signal server 2 as an “ideal emotion signal”, for example.
- the advice generation unit 30c refers to the advice information based on the current “influence” values of the user A and the user B and the ideal value, and the user A for approaching the ideal state. Advice can be generated.
- the advice generation unit 30c performs the above-described advice acquisition process for “Mimikuri”, “Activity Level”, and “Consistency” in the same manner, and acquires each advice.
- the advice generation server 3 extracts the “listening” advice set from the advice information DB 32. Similarly, advice on each emotion signal is acquired using the advice set (step S142).
- the advice generation server 3 extracts the advice set of “collaboration” from the advice information DB 32, and the advice set Similarly, advice on each emotion signal is acquired (step S148).
- the advice generation server 3 extracts the “guidance” advice set from the advice information DB 32, and the advice set Similarly, advice on each emotion signal is acquired using (Step S154).
- generation server 3 can acquire the advice according to the selected use, in addition to advice, for example, user A's current emotion signal value (current value) and the ideal value according to the selected use A display is generated (step S157).
- FIG. 12 is a diagram showing an example of the display screen 101 of the application “listening” according to the present embodiment.
- the display screen 101 is an example of a display screen displayed on the display unit 53 of the user terminal 5 in the display process shown in step S121 shown in FIG.
- the display screen 101 includes a graph screen 111a, a usage selection screen 113a, and an advice notification screen 114a.
- “listening” is selected as shown in the application selection screen 113a.
- the current value of each emotion signal of the user A and the ideal value of each emotion signal in the usage “listening” are shown in a radar chart.
- the user A can intuitively grasp that his / her influence is greater than the ideal state, and his / her consistency, activity level, and mimicry are smaller than the ideal state. it can.
- “listening” for example, the state where the influence on the user A side is reduced to talk to the other party (user B) and the person is sympathizing with the other party is ideal.
- the ideal value of Mimikuri is small and large.
- advice notification screen 114a advice information indicating what kind of response the user A should take in order to approach the ideal state from the current state is displayed.
- advice information indicating what kind of response the user A should take in order to approach the ideal state from the current state is displayed.
- advice corresponding to each emotion signal value that is, advice regarding “influence”, advice regarding “Mimikuri”, advice regarding “activity level”, and advice regarding “consistency” are specified.
- the advice generation server 3 can also obtain advice using an advice rule as shown in Table 1 below, for example. Such advice rules are provided for each use and are stored in the advice information DB 32.
- the advice generation server 3 determines whether the current value of the emotion signal of the user A (or the combination of the emotion signal values of the user A and the user B; see the P coordinate shown in FIG. 11) is larger or smaller than the ideal value. Appropriate advice can be obtained from the above advice rules.
- FIG. 13 is a diagram showing an example of the display screen 102 for the usage “negotiation” according to the present embodiment.
- the display screen 102 includes a graph screen 111b, a usage selection screen 113b, and an advice notification screen 114b.
- “negotiation” is selected as shown in the use selection screen 113b.
- the current value of each emotion signal of the user A and the ideal value of each emotion signal in the use “negotiation” are shown in a radar chart.
- the user A can intuitively grasp that his / her mimicry is larger than the ideal state and his influence, consistency, and activity level are smaller than the ideal state. it can.
- the other party is often in a strong position. Therefore, the user A listens to the other party's thoughts without interrupting the other party's story, and the user A's attitude is made consistent.
- the ideal value of influence is small and the ideal value of consistency is large.
- advice information indicating what kind of response the user A should take in order to approach the ideal state from the current state is displayed.
- the advice information according to the present embodiment may be generated according to an advice rule as shown in Table 2 below, for example.
- the information processing system according to the first modification of the present embodiment can generate advice for approaching an ideal state based on the emotion signal of only the user A.
- the partner user B
- the default value for each application is used to generate advice.
- the default value is calculated based on, for example, the opponent's past influence, mimicry, activity level, and consistency values for each application (for example, the highest appearance rate).
- FIG. 14 is a flowchart showing the pre-processing of the advice generation process when only the user A has the sensor device 10. The process shown in FIG. 14 is performed before the advice generation process shown in FIG. 9 when an emotion signal from the partner (user B) cannot be acquired (step S201 / No).
- the advice generation server 3 extracts an advice set of “negotiation”, and influence, mimicry, activity level, and consistency in “negotiation”.
- Each sex default value is set as the value of the other party (step S206).
- the advice generation server 3 extracts an advice set of “listening”, and influence, mimicry, activity level, and consistency in “listening” Each default value is set as the value of the other party (step S212).
- the advice generation server 3 extracts an advice set of “collaboration”, influence, mimicry, activity level, and consistency in “collaboration”. Each default value is set as the value of the other party (step S218).
- the advice generation server 3 extracts an advice set of “guidance”, and influence, mimicry, activity level, and consistency in “guidance”. Each default value is set as the value of the other party (step S224).
- the information processing system according to the second modification of the present embodiment can generate advice for approaching an ideal state based on the emotion signal of only the communication partner (user B).
- the information processing system according to this modification is in a state in which the person (user A) does not have the sensor device 10 and cannot acquire an emotion signal, and therefore the other person's emotion signal is monitored, Compare with the standard value (normal value) of to generate advice.
- a specific description will be given with reference to FIG.
- FIG. 15 is a diagram showing a display screen example according to the second modification of the present embodiment.
- the display screen 103 includes a graph screen 111c, a usage selection screen 113c, and an advice notification screen 114c.
- the value (current value) of the other party's emotion signal and the normal value of the other party are shown in a radar chart.
- the advice generation server 3 compares the other person's emotion signal value with the other party's normal value, and generates advice based on, for example, an advice rule as shown in Table 3 below. Such advice rules exist for each use.
- Table 3 below as shown in the graph screen 111c of FIG. 15, the current “influence” of the opponent is smaller than the normal value, “Mimikuri” is larger than the normal value, and “activity level” is the normal value. And “consistency” is less than normal.
- the information processing system can generate advice based on the emotion signal of the partner (user B) and the normal value of the partner.
- FIG. 16 is a diagram illustrating an example of a display screen according to the third modification of the present embodiment.
- the display screen 104 includes a graph screen 111d, a usage selection screen 113d, and an advice notification screen 114d.
- “listen” is selected as shown in the application selection screen 113d.
- the scramble ON The / OFF button 112d is set to “ON”.
- a display for prompting the user to leave the ideal state is displayed on the graph screen 111d, and an advice for leaving the ideal state is displayed on the advice notification screen 114d.
- the value of the emotion signal of the user A (“your current value” shown in FIG. 16) and the ideal value for the usage “listening” are displayed on the axis of each emotion signal (on the 4th axis).
- the user A objectively grasps what emotion signal is currently being expressed from the user to the other party, and leaves the ideal state so that the other person cannot read the real emotion signal.
- each emotion signal should be strengthened or weakened.
- the “influence” has a current value slightly larger than the ideal value, and therefore an arrow is displayed to further increase the influence so as to further move away from the ideal state.
- “Mimikuri”, “Activity Level”, and “Consistency” are “Mimikuri”, “Activity Level”, and “Consistency”, respectively, so that the current value is slightly smaller than the ideal value. Arrows prompting you to weaken each "consistency” are displayed.
- advice for leaving the ideal state displayed on the advice notification screen 114d is generated by the advice generation server 3 based on, for example, advice rules for each application as shown in Table 4 below.
- the display screen example according to the present modification is not limited to the example shown in FIG.
- a state away from the ideal state may be indicated as the scrambled ideal value.
- FIG. 17 is a diagram showing another display screen example according to this modification.
- the display screen 105 includes a graph screen 111e, a usage selection screen 113e, and an advice notification screen 114e.
- the value of the emotion signal of the user A (“the system user) (“your current value” shown in FIG. 17), the ideal value for the usage “listening”, and the ideal scramble value are shown. Radar chart is displayed.
- the user A objectively grasps what emotion signal is currently being expressed from the user to the other party, and leaves the ideal state so that the other person cannot read the real emotion signal.
- the user A can intuitively grasp how far from the ideal state it should be.
- FIG. 18 is a diagram illustrating another display screen example according to the third modification of the present embodiment.
- the display screen 106 includes a graph screen 111f, a usage selection screen 113f, and an advice notification screen 114f.
- a radar chart indicating the value of the emotion signal of the user B (“current value of the other party” shown in FIG. 18) and the scrambled ideal value for the usage “negotiation” is displayed.
- the user A grasps what emotion signals are currently being expressed from the other party, and in order not to make “negotiation” communication in an ideal state, the other person's emotion signal is set to the scrambled ideal value. It is possible to intuitively recognize that it is necessary to approach.
- the advice notification screen 114f displays advice indicating what kind of response should be taken in order to make the other party's emotion signal the scrambled ideal value.
- the advice displayed on the advice notification screen 114f is based on the emotion signal calculated by the advice generation server 3 based on the sensor data of the user B, for example, for each application as shown in Table 4 below. Generated with reference to a rule.
- the sensor device 10, the emotion signal server 2, the advice generation server are installed in hardware such as the CPU, ROM, and RAM incorporated in the sensor device 10, the emotion signal server 2, the advice generation server 3, or the user terminal 5 described above. 3 or a computer program for exercising the function of the user terminal 5 can be created.
- a computer-readable storage medium storing the computer program is also provided.
- advice and the like are mainly displayed and output from the display unit 53 of the user terminal 5, but it may be extremely difficult to see the display screen during communication. Therefore, it is conceivable that feedback such as presentation of advice to the user is realized by, for example, a head-mounted wearable device instead of the notebook PC as shown in FIG.
- the head-mounted wearable device has, for example, a plurality of vibration units, and four axes of emotion signals as shown in FIG. 8 are assigned to the vibration units arranged in the front, rear, left, and right, respectively. It is possible to inform the user of the situation to be taken and how to deal with it by the vibration of the vibration unit.
- the head-mounted wearable device may be provided with, for example, a bone conduction speaker, and advice may be output as a voice. By outputting through the bone conduction speaker, the user A can obtain advice without looking at the display screen or being known to the communication partner.
- the user terminal 5 that performs feedback by such vibration is not limited to a head-mounted wearable device.
- a bracelet type (arm) having a function of vibrating in four directions (front, back, right, and left), respectively.
- a band) wearable device or a belt-type (trunk band) wearable device may be used.
- this technique can also take the following structures.
- a usage setting unit for setting a usage in which the first user communicates with the second user;
- a communication unit that receives an emotion signal of at least one of the first user and the second user;
- a generation unit that generates advice to the first user,
- a control unit that transmits the generated advice to the client terminal corresponding to the first user via the communication unit;
- An information processing system comprising: (2) The information processing system according to (1), wherein the generation unit generates advice to the first user so that an emotion signal of the first user approaches an ideal state according to the application.
- the information processing unit according to (1) or (2), wherein the generation unit generates advice to the first user based on correspondence information between the state of the emotion signal and advice accumulated for each use. system.
- the generation unit generates the advice to the first user based on a comparison result of comparing the received emotion signal with an emotion signal in an ideal state according to the application, (1) to (1)
- the information processing system according to any one of 3).
- the generation unit is based on a comparison result of comparing a combination value of the current emotion signal of the first user and the current emotion signal of the second user with an emotion signal in an ideal state according to the application.
- the information processing system according to any one of (1) to (4), wherein advice for the first user to approach the ideal state is generated.
- the generation unit is based on a comparison result of comparing a combination value of the current emotion signal of the first user and a default value of the emotion signal of the second user with an emotion signal in an ideal state according to the application.
- the information processing system according to any one of (1) to (4), wherein an advice to the first user for approaching the ideal state is generated.
- the generating unit sets the normal value as an ideal state based on the current emotion signal of the second user and the normal value of the second user according to the application, and the second unit approaches the ideal state.
- the information processing system according to any one of (1) to (4), wherein advice for one user is generated.
- the information processing system wherein the generation unit generates advice to the first user so that the emotion signal of the first user is separated from an ideal state according to the application.
- the information processing system wherein the generation unit generates advice to the first user so that the emotion signal of the first user approaches a non-ideal state according to the application.
- the control unit performs control so as to transmit the emotion signal of the first user or the second user used for generating the advice and the emotion signal in the ideal state together with the generated advice.
- the information processing system according to any one of (9) to (9).
- a selection input unit that accepts selection of an application in which the first user communicates with the second user; Providing advice to the first user based on an ideal state of the emotion signal detected from at least one of the first user and the second user according to the usage selected by the selection input unit
- a communication unit that transmits the selected usage to an external server that receives the advice to the first user generated according to the usage and emotion signal;
- a notification unit for notifying advice to the first user;
- An information processing system comprising: (12)
- the information processing system includes: A detector that detects an emotion signal of at least one of the first user and the second user; The information processing system according to (11), wherein the communication unit transmits the detected emotion signal to the external server.
- the notification unit notifies the first user of advice so that the emotion signal of the first user approaches an ideal state according to the use selected by the selection input unit, (11) or ( The information processing system according to 12).
- the notifying unit notifies the first user of advice so that the emotion signal of the first user leaves the ideal state according to the use selected by the selection input unit, (11) to (11) The information processing system according to any one of 13).
- the notification unit notifies the first user of an advice so that the emotion signal of the first user approaches a non-ideal state according to the use selected by the selection input unit.
- the information processing system according to any one of (13).
- the notification unit notifies the generated advice together with a graph indicating the emotion signal of the first user or the second user used for generating the advice and the emotion signal in the ideal state (11)
- Computer A selection input unit that accepts selection of an application in which the first user communicates with the second user; Providing advice to the first user based on an ideal state of the emotion signal detected from at least one of the first user and the second user according to the usage selected by the selection input unit A communication unit that transmits the selected usage to an external server that receives the advice to the first user generated according to the usage and emotion signal; A notification unit for notifying advice to the first user; A storage medium storing a program for functioning as a computer.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Child & Adolescent Psychology (AREA)
- General Physics & Mathematics (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Telephonic Communication Services (AREA)
Abstract
【課題】ユーザの感情を示すシグナルに基づいて、理想的なコミュニケーション状態を構築するためのアドバイスを生成することが可能な情報処理システム、制御方法、および記憶媒体を提供する。 【解決手段】第1ユーザが第2ユーザとコミュニケーションを行う用途を設定する用途設定部と、前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方の感情シグナルを受信する通信部と、前記受信した感情シグナルの前記用途に応じた理想的な状態に基づいて、前記第1ユーザへのアドバイスを生成する生成部と、前記生成されたアドバイスを、前記通信部を介して前記第1ユーザに対応するクライアント端末に送信する制御部と、を備える、情報処理システム。
Description
本開示は、情報処理システム、制御方法、および記憶媒体に関する。
従来、交渉や会議、営業、プレゼンテーション等の社会的コミュニケーションにおいて、人は相手の様子を伺いながら話を進め、理想的なコミュニケーションの状態を作るが、このようなコミュニケーションの能力は個人の技能による所が多かった。
対話による人とのコミュニケーションを取る際のアドバイスシステムに関しては、例えば下記特許文献1が提案されている。特許文献1に開示されているシステムでは、プレゼンテーション、会議、講習会等における参加者(発表者、受講者)の集中度を検出し、参加者にフィードバックを行う。また、例えば集中度の低い受講者が後方座席に居る際には、発表者に「声を大きくしてください」等のメッセージが表示される。
ここで、人はコミュニケーションの際に、身振り手振りや声の調子、口数の多さ、頷き等により、自身の本当の気持ち(感情)を示すシグナルを出しており、上述した相手の様子を伺いながら話を進める方法では、このような相手の出すシグナルに基づいて相手の感情を把握していることが想定される。
しかしながら、相手のシグナルを感知することが人によっては困難であったり、また、シグナルを把握できても自分の理想とするコミュニケーション状態に近付けるためにどのようなにすればよいかが分からなかったりする場合も想定される。
そこで、本開示では、ユーザの感情を示すシグナルに基づいて、理想的なコミュニケーション状態を構築するためのアドバイスを生成することが可能な情報処理システム、制御方法、および記憶媒体を提案する。
本開示によれば、第1ユーザが第2ユーザとコミュニケーションを行う用途を設定する用途設定部と、前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方の感情シグナルを受信する通信部と、前記受信した感情シグナルの前記用途に応じた理想的な状態に基づいて、前記第1ユーザへのアドバイスを生成する生成部と、前記生成されたアドバイスを、前記通信部を介して前記第1ユーザに対応するクライアント端末に送信する制御部と、を備える、情報処理システムを提案する。
本開示によれば、第1ユーザが第2ユーザとコミュニケーションを行う用途の選択を受付ける選択入力部と、前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方から検出された感情シグナルの、前記選択入力部により選択された用途に応じた理想的な状態に基づいて、前記第1ユーザにアドバイスを生成する外部サーバに前記選択された用途を送信し、前記用途と感情シグナルに応じて生成された前記第1ユーザへのアドバイスを受信する通信部と、前記第1ユーザへのアドバイスを通知する通知部と、を備える、情報処理システムを提案する。
本開示によれば、第1ユーザが第2ユーザとコミュニケーションを行う用途を設定することと、前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方の感情シグナルを通信部により受信することと、前記受信した感情シグナルの前記用途に応じた理想的な状態に基づいて、前記第1ユーザへのアドバイスを生成することと、前記生成されたアドバイスを、前記通信部を介して前記第1ユーザに対応するクライアント端末に送信するよう制御部により制御することと、を含む、制御方法を提案する。
本開示によれば、コンピュータを、第1ユーザが第2ユーザとコミュニケーションを行う用途の選択を受付ける選択入力部と、前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方から検出された感情シグナルの、前記選択入力部により選択された用途に応じた理想的な状態に基づいて、前記第1ユーザにアドバイスを生成する外部サーバに前記選択された用途を送信し、前記用途と感情シグナルに応じて生成された前記第1ユーザへのアドバイスを受信する通信部と、前記第1ユーザへのアドバイスを通知する通知部と、として機能させるためのプログラムが記憶された、記憶媒体を提案する。
以上説明したように本開示によれば、ユーザの感情を示すシグナルに基づいて、理想的なコミュニケーション状態を構築するためのアドバイスを生成することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.構成
2-1.全体構成
2-2.センサ装置
2-3.感情シグナルサーバ
2-4.アドバイス生成サーバ
2-5.ユーザ端末
3.動作処理
3-1.システム動作処理
3-2.アドバイス生成処理
4.表示画面例
5.変形例
5-1.ユーザA(本人)のみがセンサ装置10を有している場合
5-2.ユーザB(相手)のみがセンサ装置10を有している場合
5-3.感情シグナルスクランブル処理
6.まとめ
1.本開示の一実施形態による情報処理システムの概要
2.構成
2-1.全体構成
2-2.センサ装置
2-3.感情シグナルサーバ
2-4.アドバイス生成サーバ
2-5.ユーザ端末
3.動作処理
3-1.システム動作処理
3-2.アドバイス生成処理
4.表示画面例
5.変形例
5-1.ユーザA(本人)のみがセンサ装置10を有している場合
5-2.ユーザB(相手)のみがセンサ装置10を有している場合
5-3.感情シグナルスクランブル処理
6.まとめ
<<1.本開示の一実施形態による情報処理システムの概要>>
まず、本開示の一実施形態による情報処理システムの概要について図1を参照して説明する。図1に示すように、例えば交渉や商談といった社会的コミュニケーションを行っている際、人は自身の感情を示す感情シグナルを表出していることが想定される。感情シグナルは、例えば4つの社会的シグナル、すなわち「影響力」、「ミミクリ(mimicry;模倣)」、「活動レベル」、「一貫性」により定量化され得る。
まず、本開示の一実施形態による情報処理システムの概要について図1を参照して説明する。図1に示すように、例えば交渉や商談といった社会的コミュニケーションを行っている際、人は自身の感情を示す感情シグナルを表出していることが想定される。感情シグナルは、例えば4つの社会的シグナル、すなわち「影響力」、「ミミクリ(mimicry;模倣)」、「活動レベル」、「一貫性」により定量化され得る。
「影響力」は、会話中における話者交代のパターンから算出される。例えばユーザAが一方的に話していたり、ユーザBの話を遮ってユーザAが話し続けていたりする場合、ユーザAの影響力が大きいと言える。また、相手の言葉に被せるようにして双方言葉を発している場合はどちらの影響力も大きい。また、会話に長く不規則な中断がある場合、影響力は小さいと言える。
「ミミクリ」は、会話中においてユーザが相手の言葉や身振り・手振りを真似する回数や時間に基づいて算出される。通常、会話に夢中になり、波長が合っている場合、および共感している場合は、互いの身振り・手振りや言葉を真似し合う傾向があるため、「ミミクリ」の値が大きい程、相手に同調・共感していると言える。
「活動量」は、身振り手振りの量や、身体の動きの激しさから算出される。「活動量」の値が大きい程、相手の話に関心を持ち、興味を示していることが分かる。
「一貫性」は、発話の韻律や身振り手振りの変動量、話している際の声の高さや大きさやリズムの変動から算出される。「一貫性」の値が大きい程、精神が集中していることが分かり、値が小さい程、感情的になっていることが分かる。
このような感情シグナルは、例えばユーザに装着されたセンサ装置(カメラセンサ、マイクロホン、ジャイロセンサ、加速度センサ、および地磁気センサ等)により検知されるセンサデータから算出され得る。
本システムでは、これらの感情シグナルに基づいてコミュニケーションの状態を認識し、コミュニケーションの目的やユーザの社会的な立場、対話者の関係等に応じた理想的なコミュニケーションの状態、すなわち理想的な感情シグナルが表出する状態にするためのアドバイスをユーザに対して行う。
例えば、図1に示すように、ユーザAがユーザBと交渉している際、本開示による情報処理システムは、ユーザAおよびユーザBの少なくともいずれか一方から検知された感情シグナルを取得し、現在の状態を認識する。次いで、情報処理システムは、「交渉」の場における理想的なコミュニケーション状態(すなわち感情シグナル状態)と現在の感情シグナルとを比較し、理想的なコミュニケーション情報を構築するためのアドバイスをユーザ端末5からユーザAに提示する。例えば「活動レベル」の値が理想値よりも低い場合には、「身振り手振りを交えて話して下さい。」といったアドバイスが提示される。また、ユーザAへのアドバイスの提示は、検知したユーザAの感情シグナル(「影響力」、「ミミクリ」、「活動レベル」、および「一貫性」)の値および理想値を示すレーダーチャートと共に行われてもよい。
これによりユーザAは、アドバイスに従って話のテンポや声の調子、身振り手振り、発言量等を調整し、ユーザBとの交渉を理想的な状態に近付けることができる。
以上、本開示の一実施形態による情報処理システムの概要について説明した。本実施形態による情報処理システムによれば、ユーザの感情を示すシグナルに基づいて、理想的なコミュニケーション状態を構築するためのアドバイスを生成することができる。
<<2.基本構成>>
<2-1.全体構成>
続いて、本実施形態による情報処理システムの全体構成について、図2を参照して説明する。図2は、本実施形態による情報処理システム1の全体構成を示す図である。図2に示すように、本実施形態による情報処理システム1は、ユーザに装着され、感情シグナルを算出するためのデータを検知するセンサ装置10(1a、1b)と、感情シグナルを算出する感情シグナルサーバ2と、感情シグナルに基づいてアドバイスを生成するアドバイス生成サーバ3と、生成されたアドバイスをユーザにフィードバックするユーザ端末5とを含む。センサ装置10、感情シグナルサーバ2、アドバイス生成サーバ3、およびユーザ端末5は、ネットワーク4を介して接続され得る。
<2-1.全体構成>
続いて、本実施形態による情報処理システムの全体構成について、図2を参照して説明する。図2は、本実施形態による情報処理システム1の全体構成を示す図である。図2に示すように、本実施形態による情報処理システム1は、ユーザに装着され、感情シグナルを算出するためのデータを検知するセンサ装置10(1a、1b)と、感情シグナルを算出する感情シグナルサーバ2と、感情シグナルに基づいてアドバイスを生成するアドバイス生成サーバ3と、生成されたアドバイスをユーザにフィードバックするユーザ端末5とを含む。センサ装置10、感情シグナルサーバ2、アドバイス生成サーバ3、およびユーザ端末5は、ネットワーク4を介して接続され得る。
センサ装置10は、図2に示すような首掛け型の他、メガネ型、頭部装着型、時計型、腕輪型、バッジ型等、様々な形態が考え得る。また、センサ装置10は、ユーザに装着される装置に限定されず、スマートフォンや携帯電話端末等、ユーザに所持される装置であってもよい。また、センサ装置10はユーザ端末5と一体化していてもよい。センサ装置10は、カメラセンサ、マイクロホン、ジャイロセンサ、加速度センサ、および地磁気センサ等によりユーザの発話、声の大きさ、身体の活動量、頷き、相槌等を検知し、検知したデータ(センサ値)を、ネットワーク4を介して感情シグナルサーバ2へ送信する。なお感情シグナルサーバ2への送信は、ユーザが所持するスマートフォン、携帯電話端末、タブレット端末等のモバイル端末を介して行われてもよい。
感情シグナルサーバ2は、センサ装置10により検知されたデータ(センサ値)を解析して、ユーザの感情シグナル(例えば、影響力、ミミクリ、活動レベル、および一貫性)を算出する。算出した感情シグナルは、感情シグナルDB22に格納され得る。また、感情シグナルDB12には、本システムの用途(例えば「交渉」、「傾聴」、「協業」、「指導」といった社会的コミュニケーションの種類)に応じた理想的な感情シグナル値も格納されている。
アドバイス生成サーバ3は、ユーザからによる用途の選択を受けて、用途に応じた理想的なコミュニケーションを構築するためのアドバイスを感情シグナル値に基づいて行う。具体的には、アドバイス生成サーバ3は、選択された用途向けの理想的な感情シグナル値を感情シグナルサーバ2の感情シグナルDB22から呼び出し、理想的な感情シグナル値と、感情シグナルサーバ2により算出された現在の感情シグナル値とを比較し、その結果からアドバイスを生成し、ユーザにフィードバックする。比較結果に基づくアドバイスは、例えばアドバイス情報DB32に格納されている事例(ルール)に基づいて生成されてもよいし、機械学習や協調フィルタリングといった推薦技術を用いて生成されてもよい。
ユーザ端末5は、ユーザに結果の提示を行う情報処理装置である。ユーザ端末5は、アドバイス生成サーバ3から送信された比較結果に基づくアドバイスを、表示出力、音声出力、または振動等によりユーザに通知する。
以上、本実施形態による情報処理システム1の全体構成について説明した。続いて、本実施形態の情報処理システム1に含まれる各装置の基本構成について、図3~図6を参照して具体的に説明する。
<2-2.センサ装置>
図3は、本実施形態によるセンサ装置10の構成の一例を示すブロック図である。図3に示すように、本実施形態によるセンサ装置10は、センサ部11、センサデータ抽出部12、制御部13、通信部14、および記憶部15を有する。
図3は、本実施形態によるセンサ装置10の構成の一例を示すブロック図である。図3に示すように、本実施形態によるセンサ装置10は、センサ部11、センサデータ抽出部12、制御部13、通信部14、および記憶部15を有する。
センサ部11は、ユーザの動きや音声を検知する機能を有し、例えばカメラセンサ、マイクロホン、ジャイロセンサ、加速度センサ、および地磁気センサ等により実現され得る。
センサデータ抽出部12は、センサ部11からセンサデータ(撮像画像、音声情報等)を抽出する。
制御部13は、センサ装置10の各構成を制御する。また、制御部13は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、および不揮発性メモリを備えたマイクロコンピュータにより実現される。本実施形態による制御部13は、センサデータ抽出部12により抽出されたセンサデータを、記憶部15に一時的に保存し、また、通信部14から感情シグナルサーバ2に送信するよう制御する。
通信部14は、制御部13の指示に従って、外部装置とデータの送受信を行うI/F(インターフェース)として機能する。例えば通信部14は、ネットワーク4に接続し、ネットワーク(クラウド)上の感情シグナルサーバ2にセンサデータをリアルタイムで送信する。なお通信部14は、ユーザが所持するユーザ端末5と、Wi-Fi(登録商標)、赤外線通信、またはBluetooth(登録商標)等により近距離無線接続し、ユーザ端末5を介して感情シグナルサーバ2にセンサデータをリアルタイムで送信するようにしてもよい。
記憶部15は、制御部13が各処理を実行するためのプログラムを格納する。また、記憶部15は、センサデータを一時的に保持する領域も有する。
<2-3.感情シグナルサーバ>
次に、図4を参照して感情シグナルサーバ2の構成について説明する。図4は、本実施形態による感情シグナルサーバ2の構成の一例を示すブロック図である。図4に示すように、感情シグナルサーバ2は、制御部20、通信部21、感情シグナルDB22、およびユーザ情報DB23を有する。
次に、図4を参照して感情シグナルサーバ2の構成について説明する。図4は、本実施形態による感情シグナルサーバ2の構成の一例を示すブロック図である。図4に示すように、感情シグナルサーバ2は、制御部20、通信部21、感情シグナルDB22、およびユーザ情報DB23を有する。
制御部20は、感情シグナルサーバ2の各構成を制御する。また、制御部20は、CPU、ROM、RAM、および不揮発性メモリを備えたマイクロコンピュータにより実現される。本実施形態による制御部20は、図4に示すように、データ処理部20a、データ解析部20b、感情シグナル算出部20c、ユーザ管理部20dとしても機能する。
データ処理部20aは、通信部21により受信した、センサ装置10により検知されたセンサデータを整えて、より正確に解析が行える状態のデータに処理し、データ解析部20bに出力する。データ解析部20bは、データ処理部20aにより整えられたセンサデータの解析を行い、発話、声の大きさ、身体の活動量、身振り手振り、頷き、相槌等の情報を抽出し、感情シグナル算出部20cに出力する。
感情シグナル算出部20cは、データ解析により得られた情報に基づいて、ユーザの感情シグナルを算出する。より具体的には、感情シグナル算出部20cは、感情シグナルとして、影響力、ミミクリ、活動レベル、および一貫性といった4つの値を算出する。なお本実施形態では、一例として、これらの感情シグナルの値を、正規化した0~1の間の数値で算出する。以下、4つの感情シグナルの算出について詳述する。
・影響力
感情シグナル算出部20cは、例えばマイクロホンにより収音されたユーザAとユーザBの会話の音声データの解析により得られた発言の頻度、発言の長さ、声の強度、発言の重複(相手と同時に話してしまうこと)、発言を中断させられた頻度等に基づいて「影響力」を算出する。例えば、感情シグナル算出部20cは、ユーザAの発言の頻度がユーザBに比べて少ない場合、ユーザAの影響力は小さいと判定する。また、感情シグナル算出部20cは、発言の長さについても同様に判定(発言の長さが長い程「影響力」が大きいと判定)する。
感情シグナル算出部20cは、例えばマイクロホンにより収音されたユーザAとユーザBの会話の音声データの解析により得られた発言の頻度、発言の長さ、声の強度、発言の重複(相手と同時に話してしまうこと)、発言を中断させられた頻度等に基づいて「影響力」を算出する。例えば、感情シグナル算出部20cは、ユーザAの発言の頻度がユーザBに比べて少ない場合、ユーザAの影響力は小さいと判定する。また、感情シグナル算出部20cは、発言の長さについても同様に判定(発言の長さが長い程「影響力」が大きいと判定)する。
また、感情シグナル算出部20cは、ユーザAとユーザBの声の強度の平均レベルを比較し、ユーザBの声の強度の平均レベルの方が大きい場合、ユーザAの影響力は小さいと判定する。また、感情シグナル算出部20cは、発言が重複した際に発言を中断する頻度が高い場合、中断させられた側のユーザの影響力は小さいと判定する。
・ミミクリ
感情シグナル算出部20cは、例えばカメラ、赤外線センサ、加速度センサ、ジャイロセンサ等により検知されたユーザの頭の動きや、マイクロホンにより収音された発話を解析することで得られた相手に同意を示す動作(頷き、相槌、同じ言葉の繰り返し等)に基づいて「ミミクリ(模倣)」を算出する。例えば、感情シグナル算出部20cは、会話の中で同じ単語が繰り得される(出現確立が高い)場合、ミミクリが高いと判定する。また、相槌を示す特定の単語(「なるほど」「そうですか」「ええ」「はい」等)の出現確率を測定し、ミミクリを判定する。
感情シグナル算出部20cは、例えばカメラ、赤外線センサ、加速度センサ、ジャイロセンサ等により検知されたユーザの頭の動きや、マイクロホンにより収音された発話を解析することで得られた相手に同意を示す動作(頷き、相槌、同じ言葉の繰り返し等)に基づいて「ミミクリ(模倣)」を算出する。例えば、感情シグナル算出部20cは、会話の中で同じ単語が繰り得される(出現確立が高い)場合、ミミクリが高いと判定する。また、相槌を示す特定の単語(「なるほど」「そうですか」「ええ」「はい」等)の出現確率を測定し、ミミクリを判定する。
・活動レベル
感情シグナル算出部20cは、例えばカメラ、赤外線センサ、加速度センサ、ジャイロセンサ等により検知されたユーザの両手や上半身頭の動きを解析することで得られた身振り手振りの動作に基づいて、「活動レベル」を算出する。ユーザの身振り手振りの回数や上半身の動きは、ユーザが話に夢中になったり、熱心になったりしている際に増える。感情シグナル算出部20cは、身振り手振りの回数や、上半身の動きの大きさを数値化し、活動レベルを判定する。
感情シグナル算出部20cは、例えばカメラ、赤外線センサ、加速度センサ、ジャイロセンサ等により検知されたユーザの両手や上半身頭の動きを解析することで得られた身振り手振りの動作に基づいて、「活動レベル」を算出する。ユーザの身振り手振りの回数や上半身の動きは、ユーザが話に夢中になったり、熱心になったりしている際に増える。感情シグナル算出部20cは、身振り手振りの回数や、上半身の動きの大きさを数値化し、活動レベルを判定する。
・一貫性
感情シグナル算出部20cは、例えばマイクロセンサにより収音された発話を解析することで得られる、発言の頻度、発言の長さ、声の強度、声の周波数、発言の速さ等に基づいて、「一貫性」を算出する。例えば、感情シグナル算出部20cは、会話中における声の強度の変動や声のピッチ(周波数)の変動を時系列で測定し、その偏差と出現確率から、発言が一貫しているか、変調を来しているかを測定し、一貫性を算出する(一貫している場合は一貫性が高く、変調を来している場合は一貫性が低い)。
感情シグナル算出部20cは、例えばマイクロセンサにより収音された発話を解析することで得られる、発言の頻度、発言の長さ、声の強度、声の周波数、発言の速さ等に基づいて、「一貫性」を算出する。例えば、感情シグナル算出部20cは、会話中における声の強度の変動や声のピッチ(周波数)の変動を時系列で測定し、その偏差と出現確率から、発言が一貫しているか、変調を来しているかを測定し、一貫性を算出する(一貫している場合は一貫性が高く、変調を来している場合は一貫性が低い)。
以上説明したように算出された感情シグナルは、感情シグナルDB22に格納され、また、通信部21を介してアドバイス生成サーバ3に送信される。
ユーザ管理部20dは、ユーザ情報DB23に格納されるユーザ情報の管理を行う。例えばユーザ管理部20dは、ユーザ情報DB23へのユーザ情報の登録、削除、更新等の処理を行う。ユーザ情報は、例えばユーザの氏名、年齢、性別、趣味・嗜好、ユーザID、および話し方の傾向(平均的な発言頻度、声の強度、声の周波数、発言の早さ、身振り手振りの頻度等)を含む。
通信部21は、制御部20の指示に従って、外部装置とデータの送受信を行うI/F(インターフェース)として機能する。例えば通信部21は、ネットワーク4に接続し、センサ装置10から会話中にセンシングされたセンサデータを受信したり、算出された感情シグナルをアドバイス生成サーバ3に送信したりする。また、通信部21は、アドバイス生成サーバ3からの要求に応じて、感情シグナルDB22から抽出された所定用途の理想的な感情シグナルを返信する。
感情シグナルDB22は、感情シグナル算出部20cにより算出された感情シグナルを格納する。また、感情シグナルDB22は、「交渉」「傾聴」「協業」「指導」といった用途別の理想的な感情シグナルを格納してもよい。理想的な感情シグナルとは、例えばその用途における多くの事例を教師データとして機械学習手法または統計手法により得られた理想値である。また、理想的な感情シグナルは、用途毎に望ましい数値として管理者に入力されたものであってもよい。
ユーザ情報DB23は、本システムの利用者であるユーザに関する情報(ユーザ情報)を格納する。
<2-4.アドバイス生成サーバ>
続いて、本実施形態によるアドバイス生成サーバ3の構成について図5を参照して説明する。図5は、本実施形態によるアドバイス生成サーバ3の構成の一例を示すブロック図である。図5に示すように、アドバイス生成サーバ3は、制御部30、通信部31、およびアドバイス情報DB32を有する。
続いて、本実施形態によるアドバイス生成サーバ3の構成について図5を参照して説明する。図5は、本実施形態によるアドバイス生成サーバ3の構成の一例を示すブロック図である。図5に示すように、アドバイス生成サーバ3は、制御部30、通信部31、およびアドバイス情報DB32を有する。
制御部30は、アドバイス生成サーバ3の各構成を制御する。また、制御部30は、CPU、ROM、RAM、および不揮発性メモリを備えたマイクロコンピュータにより実現される。本実施形態による制御部30は、図5に示すように、用途設定部30a、比較部30b、およびアドバイス生成部30cとしても機能する。
用途設定部30aは、アドバイス生成の用途を設定する。例えば用途設定部30aは、ユーザ端末5で表示された用途選択画面においてユーザにより選択された用途を設定してもよい。本明細書において、アドバイス生成の用途とは、具体的には人と人(或いは人とロボット)の社会的コミュニケーションにおいて想定される4つの分類、すなわち「交渉」、「傾聴」、「協業」、および「指導」が想定される。「交渉」は、例えば社内で上司に異動の申し出や待遇の改善を要求する場面や、社外での営業または取引先との契約締結の場面が該当し、「傾聴」は、例えば商品の不具合に苦情を言って来たお客様の応対をする場面(クレーム応対場面)が該当する。また、「協業」は、例えば仕事や当番の進め方について一緒に行うパートナーと相談する場面、「指導」は、例えば遅刻を繰り返す部下を教育する場面が該当する。
ユーザは、後述する用途選択画面において、これから行うコミュニケーションは上記4つの分類のいずれに該当するかを選択する。なお会話の途中で、話の展開によってはコミュニケーションの種類が動的に変わることも想定されるので、ユーザにより都度用途選択を行えるようにしてもよい。
比較部30bは、感情シグナルサーバ2により算出されたユーザの現在の感情シグナルと、用途設定部30aにより設定された用途に応じた理想的な感情シグナルとを比較する。用途に応じた理想的な感情シグナルは、例えば感情シグナルサーバ2の感情シグナルDB22から取得されてもよいし、アドバイス生成サーバ3の内部メモリに記憶されていてもよい。また、比較部30bは、比較結果をアドバイス生成部30cに出力する。
アドバイス生成部30cは、比較結果に基づき、アドバイス情報DB32を参照して、理想的な状態に近付くようユーザへのアドバイスを生成する。アドバイス情報DB32には、図10を参照して後述する用途別のアドバイスセットが格納されている。各アドバイスセットは、各感情シグナル、すなわち「影響力」「ミミクリ」「活動レベル」および「一貫性」における、ユーザA(システム利用:自分)の値とユーザB(相手)の値の組み合わせに応じたアドバイスを含む。
通信部31は、制御部30の指示に従って、外部装置とデータの送受信を行う。例えば通信部31は、感情シグナルサーバ2により算出されたユーザの感情シグナルや、設定された用途の理想的な感情シグナルを感情シグナルサーバ2から受信したり、アドバイス生成部30cにより生成されたアドバイスをユーザ端末5に送信したりする。また、通信部31は、アドバイスと共に、対象ユーザの感情シグナルおよび設定された用途の理想的な感情シグナルを送信してもよい。
アドバイス情報DB32は、アドバイス生成部30cがアドバイスを生成する際に利用されるアドバイス情報を格納する。アドバイス情報は、図10を参照して後述する用途別の感情シグナル種別毎のアドバイスセットであってもよい。かかるアドバイスセットは、事例に基づいて予め生成されたアドバイスルールである。
以上、本実施形態によるアドバイス生成サーバ3の構成について説明した。なお図2、図4、および図5では、アドバイス生成サーバ3および感情シグナルサーバ2を別体として説明したが、本実施形態はこれに限定されず、アドバイス生成サーバ3および感情シグナルサーバ2が一のサーバ(同一体)により実現されてもよい。
<2-5.ユーザ端末>
続いて、本実施形態によるユーザ端末5の構成について図6を参照して説明する。図6は、本実施形態によるユーザ端末5の構成の一例を示すブロック図である。図6に示すように、ユーザ端末5は、制御部50、通信部51、操作入力部52、表示部53、および記憶部54を有する。また、ユーザ端末5は、図1に示すようにノートPC(パーソナルコンピュータ)により実現されていてもよいし、タブレット端末、スマートフォン、携帯電話端末、デスクトップ型PC等により実現されていてもよい。或いは、ユーザ端末5は、メガネ型デバイス、時計型デバイス、首掛けデバイス等のウェアラブルデバイスにより実現されていてもよい。
続いて、本実施形態によるユーザ端末5の構成について図6を参照して説明する。図6は、本実施形態によるユーザ端末5の構成の一例を示すブロック図である。図6に示すように、ユーザ端末5は、制御部50、通信部51、操作入力部52、表示部53、および記憶部54を有する。また、ユーザ端末5は、図1に示すようにノートPC(パーソナルコンピュータ)により実現されていてもよいし、タブレット端末、スマートフォン、携帯電話端末、デスクトップ型PC等により実現されていてもよい。或いは、ユーザ端末5は、メガネ型デバイス、時計型デバイス、首掛けデバイス等のウェアラブルデバイスにより実現されていてもよい。
制御部50は、ユーザ端末5の各構成を制御する。また、制御部50は、CPU、ROM、RAM、および不揮発性メモリを備えたマイクロコンピュータにより実現される。本実施形態による制御部50は、表示部53に用途選択画面を表示したり、操作入力部52から入力された用途選択を通信部51からアドバイス生成サーバ3に送信して用途に応じたアドバイスの生成を要求するよう制御したりする。また、制御部50は、アドバイス生成サーバ3から受信したアドバイス情報、および現在の感情シグナル値や理想的なシグナル値を含む表示画面を表示部53に表示して、ユーザに通知するよう制御する。
通信部51は、制御部50の指示に従って、外部装置とデータの送受信を行う。例えば通信部51は、用途選択情報をネットワーク上のアドバイス生成サーバ3に送信したり、アドバイス生成サーバ3からアドバイス情報等を受信したりする。また、通信部51は、近傍に存在する外部装置と接続してデータの送受信を行う機能を有していてもよい。具体的には、通信部51は、ユーザが装着するセンサ装置10からセンサデータを受信し、ネットワーク上の感情シグナルサーバ2に送信することも可能である。
操作入力部52は、ユーザ端末5に対するユーザ操作を検出し、操作入力情報として制御部50に出力する機能を有する。操作入力部52は、例えばタッチパネルにより実現され、表示部53と一体化されることで、表示画面に対するユーザ操作を検出することが可能である。また、操作入力部52は、マイクロホンにより収音された音声を解析してユーザによる音声入力を実現してもよいし、カメラにより撮像された撮像画像を解析してユーザによるジェスチャー入力を実現してもよい。
表示部53は、メニュー画面、操作画面、用途選択画面、アドバイス通知画面等の各種画面を表示する機能を有し、例えば液晶ディスプレイにより実現される。また、ユーザ端末5がメガネ型デバイスにより実現されている場合、表示部53は、装着時にユーザの眼前に位置するレンズ部分に相当し、例えばホログラム光学技術を用いて表示を行うレンズ部であってもよい。表示される用途選択画面やアドバイス通知画面を含む表示画面の具体的については、図8~図18を参照して後述する。
記憶部54は、制御部50が各処理を実行するためのプログラムを格納する。また、本実施形態による記憶部54は、アドバイス生成サーバ3から受信したアドバイス情報等を一時的に記憶してもよい。
以上、ユーザ端末5の主要な構成について説明した。なおユーザ端末5の構成は、図6に示す例に限定されず、例えばさらにセンサ部(カメラ、マイクロホン、赤外線センサ、加速度センサ、ジャイロセンサ等)およびセンサデータ抽出部を備え、センサ装置10の機能を有してもよい。また、図6に示す構成では、出力部の一例として表示部53を用いたが、本実施形態はこれに限定されず、例えばユーザ端末5は、スピーカまたは振動部を備え、アドバイス情報の出力を音声出力または振動出力により行ってもよい。
<<3.動作処理>>
<3-1.システム動作処理>
次に、本実施形態による情報処理システムの動作処理について図7を参照して説明する。図7は、本実施形態による情報処理システムの動作処理を示すフローチャートである。
<3-1.システム動作処理>
次に、本実施形態による情報処理システムの動作処理について図7を参照して説明する。図7は、本実施形態による情報処理システムの動作処理を示すフローチャートである。
図7に示すように、ユーザ端末5は、オープニングメッセージの表示と、用途入力画面の表示を行う(ステップS103、S106)。具体的にはユーザ端末5は、表示部53に、「用途を選択してください」といったオープニングメッセージと共に、用途選択画面を表示する。ここで、図8に、本実施形態による用途選択画面を含む初期画面例を示す。図8に示すように、例えば初期画面100の右上に、用途選択画面113が表示されている。用途選択画面113では、交渉、傾聴、協業、指導といった4つの用途を選択し得る。図8に示す例では、一例として「傾聴」が選択されている。また、初期画面100の右下には、アドバイス表示画面114が表示され、初期画面100の左側には、各感情シグナルの値が表示されるグラフ画面111が表示されている。ここではまだ用途が選択された段階であるため、アドバイス表示画面114は空欄であって、感情シグナル値のグラフも表示されていない。また、スクランブルON/OFFボタン112の詳細に関しては後述する変形例3において説明するが、本実施形態では常時「OFF」になっている。かかる初期画面100の表示は、アドバイス生成サーバ3から受信した表示情報に基づいて行われ得る。
次いで、用途選択画面113で用途が選択(入力)されると(ステップS109/Yes)、ユーザの感情シグナルの取得処理が行われる(ステップS112)。具体的には、アドバイス生成サーバ3は、用途が選択されると、感情シグナルサーバ2がセンサ装置10から取得したユーザのセンシングデータに基づいて算出した感情シグナル(具体的には、影響力、ミミクリ、活動レベル、一貫性の値)を略リアルタイムで感情シグナルサーバ2から取得する。本実施形態では、一例としてコミュニケーションを行っているユーザAとユーザBがそれぞれセンサ装置10a、10bを装着し(図2参照)、ユーザAのセンシングデータに基づくユーザAの感情シグナルと、ユーザBのセンシングデータに基づくユーザBの感情シグナルが取得され得る。
上記感情シグナルの取得(ステップS112)は、有意な感情シグナルが取得できるまでの繰り返される(ステップS115)。有意な感情シグナルとは、理想的な感情シグナルと比較処理してアドバイス生成を行うことができる感情シグナルの値を示す。
続いて、有意な感情シグナルが取得できると(ステップS115/Yes)、アドバイス生成サーバ3は、感情シグナルに基づいて、用途に応じた理想的な状態を構築するためのアドバイスを生成する(ステップS118)。アドバイス生成処理の具体的な処理内容については、図9を参照して後述する。アドバイス生成サーバ3は、生成したアドバイス情報をユーザ端末5に送信する。
そして、ユーザ端末5は、アドバイス生成サーバ3から受信したアドバイス情報を表示し、ユーザに通知する(ステップS121)。具体的には、ユーザ端末5は、図8に示すアドバイス表示画面114に、選択された用途に応じた理想的な状態に近付くためのアドバイス情報を表示する。また、グラフ画面111には、アドバイス情報と共にアドバイス生成サーバ3から受信した現在のユーザの各感情シグナルの値および理想的な各感情シグナルの値を表示し、現状の状態および理想の状態をユーザに直感的に把握させることができる。グラフ画面111のみの場合、コミュニケーション中にどのように対応したら理想状態に近付けるか判断できないことも想定されるため、具体的なアドバイスと共に表示される。アドバイス情報等の具体的な表示例については、図12~図13を参照して後述する。
<3-2.アドバイス生成処理>
次に、上記S118に示すアドバイス生成サーバ3によるアドバイス生成処理について図9を参照して具体的に説明する。図9は、本実施形態によるアドバイス生成処理を示すフローチャートである。
次に、上記S118に示すアドバイス生成サーバ3によるアドバイス生成処理について図9を参照して具体的に説明する。図9は、本実施形態によるアドバイス生成処理を示すフローチャートである。
図9に示すように、まず、アドバイス生成サーバ3は、ユーザの選択に基づいて設定された用途が「交渉」である場合(ステップS133/Yes)、アドバイス情報DB32から「交渉」のアドバイスセットを抽出し、当該アドバイスセットを用いて各感情シグナル(具体的には影響力、ミミクリ、活動レベル、および一貫性)におけるアドバイスを取得する(ステップS136)。ここで、図10に、アドバイス情報DB32に格納されるアドバイスセットの一例を示す。
アドバイス情報DB32には、図10に示すように、用途「交渉」のアドバイスセット60、「傾聴」のアドバイスセット61、「協業」のアドバイスセット62、「指導」のアドバイスセット63が格納される。各アドバイスセットは、「影響力」のアドバイス情報60a、「ミミクリ」のアドバイス情報60b、「活動レベル」のアドバイス情報60c、「一貫性」のアドバイス情報60dを含む。各アドバイス情報は、ユーザA(図10では「自分」と称す)とユーザB(図10では「相手」と称す)の正規化された感情シグナル値(影響力、ミミクリ、活動レベル、一貫性)の組み合わせに対応する座標に紐付けられる。ここでは一例として、アドバイスが各座標に格納されたマトリクス600を用いて説明する。
用途設定部30aにより用途が「交渉」と設定された場合、アドバイス生成部30cは、「交渉」のアドバイスセット60を抽出し、まずはそのうちの「影響力」のアドバイスを生成する。以下、「影響力」のアドバイス生成処理について図11を参照して具体的に説明する。なお本実施形態においてコミュニケーションにおけるユーザの「影響力」は、上述したように例えば発言の頻度、発言の長さ、声の強度、発言の重複、発言が重複した時に発言を中断させられた頻度等に基づいて、正規化した0~1の間の数値で算出される。
図11は、本実施形態による用途「交渉」の場合における「影響力」のアドバイス生成について説明する図である。用途が「交渉」の場合における「影響力」の理想的な状態は、相互に同じ様な影響力を持つ状態と考えられる。交渉においては、どちらか一方の人物が大きな影響力を与えている状態好ましくないためである。したがって、ユーザA(自分)とユーザB(相手)の理想的な影響力の組み合わせは、主に双方の影響力が均衡している領域601で示される部分となる。なお、かかる理想値は、「理想的な感情シグナル」として例えば感情シグナルサーバ2から受信されたデータに基づくものである。
しかしながら、図11に示すように、例えばユーザA(自分)の影響力(X)が0.75で、ユーザB(相手)の影響力(Y)が0.25の場合、両者の影響力の組み合わせはP座標となり、理想の状態から外れてしまう。この場合、相手の影響力をユーザAが強制的に変えることは出来ないため、ユーザAは自らの影響力を下げるよう行動することで、両者の影響力が均衡する理想的な状態に近付けることができる。P座標からは、例えば「(相手の言う事を)遮らず、自由に話させてください」というように、自らの影響力を下げる行動を指示するアドバイスが取得される。このようにして、アドバイス生成部30cは、ユーザAとユーザBの現在の「影響力」の値と、理想値に基づいて、アドバイス情報を参照し、理想的な状態に近付けるためのユーザAに対するアドバイスを生成することができる。
アドバイス生成部30cは、以上説明したアドバイス取得処理を、「ミミクリ」、「活動レベル」、および「一貫性」についても同様に行い、それぞれのアドバイスを取得する。
次いで、図9に戻り、アドバイス生成サーバ3は、ユーザの選択に基づいて設定された用途が「傾聴」である場合(ステップS139/Yes)、アドバイス情報DB32から「傾聴」のアドバイスセットを抽出し、当該アドバイスセットを用いて同様に各感情シグナルにおけるアドバイスを取得する(ステップS142)。
次に、アドバイス生成サーバ3は、ユーザの選択に基づいて設定された用途が「協業」である場合(ステップS145/Yes)、アドバイス情報DB32から「協業」のアドバイスセットを抽出し、当該アドバイスセットを用いて同様に各感情シグナルにおけるアドバイスを取得する(ステップS148)。
続いて、アドバイス生成サーバ3は、ユーザの選択に基づいて設定された用途が「指導」である場合(ステップS151/Yes)、アドバイス情報DB32から「指導」のアドバイスセットを抽出し、当該アドバイスセットを用いて同様に各感情シグナルにおけるアドバイスを取得する(ステップS154)。
そして、アドバイス生成サーバ3は、選択された用途に応じたアドバイスが取得できると、アドバイスの他、例えばユーザAの現在の感情シグナル値(現在値)と、選択された用途に応じた理想値の表示を生成する(ステップS157)。
以上、本実施形態によるアドバイス生成処理について詳細に説明した。
<<4.表示画面例>>
次に、本実施形態によるアドバイスおよび各感情シグナルの現在値・理想値を含む表示画面例について、図12~図13を用いて説明する。
次に、本実施形態によるアドバイスおよび各感情シグナルの現在値・理想値を含む表示画面例について、図12~図13を用いて説明する。
(表示例1)
図12は、本実施形態による用途「傾聴」の表示画面101の一例を示す図である。表示画面101は、図7に示すステップS121に示す表示処理において、ユーザ端末5の表示部53に表示される表示画面の一例である。図12に示すように、表示画面101は、グラフ画面111aと、用途選択画面113aと、アドバイス通知画面114aとを含む。図12に示す例では、用途選択画面113aで示されるように、「傾聴」が選択されている。
図12は、本実施形態による用途「傾聴」の表示画面101の一例を示す図である。表示画面101は、図7に示すステップS121に示す表示処理において、ユーザ端末5の表示部53に表示される表示画面の一例である。図12に示すように、表示画面101は、グラフ画面111aと、用途選択画面113aと、アドバイス通知画面114aとを含む。図12に示す例では、用途選択画面113aで示されるように、「傾聴」が選択されている。
グラフ画面111aでは、ユーザAの各感情シグナルの現在値と用途「傾聴」における各感情シグナルの理想値がレーダーチャートで示されている。グラフ画面111aを見ることで、ユーザAは、自身の影響力が理想の状態よりも大きく、自身の一貫性、活動レベル、およびミミクリは理想の状態よりも小さいことを直感的に把握することができる。「傾聴」の場合、例えばユーザA側の影響力を少なくして相手(ユーザB)に話して貰い、さらに相手に共感していることを示す状態が理想となるため、影響力の理想値が小さく、ミミクリの理想値が大きく示される。
また、アドバイス通知画面114aでは、現状から理想的な状態に近付くためにユーザAがどのような対応を行えば良いかを示すアドバイス情報が表示されている。アドバイス情報は、各感情シグナル値に応じたアドバイス、すなわち「影響力」に関するアドバイス、「ミミクリ」に関するアドバイス、「活動レベル」に関するアドバイス、および「一貫性」に関するアドバイスが夫々明示される。ここで、アドバイス生成サーバ3は、例えば下記表1に示すようなアドバイスルールを用いてアドバイスを取得することも可能である。かかるアドバイスルールは、用途別に設けられ、アドバイス情報DB32に格納される。
これにより、アドバイス生成サーバ3は、ユーザAの感情シグナルの現在値(或いはユーザAとユーザBの感情シグナル値の組み合わせ;図11に示すP座標参照)が理想値より大きいか小さいかに応じて、上記アドバイスルールから適切なアドバイスを取得することができる。
(表示例2)
図13は、本実施形態による用途「交渉」の表示画面102の一例を示す図である。図13に示すように、表示画面102は、グラフ画面111bと、用途選択画面113bと、アドバイス通知画面114bとを含む。図13に示す例では、用途選択画面113bで示されるように、「交渉」が選択されている。
図13は、本実施形態による用途「交渉」の表示画面102の一例を示す図である。図13に示すように、表示画面102は、グラフ画面111bと、用途選択画面113bと、アドバイス通知画面114bとを含む。図13に示す例では、用途選択画面113bで示されるように、「交渉」が選択されている。
グラフ画面111bでは、ユーザAの各感情シグナルの現在値と用途「交渉」における各感情シグナルの理想値がレーダーチャートで示されている。グラフ画面111bを見ることで、ユーザAは、自身のミミクリが理想の状態よりも大きく、自身の影響力、一貫性、および活動レベルは理想の状態よりも小さいことを直感的に把握することができる。「交渉」の場合、相手が強い立場の場合が多いため、ユーザA側からは相手の話を遮らずに相手の考えを聞き出し、さらに、ユーザAの態度に一貫性を持たせることで、相手に納得してもらうことが理想となるため、影響力の理想値が小さく、一貫性の理想値が大きく示される。
また、アドバイス通知画面114bでは、現状から理想的な状態に近付くためにユーザAがどのような対応を行えば良いかを示すアドバイス情報が表示されている。本実施形態によるアドバイス情報は、例えば下記表2に示すようなアドバイスルールに従って生成されてもよい。
<<5.変形例>>
以上説明した実施形態では、ユーザAおよびユーザBの両方がセンサ装置10を有し、両ユーザの感情シグナルを取得できる場合について説明したが、本実施形態はこれに限定されず、いずれか一方のユーザのみがセンサ装置10を有していてもよい。以下、システム利用者であるユーザA本人のみがセンサ装置10を有している場合と、コミュニケーション相手であるユーザBのみがセンサ装置10を有している場合について、それぞれ説明する。
以上説明した実施形態では、ユーザAおよびユーザBの両方がセンサ装置10を有し、両ユーザの感情シグナルを取得できる場合について説明したが、本実施形態はこれに限定されず、いずれか一方のユーザのみがセンサ装置10を有していてもよい。以下、システム利用者であるユーザA本人のみがセンサ装置10を有している場合と、コミュニケーション相手であるユーザBのみがセンサ装置10を有している場合について、それぞれ説明する。
<5-1.ユーザA(本人)のみがセンサ装置10を有している場合>
本実施形態の変形例1による情報処理システムは、ユーザAのみの感情シグナルに基づいて、理想の状態に近付けるためのアドバイスを生成することが可能である。具体的には、本変形例による情報処理システムは、相手(ユーザB)がセンサ装置10を有さず、感情シグナルが取得できない状態であるため、用途毎のDefault値を採用してアドバイスを生成する。Default値は、例えば用途別に相手の過去の影響力、ミミクリ、活動レベル、および一貫性の値に基づいて算出される(例えば出現率の一番高い値等)。以下、図14を参照して具体的に説明する。
本実施形態の変形例1による情報処理システムは、ユーザAのみの感情シグナルに基づいて、理想の状態に近付けるためのアドバイスを生成することが可能である。具体的には、本変形例による情報処理システムは、相手(ユーザB)がセンサ装置10を有さず、感情シグナルが取得できない状態であるため、用途毎のDefault値を採用してアドバイスを生成する。Default値は、例えば用途別に相手の過去の影響力、ミミクリ、活動レベル、および一貫性の値に基づいて算出される(例えば出現率の一番高い値等)。以下、図14を参照して具体的に説明する。
図14は、ユーザAのみがセンサ装置10を有している場合におけるアドバイス生成処理の事前処理について示すフローチャートである。図14に示す処理は、相手(ユーザB)からの感情シグナルが取得出来なかった場合に(ステップS201/No)、図9に示すアドバイス生成処理の前に実施される。
この場合、アドバイス生成サーバ3は、設定された用途が「交渉」の場合(ステップS203/Yes)、「交渉」のアドバイスセットを抽出し、「交渉」における影響力、ミミクリ、活動レベル、および一貫性の各Default値を相手の値としてセットする(ステップS206)。
また、アドバイス生成サーバ3は、設定された用途が「傾聴」の場合(ステップS209/Yes)、「傾聴」のアドバイスセットを抽出し、「傾聴」における影響力、ミミクリ、活動レベル、および一貫性の各Default値を相手の値としてセットする(ステップS212)。
また、アドバイス生成サーバ3は、設定された用途が「協業」の場合(ステップS215/Yes)、「協業」のアドバイスセットを抽出し、「協業」における影響力、ミミクリ、活動レベル、および一貫性の各Default値を相手の値としてセットする(ステップS218)。
また、アドバイス生成サーバ3は、設定された用途が「指導」の場合(ステップS221/Yes)、「指導」のアドバイスセットを抽出し、「指導」における影響力、ミミクリ、活動レベル、および一貫性の各Default値を相手の値としてセットする(ステップS224)。
以上説明したように、本変形例1による情報処理システムは、図10に示すようなアドバイスセットを参照してアドバイスを生成する際、相手(ユーザB)の感情シグナルが取得出来なかった場合は、Default値を採用してアドバイスを生成することが可能である。
<5-2.ユーザB(相手)のみがセンサ装置10を有している場合>
また、本実施形態の変形例2による情報処理システムは、コミュニケーション相手(ユーザB)のみの感情シグナルに基づいて、理想の状態に近付けるためのアドバイスを生成することも可能である。具体的には、本変形例による情報処理システムは、本人(ユーザA)がセンサ装置10を有さず、感情シグナルが取得できない状態であるため、相手の感情シグナルをモニターさせ、用途毎の相手の標準的な値(通常値)と比較して、アドバイスを生成する。以下、図15を参照して具体的に説明する。
また、本実施形態の変形例2による情報処理システムは、コミュニケーション相手(ユーザB)のみの感情シグナルに基づいて、理想の状態に近付けるためのアドバイスを生成することも可能である。具体的には、本変形例による情報処理システムは、本人(ユーザA)がセンサ装置10を有さず、感情シグナルが取得できない状態であるため、相手の感情シグナルをモニターさせ、用途毎の相手の標準的な値(通常値)と比較して、アドバイスを生成する。以下、図15を参照して具体的に説明する。
図15は、本実施形態の変形例2による表示画面例を示す図である。図15に示すように、表示画面103は、グラフ画面111cと、用途選択画面113cと、アドバイス通知画面114cとを含む。ここで、本変形例によるグラフ画面111cでは、相手の感情シグナルの値(現在値)と、相手の通常値がレーダーチャートで示されている。アドバイス生成サーバ3は、相手の感情シグナルの値と、相手の通常値とを比較して、例えば下記表3に示すようなアドバイスルールに基づいてアドバイスを生成する。かかるアドバイスルールは、用途別に存在する。また、下記表3において、図15のグラフ画面111cに示すように、相手の現状の「影響力」は通常値よりも小さく、「ミミクリ」は通常値よりも大きく、「活動レベル」は通常値よりも小さく、「一貫性」は通常値よりも小さい。
以上説明したように、本変形例2による情報処理システムは、相手(ユーザB)の感情シグナルと、相手の通常値とに基づいて、アドバイスを生成することが可能である
<5-3.感情シグナルスクランブル処理>
続いて、本実施形態の変形例3による情報処理システムについて説明する。上記実施形態および各変形例では、より理想的なコミュニケーション状態を構築するためのアドバイスを生成していたが、本実施形態はこれに限定されず、例えば理想的ではないコミュニケーション状態を構築するためのアドバイスを生成することも可能である。例えば、ビジネスの場において相手と駆け引きを行う際に、こちらの考えを相手に読み取られないよう、明示的に自身の考えとは反対の態度を示して本来の意図とは異なる感情シグナルを表出することが有効な場合がある。本実施形態の変形例3では、このように本来の感情シグナルをスクランブルさせて相手に読み取られないようにするためのアドバイスを生成する感情シグナルスクランブル処理を提案する。以下、図16を参照して具体的に説明する。
続いて、本実施形態の変形例3による情報処理システムについて説明する。上記実施形態および各変形例では、より理想的なコミュニケーション状態を構築するためのアドバイスを生成していたが、本実施形態はこれに限定されず、例えば理想的ではないコミュニケーション状態を構築するためのアドバイスを生成することも可能である。例えば、ビジネスの場において相手と駆け引きを行う際に、こちらの考えを相手に読み取られないよう、明示的に自身の考えとは反対の態度を示して本来の意図とは異なる感情シグナルを表出することが有効な場合がある。本実施形態の変形例3では、このように本来の感情シグナルをスクランブルさせて相手に読み取られないようにするためのアドバイスを生成する感情シグナルスクランブル処理を提案する。以下、図16を参照して具体的に説明する。
図16は、本実施形態の変形例3による表示画面例を示す図である。図16に示すように、表示画面104は、グラフ画面111dと、用途選択画面113dと、アドバイス通知画面114dとを含む。図16に示す例では、用途選択画面113dで示されるように、「傾聴」が選択されている。
また、ユーザAは、例えばビジネスの場において相手と駆け引きを行う場合等、自身の本当の感情シグナルを相手に読み取らせないよう、理想的なコミュニケーション状態から離れるためのアドバイスを得たい場合、スクランブルON/OFFボタン112dを「ON」に設定する。これにより、例えばグラフ画面111dでは、理想的な状態から離れることを促す表示が表示され、また、アドバイス通知画面114dには、理想的な状態から離れるためのアドバイスが表示される。
具体的には、図16のグラフ画面111dに示すように、ユーザA(システム利用者本人)の感情シグナルの値(図16に示す「あなたの現在値」)と、用途「傾聴」における理想値を示すレーダーチャートと共に、理想的な状態から離れるよう促す矢印が各感情シグナルの軸上(4軸上)に表示される。これにより、ユーザAは、現在どのような感情シグナルが自身から相手に対して表出されているかを客観的に把握し、相手に本当の感情シグナルが読み取られないよう理想的な状態から離れるためには、各感情シグナルを強めればよいのか或いは弱めればよいのかを直感的に認識することができる。
例えば「影響力」は、現在の値が理想値よりも少し大きいため、理想の状態からさらに離れるよう、影響力をさらに強めるよう促す矢印が表示されている。また、「ミミクリ」、「活動レベル」、および「一貫性」は、それぞれ現在の値が理想値よりも少し小さいため、理想の状態からさらに離れるよう、「ミミクリ」、「活動レベル」、および「一貫性」をそれぞれ弱めるよう促す矢印が表示されている。
また、アドバイス通知画面114dに表示される理想的な状態から離れるためのアドバイスは、アドバイス生成サーバ3により、例えば下記表4に示すような用途別のアドバイスルールに基づいて生成される。
(感情スクランブル時における他の表示画面例)
また、本変形例による表示画面例は、図16に示す例に限定されない。例えば、本変形例では、理想的な状態から離れた状態をスクランブル理想値として示してもよい。以下、図17を参照して説明する。
また、本変形例による表示画面例は、図16に示す例に限定されない。例えば、本変形例では、理想的な状態から離れた状態をスクランブル理想値として示してもよい。以下、図17を参照して説明する。
図17は、本変形例による他の表示画面例を示す図である。図17に示すように、表示画面105は、グラフ画面111eと、用途選択画面113eと、アドバイス通知画面114eとを含む。図17のグラフ画面111eでは、ユーザA(システム利用者本人)の感情シグナルの値(図17に示す「あなたの現在値」)と、用途「傾聴」における理想値と、さらにスクランブル理想値を示すレーダーチャートが表示されている。これにより、ユーザAは、現在どのような感情シグナルが自身から相手に対して表出されているかを客観的に把握し、相手に本当の感情シグナルが読み取られないよう理想的な状態から離れるために、各感情シグナルを強めればよいのか或いは弱めればよいのかを直感的に認識することができる。また、スクランブル理想値が併せて表示されることで、ユーザAは、理想的な状態からどの程度離れればよいかを直感的に把握することができる。
(相手のみがセンサ装置10を有している場合)
また、本変形例は、ユーザAのコミュニケーション相手であるユーザBのみがセンサ装置10を有し、ユーザAがセンサ装置10を有していない場合にも応用することが可能である。以下、図18を参照して説明する。
また、本変形例は、ユーザAのコミュニケーション相手であるユーザBのみがセンサ装置10を有し、ユーザAがセンサ装置10を有していない場合にも応用することが可能である。以下、図18を参照して説明する。
図18は、本実施形態の変形例3による他の表示画面例を示す図である。図18に示すように、表示画面106は、グラフ画面111fと、用途選択画面113fと、アドバイス通知画面114fとを含む。図18のグラフ画面111fでは、ユーザBの感情シグナルの値(図18に示す「相手の現在値」)と、用途「交渉」におけるスクランブル理想値を示すレーダーチャートが表示されている。これにより、ユーザAは、現在どのような感情シグナルが相手から表出されているかを把握し、「交渉」のコミュニケーションを理想的な状態にしないためには、相手の感情シグナルをスクランブル理想値に近付ければよいことを直感的に認識することができる。また、アドバイス通知画面114fには、相手の感情シグナルをスクランブル理想値にさせるためにどのような対応を取ればよいかを示すアドバイスが表示されている。
ここで、アドバイス通知画面114fに表示されているアドバイスは、アドバイス生成サーバ3により、ユーザBのセンサデータに基づいて算出された感情シグナルに基づいて、例えば下記表4に示すような用途別のアドバイスルールを参照して生成される。
<<6.まとめ>>
上述したように、本開示の実施形態による情報処理システムでは、ユーザの感情を示すシグナル(すなわち感情シグナル)に基づいて、理想的なコミュニケーション状態を構築するためのアドバイスを生成することを可能とする。
上述したように、本開示の実施形態による情報処理システムでは、ユーザの感情を示すシグナル(すなわち感情シグナル)に基づいて、理想的なコミュニケーション状態を構築するためのアドバイスを生成することを可能とする。
また、本実施形態による情報処理システムでは、ユーザ本人の感情シグナルとコミュニケーション相手の感情シグナルのうちいずれか一方の感情シグナルしか取得出来なかった場合も、理想的なコミュニケーション状態を構築するためのアドバイスを生成することができる。
また、ユーザ本人の本当の感情シグナルが相手に伝わることが適切ではない状況では、意図的に表出する感情シグナルをスクランブルし、理想的なコミュニケーション状態から離れるためのアドバイスを生成することも可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述したセンサ装置10、感情シグナルサーバ2、アドバイス生成サーバ3、またはユーザ端末5に内蔵されるCPU、ROM、およびRAM等のハードウェアに、センサ装置10、感情シグナルサーバ2、アドバイス生成サーバ3、またはユーザ端末5の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、上述した実施形態および変形例では、主にユーザ端末5の表示部53からアドバイス等が表示出力されていたが、コミュニケーション中に表示画面を見ることが著しく困難な場合もある。そこで、ユーザへのアドバイスの提示等のフィードバックを、図2に示すようなノートPCではなく、例えば頭部装着型のウェアラブルデバイスにより実現することが考えられる。頭部装着型のウェアラブルデバイスには、例えば複数の振動部が搭載され、図8に示すような感情シグナルの4軸が、それぞれ前後左右に配置された振動部に割り当てられ、現在の状況や理想とすべき状況、また、どのように対応すべきかを振動部の振動によってユーザに知らせることができる。例えば、「影響力」が大きく足りていない場合は前方の振動部が強く振動し、「ミミクリ」が大きく足りていない場合は右方向の振動部が強く振動し、「活動レベル」が大きく足りていない場合は後方の振動部が強く振動し、「一貫性」が大きく足りていない場合は左方向の振動部が強く振動する。人の頭部は敏感であって、振動部の振動を区別することが可能である。また、頭部装着型のウェアラブルデバイスには、例えば骨伝導スピーカが設けられて、アドバイスが音声出力されてもよい。骨伝導スピーカにより出力することで、ユーザAは、表示画面を見たり、コミュニケーション相手に知られたりすることなく、アドバイスを得ることができる。
また、このような振動によるフィードバックを行うユーザ端末5は、頭部装着型のウェアラブルデバイスに限定されず、例えば4方向(前、後ろ、右、左)がそれぞれ振動する機能を有する腕輪型(腕バンド)ウェアラブルデバイスや、ベルト型(胴バンド)ウェアラブルデバイスであってもよい。
また、上述した実施形態では、用途選択として「交渉」「傾聴」「協業」「指導」を挙げたが、これらは用途の一例であって、本開示はこれに限定されず、例えば他のシチュエーションとして「デート」や「面接」等を用いてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
第1ユーザが第2ユーザとコミュニケーションを行う用途を設定する用途設定部と、
前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方の感情シグナルを受信する通信部と、
前記受信した感情シグナルの前記用途に応じた理想的な状態に基づいて、前記第1ユーザへのアドバイスを生成する生成部と、
前記生成されたアドバイスを、前記通信部を介して前記第1ユーザに対応するクライアント端末に送信する制御部と、
を備える、情報処理システム。
(2)
前記生成部は、前記第1ユーザの感情シグナルが、前記用途に応じた理想的な状態に近付くように、前記第1ユーザへのアドバイスを生成する、前記(1)に記載の情報処理システム。
(3)
前記生成部は、用途毎に蓄積された、前記感情シグナルの状態とアドバイスとの対応情報に基づき、前記第1ユーザへのアドバイスを生成する、前記(1)または(2)に記載の情報処理システム。
(4)
前記生成部は、前記受信した感情シグナルと前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記第1ユーザへのアドバイスを生成する、前記(1)~(3)のいずれか1項に記載の情報処理システム。
(5)
前記生成部は、前記第1ユーザの現在の感情シグナルおよび第2ユーザの現在の感情シグナルとの組み合わせ値と、前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記理想的な状態に近付くための前記第1ユーザへのアドバイスを生成する、前記(1)~(4)のいずれか1項に記載の情報処理システム。
(6)
前記生成部は、前記第1ユーザの現在の感情シグナルおよび第2ユーザの感情シグナルのデフォルト値との組み合わせ値と、前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記理想的な状態に近付くための前記第1ユーザへのアドバイスを生成する、前記(1)~(4)のいずれか1項に記載の情報処理システム。
(7)
前記生成部は、前記第2ユーザの現在の感情シグナルと、前記用途に応じた前記第2ユーザの通常値に基づいて、前記通常値を理想の状態として当該理想の状態に近付くための前記第1ユーザへのアドバイスを生成する、前記(1)~(4)のいずれか1項に記載の情報処理システム。
(8)
前記生成部は、前記第1ユーザの感情シグナルが、前記用途に応じた理想的な状態から離れるように、前記第1ユーザへのアドバイスを生成する、前記(1)に記載の情報処理システム。
(9)
前記生成部は、前記第1ユーザの感情シグナルが、前記用途に応じた理想的でない状態に近づくように、前記第1ユーザへのアドバイスを生成する、前記(1)に記載の情報処理システム。
(10)
前記制御部は、前記生成されたアドバイスと共に、当該アドバイスの生成に用いた前記第1ユーザまたは第2ユーザの感情シグナル、および前記理想的な状態の感情シグナルを送信するよう制御する、前記(1)~(9)のいずれか1項に記載の情報処理システム。
(11)
第1ユーザが第2ユーザとコミュニケーションを行う用途の選択を受付ける選択入力部と、
前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方から検出された感情シグナルの、前記選択入力部により選択された用途に応じた理想的な状態に基づいて、前記第1ユーザにアドバイスを生成する外部サーバに前記選択された用途を送信し、前記用途と感情シグナルに応じて生成された前記第1ユーザへのアドバイスを受信する通信部と、
前記第1ユーザへのアドバイスを通知する通知部と、
を備える、情報処理システム。
(12)
前記情報処理システムは、
前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方の感情シグナルを検出する検出部をさらに備え、
前記通信部は、前記外部サーバに、前記検出された感情シグナルを送信する、前記(11)に記載の情報処理システム。
(13)
前記通知部は、前記第1ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的な状態に近付くように前記第1ユーザへアドバイスを通知する、前記(11)または(12)に記載の情報処理システム。
(14)
前記通知部は、前記第1ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的な状態から離れるように前記第1ユーザへアドバイスを通知する、前記(11)~(13)のいずれか1項に記載の情報処理システム。
(15)
前記通知部は、前記第1ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的でない状態に近づくように前記第1ユーザへのアドバイスを通知する、前記(11)~(13)のいずれか1項に記載の情報処理システム。
(16)
前記通知部は、前記生成されたアドバイスと共に、当該アドバイスの生成に用いた前記第1ユーザまたは第2ユーザの感情シグナルと前記理想的な状態の感情シグナルを示すグラフを通知する、前記(11)~(15)のいずれか1項に記載の情報処理システム。
(17)
前記通知部は、頭部装着型デバイスに搭載された振動部により、前記第1ユーザに振動で通知を行う、前記(11)~(15)のいずれか1項に記載の情報処理システム。
(18)
第1ユーザが第2ユーザとコミュニケーションを行う用途を設定することと、
前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方の感情シグナルを通信部により受信することと、
前記受信した感情シグナルの前記用途に応じた理想的な状態に基づいて、前記第1ユーザへのアドバイスを生成することと、
前記生成されたアドバイスを、前記通信部を介して前記第1ユーザに対応するクライアント端末に送信するよう制御部により制御することと、
を含む、制御方法。
(19)
コンピュータを、
第1ユーザが第2ユーザとコミュニケーションを行う用途の選択を受付ける選択入力部と、
前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方から検出された感情シグナルの、前記選択入力部により選択された用途に応じた理想的な状態に基づいて、前記第1ユーザにアドバイスを生成する外部サーバに前記選択された用途を送信し、前記用途と感情シグナルに応じて生成された前記第1ユーザへのアドバイスを受信する通信部と、
前記第1ユーザへのアドバイスを通知する通知部と、
として機能させるためのプログラムが記憶された、記憶媒体。
(1)
第1ユーザが第2ユーザとコミュニケーションを行う用途を設定する用途設定部と、
前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方の感情シグナルを受信する通信部と、
前記受信した感情シグナルの前記用途に応じた理想的な状態に基づいて、前記第1ユーザへのアドバイスを生成する生成部と、
前記生成されたアドバイスを、前記通信部を介して前記第1ユーザに対応するクライアント端末に送信する制御部と、
を備える、情報処理システム。
(2)
前記生成部は、前記第1ユーザの感情シグナルが、前記用途に応じた理想的な状態に近付くように、前記第1ユーザへのアドバイスを生成する、前記(1)に記載の情報処理システム。
(3)
前記生成部は、用途毎に蓄積された、前記感情シグナルの状態とアドバイスとの対応情報に基づき、前記第1ユーザへのアドバイスを生成する、前記(1)または(2)に記載の情報処理システム。
(4)
前記生成部は、前記受信した感情シグナルと前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記第1ユーザへのアドバイスを生成する、前記(1)~(3)のいずれか1項に記載の情報処理システム。
(5)
前記生成部は、前記第1ユーザの現在の感情シグナルおよび第2ユーザの現在の感情シグナルとの組み合わせ値と、前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記理想的な状態に近付くための前記第1ユーザへのアドバイスを生成する、前記(1)~(4)のいずれか1項に記載の情報処理システム。
(6)
前記生成部は、前記第1ユーザの現在の感情シグナルおよび第2ユーザの感情シグナルのデフォルト値との組み合わせ値と、前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記理想的な状態に近付くための前記第1ユーザへのアドバイスを生成する、前記(1)~(4)のいずれか1項に記載の情報処理システム。
(7)
前記生成部は、前記第2ユーザの現在の感情シグナルと、前記用途に応じた前記第2ユーザの通常値に基づいて、前記通常値を理想の状態として当該理想の状態に近付くための前記第1ユーザへのアドバイスを生成する、前記(1)~(4)のいずれか1項に記載の情報処理システム。
(8)
前記生成部は、前記第1ユーザの感情シグナルが、前記用途に応じた理想的な状態から離れるように、前記第1ユーザへのアドバイスを生成する、前記(1)に記載の情報処理システム。
(9)
前記生成部は、前記第1ユーザの感情シグナルが、前記用途に応じた理想的でない状態に近づくように、前記第1ユーザへのアドバイスを生成する、前記(1)に記載の情報処理システム。
(10)
前記制御部は、前記生成されたアドバイスと共に、当該アドバイスの生成に用いた前記第1ユーザまたは第2ユーザの感情シグナル、および前記理想的な状態の感情シグナルを送信するよう制御する、前記(1)~(9)のいずれか1項に記載の情報処理システム。
(11)
第1ユーザが第2ユーザとコミュニケーションを行う用途の選択を受付ける選択入力部と、
前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方から検出された感情シグナルの、前記選択入力部により選択された用途に応じた理想的な状態に基づいて、前記第1ユーザにアドバイスを生成する外部サーバに前記選択された用途を送信し、前記用途と感情シグナルに応じて生成された前記第1ユーザへのアドバイスを受信する通信部と、
前記第1ユーザへのアドバイスを通知する通知部と、
を備える、情報処理システム。
(12)
前記情報処理システムは、
前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方の感情シグナルを検出する検出部をさらに備え、
前記通信部は、前記外部サーバに、前記検出された感情シグナルを送信する、前記(11)に記載の情報処理システム。
(13)
前記通知部は、前記第1ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的な状態に近付くように前記第1ユーザへアドバイスを通知する、前記(11)または(12)に記載の情報処理システム。
(14)
前記通知部は、前記第1ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的な状態から離れるように前記第1ユーザへアドバイスを通知する、前記(11)~(13)のいずれか1項に記載の情報処理システム。
(15)
前記通知部は、前記第1ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的でない状態に近づくように前記第1ユーザへのアドバイスを通知する、前記(11)~(13)のいずれか1項に記載の情報処理システム。
(16)
前記通知部は、前記生成されたアドバイスと共に、当該アドバイスの生成に用いた前記第1ユーザまたは第2ユーザの感情シグナルと前記理想的な状態の感情シグナルを示すグラフを通知する、前記(11)~(15)のいずれか1項に記載の情報処理システム。
(17)
前記通知部は、頭部装着型デバイスに搭載された振動部により、前記第1ユーザに振動で通知を行う、前記(11)~(15)のいずれか1項に記載の情報処理システム。
(18)
第1ユーザが第2ユーザとコミュニケーションを行う用途を設定することと、
前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方の感情シグナルを通信部により受信することと、
前記受信した感情シグナルの前記用途に応じた理想的な状態に基づいて、前記第1ユーザへのアドバイスを生成することと、
前記生成されたアドバイスを、前記通信部を介して前記第1ユーザに対応するクライアント端末に送信するよう制御部により制御することと、
を含む、制御方法。
(19)
コンピュータを、
第1ユーザが第2ユーザとコミュニケーションを行う用途の選択を受付ける選択入力部と、
前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方から検出された感情シグナルの、前記選択入力部により選択された用途に応じた理想的な状態に基づいて、前記第1ユーザにアドバイスを生成する外部サーバに前記選択された用途を送信し、前記用途と感情シグナルに応じて生成された前記第1ユーザへのアドバイスを受信する通信部と、
前記第1ユーザへのアドバイスを通知する通知部と、
として機能させるためのプログラムが記憶された、記憶媒体。
1 情報処理システム
10 センサ装置
11 センサ部
12 センサデータ抽出部
13 制御部
14 通信部
15 記憶部
2 感情シグナルサーバ
20 制御部
20a データ処理部
20b データ解析部
20c 感情シグナル算出部
20d ユーザ管理部
21 通信部
22 感情シグナルDB
23 ユーザ情報DB
3 アドバイス生成サーバ
30 制御部
30a 用途設定部
30b 比較部
30c アドバイス生成部
31 通信部
32 アドバイス情報DB
5 ユーザ端末
50 制御部
51 通信部
52 操作入力部
53 表示部
54 記憶部
10 センサ装置
11 センサ部
12 センサデータ抽出部
13 制御部
14 通信部
15 記憶部
2 感情シグナルサーバ
20 制御部
20a データ処理部
20b データ解析部
20c 感情シグナル算出部
20d ユーザ管理部
21 通信部
22 感情シグナルDB
23 ユーザ情報DB
3 アドバイス生成サーバ
30 制御部
30a 用途設定部
30b 比較部
30c アドバイス生成部
31 通信部
32 アドバイス情報DB
5 ユーザ端末
50 制御部
51 通信部
52 操作入力部
53 表示部
54 記憶部
Claims (19)
- 第1ユーザが第2ユーザとコミュニケーションを行う用途を設定する用途設定部と、
前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方の感情シグナルを受信する通信部と、
前記受信した感情シグナルの前記用途に応じた理想的な状態に基づいて、前記第1ユーザへのアドバイスを生成する生成部と、
前記生成されたアドバイスを、前記通信部を介して前記第1ユーザに対応するクライアント端末に送信する制御部と、
を備える、情報処理システム。 - 前記生成部は、前記第1ユーザの感情シグナルが、前記用途に応じた理想的な状態に近付くように、前記第1ユーザへのアドバイスを生成する、請求項1に記載の情報処理システム。
- 前記生成部は、用途毎に蓄積された、前記感情シグナルの状態とアドバイスとの対応情報に基づき、前記第1ユーザへのアドバイスを生成する、請求項1に記載の情報処理システム。
- 前記生成部は、前記受信した感情シグナルと前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記第1ユーザへのアドバイスを生成する、請求項1に記載の情報処理システム。
- 前記生成部は、前記第1ユーザの現在の感情シグナルおよび第2ユーザの現在の感情シグナルとの組み合わせ値と、前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記理想的な状態に近付くための前記第1ユーザへのアドバイスを生成する、請求項1に記載の情報処理システム。
- 前記生成部は、前記第1ユーザの現在の感情シグナルおよび第2ユーザの感情シグナルのデフォルト値との組み合わせ値と、前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記理想的な状態に近付くための前記第1ユーザへのアドバイスを生成する、請求項1に記載の情報処理システム。
- 前記生成部は、前記第2ユーザの現在の感情シグナルと、前記用途に応じた前記第2ユーザの通常値に基づいて、前記通常値を理想の状態として当該理想の状態に近付くための前記第1ユーザへのアドバイスを生成する、請求項1に記載の情報処理システム。
- 前記生成部は、前記第1ユーザの感情シグナルが、前記用途に応じた理想的な状態から離れるように、前記第1ユーザへのアドバイスを生成する、請求項1に記載の情報処理システム。
- 前記生成部は、前記第1ユーザの感情シグナルが、前記用途に応じた理想的でない状態に近づくように、前記第1ユーザへのアドバイスを生成する、請求項1に記載の情報処理システム。
- 前記制御部は、前記生成されたアドバイスと共に、当該アドバイスの生成に用いた前記第1ユーザまたは第2ユーザの感情シグナル、および前記理想的な状態の感情シグナルを送信するよう制御する、請求項1に記載の情報処理システム。
- 第1ユーザが第2ユーザとコミュニケーションを行う用途の選択を受付ける選択入力部と、
前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方から検出された感情シグナルの、前記選択入力部により選択された用途に応じた理想的な状態に基づいて、前記第1ユーザにアドバイスを生成する外部サーバに前記選択された用途を送信し、前記用途と感情シグナルに応じて生成された前記第1ユーザへのアドバイスを受信する通信部と、
前記第1ユーザへのアドバイスを通知する通知部と、
を備える、情報処理システム。 - 前記情報処理システムは、
前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方の感情シグナルを検出する検出部をさらに備え、
前記通信部は、前記外部サーバに、前記検出された感情シグナルを送信する、請求項11に記載の情報処理システム。 - 前記通知部は、前記第1ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的な状態に近付くように前記第1ユーザへアドバイスを通知する、請求項11に記載の情報処理システム。
- 前記通知部は、前記第1ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的な状態から離れるように前記第1ユーザへアドバイスを通知する、請求項11に記載の情報処理システム。
- 前記通知部は、前記第1ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的でない状態に近づくように前記第1ユーザへのアドバイスを通知する、請求項11に記載の情報処理システム。
- 前記通知部は、前記生成されたアドバイスと共に、当該アドバイスの生成に用いた前記第1ユーザまたは第2ユーザの感情シグナルと前記理想的な状態の感情シグナルを示すグラフを通知する、請求項11に記載の情報処理システム。
- 前記通知部は、頭部装着型デバイスに搭載された振動部により、前記第1ユーザに振動で通知を行う、請求項11に記載の情報処理システム。
- 第1ユーザが第2ユーザとコミュニケーションを行う用途を設定することと、
前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方の感情シグナルを通信部により受信することと、
前記受信した感情シグナルの前記用途に応じた理想的な状態に基づいて、前記第1ユーザへのアドバイスを生成することと、
前記生成されたアドバイスを、前記通信部を介して前記第1ユーザに対応するクライアント端末に送信するよう制御部により制御することと、
を含む、制御方法。 - コンピュータを、
第1ユーザが第2ユーザとコミュニケーションを行う用途の選択を受付ける選択入力部と、
前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方から検出された感情シグナルの、前記選択入力部により選択された用途に応じた理想的な状態に基づいて、前記第1ユーザにアドバイスを生成する外部サーバに前記選択された用途を送信し、前記用途と感情シグナルに応じて生成された前記第1ユーザへのアドバイスを受信する通信部と、
前記第1ユーザへのアドバイスを通知する通知部と、
として機能させるためのプログラムが記憶された、記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017516562A JP6798484B2 (ja) | 2015-05-07 | 2016-02-01 | 情報処理システム、制御方法、およびプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015094575 | 2015-05-07 | ||
JP2015-094575 | 2015-05-07 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016178329A1 true WO2016178329A1 (ja) | 2016-11-10 |
Family
ID=57217688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/052858 WO2016178329A1 (ja) | 2015-05-07 | 2016-02-01 | 情報処理システム、制御方法、および記憶媒体 |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP6798484B2 (ja) |
WO (1) | WO2016178329A1 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018197934A (ja) * | 2017-05-23 | 2018-12-13 | 日本アイラック株式会社 | 情報処理装置 |
JP2019207625A (ja) * | 2018-05-30 | 2019-12-05 | 株式会社エクサウィザーズ | コーチング支援装置及びプログラム |
JP2020095747A (ja) * | 2020-03-10 | 2020-06-18 | 株式会社エクサウィザーズ | コーチング支援装置及びプログラム |
JP2020130528A (ja) * | 2019-02-18 | 2020-08-31 | 沖電気工業株式会社 | 感情推定装置、感情推定方法、プログラム、及び感情推定システム |
WO2020179478A1 (ja) | 2019-03-05 | 2020-09-10 | 正通 亀井 | アドバイス提示システム |
JPWO2019160104A1 (ja) * | 2018-02-16 | 2021-01-07 | 日本電信電話株式会社 | 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム |
JP2021111239A (ja) * | 2020-01-14 | 2021-08-02 | 住友電気工業株式会社 | 提供システム、提供方法、提供装置、及びコンピュータプログラム |
JP7057011B1 (ja) | 2021-06-25 | 2022-04-19 | 株式会社Kakeai | 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム |
JP7057029B1 (ja) | 2021-06-25 | 2022-04-19 | 株式会社Kakeai | 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム |
WO2022264217A1 (ja) * | 2021-06-14 | 2022-12-22 | 株式会社I’mbesideyou | 動画像分析システム |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7331588B2 (ja) * | 2019-09-26 | 2023-08-23 | ヤマハ株式会社 | 情報処理方法、推定モデル構築方法、情報処理装置、推定モデル構築装置およびプログラム |
WO2022201383A1 (ja) | 2021-03-24 | 2022-09-29 | 株式会社I’mbesideyou | 動画像分析プログラム |
WO2023135939A1 (ja) * | 2022-01-17 | 2023-07-20 | ソニーグループ株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
JP7388768B2 (ja) | 2022-02-01 | 2023-11-29 | 株式会社I’mbesideyou | 動画像分析プログラム |
WO2024101022A1 (ja) * | 2022-11-10 | 2024-05-16 | 株式会社Nttドコモ | アバターマッチング装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000005317A (ja) * | 1998-06-22 | 2000-01-11 | Seiko Epson Corp | 生体の状態制御支援装置及びロボット制御装置 |
JP2001344352A (ja) * | 2000-05-31 | 2001-12-14 | Toshiba Corp | 生活支援装置および生活支援方法および広告情報提供方法 |
JP2002051153A (ja) * | 2000-08-07 | 2002-02-15 | Fujitsu Ltd | Ctiサーバ及びプログラム記録媒体 |
JP2006061632A (ja) * | 2004-08-30 | 2006-03-09 | Ishisaki:Kk | 感情データ提供装置、心理解析装置、および電話ユーザ心理解析方法 |
US20110010173A1 (en) * | 2009-07-13 | 2011-01-13 | Mark Scott | System for Analyzing Interactions and Reporting Analytic Results to Human-Operated and System Interfaces in Real Time |
JP2014095753A (ja) * | 2012-11-07 | 2014-05-22 | Hitachi Systems Ltd | 音声自動認識・音声変換システム |
JP2015075908A (ja) * | 2013-10-09 | 2015-04-20 | 日本電信電話株式会社 | 感情情報表示制御装置、その方法及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4389512B2 (ja) * | 2003-07-28 | 2009-12-24 | ソニー株式会社 | 腕時計型会話補助装置、会話補助システム、眼鏡型会話補助装置および会話補助装置 |
JP4904188B2 (ja) * | 2007-03-30 | 2012-03-28 | 三菱電機インフォメーションシステムズ株式会社 | 分配装置、分配プログラム及び分配システム |
CN103430523B (zh) * | 2011-03-08 | 2016-03-23 | 富士通株式会社 | 通话辅助装置和通话辅助方法 |
-
2016
- 2016-02-01 WO PCT/JP2016/052858 patent/WO2016178329A1/ja active Application Filing
- 2016-02-01 JP JP2017516562A patent/JP6798484B2/ja active Active
-
2020
- 2020-11-18 JP JP2020191851A patent/JP6992870B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000005317A (ja) * | 1998-06-22 | 2000-01-11 | Seiko Epson Corp | 生体の状態制御支援装置及びロボット制御装置 |
JP2001344352A (ja) * | 2000-05-31 | 2001-12-14 | Toshiba Corp | 生活支援装置および生活支援方法および広告情報提供方法 |
JP2002051153A (ja) * | 2000-08-07 | 2002-02-15 | Fujitsu Ltd | Ctiサーバ及びプログラム記録媒体 |
JP2006061632A (ja) * | 2004-08-30 | 2006-03-09 | Ishisaki:Kk | 感情データ提供装置、心理解析装置、および電話ユーザ心理解析方法 |
US20110010173A1 (en) * | 2009-07-13 | 2011-01-13 | Mark Scott | System for Analyzing Interactions and Reporting Analytic Results to Human-Operated and System Interfaces in Real Time |
JP2014095753A (ja) * | 2012-11-07 | 2014-05-22 | Hitachi Systems Ltd | 音声自動認識・音声変換システム |
JP2015075908A (ja) * | 2013-10-09 | 2015-04-20 | 日本電信電話株式会社 | 感情情報表示制御装置、その方法及びプログラム |
Non-Patent Citations (2)
Title |
---|
MASAHIDE YUASA ET AL.: "A State Graph Model of Negotiation Considering Subjective Factors", THE INSTITUTE OF SYSTEMS, CONTROL AND INFORMATION ENGINEERS, vol. 14, no. 9, 15 September 2001 (2001-09-15), pages 439 - 446 * |
MIKA FUKUI ET AL.: "Multimodal Personal Information Provider Using Natural Language and Emotion Understanding from Speech and Keyboard Input", IPSJ SIG NOTES, vol. 96, no. 1, 11 January 1996 (1996-01-11), pages 43 - 48, XP002997271 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018197934A (ja) * | 2017-05-23 | 2018-12-13 | 日本アイラック株式会社 | 情報処理装置 |
JP7140984B2 (ja) | 2018-02-16 | 2022-09-22 | 日本電信電話株式会社 | 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム |
JPWO2019160104A1 (ja) * | 2018-02-16 | 2021-01-07 | 日本電信電話株式会社 | 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム |
JP2019207625A (ja) * | 2018-05-30 | 2019-12-05 | 株式会社エクサウィザーズ | コーチング支援装置及びプログラム |
JP7172705B2 (ja) | 2019-02-18 | 2022-11-16 | 沖電気工業株式会社 | 感情推定装置、感情推定方法、プログラム、及び感情推定システム |
JP2020130528A (ja) * | 2019-02-18 | 2020-08-31 | 沖電気工業株式会社 | 感情推定装置、感情推定方法、プログラム、及び感情推定システム |
WO2020179478A1 (ja) | 2019-03-05 | 2020-09-10 | 正通 亀井 | アドバイス提示システム |
KR20210132061A (ko) | 2019-03-05 | 2021-11-03 | 마사미치 가메이 | 어드바이스 제시 시스템 |
US11768879B2 (en) | 2019-03-05 | 2023-09-26 | Land Business Co., Ltd. | Advice presentation system |
JP2021111239A (ja) * | 2020-01-14 | 2021-08-02 | 住友電気工業株式会社 | 提供システム、提供方法、提供装置、及びコンピュータプログラム |
JP6994722B2 (ja) | 2020-03-10 | 2022-01-14 | 株式会社エクサウィザーズ | コーチング支援装置及びプログラム |
JP2020095747A (ja) * | 2020-03-10 | 2020-06-18 | 株式会社エクサウィザーズ | コーチング支援装置及びプログラム |
WO2022264217A1 (ja) * | 2021-06-14 | 2022-12-22 | 株式会社I’mbesideyou | 動画像分析システム |
JP7057011B1 (ja) | 2021-06-25 | 2022-04-19 | 株式会社Kakeai | 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム |
JP7057029B1 (ja) | 2021-06-25 | 2022-04-19 | 株式会社Kakeai | 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム |
WO2022270632A1 (ja) * | 2021-06-25 | 2022-12-29 | 株式会社Kakeai | 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム |
JP2023004833A (ja) * | 2021-06-25 | 2023-01-17 | 株式会社Kakeai | 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム |
JP2023004165A (ja) * | 2021-06-25 | 2023-01-17 | 株式会社Kakeai | 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021044001A (ja) | 2021-03-18 |
JP6798484B2 (ja) | 2020-12-09 |
JP6992870B2 (ja) | 2022-01-13 |
JPWO2016178329A1 (ja) | 2018-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6992870B2 (ja) | 情報処理システム、制御方法、およびプログラム | |
US9953650B1 (en) | Systems, apparatus and methods for using biofeedback for altering speech | |
US10218852B2 (en) | Methods and systems for providing teleconference participant quality feedback | |
TWI379205B (en) | Instant communication interacting system and method thereof | |
WO2016080553A1 (ja) | 学習型ロボット、学習型ロボットシステム、及び学習型ロボット用プログラム | |
CN108139988B (zh) | 信息处理***和信息处理方法 | |
US11528449B2 (en) | System and methods to determine readiness in video collaboration | |
Reijula et al. | Human well-being and flowing work in an intelligent work environment | |
EP3360056B1 (en) | Facilitating awareness and conversation throughput in an augmentative and alternative communication system | |
WO2017062163A1 (en) | Proxies for speech generating devices | |
EP3360036A1 (en) | Directed personal communication for speech generating devices | |
Shi et al. | Accessible video calling: Enabling nonvisual perception of visual conversation cues | |
US20230260534A1 (en) | Smart glass interface for impaired users or users with disabilities | |
JP7152453B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム | |
Kato et al. | Sign language conversational user interfaces using luminous notification and eye gaze for the deaf and hard of hearing | |
TWI602174B (zh) | 基於聲音辨識的情緒紀錄與管理裝置、系統以及方法 | |
Boyd | Designing and evaluating alternative channels: Visualizing nonverbal communication through AR and VR systems for people with autism | |
KR20190023610A (ko) | 회의 중 휴식 시간 제안 방법, 전자장치 및 시스템 | |
Rajan | Considerate Systems | |
WO2024062779A1 (ja) | 情報処理装置、および情報処理システム、並びに情報処理方法 | |
JP7057029B1 (ja) | 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム | |
JP7123028B2 (ja) | 情報処理システム、情報処理方法、及びプログラム | |
JP7057011B1 (ja) | 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム | |
Chayleva | Zenth: An Affective Technology for Stress Relief | |
JP2022060797A (ja) | 電子機器、制御方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16789465 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017516562 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16789465 Country of ref document: EP Kind code of ref document: A1 |