WO2016178329A1 - 情報処理システム、制御方法、および記憶媒体 - Google Patents

情報処理システム、制御方法、および記憶媒体 Download PDF

Info

Publication number
WO2016178329A1
WO2016178329A1 PCT/JP2016/052858 JP2016052858W WO2016178329A1 WO 2016178329 A1 WO2016178329 A1 WO 2016178329A1 JP 2016052858 W JP2016052858 W JP 2016052858W WO 2016178329 A1 WO2016178329 A1 WO 2016178329A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
advice
emotion signal
unit
processing system
Prior art date
Application number
PCT/JP2016/052858
Other languages
English (en)
French (fr)
Inventor
宏 岩波
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2017516562A priority Critical patent/JP6798484B2/ja
Publication of WO2016178329A1 publication Critical patent/WO2016178329A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Definitions

  • the present disclosure relates to an information processing system, a control method, and a storage medium.
  • Patent Document 1 has been proposed as an advice system for communicating with people through dialogue.
  • the degree of concentration of participants (presenters, students) in presentations, meetings, workshops, etc. is detected, and feedback is given to the participants. For example, when a less concentrated student is in the back seat, a message such as “Please speak louder” is displayed to the presenter.
  • the present disclosure proposes an information processing system, a control method, and a storage medium that can generate an advice for constructing an ideal communication state based on a signal indicating a user's emotion.
  • a usage setting unit that sets a usage in which the first user communicates with the second user, a communication unit that receives an emotion signal of at least one of the first user and the second user, Based on an ideal state corresponding to the use of the received emotion signal, a generation unit that generates advice to the first user, and the generated advice is sent to the first user via the communication unit.
  • an information processing system including a control unit that transmits to a client terminal corresponding to the above.
  • the selection input unit that receives a selection of a usage in which the first user communicates with the second user, and the emotion signal detected from at least one of the first user and the second user, Based on the ideal state corresponding to the application selected by the selection input unit, the selected application is transmitted to an external server that generates advice to the first user, and is generated according to the application and the emotion signal.
  • an information processing system including a communication unit that receives advice to the first user and a notification unit that notifies advice to the first user is proposed.
  • the first user sets an application for communicating with the second user, the emotion signal of at least one of the first user and the second user is received by the communication unit, Based on an ideal state according to the use of the received emotion signal, generating an advice to the first user, and sending the generated advice to the first user via the communication unit
  • a control method is proposed, including controlling by a control unit to transmit to a corresponding client terminal.
  • the selection input unit that receives the selection of the usage in which the first user communicates with the second user, and the emotion signal detected from at least one of the first user and the second user. Based on an ideal state corresponding to the use selected by the selection input unit, the selected use is transmitted to an external server that generates advice to the first user, and according to the use and emotion signal.
  • a storage medium storing a program for functioning as a communication unit that receives the generated advice to the first user and a notification unit that notifies the advice to the first user is proposed.
  • “Influence” is calculated from the pattern of speaker change during conversation. For example, when the user A speaks unilaterally or the user A keeps talking while the user B is blocked, it can be said that the influence of the user A is great. Also, if both words are spoken so as to cover the other party's words, both influences are great. Also, if the conversation has long and irregular interruptions, it can be said that its influence is small.
  • “Mimikuri” is calculated based on the number of times and time the user imitates the other person's words, gestures and gestures during the conversation. Usually, if you are crazy about conversation and are in the right wavelength or sympathize with each other, you tend to imitate each other's gestures, hand gestures, and words. It can be said that they are in sync with each other.
  • the amount of activity is calculated from the amount of gestures and the intensity of body movement. It can be seen that the greater the “activity” value, the more interested and interested in the other person's story.
  • Consistency is calculated from the prosody of the utterance, the amount of fluctuation of the gesture, and the fluctuation of the pitch, loudness and rhythm of the speaking voice. It can be seen that the greater the “consistency” value, the more concentrated the spirit is, and the smaller the value, the more emotional.
  • Such an emotion signal can be calculated from sensor data detected by, for example, a sensor device (a camera sensor, a microphone, a gyro sensor, an acceleration sensor, a geomagnetic sensor, or the like) worn by the user.
  • a sensor device a camera sensor, a microphone, a gyro sensor, an acceleration sensor, a geomagnetic sensor, or the like
  • the system recognizes the state of communication based on these emotion signals, and the ideal communication state according to the purpose of communication, the social position of the user, the relationship of the interlocutor, etc., that is, the ideal emotion signal. Advise the user to make the status appear.
  • the information processing system when the user A is negotiating with the user B, acquires an emotion signal detected from at least one of the user A and the user B, Recognize the state. Next, the information processing system compares the ideal communication state (that is, the emotion signal state) in the “negotiation” field with the current emotion signal, and gives advice for constructing ideal communication information from the user terminal 5. Present to user A. For example, when the value of “activity level” is lower than the ideal value, advice such as “Please speak with gestures” is presented. In addition, the advice to the user A is presented together with a radar chart indicating the values and ideal values of the detected user A's emotion signals (“influence”, “mimikuri”, “activity level”, and “consistency”). It may be broken.
  • the information processing system according to the present embodiment can generate advice for constructing an ideal communication state based on a signal indicating the user's emotion.
  • FIG. 2 is a diagram illustrating an overall configuration of the information processing system 1 according to the present embodiment.
  • the information processing system 1 according to the present embodiment includes a sensor device 10 (1 a, 1 b) that is attached to a user and detects data for calculating an emotion signal, and an emotion signal that calculates an emotion signal.
  • the server 2 includes an advice generation server 3 that generates advice based on emotion signals, and a user terminal 5 that feeds back the generated advice to the user.
  • the sensor device 10, the emotion signal server 2, the advice generation server 3, and the user terminal 5 can be connected via the network 4.
  • the sensor device 10 may have various forms such as a necklace type as shown in FIG. 2, a glasses type, a head-mounted type, a watch type, a bracelet type, and a badge type.
  • the sensor device 10 is not limited to a device worn by the user, and may be a device possessed by the user, such as a smartphone or a mobile phone terminal.
  • the sensor device 10 may be integrated with the user terminal 5.
  • the sensor device 10 detects a user's utterance, loudness, amount of physical activity, whispering, competing, etc. using a camera sensor, a microphone, a gyro sensor, an acceleration sensor, a geomagnetic sensor, and the like, and the detected data (sensor value) Is transmitted to the emotion signal server 2 via the network 4.
  • the transmission to the emotion signal server 2 may be performed via a mobile terminal such as a smartphone, a mobile phone terminal, or a tablet terminal that the user has.
  • the emotion signal server 2 analyzes data (sensor value) detected by the sensor device 10 and calculates a user's emotion signal (for example, influence, mimicry, activity level, and consistency).
  • the calculated emotion signal can be stored in the emotion signal DB 22.
  • the emotion signal DB 12 also stores ideal emotion signal values according to the use of this system (for example, types of social communication such as “negotiation”, “listening”, “collaboration”, “guidance”). .
  • the advice generation server 3 receives a selection of a use from the user, and performs advice based on the emotion signal value to construct an ideal communication according to the use. Specifically, the advice generation server 3 calls an ideal emotion signal value for the selected application from the emotion signal DB 22 of the emotion signal server 2 and is calculated by the ideal emotion signal value and the emotion signal server 2. Compared with the current emotion signal value, advice is generated from the result, and feedback is made to the user.
  • the advice based on the comparison result may be generated based on, for example, a case (rule) stored in the advice information DB 32, or may be generated using a recommendation technique such as machine learning or collaborative filtering.
  • the user terminal 5 is an information processing apparatus that presents a result to the user.
  • the user terminal 5 notifies the user of advice based on the comparison result transmitted from the advice generation server 3 by display output, audio output, vibration, or the like.
  • FIG. 3 is a block diagram illustrating an example of the configuration of the sensor device 10 according to the present embodiment.
  • the sensor device 10 according to the present embodiment includes a sensor unit 11, a sensor data extraction unit 12, a control unit 13, a communication unit 14, and a storage unit 15.
  • the sensor unit 11 has a function of detecting a user's movement and voice, and can be realized by, for example, a camera sensor, a microphone, a gyro sensor, an acceleration sensor, a geomagnetic sensor, and the like.
  • Sensor data extraction unit 12 extracts sensor data (captured image, audio information, etc.) from sensor unit 11.
  • the control unit 13 controls each component of the sensor device 10.
  • the control unit 13 is realized by a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and a nonvolatile memory.
  • the control unit 13 controls the sensor data extracted by the sensor data extraction unit 12 to be temporarily stored in the storage unit 15 and transmitted from the communication unit 14 to the emotion signal server 2.
  • the communication unit 14 functions as an I / F (interface) that transmits / receives data to / from an external device in accordance with an instruction from the control unit 13.
  • the communication unit 14 connects to the network 4 and transmits the sensor data to the emotion signal server 2 on the network (cloud) in real time.
  • the communication unit 14 is connected to the user terminal 5 possessed by the user via a short-distance wireless connection via Wi-Fi (registered trademark), infrared communication, Bluetooth (registered trademark), or the like, and the emotion signal server 2 via the user terminal 5.
  • the sensor data may be transmitted in real time.
  • the storage unit 15 stores a program for the control unit 13 to execute each process.
  • the storage unit 15 also has an area for temporarily storing sensor data.
  • FIG. 4 is a block diagram illustrating an example of the configuration of the emotion signal server 2 according to the present embodiment.
  • the emotion signal server 2 includes a control unit 20, a communication unit 21, an emotion signal DB 22, and a user information DB 23.
  • the control unit 20 controls each component of the emotion signal server 2.
  • the control unit 20 is realized by a microcomputer that includes a CPU, a ROM, a RAM, and a nonvolatile memory. As shown in FIG. 4, the control unit 20 according to this embodiment also functions as a data processing unit 20a, a data analysis unit 20b, an emotion signal calculation unit 20c, and a user management unit 20d.
  • the data processing unit 20a prepares the sensor data detected by the sensor device 10 received by the communication unit 21, processes the data into a state where it can be analyzed more accurately, and outputs the data to the data analysis unit 20b.
  • the data analysis unit 20b analyzes the sensor data arranged by the data processing unit 20a, extracts information such as speech, voice volume, amount of physical activity, gesture gesture, whispering, companion, etc., and an emotion signal calculation unit To 20c.
  • the emotion signal calculation unit 20c calculates the user's emotion signal based on the information obtained by the data analysis. More specifically, the emotion signal calculation unit 20c calculates four values such as influence, mimicry, activity level, and consistency as emotion signals. In this embodiment, as an example, the values of these emotion signals are calculated as normalized numerical values between 0 and 1. Hereinafter, calculation of four emotion signals will be described in detail.
  • the emotion signal calculation unit 20c for example, the frequency of speech, the length of speech, the strength of voice, and the overlap of speech obtained by analyzing voice data of conversation between the user A and the user B collected by the microphone ( "Impact power" is calculated based on the frequency at which speech is interrupted and the like. For example, the emotion signal calculation unit 20c determines that the influence of the user A is small when the frequency of the speech of the user A is less than that of the user B. The emotion signal calculation unit 20c also determines the length of the speech in the same manner (determines that the “influence” is greater as the length of the speech is longer).
  • the emotion signal calculation unit 20c compares the average levels of the voice strengths of the user A and the user B, and determines that the influence of the user A is small when the average level of the voice strength of the user B is larger. . The emotion signal calculation unit 20c determines that the influence of the interrupted user is small when the frequency of interrupting the speech is high when the speech is duplicated.
  • the mimicry emotion signal calculation unit 20c agrees with the other party obtained by analyzing the movement of the user's head detected by, for example, a camera, an infrared sensor, an acceleration sensor, a gyro sensor, or the utterance collected by the microphone. "Mimikuri” is calculated on the basis of the action (whispering, reconciliation, repetition of the same word, etc.) indicating. For example, the emotion signal calculation unit 20c determines that the mimicry is high when the same word is acquired in the conversation (appearance establishment is high). In addition, the appearance probability of a specific word (such as “I see”, “Is it true”, “Yes”, “Yes”, etc.) indicating a conflict is measured to determine mimicry.
  • a specific word such as “I see”, “Is it true”, “Yes”, “Yes”, etc.
  • the emotion signal calculation unit 20c is based on the gesture gesture motion obtained by analyzing the movements of the user's hands and upper body detected by the camera, infrared sensor, acceleration sensor, gyro sensor, etc. Calculate “activity level”. The number of gestures of the user and the movement of the upper body increase when the user is enthusiastic or eager to talk. The emotion signal calculation unit 20c determines the activity level by quantifying the number of gestures and the size of the upper body movement.
  • the emotion signal calculation unit 20c determines, for example, the frequency of speech, the length of speech, the strength of voice, the frequency of speech, the speed of speech obtained by analyzing the speech collected by the microsensor. Based on this, “consistency” is calculated. For example, the emotion signal calculation unit 20c measures changes in voice strength and voice pitch (frequency) during conversation in a time series, and based on the deviation and appearance probability, whether the utterance is consistent or modulation occurs. Measure consistency and calculate consistency (high consistency when consistent, low consistency when modulated).
  • the emotion signal calculated as described above is stored in the emotion signal DB 22 and is transmitted to the advice generation server 3 via the communication unit 21.
  • the user management unit 20d manages user information stored in the user information DB 23. For example, the user management unit 20d performs processing such as registration, deletion, and update of user information in the user information DB 23.
  • User information includes, for example, the user's name, age, gender, hobbies / preferences, user ID, and speaking tendency (average speech frequency, voice strength, voice frequency, speaking speed, frequency of gestures, etc.) including.
  • the communication unit 21 functions as an I / F (interface) that transmits / receives data to / from an external device in accordance with an instruction from the control unit 20.
  • the communication unit 21 is connected to the network 4 and receives sensor data sensed during conversation from the sensor device 10 or transmits a calculated emotion signal to the advice generation server 3.
  • the communication unit 21 returns an ideal emotion signal for a predetermined use extracted from the emotion signal DB 22 in response to a request from the advice generation server 3.
  • the emotion signal DB 22 stores the emotion signal calculated by the emotion signal calculation unit 20c. Further, the emotion signal DB 22 may store ideal emotion signals for different uses such as “negotiation”, “listening”, “collaboration”, and “guidance”.
  • the ideal emotion signal is, for example, an ideal value obtained by a machine learning method or a statistical method using many cases in the application as teacher data.
  • the ideal emotion signal may be input to the administrator as a desirable numerical value for each application.
  • the user information DB 23 stores information (user information) related to users who are users of this system.
  • FIG. 5 is a block diagram illustrating an example of the configuration of the advice generation server 3 according to the present embodiment.
  • the advice generation server 3 includes a control unit 30, a communication unit 31, and an advice information DB 32.
  • the control unit 30 controls each configuration of the advice generation server 3.
  • the control unit 30 is realized by a microcomputer that includes a CPU, a ROM, a RAM, and a nonvolatile memory. As shown in FIG. 5, the control unit 30 according to the present embodiment also functions as an application setting unit 30a, a comparison unit 30b, and an advice generation unit 30c.
  • the usage setting unit 30a sets the usage of advice generation.
  • the usage setting unit 30 a may set the usage selected by the user on the usage selection screen displayed on the user terminal 5.
  • the use of advice generation specifically refers to four categories assumed in social communication between people (or people and robots): “negotiation”, “listening”, “collaboration”, And “instruction” is assumed. “Negotiation” corresponds to situations where, for example, a request for transfer to the boss or improvement of treatment within the company is required, or a situation where a contract is concluded with an outside sales or business partner. Applicable to customers who have complained (complaint response scene).
  • collaboration corresponds to, for example, a case of consulting with a partner who performs together on how to proceed with work or duty
  • instruction corresponds to, for example, a case of educating a subordinate who repeats lateness.
  • the user selects which of the above four categories the communication to be performed on the use selection screen described later. In the middle of a conversation, it is assumed that the type of communication changes dynamically depending on the development of the story. Therefore, the user may select a use each time.
  • the comparison unit 30b compares the current emotion signal of the user calculated by the emotion signal server 2 with an ideal emotion signal corresponding to the use set by the use setting unit 30a.
  • the ideal emotion signal according to the application may be acquired from the emotion signal DB 22 of the emotion signal server 2, for example, or may be stored in the internal memory of the advice generation server 3. Further, the comparison unit 30b outputs the comparison result to the advice generation unit 30c.
  • the advice generation unit 30c refers to the advice information DB 32 based on the comparison result, and generates an advice to the user so as to approach an ideal state.
  • the advice information DB 32 stores an advice set for each use, which will be described later with reference to FIG. Each advice set depends on the combination of the value of user A (system use: self) and the value of user B (partner) in each emotional signal, that is, “influence”, “mimikuri”, “activity level” and “consistency” Including advice.
  • the communication unit 31 transmits / receives data to / from an external device in accordance with an instruction from the control unit 30.
  • the communication unit 31 receives an emotion signal of the user calculated by the emotion signal server 2 or an ideal emotion signal for the set use from the emotion signal server 2, or receives the advice generated by the advice generation unit 30c. Or transmitted to the user terminal 5. Further, the communication unit 31 may transmit the emotion signal of the target user and an ideal emotion signal for the set use together with the advice.
  • the advice information DB 32 stores advice information used when the advice generation unit 30c generates advice.
  • the advice information may be an advice set for each purpose-specific emotion signal type, which will be described later with reference to FIG.
  • Such an advice set is an advice rule generated in advance based on a case.
  • the configuration of the advice generation server 3 according to this embodiment has been described above. 2, 4, and 5, the advice generation server 3 and the emotion signal server 2 have been described as separate bodies. However, the present embodiment is not limited to this, and the advice generation server 3 and the emotion signal server 2 are one. May be realized by the same server.
  • FIG. 6 is a block diagram illustrating an example of the configuration of the user terminal 5 according to the present embodiment.
  • the user terminal 5 includes a control unit 50, a communication unit 51, an operation input unit 52, a display unit 53, and a storage unit 54.
  • the user terminal 5 may be realized by a notebook PC (personal computer) as shown in FIG. 1, or may be realized by a tablet terminal, a smartphone, a mobile phone terminal, a desktop PC, or the like.
  • the user terminal 5 may be realized by a wearable device such as a glasses-type device, a watch-type device, or a neck device.
  • the control unit 50 controls each component of the user terminal 5. Further, the control unit 50 is realized by a microcomputer including a CPU, a ROM, a RAM, and a nonvolatile memory.
  • the control unit 50 displays an application selection screen on the display unit 53 or transmits an application selection input from the operation input unit 52 from the communication unit 51 to the advice generation server 3 to give advice according to the application. Control to request generation.
  • the control unit 50 controls the display unit 53 to display a display screen including the advice information received from the advice generation server 3 and the current emotion signal value or ideal signal value, and notify the user.
  • the communication unit 51 transmits / receives data to / from an external device in accordance with an instruction from the control unit 50. For example, the communication unit 51 transmits use selection information to the advice generation server 3 on the network, or receives advice information from the advice generation server 3.
  • the communication unit 51 may have a function of transmitting and receiving data by connecting to an external device present in the vicinity. Specifically, the communication unit 51 can also receive sensor data from the sensor device 10 worn by the user and transmit it to the emotion signal server 2 on the network.
  • the operation input unit 52 has a function of detecting a user operation on the user terminal 5 and outputting it to the control unit 50 as operation input information.
  • the operation input unit 52 is realized by, for example, a touch panel, and can be integrated with the display unit 53 to detect a user operation on the display screen. Further, the operation input unit 52 may analyze the sound collected by the microphone to realize voice input by the user, or analyze the captured image captured by the camera to realize gesture input by the user. Also good.
  • the display unit 53 has a function of displaying various screens such as a menu screen, an operation screen, a usage selection screen, an advice notification screen, and is realized by, for example, a liquid crystal display.
  • the display unit 53 corresponds to a lens portion located in front of the user's eyes when worn, and is a lens unit that performs display using, for example, hologram optical technology. Also good. Specific examples of the display screen including the usage selection screen and the advice notification screen to be displayed will be described later with reference to FIGS.
  • the storage unit 54 stores a program for the control unit 50 to execute each process. Further, the storage unit 54 according to the present embodiment may temporarily store the advice information received from the advice generation server 3.
  • the main configuration of the user terminal 5 has been described above.
  • the configuration of the user terminal 5 is not limited to the example illustrated in FIG. 6, and further includes, for example, a sensor unit (camera, microphone, infrared sensor, acceleration sensor, gyro sensor, etc.) and a sensor data extraction unit. You may have.
  • the display unit 53 is used as an example of the output unit.
  • the present embodiment is not limited to this.
  • the user terminal 5 includes a speaker or a vibration unit and outputs advice information. You may perform by audio
  • FIG. 7 is a flowchart showing an operation process of the information processing system according to the present embodiment.
  • the user terminal 5 displays an opening message and a usage input screen (steps S103 and S106). Specifically, the user terminal 5 displays a usage selection screen on the display unit 53 together with an opening message such as “Please select a usage”.
  • FIG. 8 shows an example of an initial screen including a use selection screen according to the present embodiment. As shown in FIG. 8, for example, a usage selection screen 113 is displayed on the upper right of the initial screen 100. On the usage selection screen 113, four usages such as negotiation, listening, collaboration, and guidance can be selected. In the example illustrated in FIG. 8, “listening” is selected as an example.
  • an advice display screen 114 is displayed at the lower right of the initial screen 100, and a graph screen 111 on which the value of each emotion signal is displayed is displayed on the left side of the initial screen 100.
  • the advice display screen 114 is blank, and the emotion signal value graph is not displayed.
  • the details of the scramble ON / OFF button 112 will be described in Modification 3 described later, but in this embodiment, it is always “OFF”.
  • the display of the initial screen 100 can be performed based on the display information received from the advice generation server 3.
  • an emotion signal acquisition process for the user is performed (step S112).
  • the advice generation server 3 selects the emotion signal (specifically, influence, mimicry) calculated based on the user's sensing data acquired from the sensor device 10 by the emotion signal server 2. , Activity level, consistency value) from the emotion signal server 2 in substantially real time.
  • user A and user B communicating with each other wear sensor devices 10a and 10b (see FIG. 2), and user A's emotion signal based on user A's sensing data and user B's The emotion signal of the user B based on the sensing data can be acquired.
  • a significant emotion signal indicates a value of an emotion signal that can be generated by performing comparison processing with an ideal emotion signal.
  • the advice generation server 3 when a significant emotion signal can be acquired (step S115 / Yes), the advice generation server 3 generates advice for constructing an ideal state according to the use based on the emotion signal (step S118). ).
  • the specific processing content of the advice generation processing will be described later with reference to FIG.
  • the advice generation server 3 transmits the generated advice information to the user terminal 5.
  • the user terminal 5 displays the advice information received from the advice generation server 3 and notifies the user (step S121). Specifically, the user terminal 5 displays advice information for approaching an ideal state corresponding to the selected application on the advice display screen 114 shown in FIG.
  • the graph screen 111 displays the current user emotion signal values and ideal emotion signal values received from the advice generation server 3 together with the advice information, and presents the current state and ideal state to the user. It can be intuitively grasped. In the case of only the graph screen 111, it is assumed that it is impossible to determine how to respond to the ideal state during communication, and therefore, it is displayed together with specific advice. Specific examples of display of advice information and the like will be described later with reference to FIGS.
  • FIG. 9 is a flowchart showing the advice generation process according to the present embodiment.
  • the advice generation server 3 receives the “negotiation” advice set from the advice information DB 32 when the use set based on the user's selection is “negotiation” (step S133 / Yes). Extraction is performed, and advice on each emotion signal (specifically, influence, mimicry, activity level, and consistency) is acquired using the advice set (step S136).
  • FIG. 10 shows an example of an advice set stored in the advice information DB 32.
  • the advice information DB 32 stores an application set 60 for “negotiation”, an advice set 61 for “listening”, an advice set 62 for “collaboration”, and an advice set 63 for “guidance”.
  • Each advice set includes “influence” advice information 60a, “Mimikuri” advice information 60b, “activity level” advice information 60c, and “consistency” advice information 60d.
  • Each piece of advice information is normalized emotion signal values (influence, mimicry, activity level, consistency) of user A (referred to as “self” in FIG. 10) and user B (referred to as “partner” in FIG. 10). It is linked to the coordinates corresponding to the combination.
  • a description will be given using a matrix 600 in which advice is stored at each coordinate.
  • the advice generation unit 30c extracts the “negotiation” advice set 60, and first generates “influence” advice.
  • the “influence” advice generation processing will be described in detail with reference to FIG.
  • the “influence” of the user in communication is, for example, the frequency of speech, the length of speech, the strength of voice, the overlap of speech, the frequency at which speech is interrupted when the speech overlaps, etc. Based on the above, a normalized numerical value between 0 and 1 is calculated.
  • FIG. 11 is a diagram for explaining advice generation of “influence” in the case of use “negotiation” according to the present embodiment.
  • the ideal state of “influence” is considered to have the same influence on each other. This is because it is not preferable that one of the persons has a great influence in the negotiation. Therefore, the ideal combination of influences of the user A (self) and the user B (partner) is a portion indicated mainly by a region 601 where the influences of both are balanced.
  • the ideal value is based on data received from the emotion signal server 2 as an “ideal emotion signal”, for example.
  • the advice generation unit 30c refers to the advice information based on the current “influence” values of the user A and the user B and the ideal value, and the user A for approaching the ideal state. Advice can be generated.
  • the advice generation unit 30c performs the above-described advice acquisition process for “Mimikuri”, “Activity Level”, and “Consistency” in the same manner, and acquires each advice.
  • the advice generation server 3 extracts the “listening” advice set from the advice information DB 32. Similarly, advice on each emotion signal is acquired using the advice set (step S142).
  • the advice generation server 3 extracts the advice set of “collaboration” from the advice information DB 32, and the advice set Similarly, advice on each emotion signal is acquired (step S148).
  • the advice generation server 3 extracts the “guidance” advice set from the advice information DB 32, and the advice set Similarly, advice on each emotion signal is acquired using (Step S154).
  • generation server 3 can acquire the advice according to the selected use, in addition to advice, for example, user A's current emotion signal value (current value) and the ideal value according to the selected use A display is generated (step S157).
  • FIG. 12 is a diagram showing an example of the display screen 101 of the application “listening” according to the present embodiment.
  • the display screen 101 is an example of a display screen displayed on the display unit 53 of the user terminal 5 in the display process shown in step S121 shown in FIG.
  • the display screen 101 includes a graph screen 111a, a usage selection screen 113a, and an advice notification screen 114a.
  • “listening” is selected as shown in the application selection screen 113a.
  • the current value of each emotion signal of the user A and the ideal value of each emotion signal in the usage “listening” are shown in a radar chart.
  • the user A can intuitively grasp that his / her influence is greater than the ideal state, and his / her consistency, activity level, and mimicry are smaller than the ideal state. it can.
  • “listening” for example, the state where the influence on the user A side is reduced to talk to the other party (user B) and the person is sympathizing with the other party is ideal.
  • the ideal value of Mimikuri is small and large.
  • advice notification screen 114a advice information indicating what kind of response the user A should take in order to approach the ideal state from the current state is displayed.
  • advice information indicating what kind of response the user A should take in order to approach the ideal state from the current state is displayed.
  • advice corresponding to each emotion signal value that is, advice regarding “influence”, advice regarding “Mimikuri”, advice regarding “activity level”, and advice regarding “consistency” are specified.
  • the advice generation server 3 can also obtain advice using an advice rule as shown in Table 1 below, for example. Such advice rules are provided for each use and are stored in the advice information DB 32.
  • the advice generation server 3 determines whether the current value of the emotion signal of the user A (or the combination of the emotion signal values of the user A and the user B; see the P coordinate shown in FIG. 11) is larger or smaller than the ideal value. Appropriate advice can be obtained from the above advice rules.
  • FIG. 13 is a diagram showing an example of the display screen 102 for the usage “negotiation” according to the present embodiment.
  • the display screen 102 includes a graph screen 111b, a usage selection screen 113b, and an advice notification screen 114b.
  • “negotiation” is selected as shown in the use selection screen 113b.
  • the current value of each emotion signal of the user A and the ideal value of each emotion signal in the use “negotiation” are shown in a radar chart.
  • the user A can intuitively grasp that his / her mimicry is larger than the ideal state and his influence, consistency, and activity level are smaller than the ideal state. it can.
  • the other party is often in a strong position. Therefore, the user A listens to the other party's thoughts without interrupting the other party's story, and the user A's attitude is made consistent.
  • the ideal value of influence is small and the ideal value of consistency is large.
  • advice information indicating what kind of response the user A should take in order to approach the ideal state from the current state is displayed.
  • the advice information according to the present embodiment may be generated according to an advice rule as shown in Table 2 below, for example.
  • the information processing system according to the first modification of the present embodiment can generate advice for approaching an ideal state based on the emotion signal of only the user A.
  • the partner user B
  • the default value for each application is used to generate advice.
  • the default value is calculated based on, for example, the opponent's past influence, mimicry, activity level, and consistency values for each application (for example, the highest appearance rate).
  • FIG. 14 is a flowchart showing the pre-processing of the advice generation process when only the user A has the sensor device 10. The process shown in FIG. 14 is performed before the advice generation process shown in FIG. 9 when an emotion signal from the partner (user B) cannot be acquired (step S201 / No).
  • the advice generation server 3 extracts an advice set of “negotiation”, and influence, mimicry, activity level, and consistency in “negotiation”.
  • Each sex default value is set as the value of the other party (step S206).
  • the advice generation server 3 extracts an advice set of “listening”, and influence, mimicry, activity level, and consistency in “listening” Each default value is set as the value of the other party (step S212).
  • the advice generation server 3 extracts an advice set of “collaboration”, influence, mimicry, activity level, and consistency in “collaboration”. Each default value is set as the value of the other party (step S218).
  • the advice generation server 3 extracts an advice set of “guidance”, and influence, mimicry, activity level, and consistency in “guidance”. Each default value is set as the value of the other party (step S224).
  • the information processing system according to the second modification of the present embodiment can generate advice for approaching an ideal state based on the emotion signal of only the communication partner (user B).
  • the information processing system according to this modification is in a state in which the person (user A) does not have the sensor device 10 and cannot acquire an emotion signal, and therefore the other person's emotion signal is monitored, Compare with the standard value (normal value) of to generate advice.
  • a specific description will be given with reference to FIG.
  • FIG. 15 is a diagram showing a display screen example according to the second modification of the present embodiment.
  • the display screen 103 includes a graph screen 111c, a usage selection screen 113c, and an advice notification screen 114c.
  • the value (current value) of the other party's emotion signal and the normal value of the other party are shown in a radar chart.
  • the advice generation server 3 compares the other person's emotion signal value with the other party's normal value, and generates advice based on, for example, an advice rule as shown in Table 3 below. Such advice rules exist for each use.
  • Table 3 below as shown in the graph screen 111c of FIG. 15, the current “influence” of the opponent is smaller than the normal value, “Mimikuri” is larger than the normal value, and “activity level” is the normal value. And “consistency” is less than normal.
  • the information processing system can generate advice based on the emotion signal of the partner (user B) and the normal value of the partner.
  • FIG. 16 is a diagram illustrating an example of a display screen according to the third modification of the present embodiment.
  • the display screen 104 includes a graph screen 111d, a usage selection screen 113d, and an advice notification screen 114d.
  • “listen” is selected as shown in the application selection screen 113d.
  • the scramble ON The / OFF button 112d is set to “ON”.
  • a display for prompting the user to leave the ideal state is displayed on the graph screen 111d, and an advice for leaving the ideal state is displayed on the advice notification screen 114d.
  • the value of the emotion signal of the user A (“your current value” shown in FIG. 16) and the ideal value for the usage “listening” are displayed on the axis of each emotion signal (on the 4th axis).
  • the user A objectively grasps what emotion signal is currently being expressed from the user to the other party, and leaves the ideal state so that the other person cannot read the real emotion signal.
  • each emotion signal should be strengthened or weakened.
  • the “influence” has a current value slightly larger than the ideal value, and therefore an arrow is displayed to further increase the influence so as to further move away from the ideal state.
  • “Mimikuri”, “Activity Level”, and “Consistency” are “Mimikuri”, “Activity Level”, and “Consistency”, respectively, so that the current value is slightly smaller than the ideal value. Arrows prompting you to weaken each "consistency” are displayed.
  • advice for leaving the ideal state displayed on the advice notification screen 114d is generated by the advice generation server 3 based on, for example, advice rules for each application as shown in Table 4 below.
  • the display screen example according to the present modification is not limited to the example shown in FIG.
  • a state away from the ideal state may be indicated as the scrambled ideal value.
  • FIG. 17 is a diagram showing another display screen example according to this modification.
  • the display screen 105 includes a graph screen 111e, a usage selection screen 113e, and an advice notification screen 114e.
  • the value of the emotion signal of the user A (“the system user) (“your current value” shown in FIG. 17), the ideal value for the usage “listening”, and the ideal scramble value are shown. Radar chart is displayed.
  • the user A objectively grasps what emotion signal is currently being expressed from the user to the other party, and leaves the ideal state so that the other person cannot read the real emotion signal.
  • the user A can intuitively grasp how far from the ideal state it should be.
  • FIG. 18 is a diagram illustrating another display screen example according to the third modification of the present embodiment.
  • the display screen 106 includes a graph screen 111f, a usage selection screen 113f, and an advice notification screen 114f.
  • a radar chart indicating the value of the emotion signal of the user B (“current value of the other party” shown in FIG. 18) and the scrambled ideal value for the usage “negotiation” is displayed.
  • the user A grasps what emotion signals are currently being expressed from the other party, and in order not to make “negotiation” communication in an ideal state, the other person's emotion signal is set to the scrambled ideal value. It is possible to intuitively recognize that it is necessary to approach.
  • the advice notification screen 114f displays advice indicating what kind of response should be taken in order to make the other party's emotion signal the scrambled ideal value.
  • the advice displayed on the advice notification screen 114f is based on the emotion signal calculated by the advice generation server 3 based on the sensor data of the user B, for example, for each application as shown in Table 4 below. Generated with reference to a rule.
  • the sensor device 10, the emotion signal server 2, the advice generation server are installed in hardware such as the CPU, ROM, and RAM incorporated in the sensor device 10, the emotion signal server 2, the advice generation server 3, or the user terminal 5 described above. 3 or a computer program for exercising the function of the user terminal 5 can be created.
  • a computer-readable storage medium storing the computer program is also provided.
  • advice and the like are mainly displayed and output from the display unit 53 of the user terminal 5, but it may be extremely difficult to see the display screen during communication. Therefore, it is conceivable that feedback such as presentation of advice to the user is realized by, for example, a head-mounted wearable device instead of the notebook PC as shown in FIG.
  • the head-mounted wearable device has, for example, a plurality of vibration units, and four axes of emotion signals as shown in FIG. 8 are assigned to the vibration units arranged in the front, rear, left, and right, respectively. It is possible to inform the user of the situation to be taken and how to deal with it by the vibration of the vibration unit.
  • the head-mounted wearable device may be provided with, for example, a bone conduction speaker, and advice may be output as a voice. By outputting through the bone conduction speaker, the user A can obtain advice without looking at the display screen or being known to the communication partner.
  • the user terminal 5 that performs feedback by such vibration is not limited to a head-mounted wearable device.
  • a bracelet type (arm) having a function of vibrating in four directions (front, back, right, and left), respectively.
  • a band) wearable device or a belt-type (trunk band) wearable device may be used.
  • this technique can also take the following structures.
  • a usage setting unit for setting a usage in which the first user communicates with the second user;
  • a communication unit that receives an emotion signal of at least one of the first user and the second user;
  • a generation unit that generates advice to the first user,
  • a control unit that transmits the generated advice to the client terminal corresponding to the first user via the communication unit;
  • An information processing system comprising: (2) The information processing system according to (1), wherein the generation unit generates advice to the first user so that an emotion signal of the first user approaches an ideal state according to the application.
  • the information processing unit according to (1) or (2), wherein the generation unit generates advice to the first user based on correspondence information between the state of the emotion signal and advice accumulated for each use. system.
  • the generation unit generates the advice to the first user based on a comparison result of comparing the received emotion signal with an emotion signal in an ideal state according to the application, (1) to (1)
  • the information processing system according to any one of 3).
  • the generation unit is based on a comparison result of comparing a combination value of the current emotion signal of the first user and the current emotion signal of the second user with an emotion signal in an ideal state according to the application.
  • the information processing system according to any one of (1) to (4), wherein advice for the first user to approach the ideal state is generated.
  • the generation unit is based on a comparison result of comparing a combination value of the current emotion signal of the first user and a default value of the emotion signal of the second user with an emotion signal in an ideal state according to the application.
  • the information processing system according to any one of (1) to (4), wherein an advice to the first user for approaching the ideal state is generated.
  • the generating unit sets the normal value as an ideal state based on the current emotion signal of the second user and the normal value of the second user according to the application, and the second unit approaches the ideal state.
  • the information processing system according to any one of (1) to (4), wherein advice for one user is generated.
  • the information processing system wherein the generation unit generates advice to the first user so that the emotion signal of the first user is separated from an ideal state according to the application.
  • the information processing system wherein the generation unit generates advice to the first user so that the emotion signal of the first user approaches a non-ideal state according to the application.
  • the control unit performs control so as to transmit the emotion signal of the first user or the second user used for generating the advice and the emotion signal in the ideal state together with the generated advice.
  • the information processing system according to any one of (9) to (9).
  • a selection input unit that accepts selection of an application in which the first user communicates with the second user; Providing advice to the first user based on an ideal state of the emotion signal detected from at least one of the first user and the second user according to the usage selected by the selection input unit
  • a communication unit that transmits the selected usage to an external server that receives the advice to the first user generated according to the usage and emotion signal;
  • a notification unit for notifying advice to the first user;
  • An information processing system comprising: (12)
  • the information processing system includes: A detector that detects an emotion signal of at least one of the first user and the second user; The information processing system according to (11), wherein the communication unit transmits the detected emotion signal to the external server.
  • the notification unit notifies the first user of advice so that the emotion signal of the first user approaches an ideal state according to the use selected by the selection input unit, (11) or ( The information processing system according to 12).
  • the notifying unit notifies the first user of advice so that the emotion signal of the first user leaves the ideal state according to the use selected by the selection input unit, (11) to (11) The information processing system according to any one of 13).
  • the notification unit notifies the first user of an advice so that the emotion signal of the first user approaches a non-ideal state according to the use selected by the selection input unit.
  • the information processing system according to any one of (13).
  • the notification unit notifies the generated advice together with a graph indicating the emotion signal of the first user or the second user used for generating the advice and the emotion signal in the ideal state (11)
  • Computer A selection input unit that accepts selection of an application in which the first user communicates with the second user; Providing advice to the first user based on an ideal state of the emotion signal detected from at least one of the first user and the second user according to the usage selected by the selection input unit A communication unit that transmits the selected usage to an external server that receives the advice to the first user generated according to the usage and emotion signal; A notification unit for notifying advice to the first user; A storage medium storing a program for functioning as a computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】ユーザの感情を示すシグナルに基づいて、理想的なコミュニケーション状態を構築するためのアドバイスを生成することが可能な情報処理システム、制御方法、および記憶媒体を提供する。 【解決手段】第１ユーザが第２ユーザとコミュニケーションを行う用途を設定する用途設定部と、前記第１ユーザおよび第２ユーザのうち少なくともいずれか一方の感情シグナルを受信する通信部と、前記受信した感情シグナルの前記用途に応じた理想的な状態に基づいて、前記第１ユーザへのアドバイスを生成する生成部と、前記生成されたアドバイスを、前記通信部を介して前記第１ユーザに対応するクライアント端末に送信する制御部と、を備える、情報処理システム。

Description

情報処理システム、制御方法、および記憶媒体
　本開示は、情報処理システム、制御方法、および記憶媒体に関する。
　従来、交渉や会議、営業、プレゼンテーション等の社会的コミュニケーションにおいて、人は相手の様子を伺いながら話を進め、理想的なコミュニケーションの状態を作るが、このようなコミュニケーションの能力は個人の技能による所が多かった。
　対話による人とのコミュニケーションを取る際のアドバイスシステムに関しては、例えば下記特許文献１が提案されている。特許文献１に開示されているシステムでは、プレゼンテーション、会議、講習会等における参加者（発表者、受講者）の集中度を検出し、参加者にフィードバックを行う。また、例えば集中度の低い受講者が後方座席に居る際には、発表者に「声を大きくしてください」等のメッセージが表示される。
特開２０１２－１６０１７３号公報
　ここで、人はコミュニケーションの際に、身振り手振りや声の調子、口数の多さ、頷き等により、自身の本当の気持ち（感情）を示すシグナルを出しており、上述した相手の様子を伺いながら話を進める方法では、このような相手の出すシグナルに基づいて相手の感情を把握していることが想定される。
　しかしながら、相手のシグナルを感知することが人によっては困難であったり、また、シグナルを把握できても自分の理想とするコミュニケーション状態に近付けるためにどのようなにすればよいかが分からなかったりする場合も想定される。
　そこで、本開示では、ユーザの感情を示すシグナルに基づいて、理想的なコミュニケーション状態を構築するためのアドバイスを生成することが可能な情報処理システム、制御方法、および記憶媒体を提案する。
　本開示によれば、第１ユーザが第２ユーザとコミュニケーションを行う用途を設定する用途設定部と、前記第１ユーザおよび第２ユーザのうち少なくともいずれか一方の感情シグナルを受信する通信部と、前記受信した感情シグナルの前記用途に応じた理想的な状態に基づいて、前記第１ユーザへのアドバイスを生成する生成部と、前記生成されたアドバイスを、前記通信部を介して前記第１ユーザに対応するクライアント端末に送信する制御部と、を備える、情報処理システムを提案する。
　本開示によれば、第１ユーザが第２ユーザとコミュニケーションを行う用途の選択を受付ける選択入力部と、前記第１ユーザおよび第２ユーザのうち少なくともいずれか一方から検出された感情シグナルの、前記選択入力部により選択された用途に応じた理想的な状態に基づいて、前記第１ユーザにアドバイスを生成する外部サーバに前記選択された用途を送信し、前記用途と感情シグナルに応じて生成された前記第１ユーザへのアドバイスを受信する通信部と、前記第１ユーザへのアドバイスを通知する通知部と、を備える、情報処理システムを提案する。
　本開示によれば、第１ユーザが第２ユーザとコミュニケーションを行う用途を設定することと、前記第１ユーザおよび第２ユーザのうち少なくともいずれか一方の感情シグナルを通信部により受信することと、前記受信した感情シグナルの前記用途に応じた理想的な状態に基づいて、前記第１ユーザへのアドバイスを生成することと、前記生成されたアドバイスを、前記通信部を介して前記第１ユーザに対応するクライアント端末に送信するよう制御部により制御することと、を含む、制御方法を提案する。
　本開示によれば、コンピュータを、第１ユーザが第２ユーザとコミュニケーションを行う用途の選択を受付ける選択入力部と、前記第１ユーザおよび第２ユーザのうち少なくともいずれか一方から検出された感情シグナルの、前記選択入力部により選択された用途に応じた理想的な状態に基づいて、前記第１ユーザにアドバイスを生成する外部サーバに前記選択された用途を送信し、前記用途と感情シグナルに応じて生成された前記第１ユーザへのアドバイスを受信する通信部と、前記第１ユーザへのアドバイスを通知する通知部と、として機能させるためのプログラムが記憶された、記憶媒体を提案する。
　以上説明したように本開示によれば、ユーザの感情を示すシグナルに基づいて、理想的なコミュニケーション状態を構築するためのアドバイスを生成することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本実施形態による情報処理システムの全体構成を示す図である。 本実施形態によるセンサ装置の構成の一例を示すブロック図である。 本実施形態による感情シグナルサーバの構成の一例を示すブロック図である。 本実施形態によるアドバイス生成サーバの構成の一例を示すブロック図である。 本実施形態によるユーザ端末の構成の一例を示すブロック図である。 本実施形態による情報処理システムの動作処理を示すフローチャートである。 本実施形態による用途選択画面を含む初期画面例を示す図である。 本実施形態によるアドバイス生成処理を示すフローチャートである。 本実施形態によるアドバイス情報ＤＢに格納されるアドバイスセットの一例を示す図である。 本実施形態による用途「交渉」の場合における「影響力」のアドバイス生成について説明する図である。 本実施形態による用途「傾聴」の表示画面の一例を示す図である。 本実施形態による用途「交渉」の表示画面の一例を示す図である。 本実施形態の変形例１によるユーザＡのみがセンサ装置を有している場合におけるアドバイス生成処理の事前処理について示すフローチャートである。 本実施形態の変形例２による表示画面例を示す図である。 本実施形態の変形例３による表示画面例を示す図である。 本実施形態の変形例３による他の表示画面例を示す図である。 本実施形態の変形例３による他の表示画面例を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．構成
　　２－１．全体構成
　　２－２．センサ装置
　　２－３．感情シグナルサーバ
　　２－４．アドバイス生成サーバ
　　２－５．ユーザ端末
　３．動作処理
　　３－１．システム動作処理
　　３－２．アドバイス生成処理
　４．表示画面例
　５．変形例
　　５－１．ユーザＡ（本人）のみがセンサ装置１０を有している場合
　　５－２．ユーザＢ（相手）のみがセンサ装置１０を有している場合
　　５－３．感情シグナルスクランブル処理
　６．まとめ
　　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　まず、本開示の一実施形態による情報処理システムの概要について図１を参照して説明する。図１に示すように、例えば交渉や商談といった社会的コミュニケーションを行っている際、人は自身の感情を示す感情シグナルを表出していることが想定される。感情シグナルは、例えば４つの社会的シグナル、すなわち「影響力」、「ミミクリ（mimicry；模倣）」、「活動レベル」、「一貫性」により定量化され得る。
　「影響力」は、会話中における話者交代のパターンから算出される。例えばユーザＡが一方的に話していたり、ユーザＢの話を遮ってユーザＡが話し続けていたりする場合、ユーザＡの影響力が大きいと言える。また、相手の言葉に被せるようにして双方言葉を発している場合はどちらの影響力も大きい。また、会話に長く不規則な中断がある場合、影響力は小さいと言える。
　「ミミクリ」は、会話中においてユーザが相手の言葉や身振り・手振りを真似する回数や時間に基づいて算出される。通常、会話に夢中になり、波長が合っている場合、および共感している場合は、互いの身振り・手振りや言葉を真似し合う傾向があるため、「ミミクリ」の値が大きい程、相手に同調・共感していると言える。
　「活動量」は、身振り手振りの量や、身体の動きの激しさから算出される。「活動量」の値が大きい程、相手の話に関心を持ち、興味を示していることが分かる。
　「一貫性」は、発話の韻律や身振り手振りの変動量、話している際の声の高さや大きさやリズムの変動から算出される。「一貫性」の値が大きい程、精神が集中していることが分かり、値が小さい程、感情的になっていることが分かる。
　このような感情シグナルは、例えばユーザに装着されたセンサ装置（カメラセンサ、マイクロホン、ジャイロセンサ、加速度センサ、および地磁気センサ等）により検知されるセンサデータから算出され得る。
　本システムでは、これらの感情シグナルに基づいてコミュニケーションの状態を認識し、コミュニケーションの目的やユーザの社会的な立場、対話者の関係等に応じた理想的なコミュニケーションの状態、すなわち理想的な感情シグナルが表出する状態にするためのアドバイスをユーザに対して行う。
　例えば、図１に示すように、ユーザＡがユーザＢと交渉している際、本開示による情報処理システムは、ユーザＡおよびユーザＢの少なくともいずれか一方から検知された感情シグナルを取得し、現在の状態を認識する。次いで、情報処理システムは、「交渉」の場における理想的なコミュニケーション状態（すなわち感情シグナル状態）と現在の感情シグナルとを比較し、理想的なコミュニケーション情報を構築するためのアドバイスをユーザ端末５からユーザＡに提示する。例えば「活動レベル」の値が理想値よりも低い場合には、「身振り手振りを交えて話して下さい。」といったアドバイスが提示される。また、ユーザＡへのアドバイスの提示は、検知したユーザＡの感情シグナル（「影響力」、「ミミクリ」、「活動レベル」、および「一貫性」）の値および理想値を示すレーダーチャートと共に行われてもよい。
　これによりユーザＡは、アドバイスに従って話のテンポや声の調子、身振り手振り、発言量等を調整し、ユーザＢとの交渉を理想的な状態に近付けることができる。
　以上、本開示の一実施形態による情報処理システムの概要について説明した。本実施形態による情報処理システムによれば、ユーザの感情を示すシグナルに基づいて、理想的なコミュニケーション状態を構築するためのアドバイスを生成することができる。
　　＜＜２．基本構成＞＞
　　＜２－１．全体構成＞
　続いて、本実施形態による情報処理システムの全体構成について、図２を参照して説明する。図２は、本実施形態による情報処理システム１の全体構成を示す図である。図２に示すように、本実施形態による情報処理システム１は、ユーザに装着され、感情シグナルを算出するためのデータを検知するセンサ装置１０（１ａ、１ｂ）と、感情シグナルを算出する感情シグナルサーバ２と、感情シグナルに基づいてアドバイスを生成するアドバイス生成サーバ３と、生成されたアドバイスをユーザにフィードバックするユーザ端末５とを含む。センサ装置１０、感情シグナルサーバ２、アドバイス生成サーバ３、およびユーザ端末５は、ネットワーク４を介して接続され得る。
　センサ装置１０は、図２に示すような首掛け型の他、メガネ型、頭部装着型、時計型、腕輪型、バッジ型等、様々な形態が考え得る。また、センサ装置１０は、ユーザに装着される装置に限定されず、スマートフォンや携帯電話端末等、ユーザに所持される装置であってもよい。また、センサ装置１０はユーザ端末５と一体化していてもよい。センサ装置１０は、カメラセンサ、マイクロホン、ジャイロセンサ、加速度センサ、および地磁気センサ等によりユーザの発話、声の大きさ、身体の活動量、頷き、相槌等を検知し、検知したデータ（センサ値）を、ネットワーク４を介して感情シグナルサーバ２へ送信する。なお感情シグナルサーバ２への送信は、ユーザが所持するスマートフォン、携帯電話端末、タブレット端末等のモバイル端末を介して行われてもよい。
　感情シグナルサーバ２は、センサ装置１０により検知されたデータ（センサ値）を解析して、ユーザの感情シグナル（例えば、影響力、ミミクリ、活動レベル、および一貫性）を算出する。算出した感情シグナルは、感情シグナルＤＢ２２に格納され得る。また、感情シグナルＤＢ１２には、本システムの用途（例えば「交渉」、「傾聴」、「協業」、「指導」といった社会的コミュニケーションの種類）に応じた理想的な感情シグナル値も格納されている。
　アドバイス生成サーバ３は、ユーザからによる用途の選択を受けて、用途に応じた理想的なコミュニケーションを構築するためのアドバイスを感情シグナル値に基づいて行う。具体的には、アドバイス生成サーバ３は、選択された用途向けの理想的な感情シグナル値を感情シグナルサーバ２の感情シグナルＤＢ２２から呼び出し、理想的な感情シグナル値と、感情シグナルサーバ２により算出された現在の感情シグナル値とを比較し、その結果からアドバイスを生成し、ユーザにフィードバックする。比較結果に基づくアドバイスは、例えばアドバイス情報ＤＢ３２に格納されている事例（ルール）に基づいて生成されてもよいし、機械学習や協調フィルタリングといった推薦技術を用いて生成されてもよい。
　ユーザ端末５は、ユーザに結果の提示を行う情報処理装置である。ユーザ端末５は、アドバイス生成サーバ３から送信された比較結果に基づくアドバイスを、表示出力、音声出力、または振動等によりユーザに通知する。
　以上、本実施形態による情報処理システム１の全体構成について説明した。続いて、本実施形態の情報処理システム１に含まれる各装置の基本構成について、図３～図６を参照して具体的に説明する。
　　＜２－２．センサ装置＞
　図３は、本実施形態によるセンサ装置１０の構成の一例を示すブロック図である。図３に示すように、本実施形態によるセンサ装置１０は、センサ部１１、センサデータ抽出部１２、制御部１３、通信部１４、および記憶部１５を有する。
　センサ部１１は、ユーザの動きや音声を検知する機能を有し、例えばカメラセンサ、マイクロホン、ジャイロセンサ、加速度センサ、および地磁気センサ等により実現され得る。
　センサデータ抽出部１２は、センサ部１１からセンサデータ（撮像画像、音声情報等）を抽出する。
　制御部１３は、センサ装置１０の各構成を制御する。また、制御部１３は、ＣＰＵ（Central　Processing　Unit）、ＲＯＭ（Read　Only　Memory）、ＲＡＭ（Random　Access　Memory）、および不揮発性メモリを備えたマイクロコンピュータにより実現される。本実施形態による制御部１３は、センサデータ抽出部１２により抽出されたセンサデータを、記憶部１５に一時的に保存し、また、通信部１４から感情シグナルサーバ２に送信するよう制御する。
　通信部１４は、制御部１３の指示に従って、外部装置とデータの送受信を行うＩ／Ｆ（インターフェース）として機能する。例えば通信部１４は、ネットワーク４に接続し、ネットワーク（クラウド）上の感情シグナルサーバ２にセンサデータをリアルタイムで送信する。なお通信部１４は、ユーザが所持するユーザ端末５と、Ｗｉ－Ｆｉ（登録商標）、赤外線通信、またはＢｌｕｅｔｏｏｔｈ（登録商標）等により近距離無線接続し、ユーザ端末５を介して感情シグナルサーバ２にセンサデータをリアルタイムで送信するようにしてもよい。
　記憶部１５は、制御部１３が各処理を実行するためのプログラムを格納する。また、記憶部１５は、センサデータを一時的に保持する領域も有する。
　　＜２－３．感情シグナルサーバ＞
　次に、図４を参照して感情シグナルサーバ２の構成について説明する。図４は、本実施形態による感情シグナルサーバ２の構成の一例を示すブロック図である。図４に示すように、感情シグナルサーバ２は、制御部２０、通信部２１、感情シグナルＤＢ２２、およびユーザ情報ＤＢ２３を有する。
　制御部２０は、感情シグナルサーバ２の各構成を制御する。また、制御部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および不揮発性メモリを備えたマイクロコンピュータにより実現される。本実施形態による制御部２０は、図４に示すように、データ処理部２０ａ、データ解析部２０ｂ、感情シグナル算出部２０ｃ、ユーザ管理部２０ｄとしても機能する。
　データ処理部２０ａは、通信部２１により受信した、センサ装置１０により検知されたセンサデータを整えて、より正確に解析が行える状態のデータに処理し、データ解析部２０ｂに出力する。データ解析部２０ｂは、データ処理部２０ａにより整えられたセンサデータの解析を行い、発話、声の大きさ、身体の活動量、身振り手振り、頷き、相槌等の情報を抽出し、感情シグナル算出部２０ｃに出力する。
　感情シグナル算出部２０ｃは、データ解析により得られた情報に基づいて、ユーザの感情シグナルを算出する。より具体的には、感情シグナル算出部２０ｃは、感情シグナルとして、影響力、ミミクリ、活動レベル、および一貫性といった４つの値を算出する。なお本実施形態では、一例として、これらの感情シグナルの値を、正規化した0～1の間の数値で算出する。以下、４つの感情シグナルの算出について詳述する。
　・影響力
　感情シグナル算出部２０ｃは、例えばマイクロホンにより収音されたユーザＡとユーザＢの会話の音声データの解析により得られた発言の頻度、発言の長さ、声の強度、発言の重複（相手と同時に話してしまうこと）、発言を中断させられた頻度等に基づいて「影響力」を算出する。例えば、感情シグナル算出部２０ｃは、ユーザＡの発言の頻度がユーザＢに比べて少ない場合、ユーザＡの影響力は小さいと判定する。また、感情シグナル算出部２０ｃは、発言の長さについても同様に判定（発言の長さが長い程「影響力」が大きいと判定）する。
　また、感情シグナル算出部２０ｃは、ユーザＡとユーザＢの声の強度の平均レベルを比較し、ユーザＢの声の強度の平均レベルの方が大きい場合、ユーザＡの影響力は小さいと判定する。また、感情シグナル算出部２０ｃは、発言が重複した際に発言を中断する頻度が高い場合、中断させられた側のユーザの影響力は小さいと判定する。
　・ミミクリ
　感情シグナル算出部２０ｃは、例えばカメラ、赤外線センサ、加速度センサ、ジャイロセンサ等により検知されたユーザの頭の動きや、マイクロホンにより収音された発話を解析することで得られた相手に同意を示す動作（頷き、相槌、同じ言葉の繰り返し等）に基づいて「ミミクリ（模倣）」を算出する。例えば、感情シグナル算出部２０ｃは、会話の中で同じ単語が繰り得される（出現確立が高い）場合、ミミクリが高いと判定する。また、相槌を示す特定の単語（「なるほど」「そうですか」「ええ」「はい」等）の出現確率を測定し、ミミクリを判定する。
　・活動レベル
　感情シグナル算出部２０ｃは、例えばカメラ、赤外線センサ、加速度センサ、ジャイロセンサ等により検知されたユーザの両手や上半身頭の動きを解析することで得られた身振り手振りの動作に基づいて、「活動レベル」を算出する。ユーザの身振り手振りの回数や上半身の動きは、ユーザが話に夢中になったり、熱心になったりしている際に増える。感情シグナル算出部２０ｃは、身振り手振りの回数や、上半身の動きの大きさを数値化し、活動レベルを判定する。
　・一貫性
　感情シグナル算出部２０ｃは、例えばマイクロセンサにより収音された発話を解析することで得られる、発言の頻度、発言の長さ、声の強度、声の周波数、発言の速さ等に基づいて、「一貫性」を算出する。例えば、感情シグナル算出部２０ｃは、会話中における声の強度の変動や声のピッチ（周波数）の変動を時系列で測定し、その偏差と出現確率から、発言が一貫しているか、変調を来しているかを測定し、一貫性を算出する（一貫している場合は一貫性が高く、変調を来している場合は一貫性が低い）。
　以上説明したように算出された感情シグナルは、感情シグナルＤＢ２２に格納され、また、通信部２１を介してアドバイス生成サーバ３に送信される。
　ユーザ管理部２０ｄは、ユーザ情報ＤＢ２３に格納されるユーザ情報の管理を行う。例えばユーザ管理部２０ｄは、ユーザ情報ＤＢ２３へのユーザ情報の登録、削除、更新等の処理を行う。ユーザ情報は、例えばユーザの氏名、年齢、性別、趣味・嗜好、ユーザＩＤ、および話し方の傾向（平均的な発言頻度、声の強度、声の周波数、発言の早さ、身振り手振りの頻度等）を含む。
　通信部２１は、制御部２０の指示に従って、外部装置とデータの送受信を行うＩ／Ｆ（インターフェース）として機能する。例えば通信部２１は、ネットワーク４に接続し、センサ装置１０から会話中にセンシングされたセンサデータを受信したり、算出された感情シグナルをアドバイス生成サーバ３に送信したりする。また、通信部２１は、アドバイス生成サーバ３からの要求に応じて、感情シグナルＤＢ２２から抽出された所定用途の理想的な感情シグナルを返信する。
　感情シグナルＤＢ２２は、感情シグナル算出部２０ｃにより算出された感情シグナルを格納する。また、感情シグナルＤＢ２２は、「交渉」「傾聴」「協業」「指導」といった用途別の理想的な感情シグナルを格納してもよい。理想的な感情シグナルとは、例えばその用途における多くの事例を教師データとして機械学習手法または統計手法により得られた理想値である。また、理想的な感情シグナルは、用途毎に望ましい数値として管理者に入力されたものであってもよい。
　ユーザ情報ＤＢ２３は、本システムの利用者であるユーザに関する情報（ユーザ情報）を格納する。
　　＜２－４．アドバイス生成サーバ＞
　続いて、本実施形態によるアドバイス生成サーバ３の構成について図５を参照して説明する。図５は、本実施形態によるアドバイス生成サーバ３の構成の一例を示すブロック図である。図５に示すように、アドバイス生成サーバ３は、制御部３０、通信部３１、およびアドバイス情報ＤＢ３２を有する。
　制御部３０は、アドバイス生成サーバ３の各構成を制御する。また、制御部３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および不揮発性メモリを備えたマイクロコンピュータにより実現される。本実施形態による制御部３０は、図５に示すように、用途設定部３０ａ、比較部３０ｂ、およびアドバイス生成部３０ｃとしても機能する。
　用途設定部３０ａは、アドバイス生成の用途を設定する。例えば用途設定部３０ａは、ユーザ端末５で表示された用途選択画面においてユーザにより選択された用途を設定してもよい。本明細書において、アドバイス生成の用途とは、具体的には人と人（或いは人とロボット）の社会的コミュニケーションにおいて想定される４つの分類、すなわち「交渉」、「傾聴」、「協業」、および「指導」が想定される。「交渉」は、例えば社内で上司に異動の申し出や待遇の改善を要求する場面や、社外での営業または取引先との契約締結の場面が該当し、「傾聴」は、例えば商品の不具合に苦情を言って来たお客様の応対をする場面（クレーム応対場面）が該当する。また、「協業」は、例えば仕事や当番の進め方について一緒に行うパートナーと相談する場面、「指導」は、例えば遅刻を繰り返す部下を教育する場面が該当する。
　ユーザは、後述する用途選択画面において、これから行うコミュニケーションは上記４つの分類のいずれに該当するかを選択する。なお会話の途中で、話の展開によってはコミュニケーションの種類が動的に変わることも想定されるので、ユーザにより都度用途選択を行えるようにしてもよい。
　比較部３０ｂは、感情シグナルサーバ２により算出されたユーザの現在の感情シグナルと、用途設定部３０ａにより設定された用途に応じた理想的な感情シグナルとを比較する。用途に応じた理想的な感情シグナルは、例えば感情シグナルサーバ２の感情シグナルＤＢ２２から取得されてもよいし、アドバイス生成サーバ３の内部メモリに記憶されていてもよい。また、比較部３０ｂは、比較結果をアドバイス生成部３０ｃに出力する。
　アドバイス生成部３０ｃは、比較結果に基づき、アドバイス情報ＤＢ３２を参照して、理想的な状態に近付くようユーザへのアドバイスを生成する。アドバイス情報ＤＢ３２には、図１０を参照して後述する用途別のアドバイスセットが格納されている。各アドバイスセットは、各感情シグナル、すなわち「影響力」「ミミクリ」「活動レベル」および「一貫性」における、ユーザＡ（システム利用：自分）の値とユーザＢ（相手）の値の組み合わせに応じたアドバイスを含む。
　通信部３１は、制御部３０の指示に従って、外部装置とデータの送受信を行う。例えば通信部３１は、感情シグナルサーバ２により算出されたユーザの感情シグナルや、設定された用途の理想的な感情シグナルを感情シグナルサーバ２から受信したり、アドバイス生成部３０ｃにより生成されたアドバイスをユーザ端末５に送信したりする。また、通信部３１は、アドバイスと共に、対象ユーザの感情シグナルおよび設定された用途の理想的な感情シグナルを送信してもよい。
　アドバイス情報ＤＢ３２は、アドバイス生成部３０ｃがアドバイスを生成する際に利用されるアドバイス情報を格納する。アドバイス情報は、図１０を参照して後述する用途別の感情シグナル種別毎のアドバイスセットであってもよい。かかるアドバイスセットは、事例に基づいて予め生成されたアドバイスルールである。
　以上、本実施形態によるアドバイス生成サーバ３の構成について説明した。なお図２、図４、および図５では、アドバイス生成サーバ３および感情シグナルサーバ２を別体として説明したが、本実施形態はこれに限定されず、アドバイス生成サーバ３および感情シグナルサーバ２が一のサーバ（同一体）により実現されてもよい。
　　＜２－５．ユーザ端末＞
　続いて、本実施形態によるユーザ端末５の構成について図６を参照して説明する。図６は、本実施形態によるユーザ端末５の構成の一例を示すブロック図である。図６に示すように、ユーザ端末５は、制御部５０、通信部５１、操作入力部５２、表示部５３、および記憶部５４を有する。また、ユーザ端末５は、図１に示すようにノートＰＣ（パーソナルコンピュータ）により実現されていてもよいし、タブレット端末、スマートフォン、携帯電話端末、デスクトップ型ＰＣ等により実現されていてもよい。或いは、ユーザ端末５は、メガネ型デバイス、時計型デバイス、首掛けデバイス等のウェアラブルデバイスにより実現されていてもよい。
　制御部５０は、ユーザ端末５の各構成を制御する。また、制御部５０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および不揮発性メモリを備えたマイクロコンピュータにより実現される。本実施形態による制御部５０は、表示部５３に用途選択画面を表示したり、操作入力部５２から入力された用途選択を通信部５１からアドバイス生成サーバ３に送信して用途に応じたアドバイスの生成を要求するよう制御したりする。また、制御部５０は、アドバイス生成サーバ３から受信したアドバイス情報、および現在の感情シグナル値や理想的なシグナル値を含む表示画面を表示部５３に表示して、ユーザに通知するよう制御する。
　通信部５１は、制御部５０の指示に従って、外部装置とデータの送受信を行う。例えば通信部５１は、用途選択情報をネットワーク上のアドバイス生成サーバ３に送信したり、アドバイス生成サーバ３からアドバイス情報等を受信したりする。また、通信部５１は、近傍に存在する外部装置と接続してデータの送受信を行う機能を有していてもよい。具体的には、通信部５１は、ユーザが装着するセンサ装置１０からセンサデータを受信し、ネットワーク上の感情シグナルサーバ２に送信することも可能である。
　操作入力部５２は、ユーザ端末５に対するユーザ操作を検出し、操作入力情報として制御部５０に出力する機能を有する。操作入力部５２は、例えばタッチパネルにより実現され、表示部５３と一体化されることで、表示画面に対するユーザ操作を検出することが可能である。また、操作入力部５２は、マイクロホンにより収音された音声を解析してユーザによる音声入力を実現してもよいし、カメラにより撮像された撮像画像を解析してユーザによるジェスチャー入力を実現してもよい。
　表示部５３は、メニュー画面、操作画面、用途選択画面、アドバイス通知画面等の各種画面を表示する機能を有し、例えば液晶ディスプレイにより実現される。また、ユーザ端末５がメガネ型デバイスにより実現されている場合、表示部５３は、装着時にユーザの眼前に位置するレンズ部分に相当し、例えばホログラム光学技術を用いて表示を行うレンズ部であってもよい。表示される用途選択画面やアドバイス通知画面を含む表示画面の具体的については、図８～図１８を参照して後述する。
　記憶部５４は、制御部５０が各処理を実行するためのプログラムを格納する。また、本実施形態による記憶部５４は、アドバイス生成サーバ３から受信したアドバイス情報等を一時的に記憶してもよい。
　以上、ユーザ端末５の主要な構成について説明した。なおユーザ端末５の構成は、図６に示す例に限定されず、例えばさらにセンサ部（カメラ、マイクロホン、赤外線センサ、加速度センサ、ジャイロセンサ等）およびセンサデータ抽出部を備え、センサ装置１０の機能を有してもよい。また、図６に示す構成では、出力部の一例として表示部５３を用いたが、本実施形態はこれに限定されず、例えばユーザ端末５は、スピーカまたは振動部を備え、アドバイス情報の出力を音声出力または振動出力により行ってもよい。
　　＜＜３．動作処理＞＞
　＜３－１．システム動作処理＞
　次に、本実施形態による情報処理システムの動作処理について図７を参照して説明する。図７は、本実施形態による情報処理システムの動作処理を示すフローチャートである。
　図７に示すように、ユーザ端末５は、オープニングメッセージの表示と、用途入力画面の表示を行う（ステップＳ１０３、Ｓ１０６）。具体的にはユーザ端末５は、表示部５３に、「用途を選択してください」といったオープニングメッセージと共に、用途選択画面を表示する。ここで、図８に、本実施形態による用途選択画面を含む初期画面例を示す。図８に示すように、例えば初期画面１００の右上に、用途選択画面１１３が表示されている。用途選択画面１１３では、交渉、傾聴、協業、指導といった４つの用途を選択し得る。図８に示す例では、一例として「傾聴」が選択されている。また、初期画面１００の右下には、アドバイス表示画面１１４が表示され、初期画面１００の左側には、各感情シグナルの値が表示されるグラフ画面１１１が表示されている。ここではまだ用途が選択された段階であるため、アドバイス表示画面１１４は空欄であって、感情シグナル値のグラフも表示されていない。また、スクランブルＯＮ／ＯＦＦボタン１１２の詳細に関しては後述する変形例３において説明するが、本実施形態では常時「ＯＦＦ」になっている。かかる初期画面１００の表示は、アドバイス生成サーバ３から受信した表示情報に基づいて行われ得る。
　次いで、用途選択画面１１３で用途が選択（入力）されると（ステップＳ１０９／Ｙｅｓ）、ユーザの感情シグナルの取得処理が行われる（ステップＳ１１２）。具体的には、アドバイス生成サーバ３は、用途が選択されると、感情シグナルサーバ２がセンサ装置１０から取得したユーザのセンシングデータに基づいて算出した感情シグナル（具体的には、影響力、ミミクリ、活動レベル、一貫性の値）を略リアルタイムで感情シグナルサーバ２から取得する。本実施形態では、一例としてコミュニケーションを行っているユーザＡとユーザＢがそれぞれセンサ装置１０ａ、１０ｂを装着し（図２参照）、ユーザＡのセンシングデータに基づくユーザＡの感情シグナルと、ユーザＢのセンシングデータに基づくユーザＢの感情シグナルが取得され得る。
　上記感情シグナルの取得（ステップＳ１１２）は、有意な感情シグナルが取得できるまでの繰り返される（ステップＳ１１５）。有意な感情シグナルとは、理想的な感情シグナルと比較処理してアドバイス生成を行うことができる感情シグナルの値を示す。
　続いて、有意な感情シグナルが取得できると（ステップＳ１１５／Ｙｅｓ）、アドバイス生成サーバ３は、感情シグナルに基づいて、用途に応じた理想的な状態を構築するためのアドバイスを生成する（ステップＳ１１８）。アドバイス生成処理の具体的な処理内容については、図９を参照して後述する。アドバイス生成サーバ３は、生成したアドバイス情報をユーザ端末５に送信する。
　そして、ユーザ端末５は、アドバイス生成サーバ３から受信したアドバイス情報を表示し、ユーザに通知する（ステップＳ１２１）。具体的には、ユーザ端末５は、図８に示すアドバイス表示画面１１４に、選択された用途に応じた理想的な状態に近付くためのアドバイス情報を表示する。また、グラフ画面１１１には、アドバイス情報と共にアドバイス生成サーバ３から受信した現在のユーザの各感情シグナルの値および理想的な各感情シグナルの値を表示し、現状の状態および理想の状態をユーザに直感的に把握させることができる。グラフ画面１１１のみの場合、コミュニケーション中にどのように対応したら理想状態に近付けるか判断できないことも想定されるため、具体的なアドバイスと共に表示される。アドバイス情報等の具体的な表示例については、図１２～図１３を参照して後述する。
　＜３－２．アドバイス生成処理＞
　次に、上記Ｓ１１８に示すアドバイス生成サーバ３によるアドバイス生成処理について図９を参照して具体的に説明する。図９は、本実施形態によるアドバイス生成処理を示すフローチャートである。
　図９に示すように、まず、アドバイス生成サーバ３は、ユーザの選択に基づいて設定された用途が「交渉」である場合（ステップＳ１３３／Ｙｅｓ）、アドバイス情報ＤＢ３２から「交渉」のアドバイスセットを抽出し、当該アドバイスセットを用いて各感情シグナル（具体的には影響力、ミミクリ、活動レベル、および一貫性）におけるアドバイスを取得する（ステップＳ１３６）。ここで、図１０に、アドバイス情報ＤＢ３２に格納されるアドバイスセットの一例を示す。
　アドバイス情報ＤＢ３２には、図１０に示すように、用途「交渉」のアドバイスセット６０、「傾聴」のアドバイスセット６１、「協業」のアドバイスセット６２、「指導」のアドバイスセット６３が格納される。各アドバイスセットは、「影響力」のアドバイス情報６０ａ、「ミミクリ」のアドバイス情報６０ｂ、「活動レベル」のアドバイス情報６０ｃ、「一貫性」のアドバイス情報６０ｄを含む。各アドバイス情報は、ユーザＡ（図１０では「自分」と称す）とユーザＢ（図１０では「相手」と称す）の正規化された感情シグナル値（影響力、ミミクリ、活動レベル、一貫性）の組み合わせに対応する座標に紐付けられる。ここでは一例として、アドバイスが各座標に格納されたマトリクス６００を用いて説明する。
　用途設定部３０ａにより用途が「交渉」と設定された場合、アドバイス生成部３０ｃは、「交渉」のアドバイスセット６０を抽出し、まずはそのうちの「影響力」のアドバイスを生成する。以下、「影響力」のアドバイス生成処理について図１１を参照して具体的に説明する。なお本実施形態においてコミュニケーションにおけるユーザの「影響力」は、上述したように例えば発言の頻度、発言の長さ、声の強度、発言の重複、発言が重複した時に発言を中断させられた頻度等に基づいて、正規化した0～1の間の数値で算出される。
　図１１は、本実施形態による用途「交渉」の場合における「影響力」のアドバイス生成について説明する図である。用途が「交渉」の場合における「影響力」の理想的な状態は、相互に同じ様な影響力を持つ状態と考えられる。交渉においては、どちらか一方の人物が大きな影響力を与えている状態好ましくないためである。したがって、ユーザＡ（自分）とユーザＢ（相手）の理想的な影響力の組み合わせは、主に双方の影響力が均衡している領域６０１で示される部分となる。なお、かかる理想値は、「理想的な感情シグナル」として例えば感情シグナルサーバ２から受信されたデータに基づくものである。
　しかしながら、図１１に示すように、例えばユーザＡ（自分）の影響力（Ｘ）が0.75で、ユーザＢ（相手）の影響力（Ｙ）が0.25の場合、両者の影響力の組み合わせはＰ座標となり、理想の状態から外れてしまう。この場合、相手の影響力をユーザＡが強制的に変えることは出来ないため、ユーザＡは自らの影響力を下げるよう行動することで、両者の影響力が均衡する理想的な状態に近付けることができる。Ｐ座標からは、例えば「（相手の言う事を）遮らず、自由に話させてください」というように、自らの影響力を下げる行動を指示するアドバイスが取得される。このようにして、アドバイス生成部３０ｃは、ユーザＡとユーザＢの現在の「影響力」の値と、理想値に基づいて、アドバイス情報を参照し、理想的な状態に近付けるためのユーザＡに対するアドバイスを生成することができる。
　アドバイス生成部３０ｃは、以上説明したアドバイス取得処理を、「ミミクリ」、「活動レベル」、および「一貫性」についても同様に行い、それぞれのアドバイスを取得する。
　次いで、図９に戻り、アドバイス生成サーバ３は、ユーザの選択に基づいて設定された用途が「傾聴」である場合（ステップＳ１３９／Ｙｅｓ）、アドバイス情報ＤＢ３２から「傾聴」のアドバイスセットを抽出し、当該アドバイスセットを用いて同様に各感情シグナルにおけるアドバイスを取得する（ステップＳ１４２）。
　次に、アドバイス生成サーバ３は、ユーザの選択に基づいて設定された用途が「協業」である場合（ステップＳ１４５／Ｙｅｓ）、アドバイス情報ＤＢ３２から「協業」のアドバイスセットを抽出し、当該アドバイスセットを用いて同様に各感情シグナルにおけるアドバイスを取得する（ステップＳ１４８）。
　続いて、アドバイス生成サーバ３は、ユーザの選択に基づいて設定された用途が「指導」である場合（ステップＳ１５１／Ｙｅｓ）、アドバイス情報ＤＢ３２から「指導」のアドバイスセットを抽出し、当該アドバイスセットを用いて同様に各感情シグナルにおけるアドバイスを取得する（ステップＳ１５４）。
　そして、アドバイス生成サーバ３は、選択された用途に応じたアドバイスが取得できると、アドバイスの他、例えばユーザＡの現在の感情シグナル値（現在値）と、選択された用途に応じた理想値の表示を生成する（ステップＳ１５７）。
　以上、本実施形態によるアドバイス生成処理について詳細に説明した。
　　＜＜４．表示画面例＞＞
　次に、本実施形態によるアドバイスおよび各感情シグナルの現在値・理想値を含む表示画面例について、図１２～図１３を用いて説明する。
　（表示例１）
　図１２は、本実施形態による用途「傾聴」の表示画面１０１の一例を示す図である。表示画面１０１は、図７に示すステップＳ１２１に示す表示処理において、ユーザ端末５の表示部５３に表示される表示画面の一例である。図１２に示すように、表示画面１０１は、グラフ画面１１１ａと、用途選択画面１１３ａと、アドバイス通知画面１１４ａとを含む。図１２に示す例では、用途選択画面１１３ａで示されるように、「傾聴」が選択されている。
　グラフ画面１１１ａでは、ユーザＡの各感情シグナルの現在値と用途「傾聴」における各感情シグナルの理想値がレーダーチャートで示されている。グラフ画面１１１ａを見ることで、ユーザＡは、自身の影響力が理想の状態よりも大きく、自身の一貫性、活動レベル、およびミミクリは理想の状態よりも小さいことを直感的に把握することができる。「傾聴」の場合、例えばユーザＡ側の影響力を少なくして相手（ユーザＢ）に話して貰い、さらに相手に共感していることを示す状態が理想となるため、影響力の理想値が小さく、ミミクリの理想値が大きく示される。
　また、アドバイス通知画面１１４ａでは、現状から理想的な状態に近付くためにユーザＡがどのような対応を行えば良いかを示すアドバイス情報が表示されている。アドバイス情報は、各感情シグナル値に応じたアドバイス、すなわち「影響力」に関するアドバイス、「ミミクリ」に関するアドバイス、「活動レベル」に関するアドバイス、および「一貫性」に関するアドバイスが夫々明示される。ここで、アドバイス生成サーバ３は、例えば下記表１に示すようなアドバイスルールを用いてアドバイスを取得することも可能である。かかるアドバイスルールは、用途別に設けられ、アドバイス情報ＤＢ３２に格納される。
Figure JPOXMLDOC01-appb-T000001
　これにより、アドバイス生成サーバ３は、ユーザＡの感情シグナルの現在値（或いはユーザＡとユーザＢの感情シグナル値の組み合わせ；図１１に示すＰ座標参照）が理想値より大きいか小さいかに応じて、上記アドバイスルールから適切なアドバイスを取得することができる。
　（表示例２）
　図１３は、本実施形態による用途「交渉」の表示画面１０２の一例を示す図である。図１３に示すように、表示画面１０２は、グラフ画面１１１ｂと、用途選択画面１１３ｂと、アドバイス通知画面１１４ｂとを含む。図１３に示す例では、用途選択画面１１３ｂで示されるように、「交渉」が選択されている。
　グラフ画面１１１ｂでは、ユーザＡの各感情シグナルの現在値と用途「交渉」における各感情シグナルの理想値がレーダーチャートで示されている。グラフ画面１１１ｂを見ることで、ユーザＡは、自身のミミクリが理想の状態よりも大きく、自身の影響力、一貫性、および活動レベルは理想の状態よりも小さいことを直感的に把握することができる。「交渉」の場合、相手が強い立場の場合が多いため、ユーザＡ側からは相手の話を遮らずに相手の考えを聞き出し、さらに、ユーザＡの態度に一貫性を持たせることで、相手に納得してもらうことが理想となるため、影響力の理想値が小さく、一貫性の理想値が大きく示される。
　また、アドバイス通知画面１１４ｂでは、現状から理想的な状態に近付くためにユーザＡがどのような対応を行えば良いかを示すアドバイス情報が表示されている。本実施形態によるアドバイス情報は、例えば下記表２に示すようなアドバイスルールに従って生成されてもよい。
Figure JPOXMLDOC01-appb-T000002
　　＜＜５．変形例＞＞
　以上説明した実施形態では、ユーザＡおよびユーザＢの両方がセンサ装置１０を有し、両ユーザの感情シグナルを取得できる場合について説明したが、本実施形態はこれに限定されず、いずれか一方のユーザのみがセンサ装置１０を有していてもよい。以下、システム利用者であるユーザＡ本人のみがセンサ装置１０を有している場合と、コミュニケーション相手であるユーザＢのみがセンサ装置１０を有している場合について、それぞれ説明する。
　　＜５－１．ユーザＡ（本人）のみがセンサ装置１０を有している場合＞
　本実施形態の変形例１による情報処理システムは、ユーザＡのみの感情シグナルに基づいて、理想の状態に近付けるためのアドバイスを生成することが可能である。具体的には、本変形例による情報処理システムは、相手（ユーザＢ）がセンサ装置１０を有さず、感情シグナルが取得できない状態であるため、用途毎のDefault値を採用してアドバイスを生成する。Default値は、例えば用途別に相手の過去の影響力、ミミクリ、活動レベル、および一貫性の値に基づいて算出される（例えば出現率の一番高い値等）。以下、図１４を参照して具体的に説明する。
　図１４は、ユーザＡのみがセンサ装置１０を有している場合におけるアドバイス生成処理の事前処理について示すフローチャートである。図１４に示す処理は、相手（ユーザＢ）からの感情シグナルが取得出来なかった場合に（ステップＳ２０１／Ｎｏ）、図９に示すアドバイス生成処理の前に実施される。
　この場合、アドバイス生成サーバ３は、設定された用途が「交渉」の場合（ステップＳ２０３／Ｙｅｓ）、「交渉」のアドバイスセットを抽出し、「交渉」における影響力、ミミクリ、活動レベル、および一貫性の各Default値を相手の値としてセットする（ステップＳ２０６）。
　また、アドバイス生成サーバ３は、設定された用途が「傾聴」の場合（ステップＳ２０９／Ｙｅｓ）、「傾聴」のアドバイスセットを抽出し、「傾聴」における影響力、ミミクリ、活動レベル、および一貫性の各Default値を相手の値としてセットする（ステップＳ２１２）。
　また、アドバイス生成サーバ３は、設定された用途が「協業」の場合（ステップＳ２１５／Ｙｅｓ）、「協業」のアドバイスセットを抽出し、「協業」における影響力、ミミクリ、活動レベル、および一貫性の各Default値を相手の値としてセットする（ステップＳ２１８）。
　また、アドバイス生成サーバ３は、設定された用途が「指導」の場合（ステップＳ２２１／Ｙｅｓ）、「指導」のアドバイスセットを抽出し、「指導」における影響力、ミミクリ、活動レベル、および一貫性の各Default値を相手の値としてセットする（ステップＳ２２４）。
　以上説明したように、本変形例１による情報処理システムは、図１０に示すようなアドバイスセットを参照してアドバイスを生成する際、相手（ユーザＢ）の感情シグナルが取得出来なかった場合は、Default値を採用してアドバイスを生成することが可能である。
　　＜５－２．ユーザＢ（相手）のみがセンサ装置１０を有している場合＞
　また、本実施形態の変形例２による情報処理システムは、コミュニケーション相手（ユーザＢ）のみの感情シグナルに基づいて、理想の状態に近付けるためのアドバイスを生成することも可能である。具体的には、本変形例による情報処理システムは、本人（ユーザＡ）がセンサ装置１０を有さず、感情シグナルが取得できない状態であるため、相手の感情シグナルをモニターさせ、用途毎の相手の標準的な値（通常値）と比較して、アドバイスを生成する。以下、図１５を参照して具体的に説明する。
　図１５は、本実施形態の変形例２による表示画面例を示す図である。図１５に示すように、表示画面１０３は、グラフ画面１１１ｃと、用途選択画面１１３ｃと、アドバイス通知画面１１４ｃとを含む。ここで、本変形例によるグラフ画面１１１ｃでは、相手の感情シグナルの値（現在値）と、相手の通常値がレーダーチャートで示されている。アドバイス生成サーバ３は、相手の感情シグナルの値と、相手の通常値とを比較して、例えば下記表３に示すようなアドバイスルールに基づいてアドバイスを生成する。かかるアドバイスルールは、用途別に存在する。また、下記表３において、図１５のグラフ画面１１１ｃに示すように、相手の現状の「影響力」は通常値よりも小さく、「ミミクリ」は通常値よりも大きく、「活動レベル」は通常値よりも小さく、「一貫性」は通常値よりも小さい。
Figure JPOXMLDOC01-appb-T000003
　以上説明したように、本変形例２による情報処理システムは、相手（ユーザＢ）の感情シグナルと、相手の通常値とに基づいて、アドバイスを生成することが可能である
　　＜５－３．感情シグナルスクランブル処理＞
　続いて、本実施形態の変形例３による情報処理システムについて説明する。上記実施形態および各変形例では、より理想的なコミュニケーション状態を構築するためのアドバイスを生成していたが、本実施形態はこれに限定されず、例えば理想的ではないコミュニケーション状態を構築するためのアドバイスを生成することも可能である。例えば、ビジネスの場において相手と駆け引きを行う際に、こちらの考えを相手に読み取られないよう、明示的に自身の考えとは反対の態度を示して本来の意図とは異なる感情シグナルを表出することが有効な場合がある。本実施形態の変形例３では、このように本来の感情シグナルをスクランブルさせて相手に読み取られないようにするためのアドバイスを生成する感情シグナルスクランブル処理を提案する。以下、図１６を参照して具体的に説明する。
　図１６は、本実施形態の変形例３による表示画面例を示す図である。図１６に示すように、表示画面１０４は、グラフ画面１１１ｄと、用途選択画面１１３ｄと、アドバイス通知画面１１４ｄとを含む。図１６に示す例では、用途選択画面１１３ｄで示されるように、「傾聴」が選択されている。
　また、ユーザＡは、例えばビジネスの場において相手と駆け引きを行う場合等、自身の本当の感情シグナルを相手に読み取らせないよう、理想的なコミュニケーション状態から離れるためのアドバイスを得たい場合、スクランブルＯＮ／ＯＦＦボタン１１２ｄを「ＯＮ」に設定する。これにより、例えばグラフ画面１１１ｄでは、理想的な状態から離れることを促す表示が表示され、また、アドバイス通知画面１１４ｄには、理想的な状態から離れるためのアドバイスが表示される。
　具体的には、図１６のグラフ画面１１１ｄに示すように、ユーザＡ（システム利用者本人）の感情シグナルの値（図１６に示す「あなたの現在値」）と、用途「傾聴」における理想値を示すレーダーチャートと共に、理想的な状態から離れるよう促す矢印が各感情シグナルの軸上（４軸上）に表示される。これにより、ユーザＡは、現在どのような感情シグナルが自身から相手に対して表出されているかを客観的に把握し、相手に本当の感情シグナルが読み取られないよう理想的な状態から離れるためには、各感情シグナルを強めればよいのか或いは弱めればよいのかを直感的に認識することができる。
　例えば「影響力」は、現在の値が理想値よりも少し大きいため、理想の状態からさらに離れるよう、影響力をさらに強めるよう促す矢印が表示されている。また、「ミミクリ」、「活動レベル」、および「一貫性」は、それぞれ現在の値が理想値よりも少し小さいため、理想の状態からさらに離れるよう、「ミミクリ」、「活動レベル」、および「一貫性」をそれぞれ弱めるよう促す矢印が表示されている。
　また、アドバイス通知画面１１４ｄに表示される理想的な状態から離れるためのアドバイスは、アドバイス生成サーバ３により、例えば下記表４に示すような用途別のアドバイスルールに基づいて生成される。
Figure JPOXMLDOC01-appb-T000004
　（感情スクランブル時における他の表示画面例）
　また、本変形例による表示画面例は、図１６に示す例に限定されない。例えば、本変形例では、理想的な状態から離れた状態をスクランブル理想値として示してもよい。以下、図１７を参照して説明する。
　図１７は、本変形例による他の表示画面例を示す図である。図１７に示すように、表示画面１０５は、グラフ画面１１１ｅと、用途選択画面１１３ｅと、アドバイス通知画面１１４ｅとを含む。図１７のグラフ画面１１１ｅでは、ユーザＡ（システム利用者本人）の感情シグナルの値（図１７に示す「あなたの現在値」）と、用途「傾聴」における理想値と、さらにスクランブル理想値を示すレーダーチャートが表示されている。これにより、ユーザＡは、現在どのような感情シグナルが自身から相手に対して表出されているかを客観的に把握し、相手に本当の感情シグナルが読み取られないよう理想的な状態から離れるために、各感情シグナルを強めればよいのか或いは弱めればよいのかを直感的に認識することができる。また、スクランブル理想値が併せて表示されることで、ユーザＡは、理想的な状態からどの程度離れればよいかを直感的に把握することができる。
　（相手のみがセンサ装置１０を有している場合）
　また、本変形例は、ユーザＡのコミュニケーション相手であるユーザＢのみがセンサ装置１０を有し、ユーザＡがセンサ装置１０を有していない場合にも応用することが可能である。以下、図１８を参照して説明する。
　図１８は、本実施形態の変形例３による他の表示画面例を示す図である。図１８に示すように、表示画面１０６は、グラフ画面１１１ｆと、用途選択画面１１３ｆと、アドバイス通知画面１１４ｆとを含む。図１８のグラフ画面１１１ｆでは、ユーザＢの感情シグナルの値（図１８に示す「相手の現在値」）と、用途「交渉」におけるスクランブル理想値を示すレーダーチャートが表示されている。これにより、ユーザＡは、現在どのような感情シグナルが相手から表出されているかを把握し、「交渉」のコミュニケーションを理想的な状態にしないためには、相手の感情シグナルをスクランブル理想値に近付ければよいことを直感的に認識することができる。また、アドバイス通知画面１１４ｆには、相手の感情シグナルをスクランブル理想値にさせるためにどのような対応を取ればよいかを示すアドバイスが表示されている。
　ここで、アドバイス通知画面１１４ｆに表示されているアドバイスは、アドバイス生成サーバ３により、ユーザＢのセンサデータに基づいて算出された感情シグナルに基づいて、例えば下記表４に示すような用途別のアドバイスルールを参照して生成される。
Figure JPOXMLDOC01-appb-T000005
　　＜＜６．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、ユーザの感情を示すシグナル（すなわち感情シグナル）に基づいて、理想的なコミュニケーション状態を構築するためのアドバイスを生成することを可能とする。
　また、本実施形態による情報処理システムでは、ユーザ本人の感情シグナルとコミュニケーション相手の感情シグナルのうちいずれか一方の感情シグナルしか取得出来なかった場合も、理想的なコミュニケーション状態を構築するためのアドバイスを生成することができる。
　また、ユーザ本人の本当の感情シグナルが相手に伝わることが適切ではない状況では、意図的に表出する感情シグナルをスクランブルし、理想的なコミュニケーション状態から離れるためのアドバイスを生成することも可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述したセンサ装置１０、感情シグナルサーバ２、アドバイス生成サーバ３、またはユーザ端末５に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、センサ装置１０、感情シグナルサーバ２、アドバイス生成サーバ３、またはユーザ端末５の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、上述した実施形態および変形例では、主にユーザ端末５の表示部５３からアドバイス等が表示出力されていたが、コミュニケーション中に表示画面を見ることが著しく困難な場合もある。そこで、ユーザへのアドバイスの提示等のフィードバックを、図２に示すようなノートＰＣではなく、例えば頭部装着型のウェアラブルデバイスにより実現することが考えられる。頭部装着型のウェアラブルデバイスには、例えば複数の振動部が搭載され、図８に示すような感情シグナルの４軸が、それぞれ前後左右に配置された振動部に割り当てられ、現在の状況や理想とすべき状況、また、どのように対応すべきかを振動部の振動によってユーザに知らせることができる。例えば、「影響力」が大きく足りていない場合は前方の振動部が強く振動し、「ミミクリ」が大きく足りていない場合は右方向の振動部が強く振動し、「活動レベル」が大きく足りていない場合は後方の振動部が強く振動し、「一貫性」が大きく足りていない場合は左方向の振動部が強く振動する。人の頭部は敏感であって、振動部の振動を区別することが可能である。また、頭部装着型のウェアラブルデバイスには、例えば骨伝導スピーカが設けられて、アドバイスが音声出力されてもよい。骨伝導スピーカにより出力することで、ユーザＡは、表示画面を見たり、コミュニケーション相手に知られたりすることなく、アドバイスを得ることができる。
　また、このような振動によるフィードバックを行うユーザ端末５は、頭部装着型のウェアラブルデバイスに限定されず、例えば４方向（前、後ろ、右、左）がそれぞれ振動する機能を有する腕輪型（腕バンド）ウェアラブルデバイスや、ベルト型（胴バンド）ウェアラブルデバイスであってもよい。
　また、上述した実施形態では、用途選択として「交渉」「傾聴」「協業」「指導」を挙げたが、これらは用途の一例であって、本開示はこれに限定されず、例えば他のシチュエーションとして「デート」や「面接」等を用いてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　第１ユーザが第２ユーザとコミュニケーションを行う用途を設定する用途設定部と、
　前記第１ユーザおよび第２ユーザのうち少なくともいずれか一方の感情シグナルを受信する通信部と、
　前記受信した感情シグナルの前記用途に応じた理想的な状態に基づいて、前記第１ユーザへのアドバイスを生成する生成部と、
　前記生成されたアドバイスを、前記通信部を介して前記第１ユーザに対応するクライアント端末に送信する制御部と、
を備える、情報処理システム。
（２）
　前記生成部は、前記第１ユーザの感情シグナルが、前記用途に応じた理想的な状態に近付くように、前記第１ユーザへのアドバイスを生成する、前記（１）に記載の情報処理システム。
（３）
　前記生成部は、用途毎に蓄積された、前記感情シグナルの状態とアドバイスとの対応情報に基づき、前記第１ユーザへのアドバイスを生成する、前記（１）または（２）に記載の情報処理システム。
（４）
　前記生成部は、前記受信した感情シグナルと前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記第１ユーザへのアドバイスを生成する、前記（１）～（３）のいずれか１項に記載の情報処理システム。
（５）
　前記生成部は、前記第１ユーザの現在の感情シグナルおよび第２ユーザの現在の感情シグナルとの組み合わせ値と、前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記理想的な状態に近付くための前記第１ユーザへのアドバイスを生成する、前記（１）～（４）のいずれか１項に記載の情報処理システム。
（６）
　前記生成部は、前記第１ユーザの現在の感情シグナルおよび第２ユーザの感情シグナルのデフォルト値との組み合わせ値と、前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記理想的な状態に近付くための前記第１ユーザへのアドバイスを生成する、前記（１）～（４）のいずれか１項に記載の情報処理システム。
（７）
　前記生成部は、前記第２ユーザの現在の感情シグナルと、前記用途に応じた前記第２ユーザの通常値に基づいて、前記通常値を理想の状態として当該理想の状態に近付くための前記第１ユーザへのアドバイスを生成する、前記（１）～（４）のいずれか１項に記載の情報処理システム。
（８）
　前記生成部は、前記第１ユーザの感情シグナルが、前記用途に応じた理想的な状態から離れるように、前記第１ユーザへのアドバイスを生成する、前記（１）に記載の情報処理システム。
（９）
　前記生成部は、前記第１ユーザの感情シグナルが、前記用途に応じた理想的でない状態に近づくように、前記第１ユーザへのアドバイスを生成する、前記（１）に記載の情報処理システム。
（１０）
　前記制御部は、前記生成されたアドバイスと共に、当該アドバイスの生成に用いた前記第１ユーザまたは第２ユーザの感情シグナル、および前記理想的な状態の感情シグナルを送信するよう制御する、前記（１）～（９）のいずれか１項に記載の情報処理システム。
（１１）
　第１ユーザが第２ユーザとコミュニケーションを行う用途の選択を受付ける選択入力部と、
　前記第１ユーザおよび第２ユーザのうち少なくともいずれか一方から検出された感情シグナルの、前記選択入力部により選択された用途に応じた理想的な状態に基づいて、前記第１ユーザにアドバイスを生成する外部サーバに前記選択された用途を送信し、前記用途と感情シグナルに応じて生成された前記第１ユーザへのアドバイスを受信する通信部と、
　前記第１ユーザへのアドバイスを通知する通知部と、
を備える、情報処理システム。
（１２）
　前記情報処理システムは、
　前記第１ユーザおよび第２ユーザのうち少なくともいずれか一方の感情シグナルを検出する検出部をさらに備え、
　前記通信部は、前記外部サーバに、前記検出された感情シグナルを送信する、前記（１１）に記載の情報処理システム。
（１３）
　前記通知部は、前記第１ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的な状態に近付くように前記第１ユーザへアドバイスを通知する、前記（１１）または（１２）に記載の情報処理システム。
（１４）
　前記通知部は、前記第１ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的な状態から離れるように前記第１ユーザへアドバイスを通知する、前記（１１）～（１３）のいずれか１項に記載の情報処理システム。
（１５）
　前記通知部は、前記第１ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的でない状態に近づくように前記第１ユーザへのアドバイスを通知する、前記（１１）～（１３）のいずれか１項に記載の情報処理システム。
（１６）
　前記通知部は、前記生成されたアドバイスと共に、当該アドバイスの生成に用いた前記第１ユーザまたは第２ユーザの感情シグナルと前記理想的な状態の感情シグナルを示すグラフを通知する、前記（１１）～（１５）のいずれか１項に記載の情報処理システム。
（１７）
　前記通知部は、頭部装着型デバイスに搭載された振動部により、前記第１ユーザに振動で通知を行う、前記（１１）～（１５）のいずれか１項に記載の情報処理システム。
（１８）
　第１ユーザが第２ユーザとコミュニケーションを行う用途を設定することと、
　前記第１ユーザおよび第２ユーザのうち少なくともいずれか一方の感情シグナルを通信部により受信することと、
　前記受信した感情シグナルの前記用途に応じた理想的な状態に基づいて、前記第１ユーザへのアドバイスを生成することと、
　前記生成されたアドバイスを、前記通信部を介して前記第１ユーザに対応するクライアント端末に送信するよう制御部により制御することと、
を含む、制御方法。
（１９）
　コンピュータを、
　第１ユーザが第２ユーザとコミュニケーションを行う用途の選択を受付ける選択入力部と、
　前記第１ユーザおよび第２ユーザのうち少なくともいずれか一方から検出された感情シグナルの、前記選択入力部により選択された用途に応じた理想的な状態に基づいて、前記第１ユーザにアドバイスを生成する外部サーバに前記選択された用途を送信し、前記用途と感情シグナルに応じて生成された前記第１ユーザへのアドバイスを受信する通信部と、
　前記第１ユーザへのアドバイスを通知する通知部と、
として機能させるためのプログラムが記憶された、記憶媒体。
　１　　情報処理システム
　１０　　センサ装置
　１１　　センサ部
　１２　　センサデータ抽出部
　１３　　制御部
　１４　　通信部
　１５　　記憶部
　２　　感情シグナルサーバ
　２０　　制御部
　２０ａ　　データ処理部
　２０ｂ　　データ解析部
　２０ｃ　　感情シグナル算出部
　２０ｄ　　ユーザ管理部
　２１　　通信部
　２２　　感情シグナルＤＢ
　２３　　ユーザ情報ＤＢ
　３　　アドバイス生成サーバ
　３０　　制御部
　３０ａ　　用途設定部
　３０ｂ　　比較部
　３０ｃ　　アドバイス生成部
　３１　　通信部
　３２　　アドバイス情報ＤＢ
　５　　ユーザ端末
　５０　　制御部
　５１　　通信部
　５２　　操作入力部
　５３　　表示部
　５４　　記憶部

Claims (19)

  1. 　第１ユーザが第２ユーザとコミュニケーションを行う用途を設定する用途設定部と、
    　前記第１ユーザおよび第２ユーザのうち少なくともいずれか一方の感情シグナルを受信する通信部と、
    　前記受信した感情シグナルの前記用途に応じた理想的な状態に基づいて、前記第１ユーザへのアドバイスを生成する生成部と、
    　前記生成されたアドバイスを、前記通信部を介して前記第１ユーザに対応するクライアント端末に送信する制御部と、
    を備える、情報処理システム。
  2. 　前記生成部は、前記第１ユーザの感情シグナルが、前記用途に応じた理想的な状態に近付くように、前記第１ユーザへのアドバイスを生成する、請求項１に記載の情報処理システム。
  3. 　前記生成部は、用途毎に蓄積された、前記感情シグナルの状態とアドバイスとの対応情報に基づき、前記第１ユーザへのアドバイスを生成する、請求項１に記載の情報処理システム。
  4. 　前記生成部は、前記受信した感情シグナルと前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記第１ユーザへのアドバイスを生成する、請求項１に記載の情報処理システム。
  5. 　前記生成部は、前記第１ユーザの現在の感情シグナルおよび第２ユーザの現在の感情シグナルとの組み合わせ値と、前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記理想的な状態に近付くための前記第１ユーザへのアドバイスを生成する、請求項１に記載の情報処理システム。
  6. 　前記生成部は、前記第１ユーザの現在の感情シグナルおよび第２ユーザの感情シグナルのデフォルト値との組み合わせ値と、前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記理想的な状態に近付くための前記第１ユーザへのアドバイスを生成する、請求項１に記載の情報処理システム。
  7. 　前記生成部は、前記第２ユーザの現在の感情シグナルと、前記用途に応じた前記第２ユーザの通常値に基づいて、前記通常値を理想の状態として当該理想の状態に近付くための前記第１ユーザへのアドバイスを生成する、請求項１に記載の情報処理システム。
  8. 　前記生成部は、前記第１ユーザの感情シグナルが、前記用途に応じた理想的な状態から離れるように、前記第１ユーザへのアドバイスを生成する、請求項１に記載の情報処理システム。
  9. 　前記生成部は、前記第１ユーザの感情シグナルが、前記用途に応じた理想的でない状態に近づくように、前記第１ユーザへのアドバイスを生成する、請求項１に記載の情報処理システム。
  10. 　前記制御部は、前記生成されたアドバイスと共に、当該アドバイスの生成に用いた前記第１ユーザまたは第２ユーザの感情シグナル、および前記理想的な状態の感情シグナルを送信するよう制御する、請求項１に記載の情報処理システム。
  11. 　第１ユーザが第２ユーザとコミュニケーションを行う用途の選択を受付ける選択入力部と、
    　前記第１ユーザおよび第２ユーザのうち少なくともいずれか一方から検出された感情シグナルの、前記選択入力部により選択された用途に応じた理想的な状態に基づいて、前記第１ユーザにアドバイスを生成する外部サーバに前記選択された用途を送信し、前記用途と感情シグナルに応じて生成された前記第１ユーザへのアドバイスを受信する通信部と、
    　前記第１ユーザへのアドバイスを通知する通知部と、
    を備える、情報処理システム。
  12. 　前記情報処理システムは、
    　前記第１ユーザおよび第２ユーザのうち少なくともいずれか一方の感情シグナルを検出する検出部をさらに備え、
    　前記通信部は、前記外部サーバに、前記検出された感情シグナルを送信する、請求項１１に記載の情報処理システム。
  13. 　前記通知部は、前記第１ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的な状態に近付くように前記第１ユーザへアドバイスを通知する、請求項１１に記載の情報処理システム。
  14. 　前記通知部は、前記第１ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的な状態から離れるように前記第１ユーザへアドバイスを通知する、請求項１１に記載の情報処理システム。
  15. 　前記通知部は、前記第１ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的でない状態に近づくように前記第１ユーザへのアドバイスを通知する、請求項１１に記載の情報処理システム。
  16. 　前記通知部は、前記生成されたアドバイスと共に、当該アドバイスの生成に用いた前記第１ユーザまたは第２ユーザの感情シグナルと前記理想的な状態の感情シグナルを示すグラフを通知する、請求項１１に記載の情報処理システム。
  17. 　前記通知部は、頭部装着型デバイスに搭載された振動部により、前記第１ユーザに振動で通知を行う、請求項１１に記載の情報処理システム。
  18. 　第１ユーザが第２ユーザとコミュニケーションを行う用途を設定することと、
    　前記第１ユーザおよび第２ユーザのうち少なくともいずれか一方の感情シグナルを通信部により受信することと、
    　前記受信した感情シグナルの前記用途に応じた理想的な状態に基づいて、前記第１ユーザへのアドバイスを生成することと、
    　前記生成されたアドバイスを、前記通信部を介して前記第１ユーザに対応するクライアント端末に送信するよう制御部により制御することと、
    を含む、制御方法。
  19. 　コンピュータを、
    　第１ユーザが第２ユーザとコミュニケーションを行う用途の選択を受付ける選択入力部と、
    　前記第１ユーザおよび第２ユーザのうち少なくともいずれか一方から検出された感情シグナルの、前記選択入力部により選択された用途に応じた理想的な状態に基づいて、前記第１ユーザにアドバイスを生成する外部サーバに前記選択された用途を送信し、前記用途と感情シグナルに応じて生成された前記第１ユーザへのアドバイスを受信する通信部と、
    　前記第１ユーザへのアドバイスを通知する通知部と、
    として機能させるためのプログラムが記憶された、記憶媒体。
PCT/JP2016/052858 2015-05-07 2016-02-01 情報処理システム、制御方法、および記憶媒体 WO2016178329A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017516562A JP6798484B2 (ja) 2015-05-07 2016-02-01 情報処理システム、制御方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015094575 2015-05-07
JP2015-094575 2015-05-07

Publications (1)

Publication Number Publication Date
WO2016178329A1 true WO2016178329A1 (ja) 2016-11-10

Family

ID=57217688

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/052858 WO2016178329A1 (ja) 2015-05-07 2016-02-01 情報処理システム、制御方法、および記憶媒体

Country Status (2)

Country Link
JP (2) JP6798484B2 (ja)
WO (1) WO2016178329A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018197934A (ja) * 2017-05-23 2018-12-13 日本アイラック株式会社 情報処理装置
JP2019207625A (ja) * 2018-05-30 2019-12-05 株式会社エクサウィザーズ コーチング支援装置及びプログラム
JP2020095747A (ja) * 2020-03-10 2020-06-18 株式会社エクサウィザーズ コーチング支援装置及びプログラム
JP2020130528A (ja) * 2019-02-18 2020-08-31 沖電気工業株式会社 感情推定装置、感情推定方法、プログラム、及び感情推定システム
WO2020179478A1 (ja) 2019-03-05 2020-09-10 正通 亀井 アドバイス提示システム
JPWO2019160104A1 (ja) * 2018-02-16 2021-01-07 日本電信電話株式会社 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム
JP2021111239A (ja) * 2020-01-14 2021-08-02 住友電気工業株式会社 提供システム、提供方法、提供装置、及びコンピュータプログラム
JP7057011B1 (ja) 2021-06-25 2022-04-19 株式会社Kakeai 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム
JP7057029B1 (ja) 2021-06-25 2022-04-19 株式会社Kakeai 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム
WO2022264217A1 (ja) * 2021-06-14 2022-12-22 株式会社I’mbesideyou 動画像分析システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7331588B2 (ja) * 2019-09-26 2023-08-23 ヤマハ株式会社 情報処理方法、推定モデル構築方法、情報処理装置、推定モデル構築装置およびプログラム
WO2022201383A1 (ja) 2021-03-24 2022-09-29 株式会社I’mbesideyou 動画像分析プログラム
WO2023135939A1 (ja) * 2022-01-17 2023-07-20 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP7388768B2 (ja) 2022-02-01 2023-11-29 株式会社I’mbesideyou 動画像分析プログラム
WO2024101022A1 (ja) * 2022-11-10 2024-05-16 株式会社Ｎｔｔドコモ アバターマッチング装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000005317A (ja) * 1998-06-22 2000-01-11 Seiko Epson Corp 生体の状態制御支援装置及びロボット制御装置
JP2001344352A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
JP2002051153A (ja) * 2000-08-07 2002-02-15 Fujitsu Ltd Ｃｔｉサーバ及びプログラム記録媒体
JP2006061632A (ja) * 2004-08-30 2006-03-09 Ishisaki:Kk 感情データ提供装置、心理解析装置、および電話ユーザ心理解析方法
US20110010173A1 (en) * 2009-07-13 2011-01-13 Mark Scott System for Analyzing Interactions and Reporting Analytic Results to Human-Operated and System Interfaces in Real Time
JP2014095753A (ja) * 2012-11-07 2014-05-22 Hitachi Systems Ltd 音声自動認識・音声変換システム
JP2015075908A (ja) * 2013-10-09 2015-04-20 日本電信電話株式会社 感情情報表示制御装置、その方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4389512B2 (ja) * 2003-07-28 2009-12-24 ソニー株式会社 腕時計型会話補助装置、会話補助システム、眼鏡型会話補助装置および会話補助装置
JP4904188B2 (ja) * 2007-03-30 2012-03-28 三菱電機インフォメーションシステムズ株式会社 分配装置、分配プログラム及び分配システム
CN103430523B (zh) * 2011-03-08 2016-03-23 富士通株式会社 通话辅助装置和通话辅助方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000005317A (ja) * 1998-06-22 2000-01-11 Seiko Epson Corp 生体の状態制御支援装置及びロボット制御装置
JP2001344352A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
JP2002051153A (ja) * 2000-08-07 2002-02-15 Fujitsu Ltd Ｃｔｉサーバ及びプログラム記録媒体
JP2006061632A (ja) * 2004-08-30 2006-03-09 Ishisaki:Kk 感情データ提供装置、心理解析装置、および電話ユーザ心理解析方法
US20110010173A1 (en) * 2009-07-13 2011-01-13 Mark Scott System for Analyzing Interactions and Reporting Analytic Results to Human-Operated and System Interfaces in Real Time
JP2014095753A (ja) * 2012-11-07 2014-05-22 Hitachi Systems Ltd 音声自動認識・音声変換システム
JP2015075908A (ja) * 2013-10-09 2015-04-20 日本電信電話株式会社 感情情報表示制御装置、その方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MASAHIDE YUASA ET AL.: "A State Graph Model of Negotiation Considering Subjective Factors", THE INSTITUTE OF SYSTEMS, CONTROL AND INFORMATION ENGINEERS, vol. 14, no. 9, 15 September 2001 (2001-09-15), pages 439 - 446 *
MIKA FUKUI ET AL.: "Multimodal Personal Information Provider Using Natural Language and Emotion Understanding from Speech and Keyboard Input", IPSJ SIG NOTES, vol. 96, no. 1, 11 January 1996 (1996-01-11), pages 43 - 48, XP002997271 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018197934A (ja) * 2017-05-23 2018-12-13 日本アイラック株式会社 情報処理装置
JP7140984B2 (ja) 2018-02-16 2022-09-22 日本電信電話株式会社 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム
JPWO2019160104A1 (ja) * 2018-02-16 2021-01-07 日本電信電話株式会社 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム
JP2019207625A (ja) * 2018-05-30 2019-12-05 株式会社エクサウィザーズ コーチング支援装置及びプログラム
JP7172705B2 (ja) 2019-02-18 2022-11-16 沖電気工業株式会社 感情推定装置、感情推定方法、プログラム、及び感情推定システム
JP2020130528A (ja) * 2019-02-18 2020-08-31 沖電気工業株式会社 感情推定装置、感情推定方法、プログラム、及び感情推定システム
WO2020179478A1 (ja) 2019-03-05 2020-09-10 正通 亀井 アドバイス提示システム
KR20210132061A (ko) 2019-03-05 2021-11-03 마사미치 가메이 어드바이스 제시 시스템
US11768879B2 (en) 2019-03-05 2023-09-26 Land Business Co., Ltd. Advice presentation system
JP2021111239A (ja) * 2020-01-14 2021-08-02 住友電気工業株式会社 提供システム、提供方法、提供装置、及びコンピュータプログラム
JP6994722B2 (ja) 2020-03-10 2022-01-14 株式会社エクサウィザーズ コーチング支援装置及びプログラム
JP2020095747A (ja) * 2020-03-10 2020-06-18 株式会社エクサウィザーズ コーチング支援装置及びプログラム
WO2022264217A1 (ja) * 2021-06-14 2022-12-22 株式会社I’mbesideyou 動画像分析システム
JP7057011B1 (ja) 2021-06-25 2022-04-19 株式会社Kakeai 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム
JP7057029B1 (ja) 2021-06-25 2022-04-19 株式会社Kakeai 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム
WO2022270632A1 (ja) * 2021-06-25 2022-12-29 株式会社Kakeai 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム
JP2023004833A (ja) * 2021-06-25 2023-01-17 株式会社Kakeai 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム
JP2023004165A (ja) * 2021-06-25 2023-01-17 株式会社Kakeai 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム

Also Published As

Publication number Publication date
JP2021044001A (ja) 2021-03-18
JP6798484B2 (ja) 2020-12-09
JP6992870B2 (ja) 2022-01-13
JPWO2016178329A1 (ja) 2018-02-22

Similar Documents

Publication Publication Date Title
JP6992870B2 (ja) 情報処理システム、制御方法、およびプログラム
US9953650B1 (en) Systems, apparatus and methods for using biofeedback for altering speech
US10218852B2 (en) Methods and systems for providing teleconference participant quality feedback
TWI379205B (en) Instant communication interacting system and method thereof
WO2016080553A1 (ja) 学習型ロボット、学習型ロボットシステム、及び学習型ロボット用プログラム
CN108139988B (zh) 信息处理***和信息处理方法
US11528449B2 (en) System and methods to determine readiness in video collaboration
Reijula et al. Human well-being and flowing work in an intelligent work environment
EP3360056B1 (en) Facilitating awareness and conversation throughput in an augmentative and alternative communication system
WO2017062163A1 (en) Proxies for speech generating devices
EP3360036A1 (en) Directed personal communication for speech generating devices
Shi et al. Accessible video calling: Enabling nonvisual perception of visual conversation cues
US20230260534A1 (en) Smart glass interface for impaired users or users with disabilities
JP7152453B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
Kato et al. Sign language conversational user interfaces using luminous notification and eye gaze for the deaf and hard of hearing
TWI602174B (zh) 基於聲音辨識的情緒紀錄與管理裝置、系統以及方法
Boyd Designing and evaluating alternative channels: Visualizing nonverbal communication through AR and VR systems for people with autism
KR20190023610A (ko) 회의 중 휴식 시간 제안 방법, 전자장치 및 시스템
Rajan Considerate Systems
WO2024062779A1 (ja) 情報処理装置、および情報処理システム、並びに情報処理方法
JP7057029B1 (ja) 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム
JP7123028B2 (ja) 情報処理システム、情報処理方法、及びプログラム
JP7057011B1 (ja) 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム
Chayleva Zenth: An Affective Technology for Stress Relief
JP2022060797A (ja) 電子機器、制御方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16789465

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017516562

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16789465

Country of ref document: EP

Kind code of ref document: A1