WO2018061346A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2018061346A1
WO2018061346A1 PCT/JP2017/022766 JP2017022766W WO2018061346A1 WO 2018061346 A1 WO2018061346 A1 WO 2018061346A1 JP 2017022766 W JP2017022766 W JP 2017022766W WO 2018061346 A1 WO2018061346 A1 WO 2018061346A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
information
output control
output
subject
Prior art date
Application number
PCT/JP2017/022766
Other languages
English (en)
French (fr)
Inventor
亜由美 中川
士文 酒井
知志 細川
Original Assignee
ソニー株式会社
ソニーモバイルコミュニケーションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社, ソニーモバイルコミュニケーションズ株式会社 filed Critical ソニー株式会社
Priority to EP17855305.3A priority Critical patent/EP3521975A4/en
Priority to JP2018541906A priority patent/JPWO2018061346A1/ja
Publication of WO2018061346A1 publication Critical patent/WO2018061346A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Definitions

  • This disclosure relates to an information processing apparatus.
  • Patent Document 1 discloses a technique for detecting a user reaction at a sharing destination terminal and displaying the reaction on a sharing source terminal in content sharing at a plurality of terminals.
  • a new and improved information processing apparatus capable of performing dynamic output control according to the user's emotion even when it is difficult for the target person to perform an operation related to the output. suggest.
  • the estimation unit that estimates the degree of pleasure / discomfort of the subject, and based on the pleasure / discomfort degree estimated by the estimation unit
  • An information processing apparatus includes an output control unit that performs output control.
  • a non-verbal expression extracted from the audio information including a collection unit that collects audio information related to the subject, and an output unit that outputs information based on a control signal.
  • an information processing apparatus that outputs information based on the control signal generated based on the degree of pleasure / discomfort of the subject estimated by.
  • FIG. 3 is a functional block diagram of an information processing terminal and an information processing server according to the embodiment.
  • FIG. It is a figure which shows an example of the information type which the information processing terminal which concerns on the embodiment collects, and a non-verbal expression of the target person which an estimation part extracts.
  • Embodiment 1.1 Outline of embodiment and system configuration example 1.2.
  • Functional configuration example of information processing terminal 10 1.3.
  • Functional configuration example of information processing server 20 1.4. Specific example of output control based on comfort / discomfort 1.5.
  • Output control based on the comfort and discomfort of multiple people 1.6.
  • Operation of information processing server 20 2.
  • the information processing system estimates the degree of pleasure / discomfort of the target person with respect to the output information based on the non-verbal expression extracted from various information related to the target person, and outputs the output information based on the estimation result. It has a function to control.
  • the information processing system according to the present embodiment may perform the output control by estimating the comfort / discomfort degree from the audio information, image information, sensor information, and the like related to the subject.
  • FIG. 1 is a diagram illustrating a configuration example and an outline of an information processing system according to the present embodiment.
  • the information processing system according to the present embodiment includes an information processing terminal 10 and an information processing server 20. Further, the information processing terminal 10 and the information processing server 20 are connected via the network 30 so that information communication can be performed with each other.
  • the information processing terminal 10 has a function of collecting various information related to the target person.
  • the information processing terminal 10 according to the present embodiment may collect voice information, image information, sensor information, and the like related to the target person, for example.
  • the information collected by the information processing terminal 10 can be used for extracting non-verbal expressions as described above.
  • the information processing terminal 10 according to the present embodiment has a function of presenting various information to the user based on control by the information processing server 20.
  • the information processing terminal 10 according to the present embodiment may present visual information or auditory information to the user, for example.
  • FIG. 1 shows an example in which the information processing terminal 10 according to the present embodiment collects voice information of a subject T1 who is a baby or a subject T2 who is a pet.
  • the subject according to the present embodiment may include animals.
  • FIG. 1 shows an example in which the information processing terminal 10 outputs output information SO1 that is auditory information.
  • the information processing terminal 10 according to the present embodiment may collect, for example, the cry of the subject T1 or the cry of the subject T2 with respect to the output information SO1.
  • the information processing terminal 10 may be a mobile phone, a smartphone, a tablet, a wearable device, a PC (Personal Computer), or the like. Further, the information processing terminal 10 according to the present embodiment may be, for example, a display device, a projector, various agent devices, or a robot.
  • the information processing terminal 10 according to the present embodiment is various information processing apparatuses having a function of collecting information that can be used for extraction of non-verbal expressions related to a target person and a function of outputting visual information and auditory information. Good.
  • the information processing server 20 has a function of estimating the degree of pleasure / discomfort of the target person based on the non-verbal expression of the target person extracted from various information collected by the information processing terminal 10 It is.
  • the information processing server 20 according to the present embodiment for example, based on the cry (or cry) of the target person T1 or the target person T2 collected by the information processing terminal 10 It may be estimated that the degree of comfort / discomfort is inclined to be uncomfortable.
  • the information processing server 20 has a function of controlling output information output by the information processing terminal 10 based on the estimated degree of pleasure / discomfort.
  • the information processing server 20 indicates that the pleasantness / discomfort level of the target person T1 or the target person T2 is below a threshold, that is, the target person T1 or the target for the output information SO1.
  • the output control related to the output information SO1 can be performed.
  • the information processing server 20 may stop outputting the output information SO1. According to the above function of the information processing server 20 according to the present embodiment, even when it is difficult for the target person to perform an operation related to output, dynamic output control according to the emotion of the target person Can be performed.
  • the network 30 has a function of connecting the information processing terminal 10 and the information processing server 20.
  • the network 30 may include a public line network such as the Internet, a telephone line network, a satellite communication network, various LANs (Local Area Network) including Ethernet (registered trademark), a WAN (Wide Area Network), and the like. Further, the network 30 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network). Further, the network 30 may include a wireless communication network such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).
  • the configuration example of the information processing system according to the present embodiment has been described above.
  • the case where the information processing terminal 10 and the information processing server 20 are realized as independent information processing apparatuses has been described as an example, but the configuration of the information system according to the present embodiment is described. Examples are not limited to such examples.
  • the information processing terminal 10 and the information processing server 20 according to the present embodiment may be realized as a single information processing apparatus.
  • each function of the information processing terminal 10 and the information processing server 20 according to the present embodiment may be realized by a plurality of information processing apparatuses of three or more.
  • the system configuration example according to the present embodiment can be flexibly modified according to the amount of information to be handled, system specifications, operating conditions, and the like.
  • FIG. 2 is a functional block diagram of the information processing terminal 10 and the information processing server 20 according to the present embodiment.
  • the information processing terminal 10 according to the present embodiment includes a collection unit 110, an output unit 120, and a server communication unit 130.
  • a collection unit 110 the information processing terminal 10 according to the present embodiment includes a collection unit 110, an output unit 120, and a server communication unit 130.
  • the collection unit 110 has a function of collecting various information related to the subject. As described above, various types of information collected by the present embodiment can be used for estimation of the degree of pleasure / discomfort by the information processing server 20.
  • the collection unit 110 according to the present embodiment can collect, for example, audio information, image information, sensor information, and the like related to the target person.
  • the collection unit 110 may be configured to include, for example, a microphone, an imaging sensor, an infrared sensor, an illuminance sensor, an acceleration sensor, a gyro sensor, a geomagnetic sensor, a clock, and the like.
  • the various sensors described above are merely examples, and the collection unit 110 may be configured to include sensors other than those described above.
  • the collection unit 110 according to the present embodiment may be configured to widely include sensors for collecting information that can be used for extraction of non-verbal expressions related to the subject.
  • the output unit 120 has a function of outputting information based on a control signal generated by the information processing server 20.
  • the control signal is generated based on the degree of pleasure / discomfort of the subject estimated by the non-verbal expression extracted from the information collected by the collection unit 110.
  • the output unit 120 according to the present embodiment can output visual information and audio information based on the control signal.
  • the output unit 120 according to the present embodiment may include a display device that outputs visual information and a speaker that outputs audio information.
  • the display device described above can be realized by, for example, a CRT (Cathode Ray Tube) display device, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, a touch panel, a projector, and the like.
  • the output unit 120 according to the present embodiment may have a speech synthesis function such as TTS (Text To Speech).
  • the server communication unit 130 has a function of performing information communication with the information processing server 20. Specifically, the server communication unit 130 according to the present embodiment transmits audio information, image information, sensor information, and the like collected by the collection unit 110 to the information processing server 20. In addition, the server communication unit 130 according to the present embodiment receives a control signal generated from the information processing server 20 based on the degree of pleasure / discomfort of the target person estimated from the above information.
  • the functional configuration example of the information processing terminal 10 according to the present embodiment has been described above. Note that the functional configuration described above is merely an example, and the functional configuration of the information processing terminal 10 according to the present embodiment is not limited to the example.
  • the information processing terminal 10 according to the present embodiment may further include, for example, a configuration that realizes various functions of the information processing server 20.
  • the information processing terminal 10 may be configured to include, for example, some or all of an estimation unit 210, an output control unit 220, a learning unit 230, and a learning DB 240 described later.
  • the information processing terminal 10 may further include, for example, an input unit that receives an input operation by an operator.
  • the functional configuration of the information processing terminal 10 according to the present embodiment can be changed flexibly.
  • the information processing server 20 includes an estimation unit 210, an output control unit 220, a learning unit 230, a learning DB 240, and a communication unit 250.
  • the information processing server 20 includes an estimation unit 210, an output control unit 220, a learning unit 230, a learning DB 240, and a communication unit 250.
  • the estimation unit 210 has a function of estimating the degree of pleasure / discomfort of the target person based on various information collected by the information processing terminal 10. More specifically, the estimation unit 210 according to the present embodiment may estimate the pleasantness / discomfort degree based on non-verbal expressions extracted from audio information, image information, sensor information, and the like related to the subject. According to the above function of the estimation unit 210 according to the present embodiment, the degree of pleasure / discomfort of the target person can be estimated without depending on the linguistic utterance by the target person, compared with the case of performing language analysis. The processing burden can be greatly reduced. In the following description, it is assumed that the emotion of the subject is inclined more easily as the degree of pleasure / discomfort is higher, and the emotion of the subject is inclined more uncomfortable as the degree of pleasure / discomfort is lower.
  • FIG. 3 is a diagram illustrating an example of information types collected by the information processing terminal 10 and non-verbal expressions of the target person extracted by the estimation unit 210.
  • the estimation unit 210 according to the present embodiment can extract a non-verbal expression related to the target person from the voice information collected by the information processing terminal 10.
  • the non-verbal expression extracted by the estimation unit 210 may include, for example, the speech rate, speech frequency, speech volume, utterance clarity, filler word, and the like of the subject. According to said function which the estimation part 210 which concerns on this embodiment has, it becomes possible to estimate pleasantness / discomfort degree from various aspects from the audio
  • the estimation unit 210 based on the case where the non-verbal expression extracted from the speech information generally matches an expression indicating pleasure or discomfort, or is different from the steady expression by the object, etc. ⁇
  • the degree of discomfort can be estimated.
  • the estimation unit 210 may estimate that the degree of pleasure / discomfort of the subject is unpleasantly inclined based on the speech rate of the subject being slower than normal.
  • the estimation unit 210 can perform the above estimation based on learning data stored in a learning DB 240 described later.
  • the estimation unit 210 can extract a non-verbal expression related to the subject from the image information collected by the information processing terminal 10.
  • the non-verbal expression extracted by the estimation unit 210 may include, for example, the facial expression, line of sight, blinking, and psychological action of the subject.
  • the psychological movements described above include, for example, movements of the limbs such as arms folded and poor shaking, head movements such as looking up and scolding.
  • operations such as tails and beards may be included. According to the above-described function of the estimation unit 210 according to the present embodiment, it is possible to estimate the pleasantness / discomfort level of the target person from an operation that does not depend on audio information.
  • the estimation unit 210 for example, based on the case where the non-verbal expression extracted from the image information generally matches an expression indicating pleasure or discomfort, or is different from the regular expression by the object, etc.
  • the degree of comfort / discomfort can be estimated.
  • the estimation unit 210 may estimate that the degree of pleasure / discomfort of the subject is unpleasantly inclined based on the facial expression of the subject matching the crying face.
  • the estimation unit 210 can extract the non-verbal expression related to the object from the sensor information collected by the information processing terminal 10.
  • the non-verbal expression extracted by the estimation unit 210 may include, for example, the stay time, retreat behavior, operation behavior, and psychological behavior of the subject. According to said function which the estimation part 210 which concerns on this embodiment has, it becomes possible to estimate a subject's pleasantness / discomfort degree from a wider viewpoint using an inexpensive sensor.
  • the estimation unit 210 for example, based on the case where the non-verbal expression extracted from the sensor information generally matches an expression indicating pleasure or discomfort, or is different from the regular expression by the object person, etc.
  • the degree of comfort / discomfort can be estimated.
  • the estimation unit 210 may estimate that the degree of pleasure / discomfort of the subject is inclined well based on the stay time of the subject exceeding a threshold value.
  • the output control unit 220 has a function of performing output control related to the information processing terminal 10 based on the pleasantness / discomfort level estimated by the estimation unit 210. That is, the output control unit 220 according to the present embodiment generates a control signal for controlling the information processing terminal 10 based on the above-described comfort / discomfort level. At this time, the output control unit 220 according to the present embodiment is based on the fact that the estimated degree of pleasure / discomfort of the subject is below the threshold value, that is, the emotion of the subject is estimated to be uncomfortable. Output control may be performed. According to the function of the output control unit 220 according to the present embodiment, even when it is difficult for the target person to perform an operation related to the output, dynamic output control according to the emotion of the user is performed. Can be done.
  • the output control unit 220 may perform output control based on learning data stored in the learning DB 240.
  • the output control unit 220 causes the information processing terminal 10 to output the output information estimated to be preferred by the subject based on the learning data when the estimated degree of pleasure / discomfort of the subject falls below a threshold value. Can do. According to said function which the output control part 220 which concerns on this embodiment has, possibility that a subject's pleasantness and discomfort will improve can be raised greatly.
  • the output control unit 220 may perform output control based on learning data specific to the subject stored in the learning DB 240. That is, the output control unit 220 according to the present embodiment can perform output control using learning data that is personalized based on information collected from the subject. According to said function which the output control part 220 which concerns on this embodiment has, it becomes possible to perform output control with high precision according to a subject's preference etc.
  • the output control unit 220 according to the present embodiment may perform output control based on learning data relating to a cluster into which the target person is classified. That is, the output control unit 220 according to the present embodiment can also perform output control using learning data clustered based on the age and sex of the target person. According to the above function of the output control unit 220 according to the present embodiment, it is possible to perform output control that increases the degree of pleasure / discomfort of the target person even when learning data relating to an individual is not accumulated.
  • the learning unit 230 has a function of learning by associating various types of information collected by the information processing terminal 10 with the pleasantness / discomfort level estimated by the estimation unit 210.
  • the learning unit 230 has a function of learning by associating the pleasantness / discomfort level with the control signal generated by the output control unit 220.
  • the learning unit 230 can perform the above learning by a machine learning method or a statistical method such as SVM (Support Vector Machine), a neural network, or a regression model.
  • the learning unit 230 according to the present embodiment has a function of storing data related to the learning in the learning DB 240.
  • the learning DB 240 has a function of storing learning data related to the collected information and the pleasantness / discomfort level estimated based on the information. Further, the learning DB 240 has a function of storing learning data related to the above-described pleasure / discomfort level and a control signal generated based on the comfort / discomfort degree. As described above, the learning data may be personalized learning data or clustered learning data.
  • the communication unit 250 has a function of performing information communication with the information processing terminal 10. Specifically, the communication unit 250 according to the present embodiment receives audio information, image information, sensor information, and the like related to the target person from the information processing terminal 10. In addition, the communication unit 250 according to the present embodiment transmits a control signal generated based on the received information to the information processing terminal 10.
  • the function configuration example of the information processing server 20 according to the present embodiment has been described above. Note that the functional configuration described above is merely an example, and the functional configuration example of the information processing server 20 according to the present embodiment is not limited to such an example. As described above, all or part of the configuration of the information processing server 20 according to the present embodiment may be realized as a function of the information processing terminal 10.
  • a part of the configuration of the information processing server 20 can be realized as a function of another device.
  • the estimation unit 210, the learning unit 230, and the learning DB 240 may be realized as functions of another device different from the information processing server 20.
  • the information processing server 20 according to the present embodiment may further include a configuration other than the configuration described above. The functional configuration of the information processing server 20 according to the present embodiment can be changed flexibly.
  • the output control unit 220 can perform output control related to the information processing terminal 10 based on the pleasantness / discomfort level of the subject estimated by the estimation unit 210.
  • the target persons according to the present embodiment include persons who cannot control information output due to physical barriers and persons who cannot control information output due to psychological barriers. .
  • the output control for the subject with the physical barrier and the psychological barrier will be described in detail.
  • Target persons with physical barriers include persons who cannot physically operate the information processing terminal 10 such as babies and animals as shown in FIG.
  • the target person with a physical barrier can also include the customer who does not know the operation method, an elderly person, a disabled person, a foreigner, etc.
  • the subject with the physical barrier according to the present embodiment may be a person who is difficult to perform the operation related to the output by himself.
  • the information processing server 20 according to the present embodiment it is possible to perform flexible output control according to the emotion of the target person with the physical barrier as described above.
  • the output control unit 220 may stop the information output by the information processing terminal 10 based on, for example, that the degree of pleasure / discomfort of the subject falls below a threshold value.
  • FIG. 4 is a diagram for explaining information output stop control by the output control unit 220 according to the present embodiment.
  • FIG. 4 shows output information SO1 that is an alarm sound output from the information processing terminal 10, and a baby that crying out for the output information SO1, that is, a subject T1 with a physical barrier.
  • the estimation unit 210 may estimate that the pleasantness / discomfort degree of the subject T1 is uncomfortable by recognizing the cry from the voice information of the subject T1, or recognize the crying face from the image information. Then, the above estimation may be performed. Further, the output control unit 220 according to the present embodiment outputs the output information to the information processing terminal 10 based on the degree of pleasure / discomfort estimated by the estimation unit 210 from the voice information or image information of the target person T1 being lower than the threshold value. The output of SO1 can be stopped.
  • the output control unit 220 According to the function of the output control unit 220 according to the present embodiment, for example, as shown in FIG. 4, when a subject with a physical barrier such as a baby feels uncomfortable with the output information, It becomes possible to stop the output information on behalf of the subject.
  • FIG. 5 is a diagram for explaining output expression change control by the output control unit 220 according to the present embodiment.
  • FIG. 5 shows a target person T1 who makes a cry in response to an alarm sound (not shown) output from the information processing terminal 10, and output information SO2 changed by the output control unit 220.
  • the output control unit 220 changes, for example, an output expression such as an alarm sound that the subject who is a baby feels uncomfortable to an output expression such as another alarm sound or music. Can do.
  • an output expression such as an alarm sound that the subject who is a baby feels uncomfortable to an output expression such as another alarm sound or music. Can do.
  • said function which the output control part 220 which concerns on this embodiment has it becomes possible to improve possibility that a subject's pleasure / discomfort degree can be improved, without stopping information output.
  • the learning unit 230 may learn by associating the pleasantness / discomfort degree estimated by the estimation unit 210 and the control signal generated by the output control unit 220.
  • the learning unit 230 according to the present embodiment repeatedly performs the above learning, so that it is possible to specify output information that the target person feels uncomfortable, output information that the target person likes, and the like, and to perform efficient output control. Become.
  • the output control unit 220 may cause the information processing terminal 10 to change the output modal based on, for example, the degree of pleasure / discomfort of the subject being below the threshold value.
  • FIG. 6 is a diagram for describing output modal change control by the output control unit 220 according to the present embodiment.
  • FIG. 6 shows a target person T1 who makes a cry in response to an alarm sound (not shown) output from the information processing terminal 10, and output information SO3 changed by the output control unit 220.
  • the output control unit 220 may cause the information processing terminal 10 to output visual information instead of the auditory information that the subject who is a baby feels uncomfortable, for example. That is, the output control unit 220 according to the present embodiment can select the output modal of the information processing terminal 10 based on the degree of pleasure / discomfort of the target person. According to the function of the output control unit 220 according to the present embodiment, it is possible to improve the degree of pleasure / discomfort of the subject without losing the accuracy of information.
  • the output control example for the subject with the physical barrier according to the present embodiment has been described above.
  • the estimation unit 210 estimates the comfort / discomfort level of the subject T1 who is a baby based on audio information and image information.
  • the subject with the physical barrier according to the present embodiment is not limited to such an example.
  • the estimation part 210 which concerns on this embodiment can also estimate a subject's pleasantness and discomfort from sensor information.
  • the estimation unit 210 is a sensor in which the information processing terminal 10 collects the operation behavior of the target person to stop the alarm sound output from the information processing terminal 10, that is, the behavior of searching for a stop switch. It can be recognized from information and the degree of pleasure / discomfort can be estimated.
  • a subject with a psychological barrier according to the present embodiment understands how to operate the information processing terminal 10, but can be defined as a person who is emotionally difficult to perform an operation related to output.
  • FIG. 7 is a diagram for explaining a subject with a psychological barrier according to the present embodiment.
  • FIG. 7 shows output information S04 output from the information processing terminal 10 and utterances UO1 and UO2 of the target persons T3 and T4 with respect to the output information S4.
  • the output information SO4 may be recommendation information such as a restaurant as shown in FIG.
  • the target person T3 may be a possessing user of the information processing terminal 10.
  • both of the subjects T3 and T4 are making positive utterances with respect to the output information SO4 recommending the Asian bistro.
  • the target person T4 has a negative opinion in his mind.
  • the subject T4 shown in FIG. 4 is a subject with a psychological barrier.
  • the information processing server 20 estimates the degree of pleasure / discomfort of the subject T4 with a psychological barrier, and performs output control of the information processing terminal 10 based on the degree of pleasure / discomfort. be able to. More specifically, the output control unit 220 according to the present embodiment is based on the fact that the degree of pleasure / discomfort of the target person estimated after the output of the first recommendation information falls below the threshold value. Different second recommendation information can be output to the information processing terminal 10.
  • FIG. 8 is a diagram illustrating an example of recommendation information control by the output control unit 220 according to the present embodiment.
  • FIG. 8 shows output information SO5 output from the information processing terminal 10, and the output information SO5 may be recommendation information different from the output information SO4 shown in FIG. That is, in the example illustrated in FIG. 8, the output control unit 220 outputs, to the information processing terminal 10, output information SO ⁇ b> 5 that is second recommendation information different from the output information SO ⁇ b> 4 that is the first information illustrated in FIG. 7. I am letting.
  • the estimation unit 210 may estimate the pleasantness / discomfort level of the target person T4 from the utterance U02 shown in FIG.
  • the estimation unit 210 may estimate that the pleasantness / discomfort level of the target person T4 is uncomfortable leaning from information such as an utterance volume, an utterance, and a filler word included in the audio information related to the utterance UO2. Is possible.
  • the information processing server 20 even if a subject with a psychological barrier makes a positive remark on the recommendation information, the inner center of the subject is estimated. However, it is possible to output different recommendation information.
  • the information processing terminal 10 when the output control unit 220 according to the present embodiment performs output control on a subject with psychological barriers as illustrated in FIG. 8, the information processing terminal 10 possesses that the output control has been performed. You may make it show with respect to the target person T3 who is a user. That is, when the output control unit 220 according to the present embodiment performs the output control based on the degree of pleasure / discomfort, the information processing terminal 10 can output the reason for performing the output control.
  • FIG. 9 is a diagram illustrating an output example of the control reason according to the present embodiment.
  • FIG. 9 shows the target person T3 and the output information SO6 output from the information processing terminal 10.
  • the output information SO6 may include information indicating that the discomfort of the subject T4 with respect to the output information SO4 shown in FIG. 7 is estimated.
  • the output control unit 220 according to the present embodiment performs the output control as illustrated in FIGS. 7 and 8 and then presents the reason for the output control to the target user T3 who is the possessing user. Can be made.
  • the output control unit 220 may perform control so that only the target person T3 can grasp the output information SO6.
  • the output control unit 220 may output the output information SO6 by voice based on the fact that the presence of the target person T4 is no longer detected, or may output the output information SO6 to a separate terminal owned by the target person T3. It may be transferred.
  • the user of the information processing terminal can clearly grasp the reason why the output control has been performed. It becomes possible to utilize the setting of the information processing server 20 and future human relations.
  • the output control unit 220 may perform output control based on the learning data stored in the learning DB 240 when outputting the second recommendation information.
  • FIG. 10 is a diagram illustrating an example of output control based on learning data according to the present embodiment.
  • FIG. 10 shows the utterances UO3 to UO5 of the target persons T3 and T4 and the output information SO7 from the information processing terminal 10.
  • the utterances UO3 to UO5 may be utterances relating to the preference of the target person T4 as shown in FIG.
  • the learning unit 230 can learn from the utterance UO5 that the target person T4 is interested in Europe and store the learning result in the learning DB 240, for example. At this time, the learning unit 230 can perform learning specific to the individual T4, or perform learning related to the cluster to which the target T4 belongs when learning data related to the target T4 is not accumulated. You can also.
  • the estimation unit 210 according to the present embodiment can perform clustering by estimating the sex, age, and the like of the target person T4 from the collected audio information and image information, for example.
  • the output control unit 220 may perform output control based on the learning data learned as described above. That is, the output information SO7 shown in FIG. 10 may be output information based on learning data learned from the utterances UO3 to UO5. Based on the learning data stored in the learning DB 240, the output control unit 220 can cause the information processing terminal 10 to output the output information SO7 that is the second recommendation information that matches the preference of the target person T4.
  • a subject with a psychological barrier according to the present embodiment may be a user who owns the information processing terminal 10. For example, even if the possessing user can physically operate the information processing terminal 10, if he / she is hesitant to perform the operation due to the troublesomeness of the operation, the possessing user has a psychological barrier. It can be said that it is a target person.
  • FIG. 11 is a diagram illustrating an example of output control when the target person with the psychological barrier according to the present embodiment is a possessing user.
  • FIG. 11 shows a target person T3 who is concerned about the operation of the information processing terminal 10 due to annoyance, and output information SO2 output by the information processing terminal 10.
  • the target person T3 may be a possessing user of the information processing terminal 10.
  • the output information SO2 may be audio information such as an alarm sound that is dynamically changed by the output control unit 220.
  • the output control unit 220 changes the alarm sound to be output to the information processing terminal 10 based on the degree of pleasure / discomfort of the target user T3 who is the possessing user being below the threshold value. Can do.
  • the estimation unit 210 can estimate the pleasantness / discomfort level of the target person T3 based on audio information and image information.
  • the estimation unit 210 may perform the above estimation from the fact that the target person T3 sighs or beats when a certain alarm sound is output.
  • the estimation unit 210 may perform the above estimation because, for example, the target person T3 frowns when a certain alarm sound is output.
  • the output control unit 220 can cause the information processing terminal 10 to output an inquiry as to whether to change an alarm sound or the like. .
  • the output control unit 220 can perform more effective output control based on the user's answer, and an improvement in learning efficiency of the learning unit 230 is also expected.
  • the estimation unit 210 estimates the comfort / discomfort level of one target person, and the output control unit 220.
  • the estimation unit 210 according to the present embodiment may estimate the degree of pleasure / discomfort associated with a plurality of subjects.
  • the output control unit 220 according to the present embodiment can perform output control based on the estimated pleasure / discomfort levels of a plurality of persons.
  • the output control unit 220 when the estimation unit 210 estimates the pleasure / discomfort levels of a plurality of subjects, the output control unit 220 according to the present embodiment outputs based on the presence of subjects whose comfort / discomfort levels are below a threshold. Control may be performed. That is, the output control part 220 which concerns on this embodiment can perform control which changes the said output, when the subject who feels uncomfortable the output by the information processing terminal 10 exists.
  • FIG. 12 illustrates an example in which the output control unit 220 according to the present embodiment performs output control based on the presence of a target person whose pleasantness / discomfort level is lower than a threshold when there are a plurality of target persons.
  • FIG. FIG. 12 shows a plurality of target persons T1 and T2 and output information SO1 output by the information processing terminal 10.
  • the target person T1 may be a target person who does not feel the output information SO1 uncomfortable.
  • the target person T2 is a target person who feels uncomfortable with the output information SO1.
  • the output control unit 220 may stop the output of the output information SO1 based on the estimated pleasantness / discomfort level of the subject T2 being lower than the threshold value. According to the above function of the output control unit 220 according to the present embodiment, it is possible to perform output control in consideration of each target person even when there are a plurality of target persons.
  • the output control unit 220 may perform output control that improves the sum of the comfort / discomfort levels. it can.
  • the output control unit 220 according to the present embodiment may perform output control so that the pleasure / discomfort level as a group is the highest.
  • FIGS. 13A and 13B are diagrams illustrating an example of a case where the output control unit 220 according to the present embodiment performs output control that improves the sum of pleasantness and discomfort when there are a plurality of subjects.
  • FIG. 13A shows output information SO8 which is recommendation information from the information processing terminal 10, and utterances UO6 to UO8 of the target persons T3 to T5 with respect to the output information SO8.
  • the utterances UO6 to UO8 by the target persons T3 to T5 may be content indicating a positive (or not negative) opinion with respect to the output information SO8, as shown in FIG. 13A.
  • the subjects T4 and T5 are subjects with psychological barriers, and have a negative feeling with respect to the output information SO8 in the center.
  • the output control unit 220 may perform output control so as to improve the sum of the pleasantness / discomfort levels of the subjects T3 to T5.
  • the output control unit 220 can perform the above control based on, for example, learning data related to the target persons T3 and T4 stored in the learning DB 240 or learning data related to the cluster to which the target persons T3 and T4 belong.
  • FIG. 13B shows the output information SO9 which is the changed output information changed by the output control unit 220, and the utterances UO9 to UO11 of the target persons T3 to T5 with respect to the output information SO9.
  • the utterances UO9 to UO11 by the target persons T3 to T5 may be content indicating a positive (or not negative) opinion with respect to the output information SO9 as shown in FIG. 13B.
  • the target person T4 has a neutral feeling with respect to the output information SO9.
  • the output control unit 220 may prioritize the improvement of the sum of pleasure / discomfort levels when it is difficult to incline the pleasure / discomfort levels of all the subjects. According to the above-described function of the output control unit 220 according to the present embodiment, it is possible to maintain a high level of pleasure and discomfort as a group while performing output control that prioritizes majority subjects.
  • the output control unit 220 causes the information processing terminal 10 to output single recommendation information.
  • the output control unit 220 according to the present embodiment can cause the information processing terminal 10 to output a plurality of recommended information. For example, when the output control unit 220 according to the present embodiment estimates a group of subjects having a positive emotion and a group of subjects having a negative emotion with respect to the first recommendation information, the two Different second recommendation information may be output for each group.
  • Example of output control when comfort / discomfort exceeds a threshold >> Next, an example of output control when the pleasantness / discomfort level according to the present embodiment exceeds a threshold value will be described.
  • the output control unit 220 according to the present embodiment may perform output control based on the degree of pleasure / discomfort exceeding a threshold value. That is, the output control unit 220 according to the present embodiment can perform the output control related to the information processing terminal 10 based on the estimation that the degree of pleasure / discomfort of the subject is tilted.
  • FIG. 14 is a diagram showing an example of output control when the pleasantness / discomfort degree according to the present embodiment exceeds a threshold value.
  • FIG. 14 shows subjects T6 and T7, which are animals, and output information SO10 from the information processing terminal 10.
  • the target persons T6 and T7 may be in a relaxed state, and the degree of pleasure / discomfort of the target persons T6 and T7 may be in a state in which they are inclining.
  • the output control unit 220 outputs the output information SO10 to the information processing terminal 10 based on the degree of pleasure / discomfort of the target person T6 or T7 estimated by the estimation unit 210 exceeding the threshold value.
  • the target persons T6 and T7 shown in FIG. 14 may be wild animals gathered in private houses or stores.
  • the output control unit 220 according to the present embodiment outputs the output information SO10 for driving away the target persons T6 and T7 based on the pleasantness / discomfort level of the target persons T6 and T7, which are wild animals, exceeding the threshold value. 10 can be output.
  • the output control unit 220 can also drive away wild animals without affecting surrounding humans by, for example, outputting an unpleasant sound with a frequency higher than the human audible range.
  • the output control unit 220 According to the function of the output control unit 220 according to the present embodiment, it is possible to output a high-frequency sound only when it is necessary to drive away wild animals, and to reduce power consumption related to information output. Is possible.
  • the estimation unit 210 may estimate the pleasantness / discomfort level of the target person T6 or T7 from the collected sensor information, for example. Based on the fact that the target person T6 or T7 stays in the area for a predetermined time or longer by, for example, an infrared sensor included in the information processing terminal 10, the estimation unit 210 detects the target person T6 or T7. It may be estimated that the pleasantness / discomfort degree is inclined well.
  • FIG. 15 is another example showing output control when the pleasantness / discomfort degree according to the present embodiment exceeds a threshold value.
  • FIG. 15 shows a subject T8 who is a domestic animal and output information SO11 from the information processing terminal 10.
  • the target person T8 may be in a relaxed state, and the degree of pleasure / discomfort of the target person T8 may be in a state in which the target person T8 is inclined well.
  • the output control unit 220 outputs the output information SO11 to the information processing terminal 10 based on the degree of pleasure / discomfort of the target person T8 estimated by the estimation unit 210 exceeding the threshold value. Can be made.
  • the output control unit 220 may cause the information processing terminal 10 to output the output information SO11 that increases the degree of pleasure / discomfort of the subject T8 who is a domestic animal.
  • the output control unit 220 may output a predetermined alarm sound, music, or the like when the degree of pleasure / discomfort of the subject T8 exceeds a threshold value. In this case, conditioning in conditional reflection like a so-called Pavlov dog can be performed, and livestock and the like can be handled more efficiently.
  • FIG. 16 is a flowchart showing the operation of the information processing server 20 according to the present embodiment.
  • output control that is performed when the information processing server 20 has the pleasure / discomfort level of the subject person below a threshold value will be described.
  • the communication unit 250 of the information processing server 20 receives voice information, image information, sensor information, and the like collected by the information processing terminal 10 (S1101).
  • the estimation unit 210 estimates the degree of pleasure / discomfort of the subject based on the various types of information received in step S1101 (S1102). At this time, the estimation unit 210 may perform estimation related to the comfort / discomfort levels of a plurality of people. Further, as described above, the estimation unit 210 can also estimate the comfort / discomfort level based on the learning data stored in the learning DB 240. At this time, the learning unit 230 may learn by associating various types of information acquired in step S1101 with the pleasantness / discomfort degree estimated in step S1102, and store the learning data in the learning DB 240.
  • the output control unit 220 determines whether or not the degree of pleasure / discomfort of the subject estimated in step S1102 is below a threshold value (S1103).
  • the information processing server 20 ends a series of processes related to output control.
  • the output control unit 220 acquires learning data related to the target person or the cluster to which the target person belongs from the learning DB 240 (S1104).
  • step S1104 the output control unit 220 subsequently controls the information processing terminal 10 based on the pleasantness / discomfort level of the subject estimated in step S1102 and the learning data acquired in step S1104.
  • the control signal is generated (S1105).
  • the learning unit 230 may learn by associating the pleasantness / discomfort degree estimated in step S1102 with the control signal, and store the learning data in the learning DB 240.
  • the communication unit 250 transmits the control signal generated in step S1105 to the information processing terminal 10 (S1106), and the information processing server 20 ends the series of processes.
  • the operation flow of the information processing server 20 according to the present embodiment has been described in detail above.
  • the control example in the case where the information processing server 20 is less than the threshold value of the subject's pleasure / discomfort has been described.
  • the output control unit 220 may determine whether the pleasantness / discomfort level exceeds a threshold value.
  • FIG. 17 is a block diagram illustrating a hardware configuration example of the information processing terminal 10 and the information processing server 20 according to the present disclosure.
  • the information processing terminal 10 and the information processing server 20 include, for example, a CPU 871, ROM 872, RAM 873, host bus 874, bridge 875, external bus 876, interface 877, and input device 878. , Output device 879, storage 880, drive 881, connection port 882, and communication device 883.
  • the hardware configuration shown here is an example, and some of the components may be omitted. Further, the information processing terminal 10 and the information processing server 20 may further include components other than the components shown here.
  • the CPU 871 functions as, for example, an arithmetic processing unit or a control unit, and controls the overall operation or a part of each component based on various programs recorded in the ROM 872, RAM 873, storage 880, or removable recording medium 901.
  • the ROM 872 is a means for storing programs read by the CPU 871, data used for calculations, and the like.
  • the RAM 873 for example, a program read by the CPU 871, various parameters that change as appropriate when the program is executed, and the like are temporarily or permanently stored.
  • the CPU 871, the ROM 872, and the RAM 873 are connected to each other via, for example, a host bus 874 capable of high-speed data transmission.
  • the host bus 874 is connected to an external bus 876 having a relatively low data transmission speed via a bridge 875, for example.
  • the external bus 876 is connected to various components via an interface 877.
  • the input device 878 for example, a mouse, a keyboard, a touch panel, a button, a switch, a lever, or the like is used. Furthermore, as the input device 878, a remote controller (hereinafter referred to as a remote controller) capable of transmitting a control signal using infrared rays or other radio waves may be used.
  • the input device 878 includes a voice input device such as a microphone.
  • the output device 879 is a display device such as a CRT (Cathode Ray Tube), LCD, or organic EL, an audio output device such as a speaker or a headphone, a printer, a mobile phone, or a facsimile. It is a device that can be notified visually or audibly.
  • the storage 880 is a device for storing various data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like is used.
  • the drive 881 is a device that reads information recorded on a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable recording medium 901.
  • a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable recording medium 901 is, for example, a DVD medium, a Blu-ray (registered trademark) medium, an HD DVD medium, or various semiconductor storage media.
  • the removable recording medium 901 may be, for example, an IC card on which a non-contact IC chip is mounted, an electronic device, or the like.
  • connection port 882 is a port for connecting an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • the external connection device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, or an IC recorder.
  • the communication device 883 is a communication device for connecting to a network.
  • the information processing server 20 has a function of extracting nonverbal expressions from audio information, image information, sensor information, and the like related to a target person and estimating the degree of pleasure / discomfort of the target person. .
  • the information processing server 20 according to the present disclosure can perform output control related to the information processing terminal 10 based on the estimated pleasure / discomfort level. According to such a configuration, even when it is difficult for the target person to perform an operation related to the output, it is possible to perform dynamic output control according to the emotion of the user.
  • the degree of pleasure / discomfort is one-dimensional information
  • the present technology is not limited to such an example.
  • the pleasantness / discomfort degree according to the present disclosure may be two-dimensional information having directivity such as a two-dimensional vector.
  • the estimation unit 210 allows the information processing server 20 to estimate the degree of pleasure / discomfort with higher accuracy, and to perform highly effective output control.
  • each step in the processing of the information processing server 20 in this specification does not necessarily have to be processed in time series in the order described as a flowchart.
  • each step in the processing of the information processing server 20 may be processed in an order different from the order described as the flowchart, or may be processed in parallel.
  • An estimation unit that estimates the degree of pleasure / discomfort of the subject based on a non-verbal expression extracted from voice information related to the subject;
  • An output control unit that performs output control based on the comfort / discomfort level estimated by the estimation unit; Comprising Information processing device.
  • the non-verbal expression extracted from the speech information includes at least one of the subject's speech rate, speech frequency, speech volume, speech duration, speech clarity, or filler word.
  • the information processing apparatus according to (1).
  • the estimation unit estimates the degree of pleasure / discomfort of the subject based on non-verbal expression extracted from image information related to the subject.
  • the information processing apparatus according to (1) or (2).
  • the non-verbal expression extracted from the image information includes at least one of the facial expression, line of sight, blink, or psychological movement of the subject.
  • the target person includes a person who cannot control information output by a physical barrier, The information processing apparatus according to any one of (1) to (4).
  • the target person includes a person who cannot control information output by a psychological barrier, The information processing apparatus according to any one of (1) to (5).
  • the output control unit performs output control based on the pleasure / discomfort level of the subject being lower than a threshold value.
  • the output control unit stops information output based on the degree of pleasure / discomfort of the subject being below a threshold value, The information processing apparatus according to any one of (1) to (7).
  • the output control unit changes the output expression based on the degree of pleasure / discomfort of the subject being below a threshold value, The information processing apparatus according to any one of (1) to (8).
  • the output control unit changes the output modal based on the pleasure / discomfort level of the subject being lower than a threshold value.
  • the information processing apparatus according to any one of (1) to (9).
  • the output control unit outputs second recommendation information different from the first recommendation information based on the degree of pleasure / discomfort of the subject estimated after the output of the first recommendation information being lower than a threshold value.
  • the output control unit performs output control based on the presence of a target person whose comfort / discomfort level is below a threshold when the estimation unit estimates the comfort / discomfort level of a plurality of target persons.
  • the information processing apparatus according to any one of (1) to (11).
  • the output control unit performs output control to improve the sum of the pleasure / discomfort levels when the estimation unit estimates the comfort / discomfort levels of a plurality of subjects.
  • the information processing apparatus according to any one of (1) to (12).
  • the output control unit performs output control based on learning data.
  • the output control unit performs output control based on learning data specific to the subject.
  • the information processing apparatus according to any one of (1) to (14).
  • the output control unit performs output control based on learning data relating to a cluster into which the target person is classified.
  • the information processing apparatus according to any one of (1) to (15).
  • the information processing apparatus according to any one of (1) to (16).
  • (18) The estimation unit estimates the degree of pleasure / discomfort of the subject based on non-verbal expression extracted from sensor information related to the subject.
  • the information processing apparatus according to any one of (1) to (17).
  • the voice information includes at least one of the subject's speech rate, speech frequency, speech volume, speech duration, speech clarity, or filler word.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】対象者が出力に係る操作を行うことが困難な場合でも、当該ユーザの情動に応じた動的な出力制御を行う。 【解決手段】対象者に係る音声情報から抽出したノンバーバル表現に基づいて前記対象者の快・不快度を推定する推定部と、前記推定部により推定された前記快・不快度に基づいて出力制御を行う出力制御部と、を備える、情報処理装置が提供される。また、対象者に係る音声情報を収集する収集部と、制御信号に基づく情報出力を行う出力部と、を備え、前記出力部は、前記音声情報から抽出されるノンバーバル表現により推定される前記対象者の快・不快度に基づいて生成された前記制御信号に基づく情報出力を行う、情報処理装置が提供される。

Description

情報処理装置
　本開示は、情報処理装置に関する。
　近年、ユーザの感情を推定するための種々の手法が提案されている。また、上記のような手法には、装置の動作に関連したユーザの感情を推定するものがある。例えば、特許文献１には、複数端末におけるコンテンツ共有において、共有先端末におけるユーザのリアクションを検出し、当該リアクションを共有元端末に表示させる技術が開示されている。
特開２０１５－６０３８０号公報
　ところで、特許文献１に記載されるようなコンテンツ共有では、共有先端末でコンテンツを閲覧するユーザは、当該コンテンツの操作権限を与えられていない場合が多い。このため、共有先端末でコンテンツを閲覧するユーザは、コンテンツの再生を停止したい場合や、コンテンツの一部などを再度再生したい場合であっても、当該操作を実現することが困難である。
　そこで、本開示では、対象者が出力に係る操作を行うことが困難な場合でも、当該ユーザの情動に応じた動的な出力制御を行うことが可能な、新規かつ改良された情報処理装置を提案する。
　本開示によれば、対象者に係る音声情報から抽出したノンバーバル表現に基づいて前記対象者の快・不快度を推定する推定部と、前記推定部により推定された前記快・不快度に基づいて出力制御を行う出力制御部と、を備える、情報処理装置が提供される。
　また、本開示によれば、対象者に係る音声情報を収集する収集部と、制御信号に基づく情報出力を行う出力部と、を備え、前記出力部は、前記音声情報から抽出されるノンバーバル表現により推定される前記対象者の快・不快度に基づいて生成された前記制御信号に基づく情報出力を行う、情報処理装置が提供される。
　以上説明したように本開示によれば、対象者が出力に係る操作を行うことが困難な場合でも、当該ユーザの情動に応じた動的な出力制御を行うことが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの構成例と概要を示す図である。 同実施形態に係る情報処理端末および情報処理サーバの機能ブロック図である。 同実施形態に係る情報処理端末が収集する情報種別と、推定部が抽出する対象者のノンバーバル表現の一例を示す図である。 同実施形態に係る出力制御部による情報出力の停止制御について説明するための図である。 同実施形態に係る出力制御部による出力表現の変更制御について説明するための図である。 同実施形態に係る出力制御部による出力モーダルの変更制御について説明するための図である。 同実施形態に係る心理的障壁を伴う対象者について説明するための図である。 同実施形態に係る出力制御部による推薦情報の制御例を示す図である。 同実施形態に係る制御理由の出力例を示す図である。 同実施形態に係る学習データに基づく出力制御の例を占めす図である。 同実施形態に係る心理的障壁を伴う対象者が所持ユーザである場合の出力制御例を示す図である。 同実施形態に係る出力制御部が、複数人の対象者がいる場合に、快・不快度が閾値を下回る対象者が存在することに基づいて出力制御を行う場合の例を示す図である。 同実施形態に係る出力制御部が、複数人の対象者がいる場合に、快・不快度の総和を向上させる出力制御を行う場合の例を示す図である。 同実施形態に係る出力制御部が、複数人の対象者がいる場合に、快・不快度の総和を向上させる出力制御を行う場合の例を示す図である。 同実施形態に係る快・不快度が閾値を上回る場合の出力制御の例を示す図である。 同実施形態に係る快・不快度が閾値を上回る場合の出力制御を示す別の例である。 同実施形態に係る情報処理サーバの動作を示すフローチャートである。 本開示に係るハードウェア構成例である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．実施形態
　　１．１．実施形態の概要およびシステム構成例
　　１．２．情報処理端末１０の機能構成例
　　１．３．情報処理サーバ２０の機能構成例
　　１．４．快・不快度に基づく出力制御の具体例
　　１．５．複数人の快・不快度に基づく出力制御
　　１．６．快・不快度が閾値を上回る場合の出力制御の例
　　１．７．情報処理サーバ２０の動作
　２．ハードウェア構成例
　３．まとめ
　＜１．実施形態＞
　＜＜１．１．実施形態の概要およびシステム構成例＞＞
　まず、本開示の一実施形態の概要について説明する。本実施形態に係る情報処理システムは、対象者に係る種々の情報から抽出したノンバーバル表現に基づいて、出力情報に対する当該対象者の快・不快度を推定し、推定結果に基づいて上記の出力情報を制御する機能を有する。例えば、本実施形態に係る情報処理システムは、対象者に係る音声情報、画像情報、センサ情報などから上記の快・不快度を推定し、出力制御を行ってよい。
　図１は、本実施形態に係る情報処理システムの構成例と概要を示す図である。図１を参照すると、本実施形態に係る情報処理システムは、情報処理端末１０、および情報処理サーバ２０を備える。また、情報処理端末１０と情報処理サーバ２０とは、互いに情報通信が行えるように、ネットワーク３０を介して接続される。
　（情報処理端末１０）
　本実施形態に係る情報処理端末１０は、対象者に係る種々の情報を収集する機能を有する。本実施形態に係る情報処理端末１０は、例えば、対象者に係る音声情報、画像情報、センサ情報などを収集してよい。情報処理端末１０が収集する上記の情報は、上述したとおり、ノンバーバル表現の抽出に用いられ得る。また、本実施形態に係る情報処理端末１０は、情報処理サーバ２０による制御に基づいて、種々の情報をユーザに提示する機能を有する。本実施形態に係る情報処理端末１０は、例えば、視覚情報や聴覚情報をユーザに提示してよい。
　図１には、本実施形態に係る情報処理端末１０が、赤ん坊である対象者Ｔ１またはペットである対象者Ｔ２の音声情報を収集する場合の例が示されている。このように、本実施形態に係る対象者には、動物などが含まれてよい。また、図１には、情報処理端末１０が聴覚情報である出力情報ＳＯ１を出力する場合の例が示されている。図１に示すように、本実施形態に係る情報処理端末１０は、例えば、出力情報ＳＯ１に対する対象者Ｔ１の泣き声、または対象者Ｔ２の鳴き声を収集してもよい。
　本実施形態に係る情報処理端末１０は、携帯電話、スマートフォン、タブレット、ウェアラブル装置、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）などで有り得る。また、本実施形態に係る情報処理端末１０は、例えば、ディスプレイ装置、プロジェクタ、各種のエージェント装置またはロボットであってもよい。本実施形態に係る情報処理端末１０は、対象者に係るノンバーバル表現の抽出に用いられ得る情報を収集する機能と、視覚情報や聴覚情報を出力する機能とを有する種々の情報処理装置であってよい。
　（情報処理サーバ２０）
　本実施形態に係る情報処理サーバ２０は、情報処理端末１０が収集した種々の情報から抽出した対象者のノンバーバル表現に基づいて、当該対象者の快・不快度を推定する機能を有する情報処理装置である。図１に示す一例の場合、本実施形態に係る情報処理サーバ２０は、例えば、情報処理端末１０が収集した対象者Ｔ１または対象者Ｔ２の泣き声（あるいは、鳴き声）に基づいて、当該対象者の快・不快度が不快に傾いていることを推定してよい。
　また、本実施形態に係る情報処理サーバ２０は、推定した上記の快・不快度に基づいて、情報処理端末１０により出力される出力情報を制御する機能を有する。図１に示す例の場合、本実施形態に係る情報処理サーバ２０は、例えば、対象者Ｔ１または対象者Ｔ２の快・不快度が閾値を下回ること、すなわち、出力情報ＳＯ１に対する対象者Ｔ１または対象者Ｔ２の不快感が推定されたことに基づいて、出力情報ＳＯ１に係る出力制御を行うことができる。例えば、情報処理サーバ２０は、出力情報ＳＯ１の出力を停止させてもよい。本実施形態に係る情報処理サーバ２０が有する上記の機能によれば、対象者が出力に係る操作を行うことが困難な場合であっても、当該対象者の情動に応じた動的な出力制御を行うことが可能となる。
　（ネットワーク３０）
　ネットワーク３０は、情報処理端末１０と情報処理サーバ２０を接続する機能を有する。ネットワーク３０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク３０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。また、ネットワーク３０は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など無線通信網を含んでもよい。
　以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図１を用いた上記の説明では、情報処理端末１０および情報処理サーバ２０が、それぞれ独立した情報処理装置として実現される場合を例に述べたが、本実施形態に係る情報システムの構成例は、係る例に限定されない。本実施形態に係る情報処理端末１０および情報処理サーバ２０は、単一の情報処理装置として実現されてもよい。
　一方、本実施形態に係る情報処理端末１０および情報処理サーバ２０が有する各機能は、３台以上の複数の情報処理装置により実現されてもよい。本実施形態に係るシステム構成例は、扱われる情報量やシステムの仕様、運用条件などに応じて柔軟に変形され得る。
　＜＜１．２．情報処理端末１０の機能構成例＞＞
　次に、本実施形態に係る情報処理端末１０の機能構成例について説明する。図２は、本実施形態に係る情報処理端末１０および情報処理サーバ２０の機能ブロック図である。図２を参照すると、本実施形態に係る情報処理端末１０は、収集部１１０、出力部１２０、およびサーバ通信部１３０を備える。以下、上記に示す各構成について、当該構成が有する特徴を中心に説明する。
　（収集部１１０）
　収集部１１０は、対象者に係る種々の情報を収集する機能を有する。上述したとおり、本実施形態が収集する各種の情報は、情報処理サーバ２０による快・不快度の推定に用いられ得る。本実施形態に係る収集部１１０は、例えば、対象者に係る音声情報、画像情報、センサ情報などを収集することができる。
　このために、本実施形態に係る収集部１１０は、例えば、マイクロフォン、撮像センサ、赤外線センサ、照度センサ、加速度センサ、ジャイロセンサ、地磁気センサ、時計などを含んで構成され得る。なお、上記に示す各種のセンサは、あくまで一例であり、収集部１１０は、上記に示す以外のセンサを含んで構成されてもよい。本実施形態に係る収集部１１０は、対象者に係るノンバーバル表現の抽出に用いられ得る情報を収集するためのセンサを広く含んで構成され得る。
　（出力部１２０）
　出力部１２０は、情報処理サーバ２０が生成する制御信号に基づく情報出力を行う機能を有する。ここで、上記の制御信号は、収集部１１０が収集する情報から抽出されるノンバーバル表現により推定される対象者の快・不快度に基づいて生成される。
　この際、本実施形態に係る出力部１２０は、上記の制御信号に基づく視覚情報や音声情報を出力することができる。このために、本実施形態に係る出力部１２０は、視覚情報を出力するディスプレイ装置や音声情報を出力するスピーカを含んで構成され得る。ここで、上記のディスプレイ装置は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置、タッチパネル、プロジェクタなどにより実現され得る。また、本実施形態に係る出力部１２０は、ＴＴＳ（Ｔｅｘｔ　Ｔｏ　Ｓｐｅｅｃｈ）などの音声合成機能を有してよい。
　（サーバ通信部１３０）
　サーバ通信部１３０は、情報処理サーバ２０との情報通信を行う機能を有する。具体的には、本実施形態に係るサーバ通信部１３０は、収集部１１０が収集した音声情報、画像情報、センサ情報などを情報処理サーバ２０に送信する。また、本実施形態に係るサーバ通信部１３０は、情報処理サーバ２０から、上記の各情報から推定される対象者の快・不快度に基づいて生成された制御信号を受信する。
　以上、本実施形態に係る情報処理端末１０の機能構成例について説明した。なお、上記で説明した機能構成はあくまで一例であり、本実施形態に係る情報処理端末１０の機能構成は、係る例に限定されない。本実施形態に係る情報処理端末１０は、例えば、情報処理サーバ２０が有する各種の機能を実現する構成をさらに備えてもよい。情報処理端末１０は、例えば、後述する推定部２１０、出力制御部２２０、学習部２３０、学習ＤＢ２４０のうちの一部またはすべてを備えるように構成されてもよい。また、情報処理端末１０は、例えば、操作者による入力操作を受け付ける入力部などをさらに備えてもよい。本実施形態に係る情報処理端末１０の機能構成は、柔軟に変更され得る。
　＜＜１．３．情報処理サーバ２０の機能構成例＞＞
　引き続き図２を用いて、本実施形態に係る情報処理サーバ２０の機能構成について説明する。図２を参照すると、本実施形態に係る情報処理サーバ２０は、推定部２１０、出力制御部２２０、学習部２３０、学習ＤＢ２４０、および通信部２５０を備える。以下、上記に示す各構成について、当該構成が有する特徴を中心に説明する。
　（推定部２１０）
　推定部２１０は、情報処理端末１０が収集した各種の情報に基づいて、対象者の快・不快度を推定する機能を有する。より具体的には、本実施形態に係る推定部２１０は、対象者に係る音声情報、画像情報、センサ情報などから抽出したノンバーバル表現に基づいて、上記の快・不快度を推定してよい。本実施形態に係る推定部２１０が有する上記の機能によれば、対象者による言語的発言に依らずに当該対象者の快・不快度を推定することができ、言語解析を行う場合と比較して処理負担を大幅に軽減することが可能である。なお、以下における説明では、快・不快度が高いほど対象者の情動が快に傾いているとし、快・不快度が低いほど対象者の情動が不快に傾いているとして説明する。
　図３は、情報処理端末１０が収集する情報種別と、推定部２１０が抽出する対象者のノンバーバル表現の一例を示す図である。図３に示すように、本実施形態に係る推定部２１０は、情報処理端末１０が収集した音声情報から対象者に係るノンバーバル表現を抽出することができる。この際、推定部２１０により抽出されるノンバーバル表現には、例えば、対象者の発話速度、発話周波数、発話音量、発話の間、発話の明瞭さ、およびフィラー語などが含まれてよい。本実施形態に係る推定部２１０が有する上記の機能によれば、対象者に係る音声情報から多角的に快・不快度を推定することが可能となる。
　本実施形態に係る推定部２１０は、音声情報から抽出した上記のノンバーバル表現が一般に快または不快を示す表現に合致する場合や、対象による定常表現とは異なることなどに基づいて、対象者の快・不快度を推定することができる。推定部２１０は、例えば、対象者の発話速度が定常よりも遅いことに基づいて、対象者の快・不快度が不快に傾いていることを推定してもよい。この際、推定部２１０は、後述する学習ＤＢ２４０に記憶される学習データに基づいて上記の推定を行うことができる。
　また、図３に示すように、本実施形態に係る推定部２１０は、情報処理端末１０が収集した画像情報から対象者に係るノンバーバル表現を抽出することができる。この際、推定部２１０により抽出されるノンバーバル表現には、例えば、対象者の表情、視線、まばたき、および心理的動作などが含まれてよい。なお、ここで、上記の心理的動作には、例えば、腕組みや貧乏揺すりなどの四肢の動作、上方を仰ぐ、俯くなどの頭部の動作などが含まれる。また、対象者が動物である場合には、尾やヒゲなどの動作が含まれてもよい。本実施形態に係る推定部２１０が有する上記の機能によれば、音声情報に依らない動作から対象者の快・不快度を推定することが可能となる。
　本実施形態に係る推定部２１０は、例えば、画像情報から抽出した上記のノンバーバル表現が一般に快または不快を示す表現に合致する場合や、対象による定常表現とは異なることなどに基づいて、対象者の快・不快度を推定することができる。推定部２１０は、例えば、対象者の表情が泣き顔に合致することに基づいて、対象者の快・不快度が不快に傾いていることを推定してもよい。
　また、図３に示すように、本実施形態に係る推定部２１０は、情報処理端末１０が収集したセンサ情報から対象に係るノンバーバル表現を抽出することができる。この際、推定部２１０により抽出されるノンバーバル表現には、例えば、対象者の滞在時間、退避行動、操作行動、および心理的動作などが含まれてよい。本実施形態に係る推定部２１０が有する上記の機能によれば、安価なセンサを用いてより広い観点から対象者の快・不快度を推定することが可能となる。
　本実施形態に係る推定部２１０は、例えば、センサ情報から抽出した上記のノンバーバル表現が一般に快または不快を示す表現に合致する場合や、対象者による定常表現と異なることなどに基づいて、対象者の快・不快度を推定することができる。推定部２１０は、例えば、対象者の滞在時間が閾値を超えることに基づいて、対象者の快・不快度が快に傾いていることを推定してもよい。
　（出力制御部２２０）
　出力制御部２２０は、推定部２１０により推定された快・不快度に基づいて情報処理端末１０に係る出力制御を行う機能を有する。すなわち、本実施形態に係る出力制御部２２０は、上記の快・不快度に基づいて情報処理端末１０を制御するための制御信号を生成する。この際、本実施形態に係る出力制御部２２０は、推定された対象者の快・不快度が閾値を下回ること、すなわち、対象者の情動が不快に傾いていると推定されたことに基づいて、出力制御を行ってもよい。本実施形態に係る出力制御部２２０が有する上記の機能によれば、対象者が出力に係る操作を行うことが困難な場合であっても、当該ユーザの情動に応じた動的な出力制御を行うことが可能となる。
　また、本実施形態に係る出力制御部２２０は、学習ＤＢ２４０に記憶される学習データに基づいて出力制御を行ってよい。出力制御部２２０は、例えば、推定された対象者の快・不快度が閾値を下回った場合、学習データに基づいて当該対象者が好むと推定される出力情報を情報処理端末１０に出力させることができる。本実施形態に係る出力制御部２２０が有する上記の機能によれば、対象者の快・不快度が向上する可能性を大きく高めることができる。
　また、この際、本実施形態に係る出力制御部２２０は、学習ＤＢ２４０に記憶される対象者に特有の学習データに基づいて出力制御を行ってもよい。すなわち、本実施形態に係る出力制御部２２０は、対象者から収集された情報に基づいて個人化された学習データを用いて出力制御を行うことができる。本実施形態に係る出力制御部２２０が有する上記の機能によれば、対象者の嗜好などに応じた精度の高い出力制御を行うことが可能となる。
　一方、本実施形態に係る出力制御部２２０は、対象者が分類されるクラスタに係る学習データに基づいて出力制御を行ってもよい。すなわち、本実施形態に係る出力制御部２２０は、対象者の年齢や性別などに基づいてクラスタリングされた学習データを用いて出力制御を行うこともできる。本実施形態に係る出力制御部２２０が有する上記の機能によれば、個人に係る学習データが蓄積していない場合でも、対象者の快・不快度を高める出力制御を行うことが可能となる。
　（学習部２３０）
　学習部２３０は、情報処理端末１０が収集した各種の情報と推定部２１０により推定された快・不快度とを関連付けて学習する機能を有する。また、学習部２３０は、上記の快・不快度と出力制御部２２０が生成した制御信号とを関連付けて学習する機能を有する。学習部２３０は、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）、ニューラルネットワーク、回帰モデルなどの機械学習手法または統計的手法により上記の学習を行うことができる。また、本実施形態に係る学習部２３０は、上記の学習に係るデータを学習ＤＢ２４０に記憶させる機能を有する。
　（学習ＤＢ２４０）
　学習ＤＢ２４０は、収集された情報と当該情報に基づいて推定された快・不快度とに係る学習データを記憶する機能を有する。また、学習ＤＢ２４０は、上記の快・不快度と当該快・不快度に基づいて生成された制御信号とに係る学習データを記憶する機能を有する。上述したように、上記の学習データは、個人化された学習データであってもよいし、クラスタリングされた学習データであってもよい。
　（通信部２５０）
　通信部２５０は、情報処理端末１０との情報通信を行う機能を有する。具体的には、本実施形態に係る通信部２５０は、情報処理端末１０から、対象者に係る音声情報、画像情報、センサ情報などを受信する。また、本実施形態に係る通信部２５０は、受信した上記の情報に基づいて生成される制御信号を情報処理端末１０に送信する。
　以上、本実施形態に係る情報処理サーバ２０の機能構成例について説明した。なお、上記で説明した機能構成はあくまで一例であり、本実施形態に係る情報処理サーバ２０の機能構成例は、係る例に限定されない。上述したとおり、本実施形態に係る情報処理サーバ２０が備える構成のすべて、または一部は、情報処理端末１０の機能として実現されてもよい。
　また、情報処理サーバ２０が備える構成の一部は、別の装置の機能として実現することもできる。例えば、推定部２１０や、学習部２３０および学習ＤＢ２４０は、情報処理サーバ２０とは異なる別の装置の機能として実現されてもよい。また、本実施形態に係る情報処理サーバ２０は、上記で説明した構成以外をさらに備えてもよい。本実施形態に係る情報処理サーバ２０の機能構成は、柔軟に変更され得る。
　＜＜１．４．快・不快度に基づく出力制御の具体例＞＞
　次に、本実施形態に係る快・不快度に基づく出力制御について、具体例を挙げて説明する。上述したとおり、本実施形態に係る出力制御部２２０は、推定部２１０が推定した対象者の快・不快度に基づいて、情報処理端末１０に係る出力制御を行うことができる。ここで、本実施形態に係る対象者には、物理的障壁により出力される情報の制御を行うことができない者、および心理的障壁により出力される情報の制御を行うことができない者が含まれる。以下、上記の物理的障壁および心理的障壁を伴う対象者に対する出力制御について詳細に説明する。
　（物理的障壁を伴う対象者に対する出力制御例）
　まず、本実施形態に係る物理的障壁を伴う対象者に対する出力制御例について説明する。本実施形態に係る物理的障壁を伴う対象者には、例えば、図１に示すような赤ん坊や動物など、物理的に情報処理端末１０を操作することができない者が含まれる。また、物理的障壁を伴う対象者には、操作方法を知らない客人、高齢者、障がい者、外国人なども含まれ得る。
　すなわち、本実施形態に係る物理的障壁を伴う対象者は、出力に係る操作を自力で行うことが困難な者であってよい。本実施形態に係る情報処理サーバ２０によれば、上記のような物理的障壁を伴う対象者の情動に応じた柔軟な出力制御を行うことが可能となる。
　より具体的には、本実施形態に係る出力制御部２２０は、例えば、対象者の快・不快度が閾値を下回ることに基づいて、情報処理端末１０による情報出力を停止させてもよい。図４は、本実施形態に係る出力制御部２２０による情報出力の停止制御について説明するための図である。図４には、情報処理端末１０が出力するアラーム音である出力情報ＳＯ１と、出力情報ＳＯ１に対して泣き声を上げる赤ん坊、すなわち物理的障壁を伴う対象者Ｔ１とが示されている。
　この際、推定部２１０は、対象者Ｔ１の音声情報から泣き声を認識することで対象者Ｔ１の快・不快度が不快に傾いていることを推定してもよいし、画像情報から泣き顔を認識することで上記の推定を行ってもよい。また、本実施形態に係る出力制御部２２０は、推定部２１０が対象者Ｔ１の音声情報や画像情報などから推定した快・不快度が閾値を下回ることに基づいて、情報処理端末１０に出力情報ＳＯ１の出力を停止させることができる。
　本実施形態に係る出力制御部２２０が有する上記の機能によれば、例えば、図４に示すように、赤ん坊のような物理的障壁を伴う対象者が出力情報を不快に感じている場合に、当該対象者に代わって出力情報を停止させることが可能となる。
　また、本実施形態に係る出力制御部２２０は、例えば、対象者の快・不快度が閾値を下回ることに基づいて、情報処理端末１０に出力表現を変更させてもよい。図５は、本実施形態に係る出力制御部２２０による出力表現の変更制御について説明するための図である。図５には、情報処理端末１０が出力するアラーム音（図示しない）に対して泣き声を上げる対象者Ｔ１と、出力制御部２２０により変更された出力情報ＳＯ２とが示されている。
　このように、本実施形態に係る出力制御部２２０は、例えば、赤ん坊である対象者が不快に感じているアラーム音などの出力表現を、別のアラーム音や音楽などの出力表現に変更させることができる。本実施形態に係る出力制御部２２０が有する上記の機能によれば、情報出力を停止せずとも、対象者の快・不快度を改善できる可能性を向上させることが可能となる。
　また、この際、本実施形態に係る学習部２３０は、推定部２１０により推定された快・不快度と出力制御部２２０により生成された制御信号とを関連付けて学習してもよい。本実施形態に係る学習部２３０が上記の学習を繰り返し行うことで、対象者が不快に感じる出力情報や、対象者が好む出力情報などを特定し、効率的な出力制御を行うことが可能となる。
　また、本実施形態に係る出力制御部２２０は、例えば、対象者の快・不快度が閾値を下回ることに基づいて、情報処理端末１０に出力モーダルを変更させてもよい。図６は、本実施形態に係る出力制御部２２０による出力モーダルの変更制御について説明するための図である。図６には、情報処理端末１０が出力するアラーム音（図示しない）に対して泣き声を上げる対象者Ｔ１と、出力制御部２２０により変更された出力情報ＳＯ３とが示されている。
　このように、本実施形態に係る出力制御部２２０は、例えば、赤ん坊である対象者が不快に感じている聴覚情報に代えて、情報処理端末１０に視覚情報を出力させてもよい。すなわち、本実施形態に係る出力制御部２２０は、対象者の快・不快度に基づいて、情報処理端末１０の出力モーダルを選択することができる。本実施形態に係る出力制御部２２０が有する上記の機能によれば、情報の精度を欠落させることなく、対象者の快・不快度を改善することが可能である。
　以上、本実施形態に係る物理的障壁を伴う対象者に対する出力制御例について説明した。なお、上記の説明では、推定部２１０が、音声情報や画像情報に基づいて、赤ん坊である対象者Ｔ１の快・不快度を推定する場合を例に述べた。一方、上述したとおり、本実施形態に係る物理的障壁を伴う対象者は、係る例に限定されない。また、本実施形態に係る推定部２１０は、センサ情報から対象者の快・不快度を推定することもできる。
　例えば、本実施形態に係る情報処理端末１０の操作方法を知らない客人である対象者であってもよい。この場合、本実施形態に係る推定部２１０は、対象者が情報処理端末１０から出力されるアラーム音を止めようとする操作行動、すなわち、停止スイッチを探す行動を情報処理端末１０が収集したセンサ情報から認識し、快・不快度の推定を行うこともできる。
　（心理的障壁を伴う対象者に対する出力制御例）
　次に、本実施形態に係る心理的障壁を伴う対象者に対する出力制御例について説明する。本実施形態に係る心理的障壁を伴う対象者は、情報処理端末１０の操作方法は理解しているが、出力に係る操作を行うことが心情的に困難な者と定義できる。
　図７は、本実施形態に係る心理的障壁を伴う対象者について説明するための図である。図７には、情報処理端末１０が出力する出力情報Ｓ０４と、出力情報Ｓ４に対する対象者Ｔ３およびＴ４の発話ＵＯ１およびＵＯ２が示されている。ここで、出力情報ＳＯ４は、図４に示されるように、レストランなどの推薦情報であってよい。また、対象者Ｔ３は、情報処理端末１０の所持ユーザであってよい。
　図７を参照すると、アジアンビストロを推薦する出力情報ＳＯ４に対し、対象者Ｔ３およびＴ４は共に肯定的な発話を行っている。しかし、図７に示すように、対象者Ｔ４は、内心では否定的な意見を抱いている。このように、家人や客人など、対象者Ｔ３とＴ４の関係によっては、心情的に本心を発言できない場合が想定される。すなわち、図４に示す対象者Ｔ４は、心理的障壁を伴う対象者といえる。
　このような場合、本実施形態に係る情報処理サーバ２０は、心理的障壁を伴う対象者Ｔ４の快・不快度を推定し、当該快・不快度に基づいて情報処理端末１０の出力制御を行うことができる。より具体的には、本実施形態に係る出力制御部２２０は、第１の推薦情報の出力後に推定された対象者の快・不快度が閾値を下回ることに基づいて、第１の情報とは異なる第２の推薦情報を情報処理端末１０に出力させることができる。
　図８は、本実施形態に係る出力制御部２２０による推薦情報の制御例を示す図である。図８には、情報処理端末１０が出力する出力情報ＳＯ５が示されており、ここで、出力情報ＳＯ５は、図７に示した出力情報ＳＯ４とは異なる推薦情報であってよい。すなわち、図８に示す一例では、出力制御部２２０は、図７に示した第１の情報である出力情報ＳＯ４とは異なる第２の推薦情報である出力情報ＳＯ５を、情報処理端末１０に出力させている。
　なお、この際、本実施形態に係る推定部２１０は、図７に示した発話Ｕ０２から対象者Ｔ４の快・不快度を推定してよい。推定部２１０は、例えば、発話ＵＯ２に係る音声情報に含まれる発話音量、発話の間、フィラー語などの情報から、対象者Ｔ４の快・不快度が不快に傾いていることを推定することが可能である。
　本実施形態に係る情報処理サーバ２０が有する上記の機能によれば、心理的障壁を伴う対象者が推薦情報に対し肯定的な発言を行った場合であっても、当該対象者の内心を推定し異なる推薦情報を出力させることが可能となる。
　また、本実施形態に係る出力制御部２２０は、図８に示したような、心理的障壁を伴う対象者に対する出力制御を行った場合、当該出力制御を行った旨を情報処理端末１０の所持ユーザである対象者Ｔ３に対し提示させてもよい。すなわち、本実施形態に係る出力制御部２２０は、快・不快度に基づく出力制御を行った場合、当該出力制御を行った理由を情報処理端末１０に出力させることができる。
　図９は、本実施形態に係る制御理由の出力例を示す図である。図９には、対象者Ｔ３と、情報処理端末１０が出力する出力情報ＳＯ６とが示されている。ここで、出力情報ＳＯ６には、図９に示すように、図７に示した出力情報ＳＯ４に対する対象者Ｔ４の不快感が推定された旨を含んでよい。このように、本実施形態に係る出力制御部２２０は、図７および図８に示したような出力制御を行った後、当該出力制御を行った理由を所持ユーザである対象者Ｔ３に対し提示させることができる。
　なお、この際、出力制御部２２０は、対象者Ｔ３のみが出力情報ＳＯ６を把握できるように制御を行ってよい。出力制御部２２０は、例えば、対象者Ｔ４の存在が検知されなくなったことに基づいて、出力情報ＳＯ６を音声出力させてもよいし、対象者Ｔ３が所持する別途の端末などに出力情報ＳＯ６を転送させてもよい。
　本実施形態に係る出力制御部２２０が有する上記の機能によれば、情報処理端末の所持ユーザは、出力制御が行われた理由を明確に把握することができ、当該理由を情報処理端末１０および情報処理サーバ２０の設定や、今後の人間関係に活用することが可能となる。
　また、本実施形態に係る出力制御部２２０は、第２の推薦情報を出力させる際、学習ＤＢ２４０に記憶される学習データに基づいて、出力制御を行ってもよい。図１０は、本実施形態に係る学習データに基づく出力制御の例を示す図である。図１０には、対象者Ｔ３およびＴ４の発話ＵＯ３～ＵＯ５と、情報処理端末１０による出力情報ＳＯ７とが示されている。
　ここで、発話ＵＯ３～ＵＯ５は、図１０に示すように、対象者Ｔ４の嗜好に関する発話であってよい。本実施形態に係る学習部２３０は、例えば、発話ＵＯ５から、対象者Ｔ４がヨーロッパに関心があることを学習し、学習の結果を学習ＤＢ２４０に記憶させることができる。この際、学習部２３０は、対象者Ｔ４個人に特有の学習を行うこともできるし、対象者Ｔ４に係る学習データが蓄積されていない場合には対象者Ｔ４が属するクラスタに係る学習を行うこともできる。この場合、本実施形態に係る推定部２１０は、例えば、収集された音声情報や画像情報から対象者Ｔ４の性別や年齢などを推定することでクラスタリングを行うことができる。
　本実施形態に係る出力制御部２２０は、上記のように学習された学習データに基づいて、出力制御を行ってよい。すなわち、図１０に示す出力情報ＳＯ７は、発話ＵＯ３～ＵＯ５から学習された学習データに基づいた出力情報であってよい。出力制御部２２０は、学習ＤＢ２４０に記憶される学習データに基づいて、対象者Ｔ４の嗜好に合わせた第２の推薦情報である出力情報ＳＯ７を情報処理端末１０に出力させることができる。
　以上、本実施形態に係る心理的障壁を伴う対象者に対する出力制御の例について説明した。なお、上記の説明では、心理的障壁を伴う対象者が情報処理端末１０の所持ユーザに本音を言うことが心情的に困難な客人などである場合を例に述べた。しかし、本実施形態に係る心理的障壁を伴う対象者は、係る例に限定されない。本実施形態に係る心理的障壁を伴う対象者は、情報処理端末１０の所持ユーザでもあり得る。例えば、所持ユーザが物理的に情報処理端末１０の操作を行える状況であっても、当該操作に対する煩わしさのために操作を行うことを躊躇している場合では、当該所持ユーザは心理的障壁を伴う対象者といえる。
　図１１は、本実施形態に係る心理的障壁を伴う対象者が所持ユーザである場合の出力制御例を示す図である。図１１には、煩わしさのために情報処理端末１０の操作を躊躇っている対象者Ｔ３と、情報処理端末１０により出力される出力情報ＳＯ２とが示されている。ここで、対象者Ｔ３は、情報処理端末１０の所持ユーザであってよい。また、出力情報ＳＯ２は、出力制御部２２０により動的に変更されたアラーム音などの音声情報であってよい。
　このように、本実施形態に係る出力制御部２２０は、所持ユーザである対象者Ｔ３の快・不快度が閾値を下回ることに基づいて、情報処理端末１０に出力させるアラーム音などを変更することができる。なお、この際、本実施形態に係る推定部２１０は、音声情報や画像情報に基づいて対象者Ｔ３の快・不快度を推定することができる。推定部２１０は、例えば、あるアラーム音が出力された際に対象者Ｔ３がため息や舌打ちをしたことから上記の推定を行ってもよい。また、推定部２１０は、例えば、あるアラーム音が出力された際に対象者Ｔ３が眉をひそめたことから上記の推定を行ってもよい。
　本実施形態に係る情報処理サーバ２０が有する上記の機能によれば、所持ユーザの操作負担を大幅に低減することが可能となる。なお、図示していないが、上記のような制御を行う場合、本実施形態に係る出力制御部２２０は、アラーム音などを変更するか否かの問い合わせを情報処理端末１０に出力させることもできる。この場合、出力制御部２２０はユーザの回答に基づくより効果的な出力制御を行うことができ、また、学習部２３０の学習効率の向上も期待される。
　＜＜１．５．複数人の快・不快度に基づく出力制御＞＞
　次に、本実施形態に係る複数人の快・不快度に基づく出力制御について詳細に説明する上記の説明では、推定部２１０が一人の対象者の快・不快度を推定し、出力制御部２２０が当該快・不快度に基づく出力制御を行う場合について述べた。一方、本実施形態に係る推定部２１０は複数人の対象者に係る快・不快度を推定してもよい。この場合、本実施形態に係る出力制御部２２０は、推定された複数人の快・不快度に基づいて出力制御を行うことができる。
　例えば、本実施形態に係る出力制御部２２０は、推定部２１０が複数人の対象者の快・不快度を推定した場合、快・不快度が閾値を下回る対象者が存在することに基づいて出力制御を行ってもよい。すなわち、本実施形態に係る出力制御部２２０は、情報処理端末１０による出力を不快に感じている対象者が一人でも存在する場合、当該出力を変更する制御を行うことができる。
　図１２は、本実施形態に係る出力制御部２２０が、複数人の対象者がいる場合に、快・不快度が閾値を下回る対象者が存在することに基づいて出力制御を行う場合の例を示す図である。図１２には、複数人の対象者Ｔ１およびＴ２と、情報処理端末１０により出力される出力情報ＳＯ１とが示されている。ここで、図１２に示すように、対象者Ｔ１は、出力情報ＳＯ１を不快と感じていない対象者であってよい。一方、図１２に示すように、対象者Ｔ２は、出力情報ＳＯ１を不快に感じている対象者である。
　この場合、本実施形態に係る出力制御部２２０は、推定された対象者Ｔ２の快・不快度が閾値を下回っていることに基づいて、出力情報ＳＯ１の出力を停止させてよい。本実施形態に係る出力制御部２２０が有する上記の機能によれば、複数人の対象者がいる場合であっても、対象者一人ひとりを配慮した出力制御を行うことが可能となる。
　また、例えば、本実施形態に係る出力制御部２２０は、推定部２１０が複数人の対象者の快・不快度を推定した場合、当該快・不快度の総和を向上させる出力制御を行うこともできる。例えば、本実施形態に係る出力制御部２２０は、集団としての快・不快度が最も高まるように出力制御を行ってよい。
　図１３Ａおよび図１３Ｂは、本実施形態に係る出力制御部２２０が、複数人の対象者がいる場合に、快・不快度の総和を向上させる出力制御を行う場合の例を示す図である。図１３Ａには、情報処理端末１０による推薦情報である出力情報ＳＯ８と、出力情報ＳＯ８に対する対象者Ｔ３～Ｔ５の発話ＵＯ６～ＵＯ８とが示されている。ここで、対象者Ｔ３～Ｔ５による発話ＵＯ６～ＵＯ８は、図１３Ａに示すように、出力情報ＳＯ８に対して肯定的な（あるいは、否定的ではない）意見を示す内容であってよい。しかし、対象者Ｔ４およびＴ５は、心理的障壁を伴う対象者であり、内心では出力情報ＳＯ８に対し否定的な感情を有している。
　このような場合、本実施形態に係る出力制御部２２０は、対象者Ｔ３～Ｔ５の快・不快度の総和を向上させるように出力制御を行ってよい。出力制御部２２０は、例えば、学習ＤＢ２４０に記憶される対象者Ｔ３やＴ４に係る学習データ、または対象者Ｔ３やＴ４が属するクラスタに係る学習データに基づいて上記の制御を行うことができる。
　図１３Ｂには、出力制御部２２０により変更された変更された出力情報である出力情報ＳＯ９と、出力情報ＳＯ９に対する対象者Ｔ３～Ｔ５の発話ＵＯ９～ＵＯ１１とが示されている。ここで、対象者Ｔ３～Ｔ５による発話ＵＯ９～ＵＯ１１は、図１３Ｂに示すように、出力情報ＳＯ９に対して肯定的な（あるいは、否定的ではない）意見を示す内容であってよい。ただし、対象者Ｔ４は、内心では出力情報ＳＯ９に対して中立的な感情を有している。
　このように、本実施形態に係る出力制御部２２０は、対象者全員の快・不快度を快に傾けることが困難な場合などにおいては、快・不快度の総和の向上を優先させてよい。本実施形態に係る出力制御部２２０が有する上記の機能によれば、多数派の対象者を優先した出力制御を行いながらも、集団としての快・不快度を高く保つことが可能となる。
　なお、図１３Ａおよび図１３Ｂを用いた上記の説明では、出力制御部２２０が単一の推薦情報を情報処理端末１０に出力させる場合について述べた。一方、本実施形態に係る出力制御部２２０は、複数の推薦情報を情報処理端末１０に出力させることができる。例えば、本実施形態に係る出力制御部２２０は、第１の推薦情報に対し肯定的な感情を有する対象者のグループと否定的な感情を有する対象者のグループが推定された場合、当該２つのグループに対してそれぞれ別の第２の推薦情報を出力させてよい。
　出力制御部２２０が上記の制御を行うことにより、例えば、団体での旅行などにおいて行先に対する意見が分かれた場合であっても、それぞれのグループに属する対象者の快・不快度を向上させる、より効果の高い情報出力を行うことが可能となる。
　＜＜１．６．快・不快度が閾値を上回る場合の出力制御の例＞＞
　次に、本実施形態に係る快・不快度が閾値を上回る場合の出力制御の例について説明する。上記の説明では、本実施形態に係る出力制御部２２０が、推定された対象者の快・不快度が閾値を下回ることに基づいて出力制御を行う場合について述べた。一方、本実施形態に係る出力制御部２２０は、快・不快度が閾値を上回ることに基づいて出力制御を行ってもよい。すなわち、本実施形態に係る出力制御部２２０は、対象者の快・不快度が快に傾いていると推定されたことに基づいて、情報処理端末１０に係る出力制御を行うことができる。
　図１４は、本実施形態に係る快・不快度が閾値を上回る場合の出力制御の例を示す図である。図１４には、動物である対象者Ｔ６およびＴ７と、情報処理端末１０による出力情報ＳＯ１０とが示されている。ここで、対象者Ｔ６およびＴ７はリラックスしている状態であり、対象者Ｔ６およびＴ７の快・不快度は快に傾いている状態であってよい。
　この場合、本実施形態に係る出力制御部２２０は、推定部２１０により推定された対象者Ｔ６やＴ７の快・不快度が閾値を上回っていることに基づいて、情報処理端末１０に出力情報ＳＯ１０を出力させることができる。より具体的には、図１４に示される対象者Ｔ６やＴ７は、民家や店舗などに集まってきた野生動物などであってよい。本実施形態に係る出力制御部２２０は、野生動物である対象者Ｔ６やＴ７の快・不快度が閾値を上回ることに基づいて、対象者Ｔ６やＴ７を追い払うための出力情報ＳＯ１０を情報処理端末１０に出力させることができる。この際、出力制御部２２０は、例えば、人間の可聴域よりも高い周波数の不快音を出力させることで、周囲の人間には影響を与えずに野生動物を追い払うこともできる。
　本実施形態に係る出力制御部２２０が有する上記の機能によれば、野生動物を追い払う必要がある場合などにのみ高周波音を出力させることができ、情報出力に係る電力消費などを低減することも可能である。
　なお、図１４に示す一例の場合、推定部２１０は、例えば、収集されたセンサ情報から対象者Ｔ６やＴ７の快・不快度を推定してもよい。推定部２１０は、例えば、情報処理端末１０が備える赤外線センサなどにより、対象者Ｔ６やＴ７が所定時間以上、領域内に留まっていることが検知されたことに基づいて、対象者Ｔ６やＴ７の快・不快度が快に傾いていることを推定してもよい。
　また、図１５は、本実施形態に係る快・不快度が閾値を上回る場合の出力制御を示す別の例である。図１５には、家畜である対象者Ｔ８と、情報処理端末１０による出力情報ＳＯ１１とが示されている。ここで、対象者Ｔ８はリラックスしている状態であり、対象者Ｔ８の快・不快度は快に傾いている状態であってよい。
　この場合、本実施形態に係る出力制御部２２０は、推定部２１０により推定された対象者Ｔ８の快・不快度が閾値を上回っていることに基づいて、情報処理端末１０に出力情報ＳＯ１１を出力させることができる。例えば、出力制御部２２０は、家畜である対象者Ｔ８の快・不快度がより高くなるような出力情報ＳＯ１１を情報処理端末１０に出力させてもよい。また、出力制御部２２０は、対象者Ｔ８の快・不快度が閾値を上回る場合に、所定のアラーム音や音楽などを出力させてもよい。この場合、いわゆるパブロフの犬のような条件反射における条件付けを行うことができ、家畜などをより効率的に扱うことが可能となる。
　＜＜１．７．情報処理サーバ２０の動作＞＞
　次に、本実施形態に係る情報処理サーバ２０の動作について詳細に説明する。図１６は、本実施形態に係る情報処理サーバ２０の動作を示すフローチャートである。なお、以下の説明では、情報処理サーバ２０が対象者の快・不快度が閾値を下回る場合に行う出力制御の例について述べる。
　図１６を参照すると、まず、情報処理サーバ２０の通信部２５０は、情報処理端末１０が収集した音声情報、画像情報、センサ情報などを受信する（Ｓ１１０１）。
　次に、推定部２１０は、ステップＳ１１０１で受信した各種の情報に基づいて、対象者の快・不快度を推定する（Ｓ１１０２）。この際、推定部２１０は、複数人の快・不快度に係る推定を行ってもよい。また、上述したように、推定部２１０は、学習ＤＢ２４０に記憶される学習データに基づいて、快・不快度の推定を行うこともできる。また、この際、学習部２３０はステップＳ１１０１で取得した各種の情報と、ステップＳ１１０２で推定された快・不快度とを関連付けて学習し、学習データを学習ＤＢ２４０に記憶させてよい。
　次に、出力制御部２２０は、ステップＳ１１０２で推定された対象者の快・不快度が閾値を下回るか否かを判定する（Ｓ１１０３）。
　ここで、快・不快度が閾値以上である場合（Ｓ１１０３：ＮＯ）、情報処理サーバ２０は、出力制御に係る一連の処理を終了する。
　一方、快・不快度が閾値を下回る場合（Ｓ１１０３：Ｙｅｓ）、出力制御部２２０は、学習ＤＢ２４０から対象者、または対象者が属するクラスタに係る学習データを取得する（Ｓ１１０４）。
　ステップＳ１１０４が完了すると、続いて、出力制御部２２０は、ステップＳ１１０２で推定された対象者の快・不快度と、ステップＳ１１０４で取得された学習データに基づいて、情報処理端末１０を制御するための制御信号を生成する（Ｓ１１０５）。また、この際、学習部２３０は、ステップＳ１１０２で推定された快・不快度と、上記の制御信号とを関連付けて学習し、学習データを学習ＤＢ２４０に記憶させてよい。
　次に、通信部２５０は、ステップＳ１１０５で生成された制御信号を情報処理端末１０に送信し（Ｓ１１０６）に送信し、情報処理サーバ２０は、一連の処理を終了する。
　以上、本実施形態に係る情報処理サーバ２０の動作の流れについて詳細に説明した。なお、上記では、情報処理サーバ２０が対象者の快・不快度が閾値を下回る場合の制御例について説明したが、上述したとおり、本実施系多に係る情報処理サーバ２０は、快・不快度が閾値を上回ることに基づいて出力制御を行うこともできる。この場合、図１６に示すステップＳ１１０３において、出力制御部２２０は、快・不快度が閾値を上回るか否かの判定を行ってよい。
　＜２．ハードウェア構成例＞
　次に、本開示に係る情報処理端末１０及び情報処理サーバ２０に共通するハードウェア構成例について説明する。図１７は、本開示に係る情報処理端末１０及び情報処理サーバ２０のハードウェア構成例を示すブロック図である。図１７を参照すると、情報処理端末１０及び情報処理サーバ２０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、情報処理端末１０及び情報処理サーバ２０は、ここで示される構成要素以外の構成要素をさらに含んでもよい。
　（ＣＰＵ８７１）
　ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
　（ＲＯＭ８７２、ＲＡＭ８７３）
　ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
　（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
　ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
　（入力装置８７８）
　入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
　（出力装置８７９）
　出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
　（ストレージ８８０）
　ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
　（ドライブ８８１）
　ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
　（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
　（接続ポート８８２）
　接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
　（外部接続機器９０２）
　外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
　（通信装置８８３）
　通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
　＜３．まとめ＞
　以上説明したように、本開示に係る情報処理サーバ２０は、対象者に係る音声情報、画像情報、センサ情報などからノンバーバル表現を抽出し、当該対象者の快・不快度を推定する機能を有する。また、本開示に係る情報処理サーバ２０は、推定した快・不快度に基づいて、情報処理端末１０に係る出力制御を行うことができる。係る構成によれば、対象者が出力に係る操作を行うことが困難な場合でも、当該ユーザの情動に応じた動的な出力制御を行うことが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、快・不快度が一次元情報である場合を例に説明したが、本技術はかかる例に限定されない。例えば、本開示に係る快・不快度は、例えば二次元ベクトルのような指向性を有する二次元情報であってもよい。この場合、推定部２１０は、情報処理サーバ２０は、より高精度な快・不快度を推定することができ、効果の高い出力制御を行うことが可能となる。
　また、本明細書の情報処理サーバ２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理サーバ２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　対象者に係る音声情報から抽出したノンバーバル表現に基づいて前記対象者の快・不快度を推定する推定部と、
　前記推定部により推定された前記快・不快度に基づいて出力制御を行う出力制御部と、
　を備える、
情報処理装置。
（２）
　前記音声情報から抽出されるノンバーバル表現は、前記対象者の発話速度、発話周波数、発話音量、発話の間、発話の明瞭さ、またはフィラー語のうち少なくとも１つを含む、
前記（１）に記載の情報処理装置。
（３）
　前記推定部は、前記対象者に係る画像情報から抽出したノンバーバル表現に基づいて前記対象者の前記快・不快度を推定する、
前記（１）または（２）に記載の情報処理装置。
（４）
　前記画像情報から抽出されるノンバーバル表現は、前記対象者の表情、視線、まばたき、または心理的動作のうち少なくとも１つを含む、
前記（３）に記載の情報処理装置。
（５）
　前記対象者は、物理的障壁により出力される情報の制御を行うことができない者を含む、
前記（１）～（４）のいずれかに記載の情報処理装置。
（６）
　前記対象者は、心理的障壁により出力される情報の制御を行うことができない者を含む、
前記（１）～（５）のいずれかに記載の情報処理装置。
（７）
　前記出力制御部は、前記対象者の前記快・不快度が閾値を下回ることに基づいて、出力制御を行う、
前記（１）～（６）のいずれかに記載の情報処理装置。
（８）
　前記出力制御部は、前記対象者の前記快・不快度が閾値を下回ることに基づいて、情報出力を停止させる、
前記（１）～（７）のいずれかに記載の情報処理装置。
（９）
　前記出力制御部は、前記対象者の前記快・不快度が閾値を下回ることに基づいて、出力表現を変更させる、
前記（１）～（８）のいずれかに記載の情報処理装置。
（１０）
　前記出力制御部は、前記対象者の前記快・不快度が閾値を下回ることに基づいて、出力モーダルを変更させる、
前記（１）～（９）のいずれかに記載の情報処理装置。
（１１）
　前記出力制御部は、第１の推薦情報の出力後に推定された前記対象者の前記快・不快度が閾値を下回ることに基づいて、前記第１の推薦情報とは異なる第２の推薦情報を出力させる、
前記（１）～（１０）のいずれかに記載の情報処理装置。
（１２）
　前記出力制御部は、前記推定部が複数人の対象者の前記快・不快度を推定した場合、前記快・不快度が閾値を下回る対象者が存在することに基づいて出力制御を行う、
前記（１）～（１１）のいずれかに記載の情報処理装置。
（１３）
　前記出力制御部は、前記推定部が複数人の対象者の前記快・不快度を推定した場合、前記快・不快度の総和を向上させる出力制御を行う、
前記（１）～（１２）のいずれかに記載の情報処理装置。
（１４）
　前記出力制御部は、学習データに基づいて出力制御を行う、
前記（１）～（１３）のいずれかに記載の情報処理装置。
（１５）
　前記出力制御部は、前記対象者に特有の学習データに基づいて出力制御を行う、
前記（１）～（１４）のいずれかに記載の情報処理装置。
（１６）
　前記出力制御部は、前記対象者が分類されるクラスタに係る学習データに基づいて出力制御を行う、
前記（１）～（１５）のいずれかに記載の情報処理装置。
（１７）
　前記出力制御部は、前記快・不快度に基づく出力制御を行った場合、当該出力制御を行った理由を出力させる、
前記（１）～（１６）のいずれかに記載の情報処理装置。
（１８）
　前記推定部は、前記対象者に係るセンサ情報から抽出したノンバーバル表現に基づいて前記対象者の前記快・不快度を推定する、
前記（１）～（１７）のいずれかに記載の情報処理装置。
（１９）
　対象者に係る音声情報を収集する収集部と、
　制御信号に基づく情報出力を行う出力部と、
　を備え、
　前記出力部は、前記音声情報から抽出されるノンバーバル表現により推定される前記対象者の快・不快度に基づいて生成された前記制御信号に基づく情報出力を行う、
情報処理装置。
（２０）
　前記音声情報は、前記対象者の発話速度、発話周波数、発話音量、発話の間、発話の明瞭さ、またはフィラー語のうち少なくとも１つを含む、
前記（１９）に記載の情報処理装置。
　１０　　　情報処理端末
　１１０　　収集部
　１２０　　出力部
　１３０　　サーバ通信部
　２０　　　情報処理サーバ
　２１０　　推定部
　２２０　　出力制御部
　２３０　　学習部
　２４０　　学習ＤＢ
　２５０　　通信部
　３０　　　ネットワーク

Claims (20)

  1. 　対象者に係る音声情報から抽出したノンバーバル表現に基づいて前記対象者の快・不快度を推定する推定部と、
    　前記推定部により推定された前記快・不快度に基づいて出力制御を行う出力制御部と、
    　を備える、
    情報処理装置。
  2. 　前記音声情報から抽出されるノンバーバル表現は、前記対象者の発話速度、発話周波数、発話音量、発話の間、発話の明瞭さ、またはフィラー語のうち少なくとも１つを含む、
    請求項１に記載の情報処理装置。
  3. 　前記推定部は、前記対象者に係る画像情報から抽出したノンバーバル表現に基づいて前記対象者の前記快・不快度を推定する、
    請求項１に記載の情報処理装置。
  4. 　前記画像情報から抽出されるノンバーバル表現は、前記対象者の表情、視線、まばたき、または心理的動作のうち少なくとも１つを含む、
    請求項３に記載の情報処理装置。
  5. 　前記対象者は、物理的障壁により出力される情報の制御を行うことができない者を含む、
    請求項１に記載の情報処理装置。
  6. 　前記対象者は、心理的障壁により出力される情報の制御を行うことができない者を含む、
    請求項１に記載の情報処理装置。
  7. 　前記出力制御部は、前記対象者の前記快・不快度が閾値を下回ることに基づいて、出力制御を行う、
    請求項１に記載の情報処理装置。
  8. 　前記出力制御部は、前記対象者の前記快・不快度が閾値を下回ることに基づいて、情報出力を停止させる、
    請求項１に記載の情報処理装置。
  9. 　前記出力制御部は、前記対象者の前記快・不快度が閾値を下回ることに基づいて、出力表現を変更させる、
    請求項１に記載の情報処理装置。
  10. 　前記出力制御部は、前記対象者の前記快・不快度が閾値を下回ることに基づいて、出力モーダルを変更させる、
    請求項１に記載の情報処理装置。
  11. 　前記出力制御部は、第１の推薦情報の出力後に推定された前記対象者の前記快・不快度が閾値を下回ることに基づいて、前記第１の推薦情報とは異なる第２の推薦情報を出力させる、
    請求項１に記載の情報処理装置。
  12. 　前記出力制御部は、前記推定部が複数人の対象者の前記快・不快度を推定した場合、前記快・不快度が閾値を下回る対象者が存在することに基づいて出力制御を行う、
    請求項１に記載の情報処理装置。
  13. 　前記出力制御部は、前記推定部が複数人の対象者の前記快・不快度を推定した場合、前記快・不快度の総和を向上させる出力制御を行う、
    請求項１に記載の情報処理装置。
  14. 　前記出力制御部は、学習データに基づいて出力制御を行う、
    請求項１に記載の情報処理装置。
  15. 　前記出力制御部は、前記対象者に特有の学習データに基づいて出力制御を行う、
    請求項１に記載の情報処理装置。
  16. 　前記出力制御部は、前記対象者が分類されるクラスタに係る学習データに基づいて出力制御を行う、
    請求項１に記載の情報処理装置。
  17. 　前記出力制御部は、前記快・不快度に基づく出力制御を行った場合、当該出力制御を行った理由を出力させる、
    請求項１に記載の情報処理装置。
  18. 　前記推定部は、前記対象者に係るセンサ情報から抽出したノンバーバル表現に基づいて前記対象者の前記快・不快度を推定する、
    請求項１に記載の情報処理装置。
  19. 　対象者に係る音声情報を収集する収集部と、
    　制御信号に基づく情報出力を行う出力部と、
    　を備え、
    　前記出力部は、前記音声情報から抽出されるノンバーバル表現により推定される前記対象者の快・不快度に基づいて生成された前記制御信号に基づく情報出力を行う、
    情報処理装置。
  20. 　前記音声情報は、前記対象者の発話速度、発話周波数、発話音量、発話の間、発話の明瞭さ、またはフィラー語のうち少なくとも１つを含む、
    請求項１９に記載の情報処理装置。
PCT/JP2017/022766 2016-09-27 2017-06-21 情報処理装置 WO2018061346A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17855305.3A EP3521975A4 (en) 2016-09-27 2017-06-21 INFORMATION PROCESSING DEVICE
JP2018541906A JPWO2018061346A1 (ja) 2016-09-27 2017-06-21 情報処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-187806 2016-09-27
JP2016187806 2016-09-27

Publications (1)

Publication Number Publication Date
WO2018061346A1 true WO2018061346A1 (ja) 2018-04-05

Family

ID=61759610

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/022766 WO2018061346A1 (ja) 2016-09-27 2017-06-21 情報処理装置

Country Status (3)

Country Link
EP (1) EP3521975A4 (ja)
JP (1) JPWO2018061346A1 (ja)
WO (1) WO2018061346A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020112940A (ja) * 2019-01-09 2020-07-27 本田技研工業株式会社 コンテンツ出力装置及びコンテンツ出力方法
JP2021149664A (ja) * 2020-03-19 2021-09-27 ヤフー株式会社 出力装置、出力方法及び出力プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005040440A (ja) * 2003-07-24 2005-02-17 Sony Corp 音響再生装置及び制御方法
JP2007086880A (ja) * 2005-09-20 2007-04-05 Denso Corp 車両用情報提供装置
JP2008070966A (ja) * 2006-09-12 2008-03-27 Fujitsu Ten Ltd 車両制御装置および車両制御方法
JP2009294790A (ja) * 2008-06-03 2009-12-17 Denso Corp 自動車用情報提供システム
JP2012068020A (ja) * 2012-01-10 2012-04-05 Mitsubishi Electric Corp 環境制御システム、携帯端末、環境制御方法及びプログラム
JP2016020963A (ja) * 2014-07-14 2016-02-04 シャープ株式会社 対話評価装置、対話評価システム、対話評価方法および対話評価プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4794846B2 (ja) * 2004-10-27 2011-10-19 キヤノン株式会社 推定装置、及び推定方法
KR101708682B1 (ko) * 2010-03-03 2017-02-21 엘지전자 주식회사 영상표시장치 및 그 동작 방법.

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005040440A (ja) * 2003-07-24 2005-02-17 Sony Corp 音響再生装置及び制御方法
JP2007086880A (ja) * 2005-09-20 2007-04-05 Denso Corp 車両用情報提供装置
JP2008070966A (ja) * 2006-09-12 2008-03-27 Fujitsu Ten Ltd 車両制御装置および車両制御方法
JP2009294790A (ja) * 2008-06-03 2009-12-17 Denso Corp 自動車用情報提供システム
JP2012068020A (ja) * 2012-01-10 2012-04-05 Mitsubishi Electric Corp 環境制御システム、携帯端末、環境制御方法及びプログラム
JP2016020963A (ja) * 2014-07-14 2016-02-04 シャープ株式会社 対話評価装置、対話評価システム、対話評価方法および対話評価プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3521975A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020112940A (ja) * 2019-01-09 2020-07-27 本田技研工業株式会社 コンテンツ出力装置及びコンテンツ出力方法
JP2021149664A (ja) * 2020-03-19 2021-09-27 ヤフー株式会社 出力装置、出力方法及び出力プログラム
JP7248615B2 (ja) 2020-03-19 2023-03-29 ヤフー株式会社 出力装置、出力方法及び出力プログラム
US11749270B2 (en) 2020-03-19 2023-09-05 Yahoo Japan Corporation Output apparatus, output method and non-transitory computer-readable recording medium

Also Published As

Publication number Publication date
EP3521975A1 (en) 2019-08-07
JPWO2018061346A1 (ja) 2019-07-04
EP3521975A4 (en) 2019-08-07

Similar Documents

Publication Publication Date Title
US11089985B2 (en) Systems and methods for using mobile and wearable video capture and feedback plat-forms for therapy of mental disorders
US11327556B2 (en) Information processing system, client terminal, information processing method, and recording medium
US10523614B2 (en) Conversation agent
US11544274B2 (en) Context-based digital assistant
JP6621941B2 (ja) 暗記および意思決定を強化するための個人的感情ベースのコンピュータ可読認知感覚メモリおよび認知洞察
WO2019207896A1 (ja) 情報処理システム、情報処理方法、および記録媒体
JP6164076B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN110598576A (zh) 一种手语交互方法、装置及计算机介质
EP3745346A1 (en) Information processing device, information processing method, and recording medium
WO2018061346A1 (ja) 情報処理装置
Chen et al. Human-robot interaction based on cloud computing infrastructure for senior companion
WO2019235190A1 (ja) 情報処理装置、情報処理方法、プログラム及び対話システム
US20200410988A1 (en) Information processing device, information processing system, and information processing method, and program
CN114432565A (zh) 空想意识信息恢复***
US20200301398A1 (en) Information processing device, information processing method, and program
US20200234187A1 (en) Information processing apparatus, information processing method, and program
WO2020196100A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11935449B2 (en) Information processing apparatus and information processing method
JPWO2018116556A1 (ja) 情報処理装置、および情報処理方法
JP6992800B2 (ja) 情報処理装置および情報処理方法
WO2019026396A1 (ja) 情報処理装置、情報処理方法、およびプログラム
EP3531369A1 (en) Information processing device and information processing method
CN117270852A (zh) 虚实场景联合观测及解译方法及***、介质、电子设备
WO2018047433A1 (ja) 情報処理装置
WO2019054009A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17855305

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018541906

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017855305

Country of ref document: EP

Effective date: 20190429