WO2024106195A1 - 情報処理装置および情報処理システム - Google Patents

情報処理装置および情報処理システム Download PDF

Info

Publication number
WO2024106195A1
WO2024106195A1 PCT/JP2023/039182 JP2023039182W WO2024106195A1 WO 2024106195 A1 WO2024106195 A1 WO 2024106195A1 JP 2023039182 W JP2023039182 W JP 2023039182W WO 2024106195 A1 WO2024106195 A1 WO 2024106195A1
Authority
WO
WIPO (PCT)
Prior art keywords
comfort
state
person
information processing
discomfort
Prior art date
Application number
PCT/JP2023/039182
Other languages
English (en)
French (fr)
Inventor
直也 佐塚
航生 勝又
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2024106195A1 publication Critical patent/WO2024106195A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state

Definitions

  • the present disclosure relates to an information processing device and an information processing system, and in particular to an information processing device and an information processing system that enable a person's internal comfort/discomfort state to be estimated in a simpler manner.
  • biometric information such as brain waves may enable detailed estimation of a person's comfort or discomfort state, but currently measuring brain waves requires wearable measurement, such as attaching an electroencephalograph to the head.
  • This disclosure was made in light of these circumstances, and aims to make it possible to estimate a person's internal comfort or discomfort state in a simpler way.
  • the information processing device includes a detection unit that detects the body movements of a person from data obtained by a sensor, and a determination unit that determines the comfort or discomfort state of the person based on the detected body movements.
  • the information processing system of the second aspect of the present disclosure includes a device including a sensor, a detection unit that detects the body movements of a person from data obtained by the sensor, a determination unit that determines the comfort or discomfort state of the person based on the detected body movements, and an output unit that performs a predetermined output based on the determination result.
  • a person's body movements are detected from data obtained by a sensor, and the person's comfort or discomfort state is determined based on the detected body movements.
  • the information processing device and information processing system may be independent devices or may be modules incorporated into other devices.
  • FIG. 1 is a diagram illustrating the relationship between a person's body movement and a comfort or discomfort state.
  • FIG. 1 is a diagram illustrating the relationship between a person's body movement and a comfort or discomfort state.
  • 1 is a block diagram showing an example configuration of an information processing device according to a first embodiment to which the present technology is applied; 4 is a flowchart illustrating a first comfort or discomfort determination process performed by the information processing device of FIG. 3 .
  • 10 is a flowchart illustrating a second comfort or discomfort determination process performed by the information processing device of FIG. 3 .
  • FIG. 11 is a diagram illustrating an example of an application that executes a comfort/discomfort determination process.
  • 11A and 11B are diagrams illustrating other methods for determining the threshold value.
  • FIG. 11 is a block diagram showing a configuration example of an information processing system according to a second embodiment to which the present technology is applied.
  • FIG. 11 is a block diagram showing a configuration example of an information processing system according to a third embodiment to which the present technology is applied.
  • 10 is a flowchart illustrating a third comfort/discomfort determination process performed by the information processing system of FIG. 9 .
  • 10 is a flowchart illustrating a fourth comfort/discomfort determination process performed by the information processing system of FIG. 9 .
  • FIG. 13 is a block diagram illustrating a configuration example of an information processing system according to a modified example of the third embodiment.
  • FIG. 13 is a diagram showing an example in which the wearable device is a head mounted display.
  • FIG. 13 is a diagram showing an example in which the wearable device is a headband.
  • FIG. 13 is a diagram showing an example in which the wearable device is a headphone.
  • FIG. 13 is a diagram showing an example in which the wearable device is an earphone.
  • FIG. 13 is a diagram showing an example in which the wearable device is a watch.
  • FIG. 13 is a diagram showing an example in which the wearable device is smart glasses.
  • FIG. 13 is a diagram illustrating an example in which the wearable device is a headset.
  • FIG. 13 is a diagram showing an example in which the wearable device is a mask.
  • FIG. 2 is a block diagram showing an example of a hardware configuration when the information processing device is configured by a computer.
  • the information processing device disclosed herein is a device that determines (estimates) a person's internal state of comfort or discomfort by detecting the body movement of a person.
  • a description will be given of the relationship between a person's body movement and the internal state of comfort or discomfort, which has been clarified by experiments conducted by the inventors.
  • the inventors conducted an experiment in which they gathered a specified number of subjects, provided them with information that would place them in a comfortable or uncomfortable state (hereinafter referred to as a comfort/unpleasant state), and determined a person's internal comfort/unpleasant state, as well as detected their bodily movements.
  • a comfort/unpleasant state a comfortable or uncomfortable state
  • biometric discrimination model uses biometric information such as brain waves and heart rate to determine (estimate) a person's internal comfort/unpleasant state.
  • an existing estimation model known to be able to make judgments with a certain estimation accuracy was used.
  • Focus was placed on the head as the person's bodily movements, and the movement of the person's head was detected by an acceleration sensor, which is a wearable sensor. To verify the judgment results, the subjects were asked to confirm whether they perceived themselves as being in a comfortable or uncomfortable state.
  • a in Figure 1 is a graph that tabulates the accuracy rate (Accuracy) of the liveness discrimination model.
  • the horizontal axis of the graph represents the accuracy rate, and the vertical axis represents the proportion of subjects.
  • the results of the experiment were divided into two groups: one with good estimation accuracy of the liveness discrimination model, and one with poor estimation accuracy.
  • B in Figure 1 is a graph showing the results of a survey of subjects' perceptions of discomfort when the estimated result was an unpleasant state, for groups with good and poor estimation accuracy of the biometric discrimination model.
  • the vertical axis represents the level of pleasant or unpleasant state, with "0" being neutral, positive representing a pleasant state, and negative representing an unpleasant state. The results showed that the better the estimation accuracy, the greater the subjective discomfort felt by subjects, verifying the accuracy of the biometric discrimination model.
  • a in Figure 2 is a graph showing the results of measuring people's body movements (head movements) in groups with good and poor estimation accuracy of the biometric identification model. This shows that when comparing the levels of body movements between people with good and poor estimation accuracy of the biometric identification model, the body movements (acceleration) of people with poor estimation accuracy of the biometric identification model are greater than those with good estimation accuracy of the biometric identification model.
  • B in Figure 2 is a graph showing the results of measuring a person's body movement (head movement) in both a comfortable and uncomfortable state. This shows that a person's body movement is greater in a comfortable state than in an uncomfortable state. This is thought to be because in an uncomfortable state, a person becomes unable to move (a state known as freezing). It is important to note that if people with high acceleration are excluded in an attempt to exclude cases where the estimation accuracy is poor according to the results in A in Figure 2, there is a risk that people in a comfortable state will also be excluded.
  • a predetermined threshold value e.g. 0.07 [m/ s2 ]
  • a predetermined threshold value for separating a comfortable state from an uncomfortable state can be determined based on the distribution of acceleration of the group judged to be in a comfortable state or an uncomfortable state, and if the acceleration measured as a body movement is larger than the predetermined threshold value, the body movement can be judged to be in a comfortable state, and if the acceleration is equal to or smaller than the predetermined threshold value, the body movement can be judged to be in an uncomfortable state.
  • Measurement of body movement is easier than conventional methods such as detecting facial expressions or measuring biological information, and can be realized with a simple device configuration. However, it takes a time of the order of several minutes to measure acceleration sufficiently for judgment.
  • C in Figure 2 is a graph showing the results of measuring people's body movements (head movements) in both comfortable and uncomfortable states, with people divided into groups with good and bad estimation accuracy of the biometric identification model. This shows that in both comfortable and uncomfortable states, people's body movements (acceleration) are greater when the estimation accuracy of the biometric identification model is poor than when it is good.
  • the estimation accuracy of the biometric discrimination model can be improved by using a person's body movement information as a context (selection condition) in estimating the biometric discrimination model.
  • the estimation accuracy of the biometric discrimination model can be improved by excluding people with high acceleration or reducing noise by the magnitude of acceleration.
  • the estimation accuracy of the biometric discrimination model can be improved by setting different values for the threshold (first threshold) for judging whether or not a person is in a comfortable state and the threshold (second threshold) for judging whether or not a person is in an uncomfortable state for the acceleration detecting the person's body movement.
  • the first threshold for judging whether or not a person is in a comfortable state can be set to a value greater than 0.08
  • the second threshold for judging whether or not a person is in an uncomfortable state can be set to a value less than or equal to 0.06.
  • FIG. 3 is a block diagram showing an example of the configuration of an information processing device according to a first embodiment to which the present technology is applied.
  • the information processing device 1 in FIG. 3 is a device that determines (estimates) a person's internal state of comfort or discomfort by detecting the person's body movements.
  • the information processing device 1 detects the movement of the person's head as the person's body movements.
  • the information processing device 1 has a sensor 21, a body movement detection unit 22, a comfort or discomfort determination unit 23, and an output unit 24.
  • the person whose comfort or discomfort state is to be determined will also be referred to as the user, where appropriate.
  • the sensor 21 is a sensor that generates sensor data capable of detecting the user's body movement (amount of body movement) in the body movement detection unit 22, and outputs the generated sensor data to the body movement detection unit 22.
  • the sensor 21 is, for example, a wearable sensor that is worn on the user's head, and can be configured as an acceleration sensor that detects acceleration. In this case, the sensor 21 outputs the detected acceleration data to the body movement detection unit 22.
  • the sensor 21 can be configured as an image sensor such as a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) sensor. In this case, the sensor 21 outputs image data of the user to the body movement detection unit 22 as sensor data.
  • the sensor 21 may be any sensor that can detect the amount of body movement of the user, and may be a speed sensor or a gyro sensor (angular velocity sensor).
  • the body movement detection unit 22 detects the body movement of the user using the sensor data supplied from the sensor 21.
  • the amount of movement of the user's head is detected as acceleration as the body movement of the user.
  • the sensor 21 is an acceleration sensor
  • the body movement detection unit 22 detects the acceleration of the user's head by calculating the average value of acceleration for a predetermined period of time (e.g., several minutes).
  • the sensor 21 is an image sensor
  • the body movement detection unit 22 detects the acceleration of the user's head by tracking the position of the user's head for a predetermined period of time (e.g., several minutes) by image recognition.
  • the body movement detection unit 22 outputs the detected acceleration of the user's head to the comfort/discomfort determination unit 23.
  • the comfort/discomfort determination unit 23 determines the user's comfort/discomfort state based on the acceleration of the user's head supplied from the body movement detection unit 22. For example, in the case where there is one threshold for determining the comfort/discomfort state, the comfort/discomfort determination unit 23 determines the user's comfort state when the acceleration supplied from the body movement detection unit 22 is greater than a predetermined threshold Tha, and determines the user's discomfort state when the acceleration is equal to or less than the predetermined threshold Tha.
  • the comfort/discomfort determination unit 23 determines the user's comfort state when the acceleration supplied from the body movement detection unit 22 is greater than the first threshold Thb1, and determines the user's discomfort state when the acceleration is equal to or less than the second threshold Thb2.
  • the predetermined threshold Tha, the first threshold Thb1, and the second threshold Thb2 are determined based on past data obtained, for example, in the above-mentioned experiment.
  • the comfort/discomfort determination unit 23 outputs determination data indicating the determination result to the output unit 24.
  • the output unit 24 performs a predetermined output based on the judgment result supplied from the comfort/discomfort judgment unit 23.
  • the output unit 24 is composed of, for example, a display device such as a liquid crystal display or an organic EL display that displays images, a speaker that outputs audio, a buzzer, a chime, etc., and a lighting device that lights up a predetermined color.
  • the output unit 24 can output text, video, audio, or lighting (lighting up a predetermined color) according to the judgment result of a comfortable state or an uncomfortable state, and notify the user that the user is in a comfortable state or an uncomfortable state.
  • the output unit 24 may also notify the user of the judgment result of a comfortable state or an uncomfortable state using vibration, smell, or the like.
  • the output unit 24 may convert the information into instruction information for the user according to the comfortable state or uncomfortable state, such as "stay calm” or “take a break,” as in the example of FIG. 6 described later, and output it as text, video, audio, or the like.
  • the information processing device 1 is configured as described above, and can determine (estimate) a person's comfort/discomfort state by detecting the movement of the person's head.
  • the information processing device 1 can be realized as a device dedicated to determining a person's comfort/discomfort state.
  • the information processing device 1 may be, for example, a personal computer, a smartphone, a tablet terminal, a mobile phone, a game console, a television receiver, a head-mounted display (HMD), a wearable device such as smart glasses, a digital still camera, a digital video camera, etc.
  • HMD head-mounted display
  • the first comfort/discomfort determination process performed by the information processing device 1 will be described with reference to the flowchart in Fig. 4.
  • the first comfort/discomfort determination process is an example of a comfort/discomfort determination process in which there is one threshold value for determining a comfort/discomfort state. This process is started, for example, when the information processing device 1 is powered on or a user operation is performed to start the comfort/discomfort determination process.
  • the sensor 21 senses the user to generate sensor data, and outputs the generated sensor data to the body movement detection unit 22. If the sensor 21 is an acceleration sensor, the detected acceleration data is output to the body movement detection unit 22. If the sensor 21 is an image sensor, image data of a user image taken of the user is output to the body movement detection unit 22.
  • the body movement detection unit 22 detects the movement of the user's head as the user's body movement using the sensor data supplied from the sensor 21. Specifically, if the sensor 21 is an acceleration sensor, the body movement detection unit 22 detects the acceleration of the user's head by calculating the average value of acceleration for a predetermined period. For example, if the sensor 21 is an image sensor, the body movement detection unit 22 detects the acceleration of the user's head by tracking the position of the user's head for a predetermined period by image recognition. The body movement detection unit 22 outputs the detected acceleration of the user's head to the comfort/discomfort determination unit 23.
  • step S23 the comfort/discomfort determination unit 23 determines whether the acceleration of the user's head provided by the body movement detection unit 22 is greater than a predetermined threshold value Tha.
  • step S23 If it is determined in step S23 that the acceleration of the user's head is greater than the predetermined threshold value Tha, the process proceeds to step S24, where the comfort/discomfort determination unit 23 determines that the user is in a comfortable state and outputs determination data indicating the determination result to the output unit 24.
  • the output unit 24 obtains the determination data and executes processing according to the comfort state. For example, the display device serving as the output unit 24 displays a message image such as "Comfortable state.”
  • step S23 determines that the acceleration of the user's head is equal to or less than the predetermined threshold value Tha
  • the process proceeds to step S25, where the comfort/discomfort determination unit 23 determines that the user is in an uncomfortable state, and outputs determination data indicating the determination result to the output unit 24.
  • the output unit 24 obtains the determination data and executes processing according to the uncomfortable state.
  • the display device serving as the output unit 24 displays a message image such as "Uncomfortable state.”
  • the first comfort/discomfort determination process is executed as described above. According to the first comfort/discomfort determination process, a person's internal comfort/discomfort state can be estimated in a simpler manner. This first comfort/discomfort determination process may be executed repeatedly until a user operation is performed to end the process.
  • the second comfort/discomfort determination process is an example of a comfort/discomfort determination process in which there are two thresholds for determining a comfort/discomfort state. This process is started, for example, when the information processing device 1 is powered on or a user operation is performed to start the comfort/discomfort determination process.
  • step S41 the sensor 21 senses the user to generate sensor data and outputs the generated sensor data to the body movement detection unit 22.
  • the body movement detection unit 22 uses the sensor data supplied from the sensor 21 to detect head movement as the user's body movement.
  • the processing of steps S41 and S42 is similar to the processing of steps S21 and S22 of the first comfort/discomfort determination processing described above.
  • step S43 the comfort/discomfort determination unit 23 determines whether the acceleration of the user's head provided by the body movement detection unit 22 is greater than the first threshold value Thb1.
  • step S43 If it is determined in step S43 that the acceleration of the user's head is greater than the first threshold value Thb1, the process proceeds to step S44, where the comfort/discomfort determination unit 23 determines that the user is in a comfortable state and outputs determination data indicating the determination result to the output unit 24.
  • the output unit 24 obtains the determination data and executes processing according to the comfort state. For example, the display device serving as the output unit 24 displays a message image such as "Comfortable state.”
  • step S43 determines whether the acceleration of the user's head is equal to or less than the first threshold Thb1. If it is determined in step S45 that the acceleration of the user's head is less than the second threshold Thb2, the process proceeds to step S46, where the comfort/discomfort determination unit 23 determines that the user is in an uncomfortable state, and outputs determination data indicative of the determination result to the output unit 24.
  • the output unit 24 obtains the determination data and executes processing according to the uncomfortable state. For example, the display device serving as the output unit 24 displays a message image such as "uncomfortable state.”
  • step S45 if it is determined in step S45 that the acceleration of the user's head is equal to or greater than the second threshold value Thb2, the comfort/discomfort determination unit 23 ends the second comfort/discomfort determination process.
  • the second comfort/discomfort determination process is executed as described above.
  • a person's internal state that is, a comfort/discomfort state
  • This second comfort/discomfort determination process may be executed repeatedly until a user operation is performed to end the process.
  • the estimation accuracy can be improved compared to the first comfort/discomfort determination process, which judges whether the state is comfortable or uncomfortable using a single threshold value Tha.
  • the information processing device 1 is configured, for example, by a personal computer, and a calling app 61 that enables video calls with other users is executed on the personal computer.
  • the calling app 61 includes a body movement detection unit 22 and a comfort/discomfort determination unit 23, and has the function of determining the comfort/discomfort state described above.
  • the personal computer serving as the information processing device 1 is provided with a camera 51, a microphone 52, and a display 53.
  • the camera 51 corresponds to the sensor 21 in FIG. 1
  • the display 53 corresponds to the output unit 24 in FIG. 1.
  • the information processing device 1 need not be a personal computer, but may also be a smartphone.
  • the calling application 61 displays on the display 53 an image 62A of the user (oneself) captured by the camera 51 and an image 62B of the other user (the other party) transmitted from another device (information processing device 1) via a specified communication line such as the Internet.
  • the calling application 61 detects the movement of the user's head using the image 62A of the user (oneself) captured by the camera 51, and executes a comfort/discomfort determination process that determines the user's comfort/discomfort state.
  • the calling application 61 also detects the movement of the head of the other user (the other party) using the image 62B of the other user (the other party), and executes a comfort/discomfort determination process that determines the other party's comfort/discomfort state.
  • the calling app 61 displays a message 63 saying "Stay calm!” on the screen as instruction information for the user, as shown in the example of A in FIG. 6.
  • the comfort/discomfort state is determined in real time, and instructions based on the comfort/discomfort state are fed back to the user, allowing the user to stay calm.
  • the call app 61 displays a "Take a break for now” message 64 on the screen as instruction information for the user, encouraging them to take a break, as shown in the example of Figure 6B.
  • the "Take a break for now” message is also displayed in the call app of the call partner's device in a similar manner. In this way, by determining the comfort/discomfort state in real time and feeding back instructions based on the comfort/discomfort state to the user, it is possible to encourage both the user and the call partner to take a break.
  • the calling application 61 may identify a period during which the user and the call partner are speaking from the user's (own) voice signal input from the microphone 52, which is the voice input unit, and the call partner's voice signal transmitted from the call partner's calling application 61, and determine the comfort and discomfort state by limiting it to the head movements (acceleration) of the user and the call partner while they are speaking.
  • the threshold value for determining whether a state is comfortable or uncomfortable was determined based on the distribution of acceleration of the groups determined to be in a comfortable or uncomfortable state in the experiment, but the threshold value for determining whether a state is comfortable or uncomfortable may be determined in other ways.
  • the threshold (acceleration) is set to various values to judge the comfort/discomfort state, the AUC (Area Under the ROC Curve) is calculated from the judgment results, and the threshold with the maximum AUC is determined as the threshold for the comfort/discomfort judgment process.
  • the AUC is the area under the ROC curve calculated from the sensitivity of the discrimination model and the false positive rate (1 - specificity).
  • the threshold is determined to be 0.07 [m/ s2 ].
  • the comfort/discomfort state is determined by comparing the magnitude of the user's body movement with a preset predetermined threshold.
  • the information processing device 1 may be configured to update the threshold for determining the comfort/discomfort state by using past data of the user to be determined. For example, detected data on the acceleration of the user's head is stored in a storage unit configured of a semiconductor memory, a hard disk, or the like, and when the output unit 24 outputs a result of the comfort/discomfort state determination, if the output result differs from the comfort/discomfort state recognized by the user, the comfort/discomfort state recognized by the user can be fed back using an operation button or the like.
  • the feedback excludes acceleration data that differs from the comfort/discomfort state recognized by the user, thereby updating the threshold for determining the comfort/discomfort state.
  • a calibration mode or the like for determining the threshold for determining the comfort/discomfort state may be provided, allowing the user to set or update the threshold at any time.
  • the comfort/comfort determination process can also be applied to the following situations, for example.
  • - In job interviews at companies, or in training at NASA or the FBI, the pleasantness/unpleasantness assessment process can be used to check whether the person being assessed is answering in a pleasant manner.
  • detecting students' body movements and processing them to determine whether they are enjoying listening to the lecture can be used as an indicator of whether students are enjoying themselves and can be used to improve teaching skills.
  • By recording an image of yourself during a conversation and processing the image to determine whether it was pleasant or unpleasant you can check how your conversation went offline and use it as conversation training to provide feedback.
  • the content of your conversation can be modified to reflect the other party's comfort/discomfort state.
  • the player's comfort/discomfort state can be assessed and reflected in game creation, for example by eliminating scenes that cause a lot of discomfort.
  • the comfort/discomfort determination result can be reflected in a playlist, for example.
  • head movement can be detected using an acceleration sensor attached to headphones or earphones.
  • the movements of the entire audience (users) can be detected macroscopically from images captured by a camera of the venue, or a predetermined number of audience members can be extracted to determine the comfort/discomfort state.
  • FIG. 8 is a block diagram showing a configuration example of an information processing system according to a second embodiment to which the present technology is applied.
  • the same reference numerals are given to parts corresponding to those in the first embodiment described above, and the description of those parts will be omitted as appropriate.
  • the function of determining a person's internal state of comfort or discomfort is realized only by the information processing device 1, which is a single device, but in the second embodiment, the function of determining a person's internal state of comfort or discomfort is realized by an information processing system consisting of multiple devices.
  • the information processing system 100 of the second embodiment shown in FIG. 8 is composed of a wearable device 111, an information processing device 112, and an output device 113.
  • the wearable device 111 includes an acceleration sensor 121.
  • the acceleration sensor 121 is an example of a sensor capable of detecting the user's body movement, and corresponds to the sensor 21 in the first embodiment. Therefore, the sensor included in the wearable device 111 may be a sensor other than the acceleration sensor 121, such as a gyro sensor, a speed sensor, or an image sensor. In the case of an image sensor, for example, the user's body movement can be detected from the amount of movement of a surrounding object photographed by wearing the device facing outward. In the second embodiment, for simplicity, an example including the acceleration sensor 121 will be described.
  • the acceleration sensor 121 detects the user's body movement as acceleration, and outputs the detected acceleration data to the information processing device 112 as sensor data.
  • the wearable device 111 is composed of, for example, earphones, headphones, a headset, a head-mounted display (HMD), smart glasses, a mask, or the like.
  • the wearable device 111 may be worn by the user in the form of glasses, earrings, hair accessories, masks, finger rings, headbands, wristbands, or chest bands. Specific examples of the wearable device 111 will be described later with reference to Figures 13 to 20.
  • the information processing device 112 includes a body movement detection unit 22 and a comfort/discomfort determination unit 23.
  • the body movement detection unit 22 and the comfort/discomfort determination unit 23 are similar to those in the first embodiment, and therefore will not be described.
  • the output device 113 performs a predetermined output based on the judgment result supplied from the comfort/discomfort judgment unit 23 of the information processing device 112.
  • the output device 113 corresponds to the output unit 24 of the first embodiment as an independent device.
  • the output device 113 is composed of, for example, a display device, a speaker, a lighting device, a vibration device, etc.
  • the comfort/discomfort determination process executed by the information processing system 100 is similar to the first comfort/discomfort determination process and the second comfort/discomfort determination process described in the first embodiment, so a description thereof will be omitted.
  • the information processing system of the third embodiment is a system that determines a person's comfort or discomfort state by combining a comfort or discomfort determination process using a biological discrimination model that determines a person's comfort or discomfort state using biological information, and a comfort or discomfort determination process that determines a person's comfort or discomfort state by detecting the person's body movements based on acceleration.
  • a person's comfort or displeasure state can be derived based on the person's biometric information while they are talking with a communication partner.
  • biometric information from which a person's comfort or displeasure state can be derived include brain waves, sweating, and facial expressions.
  • an estimation model such as machine learning.
  • This estimation model is, for example, a model that learns from teaching data the alpha waves or beta waves contained in electroencephalograms when a person is clearly feeling pleasure.
  • this estimation model estimates the person's comfort or discomfort state based on the input alpha waves or beta waves.
  • This estimation model includes, for example, a neural network.
  • This learning model may include, for example, a deep neural network such as a convolutional neural network (CNN).
  • a sweat meter probe is attached to the palm or sole of the foot, and sweating (psychological sweating) of the palm or sole induced by various load stimuli is measured, thereby obtaining the sympathetic sweating response (SSwR) as a signal voltage.
  • SSLR sympathetic sweating response
  • the numerical values of the predetermined high-frequency components and predetermined low-frequency components obtained from the left hand in the above signal voltage are lower than the numerical values of the predetermined high-frequency components and predetermined low-frequency components obtained from the right hand, it is possible to estimate that the person feels uncomfortable.
  • the amplitude value obtained from the left hand is higher than the amplitude value obtained from the right hand in this signal voltage, it is possible to estimate that the person feels comfortable.
  • the amplitude value obtained from the left hand is lower than the amplitude value obtained from the right hand in the above signal voltage, it is possible to estimate that the person feels discomfort.
  • facial expression It is known that a person frowns when feeling uncomfortable, and the zygomatic major muscle does not change much when feeling comfortable. In this way, it is possible to estimate a comfort/discomfort state according to a facial expression. For example, a face is photographed with a camera, a facial expression is estimated based on the video data obtained by the photograph, and a person's comfort/discomfort state can be estimated according to the facial expression obtained by the estimation. It is also possible to estimate a person's comfort/discomfort state using an estimation model that estimates a person's comfort/discomfort state based on video data in which facial expressions are photographed.
  • This estimation model is, for example, a model that is trained using video data in which facial expressions are photographed when pleasant or unpleasant information is given as training data. When video data in which facial expressions are photographed is input, for example, this estimation model estimates a person's comfort/discomfort state based on the input video data.
  • This estimation model includes, for example, a neural network.
  • This learning model may include, for example, a deep neural network such as a convolutional neural network (CNN).
  • This estimation model is a model that is trained using data obtained by measuring the facial myoelectric potential of the face when pleasant or unpleasant information is given as training data. When the facial myoelectric potential of a specific part of the face is input, this estimation model estimates the person's pleasant or unpleasant state based on the input facial myoelectric potential.
  • This estimation model includes, for example, a neural network.
  • This learning model may include, for example, a deep neural network such as a convolutional neural network (CNN).
  • the blink frequency is described in, for example, the following literature: Chen, Siyuan, and Julien Epps. "Automatic classification of eye activity for cognitive load measurement with emotion interference.”
  • -Respiration volume/respiration rate is described, for example, in the following literature: Zhang Q., Chen X., Zhan Q., Yang T., Xia S. Respiration-based emotion recognition with deep learning. Comput. Ind. 2017;92-93:84-90. doi: 10.1016/j.compind.2017.04.005.
  • -Skin surface temperature is described, for example, in the following literature: Nakanishi R., Imai-Matsumura K.
  • FIG. 9 is a block diagram showing an example of the configuration of an information processing system according to a third embodiment to which the present technology is applied.
  • the information processing system 200 of the third embodiment shown in FIG. 9 is composed of a wearable device 211, an information processing device 212, and an output device 213.
  • the wearable device 211 includes an acceleration sensor 221 and a biosensor 222.
  • the wearable device 211 may be, for example, an earphone, a headphone, a headset, a head mounted display (HMD), smart glasses, a mask, or the like.
  • the wearable device 111 may be worn by the user in the form of glasses, earrings, hair accessories, a mask, a finger ring, a headband, a wristband, or a chest band. Specific examples of the wearable device 211 will be described later with reference to Figures 13 to 20.
  • the acceleration sensor 221 detects the user's body movements as acceleration, and outputs the detected acceleration data as sensor data to the information processing device 112.
  • This acceleration sensor 221 is also an example of a sensor capable of detecting the user's body movements, and like the second embodiment, it can be replaced with a sensor other than the acceleration sensor 121 (for example, a gyro sensor, a speed sensor, an image sensor, etc.).
  • the biosensor 222 may be, for example, a sensor that comes into contact with the user, or a sensor that does not come into contact with the user.
  • the biosensor 222 is a sensor that acquires at least one piece of bioinformation (biological data) from, for example, brain waves, sweating, pulse waves, electrocardiograms, blood flow, skin temperature, facial myoelectric potential, electrooculography, and specific components contained in saliva.
  • the biosensor 222 outputs the acquired bioinformation to the information processing device 112.
  • the information processing device 212 includes a body movement detection unit 231 and a comfort/discomfort determination unit 232.
  • the body movement detection unit 231 acquires acceleration supplied as sensor data from the acceleration sensor 221 of the wearable device 211 and accumulates it for a predetermined period of time.
  • the body movement detection unit 231 calculates the average value of the acceleration accumulated for the predetermined period as the user's body movement and supplies it to the comfort/discomfort determination unit 232.
  • the body movement detection unit 231 also updates the acceleration as data representing the user's body movement.
  • the comfort/discomfort determination unit 232 has a biometric discrimination model that determines a person's comfort/discomfort state using biometric information supplied from the biometric sensor 222.
  • the comfort/discomfort determination unit 232 determines the user's comfort/discomfort state using the biometric discrimination model and the user's body movement using acceleration supplied from the body movement detection unit 231. For example, the comfort/discomfort determination unit 232 calculates the estimated probability of each of the comfort state and the discomfort state using the biometric discrimination model, and the estimated probability of each of the comfort state and the discomfort state using the acceleration discrimination model.
  • the comfort/discomfort determination unit 232 then calculates the average value of the estimated probability of each of the comfort state and the discomfort state, and determines the state with the higher estimated probability as the user's comfort/discomfort state.
  • the comfort/discomfort determination unit 232 outputs the comfort/discomfort state determination result to the output device 213.
  • the output device 213 performs a predetermined output based on the judgment result supplied from the comfort/discomfort judgment unit 232 of the information processing device 212.
  • the output device 213 is similar to the output device 113 of the second embodiment, so a description thereof will be omitted.
  • step S61 the acceleration sensor 221 of the wearable device 211 detects the user's body movement by acceleration, and outputs the detected acceleration as sensor data to the body movement detection unit 231 of the information processing device 212.
  • the biosensor 222 of the wearable device 211 detects the user's biometric information and outputs the detected biometric information to the comfort/discomfort determination unit 232 of the information processing device 112.
  • the biometric information is, for example, data (biometric data) such as brain waves, sweating, pulse waves, electrocardiogram, blood flow, skin temperature, and facial myoelectric potential.
  • step S63 the body movement detection unit 231 of the information processing device 212 detects head movement as the user's body movement from the acceleration supplied from the acceleration sensor 221. Acceleration data indicating the detected head movement is supplied to the comfort/discomfort determination unit 232.
  • step S64 the comfort/discomfort determination unit 232 determines the user's comfort/discomfort state using a biometric determination model that uses biometric information to determine a person's comfort/discomfort state.
  • the biometric determination model calculates the estimated probability of each of the comfort state and the discomfort state.
  • step S65 the comfort/discomfort determination unit 232 determines the user's comfort/discomfort state using an acceleration discrimination model that determines a person's comfort/discomfort state using head movement (acceleration) as a body movement of the user.
  • the acceleration discrimination model also calculates the estimated probability of each of the comfort state and the discomfort state.
  • step S66 the comfort/discomfort determination unit 232 determines the user's comfort/discomfort state from the determination results of the biological discrimination model and the determination results of the acceleration discrimination model. For example, the average value of the estimated probability for each of the comfort state and the discomfort state is calculated, and the comfort state or discomfort state with the higher estimated probability is determined as the user's state.
  • the comfort/discomfort determination unit 232 outputs the determination result of the comfort/discomfort state to the output device 213.
  • step S67 the output device 213 executes processing according to the judgment result supplied from the comfort/discomfort judgment unit 232 of the information processing device 212. For example, if the output device 213 is a display device, the output device 213 displays a message image such as "Comfortable state" or "Discomfortable state".
  • the third comfort/discomfort determination process is executed as described above. This third comfort/discomfort determination process may be executed repeatedly until a user operation is performed to end the process.
  • the comfort/discomfort judgment unit 232 separately prepared a discrimination model (first discrimination model) using the user's biometric information and a discrimination model (second discrimination model) using the user's body movement (acceleration), and output the judgment results for each.
  • a discrimination model may not be used, and a judgment may be made by adding acceleration information to the discrimination model using the user's biometric information by determining whether the detected acceleration is greater than or less than a predetermined threshold, as in the first and second comfort/discomfort judgment processes described above.
  • the comfort/discomfort judgment unit 232 does not determine the final judgment result as a comfort state, but only judges the comfort state as a comfort state if the acceleration is greater than the predetermined threshold.
  • the comfort/discomfort judgment unit 232 does not determine the final judgment result as an unpleasant state, but only judges the discomfort state as an unpleasant state if the acceleration is equal to or less than the predetermined threshold.
  • a discrimination model using biometric information allows for high estimation accuracy and detailed time series estimation (output of comfort/discomfort state data in seconds). By adding body movement data (acceleration) to a discrimination model using biometric information, detailed time series estimation and high estimation accuracy can be achieved.
  • a discrimination model (first discrimination model) using the user's biometric information and a discrimination model (second discrimination model) using the user's body movement (acceleration) are separately prepared, and the determination results are output from each of them, and then integrated.
  • one discrimination model may be generated using both the user's biometric information and body movement (acceleration), and a comfort/discomfort state may be determined using the one discrimination model.
  • This discrimination model is generated by learning, for example, a person's biometric information (for example, alpha waves or beta waves contained in electroencephalograms) when pleasant or unpleasant information is given, and acceleration data indicating the person's body movement, as teaching data.
  • a person's biometric information for example, alpha waves or beta waves contained in electroencephalograms
  • acceleration data indicating the person's body movement
  • This discrimination model determines the person's comfort/discomfort state based on the input biometric information and acceleration data.
  • This discrimination model includes, for example, a neural network.
  • This learning model may include, for example, a deep neural network such as a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the flowchart in FIG. 11 is a flowchart of a fourth comfort/discomfort determination process that determines a comfort/discomfort state by selectively using two discrimination models using the user's biometric information depending on the magnitude of the user's body movement. This process is started, for example, when the information processing system 200 is turned on or a user operation is performed to start the comfort/discomfort determination process.
  • step S81 the acceleration sensor 221 of the wearable device 211 detects the user's body movement as acceleration, and outputs the detected acceleration as sensor data to the body movement detection unit 231 of the information processing device 212.
  • step S82 the biosensor 222 of the wearable device 211 detects the user's biometric information (e.g., brain waves) and outputs the detected biometric information to the comfort/discomfort determination unit 232 of the information processing device 112.
  • biometric information e.g., brain waves
  • step S83 the body movement detection unit 231 of the information processing device 212 detects head movement as the user's body movement from the acceleration supplied from the acceleration sensor 221.
  • the detected acceleration indicating the head movement is supplied to the comfort/discomfort determination unit 232.
  • step S84 the comfort/discomfort determination unit 232 determines whether the user's head movement is large. For example, if the acceleration indicating the head movement supplied from the body movement detection unit 231 is greater than a predetermined threshold value Thc, the head movement is determined to be large, and if the acceleration is equal to or less than the predetermined threshold value Thc, the head movement is determined to be small.
  • step S84 If it is determined in step S84 that the user's head movement is large, the process proceeds to step S85, where the comfort/discomfort determination unit 232 determines the user's comfort/discomfort state using a discrimination model trained using training data for when the user's head movement is large. The result of the comfort/discomfort state determination is output to the output device 213.
  • step S84 if it is determined in step S84 that the user's head movement is small, the process proceeds to step S86, and the comfort/discomfort determination unit 232 determines the user's comfort/discomfort state using a discrimination model trained using training data for when the user's head movement is small. The result of the comfort/discomfort state determination is output to the output device 213.
  • step S87 the output device 213 executes processing according to the judgment result supplied from the comfort/discomfort judgment unit 232 of the information processing device 212. For example, if the output device 213 is a display device, the output device 213 displays a message image such as "Comfortable state" or "Discomfortable state".
  • the fourth comfort/discomfort determination process is executed as described above. This fourth comfort/discomfort determination process may be executed repeatedly until a user operation is performed to end the process.
  • FIG. 12 is a block diagram showing an example of a configuration of an information processing system according to a modified example of the third embodiment.
  • the information processing system 200 in FIG. 12 is configured to be able to switch the comfort/discomfort state determination process depending on the type of sensor equipped in the wearable device 211X connected to the information processing device 212.
  • the wearable device 211X is the same as the wearable device 211 in the third embodiment shown in FIG. 9, and is connected to the information processing device 212.
  • the information processing system 200 shown in FIG. 12 is similar to the third embodiment shown in FIG. 9 in that it is composed of a wearable device 211, an information processing device 212, and an output device 213. On the other hand, the information processing system 200 in FIG. 12 differs from the third embodiment shown in FIG. 9 in that an input determination unit 233 is newly provided in the information processing device 212.
  • the information processing device 212 includes a body movement detection unit 231, a comfort/discomfort determination unit 232', and an input determination unit 233.
  • the input determination unit 233 determines the type of data input to the information processing device 212, and supplies the determination result to the comfort/discomfort determination unit 232'.
  • the input determination unit 233 determines the type of data by detecting the data input to the information processing device 212.
  • the information processing device 212 may include multiple operation modes according to the type of data that can be input, and the input determination unit 233 may determine the type of data by having the user select an operation mode that corresponds to the data that can be output by the wearable device 211X connected to the information processing device 212.
  • the comfort/discomfort determination unit 232' determines the user's comfort/discomfort state using acceleration data detecting the movement of the user's head and bioinformation, similar to the comfort/discomfort determination unit 232 in FIG. 9.
  • the comfort/discomfort determination unit 232' determines the user's comfort/discomfort state using only the acceleration supplied from the body movement detection unit 231, similar to the comfort/discomfort determination unit 23 of the second embodiment shown in FIG. 8.
  • the comfort/discomfort determination unit 232' determines the user's comfort/discomfort state using only the bioinformation supplied from the biosensor 222.
  • the information processing system 200 can determine the user's comfort/discomfort state by switching the comfort/discomfort state determination process (operation mode) according to the type of input data input to the information processing device 212.
  • the comfort/discomfort state determination process operation mode
  • it can operate by switching between, for example, a simple estimation of the comfort/discomfort state based only on the magnitude of body movement, and a detailed time series and highly accurate estimation of the comfort/discomfort state using the magnitude of body movement and biometric information.
  • Examples of wearable devices> 13 to 20 show examples of devices that can be used as the wearable device 111 or the wearable device 211 described above.
  • Figure 13 shows an example of a head mounted display (HMD).
  • HMD head mounted display
  • the head mounted display 300 has at least a pad section 301 and a band section 302.
  • one or more sensors 303 are provided at predetermined locations of the pad section 301 or the band section 302.
  • the sensor 303 is a sensor for detecting the user's body movements.
  • a plurality of sensors 303 including a sensor for detecting the user's body movements and a sensor for acquiring biometric information are provided.
  • Figure 14 shows an example of a headband.
  • Headband 350 has band portions 351 and 352 that come into contact with the head.
  • one or more sensors 353 are provided at predetermined locations on band portion 351 or 352.
  • sensor 353 is a sensor for detecting the user's body movements.
  • multiple sensors 353 are provided, including a sensor for detecting the user's body movements and a sensor for acquiring biometric information.
  • Figure 15 shows an example of headphones.
  • the headphones 400 have a band portion 401 that contacts the head and ear pads 402 that contact the ears.
  • one or more sensors 403 are provided at predetermined locations on the band portion 401 or the ear pads 402.
  • the sensor 403 is a sensor for detecting the user's body movements.
  • multiple sensors 403 are provided, including a sensor for detecting the user's body movements and a sensor for acquiring biometric information.
  • Figure 16 shows an example of earphones.
  • the earphones 500 have earpieces 501 that are inserted into the ears.
  • one or more sensors 502 are provided at predetermined locations on the earpieces 501. If the earphones 500 are the above-mentioned wearable device 111, the sensor 502 is a sensor for detecting the user's body movements. If the earphones 500 are the above-mentioned wearable device 211, multiple sensors 502 are provided, including a sensor for detecting the user's body movements and a sensor for acquiring biometric information.
  • Figure 17 shows an example of a clock.
  • the watch 600 has a display unit 601 that displays the time, etc., a band unit 602, and a buckle unit 603.
  • one or more sensors 604 are provided at predetermined locations on the buckle unit 603. If the watch 600 is the above-mentioned wearable device 111, the sensor 604 is a sensor for detecting the user's body movements. If the watch 600 is the above-mentioned wearable device 211, multiple sensors 604 are provided, including a sensor for detecting the user's body movements and a sensor for acquiring biometric information.
  • Figure 18 shows an example of smart glasses.
  • the smart glasses 700 have an ear hook portion 701 that is hung on the ear, and a lens frame portion 703 that supports the lens.
  • one or more sensors 702 are provided at predetermined locations on the ear hook portion 701.
  • the sensor 702 is a sensor for detecting the user's body movements.
  • multiple sensors 702 are provided, including a sensor for detecting the user's body movements and a sensor for acquiring biometric information.
  • Figure 19 shows an example of a headset.
  • the headset 800 has a band portion 801 that contacts the head, ear pads 802 that contact the ears, and a microphone portion 803 with a built-in microphone.
  • one or more sensors 804 are provided at predetermined locations on the band portion 801 or the ear pads 802.
  • the sensor 804 is a sensor for detecting the user's body movements.
  • multiple sensors 804 are provided, including a sensor for detecting the user's body movements and a sensor for acquiring biometric information.
  • Figure 20 shows an example of a mask.
  • the mask 900 has ear straps 901 that are worn around the ears, and a main body 902 that covers the nose and mouth.
  • one or more sensors 903 are provided at predetermined locations on the main body 902. If the mask 900 is the above-mentioned wearable device 111, the sensor 903 is a sensor for detecting the user's body movements. If the mask 900 is the above-mentioned wearable device 211, multiple sensors 903 are provided, including a sensor for detecting the user's body movements and a sensor for acquiring biometric information.
  • Example of computer configuration The above-mentioned series of processes can be executed by hardware or software.
  • the programs constituting the software are installed in a computer.
  • the computer includes a microcomputer built into dedicated hardware, and a general-purpose personal computer, for example, capable of executing various functions by installing various programs.
  • FIG. 21 is a block diagram showing an example of a hardware configuration when the above-mentioned information processing device 1, 112, or 212 is configured as a computer.
  • the computer 1000 has a CPU (Central Processing Unit) 1001, a ROM (Read Only Memory) 1002, and a RAM (Random Access Memory) 1003.
  • the CPU 1001, ROM 1002, and RAM 1003 are interconnected by a bus 1004.
  • An input/output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a memory unit 1008, a communication unit 1009, and a drive 1010 are connected to the input/output interface 1005.
  • the input unit 1006 includes a keyboard, mouse, microphone, touch panel, input terminal, etc.
  • the output unit 1007 includes a display, speaker, output terminal, etc.
  • the storage unit 1008 includes a hard disk, SSD (Solid State Drive), RAM disk, non-volatile memory, etc.
  • the communication unit 1009 includes a network interface, etc.
  • the drive 1010 drives a removable recording medium 1011 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the CPU 1001 loads a program stored in the storage unit 1008, for example, into the RAM 1003 via the input/output interface 1005 and the bus 1004, and executes the program, thereby carrying out the above-mentioned series of processes.
  • the RAM 1003 also stores data necessary for the CPU 1001 to execute various processes, as appropriate.
  • the program executed by the computer (CPU 1001) can be provided, for example, by recording it on a removable recording medium 1011 such as a package medium.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • a program can be installed in the storage unit 1008 via the input/output interface 1005 by inserting the removable recording medium 1011 into the drive 1010.
  • the program can also be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008.
  • the program can be pre-installed in the ROM 1002 or storage unit 1008.
  • the program executed by the computer may be a program in which processing is performed chronologically in the order described in this specification, or it may be a program in which processing is performed in parallel or at the required timing, such as when called.
  • a system refers to a collection of multiple components (devices, modules (parts), etc.), regardless of whether all the components are in the same housing. Therefore, multiple devices housed in separate housings and connected via a network, and a single device in which multiple modules are housed in a single housing, are both systems.
  • the technology disclosed herein can be configured as cloud computing, in which a single function is shared and processed collaboratively by multiple devices over a network.
  • each step described in the above flowchart can be executed by one device, or can be shared and executed by multiple devices.
  • the multiple processes included in that one step can be executed by one device, or can be shared and executed by multiple devices.
  • the technology of the present disclosure can employ the following configurations.
  • a detection unit that detects a body movement of a person from data obtained by the sensor; and a determination unit that determines a comfort or discomfort state of the person based on the detected body movement.
  • the information processing device (2) The information processing device according to (1), wherein the detection unit detects the body movement of the person based on acceleration.
  • the information processing device (1) or (2), wherein the detection unit detects acceleration of a head of the person as the body movement of the person.
  • the determination unit identifies a period during which the person is speaking, and determines a comfort or discomfort state of the person based on the body movement while speaking.
  • the information processing device determines the comfort or discomfort state of the person based on a magnitude of the body movement.
  • the detection unit detects the body movement based on acceleration, The information processing device according to any one of (1) to (5), wherein the determination unit determines the comfort or discomfort state of the person by comparing the acceleration with a predetermined threshold value.
  • the determination unit determines a comfortable state when the acceleration is greater than a predetermined threshold, and determines an uncomfortable state when the acceleration is equal to or less than the predetermined threshold.
  • the information processing device has a first threshold value for determining whether or not the state is comfortable, and a second threshold value for determining whether or not the state is uncomfortable, which is different from each other. (9) the first threshold is greater than the second threshold; The information processing device according to (8), wherein the determination unit determines a comfortable state when the acceleration is greater than the first threshold, and determines an uncomfortable state when the acceleration is equal to or less than the second threshold. (10) The information processing device according to any one of (6) to (9), wherein the predetermined threshold is determined based on an AUC. (11) The information processing device according to any one of (6) to (10), wherein the predetermined threshold is updated based on past data indicating body movements of the person.
  • the sensor is an acceleration sensor worn by the person;
  • the information processing device according to any one of (1) to (11), wherein the detection unit detects a body movement of the person based on the data from the acceleration sensor.
  • the sensor is an image sensor that captures an image of the person;
  • the detection unit detects a body movement of the person by detecting an acceleration of the person based on image data from the image sensor.
  • the determination unit determines the comfort/discomfort state of the person using the body movement detected by the detection unit and a discrimination model that determines a comfort/discomfort state based on biometric information of the person.
  • the information processing device according to any one of (1) to (14), further comprising an input determination unit that determines a type of data input from one or more of the sensors, wherein the determination unit determines the person's comfort or discomfort state using data obtained from the one or more sensors.
  • the information processing device according to any one of (1) to (15), further comprising an output unit that performs a predetermined output based on a determination result of the determination unit.
  • the output unit outputs instruction information to the person based on a determination result of the determination unit.
  • a device including a sensor; A detection unit that detects a body movement of a person from data obtained by the sensor; a determination unit that determines a comfort or discomfort state of the person based on the detected body movement; and an output unit that performs a predetermined output based on a result of the determination.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

情報処理装置は、センサで得られたデータから人の体動を検出する体動検出部と、検出された体動に基づいて、人の快不快状態を判定する快不快判定部とを備える。

Description

情報処理装置および情報処理システム
　本開示は、情報処理装置および情報処理システムに関し、特に、人の内部状態である快不快状態をより簡易な方法で推定できるようにした情報処理装置および情報処理システムに関する。
　人が快不快であるかという人の内部状態を見分けることは一般的に非常に難しい。例えば、脳波、心拍等の生体情報に基づいて、人が快不快であるかを推定する技術が提案されている（例えば、特許文献１参照）。また、顔の表情から人が快不快であるかを推定する技術もある（例えば、非特許文献１参照）。
　脳波等の生体情報を活用すれば人の快不快状態の詳細な推定ができる可能性があるが、脳波の測定には現状では頭部に脳波計を取り付けるなどウェアラブル測定が必要となる。
国際公開第２０２２／２０９４９９号
Lyons, Michael J., Julien Budynek, and Shigeru Akamatsu. "Automatic classification of single facial images." IEEE transactions on pattern analysis and machine intelligence 21.12 (1999): 1357-1362.
　本開示は、このような状況に鑑みてなされたものであり、人の内部状態である快不快状態をより簡易な方法で推定できるようにするものである。
　本開示の第１の側面の情報処理装置は、センサで得られたデータから人の体動を検出する検出部と、検出された前記体動に基づいて、前記人の快不快状態を判定する判定部とを備える。
　本開示の第２の側面の情報処理システムは、センサを含むデバイスと、前記センサで得られたデータから人の体動を検出する検出部と、検出された前記体動に基づいて、前記人の快不快状態を判定する判定部と、判定結果に基づく所定の出力を行う出力部とを含む。
　本開示の第１及び第２の側面においては、センサで得られたデータから人の体動が検出され、検出された前記体動に基づいて、前記人の快不快状態が判定される。
　情報処理装置及び情報処理システムは、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
人の体動と快不快状態との関係を説明する図である。 人の体動と快不快状態との関係を説明する図である。 本技術を適用した第１実施の形態としての情報処理装置の構成例を示すブロック図である。 図３の情報処理装置が行う第１快不快判定処理を説明するフローチャートである。 図３の情報処理装置が行う第２快不快判定処理を説明するフローチャートである。 快不快判定処理を実行するアプリケーション例を説明する図である。 閾値のその他の決定方法を説明する図である。 本技術を適用した第２実施の形態としての情報処理システムの構成例を示すブロック図である。 本技術を適用した第３実施の形態としての情報処理システムの構成例を示すブロック図である。 図９の情報処理システムが行う第３快不快判定処理を説明するフローチャートである。 図９の情報処理システムが行う第４快不快判定処理を説明するフローチャートである。 第３実施の形態の変形例に係る情報処理システムの構成例を示すブロック図である。 ウェアラブルデバイスがヘッドマウントディスプレイである場合の例を示す図である。 ウェアラブルデバイスがヘッドバンドである場合の例を示す図である。 ウェアラブルデバイスがヘッドフォンである場合の例を示す図である。 ウェアラブルデバイスがイヤホンである場合の例を示す図である。 ウェアラブルデバイスが時計である場合の例を示す図である。 ウェアラブルデバイスがスマートグラスである場合の例を示す図である。 ウェアラブルデバイスがヘッドセットである場合の例を示す図である。 ウェアラブルデバイスがマスクである場合の例を示す図である。 情報処理装置がコンピュータで構成される場合のハードウエア構成例を示すブロック図である。
　以下、添付図面を参照しながら、本開示の技術を実施するための形態（以下、実施の形態という）について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。説明は以下の順序で行う。
１．人の体動と快不快状態との関係
２．第１実施の形態
３．第２実施の形態
４．第３実施の形態
５．第３実施の形態の変形例
６．ウェアラブルデバイス例
７．コンピュータ構成例
＜１．人の体動と快不快状態との関係＞
　本開示の情報処理装置は、人の体動を検出することによって、人の快不快の内部状態を判定（推定）する装置である。初めに、発明者らによる実験により明らかになった、人の体動と快不快の内部状態との関係について説明する。
　発明者らは、所定数の被験者を集め、被験者が快状態または不快状態（以下、快不快状態と称する。）となるような情報を与えて、人の内部状態である快不快状態を判定するとともに、その人の体動を検出する実験を行った。快不快状態の判定には、脳波、心拍等の生体情報を用いて人の快不快の内部状態を判定（推定）する判別モデル（以下、生体判別モデルと称する。）を用いた。生体判別モデルには、所定の推定精度で判定できることが知られている既存の推定モデルが用いられた。人の体動としては頭部に注目し、人の頭部の動きをウェアラブルセンサである加速度センサで検出した。被験者には、判定結果の検証のため、自分の認識として快状態であったかまたは不快状態であったかを確認するようにした。
　図１のAは、生体判別モデルの正解率（Accuracy）を集計したグラフである。グラフの横軸は正解率を表し、縦軸は被験者数の割合を表す。実験の結果は、図１のAに示されるように、生体判別モデルの推定精度が良い群と、推定精度が悪い群とに分かれた。
　図１のBは、生体判別モデルの推定精度が良い群と悪い群とで、推定結果が不快状態の場合の被験者本人の認識としての不快状態を集計したグラフである。縦軸は快不快状態のレベルを表し、“0”が中立、正が快状態、負が不快状態を表す。集計の結果は、推定精度の良い人ほど主観的な不快が大きい結果となり、生体判別モデルの確かさが検証された。
　図２のAは、生体判別モデルの推定精度が良い群と悪い群とで、人の体動（頭部の動き）を測定した結果を示すグラフである。これによれば、体動のレベルを生体判別モデルの推定精度が良い人と悪い人とで比べると、生体判別モデルの推定精度が悪い人の体動（加速度）は、生体判別モデルの推定精度が良い人よりも大きくなることが分かる。
　図２のBは、快状態と不快状態それぞれのときの人の体動（頭部の動き）を測定した結果を示すグラフである。これによれば、人の体動は、不快状態よりも快状態の方が大きくなることが分かる。これは、不快状態だと動けない状態（いわゆるフリージング）になるためと考えられる。図２のAの結果にしたがい推定精度が悪い場合を除外しようと加速度が大きい人を除くと、快状態の人も除外するおそれがある点に注意が必要となる。
　図２のBの結果が示すように、快状態の体動は大きくなり、不快状態の体動は小さくなることから、人の体動を検出することにより、快不快状態を簡易的に判定することができる。例えば、快状態または不快状態と判定された群の加速度の分布に基づいて、快状態と不快状態とを切り分ける所定の閾値（例えば、０．０７[m/s2]）を決定し、体動として測定した加速度が、予め決定された所定の閾値より大きい場合、快状態と判定し、加速度が所定の閾値以下の場合、不快状態と判定することができる。体動の測定は、従来の顔の表情を検出したり、生体情報の測定と比べると測定が容易であり、シンプルな装置構成で実現することができる。ただし、判定のために十分な加速度の測定には数分の時間オーダが必要になる。
　図２のCは、生体判別モデルの推定精度が良い群と悪い群とに分けて、快状態と不快状態それぞれのときの人の体動（頭部の動き）を測定した結果を示すグラフである。これによれば、快状態と不快状態のいずれの場合も、生体判別モデルの推定精度が悪い場合の方が良い場合よりも人の体動（加速度）が大きくなることが分かる。
　図２のCより、生体判別モデルの推定においては、人の体動情報をコンテキスト（選択条件）として活用することにより、生体判別モデルの推定精度を高めることができることがわかる。例えば、加速度の大きな人を除外したり、加速度の大きさでノイズを低減することで、生体判別モデルの推定精度を高めることができる。また、人の体動を検出する加速度について、快状態か否かを判定する閾値（第１の閾値）と、不快状態か否かを判定する閾値（第２の閾値）とで異なる値を設定することで、生体判別モデルの推定精度を高めることができる。例えば、快状態か否かを判定する第１の閾値を０．０８より大きい場合とし、不快状態か否かを判定する第２の閾値を０．０６以下の場合のように設定することができる。
＜２．第１実施の形態＞
（ブロック図）
　図３は、本技術を適用した第１実施の形態としての情報処理装置の構成例を示すブロック図である。
　図３の情報処理装置１は、人の体動を検出することによって、人の快不快の内部状態を判定（推定）する装置である。本実施の形態では、情報処理装置１は、人の体動として、人の頭部の動きを検出する。情報処理装置１は、センサ２１、体動検出部２２、快不快判定部２３、及び、出力部２４を有している。以下では、快不快状態の判定対象者を、適宜、ユーザとも称する。
　センサ２１は、体動検出部２２においてユーザの体動（体の動作量）を検出可能なセンサデータを生成するセンサであり、生成したセンサデータを体動検出部２２へ出力する。センサ２１は、例えばユーザの頭部に装着されるウェアラブルセンサであって、加速度を検出する加速度センサで構成することができる。この場合、センサ２１は、検出した加速度のデータを体動検出部２２へ出力する。また例えば、センサ２１は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサ等のイメージセンサで構成することができる。この場合、センサ２１は、ユーザを撮影した画像データを、センサデータとして体動検出部２２へ出力する。センサ２１は、ユーザの体の動作量を検出可能なものであればよく、速度センサやジャイロセンサ（角速度センサ）などであってもよい。
　体動検出部２２は、センサ２１から供給されるセンサデータを用いて、ユーザの体動を検出する。本実施の形態では、ユーザの体動として、ユーザの頭部の動作量が加速度で検出される。例えば、センサ２１が加速度センサである場合には、体動検出部２２は、予め決定された所定期間（例えば数分間）の加速度の平均値を算出することで、ユーザの頭部の加速度を検出する。例えば、センサ２１がイメージセンサである場合には、体動検出部２２は、画像認識により、予め決定された所定期間（例えば数分間）、ユーザの頭部の位置をトラッキングすることで、ユーザの頭部の加速度を検出する。体動検出部２２は、検出したユーザの頭部の加速度を、快不快判定部２３に出力する。
　快不快判定部２３は、体動検出部２２から供給されるユーザの頭部の加速度に基づいて、ユーザの快不快状態を判定する。例えば、快不快状態を判定する閾値を１つとする場合、快不快判定部２３は、体動検出部２２から供給される加速度が所定の閾値Thaより大きい場合、快状態と判定し、所定の閾値Tha以下の場合、不快状態と判定する。あるいはまた、快状態か否かを判定する第１の閾値Thb1と、不快状態か否かを判定する第２の閾値Thb2（Thb1＞Thb2）を別々に設定する場合、快不快判定部２３は、体動検出部２２から供給される加速度が第１の閾値Thb1より大きい場合、快状態と判定し、加速度が前記第２の閾値Thb2以下の場合、不快状態と判定する。所定の閾値Tha、第１の閾値Thb1、及び、第２の閾値Thb2は、例えば上述した実験で得られた過去のデータに基づいて決定される。快不快判定部２３は、判定結果を示す判定データを出力部２４に出力する。
　出力部２４は、快不快判定部２３から供給される判定結果に基づく所定の出力を行う。出力部２４は、例えば、映像を表示する液晶ディスプレイや有機ELディスプレイ等の表示装置、音声、ブザー、チャイム等を出力するスピーカ、所定の色を点灯する照明装置などで構成される。出力部２４は、判定結果である快状態または不快状態に応じた文字、映像、音声、照明（所定の色の点灯）を出力し、快状態または不快状態であることをユーザに通知することができる。また、出力部２４は、振動や匂い等を用いて、判定結果である快状態または不快状態をユーザに通知してもよい。あるいはまた、出力部２４は、後述する図６の例のように、「冷静になりましょう」や「休憩をとりましょう」など、快状態または不快状態に応じたユーザへの指示情報に変換し、文字、映像、音声等で出力してもよい。
　情報処理装置１は、以上のように構成され、人の頭部の動きを検出することによって、人の快不快状態を判定（推定）することができる。情報処理装置１は、人の快不快状態を判定する専用の装置として実現することができる。あるいはまた、情報処理装置１は、例えば、パーソナルコンピュータ、スマートフォン、タブレット型端末、携帯電話機、ゲーム機、テレビ受像機、ヘッドマウントディスプレイ（ＨＭＤ）、スマートグラス等のウェアラブルデバイス、デジタルスチルカメラ、デジタルビデオカメラなどであってもよい。
（第１快不快判定処理のフローチャート）
　図４のフローチャートを参照して、情報処理装置１が行う第１快不快判定処理について説明する。第１快不快判定処理は、快不快状態を判定する閾値が１つの場合の快不快判定処理の例である。この処理は、例えば、情報処理装置１の電源オン、または、快不快判定処理開始のユーザ操作が行われたとき開始される。
　初めに、ステップＳ２１において、センサ２１は、ユーザをセンシングしてセンサデータを生成し、生成したセンサデータを体動検出部２２へ出力する。センサ２１が加速度センサである場合、検出された加速度のデータが体動検出部２２へ出力される。センサ２１がイメージセンサである場合、ユーザを撮影したユーザ画像の画像データが体動検出部２２へ出力される。
　ステップＳ２２において、体動検出部２２は、センサ２１から供給されたセンサデータを用いて、ユーザの体動としてユーザの頭部の動きを検出する。具体的には、センサ２１が加速度センサである場合、体動検出部２２は、所定期間の加速度の平均値を算出することで、ユーザの頭部の加速度を検出する。例えば、センサ２１がイメージセンサである場合、体動検出部２２は、画像認識により、ユーザの頭部の位置を、所定期間、トラッキングすることで、ユーザの頭部の加速度を検出する。体動検出部２２は、検出したユーザの頭部の加速度を、快不快判定部２３に出力する。
　ステップＳ２３において、快不快判定部２３は、体動検出部２２から供給されたユーザの頭部の加速度が所定の閾値Thaより大きいか否かを判定する。
　ステップＳ２３で、ユーザの頭部の加速度が所定の閾値Thaより大きいと判定された場合、処理はステップＳ２４へ進み、快不快判定部２３は、快状態と判定し、判定結果を示す判定データを出力部２４に出力する。出力部２４は、判定データを取得し、快状態に応じた処理を実行する。例えば、出力部２４としての表示装置が、「快状態です」等のメッセージ画像を表示する。
　一方、ステップＳ２３で、ユーザの頭部の加速度が所定の閾値Tha以下であると判定された場合、処理はステップＳ２５へ進み、快不快判定部２３は、不快状態と判定し、判定結果を示す判定データを出力部２４に出力する。出力部２４は、判定データを取得し、不快状態に応じた処理を実行する。例えば、出力部２４としての表示装置が、「不快状態です」等のメッセージ画像を表示する。
　第１快不快判定処理は以上のように実行される。第１快不快判定処理によれば、人の内部状態である快不快状態をより簡易な方法で推定することができる。この第１快不快判定処理は、処理を終了させるユーザ操作が行われるまで繰り返し実行してもよい。
（第２快不快判定処理のフローチャート）
　次に、図５のフローチャートを参照して、情報処理装置１が行う第２快不快判定処理について説明する。第２快不快判定処理は、快不快状態を判定する閾値が２つの場合の快不快判定処理の例である。この処理は、例えば、情報処理装置１の電源オン、または、快不快判定処理開始のユーザ操作が行われたとき開始される。
　初めに、ステップＳ４１において、センサ２１は、ユーザをセンシングしてセンサデータを生成し、生成したセンサデータを体動検出部２２へ出力する。ステップＳ４２において、体動検出部２２は、センサ２１から供給されたセンサデータを用いて、ユーザの体動として頭部の動きを検出する。ステップＳ４１及びＳ４２の処理は、上述した第１快不快判定処理のステップＳ２１及びＳ２２の処理と同様である。
　ステップＳ４３において、快不快判定部２３は、体動検出部２２から供給されたユーザの頭部の加速度が第１の閾値Thb1より大きいか否かを判定する。
　ステップＳ４３で、ユーザの頭部の加速度が第１の閾値Thb1より大きいと判定された場合、処理はステップＳ４４へ進み、快不快判定部２３は、快状態と判定し、判定結果を示す判定データを出力部２４に出力する。出力部２４は、判定データを取得し、快状態に応じた処理を実行する。例えば、出力部２４としての表示装置が、「快状態です」等のメッセージ画像を表示する。
　一方、ステップＳ４３で、ユーザの頭部の加速度が第１の閾値Thb1以下であると判定された場合、処理はステップＳ４５に進み、快不快判定部２３は、ユーザの頭部の加速度が第２の閾値Thb2より小さいか否かを判定する。ステップＳ４５で、ユーザの頭部の加速度が第２の閾値Thb2より小さいと判定された場合、処理はステップＳ４６へ進み、快不快判定部２３は、不快状態と判定し、判定結果を示す判定データを出力部２４に出力する。出力部２４は、判定データを取得し、不快状態に応じた処理を実行する。例えば、出力部２４としての表示装置が、「不快状態です」等のメッセージ画像を表示する。
　一方、ステップＳ４５で、ユーザの頭部の加速度が第２の閾値Thb2以上であると判定された場合、快不快判定部２３は、第２快不快判定処理を終了する。
　第２快不快判定処理は以上のように実行される。第２快不快判定処理によれば、人の内部状態である快不快状態をより簡易な方法で推定することができる。この第２快不快判定処理は、処理を終了させるユーザ操作が行われるまで繰り返し実行してもよい。快状態か否かを判定する第１の閾値Thb1と、不快状態か否かを判定する第２の閾値Thb2を別々に設定する第２快不快判定処理によれば、１つの閾値Thaで快状態かまたは不快状態かを判定する第１快不快判定処理と比較して推定精度を高めることができる。
（アプリケーション適用例）
　次に、図６を参照して、快不快判定処理を実行するアプリケーション例を説明する。
　図６においては、情報処理装置１が例えばパーソナルコンピュータで構成され、他のユーザとビデオ通話が可能な通話アプリ６１が、パーソナルコンピュータ上で実行されている。通話アプリ６１は、体動検出部２２及び快不快判定部２３を含み、上述した快不快状態を判定する機能を有する。情報処理装置１としてのパーソナルコンピュータには、カメラ５１、マイクロホン５２、及びディスプレイ５３が設けられている。カメラ５１は図１のセンサ２１に相当し、ディスプレイ５３は図１の出力部２４に相当する。情報処理装置１は、パーソナルコンピュータではなく、スマートフォンでもあってよい。
　通話アプリ６１は、カメラ５１が撮影したユーザ（自分）の画像６２Aと、他の装置（情報処理装置１）からインターネット等の所定の通信回線を介して送信されてきた他のユーザ（通話相手）の画像６２Bとをディスプレイ５３に表示している。通話アプリ６１は、カメラ５１が撮影したユーザ（自分）の画像６２Aを用いてユーザの頭部の動きを検出し、ユーザの快不快状態を判定する快不快判定処理を実行する。また、通話アプリ６１は、他のユーザ（通話相手）の画像６２Bを用いて通話相手の頭部の動きを検出し、通話相手の快不快状態を判定する快不快判定処理を実行する。
　通話アプリ６１は、快不快判定処理において、カメラ５１の前にいるユーザが不快状態と判定された場合、図６のAの例に示されるように、ユーザへの指示情報として「冷静に！」のメッセージ６３を画面上に表示させる。このように快不快状態をリアルタイムに判定し、快不快状態に基づく指示をユーザへフィードバックすることで、ユーザは冷静になることができる。
　通話アプリ６１は、快不快判定処理において、カメラ５１の前にいるユーザと通話相手の両者が不快状態と判定された場合、図６のBの例に示されるように、ユーザへの指示情報として、休憩を促す「一旦休憩」のメッセージ６４を画面上に表示させる。通話相手側の装置の通話アプリにおいても同様に、「一旦休憩」のメッセージが表示される。このように快不快状態をリアルタイムに判定し、快不快状態に基づく指示をユーザへフィードバックすることで、ユーザと通話相手の両者に休憩を促すことができる。
（発話中の体動データの抽出）
　上述した快不快状態と体動との関係を調べた実験において、快不快状態に応じた体動（特に頭部）は、特に人が発話中のときに現れやすいことがわかった。そこで例えば、通話アプリ６１は、音声入力部であるマイクロホン５２から入力されるユーザ（自分）の音声信号、及び、通話相手の通話アプリ６１から送信されてくる通話相手の音声信号から、ユーザ及び通話相手が発話中の期間を特定し、発話中のユーザ及び通話相手の頭部の動き（加速度）に限定して快不快状態を判定してもよい。
（閾値のその他の決定方法）
　上述した例では、実験における快状態及び不快状態と判定された群の加速度の分布に基づいて、快状態と不快状態とを判定する閾値を決定したが、その他の方法で、快状態と不快状態とを判定する閾値を決定してもよい。
　例えば、図７に示されるように、閾値（加速度）を様々な値に設定して快不快状態を判定し、判定結果からAUC(Area Under the ROC Curve)を算出し、AUCが最大となる閾値を、快不快判定処理の閾値に決定することができる。AUCは、判別モデルの感度と偽陽性率（１－特異度）から求まるROC曲線の曲線下面積である。図７の例では、閾値が０．０７[m/s2]に決定される。
（頭部以外の体動の検出）
　上述した第１実施の形態では、ユーザの体動の大きさを検出する際、ユーザの頭部に注目し、頭部の動きを検出するようにしたが、ユーザの全身、上半身、首、手首など、頭部以外の部位または頭部を含む身体の一部で体動の大きさを検出してもよい。
（ユーザに対応した閾値の更新）
　上述した第１実施の形態では、ユーザの体動の大きさを、予め設定した所定の閾値と比較することで、快不快状態が判定された。情報処理装置１は、快不快状態を判定する閾値を、判定対象のユーザの過去のデータを用いて更新できるようにしてもよい。例えば、検出されたユーザの頭部の加速度のデータが、半導体メモリやハードディスク等で構成される記憶部に蓄積されるとともに、出力部２４が快不快状態の判定結果を出力した際に、出力された判定結果とユーザが認識する快不快状態が異なる場合には、ユーザが認識する快不快状態を操作ボタン等でフィードバックできるようにする。フィードバックによりユーザが認識する快不快状態と異なる加速度のデータが除外されることにより、快不快状態を判定する際の閾値が更新される。あるいはまた、快不快状態を判定する閾値を決定するためのキャリブレーションモード等を設け、ユーザが任意のタイミングで閾値を設定または更新できるようにしてもよい。
（その他の活用例）
　快不快判定処理は、例えば、以下のような場面にも適用することができる。
・企業等の面接や、NASA, FBIの訓練等において、快不快判定処理によって判定対象者が楽しく回答しているかのチェックに活用することができる。
・オンライン授業や教室での授業において、生徒の体動を検出して快不快判定処理を行うことにより、生徒が楽しんで授業を聞いているかの指標とし、授業能力の向上に役立てることができる。
・会話中の自分の画像を録画してき、その画像に快不快判定処理を行うことで、オフラインで自分の会話がどうだったかチェックし、フィードバックに役立てる会話トレーニングとして活用することができる。
・リアルタイム会話中の通話相手に対して快不快判定処理を行うことで、相手の快不快状態を反映して自分の会話内容を修正することができる。
・ゲームプレイ中のプレイヤーに対して快不快判定処理を行うことでプレイヤーの快不快状態を判定し、例えば不快状態が多いシーンは排除するなどによって、ゲームクリエイションに反映することができる。
・音楽を聴いているユーザに対して快不快判定処理を行うことで、例えば快不快の判定結果を再生リストに反映することができる。個人のユーザの場合、ヘッドフォンやイヤホンに取り付けた加速度センサで頭部の動きを検出することができる。コンサート等の多数のユーザに対しては、会場を撮影したカメラの画像から、観客（ユーザ）全体の動作をマクロ的に検出したり、所定数の観客を抽出して快不快状態を判定してもよい。
＜３．第２実施の形態＞
（ブロック図）
　図８は、本技術を適用した第２実施の形態としての情報処理システムの構成例を示すブロック図である。図８において、上述した第１実施の形態と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
　上述した第１実施の形態では、単独の装置である情報処理装置１のみによって、人の快不快の内部状態を判定する機能が実現されたが、第２実施の形態では、複数の装置からなる情報処理システムにより、人の快不快の内部状態を判定する機能が実現される。
　図８に示される第２実施の形態の情報処理システム１００は、ウェアラブルデバイス１１１、情報処理装置１１２、及び、出力装置１１３で構成される。
　ウェアラブルデバイス１１１は、加速度センサ１２１を備える。加速度センサ１２１は、ユーザの体動を検出可能なセンサの一例であり、第１実施の形態のセンサ２１に対応する。従って、ウェアラブルデバイス１１１が備えるセンサは、加速度センサ１２１以外のセンサ、例えば、ジャイロセンサ、速度センサ、イメージセンサなどであってもよい。イメージセンサの場合、例えば、外向きに装着して撮影した周辺物体の移動量からユーザの体動を検出することができる。第２実施の形態では、簡単のため、加速度センサ１２１を備えた例で説明する。加速度センサ１２１は、ユーザの体動を加速度として検出し、検出した加速度のデータをセンサデータとして情報処理装置１１２へ出力する。ウェアラブルデバイス１１１は、例えば、イヤホン、ヘッドフォン、ヘッドセット、ヘッドマウントディスプレイ（ＨＭＤ）、スマートグラス、マスク等で構成される。ウェアラブルデバイス１１１がユーザに装着される形式としては、メガネ型、イヤリング型、髪飾り型、マスク型、指輪型、ヘッドバンド、リストバンド、チェストバンドの形式であってよい。ウェアラブルデバイス１１１の具体例については、図１３ないし図２０を参照して後述する。
　情報処理装置１１２は、体動検出部２２及び快不快判定部２３を備える。体動検出部２２及び快不快判定部２３それぞれは、第１実施の形態と同様であるので、説明は省略する。
　出力装置１１３は、情報処理装置１１２の快不快判定部２３から供給される判定結果に基づく所定の出力を行う。出力装置１１３は、第１実施の形態の出力部２４を、独立した装置としたものに相当する。出力装置１１３は、例えば、表示装置、スピーカ、照明装置、振動装置等で構成される。
　情報処理システム１００により実行される快不快判定処理は、第１実施の形態で説明した第１快不快判定処理及び第２快不快判定処理と同様であるので、説明は省略する。
＜４．第３実施の形態＞
　次に、本技術を適用した第３実施の形態の情報処理システムについて説明する。
　第３実施の形態の情報処理システムは、生体情報を用いて人の快不快状態を判定する生体判別モデルによる快不快判定処理と、人の体動を加速度により検出して快不快状態を判定する快不快判定処理とを組み合わせて、人の快不快状態を判定するシステムである。
（生体情報を用いた生体判別モデル）
　初めに、生体情報を用いて人の快不快状態を判定する生体判別モデルについて説明する。
　人の快不快状態は、コミュニケーション相手と会話をしている最中の、人の生体情報に基づいて導出することが可能である。人の快不快状態を導出可能な生体情報としては、例えば、脳波、発汗、顔の表情などが挙げられる。
（脳波）
　脳波に含まれるα波の、前頭部の左右差から人の快不快状態を推定可能であることが知られている。そこで、例えば、前頭部の左側で得られる脳波に含まれるα波（以下、「左側α波」と称する。）と、前頭部の右側で得られる脳波に含まれるα波（以下、「右側α波」と称する。）とが対比される。左側α波が右側α波よりも低いとき、人は快を感じており、左側α波が右側α波よりも高いとき、人は不快を感じていると推定することが可能である。
　また、脳波を用いて人の快不快状態を推定する際に、脳波に含まれるα波の、前頭部の左右差を導出する代わりに、機械学習などの推定モデルを用いることも可能である。この推定モデルは、例えば、人が明らかに快を感じているときの脳波に含まれるα波もしくはβ波を教示データとして学習させたモデルである。この推定モデルは、例えば、脳波に含まれるα波もしくはβ波が入力されると、入力されたα波もしくはβ波に基づいて人の快不快状態を推定する。この推定モデルは、例えば、ニューラルネットワークを含む。この学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含んでいてもよい。
（発汗）
　精神性発汗は、ストレスや緊張、不安などの精神的・心理的な問題が原因で、交感神経緊張時に、エクリン腺から放出される発汗である。例えば、発汗計プローブを手掌や足底に装着し，種々の負荷刺激で誘発される手掌または足底の発汗（精神性発汗）を測定することで、交感神経性発汗反応（ＳＳｗＲ）を信号電圧として取得することができる。この信号電圧において、左手から得られた所定の高周波成分や所定の低周波成分の数値が右手から得られた所定の高周波成分や所定の低周波成分の数値よりも高いとき、人は快を感じていると推定することが可能である。また、上記信号電圧において、左手から得られた所定の高周波成分や所定の低周波成分の数値が右手から得られた所定の高周波成分や所定の低周波成分の数値よりも低いとき、人は不快を感じていると推定することが可能である。また、この信号電圧において、左手から得られた振幅値が右手から得られた振幅値よりも高いとき、人は快を感じていると推定することが可能である。また、上記信号電圧において、左手から得られた振幅値が右手から得られた振幅値よりも低いとき、人は不快を感じていると推定することが可能である。
（顔の表情）
　不快な気持ちの時に眉をしかめたり、快の気持ちの時に大頬骨筋が余り変化しないことが知られている。このように、顔の表情に応じて、快不快状態を推定することが可能である。そこで、例えば、カメラで顔を撮影し、それにより得られた動画データに基づいて顔の表情を推定し、推定により得られた顔の表情に応じて、人の快不快状態を推定することが可能である。また、顔の表情が撮影された動画データに基づいて人の快不快状態を推定する推定モデルを用いて、人の快不快状態を推定することも可能である。この推定モデルは、例えば、快または不快な情報を与えたときの顔の表情が撮影された動画データを教示データとして学習させたモデルである。この推定モデルは、例えば、顔の表情が撮影された動画データが入力されると、入力された動画データに基づいて人の快不快状態を推定する。この推定モデルは、例えば、ニューラルネットワークを含む。この学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含んでいてもよい。
　また例えば、顔の所定の部位の表情筋電位を計測し、その計測値に基づいて人の快不快状態を推定する推定モデルを用いて、人の快不快状態を推定することも可能である。この推定モデルは、例えば、快または不快な情報を与えたときの顔の表情筋電位を計測したデータを教示データとして学習させたモデルである。この推定モデルは、顔の所定の部位の表情筋電位が入力されると、入力された表情筋電位に基づいて人の快不快状態を推定する。この推定モデルは、例えば、ニューラルネットワークを含む。この学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含んでいてもよい。
・脳波の周波数成分については、例えば、下記の文献に記載されている。
　Wang, Xiao-Wei, Dan Nie, and Bao-Liang Lu. "EEG-based emotion recognition using frequency domain features and support vector machines." International conference on neural information processing. Springer, Berlin, Heidelberg, 2011.
・脳波を用いた推定モデルについては、例えば、下記の文献に記載されている。
　国際公開第２０２１／２１０６０７号
・発汗については、例えば、下記の文献に記載されている。
　Jing Zhai, A. B. Barreto, C. Chin and Chao Li, "Realization of stress detection using psychophysiological signals for improvement of human-computer interactions," Proceedings. IEEE SoutheastCon, 2005., Ft. Lauderdale, FL, USA, 2005, pp. 415-420, doi: 10.1109/SECON.2005.1423280.
　Boucsein, Wolfram. Electrodermal activity. Springer Science & Business Media, 2012.
・心拍数については、例えば、下記の文献に記載されている。
　Veltman, J. A., and A. W. K. Gaillard. "Physiological indices of workload in a simulated flight task." Biological psychology 42.3 (1996): 323-342.
・心拍変動間隔については、例えば、下記の文献に記載されている。
　Appelhans, Bradley M., and Linda J. Luecken. "Heart rate variability as an index of regulated emotional responding." Review of general psychology 10.3 (2006): 229-240.
・唾液コルチゾール量については、例えば、下記の文献に記載されている。
　Lam, Suman, et al. "Emotion regulation and cortisol reactivity to a social-evaluative speech task." Psychoneuroendocrinology 34.9 (2009): 1355-1362.
・顔の表情については、例えば、下記の文献に記載されている。
　Lyons, Michael J., Julien Budynek, and Shigeru Akamatsu. "Automatic classification of single facial images." IEEE transactions on pattern analysis and machine intelligence 21.12 (1999): 1357-1362.
・表情筋については、例えば、下記の文献に記載されている。
　Ekman, Paul. "Facial action coding system." (1977).
・瞬き頻度については、例えば、下記の文献に記載されている。
　Chen, Siyuan, and Julien Epps. "Automatic classification of eye activity for cognitive load measurement with emotion interference." Computer methods and programs in biomedicine 110.2 (2013): 111-124.
・呼吸量/呼吸速度については、例えば、下記の文献に記載されている。
　Zhang Q., Chen X., Zhan Q., Yang T., Xia S. Respiration-based emotion recognition with deep learning. Comput. Ind. 2017;92-93:84-90. doi: 10.1016/j.compind.2017.04.005.
・皮膚表面温度については、例えば、下記の文献に記載されている。
　Nakanishi R., Imai-Matsumura K. Facial skin temperature decreases in infants with joyful expression. Infant Behav. Dev. 2008;31:137-144. doi: 10.1016/j.infbeh.2007.09.001.
・マルチモーダルについては、例えば、下記の文献に記載されている。
　Choi J.-S., Bang J., Heo H., Park K. Evaluation of Fear Using Nonintrusive Measurement of Multimodal Sensors. Sensors. 2015;15:17507-17533. doi: 10.3390/s150717507.
（ブロック図）
　図９は、本技術を適用した第３実施の形態としての情報処理システムの構成例を示すブロック図である。
　図９に示される第３実施の形態の情報処理システム２００は、ウェアラブルデバイス２１１、情報処理装置２１２、及び、出力装置２１３で構成される。
　ウェアラブルデバイス２１１は、加速度センサ２２１と、生体センサ２２２とを備える。ウェアラブルデバイス２１１は、例えば、イヤホン、ヘッドフォン、ヘッドセット、ヘッドマウントディスプレイ（ＨＭＤ）、スマートグラス、マスク等で構成される。ウェアラブルデバイス１１１がユーザに装着される形式としては、メガネ型、イヤリング型、髪飾り型、マスク型、指輪型、ヘッドバンド、リストバンド、チェストバンドの形式であってよい。ウェアラブルデバイス２１１の具体例については、図１３ないし図２０を参照して後述する。
　加速度センサ２２１は、ユーザの体動を加速度として検出し、検出した加速度のデータをセンサデータとして情報処理装置１１２へ出力する。この加速度センサ２２１についても、ユーザの体動を検出可能なセンサの一例であって、加速度センサ１２１以外のセンサ（例えば、ジャイロセンサ、速度センサ、イメージセンサなど）に置き換えることができる点は第２実施の形態と同様である。
　生体センサ２２２は、例えば、ユーザに接触するタイプのセンサであってもよいし、ユーザに非接触のセンサであってもよい。生体センサ２２２は、例えば、脳波、発汗、脈波、心電図、血流、皮膚温度、表情筋電位、眼電、および唾液に含まれる特定成分のうち、少なくとも１つの生体情報（生体データ）を取得するセンサである。生体センサ２２２は、取得した生体情報を情報処理装置１１２へ出力する。
　情報処理装置２１２は、体動検出部２３１及び快不快判定部２３２を備える。
　体動検出部２３１は、ウェアラブルデバイス２１１の加速度センサ２２１からセンサデータとして供給される加速度を取得して、所定期間蓄積する。体動検出部２３１は、ユーザの体動として、所定期間蓄積した加速度の平均値を算出し、快不快判定部２３２へ供給する。体動検出部２３１は、加速度センサ２２１から加速度が更新されると、ユーザの体動を表すデータとしての加速度も更新される。
　快不快判定部２３２は、生体センサ２２２から供給される生体情報を用いて人の快不快状態を判定する生体判別モデルを有している。快不快判定部２３２は、生体判別モデルと、体動検出部２３１から供給される加速度を用いたユーザの体動とを用いて、ユーザの快不快状態の判定を行う。例えば、快不快判定部２３２は、生体判別モデルによる快状態及び不快状態それぞれの推定確率と、加速度判別モデルによる快状態及び不快状態それぞれの推定確率とを算出する。そして、快不快判定部２３２は、快状態及び不快状態それぞれの推定確率の平均値を算出し、推定確率が高い方の状態を、ユーザの快不快状態に決定する。快不快判定部２３２は、快不快状態の判定結果を、出力装置２１３に出力する。
　出力装置２１３は、情報処理装置２１２の快不快判定部２３２から供給される判定結果に基づく所定の出力を行う。出力装置２１３は、第２実施の形態の出力装置１１３と同様であるので、説明は省略する。
（第３快不快判定処理のフローチャート）
　次に、図１０のフローチャートを参照して、情報処理システム２００が行う第３快不快判定処理について説明する。この処理は、例えば、情報処理システム２００の電源オン、または、快不快判定処理開始のユーザ操作が行われたとき開始される。
　初めに、ステップＳ６１において、ウェアラブルデバイス２１１の加速度センサ２２１は、ユーザの体動を加速度により検出し、検出した加速度をセンサデータとして情報処理装置２１２の体動検出部２３１へ出力する。
　ステップＳ６２において、ウェアラブルデバイス２１１の生体センサ２２２は、ユーザの生体情報を検出し、検出した生体情報を情報処理装置１１２の快不快判定部２３２へ出力する。生体情報は、例えば、脳波、発汗、脈波、心電図、血流、皮膚温度、表情筋電位等のデータ（生体データ）とされる。
　ステップＳ６３において、情報処理装置２１２の体動検出部２３１は、加速度センサ２２１から供給された加速度から、ユーザの体動として頭部の動きを検出する。検出された頭部の動きを示す加速度のデータが、快不快判定部２３２に供給される。
　ステップＳ６４において、快不快判定部２３２は、生体情報を用いて人の快不快状態を判定する生体判別モデルを用いて、ユーザの快不快状態を判定する。生体判別モデルでは、快状態及び不快状態それぞれの推定確率が算出される。
　ステップＳ６５において、快不快判定部２３２は、ユーザの体動としての頭部の動き（加速度）を用いて人の快不快状態を判定する加速度判別モデルを用いて、ユーザの快不快状態を判定する。加速度判別モデルにおいても、快状態及び不快状態それぞれの推定確率が算出される。
　ステップＳ６６において、快不快判定部２３２は、生体判別モデルの判定結果と、加速度判別モデルの判定結果とから、ユーザの快不快状態を判定する。例えば、快状態及び不快状態それぞれについて推定確率の平均値を算出し、推定確率が高い方の快状態または不快状態を、ユーザの状態に決定する。快不快判定部２３２は、快不快状態の判定結果を、出力装置２１３に出力する。
　ステップＳ６７において、出力装置２１３は、情報処理装置２１２の快不快判定部２３２から供給された判定結果に応じた処理を実行する。例えば、出力装置２１３が表示装置である場合、出力装置２１３は、「快状態です」、「不快状態です」等のメッセージ画像を表示する。
　第３快不快判定処理は以上のように実行される。この第３快不快判定処理は、処理を終了させるユーザ操作が行われるまで繰り返し実行してもよい。
　上述した第３快不快判定処理では、快不快判定部２３２は、ユーザの生体情報を用いた判別モデル（第１判別モデル）と、ユーザの体動（加速度）を用いた判別モデル（第２判別モデル）を別々に用意し、それぞれで判定結果を出力した。しかしながら、ユーザの体動については判別モデルを用いずに、上述した第１及び第２快不快判定処理のように、検出された加速度が所定の閾値より大きいかまたは小さいかを判断することによって、ユーザの生体情報を用いた判別モデルに加速度情報を付加した判定を行ってもよい。例えば、ユーザの生体情報を用いた判別モデルにおいて快状態と判定された場合であっても、検出された加速度が所定の閾値以下である場合には、快不快判定部２３２は、最終的な判定結果を快状態とせずに、所定の閾値より大きい場合にのみ快状態と判定する。一方、ユーザの生体情報を用いた判別モデルにおいて不快状態と判定された場合であっても、検出された加速度が所定の閾値より大きい場合には、快不快判定部２３２は、最終的な判定結果を不快状態とせずに、加速度が所定の閾値以下の場合にのみ不快状態と判定する。生体情報を用いた判別モデルでは、高い推定精度と詳細な時系列推定（秒単位の時系列の快不快状態データの出力）が可能である。生体情報を用いた判別モデルに、体動データ（加速度）を付加することで、詳細な時系列推定と高い推定精度を実現することができる。
（第４快不快判定処理のフローチャート）
　上述した第３快不快判定処理では、ユーザの生体情報を用いた判別モデル（第１判別モデル）と、ユーザの体動（加速度）を用いた判別モデル（第２判別モデル）を別々に用意し、それぞれで判定結果を出力した後、統合する構成とされていた。これに対して、ユーザの生体情報と体動（加速度）の両方を用いた１つの判別モデルを生成し、１つの判別モデルで快不快状態を判定してもよい。この判別モデルは、例えば快または不快な情報を与えたときの人の生体情報（例えば脳波に含まれるα波もしくはβ波）と、人の体動を示す加速度データとを教示データとして学習することにより生成される。この判別モデルは、ユーザの生体情報と体動を示す加速度データとが入力されると、入力された生体情報と加速度データに基づいて人の快不快状態を判定する。この判別モデルは、例えば、ニューラルネットワークを含む。この学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワークを含んでいてもよい。
　また、複数の判別モデルを用いる場合であっても、ユーザの生体情報を用いた判別モデルと、ユーザの体動を用いた判別モデルとで分けるのではなく、ユーザの体動の大きさで、ユーザの生体情報を用いた判別モデルを使い分けるようにしてもよい。
　図１１のフローチャートは、ユーザの生体情報を用いた２つの判別モデルをユーザの体動の大きさで使い分けるようにして、快不快状態を判定する第４快不快判定処理のフローチャートである。この処理は、例えば、情報処理システム２００の電源オン、または、快不快判定処理開始のユーザ操作が行われたとき開始される。
　初めに、ステップＳ８１において、ウェアラブルデバイス２１１の加速度センサ２２１は、ユーザの体動を加速度として検出し、検出した加速度をセンサデータとして情報処理装置２１２の体動検出部２３１へ出力する。
　ステップＳ８２において、ウェアラブルデバイス２１１の生体センサ２２２は、ユーザの生体情報（例えば、脳波）を検出し、検出した生体情報を情報処理装置１１２の快不快判定部２３２へ出力する。
　ステップＳ８３において、情報処理装置２１２の体動検出部２３１は、加速度センサ２２１から供給された加速度から、ユーザの体動として頭部の動きを検出する。検出された頭部の動きを示す加速度は、快不快判定部２３２に供給される。
　ステップＳ８４において、快不快判定部２３２は、ユーザの頭部の動きが大きいか否かを判定する。例えば、体動検出部２３１から供給された頭部の動きを示す加速度が所定の閾値Thcより大きい場合、頭部の動きが大きいと判定され、加速度が所定の閾値Thc以下の場合、頭部の動きは小さいと判定される。
　ステップＳ８４で、ユーザの頭部の動きが大きいと判定された場合、処理はステップＳ８５へ進み、快不快判定部２３２は、ユーザの頭部の動きが大きい場合の教示データを用いて学習された判別モデルを用いて、ユーザの快不快状態を判定する。快不快状態の判定結果は、出力装置２１３に出力される。
　一方、ステップＳ８４で、ユーザの頭部の動きが小さいと判定された場合、処理はステップＳ８６へ進み、快不快判定部２３２は、ユーザの頭部の動きが小さい場合の教示データを用いて学習された判別モデルを用いて、ユーザの快不快状態を判定する。快不快状態の判定結果は、出力装置２１３に出力される。
　ステップＳ８７において、出力装置２１３は、情報処理装置２１２の快不快判定部２３２から供給された判定結果に応じた処理を実行する。例えば、出力装置２１３が表示装置である場合、出力装置２１３は、「快状態です」、「不快状態です」等のメッセージ画像を表示する。
　第４快不快判定処理は以上のように実行される。この第４快不快判定処理は、処理を終了させるユーザ操作が行われるまで繰り返し実行してもよい。
＜５．第３実施の形態の変形例＞
　図１２は、第３実施の形態の変形例に係る情報処理システムの構成例を示すブロック図である。
　図１２の情報処理システム２００は、情報処理装置２１２に接続されるウェアラブルデバイス２１１Xが備えるセンサの種類に応じて、快不快状態判定処理を切り替えることができるように構成されている。図１２の例では、ウェアラブルデバイス２１１Xとして、図９に示した第３実施の形態と同じウェアラブルデバイス２１１が、情報処理装置２１２に接続されている。
　図１２に示される情報処理システム２００は、ウェアラブルデバイス２１１、情報処理装置２１２、及び、出力装置２１３で構成される点で、図９に示した第３実施の形態と共通する。一方、図１２の情報処理システム２００は、情報処理装置２１２に、入力判定部２３３が新たに設けられている点で図９に示した第３実施の形態と相違する。
　情報処理装置２１２は、体動検出部２３１、快不快判定部２３２’、及び、入力判定部２３３を備える。入力判定部２３３は、情報処理装置２１２へ入力されるデータの種類を判定し、判定結果を快不快判定部２３２’に供給する。例えば、入力判定部２３３は、情報処理装置２１２へ入力されるデータを検知することでデータの種類を判定する。あるいはまた、情報処理装置２１２が、入力可能なデータの種類に応じて複数の動作モードを備えており、入力判定部２３３が、情報処理装置２１２に接続されたウェアラブルデバイス２１１Xが出力可能なデータに対応した動作モードをユーザに選択させることで、データの種類を判定してもよい。
　例えば図１２に示されるように、情報処理装置２１２に接続されたウェアラブルデバイス２１１Xが、図９に示した第３実施の形態と同じ、加速度センサ２２１と生体センサ２２２の両方を備えたウェアラブルデバイス２１１である場合、快不快判定部２３２’は、図９の快不快判定部２３２と同様に、ユーザの頭部の動きを検出した加速度のデータと生体情報とを用いて、ユーザの快不快状態の判定を行う。
　一方、情報処理装置２１２に接続されたウェアラブルデバイス２１１Xが、加速度センサ１２１のみを備えたウェアラブルデバイス１１１（図８）である場合、快不快判定部２３２’は、図８に示した第２実施の形態の快不快判定部２３と同様に、体動検出部２３１から供給される加速度のみを用いて、ユーザの快不快状態の判定を行う。
　あるいはまた、情報処理装置２１２に接続されたウェアラブルデバイス２１１Xが、生体センサ２２２のみを備えたウェアラブルデバイスである場合、快不快判定部２３２’は、生体センサ２２２から供給される生体情報のみを用いて、ユーザの快不快状態の判定を行う。
　以上のように、第３実施の形態の変形例に係る情報処理システム２００によれば、情報処理装置２１２へ入力される入力データの種類に応じて快不快状態判定処理（動作モード）を切り替えて、ユーザの快不快状態の判定を行うことができる。入力データの種類に応じて、例えば体動の大きさのみによる簡易的な快不快状態の推定と、体動の大きさと生体情報とを用いた、詳細な時系列と高い精度の快不快状態の推定とを切り替えて動作することができる。
＜６．ウェアラブルデバイス例＞
　図１３ないし図２０は、上述したウェアラブルデバイス１１１またはウェアラブルデバイス２１１として利用可能なデバイスの例を示している。
　図１３は、ヘッドマウントディスプレイ（ＨＭＤ）の例を示している。
　ヘッドマウントディスプレイ３００は、パッド部３０１とバンド部３０２を少なくとも有している。例えば、パッド部３０１またはバンド部３０２の所定の箇所に、センサ３０３が１つ以上設けられている。ヘッドマウントディスプレイ３００が上述したウェアラブルデバイス１１１である場合、センサ３０３は、ユーザの体動を検出するためのセンサである。ヘッドマウントディスプレイ３００が上述したウェアラブルデバイス２１１である場合、ユーザの体動を検出するためのセンサと生体情報を取得するためのセンサとを含む複数のセンサ３０３が設けられる。
　図１４は、ヘッドバンドの例を示している。
　ヘッドバンド３５０は、頭部と接触するバンド部３５１及び３５２を有している。例えば、バンド部３５１または３５２の所定の箇所に、センサ３５３が１つ以上設けられている。ヘッドバンド３５０が上述したウェアラブルデバイス１１１である場合、センサ３５３は、ユーザの体動を検出するためのセンサである。ヘッドバンド３５０が上述したウェアラブルデバイス２１１である場合、ユーザの体動を検出するためのセンサと生体情報を取得するためのセンサとを含む複数のセンサ３５３が設けられる。
　図１５は、ヘッドフォンの例を示している。
　ヘッドフォン４００は、頭部と接触するバンド部４０１と、耳と接触するイヤーパッド４０２とを有している。例えば、バンド部４０１またはイヤーパッド４０２の所定の箇所に、センサ４０３が１つ以上設けられている。ヘッドフォン４００が上述したウェアラブルデバイス１１１である場合、センサ４０３は、ユーザの体動を検出するためのセンサである。ヘッドフォン４００が上述したウェアラブルデバイス２１１である場合、ユーザの体動を検出するためのセンサと生体情報を取得するためのセンサとを含む複数のセンサ４０３が設けられる。
　図１６は、イヤホンの例を示している。
　イヤホン５００は、耳に挿入するイヤーピース５０１を有している。例えば、イヤーピース５０１の所定の箇所に、センサ５０２が１つ以上設けられている。イヤホン５００が上述したウェアラブルデバイス１１１である場合、センサ５０２は、ユーザの体動を検出するためのセンサである。イヤホン５００が上述したウェアラブルデバイス２１１である場合、ユーザの体動を検出するためのセンサと生体情報を取得するためのセンサとを含む複数のセンサ５０２が設けられる。
　図１７は、時計の例を示している。
　時計６００は、時刻等を表示する表示部６０１と、バンド部６０２と、バックル部６０３とを有している。例えば、バックル部６０３の所定の箇所に、センサ６０４が１つ以上設けられている。時計６００が上述したウェアラブルデバイス１１１である場合、センサ６０４は、ユーザの体動を検出するためのセンサである。時計６００が上述したウェアラブルデバイス２１１である場合、ユーザの体動を検出するためのセンサと生体情報を取得するためのセンサとを含む複数のセンサ６０４が設けられる。
　図１８は、スマートグラス（眼鏡）の例を示している。
　スマートグラス７００は、耳に掛ける耳掛け部７０１と、レンズを支えるレンズフレーム部７０３とを有している。例えば、耳掛け部７０１の所定の箇所に、センサ７０２が１つ以上設けられている。スマートグラス７００が上述したウェアラブルデバイス１１１である場合、センサ７０２は、ユーザの体動を検出するためのセンサである。スマートグラス７００が上述したウェアラブルデバイス２１１である場合、ユーザの体動を検出するためのセンサと生体情報を取得するためのセンサとを含む複数のセンサ７０２が設けられる。
　図１９は、ヘッドセットの例を示している。
　ヘッドセット８００は、頭部と接触するバンド部８０１と、耳と接触するイヤーパッド８０２と、マイクロホンが内蔵されたマイク部８０３とを有している。例えば、バンド部８０１またはイヤーパッド８０２の所定の箇所に、センサ８０４が１つ以上設けられている。ヘッドセット８００が上述したウェアラブルデバイス１１１である場合、センサ８０４は、ユーザの体動を検出するためのセンサである。ヘッドセット８００が上述したウェアラブルデバイス２１１である場合、ユーザの体動を検出するためのセンサと生体情報を取得するためのセンサとを含む複数のセンサ８０４が設けられる。
　図２０は、マスクの例を示している。
　マスク９００は、耳に掛ける耳ひも９０１と、鼻及び口を覆う本体部９０２とを有している。例えば、本体部９０２の所定の箇所に、センサ９０３が１つ以上設けられている。マスク９００が上述したウェアラブルデバイス１１１である場合、センサ９０３は、ユーザの体動を検出するためのセンサである。マスク９００が上述したウェアラブルデバイス２１１である場合、ユーザの体動を検出するためのセンサと生体情報を取得するためのセンサとを含む複数のセンサ９０３が設けられる。
＜７．コンピュータ構成例＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２１は、上述した情報処理装置１、１１２、または２１２がコンピュータで構成される場合のハードウエア構成例を示すブロック図である。
　コンピュータ１０００は、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３を有する。CPU１００１、ROM１００２、及びRAM１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部１００７は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部１００８は、ハードディスク、SSD（Solid State Drive）、RAMディスク、不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
　例えば、本開示の技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本開示の技術は、以下の構成を採用することができる。
（１）
　センサで得られたデータから人の体動を検出する検出部と、
　検出された前記体動に基づいて、前記人の快不快状態を判定する判定部と
　を備える情報処理装置。
（２）
　前記検出部は、前記人の体動を、加速度により検出する
　前記（１）に記載の情報処理装置。
（３）
　前記検出部は、前記人の体動として、前記人の頭部の加速度を検出する
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記判定部は、前記人が発話中の期間を特定し、発話中の前記体動に基づいて前記人の快不快状態を判定する
　前記（１）ないし（３）のいずれかに記載の情報処理装置。
（５）
　前記判定部は、前記体動の大きさに応じて前記人の快不快状態を判定する
　前記（１）ないし（４）のいずれかに記載の情報処理装置。
（６）
　前記検出部は、前記体動を加速度により検出し、
　前記判定部は、前記加速度を所定の閾値と比較することで前記人の快不快状態を判定する
　前記（１）ないし（５）のいずれかに記載の情報処理装置。
（７）
　前記判定部は、前記加速度が所定の閾値より大きい場合、快状態と判定し、前記加速度が前記所定の閾値以下の場合、不快状態と判定する
　前記（６）に記載の情報処理装置。
（８）
　前記判定部は、快状態か否かを判定する第１の閾値と、不快状態か否かを判定する第２の閾値とが異なる
　前記（６）に記載の情報処理装置。
（９）
　前記第１の閾値は前記第２の閾値より大きく、
　前記判定部は、前記加速度が前記第１の閾値より大きい場合、快状態と判定し、前記加速度が前記第２の閾値以下の場合、不快状態と判定する
　前記（８）に記載の情報処理装置。
（１０）
　前記所定の閾値は、AUCに基づいて決定される
　前記（６）ないし（９）のいずれかに記載の情報処理装置。
（１１）
　前記所定の閾値は、前記人の体動を示す過去のデータに基づいて更新される
　前記（６）ないし（１０）のいずれかに記載の情報処理装置。
（１２）
　前記センサは、前記人に装着されている加速度センサであり、
　前記検出部は、前記加速度センサからの前記データに基づいて前記人の体動を検出する
　前記（１）ないし（１１）のいずれかに記載の情報処理装置。
（１３）
　前記センサは、前記人を撮影するイメージセンサであり、
　前記検出部は、前記イメージセンサからの画像データに基づいて前記人の加速度を検出することで、前記人の体動を検出する
　前記（１）ないし（１１）のいずれかに記載の情報処理装置。
（１４）
　前記判定部は、前記検出部で検出された前記体動と、前記人の生体情報に基づく快不快状態を判定する判別モデルとを用いて、前記人の快不快状態を判定する
　前記（１）ないし（１３）のいずれかに記載の情報処理装置。
（１５）
　入力される１つ以上の前記センサのデータの種類を判定する入力判定部をさらに備え、　前記判定部は、１つ以上の前記センサで得られたデータを用いて、前記人の快不快状態を判定する
　前記（１）ないし（１４）のいずれかに記載の情報処理装置。
（１６）
　前記判定部の判定結果に基づく所定の出力を行う出力部をさらに備える
　前記（１）ないし（１５）のいずれかに記載の情報処理装置。
（１７）
　前記出力部は、前記判定部の判定結果に基づく前記人への指示情報を出力する
　前記（１６）に記載の情報処理装置。
（１８）
　センサを含むデバイスと、
　前記センサで得られたデータから人の体動を検出する検出部と、
　検出された前記体動に基づいて、前記人の快不快状態を判定する判定部と、
　判定結果に基づく所定の出力を行う出力部と
　を含む情報処理システム。
　１　情報処理装置，　２１　センサ，　２２　体動検出部，　２３　快不快判定部，　２４　出力部，　５１　カメラ，　５２　マイクロホン，　５３　ディスプレイ，　６１　通話アプリ，　１００　情報処理システム，　１１１　ウェアラブルデバイス，　１１２　情報処理装置，　１１３　出力装置，　１２１　加速度センサ，　２００　情報処理システム，　２１１　ウェアラブルデバイス，　２１２　情報処理装置，　２１３　出力装置，　２２１　加速度センサ，　２２２　生体センサ，　２３１　体動検出部，　２３２,２３２'　快不快判定部，　２３３　入力判定部，　３００　ヘッドマウントディスプレイ，　３５０　ヘッドバンド，　４００　ヘッドフォン，　５００　イヤホン，　６００　時計，　７００　スマートグラス，　８００　ヘッドセット，　９００　マスク，　１０００　コンピュータ，　１００１　CPU，　１００２　ROM，　１００６　入力部，　１００７　出力部，　１００８　記憶部，　１００９　通信部，　１０１０　ドライブ，　１０１１　リムーバブル記録媒体

Claims (18)

  1. 　センサで得られたデータから人の体動を検出する検出部と、
    　検出された前記体動に基づいて、前記人の快不快状態を判定する判定部と
    　を備える情報処理装置。
  2. 　前記検出部は、前記人の体動を、加速度により検出する
    　請求項１に記載の情報処理装置。
  3. 　前記検出部は、前記人の体動として、前記人の頭部の加速度を検出する
    　請求項１に記載の情報処理装置。
  4. 　前記判定部は、前記人が発話中の期間を特定し、発話中の前記体動に基づいて前記人の快不快状態を判定する
    　請求項１に記載の情報処理装置。
  5. 　前記判定部は、前記体動の大きさに応じて前記人の快不快状態を判定する
    　請求項１に記載の情報処理装置。
  6. 　前記検出部は、前記体動を加速度により検出し、
    　前記判定部は、前記加速度を所定の閾値と比較することで前記人の快不快状態を判定する
    　請求項１に記載の情報処理装置。
  7. 　前記判定部は、前記加速度が所定の閾値より大きい場合、快状態と判定し、前記加速度が前記所定の閾値以下の場合、不快状態と判定する
    　請求項６に記載の情報処理装置。
  8. 　前記判定部は、快状態か否かを判定する第１の閾値と、不快状態か否かを判定する第２の閾値とが異なる
    　請求項６に記載の情報処理装置。
  9. 　前記第１の閾値は前記第２の閾値より大きく、
    　前記判定部は、前記加速度が前記第１の閾値より大きい場合、快状態と判定し、前記加速度が前記第２の閾値以下の場合、不快状態と判定する
    　請求項８に記載の情報処理装置。
  10. 　前記所定の閾値は、AUCに基づいて決定される
    　請求項６に記載の情報処理装置。
  11. 　前記所定の閾値は、前記人の体動を示す過去のデータに基づいて更新される
    　請求項６に記載の情報処理装置。
  12. 　前記センサは、前記人に装着されている加速度センサであり、
    　前記検出部は、前記加速度センサからの前記データに基づいて前記人の体動を検出する
    　請求項１に記載の情報処理装置。
  13. 　前記センサは、前記人を撮影するイメージセンサであり、
    　前記検出部は、前記イメージセンサからの画像データに基づいて前記人の加速度を検出することで、前記人の体動を検出する
    　請求項１に記載の情報処理装置。
  14. 　前記判定部は、前記検出部で検出された前記体動と、前記人の生体情報に基づく快不快状態を判定する判別モデルとを用いて、前記人の快不快状態を判定する
    　請求項１に記載の情報処理装置。
  15. 　入力される１つ以上の前記センサのデータの種類を判定する入力判定部をさらに備え、　前記判定部は、１つ以上の前記センサで得られたデータを用いて、前記人の快不快状態を判定する
    　請求項１に記載の情報処理装置。
  16. 　前記判定部の判定結果に基づく所定の出力を行う出力部をさらに備える
    　請求項１に記載の情報処理装置。
  17. 　前記出力部は、前記判定部の判定結果に基づく前記人への指示情報を出力する
    　請求項１６に記載の情報処理装置。
  18. 　センサを含むデバイスと、
    　前記センサで得られたデータから人の体動を検出する検出部と、
    　検出された前記体動に基づいて、前記人の快不快状態を判定する判定部と、
    　判定結果に基づく所定の出力を行う出力部と
    　を含む情報処理システム。
PCT/JP2023/039182 2022-11-18 2023-10-31 情報処理装置および情報処理システム WO2024106195A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022184667 2022-11-18
JP2022-184667 2022-11-18

Publications (1)

Publication Number Publication Date
WO2024106195A1 true WO2024106195A1 (ja) 2024-05-23

Family

ID=91084417

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/039182 WO2024106195A1 (ja) 2022-11-18 2023-10-31 情報処理装置および情報処理システム

Country Status (1)

Country Link
WO (1) WO2024106195A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013255742A (ja) * 2012-06-14 2013-12-26 Tokyo Univ Of Agriculture & Technology 感性評価装置、方法、及びプログラム
JP2018166653A (ja) * 2017-03-29 2018-11-01 アイシン精機株式会社 気分判定装置
JP2020096679A (ja) * 2018-12-17 2020-06-25 株式会社日立ソリューションズ東日本 不快感情推定装置および不快感情推定方法
JP2021019983A (ja) * 2019-07-30 2021-02-18 株式会社豊田中央研究所 心理状態判定装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013255742A (ja) * 2012-06-14 2013-12-26 Tokyo Univ Of Agriculture & Technology 感性評価装置、方法、及びプログラム
JP2018166653A (ja) * 2017-03-29 2018-11-01 アイシン精機株式会社 気分判定装置
JP2020096679A (ja) * 2018-12-17 2020-06-25 株式会社日立ソリューションズ東日本 不快感情推定装置および不快感情推定方法
JP2021019983A (ja) * 2019-07-30 2021-02-18 株式会社豊田中央研究所 心理状態判定装置

Similar Documents

Publication Publication Date Title
US11937943B2 (en) Detection of physical abuse or neglect using data from ear-wearable devices
US10366778B2 (en) Method and device for processing content based on bio-signals
Nguyen et al. A lightweight and inexpensive in-ear sensing system for automatic whole-night sleep stage monitoring
CN107683399B (zh) 声音输出装置、电子装置、以及其控制方法
US11032457B2 (en) Bio-sensing and eye-tracking system
US20240023892A1 (en) Method and system for collecting and processing bioelectrical signals
JP7422801B2 (ja) 脳波データ分析方法及び脳波測定検査のための情報の呈示方法
JP2016126500A (ja) ウェアラブル端末装置およびプログラム
JP2008099834A (ja) 表示装置、表示方法
JP7207468B2 (ja) 出力制御装置、出力制御方法およびプログラム
KR20160146424A (ko) 전자 장치 및 그 제어 방법
US11635816B2 (en) Information processing apparatus and non-transitory computer readable medium
KR20230134118A (ko) 정신 상태 및 입력 명령을 결정하기 위한 생체 데이터 모니터링
EP3996385A1 (en) Daydream-aware information recovery system
WO2024106195A1 (ja) 情報処理装置および情報処理システム
WO2022065446A1 (ja) 感情判定装置、感情判定方法及び感情判定プログラム
Nguyen et al. LIBS: a low-cost in-ear bioelectrical sensing solution for healthcare applications
WO2022209499A1 (ja) 情動情報を表示する情報処理システム
US12033758B2 (en) Information processing apparatus and non-transitory computer readable medium
US11769595B2 (en) Information processing apparatus and non-transitory computer readable medium
WO2023199839A1 (ja) 内面状態推定装置、内面状態推定方法及び記憶媒体
JP2022153233A (ja) 情報処理システム
Omata et al. Electro-oculographic Discrimination of Gazing Motion to a Smartphone Notification Tone
JP2021035499A (ja) アイウエア、データ収集システム及びデータ収集方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23891348

Country of ref document: EP

Kind code of ref document: A1