WO2019193781A1 - 感情推定装置、感情推定方法及びプログラム - Google Patents

感情推定装置、感情推定方法及びプログラム Download PDF

Info

Publication number
WO2019193781A1
WO2019193781A1 PCT/JP2018/039713 JP2018039713W WO2019193781A1 WO 2019193781 A1 WO2019193781 A1 WO 2019193781A1 JP 2018039713 W JP2018039713 W JP 2018039713W WO 2019193781 A1 WO2019193781 A1 WO 2019193781A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation value
emotion
value group
evaluation
correction
Prior art date
Application number
PCT/JP2018/039713
Other languages
English (en)
French (fr)
Inventor
隆 杉本
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2020511592A priority Critical patent/JP6941800B2/ja
Priority to US16/977,463 priority patent/US11373448B2/en
Publication of WO2019193781A1 publication Critical patent/WO2019193781A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • This disclosure relates to a technique for estimating emotions.
  • an emotion estimation device that estimates an emotion of a subject by acquiring an image of the subject (that is, a subject for emotion estimation) and recognizing a facial expression from the image is known (see, for example, Patent Documents 1 and 2). .
  • the emotion of the subject may not be properly estimated by the conventional emotion estimation device.
  • the present disclosure provides an emotion estimation apparatus that can appropriately (for example, with high accuracy) estimate a subject's emotion using a new technique for emotion estimation.
  • the present disclosure also provides an emotion estimation method and an emotion estimation program (that is, a computer program) used in the emotion estimation apparatus.
  • the emotion estimation device is an emotion estimation device that estimates a subject's emotion, and an evaluation value group that is a set of evaluation values for each of a plurality of types of emotion attributes that classify emotions for the subject.
  • An acquisition unit that sequentially acquires, a first evaluation value group that is an evaluation value group acquired by the acquisition unit, and a second evaluation that is an evaluation value group acquired before the first evaluation value group by the acquisition unit If the difference between the evaluation values for the same emotion attribute in the first evaluation value group and the second evaluation value group does not exceed a predetermined reference according to the relationship with the value group, A correction process for correcting one or more evaluation values is executed on the first evaluation value group so as to decrease the evaluation value of one evaluation value group, and the first evaluation value group after execution of the correction process Based on the plurality of types of emotion attributes A processing unit for executing an estimation process for estimating the emotion of the target person, and a result of the estimation process by the processing unit, so that an emotion attribute having a higher corresponding evaluation value is strongly estimated as the emotion of the target person
  • An emotion estimation device is an emotion estimation device that estimates an emotion of a target person, and is an evaluation value group that is a set of evaluation values for each of a plurality of types of emotion attributes that classify emotions for the target person. Are sequentially acquired, a first evaluation value group that is an evaluation value group acquired by the acquisition unit, and an evaluation value group that is acquired before the first evaluation value group by the acquisition unit. In accordance with the relationship with the two evaluation value groups, a correction value is determined based on whether or not the difference between the evaluation values for the same emotion attribute in the first evaluation value group and the second evaluation value group exceeds a predetermined criterion.
  • the evaluation value of the third evaluation value group for the same emotion attribute in the third evaluation value group acquired after the first evaluation value group by the acquisition unit is changed.
  • the emotion estimation method is an emotion estimation method for estimating a subject's emotion, and is an evaluation value group that is a set of evaluation values for each of a plurality of types of emotion attributes into which the emotion is classified. Are sequentially acquired, a first evaluation value group that is an evaluation value group acquired in the acquisition step, and an evaluation value group that is acquired before the first evaluation value group in the acquisition step.
  • a correction step for executing correction processing for correcting one or more evaluation values for the first evaluation value group so as to decrease the evaluation value of the first evaluation value group, and the correction processing in the correction step After running Based on the first evaluation value group, the emotional attribute of the target person is estimated to be relatively strong as the emotional attribute of the target person with a relatively high evaluation value corresponding to the plurality of emotional attributes.
  • the program in the present disclosure is a program for causing an emotion estimation apparatus that includes a microprocessor to estimate an emotion of a target person to perform an emotion estimation process.
  • the acquisition step of sequentially acquiring an evaluation value group that is a set of evaluation values for each of the plurality of classified emotion attributes, the first evaluation value group that is the evaluation value group acquired in the acquisition step, and the acquisition step Evaluation values for the same emotion attribute in the first evaluation value group and the second evaluation value group according to the relationship with the second evaluation value group that is the evaluation value group acquired before the first evaluation value group.
  • One or more evaluation values for the first evaluation value group so as to decrease the evaluation value of the first evaluation value group for the same emotion attribute when the difference between them does not exceed a predetermined criterion
  • the corresponding evaluation value among the plurality of types of emotion attributes is relatively high
  • the subject's emotion can be appropriately estimated.
  • FIG. 1 is a diagram illustrating a configuration example of a system including an emotion estimation apparatus according to the first embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of the emotion estimation apparatus according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of evaluation value groups related to emotion attributes acquired by the emotion estimation device.
  • FIG. 4 is a diagram illustrating an example of an initial value of a correction value corresponding to each emotion attribute stored in the emotion estimation apparatus.
  • FIG. 5 is a flowchart illustrating an example of emotion estimation processing in the emotion estimation apparatus.
  • FIG. 6A is a flowchart illustrating an example of correction processing (operation example 1) in the emotion estimation apparatus.
  • FIG. 6B is a flowchart illustrating an example (operation example 2) of correction processing in the emotion estimation apparatus.
  • FIG. 1 is a diagram illustrating a configuration example of a system including an emotion estimation apparatus according to the first embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of the emotion estimation apparatus according to the first
  • FIG. 6C is a flowchart illustrating an example of correction processing (operation example 3) in the emotion estimation apparatus.
  • FIG. 6D is a flowchart illustrating an example of correction processing (operation example 4) in the emotion estimation apparatus.
  • FIG. 6E is a flowchart illustrating an example of correction processing (operation example 5) in the emotion estimation apparatus.
  • FIG. 6F is a flowchart illustrating an example of correction processing (operation example 6) in the emotion estimation apparatus.
  • FIG. 7 is a diagram illustrating an implementation result according to an example of emotion estimation processing.
  • FIG. 8 is a diagram illustrating an example of an emotion estimation result output by the emotion estimation device.
  • FIG. 9 is a block diagram illustrating a functional configuration of the emotion estimation apparatus according to the second embodiment.
  • the emotion estimation device is an emotion estimation apparatus for estimating the emotion of the target person, for each of a plurality of types of emotion attributes into which the emotion is classified.
  • An evaluation value group that is a set of evaluation values, an acquisition unit that sequentially acquires, a first evaluation value group that is an evaluation value group acquired by the acquisition unit, and the acquisition unit before the first evaluation value group
  • the difference between the evaluation values for the same emotion attribute in the first evaluation value group and the second evaluation value group does not exceed a predetermined criterion.
  • a correction process is performed to correct one or more evaluation values for the first evaluation value group so as to decrease the evaluation value of the first evaluation value group for the same emotion attribute, and the correction In the first evaluation value group after execution of processing Therefore, a processing unit that executes an estimation process for estimating the emotion of the target person so that an emotion attribute having a higher evaluation value corresponding to the emotion attribute of the plurality of types is strongly estimated as the emotion of the target person, And an output unit that outputs a result of the estimation process performed by the processing unit.
  • FIG. 1 is a configuration diagram of an emotion estimation system.
  • This emotion estimation system includes a display device 10 and a server device 30 that communicate via a communication path 40.
  • the communication path 40 is a communication network for wired or wireless communication.
  • the server apparatus 30 used as the communication other party of the display apparatus 10 may mutually be separated and several may exist.
  • the user 20 of the display device 10 is an emotion estimation target person. In this emotion estimation system, the emotion of the user 20 with respect to the display content of the display is estimated.
  • the estimation result of the emotion of the user 20 may be shown to the user 20, or is collected by the server device 30, and the server device 30 analyzes the correlation with the display content of the display, and the analysis result is used for various purposes. It may also be used for device control such as switching of display contents of the display device 10 or the like.
  • the display device 10 includes, for example, a computer including a processor, a recording medium (for example, a memory or a hard disk), a communication interface (that is, a communication circuit), a user interface, and the like.
  • the display device 10 may be, for example, a personal computer, a device such as a stationary television (television) receiver, or a portable tablet or smartphone.
  • the display device 10 includes a display control unit 11, a communication unit 12, an image sensor 13, and an emotion estimation device 100 in terms of functions.
  • the display control unit 11 is realized by a display (for example, a liquid crystal display or an organic EL (Electro-Luminescence) display) and a control circuit, and controls to display an image on the display surface.
  • the display control unit 11 performs display control on an image such as a moving image or a still image received via the communication unit 12 on the display surface.
  • the content of the image may be any visual information such as a photograph, text or graphic.
  • the display control unit 11 may have a web browser function, for example. Note that the display control unit 11 may perform control to display an image recorded on a recording medium included in the display device 10 on a display surface.
  • the communication unit 12 is realized by a communication interface that communicates with the server device 30 wirelessly or by wire.
  • the server device 30 is, for example, a computer having a function of transmitting an image displayed on the display by the display device 10 (for example, a television broadcast function or a web server function).
  • the communication unit 12 has a function of receiving an image as display content of the display and transmitting the image to the display control unit 11.
  • the communication unit 12 is realized by, for example, a tuner that receives various television broadcasts or a network interface for accessing a website such as the Internet.
  • the user 20 When displaying a television image (that is, video content of a television broadcast) on the display, the user 20 performs a receiving channel selection operation, for example, on the tuner of the communication unit 12 via the user interface of the display device 10. obtain.
  • the user 20 performs an operation of designating information (for example, a network address of a website) such as a URL (Uniform ResourceatorLocator) that designates information of a web page as an image to be displayed on a display from the network. Can be done.
  • designating information for example, a network address of a website
  • URL Uniform ResourceatorLocator
  • the server device 30 when the server device 30 receives a face image that is a sensing result of the user 20 (that is, an image in which the subject's face is reflected), the server device 30 evaluates the emotion of the subject based on the face image and obtains the evaluation result. It has an emotion evaluation function that sends a reply to the face image sender.
  • This emotion evaluation function uses, for example, a technique similar to that of a conventional emotion estimation device (for example, the emotion estimation device in Patent Document 1 or Patent Document 2), and facial expressions represented by facial images are classified into a plurality of types of emotions. This is a function for evaluating how much each emotion class (referred to as emotion attribute) is represented.
  • This evaluation is performed by, for example, an evaluation result (that is, an evaluation for each emotion attribute) such as image processing or feature matching based on the acquired face image and information indicating the feature of the face image in each of a plurality of types of emotion attributes. Value).
  • an evaluation value group which is a set of evaluation values for each of a plurality of types of emotion attributes, is returned to the face image transmission source as an evaluation result.
  • the communication unit 12 sequentially transmits the face images sequentially generated by the image sensor 13 to the server device 30, and the evaluation results are sequentially returned from the server device 30.
  • the evaluation value group is received and transmitted to the emotion estimation apparatus 100 sequentially.
  • the image sensor 13 is arranged so that the front of the display of the display device 10 can be imaged, and sequentially captures the face of the user 20 who views the display, thereby sequentially generating a face image as a sensing result and communicating. It is a sensor that transmits to the unit 12.
  • the imaging interval is, for example, several hundred milliseconds, several seconds or several tens of seconds, and is not necessarily constant.
  • the emotion estimation device 100 is a device that estimates the emotion of the user 20 as an emotion estimation target, and is realized by, for example, a computer provided in the display device 10. Specifically, the emotion estimation apparatus 100 realizes an emotion estimation method for estimating the emotion of the target person by executing a program for estimating an emotion stored in a memory by a processor.
  • FIG. 2 is a block diagram illustrating a functional configuration of the emotion estimation apparatus 100.
  • the emotion estimation apparatus 100 includes an acquisition unit 110, a storage unit 120, a processing unit 130, and an output unit 140 as shown in FIG.
  • the acquisition unit 110 has a function of sequentially acquiring an evaluation value group that is a set of evaluation values for each of a plurality of types of emotion attributes that classify emotions for the subject.
  • the acquisition unit 110 stores the evaluation value group acquired sequentially in the storage unit 120.
  • the acquisition unit 110 can be realized by, for example, a communication interface and a processor that executes a program.
  • the program may be an application (application program) or a part of an OS (Operating System), for example.
  • an application application program
  • OS Operating System
  • the evaluation value group is each evaluation result calculated by the server device 30 according to each sensing result (that is, a face image) by the image sensor 13 that sequentially images the user 20.
  • the interval at which the acquisition unit 110 acquires the evaluation value group is not particularly limited, and is, for example, several hundred milliseconds, several seconds, several tens of seconds, or several minutes, and does not necessarily have to be a constant interval.
  • emotion attributes related to the evaluation value group acquired by the acquisition unit 110 that is, examples of a plurality of types of emotion attributes into which emotions are classified
  • each emotion attribute may or may not have a correlation.
  • the evaluation values for each of a plurality of types of emotion attributes that constitute the evaluation value group acquired by the acquisition unit 110 from the server device 30 for example, the emotion attributes for the evaluation values are included in the emotion of the target person (that is, the user 20).
  • any value such as a probability (%) indicating a high possibility, a level, or the number of points may be used.
  • the evaluation value for the emotion attribute has a higher number of ranks (for example, the lowest rank is the highest at level 1) as the probability that the emotion attribute of the subject person is likely to be included is higher.
  • the rank may be expressed as level 5).
  • the evaluation value for one emotion attribute constituting the evaluation value group sequentially acquired by the acquisition unit 110 represents the probability (%) indicating the possibility that the emotion attribute is included in the emotion of the target person, and the evaluation value
  • the sum of the evaluation values of all the emotion attributes of the group is normalized so as to be a constant value (100% in this example).
  • the storage unit 120 stores correction values corresponding to a plurality of types of emotion attributes into which emotions are classified.
  • the storage unit 120 is an area of a storage medium such as a memory for storing the evaluation value group acquired by the acquisition unit 110.
  • the storage medium is not limited to the memory, and may be a hard disk or the like.
  • Each evaluation value group acquired by the acquisition unit 110 may be deleted after it is no longer necessary in the estimation process in the processing unit 130.
  • the correction value is a value used for calculation in correction processing executed by the correction unit 131 in the processing unit 130.
  • FIG. 3 shows an example of evaluation value groups related to emotion attributes, which are sequentially acquired by the acquisition unit 110 of the emotion estimation apparatus 100 and stored in the storage unit 120.
  • the evaluation value group of the evaluation N (N is a natural number of 1 or more) acquired by the acquisition unit 110 from the server device 30 is an evaluation value of 50 (%) with respect to the emotion attribute “calm”, and the emotion attribute An evaluation value of 0 (%) for “joy”, an evaluation value of 5 (%) for the emotion attribute “surprise”, an evaluation value of 15 (%) for the emotion attribute “anger”, and 30 for the emotion attribute “sadness” (%) And the evaluation value.
  • the total evaluation value is 100%.
  • FIG. 4 shows an example of initial values of correction values stored in the storage unit 120 and corresponding to a plurality of types of emotion attributes.
  • the initial value of the correction value corresponding to each emotion attribute is zero (0).
  • the processing unit 130 is realized by an electronic circuit such as a processor that executes a program, and includes a correction unit 131 and an estimation unit 132 in terms of functions.
  • the processing unit 130 performs correction processing by the correction unit 131 and performs estimation processing by the estimation unit 132.
  • the correction unit 131 executes correction processing.
  • This correction process includes a first evaluation value group that is an evaluation value group acquired by the acquisition unit 110 and a second evaluation value group that is an evaluation value group acquired by the acquisition unit 110 before the first evaluation value group. If the difference between the evaluation values for the same emotion attribute in the first evaluation value group and the second evaluation value group does not exceed a predetermined criterion, the first evaluation value group for the same emotion attribute This is a process of correcting one or more evaluation values for the first evaluation value group so as to decrease the evaluation value.
  • the second evaluation value group there are a method using an evaluation value group as acquired by the acquisition unit 110 and a method using an evaluation value group that has changed as a result of correction processing that has already been executed.
  • the correction unit 131 applies the first evaluation value group so that the sum of the evaluation values of the first evaluation value group after the execution of the correction process described above maintains a constant value (for example, 100%).
  • the evaluation values of the first evaluation value group other than the evaluation values corrected to decrease are increased, for example, evenly (that is, by adding the same values).
  • the difference between the evaluation values for the same emotion attribute in the two evaluation value groups sequentially acquired by the acquisition unit 110 and a predetermined criterion are, for example, a difference, a ratio, a differentiation (for example, division by a time interval of the difference) ) Can be realized by the calculation processing.
  • the difference between the evaluation values may be a difference in rank from a higher evaluation value among a plurality of types of emotion attributes (that is, a difference in level when the number of ranks is expressed as a level).
  • the predetermined reference to be compared with the difference may be one point of 0 (zero), for example, or may be a range of 1 or 2, for example. If the predetermined standard to be compared with the difference between the evaluation values is zero (this zero is 0 when the difference is expressed as a difference), if the evaluation values are the same value, the predetermined standard is not exceeded and the value other than the same value If so, the predetermined standard may be exceeded.
  • the predetermined criterion is 1, if the difference between the evaluation values is 1 or less, the predetermined criterion may be exceeded when the predetermined criterion is not exceeded.
  • the predetermined standard is, for example, a relatively small range (for example, 0 to 2) with respect to a range of values that the evaluation value can take (for example, 0 to 100).
  • the predetermined criterion is that the difference between the evaluation values is a difference in rank from a higher evaluation value among a plurality of types of emotion attributes (that is, a difference in level when the number of ranks is expressed as a level). If it is zero, the predetermined standard will not be exceeded if there is no change in rank between evaluation values.
  • the correction unit 131 for example, the highest evaluation value, which is the highest evaluation value in the first evaluation value group acquired by the acquisition unit 110, and the second evaluation value.
  • the difference between the emotion attribute for the highest evaluation value in the value group and the evaluation value for the same emotion attribute does not exceed the predetermined standard
  • the correction process is executed by decreasing the highest evaluation value and uniformly increasing the evaluation values other than the highest evaluation value. For example, in the correction process, when the difference between evaluation values for the same emotion attribute in the first evaluation value group and the second evaluation value group is 0, it is assumed that the above difference does not exceed a predetermined criterion.
  • the evaluation value of the first evaluation value group for the same emotion attribute may be decreased.
  • the predetermined criterion is set to zero (0) and attention is paid to the difference in rank of evaluation values for the same emotion attribute in the two evaluation value groups, the highest evaluation value in the first evaluation value group and the second evaluation value group Of the evaluation value for the same emotion attribute as the emotion attribute for the highest evaluation value in the second evaluation value group as the difference between the emotion attribute for the highest evaluation value and the evaluation value for the same emotion attribute.
  • the difference is treated as not exceeding a predetermined standard.
  • correction processing may be performed.
  • the correction unit 131 first initializes the correction value using the correction value corresponding to each emotion attribute shown in FIG. And the correction
  • the evaluation value of the first evaluation value group for the emotion attribute is decreased by an operation of updating the correction value corresponding to the emotion attribute to be reduced and adding the correction value to the evaluation value.
  • the estimation unit 132 performs an estimation process. Based on the evaluation value after executing the correction process for each emotion attribute, the estimation unit 132 executes the predetermined processing algorithm (combination of various calculations and condition determination processes, etc.) to extract the emotion of the target person (that is, the user 20). An estimation process for estimation is performed, and the result of the estimation process is transmitted to the output unit 140. This estimation process is based on the first evaluation value group after execution of the correction process by the correction unit 131, and an emotion attribute having a relatively high evaluation value among a plurality of types of emotion attributes is relatively relative to the target person's emotion. This is a process of estimating the emotion of the subject so as to be strongly estimated.
  • the estimation unit 132 assumes that the emotion attribute of the evaluation value is higher than the emotion attribute corresponding to the relatively high evaluation value among the plurality of types of emotion attributes.
  • the estimation process is performed so as to greatly affect the process.
  • the estimation processing result transmitted to the output unit 140 by the estimation unit 132 may be any form of signal or data, such as character string data indicating one emotion attribute estimated as an emotion. Good.
  • the estimation unit 132 has an emotion attribute for the highest evaluation value (for example, “joy” if “joy” is a relatively highest evaluation value) in the first evaluation value group after execution of the correction process, It is good also as presuming that it is a subject's emotion, and emotion attributes (for example, "joy” and "surprise") with respect to the top N (for example, N is two) evaluation values are combined, It may be estimated that it is an emotion. Further, for example, the estimation unit 132 may estimate that the first evaluation value group after the correction process is performed, that is, the set of evaluation values for each emotion attribute, is the emotion of the target person.
  • An example of the estimation result of “emotion” is “40% calm, 50% joy, 10% surprise, 0% anger, 0% sadness”.
  • the processing unit 130 sequentially repeats the correction processing by the correction unit 131 and the estimation processing by the estimation unit 132 by sequentially referring to the evaluation value group stored in the storage unit 120 every time the acquisition unit 110 acquires the evaluation value group. Can be executed.
  • the processing unit 130 causes the correction unit 131 to execute the estimation process after the estimation unit 132 executes the estimation process based on the first evaluation value group after the correction unit 131 performs the correction process.
  • the third evaluation value group Correction processing may be newly executed.
  • the processing unit 130 causes the correction unit 131 to determine that the difference between evaluation values for the same emotion attribute in the first evaluation value group and the third evaluation value group after the execution of the correction processing exceeds a predetermined reference. If there is not, a correction process for correcting one or more evaluation values for the third evaluation value group may be newly executed so as to decrease the evaluation value of the third evaluation value group for the same emotion attribute. Good. In this case, based on the third evaluation value group after the execution of the correction process, the processing unit 130 makes the emotion attribute having a relatively high corresponding evaluation value among the plurality of types of emotion attributes relative to the subject person's emotion. In addition, the estimation unit 132 may newly perform an estimation process so that the estimation process is strongly estimated.
  • the output unit 140 is realized by, for example, a processor that executes a program, a communication interface, and the like.
  • the output unit 140 acquires a result of the estimation process performed by the estimation unit 132 in the processing unit 130 and outputs the result to the outside of the emotion estimation apparatus 100. This output is, for example, transmission of a signal representing information indicating the result of estimation processing to the outside.
  • the output unit 140 of the emotion estimation apparatus 100 in the display device 10 can display the result of the estimation process on the display by transmitting the result of the estimation process to the display control unit 11 via the communication unit 12, for example. Further, the output unit 140 of the emotion estimation device 100 in the display device 10 may transmit the result of the estimation process to the server device 30 via the communication unit 12, for example.
  • FIG. 5 is a flowchart showing an example of emotion estimation processing as an emotion estimation method in emotion estimation apparatus 100. Hereinafter, the operation of the emotion estimation apparatus 100 will be described with reference to FIG.
  • the emotion estimation process is started, for example, when each unit (image sensor 13, emotion estimation device 100, etc.) of the display device 10 is activated by a power-on operation of the display device 10 by the user 20 who is a subject of emotion estimation. .
  • the image is transmitted to the server device 30.
  • an evaluation value group that is, an evaluation value of each of a plurality of types of emotion attributes
  • the correction unit 131 of the processing unit 130 performs an initialization process that initializes the correction values for each of the plurality of types of emotion attributes stored in the storage unit 120 to 0 (Step S1). S1).
  • the acquisition unit 110 acquires an evaluation value group as the emotion evaluation result of the subject (step S2). For example, based on the face image as a sensing result by the image sensor 13, the server device 30 transmits an evaluation value group that is a set of evaluation values for each of a plurality of types of emotion attributes, and the acquisition unit 110 determines the evaluation value group.
  • the evaluation value group (see FIG. 3) acquired through the communication unit 12 and sequentially acquired is stored in the storage unit 120.
  • the correction unit 131 of the processing unit 130 executes a correction process (step S3).
  • the correction process is, for example, updating of a correction value stored in the storage unit 120 or correction of an evaluation value by calculation using the correction value.
  • each evaluation value is corrected according to the rank of the evaluation value for each emotion attribute in the evaluation value group. An example of the correction process will be described later.
  • the estimation unit 132 of the processing unit 130 estimates the emotion of the target person based on the evaluation value group (that is, a set of evaluation values for each emotion attribute) after the correction processing is executed by the correction unit 131. Processing is executed (step S4).
  • the emotion attribute for the highest evaluation value in the evaluation value group is estimated to be the emotion of the subject person.
  • the output unit 140 outputs the result of the estimation process by the estimation unit 132 (step S5).
  • step S5 the process in step S2 is performed again in order to estimate the emotion of the subject based on the evaluation value group acquired by the acquisition unit 110 next. Thereafter, the processes in steps S2 to S5 are repeated. Note that the estimation process by the estimation unit 132 may be performed every time the correction process is executed a plurality of times, or may be performed at an arbitrary timing.
  • the correction process and the estimation process are repeated.
  • the highest rank that is the rank related to the highest evaluation value that is the highest evaluation value in the first evaluation value group acquired by the acquisition unit 110.
  • the rank and the height of the evaluation value for the same emotion attribute as the emotion attribute for the highest evaluation value of the second evaluation value group that is the evaluation value group acquired before the first evaluation value group by the acquisition unit 110 If there is no difference from the rank in the second evaluation value group, the following processing is executed.
  • the highest value of the first evaluation value group is set such that the correction value corresponding to the emotion attribute for the highest evaluation value is decreased and the sum of the correction values corresponding to each of the plurality of types of emotion attributes becomes zero.
  • the correction value corresponding to the emotion attribute for each of the other evaluation values is increased uniformly, and the correction value corresponding to the emotion attribute is added to the evaluation value for each emotion attribute in the first evaluation value group.
  • Execute. the estimation process is executed based on the first evaluation value group after the correction process is executed.
  • the highest rank that is the rank of the highest evaluation value that is the highest evaluation value in the first evaluation value group after the correction process is performed, and the first evaluation value by the acquisition unit 110.
  • the difference between the third evaluation value group, which is the evaluation value group acquired next to the group, and the rank in the third evaluation value group related to the height of the evaluation value for the same emotion attribute as the emotion attribute for the highest evaluation value is If not, the following processing is executed.
  • the correction values corresponding to the same emotion attribute are decreased, and correction values other than the decreased correction value are set so that the sum of the correction values corresponding to each of the plurality of types of emotion attributes becomes zero.
  • the correction process is further increased by adding the correction value corresponding to the emotion attribute to the evaluation value for each emotion attribute in the third evaluation value group, and the third correction process is executed. Further estimation processing is executed based on the evaluation value group.
  • the height of the highest evaluation value that is the highest evaluation value in the first evaluation value group acquired by the acquisition unit 110 after the correction value initialization process is executed. And the evaluation for the same emotion attribute as the emotion attribute for the highest evaluation value among the second evaluation value group which is the evaluation value group acquired before the first evaluation value group by the acquisition unit 110 If there is no difference from the rank in the second evaluation value group related to the height of the value, the following processing may be executed.
  • the highest value of the first evaluation value group is set such that the correction value corresponding to the emotion attribute for the highest evaluation value is decreased and the sum of the correction values corresponding to each of the plurality of types of emotion attributes becomes zero.
  • Evaluation value group acquired by the acquisition unit 110 after the first evaluation value group is determined so as to uniformly increase the correction value corresponding to the emotion attribute for each evaluation value other than
  • the correction process may be executed by adding the correction value corresponding to the emotion attribute to the evaluation value for each emotion attribute in the third evaluation value group.
  • the estimation process is executed based on the third evaluation value group after the correction process is executed.
  • the correction value for each emotion attribute is determined by sequentially updating correction values determined in relation to a plurality of evaluation value groups acquired sequentially, and newly acquired by applying the correction values. Correction processing for the evaluation value group can be performed.
  • each correction value (that is, a correction value corresponding to each emotion attribute stored in the storage unit 120) is initialized as shown in FIG.
  • FIG. 6A is a flowchart illustrating an example (operation example 1) of the correction process executed by the correction unit 131 of the processing unit 130 in step S3 in FIG.
  • operation example 1 of the correction process will be described with reference to FIG. 6A.
  • the correction unit 131 calculates a correction value corresponding to the emotion attribute for the highest evaluation value (that is, the highest evaluation value having the highest value) out of the evaluation value group acquired immediately before by the acquisition unit 110 and stored in the storage unit 120. Decrease by 1 (step S11).
  • the correction unit 131 increases the correction values corresponding to the emotion attributes for the evaluation values other than the highest evaluation value evenly by 1 / (n ⁇ 1) (step S12).
  • n is the number of multiple types of emotion attributes into which emotions are classified. In this example, the number of emotion attributes is 5, as shown in FIGS.
  • the correction value stored in the storage unit 120 is updated as an effect of a decrease in the correction value in step S11 or an increase in the correction value in step S12.
  • the correction unit 131 is a correction value corresponding to the emotion attribute for the evaluation value, and is either step S11 or S12.
  • the correction value (that is, the correction value currently stored in the storage unit 120) obtained as a result of the calculation in (5) is added (step S13).
  • the evaluation value group acquired by the acquisition unit 110 changes after the correction process is executed.
  • the evaluation value group after execution of the correction process is transmitted to the estimation unit 132 and used for the estimation process (step S4 in FIG. 5). Note that the evaluation value group after execution of the correction process may be accumulated in the storage unit 120.
  • FIG. 6B is a flowchart illustrating an example of correction processing (operation example 2) executed by the correction unit 131 of the processing unit 130 in step S3 in FIG.
  • operation example 2 executed by the correction unit 131 of the processing unit 130 in step S3 in FIG.
  • Steps S11 to S13 in FIG. 6B are the same as those shown in FIG. 6A, and therefore description thereof will be omitted as appropriate.
  • the correction unit 131 decreases the correction value corresponding to the emotion attribute for the highest evaluation value by 1 in the obtained evaluation value group for one time (step S11), and sets the correction value corresponding to each other emotion attribute to 1 / (N-1) Increase (step S12), and for each evaluation value of the acquired evaluation value group, a correction value corresponding to the emotion attribute for the evaluation value is added (step S13).
  • the correction unit 131 determines whether or not the evaluation values for all the emotion attributes in the evaluation value group for one time after adding the correction values in step S13 are the same value (step S14).
  • step S14 If it is determined in step S14 that all evaluation values are the same value, the correction unit 131 is in a state before changing each correction value (that is, before the correction value is updated in step S11 and step S12). (State) (step S15), and the correction process is completed. If it is determined in step S14 that all evaluation values are not the same value (that is, all evaluation values do not match), the correction unit 131 skips the process in step S15 and performs the correction process. Finish.
  • FIG. 6C is a flowchart illustrating an example of correction processing (operation example 3) executed by the correction unit 131 of the processing unit 130 in step S3 in FIG.
  • operation example 3 of the correction process will be described with reference to FIG. 6C.
  • the correction unit 131 determines whether or not all evaluation values in the evaluation value group after the previous correction (that is, after the correction process executed last time for the evaluation value group) are the same value (step S16).
  • step S16 When it is determined in step S16 that all evaluation values in the evaluation value group after the previous correction are not the same value (that is, when there are a plurality of evaluation values having different values), the correction unit 131 performs the correction after the previous correction.
  • the correction value corresponding to the emotion attribute for the highest evaluation value (that is, the highest evaluation value) in the evaluation value group is decreased by 1 (step S17).
  • the correction unit 131 increases the correction value corresponding to the emotion attribute for each evaluation value other than the highest evaluation value in the evaluation value group after the previous correction by 1 / (n ⁇ 1).
  • n an example in which there is one maximum evaluation value is shown.
  • m is a correction value corresponding to the emotion attribute for each evaluation value other than the maximum evaluation value.
  • Nm may be increased.
  • the correction unit 131 corrects the evaluation value group acquired this time by the acquisition unit 110 (step S19). That is, for each evaluation value in the evaluation value group acquired this time, the correction unit 131 adds a correction value corresponding to the emotion attribute for the evaluation value to the evaluation value, and ends the correction process.
  • step S16 If it is determined in step S16 that all evaluation values in the evaluation value group after the previous correction are the same value, the correction unit 131 skips the processing in step S17 and step S18 (that is, the correction value). In step S19, the evaluation value group is corrected and the correction process is completed.
  • FIG. 6D is a flowchart illustrating an example of correction processing (operation example 4) executed by the correction unit 131 of the processing unit 130 in step S3 in FIG.
  • operation example 4 of the correction process will be described with reference to FIG. 6D.
  • the evaluation value group acquired immediately before by the acquisition unit 110 is referred to as an evaluation value group acquired this time
  • the evaluation value group acquired immediately before is referred to as an evaluation value group acquired last time.
  • the correction unit 131 ranks the evaluation value for the same emotion attribute as the highest evaluation value of the evaluation value group acquired this time among the evaluation value groups acquired last time, that is, the rank of the highest evaluation value of the evaluation value group acquired this time (that is, It is determined whether there is no difference from the highest rank (step S21). This is the same as the determination of whether or not the emotion attribute for the highest-ranked evaluation value is the same between the current time and the previous time. If a negative determination is made in step S21, the correction unit 131 skips the processes in steps S22 and S23. In addition, about the evaluation value group acquired last time, when the correction process by the correction
  • step S21 When it is determined in step S21 that the ranking of the evaluation value for the same emotion attribute as the highest evaluation value of the evaluation value group acquired this time is not different from the ranking of the highest evaluation value acquired this time among the evaluation value groups acquired last time
  • the correction unit 131 decreases the correction value corresponding to the emotion attribute for the highest evaluation value of the evaluation value group acquired this time by 1 (step S22).
  • step S22 the correction unit 131 uniformly increases the correction value corresponding to the emotion attribute for each evaluation value other than the highest evaluation value in the currently acquired evaluation value group by 1 / (n ⁇ 1) (step S23). ).
  • step S23 the correction unit 131 adds a correction value corresponding to the emotion attribute for the evaluation value for each evaluation value of the evaluation value group acquired this time. (Step S24), and the correction process ends.
  • the evaluation value group after execution of the correction process is transmitted to the estimation unit 132 and used for the estimation process (step S4 in FIG. 5).
  • FIG. 6E is a flowchart illustrating an example of correction processing (operation example 5) executed by the correction unit 131 of the processing unit 130 in step S3 in FIG.
  • operation example 5 of the correction process will be described with reference to FIG. 6E.
  • the correcting unit 131 determines whether or not there is an emotion attribute that the difference between the evaluation values for the same emotion attribute in the evaluation value group acquired this time and the evaluation value group acquired last time does not exceed a predetermined criterion (step) S31). This is the same as the determination as to whether or not there is an emotion attribute that the difference between two evaluation values sequentially acquired for the same emotion attribute among a plurality of types of emotion attributes does not exceed a predetermined criterion. . If a negative determination is made in step S31, the correction unit 131 skips the processes in steps S32 and S33.
  • the correction unit 131 reduces the correction value corresponding to each emotion attribute where the difference does not exceed the predetermined reference by 1 (step S32).
  • the predetermined reference is, for example, zero (0), 1 or 2 or the like.
  • the predetermined standard is zero, the predetermined standard is not exceeded if there is no difference as described above, and the predetermined standard is exceeded if there is a difference.
  • the number of emotion attributes is one or more.
  • step S32 the correction unit 131 assumes that the number of emotion attributes for the evaluation value where the above difference does not exceed a predetermined reference is m, and (n ⁇ m) other emotion attributes (that is, the above difference). Each of the correction values corresponding to the emotion attribute exceeding the predetermined standard is increased by m / (nm) (step S33).
  • step S34 the correction unit 131 adds a correction value corresponding to the emotion attribute for the evaluation value for each evaluation value of the evaluation value group acquired this time. (Step S34), and the correction process is completed.
  • the evaluation value group after execution of the correction process is transmitted to the estimation unit 132 and used for the estimation process (step S4 in FIG. 5).
  • FIG. 6F is a flowchart illustrating an example (operation example 6) of the correction process performed by the correction unit 131 of the processing unit 130 in step S3 in FIG.
  • operation example 6 of the correction process will be described with reference to FIG. 6F.
  • the operation example 6 is an example in which the use of the correction value corresponding to each emotion attribute shown in FIG. 4 is omitted.
  • the correcting unit 131 determines whether or not there is an emotion attribute that the difference between the evaluation values for the same emotion attribute in the evaluation value group acquired this time and the evaluation value group acquired last time does not exceed a predetermined criterion (step) S41).
  • Step S41 is the same as step S31 in FIG. 6E.
  • step S41 If a negative determination is made in step S41, the correction unit 131 skips the processes in steps S42 and S43 and ends the correction process.
  • step S42 If it is determined in step S41 that there is an emotion attribute that the difference between the evaluation values for the same emotion attribute in the currently acquired evaluation value group and the previously acquired evaluation value group does not exceed a predetermined criterion, the correction unit 131 decreases the evaluation value acquired this time for each emotion attribute where the difference does not exceed a predetermined reference by a predetermined number (step S42).
  • the predetermined reference will be described as being zero, for example.
  • step S42 if there is no difference between the currently acquired evaluation value and the previously acquired evaluation value for the same emotion attribute, the predetermined reference value is not exceeded, and the current acquired evaluation value is decreased by a predetermined number.
  • the predetermined number is an arbitrary number set in advance so as to be relatively small with respect to the maximum value that the evaluation value can take, for example, 1. In addition, if there exists the above-mentioned difference, it will exceed predetermined criteria.
  • step S42 the correction unit 131 evaluates where the above difference does not exceed a predetermined reference so that the sum of all evaluation values of the evaluation value group acquired this time becomes a predetermined constant value (for example, 100). Each evaluation value other than the value is increased uniformly (step S43), and the correction process is completed.
  • the evaluation value group after execution of the correction process is transmitted to the estimation unit 132 and used for the estimation process (step S4 in FIG. 5).
  • the correction unit 131 of the processing unit 130 when the correction unit 131 of the processing unit 130 further performs a correction process on the evaluation value group, the evaluation value In the case where all the evaluation values of the group are the same value, the execution of the correction process for the evaluation value group may be omitted.
  • FIG. 7 is a table showing implementation result data according to an example of emotion estimation processing.
  • the data of this table includes an evaluation value group (left side of the table) acquired by the acquisition unit 110 in the emotion estimation device 100, correction values (center of the table) corresponding to each emotion attribute stored in the storage unit 120, and The evaluation value group (on the right side of the table) after the correction process in the correction unit 131 is recorded every time the evaluation value group is acquired and the correction process is executed. This is an execution result of the correction process corresponding to the above-described operation example 3.
  • the sum of the evaluation values for the emotional attributes “peace”, “joy”, “surprise”, “anger” and “sadness” is 100. Also, at the first time, the correction values corresponding to the emotional attributes of “calm”, “joy”, “surprise”, “anger” and “sadness” are initialized to zero.
  • the correction value corresponding to “calm” is subtracted by 1 to ⁇ 1, corresponding to each other emotion attribute
  • the correction value is increased evenly by 0.25.
  • the sum of correction values corresponding to the five emotion attributes is zero.
  • the evaluation value of the emotion attribute “calm” is the highest value every time.
  • the evaluation value of the emotion attribute “joy” has been increased from the 31st time. This is the highest value, and this leads to a result that “joy” is estimated as the main emotion of the subject in the estimation process.
  • the evaluation values for the five emotion attributes in the evaluation value group after the correction process are all 20 and are the same value. For this reason, as shown in FIG. 6C, the change of the correction value in steps S17 and S18 is skipped, and the correction values corresponding to the five emotion attributes are not changed in the 30th and 31st times.
  • the evaluation value group after the execution of the correction process has the highest value of 21 in the four emotion attributes other than “joy”. All of the corresponding correction values are decreased by 1, and the correction value corresponding to the emotion attribute “joy” is increased by 4 in order to keep the sum of the correction values at 0.
  • FIG. 8 is a diagram illustrating an example of an emotion estimation result output from the output unit 140 of the emotion estimation apparatus 100 (that is, an estimation processing result by the estimation unit 132).
  • the emotion attribute for the highest evaluation value in the evaluation value group is represented as the main emotion, and an evaluation value for each emotion attribute is added.
  • the emotion estimation device 100 in the evaluation value group sequentially acquired by the acquisition unit 110, for example, the emotion attribute for the highest evaluation value (that is, the highest ranking evaluation value) is continuously a specific emotion attribute (for example, “calm”).
  • a specific emotion attribute for example, “calm”.
  • the emotion estimation apparatus 100 may be able to appropriately estimate an emotion when a small emotional change occurs by lowering the evaluation related to the emotion attribute with little change.
  • the emotion estimation apparatus 100 can appropriately express the true emotion. Can be estimated.
  • the emotion estimation device 100 can provide an emotion attribute corresponding to the apparent emotion. Since the evaluation value can be reduced by the correction process, the true emotion of the subject can be appropriately estimated as a result.
  • the emotion attribute corresponding to the evaluation value that is the highest value in the evaluation value group has a great influence on the emotion estimation result, and the subject who has a specific feature or Based on the fact that emotion attributes corresponding to the highest evaluation value in the evaluation value group obtained for subjects etc. posing as specific emotions are unlikely to change, the highest evaluation value between evaluation value groups Judgment about the difference of emotion attributes is omitted, but it can be said that this is the result of assuming that there is no difference.
  • an emotion attribute having a relatively high evaluation value has a stronger influence on the estimated emotion. For this reason, for example, as shown in an example in which the sum of all the evaluation values of the evaluation value group is a constant value (for example, 100%), it is not possible to normalize the evaluation values for each emotion attribute to the extent that they can be compared. Useful.
  • an emotion estimation apparatus includes a configuration for calculating an evaluation value group that is a set of evaluation values for a plurality of types of emotion attributes that classify the emotions of a target person will be described with reference to the drawings.
  • FIG. 9 is a block diagram illustrating a functional configuration of the emotion estimation apparatus 100a.
  • the emotion estimation device 100a is a device that performs emotion estimation processing with a user as a subject of emotion estimation.
  • the emotion estimation apparatus 100a includes a computer including a processor, a recording medium (for example, a memory or a hard disk), a communication interface (that is, a communication circuit), a user interface, an image sensor, and the like.
  • the user interface includes a touch panel configured to include a display and a touch pad overlaid on the display surface.
  • the emotion estimation device 100a may be, for example, a smartphone, a tablet, or a personal computer.
  • the emotion estimation apparatus 100 implements an emotion estimation method for estimating the emotion of the target person by executing a program for estimating an emotion stored in a memory with a processor.
  • the emotion estimation device 100a includes the same components as the emotion estimation device 100 shown in the first embodiment, and further includes an image sensor 150 and an evaluation unit 160.
  • the components shown in the first embodiment are denoted by the same reference numerals as those in FIG. 2 in FIG. 9, and description thereof will be omitted as appropriate.
  • the image sensor 150 is a sensor that generates an image by imaging, that is, a camera.
  • the image sensor 150 captures the target person to generate a face image of the target person (that is, an image showing a face), and the face image is evaluated by the evaluation unit 160.
  • the image sensor 150 captures images at an imaging interval such as several seconds or several tens of seconds, and transmits a face image generated for each imaging to the evaluation unit 160.
  • the evaluation unit 160 is realized by a processor or the like that executes a program. When a face image is transmitted, the evaluation unit 160 evaluates the emotion of the target person based on the face image and classifies the emotions as an evaluation result. It has an emotion evaluation function for transmitting an evaluation value group, which is a set of evaluation values for each attribute, to the acquisition unit 110. This emotion evaluation function is the same as the emotion evaluation function in the server device 30 shown in the first embodiment.
  • the evaluation unit 160 evaluates the evaluation by an arithmetic processing such as image processing or feature matching based on the face image captured by the image sensor 150 and information indicating the feature of the face image in each of the plurality of types of emotion attributes. Execute by calculating the value group.
  • the evaluation value with respect to the emotion attribute becomes relatively higher as the characteristic expression of the emotion attribute among a plurality of types of emotion attributes is higher in the face image.
  • the plurality of types of emotion attributes are, for example, five types of “calm”, “joy”, “surprise”, “anger” and “sadness” as shown in the first embodiment.
  • the contents are not necessarily limited to those described above.
  • information indicating facial image features for each emotion attribute used for matching image features is well-known information.
  • both ends of cheeks and lips that is, left and right ends
  • Information that indicates that the face is displaced upward ie, the top of the head), etc.
  • “anger” is information that indicates that the upper eyelid is displaced upward, etc.
  • “sadness” For example, information indicating that the upper eyelid and both ends of the lips are displaced downward can be used.
  • the evaluation value for each of a plurality of types of emotion attributes constituting the evaluation value group as the evaluation result of the evaluation unit 160 indicates, for example, the high possibility that the emotion attribute for the evaluation value is included in the emotion of the subject person. Any value such as probability (%), level or number of points may be used.
  • the evaluation value for one emotion attribute constituting the evaluation value group as the evaluation result of the evaluation unit 160 represents the probability (%) indicating the possibility that the emotion attribute is included in the emotion of the target person, and the evaluation value Normalization is performed so that the sum of the evaluation values of all emotion attributes of the group becomes a constant value (100% in this example).
  • the acquisition unit 110 sequentially acquires evaluation value groups as evaluation results of the evaluation unit 160, and stores the acquired evaluation value groups in the storage unit 120.
  • the acquisition unit 110 can be realized by, for example, a processor that executes a program.
  • the interval at which the acquisition unit 110 acquires the evaluation value group is, for example, several seconds or several tens of seconds, and is not necessarily the same as the imaging interval in the image sensor 150.
  • Storage unit 120 is an area of a storage medium such as a memory for storing correction values corresponding to each of a plurality of types of emotion attributes into which emotions are classified, and storing evaluation value groups acquired by acquisition unit 110. .
  • the processing unit 130 is realized by a processor or the like that executes a program, and includes a correction unit 131 that executes correction processing and an estimation unit 132 that executes estimation processing.
  • the output unit 140 is realized by, for example, a processor that executes a program, acquires the result of the estimation process by the estimation unit 132, and outputs the result of the estimation process.
  • the output of the estimation process result is, for example, transmission of a signal representing information indicating the estimation process result to an external device.
  • the result of the estimation process may be output by displaying the result of the estimation process (for example, information illustrated in FIG. 8) on the display. Further, the output of the result of the estimation process may be to send the information to a program process for switching display contents on the display based on the information indicating the result of the estimation process.
  • the emotion estimation apparatus 100a having the above-described configuration executes the emotion estimation process shown in FIG.
  • the emotion estimation apparatus 100a can perform, for example, the process shown in any of FIGS. 6A to 6F as the correction process in step S3 of FIG.
  • the evaluation value group acquired by the acquisition unit 110 of the emotion estimation apparatus 100a in step S2 of FIG. 5 is the evaluation result sequentially generated by the evaluation unit 160 based on the image generated by the imaging by the image sensor 150. Evaluation value group.
  • the emotion estimation device 100a can estimate the emotion of the target person and output the result without using an external device such as the server device 30 or the like. Similarly to the emotion estimation device 100, the emotion estimation device 100a executes correction processing that reduces the influence of the emotion attribute with a small evaluation value variation on the emotion estimation result, so that the target person pretends to be a specific emotion. The true emotion can be appropriately estimated even when the change in facial expression of the subject is scarce.
  • Embodiments 1 and 2 have been described as examples of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can also be applied to embodiments in which changes, replacements, additions, omissions, or the like are appropriately made.
  • the target subject of the emotion estimation may be any human or any emotion other than the human. It may be a living organism (such as a dog).
  • the image sensor 13 or the image sensor 150 that acquires the face image of the subject person as an example has been described as an example of the sensor that senses the subject person.
  • evaluations related to a plurality of types of emotion attributes ie, estimation of the probability that each emotion attribute is included in the subject's emotion, etc.
  • the sensor for sensing the target person is not limited to the image sensor, and may be any sensor for detecting voice or biological information.
  • any algorithm may be used from the various sensing results such as image, sound, or biological information to evaluate the above-mentioned multiple types of emotion attributes, and an evaluation value group as the evaluation result is obtained. If the part 110 can be acquired, the emotion estimation apparatuses 100 and 100a can more appropriately estimate the emotion of the target person.
  • the example has been shown in which the emotion estimation devices 100 and 100a include a sensor for sensing the subject in the vicinity or inside.
  • an external computer for example, the server device 30
  • the server device 30 may include a sensor for sensing the target person. May attach a sensor, and the sensor may transmit the sensing result to the emotion estimation device 100, 100a or the server device 30 by wireless or wired communication directly or via another device.
  • the output unit 140 of the emotion estimation apparatus 100 has shown an example in which the result of the estimation process is transmitted to the outside of the emotion estimation apparatus 100 as an output of the estimation process result.
  • the output of the estimation process result is not limited to this.
  • the emotion estimation apparatus 100 includes a display or a printer
  • the output of the estimation process may be displayed or printed as the output.
  • the result of the estimation process may be recorded on a recording medium (for example, a memory card) that is detachable from the emotion estimation apparatus 100.
  • the acquisition unit 110 in the emotion estimation device 100a may include the function of the evaluation unit 160.
  • the acquisition unit 110 performs arithmetic processing (for example, based on a face image that is a result of sequentially capturing the subject's face by the image sensor 150 based on information indicating characteristics for each of a plurality of types of emotion attributes (for example, The evaluation value group is sequentially acquired by sequentially generating the evaluation value group by performing feature matching in the image.
  • a difference between evaluation values for the same emotion attribute in the first evaluation value group and the second evaluation value group acquired by the acquisition unit 110 is predetermined.
  • a correction value is determined based on whether or not the standard is exceeded.
  • a difference in rank in an evaluation value group determined by the magnitude of the evaluation value for evaluation values for a certain emotion attribute can be handled as a difference between evaluation values.
  • a difference or ratio between values may be handled as a difference between evaluation values.
  • correction value corresponding to the emotion attribute is decreased, other correction values may be changed and normalized so that the sum of the correction values corresponding to each emotion attribute becomes a constant value such as zero.
  • the correction value corresponding to each emotion attribute sequentially determined by the processing unit 130 is, for example, among the evaluation value groups acquired by the acquisition unit 110 thereafter (that is, after the first evaluation value group and the second evaluation value group). It is good also as being used for the correction process which is a calculation (for example, addition) with respect to the evaluation value corresponding to an applicable emotion attribute. Thereby, the evaluation value of the acquired third evaluation value group changes.
  • the third evaluation value group after the execution of the correction process changed in this way is used for the estimation process in the estimation unit 132 of the processing unit 130.
  • the estimation result of the target person's emotion output by the emotion estimation devices 100 and 100a described above is a viewer's emotion survey for TV programs or advertisements, medical diagnosis, communication with patients, etc. It can be used for various applications.
  • the execution order of various processes (for example, the procedures shown in FIGS. 5 and 6A to 6F) in the emotion estimation apparatuses 100 and 100a described above is not necessarily limited to the order described above.
  • the execution order can be changed, a plurality of procedures can be performed in parallel, or a part of the procedures can be omitted.
  • all or part of various processes (for example, the procedures shown in FIGS. 5 and 6A to 6F) in the emotion estimation apparatuses 100 and 100a described above may be realized by hardware such as a dedicated electronic circuit, or a processor. And may be implemented using software.
  • the processing by software is realized by a processor included in the emotion estimation devices 100 and 100a executing a program (for example, a program for emotion estimation) stored in a memory.
  • the program may be recorded and distributed on a non-transitory recording medium such as a computer-readable ROM, optical disk, or hard disk.
  • the emotion estimation device performs various processes (FIG. 5). 6A to 6F can be performed in whole or in part.
  • the emotion estimation program may be stored in advance in a recording medium (for example, the storage unit 120) of the emotion estimation devices 100 and 100a, or may be supplied to the recording medium via a wide area communication network including the Internet. Good.
  • the emotion estimation program obtains, for example, an evaluation value group that is a set of evaluation values for each of a plurality of types of emotion attributes into which emotions are classified for an emotion estimation target person (for example, FIG. 5). Step S2), the first evaluation value group that is the evaluation value group acquired in the acquisition step, and the second evaluation value group that is the evaluation value group acquired before the first evaluation value group in the acquisition step.
  • the same emotion attribute Correction step for executing correction processing for correcting one or more evaluation values for the first evaluation value group so as to decrease the evaluation value of the first evaluation value group (for example, step S3 in FIG. 5, FIGS. 6A to 6F)
  • a predetermined criterion for example, when there is no difference
  • the same emotion attribute Correction step for executing correction processing for correcting one or more evaluation values for the first evaluation value group so as to decrease the evaluation value of the first evaluation value group (for example, step S3 in FIG. 5, FIGS. 6A to 6F)
  • an emotion attribute having a relatively high evaluation value among the plurality of types of emotion attributes described above is relatively strong as the subject's emotion.
  • an estimation step for example, step S4 in FIG. 5 for executing an estimation process for estimating the emotion of the subject
  • an output step for example, step S5 in FIG. 5) for outputting the result of the estimation process in the estimation step. ).
  • all or a part of the functional blocks as the functional components in the emotion estimation apparatuses 100 and 100a described above are individually made into one chip by a semiconductor device such as an IC (Integrated Circuit) or an LSI (Large Scale Integration). Alternatively, it may be integrated into one chip so as to include a part or all of it.
  • the LSI integrated into one chip may be a system LSI that includes a processor, a ROM, a RAM, and the like and functions as a computer. Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • integrated circuit technology that replaces LSI appears as a result of progress in semiconductor technology or other derived technology
  • functional blocks may be integrated using this technology. Biotechnology can be applied as a possibility.
  • the present disclosure can be applied to an emotion estimation device or an emotion estimation system that estimates an emotion of a human or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

感情推定装置（１００ａ）は、対象者の感情を分類した複数種類の各感情属性に対する評価値の集合である評価値群を取得する取得部（１１０）と、取得部（１１０）で取得された評価値群である第１評価値群と第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて第１評価値群及び第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えない場合にはその同一の感情属性に対する第１評価値群の評価値を減少させるように補正する補正処理を実行し、補正処理実行後の第１評価値群に基づいて複数種類の感情属性のうち対応する評価値が相対的に高い感情属性ほど対象者の感情として相対的に強く推定されるように対象者の感情を推定する推定処理を実行する処理部（１３０）と、処理部（１３０）による推定処理の結果を出力する出力部（１４０）とを備える。

Description

感情推定装置、感情推定方法及びプログラム
　本開示は、感情を推定する技術に関する。
　従来、対象者（つまり感情推定の対象者）の画像を取得して画像から表情を認識することで対象者の感情を推定する感情推定装置が知られている（例えば特許文献１、２参照）。
特開２０１４－１７８９７０号公報 特開２０１６－１４９０６３号公報
　ところで、対象者の顔立ち又は対象者が真の感情を表情に表す度合い等は対象者毎に異なるので、従来の感情推定装置では対象者の感情を適切に推定できない場合もある。
　本開示は、感情推定のための新たな手法を用いて、対象者の感情を適切に（例えば高精度に）推定し得る感情推定装置を提供する。また本開示は、その感情推定装置で用いられる感情推定方法及び感情推定用のプログラム（つまりコンピュータプログラム）を提供する。
　本開示における感情推定装置は、対象者の感情を推定する感情推定装置であって、前記対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する取得部と、前記取得部により取得された評価値群である第１評価値群と、前記取得部により前記第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、前記第１評価値群及び前記第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えない場合には当該同一の感情属性に対する前記第１評価値群の評価値を減少させるように、前記第１評価値群に対して１つ以上の評価値を補正する補正処理を実行し、当該補正処理の実行後の前記第１評価値群に基づいて、前記複数種類の感情属性のうち対応する評価値が高い感情属性ほど前記対象者の感情として強く推定されるように、前記対象者の感情を推定する推定処理を実行する処理部と、前記処理部による前記推定処理の結果を出力する出力部とを備える。
　また、本開示における感情推定装置は、対象者の感情を推定する感情推定装置であって、前記対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する取得部と、前記取得部により取得された評価値群である第１評価値群と、前記取得部により前記第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、前記第１評価値群及び前記第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えるか否かに基づいて補正値を定め、当該補正値に応じて、前記取得部により前記第１評価値群の後に取得された第３評価値群における当該同一の感情属性に対する前記第３評価値群の評価値を変化させるように、前記第３評価値群に対して１つ以上の評価値を補正する補正処理を実行し、当該補正処理の実行後の前記第３評価値群に基づいて、前記対象者の感情を推定する推定処理を実行する処理部と、前記処理部による前記推定処理の結果を出力する出力部とを備える。
　また、本開示における感情推定方法は、対象者の感情を推定する感情推定方法であって、前記対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する取得ステップと、前記取得ステップで取得された評価値群である第１評価値群と、前記取得ステップで前記第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、前記第１評価値群及び前記第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えない場合には当該同一の感情属性に対する前記第１評価値群の評価値を減少させるように、前記第１評価値群に対して１つ以上の評価値を補正する補正処理を実行する補正ステップと、前記補正ステップでの前記補正処理の実行後の前記第１評価値群に基づいて、前記複数種類の感情属性のうち対応する評価値が相対的に高い感情属性ほど前記対象者の感情として相対的に強く推定されるように、前記対象者の感情を推定する推定処理を実行する推定ステップと、前記推定ステップでの前記推定処理の結果を出力する出力ステップとを含む。
　また、本開示におけるプログラムは、マイクロプロセッサを備え対象者の感情を推定する感情推定装置に感情推定処理を実行させるためのプログラムであって、前記感情推定処理は、前記対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する取得ステップと、前記取得ステップで取得された評価値群である第１評価値群と、前記取得ステップで前記第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、前記第１評価値群及び前記第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えない場合には当該同一の感情属性に対する前記第１評価値群の評価値を減少させるように、前記第１評価値群に対して１つ以上の評価値を補正する補正処理を実行する補正ステップと、前記補正ステップでの前記補正処理の実行後の前記第１評価値群に基づいて、前記複数種類の感情属性のうち対応する評価値が相対的に高い感情属性ほど前記対象者の感情として相対的に強く推定されるように、前記対象者の感情を推定する推定処理を実行する推定ステップと、前記推定ステップでの前記推定処理の結果を出力する出力ステップとを含む。
　本開示における感情推定装置、感情推定方法又はプログラムによれば、対象者の感情が適切に推定され得る。
図１は、実施の形態１に係る感情推定装置を含むシステムの構成例を示す図である。 図２は、実施の形態１に係る感情推定装置の機能構成を示すブロック図である。 図３は、感情推定装置が取得する、感情属性に係る評価値群の一例を示す図である。 図４は、感情推定装置が記憶する、各感情属性に対応する補正値の初期値の一例を示す図である。 図５は、感情推定装置における感情推定処理の一例を示すフローチャートである。 図６Ａは、感情推定装置における補正処理の一例（動作例１）を示すフローチャートである。 図６Ｂは、感情推定装置における補正処理の一例（動作例２）を示すフローチャートである。 図６Ｃは、感情推定装置における補正処理の一例（動作例３）を示すフローチャートである。 図６Ｄは、感情推定装置における補正処理の一例（動作例４）を示すフローチャートである。 図６Ｅは、感情推定装置における補正処理の一例（動作例５）を示すフローチャートである。 図６Ｆは、感情推定装置における補正処理の一例（動作例６）を示すフローチャートである。 図７は、感情推定処理の実施例に係る実施結果を示す図である。 図８は、感情推定装置が出力する感情推定結果の一例を示す図である。 図９は、実施の形態２に係る感情推定装置の機能構成を示すブロック図である。
　対象者の感情を適切に推定すべく、本開示における感情推定装置は、対象者の感情を推定する感情推定装置であって、前記対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する取得部と、前記取得部により取得された評価値群である第１評価値群と、前記取得部により前記第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、前記第１評価値群及び前記第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えない場合には当該同一の感情属性に対する前記第１評価値群の評価値を減少させるように、前記第１評価値群に対して１つ以上の評価値を補正する補正処理を実行し、当該補正処理の実行後の前記第１評価値群に基づいて、前記複数種類の感情属性のうち対応する評価値が高い感情属性ほど前記対象者の感情として強く推定されるように、前記対象者の感情を推定する推定処理を実行する処理部と、前記処理部による前記推定処理の結果を出力する出力部とを備える。
　これにより、感情を分類した複数（つまり複数種類）の感情属性のうち、評価値が高く変化の少ない感情属性に隠れているような感情属性が相対的に感情の推定結果に大きく影響を及ぼすようになり得る。このため、対象者の感情が適切に推定され得る。
　なお、これらの包括的又は具体的な各種態様には、装置、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能な記録媒体等の１つ又は複数の組合せが含まれる。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者は、当業者が本開示を十分に理解するために図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。即ち、以下の具体例を用いた説明で示される数値、形状、構成要素、構成要素の配置及び接続形態、並びに、工程或いは処理のステップ及びステップの順序等は、一例であって、請求の範囲に記載の主題を限定するものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
　（実施の形態１）
　本実施の形態では、感情推定装置を含むシステムの一例として、ディスプレイ装置１０及びサーバ装置３０を備える感情推定システムについて、図面を用いて説明する。
　［１－１．感情推定システムの構成］
　図１は、感情推定システムの構成図である。この感情推定システムは、通信路４０により通信するディスプレイ装置１０及びサーバ装置３０を備える。通信路４０は、有線又は無線での通信のための通信網等である。なお、同図ではサーバ装置３０を１台示しているが、ディスプレイ装置１０の通信相手となるサーバ装置３０は、相互に離間して複数台存在してもよい。ディスプレイ装置１０のユーザ２０は、感情推定の対象者である。この感情推定システムでは、ディスプレイの表示内容に対するユーザ２０の感情を推定する。ユーザ２０の感情の推定結果は、ユーザ２０に示されるようにしてもよいし、サーバ装置３０に収集されて、サーバ装置３０においてディスプレイの表示内容との相関が分析されてその分析結果が各種用途に活用されるようにしてもよいし、ディスプレイ装置１０の表示内容の切り替え等といった機器制御に利用されるようにしてもよい。
　ディスプレイ装置１０は、ディスプレイの他に、例えば、プロセッサ、記録媒体（例えばメモリ又はハードディスク等）、通信インタフェース（つまり通信回路）及びユーザインタフェース等を備えるコンピュータで構成される。ディスプレイ装置１０は、例えば、パーソナルコンピュータであってもよいし、据え置き型のテレビ（television）受像機等の装置であってもよいし、携帯性を有するタブレット又はスマートフォン等であってもよい。ディスプレイ装置１０は、機能面において、表示制御部１１と通信部１２とイメージセンサ１３と感情推定装置１００とを含んで構成される。
　表示制御部１１は、ディスプレイ（例えば液晶ディスプレイ又は有機ＥＬ（Electro-Luminescence）ディスプレイ等）及び制御回路等で実現され、画像をディスプレイ面に表示するように制御する。表示制御部１１は、例えば、通信部１２を介して受信した動画又は静止画等の画像のディスプレイ面への表示制御を行う。画像の内容は、写真、文字又は図形等、いかなる視覚的情報であってもよい。表示制御部１１は、例えばウェブブラウザ機能を有していてもよい。なお、表示制御部１１は、ディスプレイ装置１０が備える記録媒体に記録された画像をディスプレイ面に表示する制御を行うこととしてもよい。
　通信部１２は、サーバ装置３０と無線又は有線で通信する通信インタフェース等で実現される。サーバ装置３０は、例えば、ディスプレイ装置１０がディスプレイに表示する画像の送信機能（例えばテレビ放送機能又はウェブサーバ機能等）を有するコンピュータである。通信部１２は、ディスプレイの表示内容となる画像を受信して表示制御部１１に伝達する機能を有する。通信部１２は、例えば、各種テレビ放送を受信するチューナ又はインターネット等のウェブサイトにアクセスするためのネットワークインタフェース等で実現される。ユーザ２０は、ディスプレイにテレビ画像（つまりテレビ放送の映像コンテンツ）を表示させる場合においては、ディスプレイ装置１０のユーザインタフェースを介して、例えば通信部１２のチューナに対して、受信チャネルの選択操作を行い得る。また、ユーザ２０は、例えば、ネットワーク上から、ディスプレイに表示させるべき画像としてのウェブページの情報を指定するＵＲＬ（Uniform Resource Locator）等の情報（例えばウェブサイトのネットワークアドレス等）を指定する操作を行い得る。また、サーバ装置３０は、ユーザ２０のセンシング結果である顔画像（つまり対象者の顔が写っている画像）を受信するとその顔画像に基づいて対象者の感情についての評価を行って評価結果を顔画像の送信元に返信する感情評価機能を有する。この感情評価機能は、例えば従来の感情推定装置（例えば特許文献１或いは特許文献２における感情推定装置）と同様の技術を用いて、顔画像が表す顔の表情が、感情を分類した複数種類の感情クラス（感情属性と称する）のそれぞれをどの程度表しているかという評価を行う機能である。この評価は、例えば取得した顔画像と、複数種類の感情属性それぞれにおける顔画像の特徴を示す情報とに基づく、画像処理又は特徴の照合等といった演算処理によって評価結果（つまり各感情属性についての評価値）を算定する処理である。ここでは、サーバ装置３０は、複数種類の感情属性それぞれに対する評価値の集合である評価値群を、評価結果として顔画像の送信元に返信するものとして説明する。通信部１２は、更に、サーバ装置３０の感情評価機能を利用するために、イメージセンサ１３で逐次生成された顔画像をサーバ装置３０に逐次送信し、サーバ装置３０から逐次返信される評価結果としての評価値群を受信して感情推定装置１００に逐次伝達する機能を有する。
　イメージセンサ１３は、例えば、ディスプレイ装置１０のディスプレイの前方を撮像可能となるように配置され、そのディスプレイを見るユーザ２０の顔を、逐次撮像することで顔画像をセンシング結果として逐次生成して通信部１２に伝達するセンサである。撮像間隔は、例えば、数百ミリ秒、数秒又は数十秒等であり、また、必ずしも一定間隔でなくてもよい。
　感情推定装置１００は、感情推定の対象者としてのユーザ２０の感情を推定する装置であり、例えば、ディスプレイ装置１０に備えられるコンピュータにより実現される。詳細には、感情推定装置１００は、メモリに格納された感情推定用のプログラムをプロセッサで実行することで、対象者の感情について推定する感情推定方法を実現する。
　［１－２．感情推定装置の構成］
　図２は、感情推定装置１００の機能構成を示すブロック図である。
　感情推定装置１００は、図２に示すように取得部１１０と記憶部１２０と処理部１３０と出力部１４０とを含んで構成される。
　取得部１１０は、対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する機能を有する。取得部１１０は、逐次取得した評価値群を記憶部１２０に格納する。取得部１１０は、例えば、通信インタフェース、及び、プログラムを実行するプロセッサ等で実現され得る。プログラムは、例えば、アプリ（application program）であっても、ＯＳ（Operating System）の一部であってもよい。ここでは、対象者（つまり感情推定の対象者）がユーザ２０であることとして説明する。取得部１１０は、ディスプレイ装置１０の通信部１２を介して評価値群を逐次取得する。評価値群は、ユーザ２０を逐次撮像するイメージセンサ１３による各センシング結果（つまり顔画像）に応じてサーバ装置３０により算定された各評価結果である。取得部１１０が評価値群を取得する間隔は、特に限定されず、例えば数百ミリ秒、数秒、数十秒又は数分等であり、また、必ずしも一定間隔でなくてもよい。ここでは、取得部１１０が取得する評価値群に係る感情属性の例（つまり感情を分類した複数種類の感情属性の例）として、５種類の「平静」、「喜び」、「驚き」、「怒り」及び「悲しみ」を用いて説明するが、これは一例に過ぎず、感情の分類数を５より多くしても少なくしてもよい。なお、各感情属性間に相関性があってもなくてもよい。取得部１１０がサーバ装置３０から取得する評価値群を構成する、複数種類の感情属性それぞれに対する評価値は、例えば、その評価値に対する感情属性が、対象者（つまりユーザ２０）の感情に含まれる可能性の高さを示す確率（％）、レベル又はポイント数等のいかなる値であってもよい。また、感情属性に対する評価値が、例えば、対象者の感情にその感情属性が含まれる可能性の高さを示す確率の高いほど高い値となる順位数をレベル（例えば最低順位はレベル１で最高順位はレベル５）として表現してもよい。ここでは、取得部１１０が逐次取得する評価値群を構成する１つの感情属性に対する評価値は、その感情属性が対象者の感情に含まれる可能性を示す確率（％）を表し、その評価値群の全ての感情属性の評価値の総和が一定値（この例では１００％）となるように正規化されていることとして説明する。
　記憶部１２０は、感情を分類した複数種類の感情属性それぞれに対応して補正値を記憶する。記憶部１２０は、取得部１１０により取得された評価値群を記憶するためのメモリ等の記憶媒体の一領域である。記憶媒体は、メモリに限られず、ハードディスク等であってもよい。取得部１１０により取得された各評価値群は、処理部１３０での推定処理において必要なくなった時以後は削除されてもよい。補正値は、処理部１３０における補正部１３１に実行される補正処理における演算に用いられる値である。図３に、感情推定装置１００の取得部１１０が逐次取得して記憶部１２０に格納する、感情属性に係る各評価値群の一例を示す。同図の例では、取得部１１０がサーバ装置３０から取得した評価Ｎ（Ｎは１以上の自然数）回目の評価値群は、感情属性「平静」に対する５０（％）という評価値と、感情属性「喜び」に対する０（％）という評価値と、感情属性「驚き」に対する５（％）という評価値と、感情属性「怒り」に対する１５（％）という評価値と、感情属性「悲しみ」に対する３０（％）という評価値とで構成されている。この例では、各評価値を合計すると１００％になる。また、図４に、記憶部１２０が記憶する、複数種類の感情属性それぞれに対応する補正値の初期値の一例を示す。同図の例では、各感情属性に対応する補正値の初期値はゼロ（０）である。
　処理部１３０は、プログラムを実行するプロセッサ等の電子回路で実現され、機能面において、補正部１３１と推定部１３２とを含んで構成される。処理部１３０は、補正部１３１により補正処理を実行し、推定部１３２により推定処理を実行する。
　補正部１３１は、補正処理を実行する。この補正処理は、取得部１１０により取得された評価値群である第１評価値群と、取得部１１０によりその第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、その第１評価値群及び第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えない場合にはその同一の感情属性に対する第１評価値群の評価値を減少させるように、第１評価値群に対して１つ以上の評価値を補正する処理である。なお、第２評価値群としては、取得部１１０により取得されたままの評価値群を用いる方法と、既に実行された補正処理の結果として変化した評価値群を用いる方法とがある。具体例としては、補正部１３１は、上述の補正処理の実行後の第１評価値群の各評価値の総和が一定値（例えば１００％）を維持するように、第１評価値群に対しての補正処理において、減少させるように補正した評価値以外の第１評価値群の評価値それぞれを、例えば均等に（つまり同値の加算により）、増加させる。なお、取得部１１０に逐次取得された２つの評価値群における同一の感情属性に対する評価値同士の差異と、所定基準との比較は、例えば、差、比、微分（例えば差の時間間隔による除算）を求める演算処理により実現可能である。なお、評価値同士の差異は、複数種類の感情属性の中での評価値が高い方からの順位の差（つまり順位数をレベルで表現した場合のレベルの差）であってもよい。差異と比較する所定基準は、例えば０（ゼロ）という１点であってもよいし、例えば１或いは２等といった範囲であってもよい。評価値同士の差異と比較する所定基準がゼロ（このゼロは差異を差で表した場合における０とする。）である場合には、評価値同士が同値であれば所定基準を超えず同値以外であれば所定基準を超えることとしてもよい。また、所定基準が、１の場合には、評価値同士の差異が１以下であれば所定基準を超えず１より大きい場合に所定基準を超えることとしてもよい。所定基準は、例えば、評価値がとり得る値の範囲（例えば０～１００）に対して比較的小さい範囲（例えば０～２等）である。また、評価値同士の差異が、複数種類の感情属性の中での評価値が高い方からの順位の差（つまり順位数をレベルで表現した場合のレベルの差）であることとして所定基準がゼロであるとした場合には、評価値同士に順位の変動がなければ所定基準を超えないことになる。なお、補正処理の一層具体的な一例を挙げると、補正部１３１は、例えば、取得部１１０により取得された第１評価値群のうち最高値の評価値である最高評価値と、第２評価値群のうちその最高評価値に対する感情属性と同一の感情属性に対する評価値との差異（例えば評価値が高いほど高い値となる順位数を表現したレベルの差）が、所定基準を超えない場合には、その最高評価値を減少させ、最高評価値以外の評価値を均等に増加させることで補正処理を実行する。例えば、補正処理では、第１評価値群及び第２評価値群における同一の感情属性に対する評価値同士の差が０である場合に、上述の差異が所定基準を超えない場合であるとして、その同一の感情属性に対する第１評価値群の評価値を減少させることとしてもよい。所定基準をゼロ（０）とし２つの評価値群における同一の感情属性に対する評価値の順位の差異に注目した例としては、第１評価値群のうちの最高評価値と、第２評価値群のうちその最高評価値に対する感情属性と同一の感情属性に対する評価値との差異としての、最高順位と、第２評価値群のうちその最高評価値に対する感情属性と同一の感情属性に対する評価値の高さに係る第２評価値群における順位との差異がない場合に、差異が所定基準を超えないと扱うこととする例が挙げられる。なお、第１評価値群において最高値の評価値が複数あればその複数の評価値はいずれも減少され、それ以外の評価値が均等に増加して各評価値の総和が一定値となるように補正処理が行われてもよい。補正処理の具体的な一例としては、図４に示した各感情属性に対応する補正値を用い、補正部１３１がまず補正値を初期化する。そして、補正部１３１は、補正処理として、例えば、第１評価値群及び第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えない場合に、記憶部１２０に記憶したその感情属性に対応する補正値を減少させるよう更新し、その補正値を評価値に加算する演算によって、その感情属性に対する第１評価値群の評価値を減少させる。
　推定部１３２は、推定処理を実行する。推定部１３２は、感情属性毎の補正処理実行後の評価値に基づき、予め定められた処理アルゴリズム（各種演算及び条件判定処理の組合せ等）の実行により、対象者（つまりユーザ２０）の感情を推定する推定処理を行い推定処理の結果を出力部１４０に伝達する。この推定処理は、補正部１３１による補正処理の実行後の第１評価値群に基づいて、複数種類の感情属性のうち対応する評価値が相対的に高い感情属性ほど対象者の感情として相対的に強く推定されるように、対象者の感情を推定する処理である。即ち、推定部１３２は、対象者の感情が、複数種類の感情属性のうち相対的に高い評価値に対応する感情属性に、より大きく支配されているとして、評価値の高い感情属性が推定結果に大きく影響を与えるように推定処理を行う。推定部１３２が出力部１４０に伝達する推定処理の結果は、いかなる態様の信号或いはデータであってもよく、例えば感情であるとして推定された１つの感情属性を示す文字列データ等であってもよい。例えば、推定部１３２は、補正処理実行後における第１評価値群のうち、最高の評価値に対する感情属性（例えば、「喜び」が相対的に最高の評価値であれば「喜び」）が、対象者の感情であると推定することとしてもよいし、上位Ｎ個（例えばＮは２つ）の評価値に対する感情属性（例えば「喜び」及び「驚き」）を、複合的に、対象者の感情であると推定することとしてもよい。また、例えば、推定部１３２は、補正処理実行後における第１評価値群つまり感情属性毎の評価値の集合自体を、対象者の感情であると推定することとしてもよく、この場合の対象者の感情の推定結果の一例は、「平静が４０％、喜びが５０％、驚きが１０％、怒りが０％、悲しみが０％」である。
　処理部１３０は、取得部１１０が評価値群を取得する毎に記憶部１２０に格納した評価値群を逐次参照することで、補正部１３１による補正処理と推定部１３２による推定処理とを繰り返し逐次実行させ得る。例えば、処理部１３０は、補正部１３１に補正処理を実行させた後の第１評価値群に基づいて推定部１３２に推定処理を実行させた後においては、補正部１３１に、その補正処理の実行後の第１評価値群と、取得部１１０により第１評価値群の次に取得された評価値群である第３評価値群との関係に応じて、第３評価値群に対して補正処理を新たに実行させてもよい。具体的には、処理部１３０は、補正部１３１にその補正処理の実行後の第１評価値群とその第３評価値群とにおける同一の感情属性に対する評価値同士の差異が所定基準を超えない場合にはその同一の感情属性に対する第３評価値群の評価値を減少させるように、第３評価値群に対して１つ以上の評価値を補正する補正処理を新たに実行させてもよい。この場合に、処理部１３０は、その補正処理の実行後の第３評価値群に基づいて、複数種類の感情属性のうち対応する評価値が相対的に高い感情属性ほど対象者の感情として相対的に強く推定されるように、更に推定部１３２に新たに推定処理を実行させてもよい。
　出力部１４０は、例えばプログラムを実行するプロセッサ及び通信インタフェース等で実現され、処理部１３０における推定部１３２による推定処理の結果を取得して感情推定装置１００の外部に出力する。この出力は、例えば推定処理の結果を示す情報を表す信号の外部への送信である。ディスプレイ装置１０における感情推定装置１００の出力部１４０は、推定処理の結果を、例えば通信部１２を介して表示制御部１１に送信することでディスプレイにその推定処理の結果を表示させ得る。また、ディスプレイ装置１０における感情推定装置１００の出力部１４０は、推定処理の結果を、例えば通信部１２を介してサーバ装置３０に送信してもよい。
　［１－３．感情推定装置の動作］
　以下、上述の構成を備える感情推定装置１００による感情推定方法に係る動作について説明する。
　［１－３－１．感情推定処理］
　図５は、感情推定装置１００における感情推定方法としての感情推定処理の一例を示すフローチャートである。以下、同図に即して、感情推定装置１００の動作を説明する。
　感情推定処理は、例えば、感情推定の対象者であるユーザ２０によるディスプレイ装置１０の電源オン操作によって、ディスプレイ装置１０の各部（イメージセンサ１３及び感情推定装置１００等）が起動した際に開始される。ここでは、ディスプレイ装置１０のイメージセンサ１３でユーザ２０の顔が撮像されて生成された顔画像が、例えば数秒間隔等で撮像される毎に、サーバ装置３０に送信され、サーバ装置３０はその撮像された画像を受信する毎に評価値群（つまり複数種類の感情属性それぞれの評価値）をディスプレイ装置１０に送信するものとして説明する。
　まず、感情推定処理の開始時点で、処理部１３０の補正部１３１は、記憶部１２０に記憶されている複数種類の感情属性それぞれについての補正値を０に初期化する初期化処理を行う（ステップＳ１）。
　次に、取得部１１０は、対象者の感情評価結果として評価値群を取得する（ステップＳ２）。例えば、イメージセンサ１３によるセンシング結果としての顔画像に基づいて、サーバ装置３０が複数種類の感情属性それぞれについての評価値の集合である評価値群を送信し、取得部１１０がその評価値群を、通信部１２を介して取得し、逐次取得した評価値群（図３参照）を、記憶部１２０に格納する。
　続いて、処理部１３０の補正部１３１は、補正処理を実行する（ステップＳ３）。補正処理は、例えば、記憶部１２０に記憶されている補正値の更新又は補正値を用いた演算による評価値の補正等である。この補正処理の一例としては、評価値群における各感情属性に対する評価値の順位に応じて、各評価値の補正がなされる。補正処理については動作例を後に説明する。
　続いて、処理部１３０の推定部１３２は、補正部１３１により補正処理が実行された後の評価値群（つまり各感情属性に対する評価値の集合）に基づいて、対象者の感情を推定する推定処理を実行する（ステップＳ４）。この推定処理の一例としては、評価値群における最高値の評価値に対する感情属性を、対象者の感情であると推定する。
　続いて、出力部１４０は、推定部１３２による推定処理の結果を出力する（ステップＳ５）。
　ステップＳ５に続いて、次に取得部１１０に取得された評価値群に基づいて対象者の感情の推定を行うために、ステップＳ２での処理が再び行われる。その後、ステップＳ２～Ｓ５での処理が繰り返される。なお、推定部１３２による推定処理は、複数回補正処理が実行される毎に行われるようにしてもよいし、任意のタイミングで行われるようにしてもよい。
　上述のように感情推定処理では、補正処理及び推定処理が繰り返されることになる。例えば、感情推定処理では、補正値の初期化処理の実行後に、取得部１１０により取得された第１評価値群のうち最高値の評価値である最高評価値の高さに係る順位である最高順位と、取得部１１０により第１評価値群の前に取得された評価値群である第２評価値群のうち当該最高評価値に対する感情属性と同一の感情属性に対する評価値の高さに係る第２評価値群における順位との差異がない場合には、以下の処理を実行する。感情推定処理では、その最高評価値に対する感情属性に対応する補正値を減少させ、複数種類の感情属性それぞれに対応する補正値の総和が０となるように、第１評価値群のうち最高値以外の評価値それぞれに対する感情属性に対応する補正値を均等に増加させ、第１評価値群のうちの各感情属性に対する評価値に当該感情属性に対応する補正値を加算することで、補正処理を実行する。また、感情推定処理では、その補正処理の実行後の第１評価値群に基づいて推定処理を実行する。また、感情推定処理では、補正処理の実行後の第１評価値群のうち最高値の評価値である最高評価値の高さに係る順位である最高順位と、取得部１１０により第１評価値群の次に取得された評価値群である第３評価値群のうちその最高評価値に対する感情属性と同一の感情属性に対する評価値の高さに係る第３評価値群における順位との差異がない場合には、以下の処理を実行する。感情推定処理では、その同一の感情属性に対応する補正値を減少させ、複数種類の感情属性それぞれに対応する補正値の総和が０となるように、その減少させた補正値以外の補正値を均等に増加させ、第３評価値群のうちの各感情属性に対する評価値にその感情属性に対応する補正値を加算することで、更に補正処理を実行し、その補正処理の実行後の第３評価値群に基づいて更に推定処理を実行する。
　なお、別の一例としては、感情推定処理では、補正値の初期化処理の実行後に、取得部１１０により取得された第１評価値群のうち最高値の評価値である最高評価値の高さに係る順位である最高順位と、取得部１１０により第１評価値群の前に取得された評価値群である第２評価値群のうち当該最高評価値に対する感情属性と同一の感情属性に対する評価値の高さに係る第２評価値群における順位との差異がない場合には、以下の処理を実行してもよい。感情推定処理では、その最高評価値に対する感情属性に対応する補正値を減少させ、複数種類の感情属性それぞれに対応する補正値の総和が０となるように、第１評価値群のうち最高値以外の評価値それぞれに対する感情属性に対応する補正値を均等に増加させるように、各感情属性に対応する補正値を決定し、第１評価値群の後に取得部１１０により取得された評価値群である第３評価値群のうちの各感情属性に対する評価値に当該感情属性に対応する上述の補正値を加算することで、補正処理を実行してもよい。この場合において感情推定処理では、その補正処理の実行後の第３評価値群に基づいて推定処理を実行する。なお、例えば、各感情属性に対する補正値の決定は、逐次取得された複数の評価値群に関連して決定された補正値の逐次更新によりなされ、その補正値の適用により、新たに取得された評価値群に対する補正処理がなされ得る。
　以下、ステップＳ３での補正処理の動作例１～６について図６Ａ～図６Ｆを用いて説明する。以下、補正処理は、ユーザ２０の顔画像の撮像に対応してサーバ装置３０からの評価値群がディスプレイ装置１０の取得部１１０により取得される毎に、つまり評価値群が取得されて記憶部１２０に格納される毎に、実行されるものとして説明する。１回目の補正処理の前においては、各補正値（つまり記憶部１２０に記憶されている各感情属性に対応する補正値）は、図４に示すように初期化されている。
　［１－３－２．補正処理の動作例１］
　図６Ａは、図５におけるステップＳ３で処理部１３０の補正部１３１が実行する補正処理の一例（動作例１）を示すフローチャートである。以下、図６Ａに即して補正処理の動作例１を説明する。
　補正部１３１は、取得部１１０により直前に取得され記憶部１２０に格納された評価値群のうち、最高評価値（つまり値が最も高い最高順位の評価値）に対する感情属性に対応する補正値を１減少させる（ステップＳ１１）。
　また、補正部１３１は、最高評価値以外の評価値に対する感情属性に対応する補正値それぞれを均等に１／（ｎ－１）増加させる（ステップＳ１２）。ここで、ｎは感情を分類した複数種類の感情属性の数であり、この例では、感情属性の数は図３及び図４に示すように、５である。ステップＳ１１での補正値の減少或いはステップＳ１２での補正値の増加の作用として、記憶部１２０に記憶されている補正値が更新される。
　次に、補正部１３１は、取得部１１０により直前に取得され記憶部１２０に格納された評価値群の各評価値について、その評価値に対する感情属性に対応する補正値であってステップＳ１１或いはＳ１２での演算がなされた結果としての補正値（つまり記憶部１２０に現在記憶されている補正値）を、加算する（ステップＳ１３）。
　これにより、取得部１１０により取得された評価値群は、補正処理の実行後において変化する。補正処理の実行後の評価値群は、推定部１３２に伝達されて推定処理（図５のステップＳ４）に用いられる。なお、補正処理の実行後の評価値群を、記憶部１２０に蓄積してもよい。
　［１－３－３．補正処理の動作例２］
　図６Ｂは、図５におけるステップＳ３で処理部１３０の補正部１３１が実行する補正処理の一例（動作例２）を示すフローチャートである。以下、図６Ｂに即して補正処理の動作例２を説明する。図６ＢにおけるステップＳ１１～Ｓ１３は、図６Ａで示したものと同様であるので、ここでは説明を適宜省略する。
　補正部１３１は、取得された１回分の評価値群のうち、最高評価値に対する感情属性に対応する補正値を１減少させ（ステップＳ１１）、その他の各感情属性に対応する補正値を１／（ｎ－１）増加させ（ステップＳ１２）、取得された評価値群の各評価値について、その評価値に対する感情属性に対応する補正値を加算する（ステップＳ１３）。
　次に、補正部１３１は、ステップＳ１３で補正値を加算した後の、１回分の評価値群における全ての感情属性それぞれに対する評価値が同値であるか否かを判定する（ステップＳ１４）。
　ステップＳ１４で、全ての評価値が同値であると判定した場合には、補正部１３１は、各補正値を変動させる前の状態（つまりステップＳ１１及びステップＳ１２での補正値の更新を行う前の状態）に戻して（ステップＳ１５）、補正処理を終える。また、ステップＳ１４で、全ての評価値が同値でない（つまり全ての評価値が一致してはいない）と判定した場合には、補正部１３１は、ステップＳ１５での処理をスキップして補正処理を終える。
　［１－３－４．補正処理の動作例３］
　図６Ｃは、図５におけるステップＳ３で処理部１３０の補正部１３１が実行する補正処理の一例（動作例３）を示すフローチャートである。以下、図６Ｃに即して補正処理の動作例３を説明する。
　補正部１３１は、前回の補正後（つまり評価値群に対して前回に実行した補正処理の後）における評価値群における全ての評価値が同値であるか否かを判定する（ステップＳ１６）。
　ステップＳ１６で、前回補正後の評価値群における全ての評価値が同値ではないと判定した場合（つまり互いに異なる値の評価値が複数存在する場合）には、補正部１３１は、前回補正後の評価値群のうち最高評価値（つまり最高順位の評価値）に対する感情属性に対応する補正値を１減少させる（ステップＳ１７）。
　次に、補正部１３１は、前回補正後の評価値群のうち最高評価値以外の各評価値に対する感情属性に対応する補正値を１／（ｎ－１）増加させる。ここでは、最高評価値が１つである例を示したが、例えば最高評価値が複数のｍ個である場合においては、最高評価値以外の各評価値に対する感情属性に対応する補正値をｍ／（ｎ－ｍ）増加させてもよい。
　そして、補正部１３１は、取得部１１０により今回取得された評価値群に補正を行う（ステップＳ１９）。即ち、補正部１３１は、今回取得された評価値群における各評価値について、当該評価値に対する感情属性に対応する補正値を、当該評価値に加算し、補正処理を終える。
　また、ステップＳ１６で、前回補正後の評価値群における全ての評価値が同値であると判定した場合には、補正部１３１は、ステップＳ１７及びステップＳ１８での処理をスキップして（つまり補正値を変化させずに）、ステップＳ１９で評価値群への補正を行い、補正処理を終える。
　［１－３－５．補正処理の動作例４］
　図６Ｄは、図５におけるステップＳ３で処理部１３０の補正部１３１が実行する補正処理の一例（動作例４）を示すフローチャートである。以下、図６Ｄに即して補正処理の動作例４を説明する。以下、取得部１１０により直前に取得された評価値群を今回取得の評価値群と称し、その１回前に取得された評価値群を前回取得の評価値群と称する。
　補正部１３１は、前回取得の評価値群のうち、今回取得の評価値群の最高評価値と同一の感情属性に対する評価値の順位は、今回取得の評価値群の最高評価値の順位（つまり最高順位）と差異がないか否かを判定する（ステップＳ２１）。これは今回と前回とで最高順位の評価値に対する感情属性が同一か否かの判定と同様である。ステップＳ２１で、否定的な判定をした場合には、補正部１３１は、ステップＳ２２及びステップＳ２３での処理をスキップする。なお、前回取得の評価値群については、既にその評価値群に対して補正部１３１による補正処理が行われている場合においてその補正処理が行われた後の評価値群を用いることで、ステップＳ２１での判定を行うこととしてもよい。
　ステップＳ２１で、前回取得の評価値群のうち今回取得の評価値群の最高評価値と同一の感情属性に対する評価値の順位が、今回取得の最高評価値の順位と差異がないと判定した場合には、補正部１３１は、今回取得の評価値群の最高評価値に対する感情属性に対応する補正値を１減少させる（ステップＳ２２）。本動作例では、説明の便宜上、最高評価値は１つであるとして説明する。
　ステップＳ２２に続いて、補正部１３１は、今回取得の評価値群のうち最高評価値以外の各評価値に対する感情属性に対応する補正値を均等に１／（ｎ－１）増加させる（ステップＳ２３）。
　ステップＳ２３の後に、或いは、ステップＳ２１で否定的な判定をした場合に、補正部１３１は、今回取得の評価値群の各評価値について、その評価値に対する感情属性に対応する補正値を加算して（ステップＳ２４）、補正処理を終える。なお、補正処理の実行後の評価値群は、推定部１３２に伝達されて推定処理（図５のステップＳ４）に用いられる。
　［１－３－６．補正処理の動作例５］
　図６Ｅは、図５におけるステップＳ３で処理部１３０の補正部１３１が実行する補正処理の一例（動作例５）を示すフローチャートである。以下、図６Ｅに即して補正処理の動作例５を説明する。
　補正部１３１は、今回取得の評価値群と前回取得の評価値群とにおける同一の感情属性に対する評価値同士の差異が、所定基準を超えないという感情属性があるか否かを判定する（ステップＳ３１）。これは、複数種類の感情属性のうち、同一の感情属性に対して順次取得された２つの評価値同士の差異が、所定基準を超えないという感情属性があるか否かの判定と同様である。ステップＳ３１で、否定的な判定をした場合には、補正部１３１は、ステップＳ３２及びステップＳ３３での処理をスキップする。
　ステップＳ３１で、今回取得の評価値群と前回取得の評価値群とにおける同一の感情属性に対する評価値同士の差異が、所定基準を超えないという感情属性があると判定した場合には、補正部１３１は、その差異が所定基準を超えないところの各感情属性に対応する補正値を１減少させる（ステップＳ３２）。所定基準は、例えばゼロ（０）、１又は２等であり。所定基準がゼロの場合には上述の差異がなければ所定基準を超えず、差異があれば所定基準を超えることになる。所定基準を超えないところの感情属性がある場合においてその感情属性の数は１つ又は複数となる。
　ステップＳ３２に続いて、補正部１３１は、上述の差異が所定基準を超えないところの評価値に対する感情属性の数をｍとすると、他の（ｎ－ｍ）個の感情属性（つまり上述の差異が所定基準を超える感情属性）に対応する補正値それぞれをｍ／（ｎ－ｍ）だけ増加させる（ステップＳ３３）。
　ステップＳ３３の後に、或いは、ステップＳ３１で否定的な判定をした場合に、補正部１３１は、今回取得の評価値群の各評価値について、その評価値に対する感情属性に対応する補正値を加算して（ステップＳ３４）、補正処理を終える。なお、補正処理の実行後の評価値群は、推定部１３２に伝達されて推定処理（図５のステップＳ４）に用いられる。
　［１－３－７．補正処理の動作例６］
　図６Ｆは、図５におけるステップＳ３で処理部１３０の補正部１３１が実行する補正処理の一例（動作例６）を示すフローチャートである。以下、図６Ｆに即して補正処理の動作例６を説明する。動作例６は、図４に示す各感情属性に対応する補正値の利用を省略した一例である。
　補正部１３１は、今回取得の評価値群と前回取得の評価値群とにおける同一の感情属性に対する評価値同士の差異が、所定基準を超えないという感情属性があるか否かを判定する（ステップＳ４１）。ステップＳ４１は、図６ＥにおけるステップＳ３１と同様である。
　ステップＳ４１で、否定的な判定をした場合には、補正部１３１は、ステップＳ４２及びステップＳ４３での処理をスキップして補正処理を終える。
　ステップＳ４１で、今回取得の評価値群と前回取得の評価値群とにおける同一の感情属性に対する評価値同士の差異が、所定基準を超えないという感情属性があると判定した場合には、補正部１３１は、その差異が所定基準を超えないところの各感情属性に対する今回取得の評価値を所定数減少させる（ステップＳ４２）。ここでは所定基準は、例えばゼロとして説明する。ステップＳ４２では、同一の感情属性に対する今回取得の評価値と前回取得の評価値とに差異がなければ所定基準を超えないとして、その今回取得の評価値を所定数減少させる。所定数は、評価値がとり得る最大値に対して比較的小さいように予め定めた任意の数であり、例えば１である。なお、上述の差異があれば所定基準を超えることになる。
　ステップＳ４２に続いて、補正部１３１は、今回取得の評価値群の全ての評価値の総和が所定の一定値（例えば１００）となるように、上述の差異が所定基準を超えないところの評価値以外の各評価値を均等に増加させ（ステップＳ４３）、補正処理を終える。なお、補正処理の実行後の評価値群は、推定部１３２に伝達されて推定処理（図５のステップＳ４）に用いられる。
　なお、動作例６においても動作例２（図６ＢのステップＳ１４、Ｓ１５）に似た処理として、処理部１３０の補正部１３１は、更に、評価値群に対して補正処理を実行するとその評価値群の全ての評価値が同値となるような場合においては、その評価値群に対しての補正処理の実行を省略することとしてもよい。
　［１－４．実施例］
　図７は、感情推定処理の実施例に係る実施結果のデータを示す表である。この表のデータは、感情推定装置１００における取得部１１０により取得された評価値群（表の左側）と、記憶部１２０に記憶されている各感情属性に対応する補正値（表の中央）と、補正部１３１での補正処理の実行後における評価値群（表の右側）とを、評価値群が取得され補正処理が実行される毎に記録したデータである。これは、上述の動作例３に対応する補正処理の実行結果である。
　１回分の評価値群において「平静」、「喜び」、「驚き」、「怒り」及び「悲しみ」の各感情属性に対する評価値の総和は１００となっている。また、１回目では、「平静」、「喜び」、「驚き」、「怒り」及び「悲しみ」の各感情属性に対応する補正値を、０に初期化している。
　２回目では、取得された評価値群のうち感情属性「平静」に対する評価値が最高値であるので「平静」に対応する補正値を１減じて－１とし、他の各感情属性に対応する補正値を０．２５ずつ均等に増加している。５つの感情属性に対応する補正値の総和は０となっている。
　逐次取得された評価値群においては毎回、感情属性「平静」の評価値が最高値となっているが、補正処理実行後の評価値群では、３１回目から感情属性「喜び」の評価値が最高値となっており、これは推定処理で対象者の主たる感情として「喜び」が推定される結果につながる。
　なお、図７の表では、補正処理の３０回目において、補正処理実行後の評価値群における５つの各感情属性に対する評価値はいずれも２０であり、同値となっている。このため、図６Ｃで示したように、ステップＳ１７、Ｓ１８での補正値の変更がスキップされ、５つの各感情属性に対応する補正値は、３０回目と３１回目において変化していない。なお、２９回目においては、補正処理実行後の評価値群が「喜び」以外の４つの感情属性において最高値の２１となっているので、２９回目と比べて３０回目のその４つの感情属性に対応する補正値はいずれも１減少しており、補正値の総和を０に保つべく「喜び」という感情属性に対応する補正値が４増加している。
　［１－５．感情推定結果］
　図８は、感情推定装置１００の出力部１４０が出力する感情推定結果（つまり推定部１３２による推定処理の結果）の一例を示す図である。
　同図の例における感情推定結果では、評価値群のうち最高値の評価値に対する感情属性が主たる感情として表され、各感情属性についての評価値が付加されている。
　［１－６．効果等］
　感情推定装置１００では、取得部１１０により逐次取得された評価値群において、例えば最高値の評価値（つまり最高順位の評価値）に対する感情属性が連続的に特定の感情属性（例えば「平静」）であった場合に、補正処理が繰り返される毎に、その特定の感情属性の評価値が低下し相対的に他の感情属性の評価値が増加する。このため、感情推定装置１００は、結果的に、特定の感情属性に隠されていた真の感情属性が、対象者の感情に占める度合が高いものとして推定できるようになる。
　感情推定装置１００では、変化の乏しい感情属性に係る評価を低下させることによって、小さな感情変化が生じた場合においてその感情を適切に推定することが可能となり得る。また、例えば、対象者が「平静」等といった特定の感情を装っている場合、対象者の顔の表情の変化が乏しい場合等においても、感情推定装置１００によれば、真の感情を適切に推定し得る。また、例えば、対象者が、その内心と無関係に、特定の感情を表しているような顔立ちをしている場合においても、感情推定装置１００によれば、その見かけ上の感情に相当する感情属性の評価値の変動が少ないことから、補正処理によりその評価値を低減させることができるので、結果的に、対象者の真の感情が適切に推定され得る。補正処理の動作例１～４では、評価値群のうち最高値である評価値に対応する感情属性が、感情の推定結果に大きく影響を与えることと、特定の顔立ちをしている対象者又は特定の感情を装っている対象者等について取得された評価値群における最高値の評価値に対応する感情属性が変化し難いこととを踏まえて、評価値群間での最高値の評価値に対する感情属性の差異についての判定を省略しているが、これは差異がないものと見做した結果であるとも言える。
　なお、感情推定装置１００の推定部１３２の推定処理での感情の推定においては、評価値が相対的に高い感情属性ほど推定される感情への影響が強くなる。このため、例えば評価値群の全ての評価値の総和が一定値（例えば１００％）となる例を示したように、各感情属性についての評価値を対比可能な程度に正規化しておくことは有用となる。
　（実施の形態２）
　本実施の形態では、対象者の感情を分類した複数種類の感情属性に対する評価値の集合である評価値群を算定する構成を感情推定装置が備える例について、図面を用いて説明する。
　［２－１．感情推定装置の構成］
　図９は、感情推定装置１００ａの機能構成を示すブロック図である。
　感情推定装置１００ａは、ユーザを感情推定の対象者として、感情推定処理を行う装置である。感情推定装置１００ａは、プロセッサ、記録媒体（例えばメモリ又はハードディスク等）、通信インタフェース（つまり通信回路）、ユーザインタフェース、イメージセンサ等を備えるコンピュータを含んで構成される。ユーザインタフェースは、一例としては、ディスプレイと、ディスプレイ面上に重ねられたタッチパッドとを含んで構成されるタッチパネル等を含む。感情推定装置１００ａは、例えば、スマートフォン、タブレット又はパーソナルコンピュータ等であってもよい。感情推定装置１００は、メモリに格納された感情推定用のプログラムをプロセッサで実行することで、対象者の感情について推定する感情推定方法を実現する。
　感情推定装置１００ａは、実施の形態１で示した感情推定装置１００と同様の構成要素を含んで構成され、更に、イメージセンサ１５０と評価部１６０とを備える。実施の形態１で示した構成要素については、図９において図２と同様の符号を付しており、ここでは説明を適宜省略する。
　イメージセンサ１５０は、撮像により画像を生成するセンサ、つまりカメラであり、対象者を撮像することで対象者の顔画像（つまり顔が写っている画像）を生成してその顔画像を評価部１６０に伝達する。イメージセンサ１５０は、例えば、数秒又は数十秒等の撮像間隔で撮像し、撮像毎に生成した顔画像を評価部１６０に伝達する。
　評価部１６０は、プログラムを実行するプロセッサ等で実現され、顔画像が伝達されるとその顔画像に基づいて対象者の感情についての評価を行って、評価結果として感情を分類した複数種類の感情属性それぞれについての評価値の集合である評価値群を取得部１１０に伝達する感情評価機能を有する。この感情評価機能は、実施の形態１で示したサーバ装置３０における感情評価機能と同様である。評価部１６０では評価を、例えばイメージセンサ１５０により撮像された顔画像と、複数種類の感情属性それぞれにおける顔画像の特徴を示す情報とに基づく、画像処理又は特徴の照合等といった演算処理により、評価値群を算定することで実行する。複数種類の感情属性のうち、感情属性についての特徴的な表情等が、顔画像に表れている程度が高いほど、その感情属性に対する評価値は相対的に高いものとなる。なお、複数種類の感情属性は、例えば、実施の形態１で示したように５種類の「平静」、「喜び」、「驚き」、「怒り」及び「悲しみ」であるが、感情属性の数及び内容は、必ずしも前述のものに限られない。例えば、画像の特徴の照合に用いられる感情属性毎の顔画像の特徴を示す情報は周知の情報であるが、一例としては、例えば「喜び」については頬と唇の両端（つまり左端及び右端）とが顔の上方向（つまり頭頂側）に変位した状態となること等を表す情報、「怒り」については上瞼が上方向に変位した状態となること等を表す情報、「悲しみ」については上瞼と唇の両端とが下方向に変位した状態となること等を表す情報等が挙げられる。
　評価部１６０の評価結果としての評価値群を構成する、複数種類の感情属性それぞれに対する評価値は、例えば、その評価値に対する感情属性が、対象者の感情に含まれる可能性の高さを示す確率（％）、レベル又はポイント数等のいかなる値であってもよい。例えば、評価部１６０の評価結果としての評価値群を構成する１つの感情属性に対する評価値は、その感情属性が対象者の感情に含まれる可能性を示す確率（％）を表し、その評価値群の全ての感情属性の評価値の総和が一定値（この例では１００％）となるように正規化されている。
　取得部１１０は、評価部１６０の評価結果としての評価値群を、逐次取得し、取得した評価値群を記憶部１２０に格納する。取得部１１０は、例えば、プログラムを実行するプロセッサ等で実現され得る。取得部１１０が評価値群を取得する間隔は、例えば、数秒又は数十秒等であり、また、必ずしもイメージセンサ１５０における撮像の間隔と同一でなくてもよい。
　記憶部１２０は、感情を分類した複数種類の感情属性それぞれに対応して補正値を記憶し、取得部１１０により取得された評価値群を記憶するためのメモリ等の記憶媒体の一領域である。
　処理部１３０は、プログラムを実行するプロセッサ等で実現され、補正処理を実行する補正部１３１と、推定処理を実行する推定部１３２とを含んで構成される。
　出力部１４０は、例えばプログラムを実行するプロセッサ等で実現され、推定部１３２による推定処理の結果を取得して、推定処理の結果を出力する。この推定処理の結果の出力は、例えば推定処理の結果を示す情報を表す信号の外部装置への送信である。また、この推定処理の結果の出力は、感情推定装置１００ａがディスプレイを備える場合においては、そのディスプレイに推定処理の結果（例えば図８に例示する情報）を表示させることであってもよい。また、この推定処理の結果の出力は、推定処理の結果を示す情報に基づいてディスプレイの表示内容を切り替えるプログラム処理に対して、その情報を送出することであってもよい。
　［２－２．感情推定装置の動作］
　上述の構成を備える感情推定装置１００ａでは、図５に示した感情推定処理を実行する。感情推定装置１００ａは、図５のステップＳ３での補正処理として、例えば図６Ａ～図６Ｆのいずれかに示した処理等を、行い得る。但し、感情推定装置１００ａの取得部１１０が、図５のステップＳ２で取得する評価値群は、イメージセンサ１５０での撮像により生成された画像に基づいて、評価部１６０が逐次生成した評価結果としての評価値群である。
　［２－３．効果等］
　感情推定装置１００ａでは、サーバ装置３０等といった外部装置を用いずに、対象者の感情を推定してその結果を出力することができる。感情推定装置１００ａにおいても感情推定装置１００と同様に、評価値の変動の少ない感情属性が感情の推定結果に与える影響を低減させるような補正処理を実行するので、対象者が特定の感情を装っている場合、対象者の顔の表情の変化が乏しい場合等においても、真の感情を適切に推定し得る。
　（他の実施の形態等）
　以上のように、本出願において開示する技術の例示として、実施の形態１、２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加又は省略等を行った実施の形態にも適用可能である。
　上述の実施の形態では、感情推定装置１００が感情を推定する対象である対象者がユーザ２０である例を示したが、感情推定の対象者は、いかなる人間でもよいし、人間以外の感情を有する生物（犬等）であってもよい。
　また、上述の実施の形態では、対象者をセンシングするセンサとして、対象者の顔画像を撮像により取得するイメージセンサ１３或いはイメージセンサ１５０を例に挙げて説明した。対象者の画像、音声又は生体情報等の各種のセンシング結果から、感情を分類した複数種類の感情属性に係る評価（つまり対象者の感情に各感情属性が含まれる確率の推定等）が行われる場合には、対象者をセンシングするセンサは、イメージセンサに限られず、音声或いは生体情報の検知用等のいかなるセンサであってもよい。なお、画像、音声又は生体情報等の各種のセンシング結果から、上述の複数種類の感情属性に係る評価を行うために、いかなるアルゴリズムを利用してもよく、その評価結果としての評価値群を取得部１１０が取得できれば、感情推定装置１００、１００ａにおいて、対象者の感情を一層適切に推定することが可能になる。
　また、上述の実施の形態では、感情推定装置１００、１００ａが近辺或いは内部に対象者をセンシングするためのセンサを備える例を示した。しかし、例えば、感情推定装置１００が取得する評価値群の供給元となる外部のコンピュータ（例えばサーバ装置３０）等が、対象者をセンシングするためのセンサを備えてもよいし、例えば、対象者がセンサを装着して、そのセンサが、直接又は他の装置を介して、無線又は有線通信により感情推定装置１００、１００ａ或いはサーバ装置３０に、センシング結果を送信することとしてもよい。
　また、上述の実施の形態では、感情推定装置１００の出力部１４０は、推定処理の結果の出力として、その推定処理の結果を感情推定装置１００の外部へ送信する例を示した。しかし、推定処理の結果の出力はこれに限られず、例えば感情推定装置１００がディスプレイ又はプリンタ等を備える場合には、その出力として、推定処理の結果の表示又は印刷等をしてもよいし、その出力として、感情推定装置１００に着脱自在な記録媒体（例えばメモリカード等）へ推定処理の結果を記録してもよい。
　また、上述した感情推定装置１００、１００ａにおける各部の機能分担は、任意に変更することができ、各部を統合してもよい。例えば、感情推定装置１００ａにおける取得部１１０が評価部１６０の機能を包含することとしてもよい。この場合には、取得部１１０は、例えば、複数種類の感情属性毎の特徴を示す情報に基づき、イメージセンサ１５０により対象者の顔を逐次撮像した結果である顔画像に応じた演算処理（例えば画像における特徴の照合等）を行って評価値群を逐次生成することで、評価値群を逐次取得することになる。
　また、上述した感情推定装置１００、１００ａの処理部１３０では、例えば、取得部１１０で取得された第１評価値群と第２評価値群とにおける同一の感情属性に対する評価値同士の差異が所定基準を超えるか否かに基づいて補正値を定める。この補正値を定める方法として、例えば、ある同一の感情属性に対する評価値同士についての、評価値の大きさによって定まる評価値群における順位の差を、評価値同士の差異として取り扱い得るし、評価値同士の値の差又は比等を評価値同士の差異として取り扱ってもよい。評価値同士の差異が所定基準を超えない場合（例えば、差異が存在しない場合、或いは、差異が極めて小さい場合等）において、該当の感情属性に対応する補正値を減少させることとしてもよい。また、その感情属性に対応する補正値の減少後において各感情属性に対応する補正値の総和がゼロ等の一定値となるように他の補正値を変化させて正規化することとしてもよい。処理部１３０により逐次定められた各感情属性に対応する補正値は、例えば、その後（つまり第１評価値群及び第２評価値群より後）に取得部１１０により取得された評価値群のうち該当の感情属性に対応する評価値に対する演算（例えば加算）である補正処理に用いられることとしてもよい。これにより取得された第３評価値群の評価値が変化することになる。このように変化した、補正処理の実行後の第３評価値群は、処理部１３０の推定部１３２における推定処理に用いられることになる。
　また、上述した感情推定装置１００、１００ａにより出力される対象者の感情の推定結果は、テレビ番組若しくは宣伝広告等に対する視聴者の感情の調査、医療のための診断又は患者等との意思疎通等の各種用途に利用可能である。
　また、上述した感情推定装置１００、１００ａにおける各種処理（例えば図５、図６Ａ～図６Ｆに示す手順等）の実行順序は、必ずしも、上述した通りの順序に制限されるものではなく、例えば、実行順序を入れ替えたり、複数の手順を並列に行ったり、その手順の一部を省略したりすることができる。また、上述の感情推定装置１００、１００ａにおける各種処理（例えば図５、図６Ａ～図６Ｆに示す手順等）の全部又は一部は、専用の電子回路等のハードウェアにより実現されても、プロセッサ及びソフトウェアを用いて実現されてもよい。なお、ソフトウェアによる処理は、感情推定装置１００、１００ａに含まれるプロセッサがメモリに記憶されたプログラム（例えば感情推定用のプログラム）を実行することにより実現されるものである。また、そのプログラムを、コンピュータが読み取り可能なＲＯＭ、光ディスク又はハードディスク等の非一時的な記録媒体に記録して頒布や流通させてもよい。例えば、頒布された感情推定用のプログラムを感情推定装置１００或いは感情推定装置１００ａにインストールして、そのインストール先の感情推定装置のプロセッサに実行させることで、その感情推定装置に各種処理（図５、図６Ａ～図６Ｆに示す手順等）の全部又は一部を行わせることが可能となる。感情推定用のプログラムは、感情推定装置１００、１００ａの記録媒体（例えば記憶部１２０）に予め格納されていてもよいし、インターネット等を含む広域通信網を介してその記録媒体へ供給されてもよい。なお、感情推定用のプログラムは、例えば、感情推定の対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する取得ステップ（例えば図５のステップＳ２）と、取得ステップで取得された評価値群である第１評価値群と、取得ステップで第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、第１評価値群及び第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えない場合（例えば差がない場合等）にはその同一の感情属性に対する第１評価値群の評価値を減少させるように第１評価値群に対して１つ以上の評価値を補正する補正処理を実行する補正ステップ（例えば図５のステップＳ３、図６Ａ～図６Ｆの各ステップ等）と、補正ステップでの補正処理の実行後の第１評価値群に基づいて、上述の複数種類の感情属性のうち対応する評価値が相対的に高い感情属性ほど対象者の感情として相対的に強く推定されるように、対象者の感情を推定する推定処理を実行する推定ステップ（例えば図５のステップＳ４）と、推定ステップでの推定処理の結果を出力する出力ステップ（例えば図５のステップＳ５）とを含む。
　また、上述した感情推定装置１００、１００ａにおける各機能構成要素としての機能ブロックの全部又は一部は、ＩＣ（Integrated Circuit）又はＬＳＩ（Large Scale Integration）等の半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。１チップ化されたＬＳＩは、プロセッサ、ＲＯＭ及びＲＡＭ等を含みコンピュータとして機能するシステムＬＳＩであってもよい。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、或いは、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
　また、上述した実施の形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。
　本開示は、人間等の感情を推定する感情推定装置又は感情推定システム等に適用可能である。
　１０　ディスプレイ装置
　１１　表示制御部
　１２　通信部
　１３、１５０　イメージセンサ
　２０　ユーザ
　３０　サーバ装置
　４０　通信路
　１００、１００ａ　感情推定装置
　１１０　取得部
　１２０　記憶部
　１３０　処理部
　１３１　補正部
　１３２　推定部
　１４０　出力部
　１６０　評価部

Claims (15)

  1. 　対象者の感情を推定する感情推定装置であって、
    　前記対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する取得部と、
    　前記取得部により取得された評価値群である第１評価値群と、前記取得部により前記第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、前記第１評価値群及び前記第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えない場合には当該同一の感情属性に対する前記第１評価値群の評価値を減少させるように、前記第１評価値群に対して１つ以上の評価値を補正する補正処理を実行し、当該補正処理の実行後の前記第１評価値群に基づいて、前記複数種類の感情属性のうち対応する評価値が高い感情属性ほど前記対象者の感情として強く推定されるように、前記対象者の感情を推定する推定処理を実行する処理部と、
    　前記処理部による前記推定処理の結果を出力する出力部とを備える
    　感情推定装置。
  2. 　前記取得部は、センサにより前記対象者を逐次センシングした結果に応じて算定された前記評価値群を逐次取得する
    　請求項１記載の感情推定装置。
  3. 　前記感情推定装置は、イメージセンサを備え、
    　前記取得部は、前記複数種類の感情属性毎の特徴を示す情報に基づき、前記イメージセンサにより前記対象者の顔を逐次撮像した結果である顔画像に応じた演算処理を行うことで、前記評価値群を逐次取得する
    　請求項２記載の感情推定装置。
  4. 　前記取得部により取得された評価値群における前記複数種類の感情属性それぞれに対する評価値の総和は一定値であり、
    　前記処理部は、前記補正処理の実行後の前記第１評価値群の各評価値の総和が前記一定値を維持するように、前記第１評価値群に対しての前記補正処理において、減少させるように補正した前記評価値以外の前記第１評価値群の評価値を増加させる
    　請求項１～３のいずれか一項に記載の感情推定装置。
  5. 　前記処理部は、前記第１評価値群に対しての前記補正処理において、減少させるように補正した前記評価値以外の前記第１評価値群の評価値が複数存在する場合に当該複数の評価値それぞれを均等に増加させる
    　請求項４記載の感情推定装置。
  6. 　前記処理部は、前記取得部により取得された前記第１評価値群のうち最高値の評価値である最高評価値と、前記第２評価値群のうち当該最高評価値に対する感情属性と同一の感情属性に対する評価値との差異が、所定基準を超えない場合には、当該最高評価値を減少させるように前記補正処理を実行する
    　請求項１～５のいずれか一項に記載の感情推定装置。
  7. 　前記取得部により取得される、前記評価値群の各評価値は、当該評価値に対する感情属性が、前記対象者の感情として含まれる可能性の高さを表す値であり、
    　前記第１評価値群のうちの最高評価値と、前記第２評価値群のうち当該最高評価値に対する感情属性と同一の感情属性に対する評価値との差異は、最高順位と、前記第２評価値群のうち当該最高評価値に対する感情属性と同一の感情属性に対する評価値の高さに係る前記第２評価値群における順位との差異であり、当該差異がない場合には、前記処理部は当該差異が前記所定基準を超えないと扱うことで、前記補正処理を実行する
    　請求項６記載の感情推定装置。
  8. 　前記処理部は、
    　前記補正処理の実行後の前記第１評価値群に基づいて前記推定処理を実行した後において、
    　前記補正処理の実行後の前記第１評価値群と、前記取得部により前記第１評価値群の次に取得された評価値群である第３評価値群との関係に応じて、前記補正処理の実行後の前記第１評価値群及び前記第３評価値群における同一の感情属性に対する評価値同士の差異が前記所定基準を超えない場合には当該同一の感情属性に対する前記第３評価値群の評価値を減少させるように、前記第３評価値群に対して１つ以上の評価値を補正する補正処理を実行し、当該補正処理の実行後の前記第３評価値群に基づいて、前記複数種類の感情属性のうち対応する評価値が相対的に高い感情属性ほど前記対象者の感情として相対的に強く推定されるように、更に前記推定処理を実行する
    　請求項１～７のいずれか一項に記載の感情推定装置。
  9. 　前記感情推定装置は、前記複数種類の感情属性それぞれに対応して補正値を記憶する記憶部を備え、
    　前記処理部は、
    　前記記憶部に記憶された前記補正値それぞれを０に初期化する初期化処理を行い、
    　前記初期化処理の実行後において、前記取得部により取得された前記第１評価値群のうち最高値の評価値である最高評価値の高さに係る順位である最高順位と、前記取得部により取得された前記第２評価値群のうち当該最高評価値に対する感情属性と同一の感情属性に対する評価値の高さに係る前記第２評価値群における順位との差異がない場合には、当該最高評価値に対する感情属性に対応する前記補正値を減少させ、前記複数種類の感情属性それぞれに対応する前記補正値の総和が０となるように、前記第１評価値群のうち最高値以外の評価値それぞれに対する感情属性に対応する前記補正値を均等に増加させ、前記第１評価値群のうちの各感情属性に対する評価値に当該感情属性に対応する前記補正値を加算することで、前記補正処理を実行し、当該補正処理の実行後の前記第１評価値群に基づいて前記推定処理を実行し、
    　前記補正処理の実行後の前記第１評価値群のうち最高値の評価値である最高評価値の高さに係る順位である最高順位と、前記取得部により前記第１評価値群の次に取得された評価値群である第３評価値群のうち当該最高評価値に対する感情属性と同一の感情属性に対する評価値の高さに係る前記第３評価値群における順位との差異がない場合には、当該同一の感情属性に対応する前記補正値を減少させ、前記複数種類の感情属性それぞれに対応する前記補正値の総和が０となるように、当該減少させた補正値以外の前記補正値を均等に増加させ、前記第３評価値群のうちの各感情属性に対する評価値に当該感情属性に対応する前記補正値を加算することで、更に前記補正処理を実行し、当該補正処理の実行後の前記第３評価値群に基づいて更に前記推定処理を実行する
    　請求項１～３のいずれか一項に記載の感情推定装置。
  10. 　前記処理部による、前記補正処理の実行後の評価値群に基づく前記推定処理では、当該評価値群における最高値の評価値に対する感情属性を、前記対象者の感情であるとして推定する
    　請求項１～９のいずれか一項に記載の感情推定装置。
  11. 　前記処理部は、評価値群に対して前記補正処理を実行すると当該評価値群の全ての評価値が同値となるような場合においては、当該評価値群に対しての前記補正処理の実行を省略する
    　請求項１～１０のいずれか一項に記載の感情推定装置。
  12. 　前記処理部による前記補正処理では、前記第１評価値群及び前記第２評価値群における同一の感情属性に対する評価値同士の差が０である場合に、前記差異が所定基準を超えない場合であるとして、当該同一の感情属性に対する前記第１評価値群の評価値を減少させる
    　請求項１～６のいずれか一項に記載の感情推定装置。
  13. 　対象者の感情を推定する感情推定装置であって、
    　前記対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する取得部と、
    　前記取得部により取得された評価値群である第１評価値群と、前記取得部により前記第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、前記第１評価値群及び前記第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えるか否かに基づいて補正値を定め、当該補正値に応じて、前記取得部により前記第１評価値群の後に取得された第３評価値群における当該同一の感情属性に対する前記第３評価値群の評価値を変化させるように、前記第３評価値群に対して１つ以上の評価値を補正する補正処理を実行し、当該補正処理の実行後の前記第３評価値群に基づいて、前記対象者の感情を推定する推定処理を実行する処理部と、
    　前記処理部による前記推定処理の結果を出力する出力部とを備える
    　感情推定装置。
  14. 　対象者の感情を推定する感情推定方法であって、
    　前記対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する取得ステップと、
    　前記取得ステップで取得された評価値群である第１評価値群と、前記取得ステップで前記第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、前記第１評価値群及び前記第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えない場合には当該同一の感情属性に対する前記第１評価値群の評価値を減少させるように、前記第１評価値群に対して１つ以上の評価値を補正する補正処理を実行する補正ステップと、
    　前記補正ステップでの前記補正処理の実行後の前記第１評価値群に基づいて、前記複数種類の感情属性のうち対応する評価値が相対的に高い感情属性ほど前記対象者の感情として相対的に強く推定されるように、前記対象者の感情を推定する推定処理を実行する推定ステップと、
    　前記推定ステップでの前記推定処理の結果を出力する出力ステップとを含む
    　感情推定方法。
  15. 　マイクロプロセッサを備え対象者の感情を推定する感情推定装置に感情推定処理を実行させるためのプログラムであって、
    　前記感情推定処理は、
    　前記対象者についての、感情を分類した複数種類の感情属性それぞれに対する評価値の集合である評価値群を、逐次取得する取得ステップと、
    　前記取得ステップで取得された評価値群である第１評価値群と、前記取得ステップで前記第１評価値群の前に取得された評価値群である第２評価値群との関係に応じて、前記第１評価値群及び前記第２評価値群における同一の感情属性に対する評価値同士の差異が所定基準を超えない場合には当該同一の感情属性に対する前記第１評価値群の評価値を減少させるように、前記第１評価値群に対して１つ以上の評価値を補正する補正処理を実行する補正ステップと、
    　前記補正ステップでの前記補正処理の実行後の前記第１評価値群に基づいて、前記複数種類の感情属性のうち対応する評価値が相対的に高い感情属性ほど前記対象者の感情として相対的に強く推定されるように、前記対象者の感情を推定する推定処理を実行する推定ステップと、
    　前記推定ステップでの前記推定処理の結果を出力する出力ステップとを含む
    　プログラム。
PCT/JP2018/039713 2018-04-04 2018-10-25 感情推定装置、感情推定方法及びプログラム WO2019193781A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020511592A JP6941800B2 (ja) 2018-04-04 2018-10-25 感情推定装置、感情推定方法及びプログラム
US16/977,463 US11373448B2 (en) 2018-04-04 2018-10-25 Emotion inference device, emotion inference method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-071994 2018-04-04
JP2018071994 2018-04-04

Publications (1)

Publication Number Publication Date
WO2019193781A1 true WO2019193781A1 (ja) 2019-10-10

Family

ID=68100626

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/039713 WO2019193781A1 (ja) 2018-04-04 2018-10-25 感情推定装置、感情推定方法及びプログラム

Country Status (3)

Country Link
US (1) US11373448B2 (ja)
JP (1) JP6941800B2 (ja)
WO (1) WO2019193781A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021177362A (ja) * 2020-05-08 2021-11-11 ヤフー株式会社 情報処理装置、情報処理方法、情報処理プログラム及び端末装置
JP2022003497A (ja) * 2020-06-23 2022-01-11 トヨタ自動車株式会社 感情推定装置、感情推定方法及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11127181B2 (en) * 2018-09-19 2021-09-21 XRSpace CO., LTD. Avatar facial expression generating system and method of avatar facial expression generation
JP7279583B2 (ja) * 2019-08-30 2023-05-23 セイコーエプソン株式会社 画像読取装置、及び画像読取装置における媒体の傾き算出方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014153834A (ja) * 2013-02-06 2014-08-25 Nippon Hoso Kyokai <Nhk> 不快度推定装置及び不快度推定プログラム
JP2014178970A (ja) * 2013-03-15 2014-09-25 Nec Solution Innovators Ltd 感情推定装置及び感情推定方法
JP2016149063A (ja) * 2015-02-13 2016-08-18 オムロン株式会社 感情推定装置及び感情推定方法
WO2017187712A1 (ja) * 2016-04-26 2017-11-02 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3560936B2 (ja) 2001-06-05 2004-09-02 オープンインタフェース株式会社 感性データ算出方法および感性データ算出装置
JP3903783B2 (ja) 2001-12-14 2007-04-11 日本電気株式会社 顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置
JP4375571B2 (ja) 2006-08-04 2009-12-02 日本電気株式会社 顔類似度算出方法および装置
JP4974788B2 (ja) 2007-06-29 2012-07-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP5423379B2 (ja) 2009-08-31 2014-02-19 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US10869626B2 (en) * 2010-06-07 2020-12-22 Affectiva, Inc. Image analysis for emotional metric evaluation
WO2016072118A1 (ja) * 2014-11-07 2016-05-12 ソニー株式会社 情報処理システム、記憶媒体、および制御方法
JP5905652B1 (ja) * 2015-01-30 2016-04-20 株式会社Ｕｂｉｃ データ評価システム、データ評価方法、およびデータ評価プログラム
JP6301966B2 (ja) * 2015-03-13 2018-03-28 株式会社Ｕｂｉｃ データ分析システム、データ分析方法、データ分析のためのプログラム、及び、このプログラムの記録媒体
JP2018149053A (ja) 2017-03-13 2018-09-27 祐徳薬品工業株式会社 スリット入り救急絆創膏
JP7401968B2 (ja) * 2018-12-07 2023-12-20 ルネサスエレクトロニクス株式会社 撮影制御装置、撮影システム及び撮影制御方法
US11393252B2 (en) * 2019-05-01 2022-07-19 Accenture Global Solutions Limited Emotion sensing artificial intelligence
US11687778B2 (en) * 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014153834A (ja) * 2013-02-06 2014-08-25 Nippon Hoso Kyokai <Nhk> 不快度推定装置及び不快度推定プログラム
JP2014178970A (ja) * 2013-03-15 2014-09-25 Nec Solution Innovators Ltd 感情推定装置及び感情推定方法
JP2016149063A (ja) * 2015-02-13 2016-08-18 オムロン株式会社 感情推定装置及び感情推定方法
WO2017187712A1 (ja) * 2016-04-26 2017-11-02 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021177362A (ja) * 2020-05-08 2021-11-11 ヤフー株式会社 情報処理装置、情報処理方法、情報処理プログラム及び端末装置
JP2022003497A (ja) * 2020-06-23 2022-01-11 トヨタ自動車株式会社 感情推定装置、感情推定方法及びプログラム
JP7359084B2 (ja) 2020-06-23 2023-10-11 トヨタ自動車株式会社 感情推定装置、感情推定方法及びプログラム
US11804075B2 (en) 2020-06-23 2023-10-31 Toyota Jidosha Kabushiki Kaisha Emotion determination device, emotion determination method, and non-transitory storage medium

Also Published As

Publication number Publication date
JPWO2019193781A1 (ja) 2020-12-10
US20200410217A1 (en) 2020-12-31
US11373448B2 (en) 2022-06-28
JP6941800B2 (ja) 2021-09-29

Similar Documents

Publication Publication Date Title
WO2019193781A1 (ja) 感情推定装置、感情推定方法及びプログラム
US11430260B2 (en) Electronic display viewing verification
US10799168B2 (en) Individual data sharing across a social network
US20190034706A1 (en) Facial tracking with classifiers for query evaluation
US9323785B2 (en) Method and system for mobile visual search using metadata and segmentation
US20170330029A1 (en) Computer based convolutional processing for image analysis
US20200342979A1 (en) Distributed analysis for cognitive state metrics
JP6482172B2 (ja) レコメンド装置、レコメンド方法、およびプログラム
US20170095192A1 (en) Mental state analysis using web servers
US20130151333A1 (en) Affect based evaluation of advertisement effectiveness
US20200314490A1 (en) Media manipulation using cognitive state metric analysis
US11430561B2 (en) Remote computing analysis for cognitive state data metrics
US20220038621A1 (en) Device for automatically capturing photo or video about specific moment, and operation method thereof
KR20130136557A (ko) 개인화된 광고 선택 시스템 및 방법
US10210257B2 (en) Apparatus and method for determining user attention using a deep-content-classification (DCC) system
US20170105668A1 (en) Image analysis for data collected from a remote computing device
JP2020057111A (ja) 表情判定システム、プログラム及び表情判定方法
US11762900B2 (en) Customized selection of video thumbnails to present on social media webpages
JP7176616B2 (ja) 画像処理システム、画像処理装置、画像処理方法、及び画像処理プログラム
JP2014222397A (ja) 感情推定方法、装置及びプログラム
US20130052621A1 (en) Mental state analysis of voters
US20200226012A1 (en) File system manipulation using machine learning
EP3799407B1 (en) Initiating communication between first and second users
JP2020042709A (ja) 聴衆間の心理状態の類似度合を評定するシステム
JP7175061B1 (ja) プログラム、情報処理装置、及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18913519

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020511592

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18913519

Country of ref document: EP

Kind code of ref document: A1