WO2018092436A1 - 感情推定装置、および、感情推定システム - Google Patents

感情推定装置、および、感情推定システム Download PDF

Info

Publication number
WO2018092436A1
WO2018092436A1 PCT/JP2017/035631 JP2017035631W WO2018092436A1 WO 2018092436 A1 WO2018092436 A1 WO 2018092436A1 JP 2017035631 W JP2017035631 W JP 2017035631W WO 2018092436 A1 WO2018092436 A1 WO 2018092436A1
Authority
WO
WIPO (PCT)
Prior art keywords
emotion
personality
user
unit
control unit
Prior art date
Application number
PCT/JP2017/035631
Other languages
English (en)
French (fr)
Inventor
伊藤 淳
康真 松井
康平 松浦
明子 酒井
公博 米川
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to JP2018551060A priority Critical patent/JP6736685B2/ja
Priority to CN201780066122.2A priority patent/CN109906461B/zh
Priority to EP17871498.6A priority patent/EP3525141B1/en
Priority to US16/345,018 priority patent/US11186290B2/en
Publication of WO2018092436A1 publication Critical patent/WO2018092436A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/167Personality evaluation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/16Control of vehicles or other craft
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0028Mathematical models, e.g. for simulation
    • B60W2050/0029Mathematical model of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/043Identity of occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/21Voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/22Psychological state; Stress level or workload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Definitions

  • the present invention relates to an emotion estimation device and an emotion estimation system.
  • Patent Document 1 a device for estimating a driver's emotion is known (for example, see Patent Document 1).
  • the device described in Patent Literature 1 estimates the driver's emotion and psychology when driving assistance is performed during driving.
  • the device described in Patent Literature 1 estimates a driver's emotion based on information acquired from a vehicle, such as information related to a driving operation.
  • a vehicle such as information related to a driving operation.
  • the time for which a human drives the vehicle is limited in one day, and even if the driver's emotion is estimated from the driving operation or the like in the limited time, the estimation accuracy is limited.
  • the same problem occurs when estimating the emotion of a user who uses a device, not limited to a vehicle, based on an operation during use of the device.
  • the present invention has been made in view of the above-described circumstances, and an object thereof is to provide an emotion estimation device and an emotion estimation system that can estimate a user's emotion with higher accuracy.
  • the present invention is based on information about itself (U) from a plurality of products (4, 11, 12, 13, 14, 15) related to itself (U) connected to the communication network (2).
  • a personal personality (482) is provided, a base personality (483) is formed by the personal personality (482), and an emotion detecting unit (464) for detecting an emotion is provided.
  • the present invention also includes a personal personality (482) formed by machine learning based on user information collected from a plurality of products (4, 11, 12, 13, 14, 15) used by itself (U),
  • the personal personality (482) includes a feeling detection unit (464) that forms a base personality (483) and detects the emotion of the person (U).
  • an emotion can be detected with high accuracy by a personal personality constituted by information from a plurality of products.
  • a personal personality constituted by information from a plurality of products.
  • Information can be reflected in personal personality.
  • emotions can be detected with higher accuracy than in the case of using information obtained from a single product. It is also possible to detect an emotion about a specific product before the product is related to itself.
  • the emotion detection unit (464) compares the emotion of the base personality (483) with the current emotion of the personal personality (482) to detect an emotion attribute. It is good also as a structure. According to this configuration, by comparing the emotion of the base personality with the current emotion of the personal personality, the emotion can be detected with higher accuracy in consideration of the tendency and characteristics of the emotion. For example, if your own emotions tend to have a particular emotion, you can avoid a situation in which the particular emotion is frequently detected. Emotion can be detected with high accuracy.
  • an operation control unit that controls an operation directed to the emotion of the base personality (483) ( 470).
  • the personal personality can act on his / her emotions in consideration of the tendency and characteristics of his / her emotions by performing an operation of directing his / her emotions to those of the base personality. Thereby, for example, one's own emotion can be calmed down.
  • an emotion accumulation unit (485) that accumulates emotions detected by the emotion detection unit (464), an action schedule table (484) that indicates an action schedule of itself (U),
  • the emotion is stored from at least the emotion accumulated in the emotion accumulation unit (485) or the future schedule shown in the action schedule (484) of the person (U).
  • the emotion change cause estimation part (469) which estimates a change cause. According to this configuration, it is possible to estimate from the future schedule the cause of the change of the emotion or the influence of the emotion. Accordingly, it is possible to deal with the cause of the emotion change in response to the cause of the emotion change or the cause of the affect of the emotion.
  • the cause estimated by the emotion change cause estimation unit (469) may be stored when the emotion is stored in the emotion storage unit (485). According to this configuration, it is possible to collect data relating to the tendency and the cause of the emotion by accumulating the cause of the change of the emotion or the cause of the influence of the emotion. The collected data can be used as data learned by the computer, for example, when the computer is used as an emotion estimation unit.
  • the motion control unit (470) performs an operation directed to the emotion of the base personality (483) corresponding to the cause estimated by the emotion change cause estimation unit (469). It is good also as a structure to control. According to this configuration, it is possible to perform an operation of turning one's own emotion into the emotion of the base personality, based on the cause of the change of one's emotion accumulated in the emotion accumulation unit or the cause of affecting the emotion. . For this reason, it is possible to work on one's feelings more effectively in consideration of the tendency and characteristics of one's own feelings.
  • one of the products (4, 11, 12, 13, 14, 15) is a vehicle (4)
  • the vehicle (4) is a driving tendency for determining a driving tendency.
  • a determination unit (464) wherein the driving tendency determination unit (464) discriminates at least a leisurely operation and an impatient operation, and at least immediately before the own (U) operation is determined to be an impatient operation
  • the motion control The unit (470) may be configured to perform an operation that causes the driving influence to be eliminated. According to this configuration, it is possible to eliminate or reduce the factors that affect the driving of the vehicle by directing the emotion of the device to itself so that the driving influence is eliminated.
  • the emotion having an influence on driving may include any of anger, worry, sadness, and anxiety. According to this configuration, when it is detected that the emotions are emotions such as anger, worry, sadness, and anxiety, it is possible to eliminate or reduce the influence of these emotions on driving.
  • the personal personality (482) may be an artificial intelligence. According to this configuration, since the personal personality that is artificial intelligence is configured by information from a plurality of products, emotions can be detected with high accuracy by the personal personality.
  • the personal personality (482) imitates the emotion of the person (U) or a change in emotion
  • the emotion detection unit (464) detects the emotion of the personal personality (482). It is good also as composition to do. According to this configuration, it is possible to easily detect one's own emotion or a change in emotion by detecting the emotion of personal personality. Also, since the personal personality is composed of information from a plurality of products, it is possible to detect one's own emotion with higher accuracy.
  • the present invention provides a vehicle (4) connected to a communication network (2) and a plurality of products (11, 12) related to itself (U) connected to the communication network (2). , 13, 14, 15) and a personal personality (482) composed of information on itself (U) from the plurality of products (11, 12, 13, 14, 15), and the personal personality (482) ), A personality (483) is formed, and an emotion detection unit (464) for detecting emotion is provided, and the vehicle includes the personal personality (482) and the emotion detection unit (464).
  • the vehicle can detect emotion with high accuracy by the personal personality constituted by information from a plurality of products. For this reason, emotions can be detected with higher accuracy by using not only information collected or detected during driving of the vehicle but also information collected or detected by more products in a long time. It is also possible to detect emotions in a state where the vehicle is not involved in the vehicle.
  • emotion can be detected with high accuracy by a personal personality composed of information from a plurality of products. It is also possible to detect an emotion about a specific product before the product is related to itself.
  • an emotion detection part is good also as a structure which compares the emotion of a base personality, and the present emotion of a personal personality, and detects an emotion attribute. In this case, the emotion can be detected with higher accuracy in consideration of the tendency and characteristics of the emotion.
  • it is good also as a structure provided with the operation
  • the emotion accumulation unit that accumulates the emotion detected by the emotion detection unit
  • the action schedule table that shows the own action schedule
  • at least the emotion accumulation unit It is good also as a structure provided with the emotion change cause estimation part which estimates an emotion change cause from the future schedule shown by the stored emotion or own action schedule. In this case, it is possible to estimate from the future schedule the cause of the change of the emotion or the influence of the emotion, and deal with the influence of the emotion corresponding to the cause.
  • the motion control unit may control a motion directed to the emotion of the base personality corresponding to the cause estimated by the emotion change cause estimation unit. In this case, it is possible to work on one's emotion more effectively in consideration of the tendency and characteristics of one's own emotion.
  • one of the products is a vehicle, and the vehicle includes a driving tendency determination unit that determines a driving tendency.
  • the driving tendency determination unit discriminates at least leisurely driving and impatient driving, If it is determined that the driver's driving is impatient, it is determined whether it is an emotion that affects driving or not, based on at least the immediately preceding emotion and the action schedule shown in its own action schedule.
  • the operation control unit may be configured to perform an operation directed to eliminate the influence of driving. In this case, it is possible to eliminate or reduce factors that affect the driving of the vehicle.
  • the personal personality may be an artificial intelligence.
  • the emotion can be detected with high accuracy by the personal personality.
  • the personal personality may imitate an emotion or a change in emotion, and the emotion detection unit may detect an emotion of the personal personality. In this case, it is possible to easily detect the emotion or change in emotion with higher accuracy.
  • the vehicle can detect emotions with high accuracy by a personal personality constituted by information from a plurality of products. It is also possible to detect emotions in a state where the vehicle is not involved in the vehicle.
  • FIG. 1 is a schematic diagram of an emotion estimation system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a specific example of the operation of each device in the emotion estimation system.
  • FIG. 3 is a functional block diagram of the server.
  • FIG. 4 is a functional block diagram of the motorcycle.
  • FIG. 5 is a schematic diagram illustrating a configuration example of emotion detection setting data.
  • FIG. 6 is an explanatory diagram showing the relationship between the personal personality and the base personality.
  • FIG. 7 is a schematic diagram illustrating a configuration example of the corresponding operation table.
  • FIG. 8 is a schematic diagram illustrating a configuration example of the corresponding operation table.
  • FIG. 9 is a flowchart showing the operation of the devices constituting the emotion estimation system.
  • FIG. 9 is a flowchart showing the operation of the devices constituting the emotion estimation system.
  • FIG. 10 is a flowchart showing the operation of the server.
  • FIG. 11 is a flowchart showing the operation of the emotion estimation system.
  • FIG. 12 is a flowchart showing the operation of the emotion estimation system.
  • FIG. 13 is a flowchart showing the operation of the emotion estimation system.
  • FIG. 14 is a flowchart showing the operation of the emotion estimation system.
  • FIG. 15 is a flowchart showing the operation of the emotion estimation system.
  • FIG. 16 is a functional block diagram showing another configuration example of the motorcycle.
  • FIG. 1 is a schematic diagram of an emotion estimation system 1.
  • the emotion estimation system 1 is configured by connecting a plurality of devices including a motorcycle 4 and a server 3 to a communication network 2.
  • the device included in the emotion estimation system 1 is a device used by the user U, the type (category), usage, structure, and the like of the device are not particularly limited.
  • a four-wheeled vehicle 11, a rice cooker 12, a cleaner 13, a television receiver 14, and a refrigerator 15 are illustrated.
  • the motorcycle 4 (vehicle), the four-wheeled vehicle 11 (vehicle), the rice cooker 12, the vacuum cleaner 13, the television receiver 14, and the refrigerator 15 are connected to the communication network 2, respectively.
  • Each of these devices communicates with the server 3 via the communication network 2 to transmit and receive data. Further, these devices may communicate with each other via the communication network 2.
  • Each of these devices functions as an emotion estimation device of the present invention.
  • the communication network 2 is a network through which a plurality of computers can execute communication, and is, for example, a wide area communication network.
  • the communication network 2 may be an open network such as the Internet, or may be a closed communication network.
  • the server 3 and each device constituting the emotion estimation system 1 may perform secure communication on the communication network 2 using VPN (Virtual Private Network) technology or the like. Good.
  • the communication network 2 includes a communication line such as a public telephone line and a dedicated line, and may include various network devices such as a router, a gateway server, a switch, and a bridge that relay or control communication via the communication line. .
  • the communication protocol used in data communication via the communication network 2 is not limited.
  • the server 3 is not limited to one configured by a single computer, and may be configured by a network computer (so-called cloud computer), for example.
  • User U corresponds to himself in the present invention.
  • the person himself / herself (the motorcycle 4, the four-wheeled vehicle 11, the rice cooker 12, the vacuum cleaner 13, the television receiver 14, and the refrigerator 15 that constitutes the emotion estimation system 1 or the emotion estimation system 1) (Human) himself.
  • the user U is a person driving the motorcycle 4. It is not essential for the user U to drive the motorcycle 4, and in the present embodiment, it is shown as a preferable example.
  • Examples of the user U include a user who uses at least a plurality of the motorcycle 4, the four-wheeled vehicle 11, the rice cooker 12, the vacuum cleaner 13, the television receiver 14, and the refrigerator 15 that constitute the emotion estimation system 1.
  • the motorcycle 4, the four-wheeled vehicle 11, the rice cooker 12, the vacuum cleaner 13, the television receiver 14, and the refrigerator 15 used by a single user U estimate the emotion of the user U.
  • the user U uses the motorcycle 4, the four-wheeled vehicle 11, the rice cooker 12, the vacuum cleaner 13, the television receiver 14, and the refrigerator 15 that constitute the emotion estimation system 1 regularly or temporarily. It is not limited that U owns the above device.
  • the user U may be a person who borrows and uses the above device.
  • the four-wheeled vehicle 11 may be a rental car that the user U temporarily rents and uses.
  • the motorcycle 4, the four-wheeled vehicle 11, the rice cooker 12, the cleaner 13, the television receiver 14, and the refrigerator 15 are devices related to the user U.
  • the motorcycle 4 is a motorcycle that the user U is driving or boarding.
  • the four-wheeled vehicle 11 is an automobile used by the user U.
  • the form of use of the four-wheeled vehicle 11 is not limited to the case where the user U drives, and a form in which a person different from the user U drives and the user U rides as a passenger is also included in the scope of application of the present invention.
  • the rice cooker 12 is an example of a device used by the user U for cooking, and is a rice cooker. You may replace the rice cooker 12 with other cooking appliances, such as a microwave oven, an electromagnetic cooker, an oven, and an electric kettle.
  • the cleaner 13 is, for example, a self-propelled cleaner, and performs cleaning according to the contents set in advance by the user U with respect to the time at which cleaning is performed and the place to be cleaned.
  • the television receiver 14 is an example of a device in which the user U listens to video and music, and is used when viewing a television broadcast.
  • the refrigerator 15 is an example of a device used by the user U to store foods and the like. These are specific examples of devices related to the user U, and the object to which the present invention is applied is not limited to these devices.
  • Each device constituting the emotion estimation system 1 includes a computer in order to perform processing related to the emotion of the user U.
  • This computer is, for example, an ECU (Engine Control Unit) provided for the motorcycle 4 to execute an operation as a motorcycle, a microcomputer provided for the rice cooker 12 to execute a cooking function, and the like. It may be a computer provided for executing functions.
  • Each device may be equipped with a dedicated computer for estimating the emotion of the user U and performing processing corresponding to the estimated emotion.
  • each device of the emotion estimation system 1 realizes the personal personality 22.
  • the personal personality 22 is a virtual personality that imitates the emotion of the user U or a change in emotion.
  • the personal personality 22 is constructed by a computer program, behaves as a virtual person, and has an emotion imitating the user U as if it were a real person.
  • the emotion of the personal personality 22 is set to change in the same manner as the emotion of the user U.
  • the personal personality 22 simulates (or emulates) the emotion of the user U.
  • the personal personality 22 is executed by the computer when the computer executes a program constituting the personal personality 22.
  • the program constituting the personal personality 22 may be a program that simulates human emotions. Moreover, it is a program which obtains the output value which shows a human emotion from one specific parameter, Comprising: The simple program which matched the parameter and the output value one-to-one may be sufficient.
  • the personal personality 22 is configured by artificial intelligence (AI). That is, the function of the personal personality 22 is realized by all or some collection of technical elements that belong to or are related to the artificial intelligence technology.
  • This type of technology includes various filtering, independent component analysis, SVM (Support Vector Vector), contour extraction and other image processing techniques, pattern recognition (eg speech recognition, face recognition, etc.), natural language processing, knowledge information processing , Reinforcement learning, Bayesian network, SOM (self-organizing map), neural network, Deep learning, and other various machine learning.
  • each device related to the user U executes a personal personality 22 program.
  • Each device performs detection related to the user U such as operation and voice of the user U during the operation of the personal personality 22, and collects detection results.
  • This detection result is sent to the server 3 as big data 21, and the personal data 22 learns this big data 21.
  • the personal personality 22 learns, the personal personality 22 can imitate the emotion of the user U with higher accuracy. Therefore, the emotion of the personal personality 22 is regarded as the emotion of the user U, and the emotion of the user U can be detected or estimated by detecting the current emotion of the personal personality 22.
  • the emotion estimation system 1 has a concierge personality 23.
  • the concierge personality 23 is a virtual personality that communicates (for example, conversation) with the user U like a human.
  • the user U has a conversation similar to that of an actual human being, with the concierge personality 23 acting as a virtual human being constructed by a computer program.
  • the concierge personality 23 can perform an operation as if a human is caring for the user U, and acts as a personal adviser, a supporter, and a guider of the user U who provides support, guidance, and support to the user U. .
  • the name of the concierge personality 23 is given in the present embodiment.
  • the concierge personality 23 can be called, for example, a personal assistant instead of the concierge word.
  • the function of the concierge personality 23 is executed by the computer when the computer executes the program constituting the concierge personality 23.
  • the program constituting the concierge personality 23 may be a program that simulates human emotions. Moreover, it is a program which obtains the output value which shows a human emotion from one specific parameter, Comprising: The simple program which matched the parameter and the output value one-to-one may be sufficient.
  • the concierge personality 23 may be configured by artificial intelligence (AI), similar to the personal personality 22. That is, the function of the concierge personality 23 may be realized by all or some of the technical elements belonging to the artificial intelligence technology similar to the personal personality 22 or related technical elements.
  • AI artificial intelligence
  • the concierge personality 23 is not limited to a voice conversation with the user U.
  • the concierge personality 23 may control an operation of a device used by the user U.
  • the concierge personality 23 may perform an operation including conversation and / or control of the device so as to direct the user U's emotion to a specific emotion. For example, as described later, while the user U is driving the motorcycle 4, the concierge personality 23 adjusts the behavior of the motorcycle 4.
  • the motorcycle 4, the four-wheeled vehicle 11, the rice cooker 12, the vacuum cleaner 13, the television receiver 14, and the refrigerator 15 of the emotion estimation system 1 have the emotions of the user U in addition to the original functions of the devices described above. It has the function to estimate. These devices estimate the emotion of the user U from data obtained from the history of operations performed on the device by the user U, the contents of conversations between the user U and each device, and the like. Furthermore, each device has a function of talking to the user U by voice corresponding to the estimated emotion of the user U. For this function, each device includes a microphone that collects the voice of the user U and a speaker that emits the voice.
  • FIG. 2 is a diagram showing a specific example of the operation of each device in the emotion estimation system 1. Specifically, FIG. 2 shows an example of a detection value used for each device of the emotion estimation system 1 to estimate the emotion of the user U and an example of an operation executed in response to the emotion of the user U.
  • the motorcycle 4 uses the detection value related to the driving control when the user U drives the motorcycle 4 and the voice of the user U as a detection value for estimating the emotion of the user U.
  • the four-wheeled vehicle 11 uses the detected value related to the driving control when the user U drives the four-wheeled vehicle 11, the weight of the user U detected by the weight sensor included in the four-wheeled vehicle 11, and the voice of the user U. It is used as a detection value to estimate the emotion of Examples of the data related to the operation control of the four-wheeled vehicle 11 include a travel distance, a travel speed, a throttle opening, a steering angle, a brake operation amount, and a vehicle weight.
  • the four-wheeled vehicle 11 may acquire data such as a departure place, an arrival place, a waypoint, etc. by performing positioning using GPS (Global Positioning System), and the like. Data may be acquired, and these may be processed as data related to operation control.
  • GPS Global Positioning System
  • the refrigerator 15 uses the number of times the door is opened and closed, the data regarding the contents, and the voice of the user U as detection values for estimating the emotion of the user U.
  • the rice cooker 12 detects the frequency of the user U using the rice cooker 12, the history of items selected by the user U from the operation menu of the rice cooker 12, and the voice of the user U to estimate the emotion of the user U. Use as a value.
  • the vacuum cleaner 13 uses the collected amount of dust and the voice of the user U as detection values for estimating the emotion of the user U.
  • the television receiver 14 transmits the viewing history including the data of the broadcasting station received by the operation of the user U, the data of the time when the broadcast is received and the image is displayed, and the voice of the user U to the emotion of the user U. Is used as a detected value for estimating.
  • the motorcycle 4 controls the motorcycle 4 in order to work on the emotion of the user U when the emotion of the user U is estimated.
  • the control in this case includes adjustment of seat height of the motorcycle 4, operation control, operation of generating a sound to the user U, and the like.
  • the four-wheeled vehicle 11 performs the operation
  • the television receiver 14 utters voice to the user U as an operation to work on the emotion of the user U, and performs an operation of selecting a program and showing it to the user U.
  • the rice cooker 12, the vacuum cleaner 13, and the refrigerator 15 perform the operation
  • a computer installed on an aircraft seat may be used as a device related to the user U.
  • a computer installed on an aircraft seat specifies a user U seated on the seat, performs a conversation with the user U, and executes processing for the user U.
  • the computer installed in the aircraft seat estimates the emotion of the user U based on the voice of the user U.
  • the position of the seat may be adjusted, or a voice may be emitted to the user U.
  • a computer equipped with a microphone and a speaker may be installed in a fitting room installed in a store that sells clothing and the like, and this computer may be used as an apparatus constituting the emotion estimation system 1.
  • this computer Similar to the computer installed on the seat of the aircraft, this computer specifies the user U who uses the fitting room, performs a conversation with the user U, and executes processing for the user U.
  • the computer installed in the fitting room estimates the emotion of the user U based on the voice of the user U. Moreover, you may utter an audio
  • Each device transmits data used when estimating the emotion of the user U to the server 3 via the communication network 2. For example, when the user U uses each device, data obtained from a history of operations performed on the device by the user U, data obtained from voice conversations performed between the user U and each device, etc. Are collected and transmitted to the server 3. These data constitute big data 21.
  • the server 3 analyzes the big data 21.
  • the big data 21 may be stored in the server 3.
  • the big data 21 is data collected by each device of the emotion estimation system 1 as described above.
  • the server 3 stores the big data 21 temporarily or continuously.
  • the big data 21 includes data (information) collected by each device and information indicating the category of the device that collected the information or unique identification information (ID or the like) given to the device in association with each other.
  • the category of the device may be set based on the device attribute included in the emotion estimation system 1. For example, it is set by distinguishing household or household appliances, daily necessities, and vehicles that are objects of driving operations. Further, categories may be classified more finely based on the use, type, and general name of the product.
  • the server 3 collects and accumulates the big data 21 and forms a personal personality 22 from the big data 21.
  • the server 3 causes the personal personality 22, which is artificial intelligence, to perform learning based on the big data 21 collected by the device related to the user U.
  • the personal personality 22 can learn highly about the emotion of the user U, and acquire an algorithm that specializes in the user U and estimates the emotion with high accuracy.
  • the server 3 may cause the concierge personality 23 that is artificial intelligence to learn based on the big data 21.
  • the concierge personality 23 can be used without learning. Further, when it is useful to adapt the concierge personality 23 to a specific user U, the concierge personality 23 may perform learning based on the big data 21.
  • the motorcycle 4, the four-wheeled vehicle 11, the rice cooker 12, the cleaner 13, the television receiver 14, and the refrigerator 15 each download a program and / or data constituting the personal personality 22 via the communication network 2. And run. Thereby, in each of the motorcycle 4, the four-wheeled vehicle 11, the rice cooker 12, the cleaner 13, the television receiver 14, and the refrigerator 15, the personal personality 22 can estimate the emotion of the user U with high accuracy.
  • Each device of the emotion estimation system 1 downloads and executes a program and / or data constituting the concierge personality 23 via the communication network 2.
  • the big data 21 includes data indicating the emotion of the user U estimated by each device of the emotion estimation system 1. This data may be a result at the time when each device performs a process of estimating the emotion of the user U with the personal personality 22, or may be history data in which the emotion of the user U is estimated. Each of the plurality of devices transmits a history of estimating the emotion of the user U to the server 3, so that the server 3 can acquire information regarding the emotion of the user U estimated at various times as the big data 21. By sharing this information among the devices of the emotion estimation system 1, each device can acquire data related to the emotion of the user U while the device is not being used.
  • Each device of the emotion estimation system 1 transmits data relating to the future schedule of the user U to the server 3 as big data 21. That is, the big data 21 includes data related to the future schedule of the user U acquired by each device. Data relating to the future schedule of the user U is acquired by each device when the user U performs an input operation or voice input using a switch or key in each device. For example, when the user U tells the rice cooker 12 the date and destination to go on a trip by voice, the rice cooker 12 recognizes the information on the destination and date of the trip by voice recognition. In this case, the rice cooker 12 transmits the travel destination and date information to the server 3 as the schedule of the user U. This information is shared by each device of the emotion estimation system 1 via the server 3 as described later. Further, the server 3 or another device of the emotion estimation system 1 may acquire data related to the schedule from another computer that is communicably connected via the communication network 2.
  • Each device of the emotion estimation system 1 includes data input by the user U by an input operation using a switch or a key or voice input in addition to the future schedule of the user U.
  • each device acquires a shopping list and transmits it as big data 21 to the server 3.
  • the big data 21 is not only used for learning by the personal personality 22 but may be downloaded from the server 3 as a learning result of the personal personality 22.
  • the motorcycle 4, the four-wheeled vehicle 11, the rice cooker 12, the vacuum cleaner 13, the television receiver 14, and the refrigerator 15 are based on big data 21 including data acquired by other devices.
  • the emotion of the user U can be detected or estimated using the personal personality 22 that has learned.
  • each apparatus can perform the operation
  • the four-wheeled vehicle 11 emits conversation voices 110, 111, 112, 113 to the user U.
  • the conversation voice 110 is a voice message telling the user U that he / she wants to play the user's U favorite music.
  • the conversation voice 111 is a voice that tells the user U that the seat position of the four-wheeled vehicle 11 and the setting of the traveling operation performed by the four-wheeled vehicle 11 in response to the driving operation are matched to the preference of the user U.
  • the conversation voice 112 is a voice for talking to the user U about the weight of the user U based on the weight detected by the weight sensor included in the four-wheeled vehicle 11.
  • the conversation voice 113 is a voice for guiding nearby sightseeing spots and famous souvenirs when the user U is traveling on the four-wheeled vehicle 11.
  • the rice cooker 12 can emit a conversational voice 121 for talking about a destination to which the user U goes out based on the future schedule of the user U included in the big data 21.
  • the cleaner 13 can emit the conversation voice 131 that calls the user U to take measures against hay fever, based on the data that the user U has hay fever, for example.
  • the television receiver 14 can emit a conversation voice 141 that guides a television program related to the previous action of the user U based on the future schedule of the user U and a record of the contents of the conversation of the motorcycle 4 with the user U.
  • the refrigerator 15 can emit a conversation voice 151 that prompts the user to drink coffee based on the previous action of the user U, specifically, the history of using the television receiver 14.
  • Each device of the emotion estimation system 1 not only unilaterally utters a voice to the user U, but also enables an interactive voice conversation with the user U.
  • This voice conversation is realized by the above-mentioned computer included in each device executing the concierge personality 23 to process data. These conversations may be so-called chats.
  • FIG. 3 is a functional block diagram of the server 3.
  • the server 3 includes a server-side control unit 31, a personality DB 34, an authentication information storage unit 36, and a communication unit 38.
  • the communication unit 38 is connected to the communication network 2 by wire or wirelessly, and transmits / receives data via the communication network 2 under the control of the server-side control unit 31.
  • the server-side control unit 31 is a control unit that controls each unit of the server 3, and is configured by cooperation between a processor and a program executed by the processor.
  • a personality DB 34 and an authentication information storage unit 36 are connected to the server-side control unit 31.
  • the server-side control unit 31 is a processor that executes a program and can also be referred to as the processor 31.
  • the processor 31 can be an integrated circuit, a microcontroller, a microcomputer, a programmable logic controller, an application specific integrated circuit, or other programmable circuits. For example, it can be composed of a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a microcomputer, or another arithmetic processing device.
  • the processor 31 may be an integrated chip (for example, a so-called SoC (System-on-a-Chip) device) in which ROM (Read Only Memory) and RAM (Random Access Memory) are integrated.
  • SoC System-on-a-Chip
  • the personality DB 34 is a storage device that stores data as an entity, and can also be referred to as a storage device 34.
  • the storage device 34 is, for example, a storage device using a magnetic recording medium such as an HDD (Hard Disk Drive), or a storage device using a semiconductor storage element such as an SSD (Solid State Drive), a flash ROM, or an SRAM (Static RAM). Is mentioned.
  • the authentication information storage unit 36 can be configured using a part of the storage area of the storage device 34.
  • a storage device 36 may be provided as the authentication information storage unit 36. In this case, the specific configuration of the storage device 36 can be the same as that of the storage device 34.
  • the processor 31 executes the program stored in the storage device 34 and processes the data stored in the storage device 34, thereby realizing various functions of the server-side control unit 31.
  • the server-side control unit 31 includes a personal personality execution unit 32, a personality formation unit 311, a personality transfer unit 312, an authentication processing unit 313, and a concierge personality formation unit 314.
  • the personality DB 34 is a database including data related to the personal personality 22 and the concierge personality 23.
  • Personality DB 34 includes personal personality 342, base personality 343, action schedule data 344, emotion detection history data 345, emotion detection DB 346, conversation DB 347, corresponding action table 348, and concierge personality 349.
  • the personal personality 22 and the concierge personality 23 in FIG. 1 schematically show the personal personality 22 and the concierge personality 23 executed by each device of the emotion estimation system 1. These entities are a personal personality 342 and a concierge personality 349 in the server 3.
  • the authentication information storage unit 36 stores authentication information 361 that is information for authentication.
  • the personality forming unit 311 forms a personal personality 342 based on the big data 21 (FIG. 1).
  • the personality forming unit 311 forms a personal personality 342 and stores it in the personality DB 34.
  • the personal personality 342 is a program that can be executed by a computer.
  • a general-purpose or initial personal personality 342 is stored in the personality DB 34 before the big data 21 is collected.
  • the personality forming unit 311 acquires the big data 21 transmitted from each device of the emotion estimation system 1 through the communication unit 38.
  • the personality forming unit 311 extracts data related to the future schedule of the user U from the big data 21, generates action schedule data 344, and stores it in the personality DB 34.
  • the personality forming unit 311 extracts the estimation result of each device estimating the emotion of the user U from the big data 21, generates emotion detection history data 345, and stores it in the personality DB 34.
  • the personality forming unit 311 updates the data of the action schedule data 344 and the emotion detection history data 345 already stored in the personality DB 34.
  • the personality forming unit 311 executes learning for the big data 21 by the learning function of the personal personality 342 stored in the personality DB 34.
  • the personal personality 342 acquires an algorithm for estimating the emotion of the user U. That is, the emotion estimation algorithm of the personal personality 342 in the initial state is improved or modified to an algorithm for the purpose of estimating the emotion of the specific user U by performing machine learning based on the big data 21.
  • the personal personality 342 obtains an algorithm that estimates the emotion of the user U with high accuracy and generates an emotion or emotional movement so as to imitate the emotion of the user U.
  • the personality forming unit 311 reads out and executes the personal personality 342 from the personality DB 34, causes the personality 342 to store the personal personality 342 after learning by causing the personality 342 to execute the above-described learning.
  • the personality forming unit 311 may perform learning of the personal personality 342 by executing a program that has a function of updating the personal personality 342 and is different from the personal personality 342.
  • the Server 3 forms a concierge personality 349.
  • the general-purpose or initial concierge personality 349 is stored in the personality DB 34 before the big data 21 is collected.
  • the concierge personality 349 stored in the personality DB 34 may be used in the emotion estimation system 1.
  • the personality forming unit 311 reads out and executes the concierge personality 349 stored in the personality DB 34, and causes the learning based on the big data 21 to be executed by the learning function of the concierge personality 349.
  • the concierge personality 349 is a computer-executable program. With this learning, the concierge personality 349 acquires an algorithm that works on the emotion of the personal personality 342.
  • the concierge personality 349 controls conversation and devices in order to work to direct the emotion of the personal personality 342 in a specific direction, tendency, or specific emotion.
  • the purpose of the action executed by the concierge personality 349 is to induce the emotion of the user U in the intended direction.
  • the concierge personality 349 can effectively work on the emotion of the specific user U by performing machine learning based on the big data 21, and the emotion of the user U is more reliably targeted. You will be able to navigate in the direction. For this reason, the concierge personality 349 improves and modifies the algorithm by learning. There are no particular restrictions on the specific aspects of algorithm improvements and modifications, and changes in the program itself may be included, as well as changes in parameters that define the operation of the program.
  • the personality formation unit 311 updates the concierge personality 349 in the personality DB 34 each time learning of the concierge personality 349 progresses.
  • the personality transfer unit 312 is a program including the personal personality 342 in response to a request to transfer the personal personality 342, that is, the personal personality 22, from any of the devices constituting the emotion estimation system 1
  • the data is transmitted by the communication unit 38.
  • the personality transfer unit 312 transmits the personality DB 34 including other data used when the personal personality 342 operates in addition to the personal personality 342 by the communication unit 38.
  • the authentication processing unit 313 executes authentication processing when the server 3 is accessed from another device via the communication network 2.
  • the authentication processing unit 313 executes authentication by comparing information transmitted by the device that has accessed the server 3 with authentication information 361 stored in the authentication information storage unit 36.
  • the motorcycle 4, the four-wheeled vehicle 11, the rice cooker 12, the vacuum cleaner 13, the television receiver 14, and the refrigerator 15 shown in FIG. 1 are connected to the user U when accessing the server 3 through the communication network 2.
  • Identification information such as a corresponding user ID and authentication information such as a password are transmitted.
  • the identification information and authentication information of the user U are unique to the user U.
  • the authentication processing unit 313 specifies a user U who uses this device when performing authentication on the device that has accessed the server 3.
  • the server 3 has a personality DB 34 for each user U.
  • the authentication processing unit 313 specifies the user U who uses the device to be authenticated when executing the authentication, and when the authentication is successful, the server-side control unit 31 determines the personality related to the user U specified by the authentication. DB34 is processed.
  • the personality transfer unit 312 transmits the personality DB 34 through the communication unit 38 when authentication by the authentication processing unit 313 is successful.
  • the personality transfer unit 312 may select data or programs to be transmitted from the personality DB 34 according to the category of the device authenticated by the authentication processing unit 313.
  • the personal personality execution unit 32 executes the personal personality 342. In the server 3, when it is necessary to execute the personal personality 342 that is a program including an artificial intelligence algorithm, the personal personality execution unit 32 executes this processing.
  • the personal personality 342 is artificial intelligence that imitates the emotion of the user U or changes in emotion, and specifically includes a program for executing an algorithm and data processed by the program. .
  • the personal personality 342 is an algorithm corresponding to a learning function for learning about the user U based on the big data 21, an emotion detection function for estimating (detecting) an emotion of the user U, a conversation execution function for performing a conversation with the user U, and the like.
  • the base personality 343 includes a program and data related to the base personality, which is a virtual personality formed by the algorithm of the personal personality 342.
  • the base personality will be described later.
  • the action schedule data 344 includes data related to the future schedule of the user U, and is composed of data extracted from the big data 21, for example.
  • the action schedule data 344 includes, for example, information extracted from the big data 21 transmitted by each device constituting the emotion estimation system 1 by the personality forming unit 311.
  • the personality forming unit 311 may receive data on the future schedule of the user U from an external server (not shown) connected via the communication network 2 and include the data in the action schedule data 344.
  • the emotion detection history data 345 is data including a history of detecting the emotion of the user U in each apparatus of the motorcycle 4, the four-wheeled vehicle 11, the rice cooker 12, the cleaner 13, the television receiver 14, and the refrigerator 15.
  • the emotion of the user U may be an emotion of the personal personality 342 that imitates the emotion of the user U.
  • the emotion detection history data 345 may include information related to the emotion history of the personal personality 342.
  • the action schedule data 344 and the emotion detection history data 345 include action schedule data 344 and emotion detection history data 345 transmitted by each device of the emotion estimation system 1, and other data extracted from the big data 21 by the personality forming unit 311. May be included.
  • the emotion detection DB 346 includes various data that can be used as detection values related to the emotion of the user U.
  • the emotion detection DB 346 may include data such as prosody, sound quality, and phoneme obtained by analyzing the voice of the user U detected by a microphone, and parameters indicating the user U's emotion.
  • the emotion detection DB 346 may include data related to a captured image obtained by capturing the face of the user U with a camera. Specifically, data indicating the characteristics of the face image of the user U extracted from the captured image and data indicating the emotion of the user U may be included.
  • the data included in the emotion detection DB 346 is used, for example, when the personal personality 342 detects the emotion of the user U.
  • the personal personality 342 refers to the data of the emotion detection DB 346 when estimating (detecting) the emotion of the user U from data obtained by collecting the voice of the user U or a captured image of the face of the user U by an algorithm for emotion detection. To do.
  • the data included in the emotion detection DB 346 can also be referred to by the personal personality 342 to imitate the emotion of the user U.
  • the concierge personality 349 performs processing corresponding to the emotion of the user U
  • the data of the emotion detection DB 346 may be referred to.
  • the personal personality 342 may use data included in the emotion detection DB 346 for machine learning.
  • This machine learning is so-called supervised learning that is performed using training data in which the voice, facial expression, and behavior of the speaking partner are associated with the emotion of the speaking partner.
  • training data for example, a large number of pieces of data in which the prosody and sound quality of the voice, phonemes, facial expressions, and actions (gestures and driving operations) are variously different can be used.
  • the emotions of the training data are classified into any of “joy”, “anger”, “sadness”, “fun”, “impression”, “anxiety”, and “neutral” along with their degrees.
  • the conversation DB 347 includes data used when the concierge personality 349 executes a conversation with the user U using a conversation algorithm. Specifically, it includes data such as a word dictionary, a pronunciation dictionary, and a speech dictionary used when the concierge personality 349 synthesizes a conversation sentence. Further, the conversation DB 347 may include data used when the personal personality 342 analyzes the voice of the user U.
  • the correspondence operation table 348 is data in a table format that defines an operation to be executed in response to the emotion of the user U.
  • the correspondence operation table 348 includes data relating to the emotion of the user U and data defining an operation that works on the user U so as to suppress or calm the emotion of the user U.
  • the operation performed by each device of the emotion estimation system 1 for the user U varies depending on the type of device.
  • the server 3 personality DB 34 may store the corresponding operation table 348 for each category of device or for each device.
  • the personality DB 34 may store a plurality of corresponding action tables 348.
  • the corresponding operation table 348 stored in the server 3 may include a table corresponding to each of a plurality of categories or a plurality of devices.
  • one corresponding operation table 348 may include data related to a plurality of devices.
  • the concierge personality 349 corresponds to the emotion of the user U as described above. Artificial intelligence that performs control to direct the emotion of the user U in a predetermined direction, and specifically includes a program for executing an algorithm and data processed by the program.
  • FIG. 4 is a functional block diagram showing the configuration of the control system of the motorcycle 4.
  • a motorcycle 4 will be described as an example of an apparatus related to the user U in the emotion estimation system 1.
  • the motorcycle 4 may be a saddle type motorcycle or a scooter.
  • the motorcycle 4 includes a sensor unit 43 including various sensors related to traveling and an operation unit 44 that executes various operations related to traveling.
  • the motorcycle 4 includes an ECU 41 that controls the sensor unit 43 and the operation unit 44.
  • Each part of ECU41 of this embodiment, sensor part 43, and operation part 44 is not different from a general motorcycle, and detailed composition of ECU41, sensor part 43, and operation part 44 is an example to the last.
  • the sensor unit 43 includes an illuminance sensor 431, a switch 432, a throttle sensor 433, a rudder angle sensor 434, a brake sensor 435, a temperature sensor 436, and a vehicle speed sensor 437.
  • the illuminance sensor 431 detects the brightness around the motorcycle 4.
  • the switch 432 is various switches provided in the motorcycle 4, and includes, for example, a winker switch, a headlight switch, a cell starter switch, and the like.
  • the throttle sensor 433 detects the operation amount of the throttle installed on the handle (not shown) of the motorcycle 4.
  • the rudder angle sensor 434 detects the operation amount of the steering wheel operation of the motorcycle 4.
  • the brake sensor 435 detects the amount of operation of the brake lever of the motorcycle 4.
  • the brake sensor 435 may detect an operation amount of the foot brake.
  • the temperature sensor 436 detects the temperature of the engine of the motorcycle 4 and / or the temperature of a drive system such as a transmission of the motorcycle 4. For example, when the engine mounted on the motorcycle 4 is a water-cooled type, the temperature sensor 436 may detect the coolant temperature.
  • the vehicle speed sensor 437 detects the traveling speed of the motorcycle 4. Except switch 432, each sensor which constitutes sensor part 43 performs detection according to control of ECU41, and outputs a detected value to ECU41. Further, the ECU 41 can always detect the switching state of the switch 432.
  • the operation unit 44 includes a throttle device 441, a fuel injection device 442, an ignition device 443, a transmission device 444, a brake drive device 445, a lighting device 446, a suspension adjustment unit 447, and a meter panel 448.
  • the throttle device 441 adjusts the opening of a throttle valve (not shown) of the motorcycle 4 according to the control of the ECU 41.
  • the fuel injection device 442 injects fuel according to the control of the ECU 41.
  • the fuel injection device 442 included in the motorcycle 4 may be a port injection type or a direct injection type, and the number of injection nozzles is not particularly limited. When the fuel injection device 442 is a port injection type, fuel is injected according to the opening of the throttle valve. Further, the amount of fuel injected by the fuel injection device 442 can be controlled by the ECU 41.
  • the ignition device 443 includes an ignition plug of the engine of the motorcycle 4 and a circuit that supplies a voltage to the ignition plug.
  • the ECU 41 can control the ignition timing in each cylinder of the engine of the motorcycle 4 by controlling the ignition device 443.
  • the transmission 444 is an automatic transmission connected to the engine, and executes a shift according to the control of the ECU 41.
  • the transmission 444 is, for example, an AT (Automatic Transmission), a belt type AT, a CVT (Continuously Variable Transmission), a DCT (Dual Clutch Transmission), or the like.
  • the brake drive device 445 is a brake device disposed on each of the front wheels and the rear wheels of the motorcycle 4, and mechanically brakes according to the operation of the brake lever and the foot brake.
  • the brake drive device 445 has a brake booster that assists the operation force of the brake lever and foot brake to increase the braking force, and the ECU 41 can control the brake booster.
  • the brake drive device 445 may be configured to brake with a timing and a braking force determined by the ECU 41 in accordance with an operation of a brake lever or a foot brake.
  • the lighting device 446 includes a head lamp, a blinker lamp, a brake lamp, and other marker lamps of the motorcycle 4.
  • the lighting device 446 controls lighting and extinguishing of at least some of the lamps according to the control of the ECU 41.
  • the suspension adjustment unit 447 adjusts a suspension device (not shown) interposed between the tire of the motorcycle 4 and the vehicle body frame. For example, when the motorcycle 4 includes an active suspension device, the suspension adjustment unit 447 adjusts the vehicle height of the motorcycle 4, the damping force of the damper, and the like according to the control of the ECU 41.
  • the meter panel 448 displays the vehicle speed, the engine speed, the travel distance, the lighting state of the lamps, the remaining amount of fuel, and the like of the motorcycle 4.
  • the meter panel 448 includes a backlight for improving visibility in a dark place or at night. In the present embodiment, the emission color of the backlight can be changed under the control of the ECU 41.
  • the ECU 41 includes a detection control unit 411, a throttle control unit 412, a fuel injection control unit 413, an ignition control unit 414, a brake control unit 415, a suspension control unit 416, a lamp lighting control unit 417, and a display control unit 418.
  • the ECU 41 is a processor that executes a program and can also be referred to as the processor 41.
  • the processor 41 can be an integrated circuit, a microcontroller, a microcomputer, a programmable logic controller, an application-specific integrated circuit, or other programmable circuits. For example, it can be configured by a CPU, MPU, microcomputer, or other arithmetic processing device.
  • the processor 41 may be an integrated chip (for example, a so-called SoC device) in which ROM and RAM are integrated.
  • SoC device a so-called SoC device
  • the detection control unit 411, throttle control unit 412, fuel injection control unit 413, ignition control unit 414, brake control unit 415, suspension control unit 416, lamp lighting control Functions of the unit 417 and the display control unit 418 are realized.
  • the detection control unit 411 acquires detection values of various sensors included in the sensor unit 43 and the state of the switch 432.
  • the throttle control unit 412 operates the throttle device 441 based on the detection value detected by the detection control unit 411.
  • the fuel injection control unit 413 controls the fuel injection timing and the injection amount by the fuel injection device 442 based on the detection value detected by the detection control unit 411 and the like.
  • the ignition control unit 414 controls the ignition device 443 based on the detection value detected by the detection control unit 411 and ignites the ignition plug at an appropriate timing.
  • the brake control unit 415 controls the operation of the brake booster by controlling the brake driving device 445.
  • the suspension control unit 416 controls the suspension adjustment unit 447 to adjust the height of the motorcycle 4, set the suspension setting, and the like.
  • the lamp lighting control unit 417 controls lighting and extinguishing of each lamp constituting the lighting device 446 in accordance with the switching state of the switch 432.
  • the display control unit 418 switches between turning on and off the backlight of the meter panel 448 and changing the emission color of the backlight.
  • the motorcycle 4 can travel according to the operation of the user U by the functions of the ECU 41, the sensor unit 43, and the operation unit 44. These can be said to be the minimum configuration required for traveling of the motorcycle 4.
  • the motorcycle 4 includes a device-side control unit 46, a communication unit 47, a personality DB 48, and an external sensor 49.
  • the device-side control unit 46 is a functional unit that executes a personal personality 482 that is artificial intelligence, and is configured by cooperation of a processor and a program executed by the processor.
  • a personality DB 48 and an external sensor 49 are connected to the device-side control unit 46.
  • the device-side control unit 46 is a processor that executes a program, and can also be referred to as the processor 46.
  • the processor 46 may be an integrated circuit, a microcontroller, a microcomputer, a programmable logic controller, an application specific integrated circuit, or other programmable circuits. For example, it can be configured by a CPU, MPU, microcomputer, or other arithmetic processing device.
  • the processor 46 may be an integrated chip (for example, a so-called SoC device) in which ROM and RAM are integrated.
  • the personality DB 48 is a storage device that stores data as an entity, and can also be referred to as a storage device 48. Examples of the storage device 48 include a storage device using a magnetic recording medium such as an HDD, and a storage device using a semiconductor storage element such as an SSD, a flash ROM, and an SRAM.
  • the communication unit 47 is connected to the communication network 2 and performs communication with the server 3 (FIG. 1) via the communication network 2.
  • the communication unit 47 transmits the data output from the device side control unit 46 to the server 3 and outputs the data received from the server 3 to the device side control unit 46.
  • the external sensor 49 includes a headset 491, a camera 494, a G sensor 495, a GPS receiving unit 496, and a wireless communication unit 497.
  • the headset 491 is provided in a helmet worn by the user U and includes a microphone 492 and a speaker 493.
  • the microphone 492 collects a voice uttered by the user U and outputs a voice signal to the apparatus-side control unit 46.
  • the speaker 493 may be an earphone worn by the user U on the ear, and outputs sound according to the control of the device-side control unit 46.
  • an A / D (Analogue / Digital) converter that performs conversion between an analog audio signal and digital data may be provided between the headset 491 and the apparatus-side control unit 46, or the headset 491 may be A A / D converter may be provided.
  • the camera 494 includes an image sensor such as a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor), captures an imaging range including the face of the user U, and outputs the captured image data to the apparatus-side control unit 46.
  • the G sensor 495 is a sensor that detects acceleration, and outputs a detection value to the apparatus-side control unit 46.
  • the G sensor 495 may be a uniaxial sensor that detects G in the uniaxial direction, or may be a biaxial or triaxial sensor.
  • the G sensor 495 may be an integrated motion sensor unit combined with an angular velocity sensor or the like.
  • the GPS receiving unit 496 includes an antenna (not shown) that receives a GPS signal, measures the current position of the motorcycle 4, and outputs a positioning result to the device-side control unit 46.
  • the wireless communication unit 497 performs short-range communication using at least a short-range wireless communication protocol.
  • Short-range wireless communication is wireless communication with a communication area of at least several tens of centimeters to several meters or more. Examples of the short-range wireless communication protocol include Bluetooth (registered trademark), IrDA (registered trademark), RFID (Radio Frequency Identification), IEEE 802.11 (so-called wireless LAN), and the like.
  • the wireless communication unit 497 performs wireless communication with a smartphone, a wireless microphone, and other devices possessed and used by the user U.
  • the various data stored in the personality DB 48 is data stored in the personality DB 34 of the server 3 (FIG. 2).
  • the device-side control unit 46 accesses the server 3 through the communication unit 47 and stores the data downloaded through the authentication process in the personality DB 48.
  • the personal personality 482 is artificial intelligence that imitates the emotion of the user U or a change in emotion, and specifically includes a program for executing an algorithm and data processed by the program. .
  • the personal personality 482 is obtained, for example, by the device-side control unit 46 downloading the personal personality 342 that has been learned in the server 3.
  • the base personality 483 includes a program related to the base personality, which is a virtual personality formed by the algorithm of the personal personality 482, and data.
  • the personal personality 482 is a virtual personality that has the same emotional tendency as the user U or imitates the emotional tendency of the user U.
  • the personal personality 482 simulates a change in the emotion of the user U in response to an external factor, and generates an emotion imitating the emotion of the user U.
  • the personal personality 482 may imitate the emotion of the user U based on both the external factor and the emotion of the user U that is generated or changed in response to the external factor.
  • the base personality 483 indicates the emotion that the user U has in a normal state, taking into account the tendency of the emotion of the user U.
  • the base personality 483 may be a program having an algorithm for generating or changing an emotion, or may be an AI, but may be a reference value indicating the type and degree of emotion.
  • the user U in a normal state is a virtual personality specified based on the big data 21 collected by each device constituting the emotion estimation system 1. In simple terms, it is possible to obtain from the emotion of the base personality 483 what emotion the “normal user U” has.
  • the base personality 483 may be formed by the server 3 and transmitted (distributed) to the motorcycle 4, the four-wheeled vehicle 11, the rice cooker 12, the cleaner 13, the television receiver 14, and the refrigerator 15. .
  • the motorcycle 4 forms a base personality 483 by the apparatus-side control unit 46.
  • the action schedule data 484 (action schedule table) is the same data as the action schedule data 344 stored in the personality DB 34, and includes data related to the future schedule of the user U.
  • the motorcycle 4 downloads the action schedule data 344 from the server 3 and stores it in the personality DB 48.
  • the apparatus-side control unit 46 can refer to the latest action schedule data 484.
  • the emotion detection history data 485 (emotion accumulation unit) is data of a history that is estimated and detected for the user U, and is downloaded from the server 3 by the device-side control unit 46.
  • the emotion detection history data 485 includes history data in which the apparatus-side control unit 46 estimates the emotion of the user U in the motorcycle 4.
  • the other apparatuses (the four-wheeled vehicle 11, the rice cooker 12, the vacuum cleaner 13, the television receiver 14, and the refrigerator 15) of the emotion estimation system 1 include a history of estimating the emotion of the user U.
  • the emotion detection DB 486 includes various data that can be used as detection values related to the emotion of the user U.
  • the emotion detection DB 486 includes data similar to the emotion detection DB 346 stored in the personality DB 34.
  • the emotion detection DB 486 may be downloaded from the server 3 by the device-side control unit 46 and stored in the personality DB 48.
  • the conversation DB 487 includes data used when the device-side control unit 46 executes a conversation with the user U using a conversation algorithm.
  • the conversation DB 487 includes data similar to the conversation DB 347 stored in the personality DB 34.
  • the correspondence operation table 488 is data in a table format that defines an operation to be executed in response to the emotion of the user U.
  • Corresponding operation table 488 includes data relating to user U's emotion and data defining an action to be performed on user U so as to suppress or calm user U's emotion.
  • the corresponding operation table 488 is a table that defines an operation to be executed by the motorcycle 4 in response to the emotion of the user U, and includes data related to operations to be executed by other devices such as the four-wheel vehicle 11 and the rice cooker 12.
  • the device-side control unit 46 may download only the data related to the operation of the motorcycle 4 from the corresponding operation table 348 stored in the personality DB 34 and store it as the corresponding operation table 488.
  • the concierge personality 489 corresponds to the emotion of the user U as described above.
  • Artificial intelligence that performs control to direct the emotion of the user U in a predetermined direction, and specifically includes a program for executing an algorithm and data processed by the program.
  • the device-side control unit 46 implements various functions of artificial intelligence by executing the personal personality 482 and the concierge personality 489 stored in the personality DB 48.
  • the device-side control unit 46 includes a communication control unit 461, an external sensor control unit 462, a vehicle sensor control unit 463, an emotion detection unit 464, a running state adjustment unit 465, a conversation execution unit 466, an output control unit 467, and a base personality formation unit 468.
  • An emotion change cause estimation unit 469 and an operation control unit 470 are functions realized by executing the personal personality 482.
  • the operation control unit 470 is a function realized by executing the concierge personality 489.
  • the travel state adjustment unit 465 and the conversation execution unit 466 are functions realized in connection with the concierge personality 489.
  • Other functions may be configured by a processor used by the apparatus-side control unit 46 executing a program different from the personal personality 482.
  • the communication control unit 461 controls the communication unit 47 to execute data communication via the communication network 2.
  • the communication control unit 461 performs an operation of transmitting authentication information to the server 3, an operation of downloading data included in the personality DB 34 from the server 3, and the like. Further, the communication control unit 461 may control the wireless communication unit 497 to execute data communication with various devices.
  • the external sensor control unit 462 controls each unit of the external sensor 49 and acquires a detection value. Specifically, the external sensor control unit 462 acquires detection values and detection results of the microphone 492, the camera 494, the G sensor 495, and the GPS reception unit 496.
  • the vehicle sensor control unit 463 acquires the detection value of each sensor included in the sensor unit 43 under the control of the ECU 41 from the ECU 41. Thereby, the artificial intelligence executed by the apparatus-side control unit 46 can use the detection value detected by the sensor unit 43.
  • the emotion detection unit 464 estimates the emotion of the user U.
  • the emotion detection unit 464 is a function of the personal personality 482 described above.
  • the emotion detection unit 464 detects the emotion of the user U from the voice of the user U collected by the microphone 492 and the captured image of the camera 494.
  • the emotion detection unit 464 can also refer to the emotion detection history data 485 to acquire data relating to the emotion of the user U detected in the past or the emotion of the user U detected immediately before, and use it for emotion detection. . In this case, data relating to the emotion of the user U detected by another device can also be used.
  • the emotion detection history data 485 can also detect the emotion of the user U by referring to the behavior schedule data 484 and taking into account the future user U's schedule.
  • the personal personality 482 is described as having the function of the emotion detection unit 464.
  • the emotion detection unit 464 may be a function realized by the concierge personality 489.
  • the emotion detection unit 464 estimates the emotion of the user U using an algorithm obtained by machine learning. This machine learning is so-called supervised learning performed using training data as described above.
  • the emotion detection unit 464 receives input of the voice, facial expression, and action of the user U based on the above algorithm, and outputs the classification of the emotion of the user U and the degree of emotion. Note that the emotion classification is merely an example, and may be changed as necessary.
  • any existing emotion recognition technology can be used instead of estimation using an algorithm obtained by machine learning.
  • the emotion detection unit 464 includes the detection result of the external sensor 49 acquired by the external sensor control unit 462, the detection result of the sensor unit 43 acquired by the vehicle sensor control unit 463, and the history included in the emotion detection history data 485. It is not limited to those that directly detect emotion from the data.
  • the emotion detection unit 464 simulates the user U's emotion or emotional movement based on the detection results of the sensor unit 43 and the external sensor 49 and the data of the emotion detection history data 485, so that the emotion of the user U May be estimated or detected.
  • the emotion detection unit 464 detects the emotion of the user U by further adding the base personality 483 to the result of estimating the emotion of the user U.
  • the emotion detection unit 464 compares the estimated emotion of the user U with the emotion of the base personality 483, and identifies the emotion of the user U.
  • the result obtained by the emotion detection unit 464 comparing the emotion of the user U with the emotion of the base personality 483 is referred to as an emotion attribute.
  • FIG. 5 is a schematic diagram illustrating a configuration example of the emotion detection setting data 401 for setting parameters when the emotion detection unit 464 detects the emotion of the user U.
  • the emotion detection setting data 401 is stored in the personality DB 48 as one of data related to the personal personality 482 or the concierge personality 489, for example.
  • FIG. 6 is an explanatory diagram showing the relationship between the personal personality 482 and the base personality 483.
  • the user U is a person or personality who often has a feeling of “sadness”.
  • Such a user U usually has an emotion of “sadness”, which is a normal state for the user U himself.
  • the emotion of the user U is not particularly conscious of “sadness”, and the emotion is “peaceful”.
  • the user U who rarely has the feeling of “sadness” has the feeling of “sadness”, it is unusual and very rare for the user U himself.
  • the importance when “sadness” is detected as the emotion of the user U varies depending on the tendency and nature of the emotion of the user U.
  • the emotion detection unit 464 obtains the emotion held by the personality image of the user U obtained from the big data 21 by referring to the emotion of the base personality 483, and compares this emotion with the estimated emotion of the user U. Thereby, it is possible to estimate and detect with high accuracy what kind of emotion it is for the user U himself.
  • the emotion detection unit 464 detects the emotion of the user U, that is, as detection values, voice, throttle opening, brake operation amount, detection value of the G sensor 495, An image captured by the camera 494 is set.
  • the sound is a sound detected by the microphone 492.
  • the emotion detection unit 464 uses the conversation content, the frequency and frequency of monologues, the content of monologues, etc. as emotion detection parameters for the voice detected by the microphone 492.
  • the throttle opening is a detected value of the throttle sensor 433, and the emotion detection unit 464 uses a change in the throttle opening as a parameter for emotion detection.
  • the brake operation amount is a detection value of the brake sensor 435.
  • the operation of the throttle and brake becomes violent, and the detection values of the throttle sensor 433 and the brake sensor 435 change sharply. Further, the behavior of the vehicle body of the motorcycle 4 may become unstable, and the change in the detection value of the GPS receiver 496 becomes steep. Such a change can be used for detecting the emotion of the user U.
  • the detection values and parameters set in the emotion detection setting data 401 can also be used to detect the emotion of the base personality 483.
  • FIG. 6 the change of the feeling of the user U is shown as a chart.
  • the vertical axis is the emotion axis
  • the horizontal axis is the passage of time.
  • the emotion on the vertical axis may be any emotion, but FIG. 6 shows an axis of “anger” (emotion E1) ⁇ “relaxation” (emotion E2) as an example.
  • the point N on the vertical axis is a neutral point indicating a neutral state of the emotion. If the emotion of the user U is the neutral point N, the neutral emotion in the contrast between “anger” and “relax”. is there.
  • FIG. 6 shows the emotion of the base personality 483 as a curve BaC. Although the curve BaC in FIG.
  • curve PeC The emotion of personal personality 482 is indicated by curve PeC. Since the personal personality 482 changes so as to imitate the emotion of the user U, it can be said that the curve PeC indicates (or simulates) the change of the emotion of the user U.
  • the base personality 483 which is the normal emotion of the user U, is more biased toward “anger” than the neutral point N in the example of FIG. Therefore, for example, at the point P1, the emotion of the personal personality 482 indicated by the curve PeC is at a position more biased toward “anger” than the neutral point N, and overlaps the curve BaC. That is, at the point P1, the emotion of the personal personality 482 coincides with the base personality 483 that is “the usual emotion of the user U”. In this case, although the emotion is biased toward “anger”, it can be said that the user U is calm and calm.
  • the curve PeC is at a position greatly biased to “anger” than the curve BaC.
  • the operation control unit 470 causes the motorcycle 4 to perform an operation so that the emotion at the point P2 is close to the emotion of the curve BaC.
  • the operation control unit 470 controls the running state adjustment unit 465, the conversation execution unit 466, and the output control unit 467 to execute various operations.
  • the operation control unit 470 has a reference range ER as a reference for executing an operation for bringing the emotion of the personal personality 482 closer to the emotion of the base personality 483.
  • the reference range ER is set to have a predetermined width in the positive direction and the negative direction from the emotion of the base personality 483 on the emotion axis.
  • the width in the positive direction and the width in the negative direction of the reference range ER may be set independently, or may be set so as to center on the emotion of the base personality 483.
  • the size of the reference range ER may be set for each type of emotion detected by the emotion detection unit 464. For example, a predetermined percentage can be set in the positive direction and a predetermined percentage in the negative direction based on the emotion of the base personality 483 on the emotion axis.
  • the motion control unit 470 determines that the situation corresponds to a case where the emotion of the personal personality 482 changes more than a predetermined amount. To do. That is, the size of the reference range ER can be said to be a predetermined range that serves as a reference for determining a change in emotion of the personal personality 482.
  • the size of the reference range ER is different for each user U.
  • the size of the reference range ER is determined on the basis of the characteristics of the base personality 483 such that the emotional undulations and emotional changes are small and large.
  • the size of the reference range ER may be determined by, for example, the emotion detection unit 464 or the operation control unit 470.
  • the reference range ER By setting the reference range ER in this way, when the emotion detected by the emotion detection unit 464 is away from the emotion of the base personality 483, the reference for the operation control unit 470 to execute the operation becomes clear. For this reason, the frequency of the action that the operation control unit 470 performs on the user U can be suppressed to an appropriate level, and the situation of excessive interference with the emotion of the user U can be avoided. Accordingly, without causing the user U to feel troublesome control of the operation control unit 470, the emotion of the user U can be effectively induced and calmed, and the user U can comfortably and stably drive the motorcycle 4. Like that.
  • the operation control unit 470 executes an operation that works on the emotion of the user U based on the emotion of the user U detected by the emotion detection unit 464.
  • the operation control unit 470 controls the traveling state adjustment unit 465 to operate each unit of the operation unit 44.
  • the operation control unit 470 controls the conversation execution unit 466 to execute a conversation with the user U.
  • the operation control unit 470 controls the output control unit 467 to execute operations different from those of the traveling state adjustment unit 465 and the conversation execution unit 466.
  • the operations that the operation control unit 470 causes the running state adjustment unit 465, the conversation execution unit 466, and the output control unit 467 to execute are set in a corresponding operation table 488 described later.
  • the traveling state adjustment unit 465 operates the operation unit 44 according to the control of the operation control unit 470 described later.
  • the conversation execution unit 466 executes a voice conversation with the user U according to the control of the operation control unit 470.
  • the conversation execution unit 466 controls the microphone 492 and the speaker 493 according to the conversation algorithm possessed by the artificial intelligence, and performs a conversation by voice.
  • the conversation execution unit 466 may refer to the conversation DB 487 to recognize a voice uttered by the user U and select or construct a word or sentence uttered to the user U.
  • the output control unit 467 executes operations other than the operations executed by the traveling state adjustment unit 465 and the conversation execution unit 466 according to the control of the operation control unit 470.
  • the base personality forming unit 468 forms a base personality 483.
  • the emotion change cause estimation unit 469 estimates a factor that causes a change in emotion when the emotion of the user U detected by the emotion detection unit 464 changes significantly.
  • the emotion detection unit 464 detects the emotion of the user U according to the set time or according to timing determined by an external factor.
  • the emotion change cause estimation unit 469 obtains a difference between the emotion of the user U detected by the emotion detection unit 464 and the emotion detected by the emotion detection unit 464 or another device before that, particularly immediately before that.
  • the emotion detection history data 485 includes emotions detected by the emotion detection unit 464 in the past and emotions detected by other devices in the past. There are various factors that change the emotion of the user U, but the emotion change cause estimation unit 469 of the present embodiment determines the schedule that caused the emotion change from the data related to the schedule of the user U included in the behavior schedule data 484. look for.
  • FIG. 7 is a schematic diagram showing a configuration example of the corresponding operation table 488.
  • FIG. 8 is a schematic diagram illustrating a configuration example of the corresponding operation table 488a.
  • the corresponding action table 488a constitutes a part of the corresponding action table 488 in FIG.
  • the corresponding operation table 488a shown in FIGS. 7 and 8 shows an example set for the operation of the motorcycle 4.
  • an operation to be executed by the apparatus-side control unit 46 is set in association with the emotion of the user U detected by the emotion detection unit 464.
  • the calming of the emotion of the user U means returning the user U's emotion to the normal user U's emotion or bringing it closer.
  • the emotion of the personal personality 482 that is, the emotion of the user U is returned or brought closer to the emotion of the base personality 483. In other words, it can be calming down, suppressing, etc.
  • examples of emotions that affect driving include anger, worry, sadness, and anxiety.
  • the operation performed by the apparatus-side control unit 46 when the emotion detection unit 464 detects these emotions is an operation that works on the user U so as to calm and calm the emotion of the user U.
  • the calming of the emotion of the user U refers to returning or bringing the emotion of the user U back to or close to that of the normal user U, specifically, returning to or approaching the emotion of the base personality 483. In other words, it can be said to calm down, suppress, etc.
  • “Operation A-3” that is an operation for driving when the emotion of the user U is “anger”, and driving when the emotion of the user U is “sad”.
  • the operation “operation S-3” is an operation for calming the emotion of the user U.
  • the operation set in the corresponding operation table 488 may be that no operation is performed. For example, there may be no operation for driving set in association with the case where the emotion of the user U is “boring” or “tired”.
  • an operation for supporting the user U to concentrate on driving may be set. For example, an operation that encourages the user U to concentrate on driving without being bored may be set as a driving operation corresponding to the case where the emotion of the user U is “boring” or “tired”.
  • FIG. 8 is a diagram showing an example of the contents of the operation set in the corresponding operation table 488.
  • FIG. 8 shows an example of specific contents of “Operation A-2” exemplified in the corresponding operation table 488 of FIG. 7 as an example.
  • the content set in FIG. 8 is, for example.
  • the personality DB 48 may store the corresponding action table 488a associated with the corresponding action table 488.
  • the operation A-2 is an operation that urges the user U to calm the emotion of the user U when the emotion of the user U is “anger”.
  • the type of operation is set to “operation details”. That is, the device-side control unit 46 performs operations for each item such as engine output of the motorcycle 4, torque control, throttle opening restriction, ABS (Antilock Brake System), suspension setting, meter panel display, and sound. These operations are executed under the control of the traveling state adjusting unit 465.
  • the various operations set in the corresponding operation tables 488 and 488a are executed under the control of the operation control unit 470.
  • the operation control unit 470 performs an operation by the operation unit 44 by controlling the traveling state adjustment unit 465 according to the corresponding operation tables 488 and 488a.
  • the operation control unit 470 controls the conversation execution unit 466 according to the corresponding operation tables 488 and 488a, thereby performing voice conversation.
  • the operation control unit 470 can perform operations other than the operation of the operation unit 44 and the conversation by controlling the output control unit 467 according to the corresponding operation tables 488 and 488a.
  • the traveling state adjustment unit 465 adjusts the throttle device control parameter used by the throttle control unit 412, the fuel injection map used by the fuel injection control unit 413, and the ignition timing parameter used by the ignition control unit 414. .
  • the throttle device control parameter is adjusted so that the throttle opening corresponding to the throttle operation becomes low
  • the fuel injection map and the ignition timing parameter are adjusted so that the engine output corresponding to the throttle operation becomes low.
  • These parameters and maps are stored in a storage device such as a ROM (not shown) built in the ECU 41.
  • the traveling state adjustment unit 465 switches each parameter or map described above to another parameter or map prepared in advance.
  • the traveling state adjustment unit 465 adjusts the fuel injection map used by the fuel injection control unit 413 and the ignition timing parameter used by the ignition control unit 414. Thereby, the fuel injection map and the ignition timing parameter are adjusted so that the output torque is lowered.
  • the traveling state adjustment unit 465 adjusts the throttle device control parameter used by the throttle control unit 412 to lower the upper limit of the opening degree by which the throttle device 441 opens the throttle valve, for example, from the normal position.
  • the traveling state adjustment unit 465 adjusts the brake control parameter used by the brake control unit 415 to change the operating condition of the ABS. As a result, for example, the ABS operates at a higher speed than normal.
  • the traveling state adjustment unit 465 adjusts the suspension setting adjustment parameter used by the suspension control unit 416.
  • the suspension control unit 416 controls suspension settings such as damping force and vehicle height during traveling and stopping.
  • the traveling state adjustment unit 465 adjusts parameters used by the suspension control unit 416 so that, for example, the suspension control unit 416 performs setting with an emphasis on ride comfort.
  • the traveling state adjustment unit 465 adjusts the data used by the display control unit 418 and changes the display on the meter panel 448 to a color that can be expected to relax the user U.
  • the operation related to voice is executed by the conversation execution unit 466.
  • the conversation execution unit 466 refers to the conversation DB 487, executes a conversation with the user U using the microphone 492 and the speaker 493, and performs a conversation that can be expected to have an effect of relaxing the user U.
  • the conversation execution unit 466 adjusts, for example, the pitch of the voice output from the speaker 493, the voice color, the speaking speed, the response time for the voice of the user U, and the like.
  • the corresponding action table 488 is not limited to the action A-2 illustrated in FIG. 8, but the contents of the actions executed by the running state adjusting unit 465, the conversation executing unit 466, and the output control unit 467 for each action including the example of FIG. 7. Includes information that defines the details.
  • FIG. 9 is a flowchart showing the operation of the emotion estimation system 1, and particularly shows the operation of each device of the emotion estimation system 1 when the big data 21 is uploaded.
  • the operation of FIG. 9 can be executed by each device of the motorcycle 4, the four-wheeled vehicle 11, the rice cooker 12, the cleaner 13, the television receiver 14, and the refrigerator 15.
  • the device side control unit 46 executes the operation of FIG.
  • the external sensor control unit 462 and the vehicle sensor control unit 463 acquire detection values of various sensors of the motorcycle 4 (step S11).
  • the detection values detected in step S11 include detection values detected by the external sensor control unit 462 from the microphone 492, the camera 494, the G sensor 495, and the GPS reception unit 496.
  • the vehicle sensor control unit 463 includes detection values of the sensors included in the sensor unit 43.
  • the communication control unit 461 determines whether or not the reference for uploading the detection values acquired by the external sensor control unit 462 and the vehicle sensor control unit 463 has been reached (step S12).
  • the upload reference can be set, for example, every time a preset time elapses, the number of detection values acquired in step S11, every time a detection value of a set specific sensor is acquired, or the like.
  • the communication control unit 461 returns to step S11, and the external sensor control unit 462 and the vehicle sensor control unit 463 acquire the detection value.
  • the communication control unit 461 transmits a connection request and authentication information to the server 3 by the communication unit 47 (step S13).
  • the detected value acquired in step S1 is transmitted to the server 3.
  • FIG. 10 is a flowchart showing the operation of the server 3.
  • the operation of FIG. 10 shows an operation related to reception of a detection value transmitted from a device that performs the operation of FIG.
  • the server-side control unit 31 receives a connection request from any of the motorcycle 4, the four-wheeled vehicle 11, the rice cooker 12, the vacuum cleaner 13, the television receiver 14, and the refrigerator 15 by the communication unit 38, the connection request is sent
  • the authentication information is received, and authentication is performed by the authentication processing unit 313 (step S21).
  • step S ⁇ b> 21 the authentication processing unit 313 performs authentication by collating the authentication information received by the communication unit 38 with the authentication information 361 stored in the authentication information storage unit 36, and identifies the device that has requested the connection. .
  • the server-side control unit 31 identifies the personal personality 342 corresponding to the device authenticated in step S21 by the personality forming unit 311 (step S22). Subsequently, the server-side control unit 31 receives a detection value from the device that has been successfully authenticated in step S21 by the personality forming unit 311 (step S23). The server-side control unit 31 registers the received detection value in the personality DB 34 and updates the personality DB 34 (step S24). The server-side control unit 31 analyzes the detection value received in step S23 and stores it in the personality DB 34. For example, the server-side control unit 31 extracts data related to the schedule of the user U from the detected value, and updates the action schedule data 344.
  • the server-side control unit 31 determines whether or not the standard for learning the personal personality 342 has been reached by registering the detected value in the personality DB 34 in step S24 (step S25).
  • the reference for learning can be, for example, the number of detection values registered in the personality DB 34 in step S24 every time a preset time elapses.
  • step S25; NO When the reference for learning is not reached (step S25; NO), the server 3 ends this process.
  • step S25; YES the server-side control unit 31 executes the personal personality 342 by the personal personality execution unit 32, and the personality is obtained in step S24 by the machine learning function of the personal personality 342. Learning based on the detection values registered in the DB 34 is executed (step S26). With this learning, the algorithm and parameters of the personal personality 342 are updated (step S27). Thereafter, the server 3 notifies each device constituting the emotion estimation system 1 that the personal personality 342 has been updated (step S28), and ends this process.
  • the motorcycle 4 may perform learning of the personal personality 482 based on the detection value detected by the sensor unit 43 and / or the external sensor 49 by the device-side control unit 46.
  • the motorcycle 4 may transmit the personal personality 482 after learning to the server 3, and at this time, various detection values used for learning may be transmitted to the server 3 as the big data 21. .
  • FIG. 11 is a flowchart showing the operation of the emotion estimation system 1, and particularly shows the operation of forming a base personality in the apparatus constituting the emotion estimation system 1.
  • a process in which the motorcycle 4 forms the base personality 483 is shown.
  • the base personality forming unit 468 included in the device-side control unit 46 refers to the emotion detection history data 485 and acquires a history in which the emotion detection unit 464 has detected the emotion of the user U in the past (step S31).
  • the base personality forming unit 468 determines a tendency of the emotion of the user U based on the history acquired in step S31 (step S32), and generates a base personality 483 reflecting the determined tendency (step S33).
  • the base personality forming unit 468 registers the data related to the base personality 483 generated in step S33 in the generation city and personality DB 48 (step S34).
  • the base personality 483 may be a program that simulates the emotion of the user U, or data indicating the tendency of the emotion of the user U. If the base personality 483 is artificial intelligence, in step S33, the base personality forming unit 468 executes a program including a basic artificial intelligence algorithm, and the artificial intelligence algorithm is acquired from the history acquired in step S32. Machine learning of the data forms a base personality 483 suitable for the user U. In this case, in step S33, a new algorithm is acquired by machine learning, and in step S34, a program and data including the acquired algorithm are stored in the personality DB 48.
  • the base personality forming unit 468 may repeatedly execute the operation of FIG. 11 according to a predetermined condition after the base personality 483 is formed. For example, it may be performed each time the device-side control unit 46 transmits a detection value to the server 3.
  • the base personality 483 generated in this way may be transmitted from the motorcycle 4 to the server 3 as well as being stored in the personality DB 48 by the motorcycle 4. That is, in the operation described with reference to FIG. 9, the base personality 483 may be transmitted together with the detection value.
  • the server-side control unit 31 may receive the base personality 483 together with the detection value and update the base personality 343 stored in the personality DB 34. Then, it is possible to notify the other device of the emotion estimation system 1 that the base personality 343 updated by the server-side control unit 31 has been updated, and the other device may download the updated base personality 343.
  • a plurality of devices related to a specific user U can share the base personality 343. Further, when the base personality 343 learns in each device, the base personality 343 updated by learning may be uploaded to the personality DB 34 again and distributed to other devices.
  • the server 3 may perform the operation shown in FIG.
  • the server-side control unit 31 of the server 3 may perform the operation of FIG. 11 every time the personal personality 342 is updated by the operation of FIG. 10 or each time new data is added to the big data 21. Good.
  • the server 3 may transmit the updated base personality 343 to each device of the emotion estimation system 1 or may notify the update of the base personality 343 as in step S28 of FIG.
  • you may perform operation
  • FIG. 12 is a flowchart showing the operation of the emotion estimation system 1 and shows the operation executed by each device constituting the emotion estimation system 1.
  • FIG. 13 is a flowchart showing the operation of the server 3.
  • FIG. 14 is a flowchart showing in detail the operation of step S45 of FIG. 12, 13, and 14 illustrate an operation in which each device constituting the emotion estimation system 1 downloads the personality DB 34 from the server 3 and uploads a history of emotion detection.
  • the subject that performs the operations of FIGS. 12 and 14 may be any device except the server 3 in the emotion estimation system 1.
  • an example in which the motorcycle 4 executes will be described.
  • the operation shown in FIG. 12 can be executed while the user U is using the motorcycle 4.
  • the device-side control unit 46 detects a sign-in request from the user U (step S41).
  • a specific aspect of the sign-in request corresponds to, for example, that the user U instructs sign-in by voice.
  • the communication control unit 461 transmits the connection request and the authentication information to the server 3 through the communication unit 47 (step S42), whereby the server 3 executes authentication.
  • the communication control unit 461 downloads the personality DB 34 from the server 3 (step S43).
  • step S43 only a part of programs and data included in the personality DB 34 may be downloaded. If the personality DB 34 has been downloaded and stored in the personality DB 48 in the past, only the difference between the personality DB 48 and the personality DB 34 may be downloaded in step S43.
  • the device-side control unit 46 starts executing the downloaded personal personality 482 (step S44). By executing the personal personality 482 in step S44, the emotion of the user U can be detected. In addition, the device-side control unit 46 starts executing the operation control unit 470 in step S44. Thereby, the motorcycle 4 functions as an artificial intelligence including a concierge function for the user U.
  • the device-side control unit 46 executes an emotion detection process for detecting the emotion of the user U by the function of the emotion detection unit 464 (step S45).
  • the details of the emotion detection process will be described later with reference to FIG. 14, but the outline is that the emotion detection unit 464 detects the emotion of the user U, and the operation control unit 470 responds to this emotion by the running state adjustment unit 465, The conversation execution unit 466 and the output control unit 467 are controlled to execute an operation that works on the emotion of the user U.
  • the emotion detection history data 485 is updated based on the result of the emotion detection unit 464 detecting the emotion of the user U.
  • the device-side control unit 46 detects a sign-out request from the user U (step S46). Although the user U can perform the driving operation of the motorcycle 4 even after signing out, the concierge function by the personal personality 22 is not executed when signing out.
  • the specific mode of the request for sign-out corresponds to, for example, that the user U instructs sign-out by voice.
  • step S46; NO If it is not detected that a request for sign-out has been made (step S46; NO), the apparatus-side control unit 46 executes the emotion detection process of step S45 at predetermined time intervals.
  • the apparatus-side control unit 46 uploads various data including the emotion detection history data 485 to the server 3 by the communication control unit 461 (step S47). ). Thereafter, the communication control unit 461 transmits a disconnection request to the server 3 and ends the communication with the server 3 (step S48).
  • the server 3 executes the operation of FIG.
  • the server-side control unit 31 receives a connection request from any of the motorcycle 4, the four-wheeled vehicle 11, the rice cooker 12, the vacuum cleaner 13, the television receiver 14, and the refrigerator 15 by the communication unit 38, the connection request is sent
  • the authentication information is received, and authentication is performed by the authentication processing unit 313 (step S51).
  • the authentication processing unit 313 performs authentication based on the authentication information 361, and identifies the device that has requested the connection.
  • the motorcycle 4 makes a connection request will be described.
  • the server-side control unit 31 causes the motorcycle 4 to download a program and data included in the personality DB 34 (step S52).
  • the server-side control unit 31 transmits the program and / or data according to the request.
  • the server-side control unit 31 determines whether or not a disconnection request has been received from the motorcycle 4 (step S53), and waits until no disconnection request is received (step S53; NO).
  • the server-side control unit 31 receives the emotion detection history data 485 transmitted by the motorcycle 4 (step S54), and then communicates with the motorcycle 4 (session).
  • disconnects is performed (step S55).
  • the server-side control unit 31 updates the personality DB 34 by storing the data included in the emotion detection history data 485 received in step S54 in the emotion detection history data 345 of the personality DB 34 (step S56).
  • the server-side control unit 31 can update the personal personality 22 based on the updated emotion detection history data 485. That is, the personal personality execution unit 32 executes the personal personality 342, and learning is performed based on the updated emotion detection history data 345 by the machine learning function of the personal personality 342 (step S57).
  • the personal personality execution unit 32 stores the personal personality 342 including the algorithm newly acquired by learning in the personality DB 34 (step S58).
  • the personal personality execution unit 32 may update the base personality 343 by the function of the updated personal personality 342.
  • the server-side control unit 31 notifies each device constituting the emotion estimation system 1 that the personal personality 342 has been updated (step S59), and ends this process. Further, the server-side control unit 31 may update the concierge personality 23 together with the update of the personal personality 22.
  • the emotion detection unit 464 acquires a detection value by the external sensor control unit 462 and the vehicle sensor control unit 463 (step S61).
  • the emotion detection unit 464 detects the emotion of the user U based on the acquired detection value (step S62). For example, the emotion detection unit 464 gives the detection value acquired by the external sensor control unit 462 and the vehicle sensor control unit 463 to the personal personality 482 and detects the emotion of personal personality 482 or a change in emotion. Since the emotion of the personal personality 482 imitates the emotion of the user U, the emotion detection unit 464 can estimate the emotion of the user U by detecting the emotion of the personal personality 482.
  • the emotion detection unit 464 executes the base personality 483 of the personality DB 48 and acquires the emotion of the base personality 483 (step S63).
  • the emotion detection unit 464 detects the emotion attribute by comparing the emotion of the user U detected in step S62 with the emotion of the base personality 483 acquired in step S63 (step S64).
  • the operation in step S64 is as described with reference to FIG. 6, for example.
  • the emotion attribute is the emotion of the user U corrected by taking into account the emotion of the user U in normal times.
  • the emotion of the user U in normal times can be estimated as the emotion of the base personality 483.
  • the emotion detection unit 464 determines the emotion attribute detected in step S64 as a result of detecting the emotion of the user U (step S65).
  • the apparatus-side control unit 46 determines a change in the emotion of the user U detected by the emotion detection unit 464 by the emotion change cause estimation unit 469 (step S66).
  • the emotion change cause estimation unit 469 compares the emotion determination result of the user U with the emotion determination result detected before that, that is, the emotion detection result exceeding the set threshold value. It is determined whether or not there was.
  • the emotion change cause estimation unit 469 compares the emotion detection result detected and confirmed by the emotion detection unit 464 with the emotion of the user U determined immediately before.
  • the detection result of the emotion of the user U detected by the emotion detection unit 464 can be acquired from the emotion detection history data 485.
  • the emotion change cause estimating unit 469 refers to the action schedule data 484 (step S67).
  • the emotion change cause estimation unit 469 extracts the future schedule of the user U from the schedules included in the action schedule data 484, and estimates the schedule that is the cause of the emotion change (step S68).
  • the emotion change cause estimation unit 469 estimates, for example, a schedule with a high demand and / or urgency or a schedule with a low degree of freedom to change as a cause of an emotion change among future schedules included in the action schedule data 484. To do.
  • the running state adjustment unit 465, the conversation execution unit 466, and the output control unit 467 determine whether the emotion of the user U is based on the personality 483 based on the cause estimated in step S68 and the detection result of the emotion of the user U determined in step S65.
  • the corresponding action is executed so as to approach the emotion (step S69).
  • the corresponding operation executed here is an operation set in the corresponding operation table 488.
  • the motorcycle 4 can act to calm the emotion of the user U.
  • the factor of the change of the user's U emotion is estimated and it works to respond to this factor, the emotion of the user U can be calmed effectively.
  • step S68 if there is no plan that may cause a change in the emotion of the user U, the user U may be prompted in step S69 on the assumption that there is no corresponding plan.
  • step S66 When it is determined that there is no change in emotion exceeding the threshold (step S66; NO), the running state adjustment unit 465, the conversation execution unit 466, and the output control unit 467 detect the emotion of the user U determined in step S65. Based on the result, a corresponding action is executed (step S70).
  • the corresponding operation executed here is an operation set in the corresponding operation table 488.
  • the emotion detection unit 464 registers the detection result determined in step S65 in the emotion detection history data 485 (step S71). In addition, you may transfer to step S71 after the operation
  • FIG. 15 is a flowchart showing the operation of the apparatus constituting the emotion estimation system 1, and shows the operation of supporting the user U so that the emotion of the user U who is the driver does not interfere with driving.
  • the operation of FIG. 15 can be executed by the motorcycle 4 and the four-wheeled vehicle 11, and here, an example in which the motorcycle 4 is executed will be described.
  • the motorcycle 4 performs the operation of FIG. 15 while the user U drives the motorcycle 4.
  • the motorcycle 4 executes the personal personality 482 by the device-side control unit 46.
  • the apparatus-side control unit 46 acquires the detection values of the sensors included in the motorcycle 4 by using the external sensor control unit 462 and the vehicle sensor control unit 463 (step S81).
  • the emotion detection unit 464 determines a driving tendency from the detection value acquired in step S81 (step S82). In step S ⁇ b> 82, the emotion detection unit 464 determines whether the driving tendency of the user U is at least “slow driving” or “impatient driving”.
  • the emotion detection unit 464 can determine that it does not correspond to either “slow driving” or “impatient driving”, and may determine that it is another driving.
  • the emotion detection unit 464 gives the detection values acquired by the external sensor control unit 462 and the vehicle sensor control unit 463 to the personal personality 482, and detects the personal personality 482 emotions, so that “slow driving” and “slow driving” May be determined.
  • the emotion detection unit 464 refers to the emotion detection history data 485 and acquires the emotion attribute of the user U determined in the past (particularly, the emotion attribute determined immediately before the determination in step S82) (step S83).
  • the emotion detection unit 464 determines whether or not the emotion of the user U has an influence on driving based on the determination result of the driving tendency in step S82 and the emotion attribute acquired in step S83 (step S84). Thereby, it is determined whether or not the current emotion of the user U is an emotion that affects the driving of the motorcycle 4.
  • step S85; YES When the emotion detection unit 464 determines that the emotion of the user U is an emotion that affects driving (step S85; YES), the motion control unit 470 determines whether the driving state adjustment unit 465, conversation, or the like according to the setting of the corresponding motion table 488. The execution unit 466 and the output control unit 467 are controlled (step S86). Thus, the motorcycle 4 can act on the user U so as to make the emotion of the user U an emotion that does not affect driving. Thereafter, the device-side control unit 46 determines whether or not the user U has finished the driving operation (step S87), and when the driving is finished (step S87; YES), the operation of FIG. 15 is finished. Moreover, when driving
  • the motorcycle 4 is configured to include the device-side control unit 46, the personality DB 48, and the external sensor 49 in addition to the operation unit including the ECU 41, the sensor unit 43, and the operation unit 44.
  • the motorcycle 4 is configured to include the device-side control unit 46, the personality DB 48, and the external sensor 49 in addition to the operation unit including the ECU 41, the sensor unit 43, and the operation unit 44.
  • a configuration example will be described in which a general motorcycle is combined with a portable terminal device such as a smartphone to operate as the motorcycle 4.
  • FIG. 16 is a functional block diagram showing a motorcycle 40 and a mobile terminal device 5 as another configuration example of the motorcycle 4.
  • the motorcycle 40 includes a functional unit and an operation unit necessary for traveling in the above-described motorcycle 4.
  • the motorcycle 40 includes an ECU 41, a sensor unit 43, and an operation unit 44.
  • the motorcycle 40 includes a wireless communication unit 421.
  • the wireless communication unit 421 performs short-range communication using at least a short-range wireless communication protocol.
  • the wireless communication unit 421 performs wireless communication corresponding to Bluetooth, IrDA, RFID, IEEE 802.11 (so-called wireless LAN) and the like.
  • the mobile terminal device 5 is, for example, a device such as a smartphone, a mobile phone, or a tablet computer that the user U owns or uses. Similar to the motorcycle 4 (FIG. 4), the portable terminal device 5 includes a processor that functions as the device-side control unit 46 and the personality DB 48, and a storage device.
  • the mobile terminal device 5 includes a communication unit 511, a microphone 512, and a speaker 513.
  • the communication unit 511 can connect to the wireless telephone line to execute communication, and can connect to the communication network 2 via the wireless telephone line.
  • the microphone 512 collects the voice of the user U, and the speaker 513 outputs the voice according to the control of the apparatus side control unit 46.
  • the speaker 513 may be an earphone worn by the user U on the ear.
  • the communication unit 511 may be a communication unit used for the mobile terminal device 5 to perform a call or data communication as a mobile phone or a smartphone.
  • the microphone 512 and the speaker 513 may input / output voice for a call.
  • the mobile terminal device 5 includes a camera 514, a G sensor 515, and a GPS receiving unit 516. These can have the same configuration as the camera 494, the G sensor 495, and the GPS receiver 496 shown in FIG.
  • the mobile terminal device 5 includes a wireless communication unit 517.
  • the wireless communication unit 517 is configured in the same manner as the wireless communication unit 497 (FIG. 4), and performs near field communication using at least a near field communication protocol.
  • the wireless communication unit 517 performs wireless communication corresponding to Bluetooth, IrDA, RFID, IEEE 802.11 (so-called wireless LAN), and the like.
  • the wireless communication unit 517 performs wireless communication with the wireless communication unit 517 with the wireless communication unit 421 included in the motorcycle 40.
  • the configuration illustrated in FIG. 16 realizes a configuration in which the device-side control unit 46 and the personality DB 48 included in the mobile terminal device 5 are connected to the motorcycle 40 by wireless communication between the wireless communication unit 421 and the wireless communication unit 517. . Therefore, the motorcycle 40 can execute the same functions and operations as those of the motorcycle 4 described in the above embodiment together with the mobile terminal device 5.
  • the ECU 41 has a function of transmitting a detection value detected by the sensor unit 43 to the portable terminal device 5 by the wireless communication unit 421 and a function of operating the operation unit 44 based on data received by the wireless communication unit 421. Except for this point, the motorcycle 40 has a general configuration of a motorcycle. In the configuration of FIG. 16, by combining the mobile terminal device 5 used by the user U based on the motorcycle 40, an apparatus that supports the user U by artificial intelligence can be realized in the same manner as the motorcycle 4 (FIG. 4). .
  • the motorcycle 4 that is the emotion estimation apparatus according to the embodiment to which the present invention is applied is a personal computer configured by information about the user U from a plurality of products related to the user U connected to the communication network 2.
  • base personality 483 is formed by personal personality 482.
  • the motorcycle 4 includes an emotion detection unit 464 that detects an emotion.
  • a personal personality 482 formed by machine learning based on user information collected from a plurality of products used by the user U is provided.
  • the device-side control unit 46 that executes the personal personality 482 forms a base personality 483.
  • the server-side control unit 31 may form the base personality 343 with the personal personality 342, not limited to the device-side control unit 46.
  • the apparatus side control part 46 is provided with the emotion detection part 464 which detects the emotion of user U (U). Emotion detection unit 464 may be implemented as a function of personal personality 482, or may be a function other than that.
  • the personal personality 482 composed of information from a plurality of products.
  • the emotion estimation system 1 includes a motorcycle 4, a four-wheeled vehicle 11, a rice cooker 12, a vacuum cleaner 13, a television receiver 14, and a refrigerator 15 that are a plurality of products used by the user U at different times.
  • the personal personality 482 is formed using information from the plurality of devices, so the personal personality 482 is a personality that reflects the characteristics of the user U with high accuracy. Therefore, by using the personal personality 482 to detect the emotion of the user U, using information collected or detected over a longer time than when a single product estimates the emotion of the user U. Therefore, it is possible to detect emotions with higher accuracy than when using information obtained from a single product. It is also possible to detect an emotion before the product is related to the user U for a specific product.
  • the emotion detection unit 464 compares the emotion of the base personality 483 with the current emotion of the personal personality 482, and detects an emotion attribute.
  • the emotion of the base personality as a reference, it is possible to detect the emotion of the user U with higher accuracy in consideration of the tendency and characteristics of the emotion of the user U. For example, when the emotion of the user U tends to be a specific emotion, a state in which the specific emotion is frequently detected can be avoided. Therefore, it is possible to detect emotions with high accuracy by using a standard that matches the personal emotion tendency.
  • the motorcycle 4 includes an operation control unit 470 that controls an operation directed to the emotion of the base personality 483 when the emotion detected by the emotion detection unit 464 changes more than a predetermined amount.
  • the personal personality 482 can perform the operation of directing the emotion of the user U to the emotion of the base personality 483, and can act on the emotion of the user U in consideration of the tendency and characteristics of the emotion of the user U. Thereby, for example, the emotion of the user U can be calmed down.
  • the motorcycle 4 further includes emotion detection history data 485 that accumulates emotions detected by the emotion detection unit 464, and action schedule data 484 indicating the action schedule of the user U.
  • the apparatus-side control unit 46 that executes the personal personality 482 includes an emotion change cause estimation unit 469.
  • the emotion change cause estimator 469 calculates the emotion from at least the emotion accumulated in the emotion detection history data 485 or the future schedule shown in the user U action schedule data 484 when there is a large change in the user U emotion. Estimate the cause of change. Thereby, the cause which changed the emotion of the user U or the cause which influenced the emotion can be estimated from the future schedule. Accordingly, it is possible to cope with the cause of the user U's emotion in response to the cause of the emotion change or the cause of the affect of the emotion.
  • the motorcycle 4 accumulates the cause estimated by the emotion change cause estimating unit 469 when the emotion is accumulated in the emotion detection history data 485.
  • the data regarding the tendency and the cause of the user U's emotion can be collected by accumulating the cause that changed the emotion of the user U or the cause that influenced the emotion.
  • the collected data can be used as data learned by a processor (computer) that functions as the emotion detection unit 464, for example.
  • the motion control unit 470 performs an operation to return to the emotion of the base personality 483 in response to the cause estimated by the emotion change cause estimation unit 469. Accordingly, it is possible to more effectively work on the emotion of the user U based on the cause of changing the emotion of the user U or the cause of affecting the emotion.
  • the emotion estimation system 1 includes a plurality of products, and one of these products is the motorcycle 4 or 40.
  • the motorcycles 4 and 40 determine the driving tendency by the emotion detection unit 464.
  • the emotion detection unit 464 determines at least a leisurely driving and a persistent driving.
  • the driving U is a heavy driving
  • the emotion detection unit 464 determines that there is a driving influence
  • the operation control unit 470 performs an operation for making the driving influence disappear.
  • the operation control unit 470 works on the user U, it is possible to eliminate or reduce a factor that affects driving of the vehicle.
  • emotions that affect driving include anger, worry, sadness, and anxiety.
  • emotions of the user U are emotions such as anger, worry, sadness, and anxiety, it is possible to eliminate or reduce the influence of these emotions on driving.
  • the personal personality 482 which is artificial intelligence, is composed of information from a plurality of products, emotions can be detected with high accuracy by the personal personality 482.
  • the personal personality (482) imitates the emotion of the person (U) or the change in emotion
  • the emotion detection unit (464) detects the emotion of the personal personality (482). For this reason, it is possible to easily detect the emotion of the user U or a change in the emotion by detecting the emotion of the personal personality 482. Further, since the personal personality 482 is composed of information from a plurality of products, it is possible to detect its own emotion with higher accuracy.
  • the said embodiment shows the one aspect
  • This invention is not limited to the said embodiment.
  • the motorcycles 4 and 40 are described as examples of the vehicle, but the present invention is not limited to this.
  • the present invention can be applied to a three-saddle saddle type vehicle having two front wheels or two rear wheels, a saddle type vehicle having four or more wheels, and a saddle type vehicle such as a scooter.
  • the motorcycles 4 and 40 are examples of motorcycles, and are not intended to limit the motorcycles to which the present invention is applied.
  • the sensors included in the motorcycles 4 and 40 are not limited to the sensor unit 43.
  • Sensors for detecting the stroke of the suspension are provided, pressure sensors are provided for the suspension and brakes, and acceleration sensors are provided at a plurality of locations on the vehicle body. Or the structure which detects the motion of the motorcycle 4 in more detail may be sufficient. Further, the present invention can be applied to a motorcycle that does not include a part of the sensor unit 43 or the operation unit 44.
  • the motorcycles 4 and 40, the four-wheeled vehicle 11, the rice cooker 12, the vacuum cleaner 13, the television receiver 14, and the refrigerator 15 shown as devices to which the present invention can be applied are examples, and other types of devices can be used. Of course, application is also possible.
  • the functional blocks shown in FIGS. 3, 4 and 16 show functional configurations realized by cooperation of hardware and software. Specific implementation forms of these devices are not limited to the above block diagrams. Therefore, it is not necessary to individually implement hardware corresponding to each functional unit in the functional block diagram, and it is possible to realize a configuration in which a single processor executes a program to realize the functions of a plurality of functional units. It is.
  • a part of the function realized by software may be realized by hardware, or a part of the function realized by hardware may be realized by software. Further, it can be configured by programmed hardware, and other specific detailed configurations of other parts of the emotion estimation system 1 can be arbitrarily changed without departing from the gist of the present invention. .
  • Emotion estimation system Communication network 3 Server 4 Motorcycle (Emotion estimation device) 5 Mobile terminal device 11 Four-wheeled vehicle (Emotion estimation device) 12 Rice cooker (Emotion estimation device) 13 Vacuum cleaner (Emotion estimation device) 14 TV receiver (Emotion estimation device) 15 Refrigerator (Emotion estimation device) 21 Big Data 22 Personal Personality 23 Concierge Personality 31 Server-side Control Unit 32 Personal Personality Execution Unit 40 Motorcycle (Emotion Estimation Device) 46 Device side controller 48 Personality DB 464 Emotion detection unit (driving tendency determination unit) 468 Base personality formation part 469 Emotion change cause estimation part 470 Motion control part 482 Personal personality 483 Base personality 484 Action schedule data (action schedule) 485 Emotion detection history data (Emotion accumulation part) 489 Concierge personality

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Social Psychology (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Developmental Disabilities (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)

Abstract

ユーザの感情を、より高精度で推定できる感情推定装置、および、感情推定システムを提供する。 自動二輪車4は、通信ネットワーク2に接続されたユーザUに関わる複数製品である自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および冷蔵庫15からの自身(U)に関する情報に基づいて構成されるパーソナル人格を備え、パーソナル人格によって、ベース人格が形成され、感情を検出する感情検出部を備える。

Description

感情推定装置、および、感情推定システム
 本発明は、感情推定装置、および、感情推定システムに関する。
 従来、運転者の感情を推定する装置が知られている(例えば、特許文献1参照)。特許文献1記載の装置は、運転中に運転支援を行った場合の運転者の感情・心理を推定する。
特開2015-64584号公報
 特許文献1記載の装置は、運転操作等に関する情報等、車両から取得される情報に基づき運転者の感情を推定する。しかしながら、人間が車両を運転する時間は一日において限られた時間であり、この限られた時間における運転操作等から運転者の感情を推定しても、推定の精度に限界がある。また、車両に限らず、装置を使用するユーザの感情を、その装置の利用中の操作等に基づき推定する場合にも、同様の課題がある。
 本発明は、上述した事情に鑑みてなされたものであり、ユーザの感情を、より高い精度で推定できる感情推定装置、および、感情推定システムを提供することを目的とする。
 この明細書には、2016年11月16日に出願された日本国特許出願・特願2016-223096号の全ての内容が含まれる。
 上記目的を達成するため、本発明は、通信ネットワーク(2)に接続された自身(U)に関わる複数製品(4,11,12,13,14,15)からの自身(U)に関する情報により構成されるパーソナル人格(482)を備え、前記パーソナル人格(482)によって、ベース人格(483)が形成され、感情を検出する感情検出部(464)を備えることを特徴とする。
 また、本発明は、自身(U)が利用した複数製品(4,11,12,13,14,15)から収集されたユーザ情報に基づく機械学習により形成されたパーソナル人格(482)を備え、前記パーソナル人格(482)は、ベース人格(483)を形成し、前記自身(U)の感情を検出する感情検出部(464)を備えることを特徴とする。
 本発明の構成によれば、複数の製品からの情報により構成されるパーソナル人格によって、高精度で感情を検出できる。例えば、自身が使用する時間が異なる複数の製品からの情報によりパーソナル人格が構成される場合、単一の製品がユーザの感情を推定する場合に比べ、より長い時間をかけて収集あるいは検出される情報をパーソナル人格に反映させることができる。このパーソナル人格を利用することにより、単一の製品から得られる情報をもとにする場合よりも高精度で感情を検出できる。また、特定の製品について、その製品が自身に関わる前の感情を検出することも可能となる。
 また、本発明の感情推定装置において、前記感情検出部(464)は、前記ベース人格(483)の感情と、前記パーソナル人格(482)の現時点の感情と、を比較し、感情属性を検出する構成としてもよい。
 この構成によれば、ベース人格の感情と、パーソナル人格の現時点の感情とを比較することにより、感情の傾向や特徴を加味して、より高い精度で感情を検出できる。例えば、自身の感情に、特定の感情が出やすい傾向がある場合に、その特定の感情を頻繁に検出してしまう状態を避けることができ、個人の感情傾向に合わせた基準を用いて、より高精度で感情を検出できる。
 また、本発明の感情推定装置において、前記感情検出部(464)が検出する感情に所定以上の変化があった場合に、前記ベース人格(483)の感情に仕向ける動作を制御する動作制御部(470)を備える構成としてもよい。
 この構成によれば、パーソナル人格が、自身の感情をベース人格の感情に仕向ける動作を行うことにより、自身の感情の傾向や特徴を考慮して自身の感情に働きかけを行うことができる。これにより、例えば、自身の感情を静穏化させることができる。
 また、本発明の感情推定装置において、前記感情検出部(464)により検出された感情を蓄積する感情蓄積部(485)と、自身(U)の行動予定を示す行動予定表(484)と、自身(U)の感情に大きな変化があった場合に、少なくとも前記感情蓄積部(485)に蓄積された感情または自身(U)の行動予定表(484)に示された今後の予定から、感情変化原因を推定する感情変化原因推定部(469)と、を備える構成としてもよい。
 この構成によれば、自身の感情を変化させた原因、或いは感情に影響を与えた原因を、未来の予定から推定することができる。これにより、感情を変化させた原因、或いは感情に影響を与えた原因に対応して、自身の感情に影響を与えるように対処をすることが可能となる。
 また、本発明の感情推定装置において、前記感情変化原因推定部(469)が推定した原因を、前記感情蓄積部(485)に感情を蓄積する際に合わせて蓄積する構成としてもよい。
 この構成によれば、自身の感情を変化させた原因、或いは感情に影響を与えた原因を蓄積することにより、自身の感情の傾向と原因とに関するデータを収集できる。収集したデータは、例えば感情推定部としてコンピュータを利用する場合に、このコンピュータが学習するデータとして利用できる。
 また、本発明の感情推定装置において、前記動作制御部(470)は、前記感情変化原因推定部(469)で推定された原因に対応して、前記ベース人格(483)の感情に仕向ける動作を制御する構成としてもよい。
 この構成によれば、感情蓄積部に蓄積した、自身の感情を変化させた原因或いは感情に影響を与えた原因をもとに、自身の感情をベース人格の感情に仕向ける動作を行うことができる。このため、自身の感情の傾向や特徴を考慮して、より効果的に、自身の感情に働きかけることができる。
 また、本発明の感情推定装置において、前記製品(4,11,12,13,14,15)の1つは車両(4)であって、前記車両(4)は運転傾向を判定する運転傾向判定部(464)を備え、前記運転傾向判定部(464)は、少なくとものんびり運転と、せっかち運転と、を判別し、自身(U)の運転がせっかち運転と判別された場合に、少なくとも直前の感情及び、自身(U)の前記行動予定表(484)に示された行動予定とから、運転に影響がある感情かを否かを判断し、運転影響有と判断した場合に、前記動作制御部(470)は、運転影響がなくなるように仕向ける動作を行う構成としてもよい。
 この構成によれば、装置から自身に対し、自身の感情を、運転影響がなくなるように仕向けて、車両の運転に影響を与える要因の解消または軽減を図ることができる。
 また、本発明の感情推定装置において、前記運転に影響有の感情とは、怒る、心配、哀しい、不安のいずれかを含む構成としてもよい。
 この構成によれば、自身の感情が怒る、心配、哀しい、不安等の感情であることを検出した場合に、これらの感情が運転に与える影響の解消または軽減を図ることができる。
 また、本発明の感情推定装置において、前記パーソナル人格(482)は人工知能である構成としてもよい。
 この構成によれば、人工知能であるパーソナル人格が複数の製品からの情報により構成されるので、パーソナル人格によって高精度で感情を検出できる。
 また、本発明の感情推定装置において、前記パーソナル人格(482)は、自身(U)の感情または感情の変化を模倣し、前記感情検出部(464)は前記パーソナル人格(482)の感情を検出する構成としてもよい。
 この構成によれば、パーソナル人格の感情を検出することによって自身の感情または感情の変化を容易に検出できる。また、パーソナル人格は複数の製品からの情報により構成されるので、自身の感情を、より高精度で検出できる。
 また、上記目的を達成するため、本発明は、通信ネットワーク(2)に接続された車両(4)と、前記通信ネットワーク(2)に接続された自身(U)に関わる複数製品(11,12,13,14,15)と、前記複数製品(11,12,13,14,15)からの自身(U)に関する情報により構成されるパーソナル人格(482)と、を備え、前記パーソナル人格(482)によって、ベース人格(483)が形成され、感情を検出する感情検出部(464)を備え、前記車両が前記パーソナル人格(482)及び前記感情検出部(464)を備えることを特徴とする。
 本発明の構成によれば、車両が、複数の製品からの情報により構成されるパーソナル人格により、高精度で感情を検出できる。このため、車両の運転中に収集あるいは検出される情報に限らず、より多くの製品が長い時間に収集あるいは検出する情報を用いることにより、より高精度で感情を検出できる。また、自身が車両に関わっていない状態における感情を検出することも可能となる。
 本発明に係る感情推定装置では、複数の製品からの情報により構成されるパーソナル人格によって、高精度で感情を検出できる。また、特定の製品について、その製品が自身に関わる前の感情を検出することも可能となる。
 また、上記発明において、感情検出部は、ベース人格の感情と、パーソナル人格の現時点の感情と、を比較し、感情属性を検出する構成としてもよい。この場合、感情の傾向や特徴を加味して、より高い精度で感情を検出できる。
 また、上記発明において、感情検出部が検出する感情に所定以上の変化があった場合に、ベース人格の感情に仕向ける動作を制御する動作制御部を備える構成としてもよい。この場合、自身の感情の傾向や特徴を考慮して自身の感情に働きかけを行うことができる。
 また、上記発明において、感情検出部により検出された感情を蓄積する感情蓄積部と、自身の行動予定を示す行動予定表と、自身の感情に大きな変化があった場合に、少なくとも感情蓄積部に蓄積された感情または自身の行動予定表に示された今後の予定から、感情変化原因を推定する感情変化原因推定部と、を備える構成としてもよい。この場合、自身の感情を変化させた原因、或いは感情に影響を与えた原因を未来の予定から推定し、この原因に対応して、自身の感情に影響を与えるように対処できる。
 また、上記発明において、感情変化原因推定部が推定した原因を、感情蓄積部に感情を蓄積する際に合わせて蓄積する構成としてもよい。この場合、自身の感情の傾向と原因とに関するデータを収集できる。
 また、上記発明において、動作制御部は、感情変化原因推定部で推定された原因に対応して、ベース人格の感情に仕向ける動作を制御する構成としてもよい。この場合、自身の感情の傾向や特徴を考慮して、より効果的に、自身の感情に働きかけることができる。
 また、上記発明において、製品の1つは車両であって、車両は運転傾向を判定する運転傾向判定部を備え、運転傾向判定部は、少なくとものんびり運転と、せっかち運転と、を判別し、自身の運転がせっかち運転と判別された場合には、少なくとも直前の感情及び、自身の行動予定表に示された行動予定とから、運転に影響がある感情かを否かを判断し、運転影響有と判断した場合に、動作制御部は、運転影響がなくなるように仕向ける動作を行う構成としてもよい。この場合、車両の運転に影響を与える要因の解消または軽減を図ることができる。
 また、上記発明において、運転に影響有の感情とは、怒る、心配、哀しい、不安のいずれかを含む構成としてもよい。この場合、自身の感情が怒る、心配、哀しい、不安等の感情であることを検出した場合に、これらの感情が運転に与える影響の解消または軽減を図ることができる。
 また、上記発明において、パーソナル人格は人工知能である構成としてもよい。この場合、パーソナル人格によって高精度で感情を検出できる。
 また、上記発明において、パーソナル人格は、自身の感情または感情の変化を模倣し、感情検出部はパーソナル人格の感情を検出する構成としてもよい。この場合、自身の感情または感情の変化を容易に、より高精度で検出できる。
 また、本発明に係る感情推定システムでは、車両が、複数の製品からの情報により構成されるパーソナル人格により、高精度で感情を検出できる。また、自身が車両に関わっていない状態における感情を検出することも可能となる。
図1は、本発明の実施の形態に係る感情推定システムの概略図である。 図2は、感情推定システムにおける各装置の動作の具体例を示す図である。 図3は、サーバの機能ブロック図である。 図4は、自動二輪車の機能ブロック図である。 図5は、感情検出設定データの構成例を示す模式図である。 図6は、パーソナル人格及びベース人格の関係を示す説明図である。 図7は、対応動作テーブルの構成例を示す模式図である。 図8は、対応動作テーブルの構成例を示す模式図である。 図9は、感情推定システムを構成する装置の動作を示すフローチャートである。 図10は、サーバの動作を示すフローチャートである。 図11は、感情推定システムの動作を示すフローチャートである。 図12は、感情推定システムの動作を示すフローチャートである。 図13は、感情推定システムの動作を示すフローチャートである。 図14は、感情推定システムの動作を示すフローチャートである。 図15は、感情推定システムの動作を示すフローチャートである。 図16は、自動二輪車の別の構成例を示す機能ブロック図である。
 以下、図面を参照して本発明の実施形態について説明する。
 図1は、感情推定システム1の概略図である。
 感情推定システム1は、自動二輪車4を含む複数の装置、およびサーバ3が通信ネットワーク2に接続されて構成される。感情推定システム1が備える装置は、ユーザUが使用する装置であれば、装置の種類(カテゴリー)、用途、構造等は特に制限されない。本実施形態では、自動二輪車4のほか、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および冷蔵庫15を例示する。
 自動二輪車4(車両)、四輪車11(車両)、炊飯器12、掃除機13、テレビ受像機14および冷蔵庫15の各装置は、それぞれ、通信ネットワーク2に接続される。これら各装置は、通信ネットワーク2を介して、サーバ3と通信を実行し、データを送受信する。また、これら各装置は、通信ネットワーク2を介して相互に通信を実行してもよい。
 これらの各装置は、本発明の感情推定装置として機能する。
 通信ネットワーク2は、複数のコンピュータが通信を実行することが可能なネットワークであり、例えば、広域通信ネットワークである。通信ネットワーク2は、インターネット等のオープンなネットワークであってもよいし、クローズドな通信ネットワークであってもよい。通信ネットワーク2がオープンなネットワークである場合、感情推定システム1を構成するサーバ3および各装置は、VPN(Virtual Private Network)技術等を用いて、通信ネットワーク2上でセキュアな通信を実行してもよい。また、通信ネットワーク2は、公衆電話回線や専用線等の通信回線を含み、そのほか、通信回線を介した通信を中継あるいは制御するルーター、ゲートウェイサーバー、スイッチ、ブリッジ等の各種ネットワーク機器を含んでもよい。また、通信ネットワーク2を経由するデータ通信において使用される通信プロトコルは制限されない。
 サーバ3は、単一のコンピュータにより構成されるものに限定されず、例えば、ネットワークコンピュータ(いわゆる、クラウドコンピュータ)で構成してもよい。
 ユーザUは、本発明でいう自身に相当する。自身は、感情推定システム1、或いは、感情推定システム1を構成する自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、冷蔵庫15が感情を推定する対象の人物(人間)自身である。本実施形態では、ユーザUは、自動二輪車4を運転する人物である。ユーザUが自動二輪車4を運転することは必須ではなく、本実施形態では、好ましい一例として示している。ユーザUは、例えば、感情推定システム1を構成する自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、冷蔵庫15のうち少なくとも複数を使用するユーザが挙げられる。本実施形態では、一人のユーザUが使用する自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および、冷蔵庫15が、ユーザUの感情を推定する。ユーザUは、感情推定システム1を構成する自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、冷蔵庫15は、定常的に、或いは一時的に使用するが、ユーザUが上記の装置を所有することは限定されない。ユーザUは、上記の装置を借りて使用する人物であってもよい。例えば、四輪車11は、ユーザUが一時的にレンタルして使用するレンタカーであってもよい。
 感情推定システム1において、自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および冷蔵庫15は、ユーザUに関わる装置である。自動二輪車4はユーザUが運転または搭乗する自動二輪車である。四輪車11は、ユーザUが使用する自動車である。四輪車11の使用の形態は、ユーザUが運転する場合に限らず、ユーザUとは異なる人物が運転し、ユーザUが同乗者として搭乗する形態も本発明の適用範囲に含まれる。
 炊飯器12は、ユーザUが調理に使用する機器の一例であり、炊飯器である。炊飯器12は、電子レンジ、電磁調理器、オーブン、電気湯沸かし器等の他の調理器具に置き換えてもよい。掃除機13は、例えば、自走式の掃除機であり、掃除を実行する時刻および掃除を行う対象の場所について、ユーザUが事前に設定した内容に従って掃除を実行する。テレビ受像機14は、ユーザUが映像や音楽を試聴する機器の一例であり、テレビ放送を視聴する場合に使用される。冷蔵庫15は、ユーザUが食材等を貯蔵するために使用する機器の一例である。
 これらはユーザUに関わる装置の具体例であり、本発明を適用する対象は、これらの装置に限定されない。
 感情推定システム1を構成する各装置は、いずれも、ユーザUの感情に関する処理を行うため、コンピュータを備える。このコンピュータは、例えば、自動二輪車4が、自動二輪車としての動作を実行するために備えるECU(Engine Control Unit)や、炊飯器12が調理機能を実行するために備えるマイコン等、各装置が本来の機能を実行するために備えるコンピュータであってもよい。また、各装置は、ユーザUの感情を推定し、推定した感情に対応する処理を行うための専用のコンピュータを搭載してもよい。
 本実施形態では、感情推定システム1の各装置は、それぞれ、パーソナル人格22を実現する。パーソナル人格22は、ユーザUの感情または感情の変化を模倣する、仮想的な人格である。パーソナル人格22は、コンピュータプログラムによって構築され、仮想の人間として振る舞い、あたかも実際の人間と同じような、ユーザUを真似た感情を持つ。パーソナル人格22の感情は、ユーザUの感情と同様に変化するよう設定される。別の表現では、パーソナル人格22は、ユーザUの感情をシミュレート(或いはエミュレート)する。パーソナル人格22は、パーソナル人格22を構成するプログラムをコンピュータが実行することにより、当該コンピュータが実行する。パーソナル人格22を構成するプログラムは、人間の感情をシミュレートするプログラムであってもよい。また、特定の1のパラメータから人間の感情を示す出力値を得るプログラムであってパラメータと出力値とを1対1で対応付けたシンプルなプログラムであってもよい。
 本実施形態では一例として、パーソナル人格22は人工知能(AI:Artificial Intelligence)により構成される。すなわち、パーソナル人格22の機能は、人工知能技術に属し、又は関連する技術要素の全部、又は幾つかの集合により実現される。この種の技術要素には、各種フィルタリング、独立成分分析、SVM(Support Vector Machine)、輪郭抽出その他の画像処理技術、パターン認識(例えば、音声認識、顔認識ほか)、自然言語処理、知識情報処理、強化学習、ベイジアンネットワーク、SOM(自己組織化マップ)、ニューラルネットワーク、Deep Learning(深層学習)、その他各種機械学習などが挙げられる。
 感情推定システム1では、ユーザUに関わる各装置が、パーソナル人格22のプログラムを実行する。各装置は、パーソナル人格22の動作中におけるユーザUの操作や音声などユーザUに関わる検出を行い、検出結果を収集する。この検出結果はビッグデータ21としてサーバ3に送られ、このビッグデータ21を、パーソナル人格22が学習する。パーソナル人格22が学習を行うことにより、ユーザUの感情を、パーソナル人格22がより高精度で模倣できる。従って、パーソナル人格22の感情をユーザUの感情とみなして、パーソナル人格22の現在の感情を検出することにより、ユーザUの感情を検出、あるいは推定できる。
 感情推定システム1は、コンシェルジュ人格23を有する。コンシェルジュ人格23は、人間のようにユーザUとコミュニケーション(例えば、会話)を行う仮想的な人格である。ユーザUは、コンピュータプログラムによって構築された仮想の人間として振る舞うコンシェルジュ人格23を相手に、あたかも実際の人間とするのと同じような会話を行う。コンシェルジュ人格23は、あたかも人間がユーザUを気遣うような動作を行うことができ、ユーザUに対し、支援、案内、サポート等を行うユーザUの個人的な助言役、援助者、案内者として振る舞う。これらの役目を総称するため、本実施形態ではコンシェルジュ人格23という名称を付す。コンシェルジュ人格23は、コンシェルジュの語に代えて、例えば、パーソナルアシスタント(Personal Assistant)と呼ぶこともできる。
 コンシェルジュ人格23の機能は、コンシェルジュ人格23を構成するプログラムをコンピュータが実行することにより、当該コンピュータが実行する。コンシェルジュ人格23を構成するプログラムは、人間の感情をシミュレートするプログラムであってもよい。また、特定の1のパラメータから人間の感情を示す出力値を得るプログラムであってパラメータと出力値とを1対1で対応付けたシンプルなプログラムであってもよい。
 コンシェルジュ人格23は、パーソナル人格22と同様に、人工知能(AI)により構成してもよい。すなわち、コンシェルジュ人格23の機能は、パーソナル人格22と同様の人工知能技術に属する技術要素または関連する技術要素の全部、又は幾つかの集合により実現されてもよい。
 コンシェルジュ人格23は、ユーザUと音声による会話を行うものに限定されず、例えば、後述するように、ユーザUが使用する装置の動作を制御するものであってもよい。また、コンシェルジュ人格23は、ユーザUに対し、ユーザUの感情を特定の感情に仕向けるように、会話及び/または装置の制御を含む動作を行ってもよい。例えば後述するように、ユーザUが自動二輪車4を運転中に、コンシェルジュ人格23は、自動二輪車4の挙動を調整する。
 感情推定システム1の自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および冷蔵庫15の各装置は、上述した各装置の本来の機能に加え、ユーザUの感情を推定する機能を有する。これらの装置は、ユーザUが装置に対して行った操作の履歴から得られるデータや、ユーザUと各装置とが行った会話の内容等から、ユーザUの感情を推定する。さらに、各装置は、推定したユーザUの感情に対応して、ユーザUに対し、音声により会話をする機能を有する。この機能のため、各装置は、ユーザUの音声を集音するマイク、および、音声を発するスピーカを備える。
 図2は、感情推定システム1における各装置の動作の具体例を示す図である。詳細には、図2は、感情推定システム1の各装置がユーザUの感情を推定するために利用する検出値の例と、ユーザUの感情に対応して実行する動作の例を示す。
 例えば、自動二輪車4は、ユーザUが自動二輪車4を運転する場合の運転制御に関する検出値、および、ユーザUの音声を、ユーザUの感情を推定する検出値として利用する。四輪車11は、ユーザUが四輪車11を運転する場合の運転制御に関する検出値、四輪車11が備える重量センサが検出するユーザUの体重、および、ユーザUの音声を、ユーザUの感情を推定する検出値として利用する。四輪車11の運転制御に関するデータは、例えば、走行距離、走行速度、スロットル開度、ステアリング舵角、ブレーキ操作量、車重等が挙げられる。また、四輪車11は、GPS(Global Positioning System)等を利用した測位を行うことにより、出発地、到着地、経由地等のデータを取得してもよく、給油を行った場所や時刻に関するデータを取得してもよく、これらを運転制御に関するデータとして処理してもよい。
 冷蔵庫15は、ドアの開閉回数、内容物に関するデータ、および、ユーザUの音声を、ユーザUの感情を推定する検出値として利用する。炊飯器12は、ユーザUが炊飯器12を使用する頻度、炊飯器12の運転メニューの中からユーザUが選択した項目の履歴、および、ユーザUの音声を、ユーザUの感情を推定する検出値として利用する。掃除機13は、収集したダストの量、および、ユーザUの音声を、ユーザUの感情を推定する検出値として利用する。テレビ受像機14は、ユーザUの操作により受信した放送局のデータ、および、放送を受信して画像を表示した時刻のデータ等を含む視聴履歴、および、ユーザUの音声を、ユーザUの感情を推定する検出値として利用する。
 自動二輪車4は、ユーザUの感情を推定した場合に、ユーザUの感情に働きかけるため、自動二輪車4の制御を行う。この場合の制御は、例えば図2に示すように、自動二輪車4のシート高さの調整、運転制御、ユーザUに対し音声を発する動作等が挙げられる。また、四輪車11は、ユーザUの感情に働きかける動作として、車高の調整、運転制御、ユーザUに対し音声を発する動作等を行う。テレビ受像機14は、ユーザUの感情に働きかける動作として、ユーザUに対し音声を発するほか、番組を選択してユーザUに見せる動作を行う。炊飯器12、掃除機13、および冷蔵庫15は、ユーザUの感情に働きかける動作として、ユーザUに対し音声を発する動作等を行う。
 また、感情推定システム1において、例えば航空機のシートに設置されるコンピュータを、ユーザUに関わる装置として使用することも考えられる。具体的には、航空機のシートに設置されるコンピュータが、シートに着座するユーザUを特定し、ユーザUと会話を行い、ユーザUに対する処理を実行する。この場合、航空機のシートに設置されるコンピュータは、ユーザUの音声に基づきユーザUの感情を推定する。また、ユーザUの感情に働きかける動作として、シートの位置調整を行ってもよいし、ユーザUに音声を発してもよい。また、衣料品等を販売する店舗に設置される試着室に、マイクとスピーカとを搭載したコンピュータを設置し、このコンピュータを、感情推定システム1を構成する装置として利用してもよい。このコンピュータは、航空機のシートに設置されるコンピュータと同様、試着室を使用するユーザUを特定し、ユーザUと会話を行い、ユーザUに対する処理を実行する。この場合、試着室に設置されるコンピュータは、ユーザUの音声に基づきユーザUの感情を推定する。また、ユーザUの感情に働きかける動作として、ユーザUに音声を発してもよい。
 各装置は、ユーザUの感情を推定する場合に使用したデータを、通信ネットワーク2を経由してサーバ3に送信する。例えば、ユーザUが各装置を使用した場合に、ユーザUが装置に対して行った操作の履歴から得られるデータや、ユーザUと各装置とが行った音声による会話の内容等から得られるデータが収集され、サーバ3に送信される。これらのデータはビッグデータ21を構成する。サーバ3は、ビッグデータ21を解析する。また、ビッグデータ21は、サーバ3に蓄積されてもよい。
 ビッグデータ21は、上述したように、感情推定システム1の各装置が収集したデータである。ビッグデータ21は、例えば、サーバ3が一時的に、或いは継続して記憶する。ビッグデータ21には、各装置が収集したデータ(情報)と、情報を収集した装置のカテゴリーを示す情報または装置に付与された固有の識別情報(ID等)と、が対応付けて含まれる。装置のカテゴリーは、感情推定システム1に含まれる装置の属性に基づき設定されてもよい。例えば、家庭用あるいは生活用電化製品と、日用品と、運転操作の対象である車両とを区別して設定される。また、製品の用途、種類、一般的な名称をもとに、より細かくカテゴリーが分類されてもよい。
 サーバ3は、ビッグデータ21を収集し蓄積して、ビッグデータ21からパーソナル人格22を構成する。サーバ3は、人工知能であるパーソナル人格22に、ユーザUに関わる装置が収集したビッグデータ21に基づく学習を実行させる。パーソナル人格22は、ユーザUの感情について高度に学習を行い、ユーザUに特化して感情を高精度に推定するアルゴリズムを獲得できる。また、サーバ3は、人工知能であるコンシェルジュ人格23に、ビッグデータ21に基づく学習をさせてもよい。感情推定システム1では、コンシェルジュ人格23に学習をさせず、コンシェルジュ人格23を使用することも可能である。また、コンシェルジュ人格23を、特定のユーザUに適合させることが有用な場合には、コンシェルジュ人格23がビッグデータ21に基づき学習を行ってもよい。
 自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および冷蔵庫15の各装置は、通信ネットワーク2を介して、パーソナル人格22を構成するプログラムおよび/またはデータをダウンロードして実行する。これにより、自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および冷蔵庫15のそれぞれにおいて、パーソナル人格22がユーザUの感情を高精度で推定できる。また、感情推定システム1の各装置は、通信ネットワーク2を介して、コンシェルジュ人格23を構成するプログラムおよび/またはデータをダウンロードして実行する。
 ビッグデータ21は、感情推定システム1の各装置が推定したユーザUの感情を示すデータを含む。このデータは、各装置が、パーソナル人格22によりユーザUの感情を推定する処理を行った時点での結果であってもよいし、ユーザUの感情を推定した履歴のデータであってもよい。複数の装置のそれぞれが、ユーザUの感情を推定した履歴をサーバ3に送信することにより、サーバ3は、様々な時刻で推定されたユーザUの感情に関する情報を、ビッグデータ21として取得できる。この情報を、感情推定システム1の各装置が共有することで、各装置は、当該装置が使用されていない間におけるユーザUの感情に関するデータを取得できる。
 感情推定システム1の各装置は、ユーザUの今後の予定に関するデータを、ビッグデータ21としてサーバ3に送信する。すなわち、ビッグデータ21は、各装置が取得した、ユーザUの今後の予定に関するデータを含む。ユーザUの今後の予定に関するデータは、ユーザUが各装置においてスイッチやキーによる入力操作や音声入力を行うことにより、各装置が取得する。例えば、ユーザUが炊飯器12に、旅行に行く日付と旅行先とを音声で告げた場合、炊飯器12は音声認識により旅行の行き先および日付の情報を認識する。この場合、炊飯器12は、旅行の行き先および日付の情報を、ユーザUの予定としてサーバ3に送信する。この情報は、後述するようにサーバ3を経由して感情推定システム1の各装置により共有される。また、サーバ3、或いは感情推定システム1の他の装置が、通信ネットワーク2を介して通信可能に接続される他のコンピュータから、予定に関するデータを取得してもよい。
 また、感情推定システム1の各装置は、ユーザUの今後の予定以外にユーザUがスイッチやキーによる入力操作や音声入力によって入力したデータを含む。本実施形態では一例として、買い物リストを各装置が取得し、ビッグデータ21としてサーバ3に送信する。
 これらのビッグデータ21は、パーソナル人格22による学習に利用されるだけでなく、パーソナル人格22の学習結果として、各装置がサーバ3からダウンロードしてもよい。
 感情推定システム1では、自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14および冷蔵庫15の各装置が、他の装置が取得したデータを含むビッグデータ21に基づいて学習を行ったパーソナル人格22を利用して、ユーザUの感情を検出、或いは推定できる。そして、各装置は、ビッグデータ21に基づいて学習を行ったコンシェルジュ人格23を利用して、ユーザUの感情に働きかける動作を行うことができる。
 例えば、図1に示すように、四輪車11は、ユーザUに対して会話音声110、111、112、113を発する。会話音声110は、ユーザUに対し、ユーザUの好みの音楽を再生することを伝える音声メッセージである。会話音声111は、ユーザUに対し、四輪車11のシート位置と、運転動作に応答して四輪車11が実行する走行動作のセッティングを、ユーザUの好みに合わせることを伝える音声である。会話音声112は、ユーザUに対し、四輪車11が備える重量センサで検出した重量に基づき、ユーザUの体重について会話する音声である。会話音声113は、ユーザUが四輪車11で旅行をしている場合に、付近の観光スポットや著名な土産物を案内する音声である。
 また、例えば、炊飯器12は、ビッグデータ21に含まれるユーザUの今後の予定に基づき、ユーザUが出かける目的地について会話する会話音声121を発することができる。また、掃除機13は、例えば、ユーザUが花粉症であるとのデータに基づき、花粉症の対策をするようユーザUに呼びかける会話音声131を発することができる。テレビ受像機14は、ユーザUの今後の予定や自動二輪車4がユーザUと会話した内容の記録に基づき、ユーザUの以前の行動に関係するテレビ番組を案内する会話音声141を発することができる。冷蔵庫15は、ユーザUの以前の行動、具体的にはテレビ受像機14を使用した履歴に基づき、コーヒーを飲むように促す会話音声151を発することができる。
 感情推定システム1の各装置は、ユーザUに対し一方的に音声を発するだけでなく、ユーザUとインタラクティブな音声会話が可能である。この音声会話は、各装置が備える上記のコンピュータがコンシェルジュ人格23を実行してデータを処理することにより実現される。これらの会話は、いわゆる雑談であってもよい。
 感情推定システム1の各部の構成について説明する。
 図3は、サーバ3の機能ブロック図である。
 図3に示すように、サーバ3は、サーバ側制御部31、人格DB34、認証情報記憶部36、および通信部38を備える。
 通信部38は、通信ネットワーク2に有線または無線で接続され、サーバ側制御部31の制御に従って通信ネットワーク2を介してデータを送受信する。
 サーバ側制御部31は、サーバ3の各部を制御する制御部であり、プロセッサと、プロセッサが実行するプログラムとの協働により構成される。サーバ側制御部31には人格DB34、および、認証情報記憶部36が接続される。
 サーバ側制御部31は、プログラムを実行するプロセッサであり、プロセッサ31と呼ぶこともできる。プロセッサ31は、集積回路や、マイクロコントローラ、マイクロコンピュータ、プログラマブルロジックコントローラ、特定用途向け集積回路、その他のプログラマブル回路を用いることができる。例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、マイコン、或いはその他の演算処理装置で構成できる。プロセッサ31は、ROM(Read Only Memory)やRAM(Random Access Memory)を統合した統合チップ(例えば、いわゆるSoC(System-on-a-Chip)デバイス)であってもよい。人格DB34は、実体としてデータを記憶する記憶装置であり、記憶装置34と呼ぶこともできる。記憶装置34は、例えば、HDD(Hard Disk Drive)等の磁気的記録媒体を用いた記憶装置、SSD(Solid State Drive)、フラッシュROM、SRAM(Static RAM)等の半導体記憶素子を用いた記憶装置が挙げられる。認証情報記憶部36は、記憶装置34の記憶領域の一部を用いて構成することができる。記憶装置34とは別に、記憶装置36を設けて、認証情報記憶部36としてもよい。この場合、記憶装置36の具体的構成は、記憶装置34と同様のものとすることができる。プロセッサ31が、記憶装置34に記憶されたプログラムを実行し、記憶装置34に記憶されたデータを処理することにより、サーバ側制御部31の各種機能を実現する。
 サーバ側制御部31は、パーソナル人格実行部32、人格形成部311、人格転送部312、認証処理部313、および、コンシェルジュ人格形成部314を備える。
 人格DB34は、パーソナル人格22及びコンシェルジュ人格23に関するデータを含むデータベースである。人格DB34は、パーソナル人格342、ベース人格343、行動予定データ344、感情検出履歴データ345、感情検出DB346、会話DB347、対応動作テーブル348、およびコンシェルジュ人格349を含む。図1のパーソナル人格22及びコンシェルジュ人格23は、感情推定システム1の各装置が実行するパーソナル人格22及びコンシェルジュ人格23を模式的に示したものである。これらの実体は、サーバ3においてはパーソナル人格342、及びコンシェルジュ人格349である。
 認証情報記憶部36は、認証用の情報である認証情報361を記憶する。
 人格形成部311は、ビッグデータ21(図1)に基づきパーソナル人格342を構成する。人格形成部311はパーソナル人格342を形成し、人格DB34に格納させる。上述したように、パーソナル人格342は、コンピュータが実行可能なプログラムである。
 感情推定システム1において、ビッグデータ21が収集される前の状態では、人格DB34に、汎用の、あるいは初期状態のパーソナル人格342が記憶される。
 人格形成部311は、通信部38によって、感情推定システム1の各装置から送信されるビッグデータ21を取得する。人格形成部311は、ビッグデータ21から、ユーザUの未来の予定に関するデータを抽出して行動予定データ344を生成し、人格DB34に記憶させる。人格形成部311は、ビッグデータ21から、ユーザUの感情を各装置が推定した推定結果を抽出し、感情検出履歴データ345を生成し、人格DB34に記憶させる。人格形成部311は、人格DB34に、既に行動予定データ344および感情検出履歴データ345が記憶されている場合、これらのデータを更新する。
 人格形成部311は、人格DB34に記憶されたパーソナル人格342の学習機能により、ビッグデータ21を対象とする学習を実行させる。この学習により、パーソナル人格342は、ユーザUの感情を推定するアルゴリズムを獲得する。すなわち、初期状態においてパーソナル人格342が有する感情推定のアルゴリズムが、ビッグデータ21に基づく機械学習を行うことで、特定のユーザUの感情を推定する目的に向けたアルゴリズムに、改良あるいは改変される。アルゴリズムの改良、改変の具体的態様に制限はなく、プログラムそのものの変更を含んでもよいし、プログラムの動作を規定するパラメータの変更を含んでもよい。これにより、パーソナル人格342は、ユーザUの感情を高精度に推定し、ユーザUの感情を模倣するように感情または感情の動きを生成するアルゴリズムを獲得する。
 人格形成部311は、人格DB34からパーソナル人格342を読み出して実行し、パーソナル人格342のプログラムの機能により上記の学習を実行させて、学習後のパーソナル人格342を人格DB34に記憶させる。なお、人格形成部311は、パーソナル人格342の学習を、パーソナル人格342を更新する機能を有しかつパーソナル人格342とは別のプログラムを実行することにより、行ってもよい。
 サーバ3は、コンシェルジュ人格349を形成する。最も単純な方法では、ビッグデータ21が収集される前に、人格DB34に汎用あるいは初期状態のコンシェルジュ人格349が記憶される。この人格DB34に記憶されたコンシェルジュ人格349が、感情推定システム1で利用されてもよい。或いは、人格形成部311が、人格DB34に記憶されたコンシェルジュ人格349を読み出して実行し、コンシェルジュ人格349の学習機能により、ビッグデータ21に基づく学習を実行させる。コンシェルジュ人格349は、コンピュータが実行可能なプログラムである。この学習により、コンシェルジュ人格349は、パーソナル人格342の感情に働きかけるアルゴリズムを獲得する。コンシェルジュ人格349は、パーソナル人格342の感情を特定の方向、傾向あるいは特定の感情に向けるように働きかけるため、会話や装置の制御を行う。コンシェルジュ人格349が実行する動作の目的は、ユーザUの感情を、目的とする方向に誘導することにある。コンシェルジュ人格349は、ビッグデータ21に基づく機械学習を行うことで、特定のユーザUの感情に対し効果的に働きかけを行うことが可能になり、ユーザUの感情を、より確実に、目的とする方向に誘導できるようになる。このため、コンシェルジュ人格349は学習によりアルゴリズムの改良、改変を行う。アルゴリズムの改良、改変の具体的態様に制限はなく、プログラムそのものの変更を含んでもよいし、プログラムの動作を規定するパラメータの変更を含んでもよい。人格形成部311は、コンシェルジュ人格349の学習が進む毎に、人格DB34のコンシェルジュ人格349を更新する。
 人格転送部312は、感情推定システム1を構成する各装置のいずれかから、パーソナル人格342すなわちパーソナル人格22を転送するよう要求された場合に、この要求に応答して、パーソナル人格342を含むプログラムおよびデータを通信部38により送信する。本実施形態で、人格転送部312は、パーソナル人格342のほか、パーソナル人格342が動作する場合に用いる他のデータを含む、人格DB34を、通信部38により送信する。
 認証処理部313は、サーバ3が、通信ネットワーク2を介して他の装置からアクセスされた場合に、認証処理を実行する。認証処理部313は、サーバ3にアクセスした装置が送信する情報を、認証情報記憶部36が記憶する認証情報361と対比することで、認証を実行する。図1に示した自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および冷蔵庫15の各装置は、通信ネットワーク2によってサーバ3にアクセスする際に、ユーザUに対応するユーザID等の識別情報と、パスワード等の認証情報とを送信する。ユーザUの識別情報及び認証情報はユーザUに固有である。認証処理部313は、サーバ3にアクセスした装置に対する認証を実行する場合に、この装置を使用するユーザUを特定する。例えば、感情推定システム1が、複数のユーザUに対して上述した機能を実行する場合、サーバ3は、ユーザUごとに、人格DB34を有する。このため、認証処理部313は、認証を実行する際に、認証する装置を使用するユーザUを特定し、認証に成功した場合に、サーバ側制御部31は認証で特定されたユーザUに関する人格DB34を処理する。
 人格転送部312は、認証処理部313による認証が成功した場合に、人格DB34を、通信部38により送信する。人格転送部312は、認証処理部313により認証された装置のカテゴリー等に応じて、人格DB34のうち送信するデータやプログラムを選択してもよい。
 パーソナル人格実行部32は、パーソナル人格342を実行する。サーバ3において、人工知能のアルゴリズムを含むプログラムであるパーソナル人格342を実行する必要がある場合は、この処理をパーソナル人格実行部32が実行する。
 パーソナル人格342は、上述したように、ユーザUの感情、或いは感情の変化を模倣する人工知能であり、具体的には、アルゴリズムを実行するためのプログラム、及び上記プログラムで処理されるデータを含む。パーソナル人格342は、ビッグデータ21に基づきユーザUに関する学習を行う学習機能、ユーザUの感情を推定(検出)する感情検出機能、ユーザUとの間で会話を行う会話実行機能等に対応するアルゴリズムを有する。
 ベース人格343は、パーソナル人格342のアルゴリズムにより形成される仮想の人格であるベース人格に関するプログラム、および、データを含む。ベース人格については後述する。
 行動予定データ344は、ユーザUの今後の予定に関するデータを含み、例えば、ビッグデータ21から抽出されたデータで構成される。行動予定データ344は、例えば、人格形成部311が、感情推定システム1を構成する各装置が送信するビッグデータ21から抽出した情報で構成される。人格形成部311は、通信ネットワーク2を介して接続される外部のサーバ(図示略)からユーザUの今後の予定に関するデータを受信して、行動予定データ344に含めてもよい。
 感情検出履歴データ345は、自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、冷蔵庫15の各装置において、ユーザUの感情を検出した履歴を含むデータである。ここで、ユーザUの感情とは、ユーザUの感情を模倣するパーソナル人格342の感情であってもよい。この場合、感情検出履歴データ345は、パーソナル人格342の感情の履歴に関する情報を含んでもよい。
 行動予定データ344および感情検出履歴データ345は、感情推定システム1の各装置が送信する行動予定データ344、感情検出履歴データ345で構成され、人格形成部311がビッグデータ21から抽出するその他のデータを含んでもよい。
 感情検出DB346は、ユーザUの感情に関わる検出値として利用可能な各種データを含む。例えば、感情検出DB346は、マイクにより検出されるユーザUの声を解析して得られる韻律、音質、音韻等のデータ、及び、ユーザUの感情を示すパラメータを含んでも良い。また、感情検出DB346は、ユーザUの顔をカメラで撮像した撮像画像に関するデータを含んでも良い。具体的には、撮像画像から抽出されるユーザUの顔画像の特徴を示すデータと、ユーザUの感情を示すデータとを含んでも良い。
 感情検出DB346が含むデータは、例えば、パーソナル人格342がユーザUの感情を検出する場合に使用する。パーソナル人格342は、感情検出用のアルゴリズムにより、ユーザUの音声を集音したデータやユーザUの顔の撮像画像からユーザUの感情を推定(検出)するときに、感情検出DB346のデータを参照する。また、感情検出DB346が含むデータは、パーソナル人格342がユーザUの感情を模倣するために参照することも可能である。また、コンシェルジュ人格349が、ユーザUの感情に対応する処理を行う場合に感情検出DB346のデータを参照してもよい。
 また、パーソナル人格342は、感情検出DB346に含まれるデータを機械学習に利用してもよい。この機械学習は、話し相手の音声、表情、及び行動と、その話し相手の感情とが対応付いた訓練データを用いて行われる、いわゆる教師あり学習である。訓練データには、例えば、音声の韻律や音質、音韻、表情、及び行動(ジェスチャや運転操作)が多種多様に異なる多数のデータを用いることができる。また訓練データの感情は、「喜び」、「怒り」、「悲しみ」、「楽しみ」、「焦り」、「不安」、及び「中立」のいずれかに、その度合いとともに分類されている。このような機械学習により、音声、表情、及び行動に基づき、話し相手の感情を、その感情の度合いとともに分類するアルゴリズムが得られる。また、訓練データとして、感情推定システム1を構成する装置が過去に検出したユーザUの感情の検出結果と、ユーザUに関わる情報とを用いてもよい。
 会話DB347は、コンシェルジュ人格349が会話用のアルゴリズムを利用してユーザUと会話を実行する場合に用いるデータを含む。具体的には、コンシェルジュ人格349が会話文を合成する場合に用いる単語辞書、発音辞書、音声辞書等のデータを含む。
 また、会話DB347は、ユーザUの音声をパーソナル人格342が解析する場合に利用するデータを含んでも良い。
 対応動作テーブル348は、ユーザUの感情に対応して実行する動作を定めるテーブル形式のデータである。対応動作テーブル348は、ユーザUの感情に関するデータと、ユーザUの感情を抑制し、或いは穏やかにするように、ユーザUに働きかける動作を定めるデータとが含まれる。
 ユーザUに対して感情推定システム1の各装置が行う働きは、装置の種類によって異なる。サーバ3が人格DB34は、対応動作テーブル348を、装置のカテゴリー毎、或いは、装置毎に記憶しても良い。例えば、人格DB34が、複数の対応動作テーブル348を記憶しても良い。また、サーバ3が記憶する対応動作テーブル348は、複数のカテゴリーまたは複数の装置の各々に対応するテーブルを含んでもよい。この場合、1つの対応動作テーブル348が複数の装置に関するデータを含む構成としても良い。
 コンシェルジュ人格349は、上述したように、ユーザUの感情に対応して。ユーザUの感情を所定の方向に仕向ける制御を行う人工知能であり、具体的には、アルゴリズムを実行するためのプログラム、及び上記プログラムで処理されるデータを含む。
 図4は、自動二輪車4の制御系の構成を示す機能ブロック図である。
 感情推定システム1でユーザUに関わる装置の一例として、自動二輪車4を説明する。
 自動二輪車4は、鞍乗り型のバイクであってもよいしスクーターであってもよい。自動二輪車4は、走行に関わる各種センサを含むセンサ部43、および、走行に関わる各種動作を実行する動作部44を備える。また、自動二輪車4は、センサ部43および動作部44を制御するECU41を備える。本実施形態のECU41、センサ部43、および動作部44の各部は一般的な自動二輪車と変わらず、ECU41、センサ部43および動作部44の細部構成はあくまで一例である。
 センサ部43は、照度センサ431、スイッチ432、スロットルセンサ433、舵角センサ434、ブレーキセンサ435、温度センサ436、および車速センサ437を備える。照度センサ431は自動二輪車4の周囲の明るさを検出する。スイッチ432は、自動二輪車4が備える各種スイッチであり、例えば、ウィンカースイッチ、ヘッドライトスイッチ、セルスタータースイッチ等を含む。スロットルセンサ433は、自動二輪車4のハンドル(図示略)に設置されたスロットルの操作量を検出する。舵角センサ434は、自動二輪車4のハンドル操作の操作量を検出する。ブレーキセンサ435は、自動二輪車4のブレーキレバーの操作量を検出する。自動二輪車4が、ユーザUの足により操作されるフットブレーキを備える場合、ブレーキセンサ435はフットブレーキの操作量を検出するものであってもよい。温度センサ436は、自動二輪車4のエンジンの温度、および/または自動二輪車4のトランスミッション等の駆動系の温度を検出する。例えば、自動二輪車4が搭載するエンジンが水冷式である場合、温度センサ436は冷却水の水温を検出してもよい。車速センサ437は、自動二輪車4の走行速度を検出する。
 スイッチ432を除き、センサ部43を構成する各センサは、ECU41の制御に従って検出を実行し、検出値をECU41に出力する。また、ECU41は、スイッチ432の切り替え状態を常時検出可能である。
 動作部44は、スロットル装置441、燃料噴射装置442、点火装置443、変速装置444、ブレーキ駆動装置445、灯火装置446、サスペンション調整部447、およびメーターパネル448を備える。
 スロットル装置441は、ECU41の制御に従って、自動二輪車4のスロットルバルブ(図示略)の開度を調整する。燃料噴射装置442は、ECU41の制御に従って燃料を噴射する。自動二輪車4が備える燃料噴射装置442は、ポート噴射式であってもよいし直噴式であってもよく、噴射ノズルの数等も特に制限されない。燃料噴射装置442がポート噴射式の場合、スロットルバルブの開度に応じて燃料を噴射する。また、燃料噴射装置442が噴射する燃料の量はECU41により制御できる。
 点火装置443は、自動二輪車4のエンジンの点火プラグおよび点火プラグに電圧を供給する回路を含む。ECU41は、点火装置443を制御することにより、自動二輪車4のエンジンの各シリンダにおける点火タイミングを制御できる。変速装置444は、エンジンに連結された自動変速装置であり、ECU41の制御に従って変速を実行する。変速装置444は、例えば、AT(Automatic Transmission)、ベルト式AT、CVT(Continuously Variable Transmission)、DCT(Dual Clutch Transmission)等である。ブレーキ駆動装置445は、自動二輪車4の前輪と後輪の各々に配置されたブレーキ装置であり、ブレーキレバーやフットブレーキの操作に応じて機械的に制動を行う。ブレーキ駆動装置445は、ブレーキレバーやフットブレーキの操作力をアシストして制動力を高めるブレーキブースターを有し、このブレーキブースターをECU41が制御できる。ブレーキ駆動装置445は、ブレーキレバーやフットブレーキの操作に応じてECU41が定めるタイミングおよび制動力で制動する構成であっても良い。灯火装置446は、自動二輪車4のヘッドランプ、ウィンカーランプ、ブレーキランプ、その他のマーカーランプを含む。灯火装置446は、ECU41の制御に従って少なくとも一部のランプの点灯および消灯を制御する。
 サスペンション調整部447は、自動二輪車4のタイヤと車体フレームとの間に介設されるサスペンション装置(図示略)を調整する。例えば、自動二輪車4がアクティブサスペンション装置を備える場合、サスペンション調整部447は、ECU41の制御に従って、自動二輪車4の車高、ダンパーの減衰力等を調整する。メーターパネル448は、自動二輪車4の車速、エンジン回転数、走行距離、ランプ類の点灯状態、燃料の残量等を表示する。メーターパネル448は、暗所や夜間における視認性を高めるためにバックライトを有し、本実施形態では、ECU41の制御により、バックライトの発光色を変えることができる。
 ECU41は、検出制御部411、スロットル制御部412、燃料噴射制御部413、点火制御部414、ブレーキ制御部415、サスペンション制御部416、ランプ点灯制御部417、および、表示制御部418を備える。
 ECU41は、プログラムを実行するプロセッサであり、プロセッサ41と呼ぶこともできる。プロセッサ41は、集積回路や、マイクロコントローラ、マイクロコンピュータ、プログラマブルロジックコントローラ、特定用途向け集積回路、その他のプログラマブル回路を用いることができる。例えば、CPU、MPU、マイコン、或いはその他の演算処理装置で構成できる。また、プロセッサ41は、ROMやRAMを統合した統合チップ(例えば、いわゆるSoCデバイス)であってもよい。ECU41が、図示しないROMに記憶したプログラムを実行することにより、検出制御部411、スロットル制御部412、燃料噴射制御部413、点火制御部414、ブレーキ制御部415、サスペンション制御部416、ランプ点灯制御部417、および、表示制御部418の機能が実現される。
 検出制御部411は、センサ部43に含まれる各種センサの検出値およびスイッチ432の状態を取得する。スロットル制御部412は、検出制御部411が検出した検出値等に基づいて、スロットル装置441を動作させる。燃料噴射制御部413は、検出制御部411が検出した検出値等に基づいて、燃料噴射装置442による燃料の噴射タイミングや噴射量を制御する。点火制御部414は、検出制御部411が検出した検出値等に基づいて点火装置443を制御し、適切なタイミングで点火プラグに点火させる。ブレーキ制御部415は、ブレーキ駆動装置445を制御することにより、ブレーキブースターの動作を制御する。サスペンション制御部416は、サスペンション調整部447を制御して、自動二輪車4の車高調整、サスペンションセッティングの設定等を行う。ランプ点灯制御部417は、スイッチ432の切り替え状態に対応して、灯火装置446を構成する各ランプの点灯および消灯を制御する。表示制御部418は、メーターパネル448のバックライトの点灯および消灯の切り替えや、バックライトの発光色の変更を行う。
 自動二輪車4は、ECU41、センサ部43および動作部44の機能により、ユーザUの操作に応じて走行することが可能である。これらは、自動二輪車4の走行に要する最小構成といえる。
 さらに、自動二輪車4は、装置側制御部46、通信部47、人格DB48、および、外部センサ49を備える。装置側制御部46は、人工知能であるパーソナル人格482を実行する機能部であり、プロセッサと、プロセッサが実行するプログラムとの協働により構成される。装置側制御部46には人格DB48、および外部センサ49が接続される。
 装置側制御部46は、プログラムを実行するプロセッサであり、プロセッサ46と呼ぶこともできる。プロセッサ46は、集積回路や、マイクロコントローラ、マイクロコンピュータ、プログラマブルロジックコントローラ、特定用途向け集積回路、その他のプログラマブル回路を用いることができる。例えば、CPU、MPU、マイコン、或いはその他の演算処理装置で構成できる。また、プロセッサ46は、ROMやRAMを統合した統合チップ(例えば、いわゆるSoCデバイス)であってもよい。また、人格DB48は、実体としてデータを記憶する記憶装置であり、記憶装置48と呼ぶこともできる。記憶装置48は、例えば、HDD等の磁気的記録媒体を用いた記憶装置、SSD、フラッシュROM、SRAM等の半導体記憶素子を用いた記憶装置が挙げられる。
 通信部47は、通信ネットワーク2に接続され、通信ネットワーク2を介してサーバ3(図1)と通信を実行する。通信部47は、装置側制御部46が出力するデータをサーバ3に送信し、サーバ3から受信したデータを装置側制御部46に出力する。外部センサ49は、ヘッドセット491、カメラ494、Gセンサ495、GPS受信部496、および無線通信部497を備える。ヘッドセット491は、ユーザUが装着するヘルメットに設けられ、マイク492、およびスピーカ493を有する。マイク492はユーザUが発する音声を集音して装置側制御部46に音声信号を出力する。スピーカ493は、ユーザUが耳に装着するイヤホンであってもよく、装置側制御部46の制御に従って音声を出力する。ここで、ヘッドセット491と装置側制御部46との間に、アナログ音声信号とデジタルデータとの変換を行うA/D(Analogue / Digital)変換器を設けてもよいし、ヘッドセット491がA/D変換器を備えてもよい。
 カメラ494は、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを備え、ユーザUの顔を含む撮像範囲を撮像し、撮像画像データを装置側制御部46に出力する。Gセンサ495は、加速度を検出するセンサであり、検出値を装置側制御部46に出力する。Gセンサ495は、1軸方向のGを検出する1軸のセンサであってもよいし、2軸、或いは3軸センサであってもよい。また、Gセンサ495は、角速度センサ等と組み合わされた統合型のモーションセンサユニットであってもよい。
 GPS受信部496は、GPS信号を受信するアンテナ(図示略)を備え、自動二輪車4の現在位置を測位し、測位結果を装置側制御部46に出力する。
 無線通信部497は、少なくとも近距離無線通信プロトコルを利用した近距離通信を行う。近距離無線通信は、通信エリアが少なくとも数十センチから数メートル以上の無線通信である。近距離無線通信プロトコルには、Bluetooth(登録商標)、IrDA(登録商標)、RFID(Radio Frequency Identification)、IEEE 802.11(いわゆる無線LAN)などが挙げられる。無線通信部497は、例えば、ユーザUが所持し使用するスマートフォン、ワイヤレスマイク、その他の機器との間で無線通信を実行する。
 人格DB48が格納する各種データは、サーバ3(図2)が有する人格DB34に格納されるデータである。装置側制御部46は、通信部47によってサーバ3にアクセスし、認証処理を経てダウンロードしたデータを人格DB48に記憶する。
 パーソナル人格482は、上述したように、ユーザUの感情、或いは感情の変化を模倣する人工知能であり、具体的には、アルゴリズムを実行するためのプログラム、及び上記プログラムで処理されるデータを含む。パーソナル人格482は、例えば、サーバ3において学習を実施したパーソナル人格342を、装置側制御部46がダウンロードしたものである。
 ベース人格483は、パーソナル人格482のアルゴリズムにより形成される仮想の人格であるベース人格に関するプログラム、および、データを含む。
 パーソナル人格482は、ユーザUと同様の感情の傾向を有し、或いは、ユーザUの感情の傾向を模倣する、仮想的な人格である。パーソナル人格482は外的な要因に対応して、ユーザUの感情の変化をシミュレートし、ユーザUの感情をまねた感情を生成する。ここで、パーソナル人格482は、外的な要因と、この外的な要因に対応して生成または変化するユーザUの感情との両方に基づき、ユーザUの感情を模倣してもよい。
 人間の感情には個性が反映され、人により、例えば、特定の感情を想起しやすい傾向を持つことがある。このようなユーザUの性格傾向、感情の傾向あるいは特性は個人差があり、例えば、怒りの感情を想起しやすい人や、少しのいらだちを感じている状態が普通に感じられる人がいれる。ベース人格483は、ユーザUの感情の傾向を加味して、通常の状態におけるユーザUが抱く感情を示す。ベース人格483は、感情を生成または変化させるアルゴリズムを有するプログラムであってもよいし、AIであってもよいが、感情の種類と程度とを示す基準値であってもよい。通常の状態におけるユーザUとは、感情推定システム1を構成する各装置が収集したビッグデータ21に基づき特定される仮想の人格である。簡単に表現すれば、「いつものユーザU」ならばどのような感情を抱くかを、ベース人格483の感情から得ることができる。
 ベース人格483は、例えば、サーバ3が形成して、自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14および冷蔵庫15の各装置に送信(配信)してもよい。本実施形態では、自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14および冷蔵庫15の各装置の少なくともいずれかが形成する。後述するように、本実施形態では、自動二輪車4が装置側制御部46によりベース人格483を形成する。
 行動予定データ484(行動予定表)は、人格DB34が格納する行動予定データ344と同様のデータであり、ユーザUの今後の予定に関するデータを含む。自動二輪車4はサーバ3から行動予定データ344をダウンロードして人格DB48に記憶する。このため、装置側制御部46は、最新の行動予定データ484を参照できる。
 感情検出履歴データ485(感情蓄積部)は、ユーザUについて感情を推定し、検出した履歴のデータであって、装置側制御部46がサーバ3からダウンロードする。感情検出履歴データ485は、自動二輪車4において装置側制御部46がユーザUの感情を推定した履歴のデータを含む。さらに、感情推定システム1の他の装置(四輪車11、炊飯器12、掃除機13、テレビ受像機14、冷蔵庫15)がユーザUの感情を推定した履歴を含む。
 感情検出DB486は、ユーザUの感情に関わる検出値として利用可能な各種データを含む。感情検出DB486は、人格DB34が記憶する感情検出DB346と同様のデータを含む。感情検出DB486は、装置側制御部46がサーバ3からダウンロードして、人格DB48に記憶してもよい。
 会話DB487は、装置側制御部46が会話用のアルゴリズムを利用してユーザUと会話を実行する場合に用いるデータを含み、例えば、人格DB34が記憶する会話DB347と同様のデータを含む。
 対応動作テーブル488は、ユーザUの感情に対応して実行する動作を定めるテーブル形式のデータである。対応動作テーブル488は、ユーザUの感情に関するデータと、ユーザUの感情を抑制し、或いは穏やかにするように、ユーザUに働きかける動作を定めるデータとが含まれる。特に、対応動作テーブル488は、ユーザUの感情に対応して自動二輪車4が実行する動作を定めるテーブルであり、四輪車11、炊飯器12などの他の装置が実行する動作に関するデータを含まない構成であってもよい。例えば、装置側制御部46は、人格DB34が格納する対応動作テーブル348のうち、自動二輪車4の動作に係るデータのみをダウンロードして、対応動作テーブル488として記憶してもよい。
 コンシェルジュ人格489は、上述したように、ユーザUの感情に対応して。ユーザUの感情を所定の方向に仕向ける制御を行う人工知能であり、具体的には、アルゴリズムを実行するためのプログラム、及び上記プログラムで処理されるデータを含む。
 装置側制御部46は、人格DB48が記憶するパーソナル人格482、及び、コンシェルジュ人格489を実行することにより、人工知能の各種機能を実現する。装置側制御部46は、通信制御部461、外部センサ制御部462、車両センサ制御部463、感情検出部464、走行状態調整部465、会話実行部466、出力制御部467、ベース人格形成部468、感情変化原因推定部469、及び、動作制御部470を有する。このうち、少なくとも感情検出部464、ベース人格形成部468、および感情変化原因推定部469は、パーソナル人格482を実行することにより実現される機能である。また、動作制御部470は、コンシェルジュ人格489を実行することにより実現される機能である。走行状態調整部465、及び、会話実行部466は、コンシェルジュ人格489に関連して実現される機能である。他の機能は、装置側制御部46が使用するプロセッサが、パーソナル人格482とは異なるプログラムを実行して構成されてもよい。
 通信制御部461は、通信部47を制御して通信ネットワーク2を介したデータ通信を実行する。通信制御部461は、サーバ3に対して認証用の情報を送信する動作、サーバ3から人格DB34に含まれるデータをダウンロードする動作等を実行する。また、通信制御部461は、無線通信部497を制御して、各種の装置との間でデータ通信を実行しても良い。
 外部センサ制御部462は、外部センサ49の各部を制御して検出値を取得する。具体的には、外部センサ制御部462は、マイク492、カメラ494、Gセンサ495、およびGPS受信部496の検出値や検出結果を取得する。
 車両センサ制御部463は、ECU41の制御下にあるセンサ部43に含まれる各センサの検出値を、ECU41から取得する。これにより、装置側制御部46が実行する人工知能が、センサ部43が検出する検出値を利用できる。
 感情検出部464(運転傾向判定部)は、ユーザUの感情を推定する。感情検出部464は上述したパーソナル人格482の機能である。感情検出部464は、マイク492が集音したユーザUの音声、および、カメラ494の撮像画像から、ユーザUの感情を検出する。また、感情検出部464は、感情検出履歴データ485を参照し、過去に検出されたユーザUの感情や、直前に検出されたユーザUの感情に関するデータを取得し、感情検出に用いることもできる。この場合は、他の装置が検出したユーザUの感情に関するデータを用いることもできる。また、感情検出履歴データ485は、行動予定データ484を参照し、未来のユーザUの予定を加味してユーザUの感情を検出することもできる。本実施形態では、パーソナル人格482が感情検出部464の機能を有するものとして説明するが、感情検出部464がコンシェルジュ人格489により実現される機能であってもよい。
 感情検出部464は、機械学習によって得られたアルゴリズムを用いて、ユーザUの感情を推定する。この機械学習は、上述したように訓練データを用いて行われる、いわゆる教師あり学習である。感情検出部464は上記アルゴリズムに基づき、ユーザUの音声、表情、及び行動の入力を受け、ユーザUの感情の分類を、及び感情の度合いを出力する。なお、感情の分類は、あくまでも例示であり、必要に応じて適宜に変更してもよい。感情検出部464には、機械学習で得たアルゴリズムを用いた推定に代えて、既存の任意の感情認識技術を用いることもできる。
 ここで、感情検出部464は、外部センサ制御部462が取得する外部センサ49の検出結果、車両センサ制御部463が取得するセンサ部43の検出結果、及び、感情検出履歴データ485に含まれる履歴のデータから、直接感情を検出するものに限らない。例えば、感情検出部464は、センサ部43及び外部センサ49の検出結果と感情検出履歴データ485のデータに基づきユーザUの感情または感情の動きをシミュレート(模倣)することにより、ユーザUの感情を推定、或いは検出してもよい。
 そして、感情検出部464は、ユーザUの感情を推定した結果に、さらに、ベース人格483を加味して、ユーザUの感情を検出する。感情検出部464は、推定したユーザUの感情とベース人格483の感情とを比較し、ユーザUの感情を特定する。感情検出部464が、ユーザUの感情を、ベース人格483の感情と比較して得る結果を、感情属性と呼ぶ。
 さらに、本実施形態の感情検出部464は、ユーザUが自動二輪車4を運転する際の操作の態様を、ユーザUの感情を検出するパラメータとして用いる。
 図5は、感情検出部464がユーザUの感情を検出する場合のパラメータを設定する感情検出設定データ401の構成例を示す模式図である。感情検出設定データ401は、例えば、パーソナル人格482またはコンシェルジュ人格489に係るデータの1つとして人格DB48に記憶される。また、図6は、パーソナル人格482及びベース人格483の関係を示す説明図である。
 例えば、ユーザUが、「悲しみ」の感情を抱くことが多い人物、或いは性格であると仮定する。このようなユーザUは、「悲しみ」の感情を抱くことが日常的であり、ユーザU自身にとっては通常の状態である。いわば、ユーザUの感情は特に「悲しみ」を意識するような状態ではなく、感情は「平穏」であるということもできる。これに対し、「悲しみ」の感情を抱くことが極めて希なユーザUが、「悲しみ」の感情を抱いた場合、非日常的であり、ユーザU自身にとっては非常に珍しい状態である。このように、ユーザUの感情として「悲しみ」が検出された場合の重要度は、ユーザUの感情の傾向や性質により異なる。
 感情検出部464は、ベース人格483の感情を参照することで、ビッグデータ21から得られるユーザUの人格像が抱く感情を得て、この感情と、推定したユーザUの感情とを比較する。これにより、ユーザU自身にとって、どのような感情であるかを、高精度で推定し、検出できる。
 図5の感情検出設定データ401では、感情検出部464がユーザUの感情を検出する場合に取得するデータ、すなわち検出値として、音声、スロットル開度、ブレーキ操作量、Gセンサ495の検出値、カメラ494の撮像画像、等が設定される。音声は、マイク492が検出する音声である。感情検出部464は、マイク492が検出する音声について、会話内容、独り言の頻度や回数、独り言の内容等を感情検出のパラメータとして利用する。また、スロットル開度はスロットルセンサ433の検出値であり、感情検出部464は、スロットル開度の変化を感情検出のパラメータとして利用する。ブレーキ操作量はブレーキセンサ435の検出値である。例えば、ユーザUが「怒り」の感情を抱いている場合に、スロットルやブレーキの操作が乱暴になり、スロットルセンサ433、ブレーキセンサ435の検出値が急峻に変化する。また、自動二輪車4の車体の挙動が不安定化することもあり、GPS受信部496の検出値の変化が急峻になる。このような変化を、ユーザUの感情の検出に利用できる。感情検出設定データ401に設定される検出値、およびパラメータは、ベース人格483の感情の検出にも利用できる。
 図6には、ユーザUの感情の変化を図表として示す。図6の図表では縦軸を感情軸とし、横軸を時間の経過とする。縦軸の感情はどのような感情でもよいが、図6では一例として、「怒」(感情E1)-「穏」(感情E2)の軸を示す。縦軸上の点Nは、感情が中性の状態を示す中性点であり、ユーザUの感情が中性点Nであれば、「怒」と「穏」の対比においては中立した感情である。
 図6にはベース人格483の感情を曲線BaCで示す。図6の曲線BaCは直線に見えるが曲線であってもよい。また、パーソナル人格482の感情を曲線PeCで示す。パーソナル人格482は、ユーザUの感情を模倣するように変化するので、曲線PeCはユーザUの感情の変化を示している(或いは、シミュレートしている)ということもできる。
 曲線BaCと縦軸および横軸の比較から明らかなように、図6の例ではユーザUの通常の感情であるベース人格483は、中性点Nよりも「怒」に偏った位置にある。従って、例えば点P1では、曲線PeCが示すパーソナル人格482の感情は、中性点Nよりも「怒」に偏った位置にあり、曲線BaCに重なる。つまり、点P1では、パーソナル人格482の感情が、「いつものユーザUの感情」であるベース人格483と一致する。この場合、感情は「怒」に偏っているが、ユーザUは冷静で落ち着いた状態であるといえる。
 図6の点P2では、曲線PeCは、曲線BaCよりも「怒」に大きく偏った位置にある。この場合、動作制御部470は、点P2の感情を、曲線BaCの感情に近づけるように、自動二輪車4の動作を実行させる。具体的には、動作制御部470は、走行状態調整部465、会話実行部466、及び出力制御部467を制御して、各種動作を実行させる。
 また、図6の点P2においてはパーソナル人格482の感情とベース人格483の感情との間に、縦軸方向に差があるが、この差を感情属性ということができる。
 動作制御部470は、パーソナル人格482の感情をベース人格483の感情に近づける動作を実行する基準として、基準範囲ERを有する。図6の例では、基準範囲ERは、感情軸においてベース人格483の感情からプラス方向、及び、マイナス方向に所定の幅を持つように設定される。基準範囲ERのプラス方向の幅、及び、マイナス方向の幅は、それぞれ独立して設定されても良いし、ベース人格483の感情を中心とするように設定されてもよい。また、基準範囲ERの大きさは、感情検出部464が検出する感情の種類ごとに設定されてもよい。例えば、感情軸におけるベース人格483の感情を基準に、プラス方向に所定%、マイナス方向に所定%と設定できる。
 パーソナル人格482の感情が、ベース人格483の感情から、基準範囲ERを超える程度に乖離した場合に、動作制御部470は、パーソナル人格482の感情に所定以上の変化があった場合に該当すると判定する。すなわち、基準範囲ERの大きさは、パーソナル人格482の感情の変化を判定する基準となる、所定の範囲といえる。
 基準範囲ERの大きさはユーザUごとに異なる。例えば、感情の起伏や感情の変化が少ない、大きいなどのベース人格483の特性に基づき、基準範囲ERの大きさが決定される。基準範囲ERの大きさは、例えば、感情検出部464または動作制御部470が決定してもよい。このように基準範囲ERを設定することで、感情検出部464が検出した感情がベース人格483の感情から離れている場合に、動作制御部470が動作を実行する基準が明確になる。このため、動作制御部470がユーザUに対して行う働きかけの頻度を、適切な程度に抑えることができ、ユーザUの感情に対し過度に干渉する事態を回避できる。これにより、ユーザUに、動作制御部470の制御を煩わしく感じさせることなく、ユーザUの感情を効果的に誘導して静穏化させ、ユーザUが快適に、安定して自動二輪車4を運転できるようにする。
 図4に戻り、動作制御部470は、感情検出部464が検出するユーザUの感情に基づき、ユーザUの感情に働きかける動作を実行する。動作制御部470は、走行状態調整部465を制御して、動作部44の各部を動作させる。また、動作制御部470は、会話実行部466を制御して、ユーザUとの間の会話を実行させる。また、動作制御部470は、出力制御部467を制御して、走行状態調整部465及び会話実行部466とは異なる動作を実行させる。動作制御部470が、走行状態調整部465、会話実行部466及び出力制御部467に実行させる動作は、後述する対応動作テーブル488に設定されている。
 走行状態調整部465は、後述する動作制御部470の制御に従って、動作部44を動作させる。
 会話実行部466は、動作制御部470の制御に従って、ユーザUとの間で音声による会話を実行する。会話実行部466は、人工知能が有する会話のアルゴリズムに従って、マイク492とスピーカ493を制御し、音声による会話を行う。ここで、会話実行部466は、会話DB487を参照し、ユーザUが発する音声の認識や、ユーザUに対して発話する語や文の選択あるいは構築を行ってもよい。
 出力制御部467は、動作制御部470の制御に従って、走行状態調整部465および会話実行部466が実行する動作以外の動作を実行する。
 ベース人格形成部468は、ベース人格483を形成する。
 感情変化原因推定部469は、感情検出部464が検出したユーザUの感情が大きく変化した場合に、感情の変化を招いた要因を推定する。感情検出部464は、設定された時間毎、或いは、外部要因により定まるタイミングに従い、ユーザUの感情を検出する。感情変化原因推定部469は、感情検出部464が検出するユーザUの感情と、それ以前、特にその直前に感情検出部464または他の装置が検出した感情との差を求める。感情検出部464が過去に検出した感情や、他の装置が過去に検出した感情に関するデータは感情検出履歴データ485に含まれる。ユーザUの感情を変化させる要因は様々であるが、本実施形態の感情変化原因推定部469は、行動予定データ484に含まれるユーザUの予定に関するデータから、感情変化の要因となった予定を探す。
 図7は、対応動作テーブル488の構成例を示す模式図である。図8は、対応動作テーブル488aの構成例を示す模式図である。対応動作テーブル488aは、図7の対応動作テーブル488の一部を構成する。
 上述のように、ユーザUの感情に対応して感情推定システム1の各装置が実行する動作は、装置によって異なる。図7および図8に示す対応動作テーブル488aは自動二輪車4の動作について設定される例を示す。対応動作テーブル488には、感情検出部464が検出したユーザUの感情に対応付けて、装置側制御部46が実行する動作が設定される。
 図7の例では、対応動作テーブル488に設定される動作は3種類ある。すなわち、ユーザUの感情が通常である場合に実行される動作と、ユーザUの感情を静穏化させるために実行される動作と、ユーザUの感情が運転に影響あると判定された場合の動作である。
 ユーザUの感情を静穏化するとは、ユーザUの感情を、平常のユーザUの感情に戻す、或いは近づけることを指す。具体的には、図6に示したように、パーソナル人格482の感情すなわちユーザUの感情を、ベース人格483の感情に戻す又は近づけることをいう。別の表現では沈静化、抑制、等ということもできる。
 図7の例で、ユーザUの感情が「怒り」の場合の感情静穏化用の動作である「動作A-2」は、ユーザUの怒りを抑えて冷静にさせるよう働きかける動作である。ユーザUの感情が「悲しい」の場合の感情静穏化用の動作である「動作S-2」は、ユーザUを元気付けるよう働きかける動作である。
 また、運転に影響がある感情は、例えば、怒る、心配、哀しい(悲しい)、不安、が挙げられる。これらの感情を感情検出部464が検出した場合に装置側制御部46が実行する動作は、ユーザUの感情を静穏化し、穏やかにするように、ユーザUに働きかける動作である。ユーザUの感情の静穏化とは、ユーザUの感情を、平常のユーザUの感情に戻す、或いは近づけることを指し、具体的にはベース人格483の感情に戻す又は近づけることをいう。別の表現では沈静化、抑制、等といえる。
 図7の例では、対応動作テーブル488において、ユーザUの感情が「怒り」の場合の運転用の動作である「動作A-3」、および、ユーザUの感情が「悲しい」の場合の運転用の動作である「動作S-3」は、ユーザUの感情を静穏化するための動作である。
 ここで、運転に影響があると判定されない感情について、対応動作テーブル488に設定される動作は、何も動作をしないことであってもよい。例えば、ユーザUの感情が「つまらない」の場合や「疲れ」の場合に対応付けて設定される運転用の動作は、何もなくてもよい。また、ユーザUが運転に集中することを支援する動作が設定されてもよい。例えば、ユーザUの感情が「つまらない」の場合や「疲れ」の場合に対応する運転用の動作として、ユーザUを退屈させず運転に集中するよう促す動作が設定されてもよい。
 図8は、対応動作テーブル488において設定される動作の内容の一例を示す図である。図8には、例として、図7の対応動作テーブル488に例示した「動作A-2」の具体的な内容の例を示す。図8に設定される内容は、例えば。対応動作テーブル488に付随する対応動作テーブル488aとして、人格DB48が記憶してもよい。
 動作A-2は、ユーザUの感情が「怒り」である場合に、ユーザUの感情を静穏化するようにユーザUに働きかける動作である。動作の種類は、「動作詳細」に設定される。すなわち、装置側制御部46は、自動二輪車4のエンジン出力、トルクコントロール、スロットル開度制限、ABS(Antilock Brake System)、サスペンションセッティング、メーターパネル表示、音声、等の各項目の動作を行う。これらの動作は走行状態調整部465の制御により実行される。
 対応動作テーブル488、488aに設定される各種動作は、動作制御部470の制御により実行される。動作制御部470は、対応動作テーブル488、488aに従って走行状態調整部465を制御することにより、動作部44による動作を行う。また、動作制御部470は、対応動作テーブル488、488aに従って会話実行部466を制御することにより、音声による会話を行う。動作制御部470は、対応動作テーブル488、488aに従って出力制御部467を制御することにより、動作部44の動作及び会話以外の動作を行うことができる。
 エンジン出力の制御について、走行状態調整部465は、スロットル制御部412が使用するスロットル装置制御パラメータ、燃料噴射制御部413が使用する燃料噴射マップ、点火制御部414が使用する点火時期パラメータを調整する。図8の例では、スロットル装置制御パラメータを、スロットル操作に対応するスロットル開度が低くなるよう調整し、燃料噴射マップおよび点火時期パラメータを、スロットル操作に対応するエンジン出力が低くなるよう調整する。これらのパラメータやマップは、ECU41が内蔵するROM(図示略)等の記憶装置に記憶される。走行状態調整部465は、上記の各パラメータやマップを、予め用意された別のパラメータやマップに切り替える。
 トルクコントロールについて、走行状態調整部465は、燃料噴射制御部413が使用する燃料噴射マップ、および、点火制御部414が使用する点火時期パラメータを調整する。これにより、燃料噴射マップおよび点火時期パラメータが、出力トルクが低くなるよう調整される。スロットル開度制限に関し、走行状態調整部465は、スロットル制御部412が使用するスロットル装置制御パラメータを調整して、スロットル装置441がスロットルバルブを開く開度の上限を、例えば通常位置より低くする。ABSについて、走行状態調整部465は、ブレーキ制御部415が使用するブレーキ制御パラメータを調整して、ABSの作動条件を変更する。これにより、例えば、ABSが、通常時よりも高速度から作動するようになる。サスペンションセッティングについて、走行状態調整部465は、サスペンション制御部416が使用するサスペンションセッティング調整用のパラメータを調整する。例えば、自動二輪車4のサスペンション調整部447がアクティブサスペンションやセミアクティブサスペンションを搭載している場合、サスペンション制御部416の制御により走行中や停車中に減衰力や車高等のサスペンションセッティングが調整される。走行状態調整部465は、サスペンション制御部416が使用するパラメータを調整し、例えば、サスペンション制御部416が乗り心地を重視したセッティングを行うようにする。
 メーターパネル表示について、走行状態調整部465は、表示制御部418が使用するデータを調整し、メーターパネル448の表示を、ユーザUをリラックスさせる効果が期待できる色に変更する。
 音声に関する動作は会話実行部466が実行する。会話実行部466は、会話DB487を参照して、マイク492およびスピーカ493を用いてユーザUと音声による会話を実行し、ユーザUをリラックスさせる効果が期待できる会話を行う。会話実行部466は、例えば、スピーカ493から出力する声の高さ、声色、話す速さ、ユーザUの音声に対する応答時間、等を調整する。
 対応動作テーブル488は、図8に例示した動作A-2に限らず、図7の例を含む各動作について、走行状態調整部465、会話実行部466および出力制御部467が実行する動作の内容を詳細に定める情報を含む。
 続いて、感情推定システム1の動作についてフローチャートを参照して説明する。
 図9は、感情推定システム1の動作を示すフローチャートであり、特に、ビッグデータ21をアップロードする際の感情推定システム1の各装置の動作を示す。
 図9の動作は、自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および冷蔵庫15の各装置が実行可能である。
 自動二輪車4においては、装置側制御部46が図9の動作を実行する。この場合、外部センサ制御部462および車両センサ制御部463が、自動二輪車4の各種センサの検出値を取得する(ステップS11)。ステップS11で検出される検出値は、マイク492、カメラ494、Gセンサ495、およびGPS受信部496から外部センサ制御部462が検出する検出値を含む。また、車両センサ制御部463によって、センサ部43に含まれる各センサの検出値を含む。
 通信制御部461は、外部センサ制御部462および車両センサ制御部463が取得した検出値をアップロードする基準に達したか否かを判定する(ステップS12)。アップロードの基準は、例えば、予め設定された時間が経過する毎、ステップS11で取得した検出値の数、設定された特定のセンサの検出値を取得する毎、等とすることができる。アップロードの基準に達しない場合(ステップS12;NO)、通信制御部461はステップS11に戻り、外部センサ制御部462および車両センサ制御部463が検出値を取得する。アップロードの基準に達した場合(ステップS12;YES)、通信制御部461は、通信部47によりサーバ3に対して接続要求と認証情報を送信し(ステップS13)、認証に成功した後に、ステップS11で取得した検出値をサーバ3に送信する。
 図10は、サーバ3の動作を示すフローチャートである。図10の動作は、図9の動作を実行する装置から送信される検出値の受信に係る動作を示す。
 サーバ側制御部31は、通信部38によって自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14および冷蔵庫15のいずれかから接続要求を受信した場合に、接続要求とともに認証情報を受信して、認証処理部313により認証を行う(ステップS21)。ステップS21で、認証処理部313は、通信部38により受信した認証情報を、認証情報記憶部36が記憶する認証情報361と照合することにより、認証を実行し、接続要求をした装置を特定する。
 サーバ側制御部31は、人格形成部311により、ステップS21で認証した装置に対応するパーソナル人格342を特定する(ステップS22)。続いて、サーバ側制御部31は、人格形成部311によって、ステップS21で認証に成功した装置から検出値を受信する(ステップS23)。サーバ側制御部31は、受信した検出値を人格DB34に登録して、人格DB34を更新する(ステップS24)。サーバ側制御部31は、ステップS23で受信した検出値を解析して、人格DB34に記憶する。例えば、サーバ側制御部31は、ユーザUの予定に関するデータを検出値から抽出して、行動予定データ344を更新する。
 サーバ側制御部31は、ステップS24で検出値を人格DB34に登録したことにより、パーソナル人格342の学習を行う基準に達したか否かを判定する(ステップS25)。学習を行う基準は、例えば、予め設定された時間が経過する毎、ステップS24で人格DB34に登録した検出値の数、等とすることができる。
 学習を行う基準に達していない場合(ステップS25;NO)、サーバ3は本処理を終了する。
 学習を行う基準に達した場合(ステップS25;YES)、サーバ側制御部31は、パーソナル人格実行部32によりパーソナル人格342を実行し、パーソナル人格342が備える機械学習の機能によって、ステップS24で人格DB34に登録された検出値に基づく学習を実行する(ステップS26)。この学習により、パーソナル人格342のアルゴリズムやパラメータが更新される(ステップS27)。その後、サーバ3は、感情推定システム1を構成する各装置に対して、パーソナル人格342が更新されたことを通知し(ステップS28)、本処理を終了する。
 なお、図10のステップS26で実行されるパーソナル人格342の学習を、サーバ3以外の装置で実行することも勿論可能である。例えば、自動二輪車4が、装置側制御部46によって、センサ部43及び/又は外部センサ49で検出した検出値に基づいて、パーソナル人格482の学習を実行してもよい。この場合、自動二輪車4は、学習した後のパーソナル人格482をサーバ3に送信してもよく、このときに、学習に用いた各種の検出値をビッグデータ21としてサーバ3に送信してもよい。
 図11は、感情推定システム1の動作を示すフローチャートであり、特に、感情推定システム1を構成する装置においてベース人格を形成する動作を示す。ここでは、自動二輪車4が、ベース人格483を形成する処理を示す。
 装置側制御部46が備えるベース人格形成部468は、感情検出履歴データ485を参照して、感情検出部464が過去にユーザUの感情を検出した履歴を取得する(ステップS31)。
 ベース人格形成部468は、ステップS31で取得した履歴に基づいてユーザUの感情の傾向を判定し(ステップS32)、判定した傾向を反映したベース人格483を生成する(ステップS33)。
 ベース人格形成部468は、ステップS33で生成したベース人格483に係るデータを生成市、人格DB48に登録する(ステップS34)。
 ベース人格483は、ユーザUの感情をシミュレートするプログラム、或いは、ユーザUの感情の傾向を示すデータであってもよい。また、ベース人格483が人工知能である場合、ステップS33では、基本的な人工知能のアルゴリズムを含むプログラムをベース人格形成部468が実行し、この人工知能のアルゴリズムがステップS32で取得された履歴のデータを機械学習することにより、ユーザUに適したベース人格483を形成する。この場合、ステップS33では、機械学習により新たなアルゴリズムが獲得され、ステップS34では獲得されたアルゴリズムを含むプログラムおよびデータが人格DB48に記憶される。
 ベース人格形成部468は、図11の動作を、ベース人格483が形成された後で、所定の条件に従って繰り返し実行してもよい。例えば、装置側制御部46がサーバ3に検出値を送信する毎に、行ってもよい。
 このようにして生成されるベース人格483は、自動二輪車4が人格DB48に格納するだけでなく、自動二輪車4からサーバ3に送信してもよい。すなわち、図9で説明した動作において、検出値とともに、ベース人格483を送信してもよい。この場合、サーバ側制御部31は、図10に示す動作において、検出値とともにベース人格483を受信し、人格DB34に記憶するベース人格343を更新してもよい。そして、サーバ側制御部31が更新したベース人格343が更新されたことを感情推定システム1の他の装置に通知して、他の装置が、更新されたベース人格343をダウンロードしてもよい。この場合、特定のユーザUに関わる複数の装置が、ベース人格343を共有できる。また、それぞれの装置においてベース人格343が学習を行った場合に、学習により更新されたベース人格343が、再び人格DB34にアップロードされ、他の装置に配信される構成であってもよい。
 また、サーバ3が、図11に示す動作を行ってもよい。この場合、サーバ3のサーバ側制御部31は、図10の動作でパーソナル人格342を更新する毎、或いは、ビッグデータ21に新たなデータが追加される毎に、図11の動作を行ってもよい。この場合、サーバ3は、更新したベース人格343を感情推定システム1の各装置に送信してもよいし、図10のステップS28と同様に、ベース人格343の更新を通知してもよい。また、サーバ3及び自動二輪車4以外の装置において図11の動作を実行してもよい。
 図12は、感情推定システム1の動作を示すフローチャートであり、感情推定システム1を構成する各装置が実行する動作を示す。図13は、サーバ3の動作を示すフローチャートである。また、図14は、図12のステップS45の動作を詳細に示すフローチャートである。
 図12、図13および図14は、感情推定システム1を構成する各装置がサーバ3から人格DB34をダウンロードし、感情検出の履歴をアップロードする動作を示す。図12および図14の動作を実行する主体は、感情推定システム1においてサーバ3を除く、どの装置であってもよく、ここでは自動二輪車4が実行する例を説明する。
 図12の動作は、ユーザUが自動二輪車4を使用している状態で実行可能となる。装置側制御部46は、ユーザUによるサインインの要求を検出する(ステップS41)。サインインの要求の具体的態様は、例えば、ユーザUが音声で、サインインを指示することに相当する。通信制御部461は、接続要求と認証情報とを、通信部47によってサーバ3に送信し(ステップS42)、これによりサーバ3が認証を実行する。
 認証に成功した後、通信制御部461は、サーバ3から、人格DB34をダウンロードする(ステップS43)。ステップS43では、人格DB34に含まれる一部のプログラムやデータのみをダウンロードしてもよい。また、過去に人格DB34をダウンロードして人格DB48に格納したことがある場合、ステップS43では、人格DB48と人格DB34との差分のみをダウンロードしてもよい。
 装置側制御部46は、ダウンロードしたパーソナル人格482の実行を開始する(ステップS44)。ステップS44で、パーソナル人格482を実行することにより、ユーザUの感情を検出可能となる。また、装置側制御部46は、ステップS44で、動作制御部470の実行を開始する。これにより、自動二輪車4が、ユーザUに対するコンシェルジュ機能を含む人工知能として機能する。
 装置側制御部46は、感情検出部464の機能により、ユーザUの感情を検出する感情検出処理を実行する(ステップS45)。感情検出処理の詳細は、図14を参照して後述するが、概要は、感情検出部464がユーザUの感情を検出し、この感情に対応して動作制御部470が走行状態調整部465、会話実行部466および出力制御部467を制御して、ユーザUの感情に働きかける動作を実行する。また、感情検出処理では、感情検出部464がユーザUの感情を検出した結果に基づき感情検出履歴データ485が更新される。
 装置側制御部46は、ユーザUによるサインアウトの要求を検出する(ステップS46)。ユーザUは、サインアウトを行っても自動二輪車4の運転操作を行うことは可能であるが、サインアウトするとパーソナル人格22によるコンシェルジュ機能が実行されなくなる。サインアウトの要求の具体的態様は、例えば、ユーザUが音声で、サインアウトを指示することに相当する。
 サインアウトの要求がなされたことを検出していない場合(ステップS46;NO)、装置側制御部46はステップS45の感情検出処理を所定時間毎に実行する。
 サインアウトの要求がなされたことを検出した場合(ステップS46;YES)、装置側制御部46は、通信制御部461によって、感情検出履歴データ485を含む各種データをサーバ3にアップロードする(ステップS47)。その後、通信制御部461は、切断要求をサーバ3に送信し、サーバ3との通信を終了する(ステップS48)。
 サーバ3は、図13の動作を実行する。
 サーバ側制御部31は、通信部38によって自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14および冷蔵庫15のいずれかから接続要求を受信した場合に、接続要求とともに認証情報を受信して、認証処理部313により認証を行う(ステップS51)。ステップS51で、認証処理部313は、認証情報361により認証を実行し、接続要求をした装置を特定する。ここでは、自動二輪車4が接続要求をした例を説明する。
 サーバ側制御部31は、自動二輪車4に対して、人格DB34に含まれるプログラムおよびデータをダウンロードさせる(ステップS52)。ここで、自動二輪車4から、人格DB34の一部のプログラムおよび/またはデータが要求された場合、サーバ側制御部31は要求に従ってプログラムおよび/またはデータを送信する。
 サーバ側制御部31は、自動二輪車4から切断要求を受信したか否かを判定し(ステップS53)、切断要求を受信しない間は(ステップS53;NO)、待機する。切断要求を受信した場合(ステップS53;YES)、サーバ側制御部31は、自動二輪車4が送信する感情検出履歴データ485を受信し(ステップS54)、その後に自動二輪車4との通信(セッション)を切断する処理を行う(ステップS55)。サーバ側制御部31は、ステップS54で受信した感情検出履歴データ485に含まれるデータを、人格DB34の感情検出履歴データ345に含めて記憶することにより、人格DB34を更新する(ステップS56)。
 ここで、サーバ側制御部31は、更新された感情検出履歴データ485に基づきパーソナル人格22を更新できる。すなわち、パーソナル人格実行部32によってパーソナル人格342を実行し、パーソナル人格342の機械学習の機能によって、更新された感情検出履歴データ345に基づき学習を行う(ステップS57)。パーソナル人格実行部32は、学習によって新たに獲得したアルゴリズムを含むパーソナル人格342を人格DB34に記憶させる(ステップS58)。ステップS58で、パーソナル人格実行部32は、更新されたパーソナル人格342の機能によって、ベース人格343を更新してもよい。
 サーバ側制御部31は、感情推定システム1を構成する各装置に対して、パーソナル人格342が更新されたことを通知し(ステップS59)、本処理を終了する。
 また、サーバ側制御部31は、パーソナル人格22の更新とともに、コンシェルジュ人格23を更新してもよい。
 また、図14において、感情検出部464は、外部センサ制御部462および車両センサ制御部463によって検出値を取得する(ステップS61)。感情検出部464は、取得した検出値に基づいて、ユーザUの感情の検出を実行する(ステップS62)。例えば、感情検出部464は、外部センサ制御部462及び車両センサ制御部463により取得した検出値を、パーソナル人格482に与えて、パーソナル人格482の感情または感情の変化を検出する。パーソナル人格482の感情はユーザUの感情を模しているので、感情検出部464は、パーソナル人格482の感情を検出することによって、ユーザUの感情を推定することができる。感情検出部464は、人格DB48のベース人格483を実行して、ベース人格483の感情を取得する(ステップS63)。
 感情検出部464は、ステップS62で検出したユーザUの感情と、ステップS63で取得したベース人格483の感情とを比較することにより、感情属性を検出する(ステップS64)。ステップS64の動作は、例えば図6を参照して説明した通りである。感情属性は、平常時のユーザUの感情を加味して補正したユーザUの感情である。平常時のユーザUの感情は、ベース人格483の感情として推定できる。
 感情検出部464は、ステップS64で検出した感情属性を、ユーザUの感情を検出した結果として確定する(ステップS65)。
 ここで、装置側制御部46は、感情変化原因推定部469によって、感情検出部464が検出したユーザUの感情の変化を判定する(ステップS66)。ステップS66で、感情変化原因推定部469は、ユーザUの感情の判定結果と、それ以前、すなわち過去に検出された感情の判定結果とを比較して、設定された閾値を超える感情の変化があったか否かを判定する。ここで、感情変化原因推定部469は、感情検出部464が検出し確定した感情の検出結果と、その直前に判定されたユーザUの感情とを比較することが好ましい。感情検出部464により検出されたユーザUの感情の検出結果は、感情検出履歴データ485から取得できる。
 閾値を超える感情の変化があったと判定した場合(ステップS66;YES)、感情変化原因推定部469は、行動予定データ484を参照する(ステップS67)。感情変化原因推定部469は、行動予定データ484に含まれる予定のうち、ユーザUの今後の予定を抽出し、感情変化の要因となっている予定を推定する(ステップS68)。感情変化原因推定部469は、例えば、行動予定データ484に含まれる今後の予定のうち、需要度および/または緊急性が高い予定や、変更できる自由度が低い予定を、感情変化の原因として推定する。
 走行状態調整部465、会話実行部466および出力制御部467は、ステップS68で推定した原因と、ステップS65で確定されたユーザUの感情の検出結果とに基づき、ユーザUの感情がベース人格483の感情に近づくように、対応動作を実行する(ステップS69)。ここで実行される対応動作は、対応動作テーブル488に設定された動作である。これにより、自動二輪車4が、ユーザUの感情を静穏化するように働きかけを行うことができる。また、ユーザUの感情の変化の要因を推定し、この要因に対応するように働きかけを行うので、効果的にユーザUの感情を静穏化できる。また、ステップS68において、ユーザUの感情の変化の要因となり得る予定がない場合に、該当する予定がないことを前提に、ステップS69でユーザUへの働きかけを行ってもよい。
 また、閾値を超える感情の変化がないと判定した場合(ステップS66;NO)、走行状態調整部465、会話実行部466および出力制御部467は、ステップS65で確定されたユーザUの感情の検出結果に基づき、対応動作を実行する(ステップS70)。ここで実行される対応動作は、対応動作テーブル488に設定された動作である。その後、感情検出部464は、ステップS65で確定した検出結果を感情検出履歴データ485に登録する(ステップS71)。なお、ステップS69の動作の後に、ステップS71に移行してもよい。
 図15は、感情推定システム1を構成する装置の動作を示すフローチャートであり、運転者であるユーザUの感情が運転に支障を来さないようにユーザUを支援する動作を示す。図15の動作は、自動二輪車4および四輪車11が実行することが可能であり、ここでは自動二輪車4が実行する例を説明する。
 自動二輪車4は、ユーザUが自動二輪車4を運転する間に、図15の動作を実行する。図15の動作の開始時、自動二輪車4は装置側制御部46によりパーソナル人格482を実行している。
 装置側制御部46は、外部センサ制御部462および車両センサ制御部463により、自動二輪車4が備える各センサの検出値を取得する(ステップS81)。感情検出部464は、ステップS81で取得した検出値から運転傾向を判定する(ステップS82)。ステップS82で、感情検出部464は、ユーザUの運転傾向を、少なくとも、「のんびり運転」と「せっかち運転」とのどちらであるかを判定する。また、感情検出部464は、「のんびり運転」および「せっかち運転」のどちらにも該当しないと判定することもでき、さらに他の運転であると判定してもよい。感情検出部464は、外部センサ制御部462および車両センサ制御部463により取得した検出値をパーソナル人格482に与え、パーソナル人格482の感情を検出することで、「のんびり運転」と「せっかち運転」とを判定してもよい。
 感情検出部464は、感情検出履歴データ485を参照して、過去に判定されたユーザUの感情属性(特に、ステップS82の判定の直前に判定された感情属性)を取得する(ステップS83)。感情検出部464は、ステップS82の運転傾向の判定結果とステップS83で取得した感情属性とに基づき、ユーザUの感情が運転に与える影響の有無を判定する(ステップS84)。これにより、現在のユーザUの感情が、自動二輪車4の運転に影響がある感情か否かが判定される。
 感情検出部464が、ユーザUの感情が、運転に影響がある感情と判定した場合(ステップS85;YES)、動作制御部470が、対応動作テーブル488の設定に従って、走行状態調整部465、会話実行部466および出力制御部467を制御する(ステップS86)。これにより、ユーザUの感情を、運転に影響のない感情にするよう、自動二輪車4からユーザUに対し働きかけを行うことができる。その後、装置側制御部46は、ユーザUが運転操作を終了したか否かを判定し(ステップS87)、運転を終了した場合は(ステップS87;YES)、図15の動作を終了する。また、運転を継続する場合は(ステップS87;NO)、ステップS81に戻る。
 また、感情検出部464が、ユーザUの感情が運転に影響がある感情でないと判定した場合(ステップS85;NO)、装置側制御部46はステップS87に移行する。
 上記実施形態では、自動二輪車4が、ECU41、センサ部43および動作部44を含む走行用の機能部及ぶ動作部に加え、装置側制御部46、人格DB48および外部センサ49を備える構成を例示した。
 ここで、一般的な自動二輪車にスマートフォン等の携帯端末装置を組み合わせることで、自動二輪車4として動作させる構成例を示す。
 図16は、自動二輪車4の別の構成例として、自動二輪車40および携帯端末装置5を示す機能ブロック図である。
 自動二輪車40は、上述した自動二輪車4において、走行に必要な機能部および動作部を有する。具体的には、図16に示すように、自動二輪車40は、ECU41、センサ部43、および動作部44を備える。なお、図4に示した自動二輪車4と同様の構成部には同符号を付して説明を省略する。
 また、自動二輪車40は、無線通信部421を備える。無線通信部421は、少なくとも近距離無線通信プロトコルを利用した近距離通信を行う。例えば、無線通信部421は、Bluetooth、IrDA、RFID、IEEE 802.11(いわゆる無線LAN)などに対応する無線通信を行う。
 携帯端末装置5は、例えば、ユーザUが所有し、或いは使用するスマートフォンや携帯型電話機、タブレット型コンピュータ等の装置である。携帯端末装置5は、自動二輪車4(図4)と同様に装置側制御部46および人格DB48として機能するプロセッサと記憶装置とを備える。
 また、携帯端末装置5は、通信部511、マイク512、スピーカ513を備える。通信部511は、無線電話回線に接続して通信を実行し、この無線電話回線を経由して通信ネットワーク2に接続できる。マイク512は、ユーザUの音声を集音し、スピーカ513は装置側制御部46の制御に従って音声を出力する。スピーカ513はユーザUが耳に装着するイヤホンであってもよい。
 通信部511は、携帯端末装置5が携帯型電話機として或いはスマートフォンとして、通話やデータ通信を実行するために用いられる通信部であってもよい。マイク512およびスピーカ513は通話用の音声を入出力するものであってもよい。
 携帯端末装置5は、カメラ514、Gセンサ515、および、GPS受信部516を備える。これらは、図4に示したカメラ494、Gセンサ495、および、GPS受信部496と同様の構成とすることができる。
 携帯端末装置5は、無線通信部517を備える。無線通信部517は、無線通信部497(図4)と同様に構成され、少なくとも近距離無線通信プロトコルを利用した近距離通信を行う。例えば、無線通信部517は、Bluetooth、IrDA、RFID、IEEE 802.11(いわゆる無線LAN)などに対応する無線通信を行う。
 無線通信部517は、自動二輪車40が備える無線通信部421との間で、無線通信部517との間で無線通信を実行する。
 図16に示す構成は、無線通信部421と無線通信部517との間の無線通信により、自動二輪車40に、携帯端末装置5が備える装置側制御部46および人格DB48を接続した構成を実現する。従って、上記実施形態で説明した自動二輪車4と同様の機能および動作を、自動二輪車40が、携帯端末装置5とともに実行できる。
 ECU41は、センサ部43で検出した検出値等を無線通信部421により携帯端末装置5に送信する機能、および、無線通信部421で受信するデータに基づき動作部44を動作させる機能を有する。この点を除き、自動二輪車40は、一般的な自動二輪車の構成である。
 図16の構成では、自動二輪車40をベースに、ユーザUが使用する携帯端末装置5を組み合わせることで、自動二輪車4(図4)と同様に、人工知能によりユーザUを支援する装置を実現できる。
 以上説明したように、本発明を適用した実施の形態の感情推定装置である自動二輪車4は、通信ネットワーク2に接続されたユーザUに関わる複数の製品からのユーザUに関する情報により構成されるパーソナル人格482を備える。感情推定システム1では、パーソナル人格482によって、ベース人格483が形成される。また、自動二輪車4は、感情を検出する感情検出部464を備える。
 別の表現では、ユーザUが利用した複数製品から収集されたユーザ情報に基づく機械学習により形成されたパーソナル人格482を備える。パーソナル人格482を実行する装置側制御部46は、ベース人格483を形成する。装置側制御部46に限らず、例えばサーバ側制御部31がパーソナル人格342によりベース人格343を形成してもよい。そして、装置側制御部46は、ユーザU(U)の感情を検出する感情検出部464を備える。感情検出部464は、パーソナル人格482の機能として実装されてもよく、それ以外の機能であってもよい。
 これにより、複数の製品からの情報により構成されるパーソナル人格482によって、高精度で感情を検出できる。例えば、感情推定システム1は、ユーザUが使用する時間が異なる複数の製品である自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および冷蔵庫15を有する。感情推定システム1では、これら複数の装置からの情報を用いてパーソナル人格482を形成するので、パーソナル人格482は、ユーザUの特徴を高精度で反映した人格となる。従って、パーソナル人格482を利用してユーザUの感情を検出することで、単一の製品がユーザUの感情を推定する場合に比べ、より長い時間をかけて収集あるいは検出される情報を用いることになり、単一の製品から得られる情報をもとにする場合よりも高精度で感情を検出できる。また、特定の製品について、その製品がユーザUに関わる前の感情を検出することも可能となる。
 感情検出部464は、ベース人格483の感情と、パーソナル人格482の現時点の感情と、を比較し、感情属性を検出する。ベース人格の感情を基準とすることで、ユーザUの感情の傾向や特徴を加味して、より高い精度で、ユーザUの感情を検出できる。例えば、ユーザUの感情に、特定の感情が出やすい傾向がある場合に、その特定の感情を頻繁に検出してしまう状態を避けることができる。従って、個人の感情傾向に適合する基準を用いて、高精度で感情を検出できる。
 自動二輪車4は、感情検出部464が検出する感情に所定以上の変化があった場合に、ベース人格483の感情に仕向ける動作を制御する動作制御部470を備える。これにより、パーソナル人格482が、ユーザUの感情をベース人格483の感情に仕向ける動作を行い、ユーザUの感情の傾向や特徴を考慮してユーザUの感情に働きかけを行うことができる。これにより、例えば、ユーザUの感情を落ち着かせることができる。
 自動二輪車4は、感情検出部464により検出された感情を蓄積する感情検出履歴データ485と、ユーザUの行動予定を示す行動予定データ484と、を、更に備える。パーソナル人格482を実行する装置側制御部46は、感情変化原因推定部469を備える。感情変化原因推定部469は、ユーザUの感情に大きな変化があった場合に、少なくとも感情検出履歴データ485に蓄積された感情またはユーザUの行動予定データ484に示された今後の予定から、感情変化原因を推定する。これにより、ユーザUの感情を変化させた原因、或いは感情に影響を与えた原因を未来の予定から推定することができる。これにより、感情を変化させた原因、或いは感情に影響を与えた原因に対応して、ユーザUの感情に影響を与えるように対処をすることが可能となる。
 また、自動二輪車4は、感情変化原因推定部469が推定した原因を、感情検出履歴データ485に感情を蓄積する際に合わせて蓄積する。これにより、ユーザUの感情を変化させた原因、或いは感情に影響を与えた原因を蓄積することにより、ユーザUの感情の傾向と原因とに関するデータを収集できる。収集したデータは、例えば感情検出部464として機能するプロセッサ(コンピュータ)が学習するデータとして利用できる。
 また、動作制御部470は、感情変化原因推定部469で推定された原因に対応して、ベース人格483の感情に戻るように仕向ける動作を実行する。これにより、ユーザUの感情を変化させた原因、或いは感情に影響を与えた原因をもとに、より効果的に、ユーザUの感情に働きかけることができる。
 上記の実施形態では、感情推定システム1が複数の製品を備え、これら製品の1つは自動二輪車4、40である。自動二輪車4、40は感情検出部464により運転傾向を判定する。感情検出部464は、少なくとものんびり運転と、せっかち運転と、を判別する。ユーザUの運転がせっかち運転と判別された場合に、少なくとも直前の感情及び、ユーザUの行動予定データ484に示された行動予定とから、運転に影響がある感情かを否かを判断する。感情検出部464は、運転影響有と判断した場合に、動作制御部470は、運転影響がなくなるように仕向ける動作を行う。このように動作制御部470がユーザUに働きかけることにより、車両の運転に影響を与える要因の解消または軽減を図ることができる。
 ここで、運転に影響有の感情とは、怒る、心配、哀しい、不安のいずれかを含む。これにより、ユーザUの感情が怒る、心配、哀しい、不安等の感情であることを検出した場合に、これらの感情が運転に与える影響の解消または軽減を図ることができる。
 また、人工知能であるパーソナル人格482が複数の製品からの情報により構成されるので、パーソナル人格482によって高精度で感情を検出できる。
 また、パーソナル人格(482)は、自身(U)の感情または感情の変化を模倣し、感情検出部(464)はパーソナル人格(482)の感情を検出する。このため、パーソナル人格482の感情を検出することによって、ユーザUの感情または感情の変化を容易に検出できる。また、パーソナル人格482は複数の製品からの情報により構成されるので、自身の感情を、より高精度で検出できる。
 なお、上記実施の形態は本発明を適用した一態様を示すものであって、本発明は上記実施の形態に限定されるものではない。
 上記実施の形態では車両の一例として自動二輪車4、40を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、前輪または後輪を2つ備えた3輪の鞍乗り型車両、4輪以上を備えた鞍乗り型車両、及び、スクーターなどの鞍乗り型車両に適用可能である。また、自動二輪車4、40は、自動二輪車の一例を示したものであり、本発明を適用する自動二輪車を限定するものではない。例えば、自動二輪車4、40が備えるセンサはセンサ部43に限定されず、サスペンションのストローク量を検出するセンサを設けたり、サスペンションやブレーキに圧力センサを設けたり、車体の複数箇所に加速度センサを設けたりして、自動二輪車4の動きをより詳細に検出する構成であってもよい。また、センサ部43や動作部44の一部を備えていない自動二輪車にも適用できる。
 また、本発明を適用可能な装置として示した自動二輪車4、40、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および冷蔵庫15は一例であり、他の種類の装置に適用することも勿論可能である。
 また、図3、図4および図16に示した機能ブロックは、ハードウェアとソフトウェアとの協働により実現される機能的構成を示す。これら各装置の具体的な実装形態は、上記のブロック図に制限されない。従って、機能ブロック図における各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。また、プログラムされたハードウェアにより構成することも可能であり、その他、感情推定システム1の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
 1 感情推定システム
 2 通信ネットワーク
 3 サーバ
 4 自動二輪車(感情推定装置)
 5 携帯端末装置
 11 四輪車(感情推定装置)
 12 炊飯器(感情推定装置)
 13 掃除機(感情推定装置)
 14 テレビ受像機(感情推定装置)
 15 冷蔵庫(感情推定装置)
 21 ビッグデータ
 22 パーソナル人格
 23 コンシェルジュ人格
 31 サーバ側制御部
 32 パーソナル人格実行部
 40 自動二輪車(感情推定装置)
 46 装置側制御部
 48 人格DB
 464 感情検出部(運転傾向判定部)
 468 ベース人格形成部
 469 感情変化原因推定部
 470 動作制御部
 482 パーソナル人格
 483 ベース人格
 484 行動予定データ(行動予定表)
 485 感情検出履歴データ(感情蓄積部)
 489 コンシェルジュ人格

Claims (11)

  1.  通信ネットワーク(2)に接続された自身(U)に関わる複数製品(4,11,12,13,14,15)からの自身(U)に関する情報に基づいて構成されるパーソナル人格(482)を備え、
     前記パーソナル人格(482)によって、ベース人格(483)が形成され、
     感情を検出する感情検出部(464)を備えることを特徴とする感情推定装置。
  2.  前記感情検出部(464)は、前記ベース人格(483)の感情と、前記パーソナル人格(482)の現時点の感情と、を比較し、感情属性を検出することを特徴とする請求項1記載の感情推定装置。
  3.  前記感情検出部(464)が検出する感情に所定以上の変化があった場合に、前記ベース人格(483)の感情に仕向ける動作を制御する動作制御部(470)を備えることを特徴とする請求項1または2記載の感情推定装置。
  4.  前記感情検出部(464)により検出された感情を蓄積する感情蓄積部(485)と、
     自身(U)の行動予定を示す行動予定表(484)と、
     自身(U)の感情に大きな変化があった場合に、少なくとも前記感情蓄積部(485)に蓄積された感情または自身(U)の行動予定表(484)に示された今後の予定から、感情変化原因を推定する感情変化原因推定部(469)と、を備えることを特徴とする請求項3記載の感情推定装置。
  5.  前記感情変化原因推定部(469)が推定した原因を、前記感情蓄積部(485)に感情を蓄積する際に合わせて蓄積することを特徴とする請求項4記載の感情推定装置。
  6.  前記動作制御部(470)は、前記感情変化原因推定部(469)で推定された原因に対応して、前記ベース人格(483)の感情に仕向ける動作を制御することを特徴とする請求項4または5記載の感情推定装置。
  7.  前記製品(4,11,12,13,14,15)の1つは車両(4)であって、
     前記車両(4)は運転傾向を判定する運転傾向判定部(464)を備え、
     前記運転傾向判定部(464)は、少なくとものんびり運転と、せっかち運転と、を判別し、
     自身(U)の運転がせっかち運転と判別された場合に、少なくとも直前の感情及び、自身(U)の前記行動予定表(484)に示された行動予定とから、運転に影響がある感情かを否かを判断し、
     運転影響有と判断した場合に、前記動作制御部(470)は、運転影響がなくなるように仕向ける動作を行うことを特徴とする請求項6記載の感情推定装置。
  8.  前記運転に影響有の感情とは、怒る、心配、哀しい、不安のいずれかを含むことを特徴とする請求項7記載の感情推定装置。
  9.  前記パーソナル人格(482)は人工知能であることを特徴とする請求項1から8のいずれかに記載の感情推定装置。
  10.  前記パーソナル人格(482)は、自身(U)の感情または感情の変化を模倣し、前記感情検出部(464)は前記パーソナル人格(482)の感情を検出することを特徴とする請求項1から9のいずれかに記載の感情推定装置。
  11.  通信ネットワーク(2)に接続された車両(4)と、
     前記通信ネットワーク(2)に接続された自身(U)に関わる複数製品(11,12,13,14,15)と、
     前記複数製品(11,12,13,14,15)からの自身(U)に関する情報により構成されるパーソナル人格(482)と、を備え、
     前記パーソナル人格(482)によって、ベース人格(483)が形成され、
     感情を検出する感情検出部(464)を備え、
     前記車両が前記パーソナル人格(482)及び前記感情検出部(464)を備える
     ことを特徴とする感情推定システム。
PCT/JP2017/035631 2016-11-16 2017-09-29 感情推定装置、および、感情推定システム WO2018092436A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018551060A JP6736685B2 (ja) 2016-11-16 2017-09-29 感情推定装置、および、感情推定システム
CN201780066122.2A CN109906461B (zh) 2016-11-16 2017-09-29 情感估计装置和情感估计***
EP17871498.6A EP3525141B1 (en) 2016-11-16 2017-09-29 Emotion inference device and emotion inference system
US16/345,018 US11186290B2 (en) 2016-11-16 2017-09-29 Emotion inference device and emotion inference system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016223096 2016-11-16
JP2016-223096 2016-11-16

Publications (1)

Publication Number Publication Date
WO2018092436A1 true WO2018092436A1 (ja) 2018-05-24

Family

ID=62146112

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/035631 WO2018092436A1 (ja) 2016-11-16 2017-09-29 感情推定装置、および、感情推定システム

Country Status (5)

Country Link
US (1) US11186290B2 (ja)
EP (1) EP3525141B1 (ja)
JP (1) JP6736685B2 (ja)
CN (1) CN109906461B (ja)
WO (1) WO2018092436A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019169976A (ja) * 2019-06-09 2019-10-03 田村 昌和 ライブ配信者などをアシストするライブ配信サーバ、ライブ配信方法及びプログラム
JP2020017104A (ja) * 2018-07-26 2020-01-30 日本電信電話株式会社 学習装置、学習方法及びコンピュータプログラム
JP2020030535A (ja) * 2018-08-21 2020-02-27 Zホールディングス株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
WO2020202450A1 (ja) * 2019-04-01 2020-10-08 ヤマハ発動機株式会社 パーソナリティ分析方法、パーソナリティ分析装置、パーソナリティデータを用いる情報処理方法及びパーソナリティデータを用いる情報処理装置
JP6865896B1 (ja) * 2020-01-22 2021-04-28 三菱電機株式会社 不安要因特定装置、プログラム及び不安要因特定方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6639444B2 (ja) * 2017-06-07 2020-02-05 本田技研工業株式会社 情報提供装置及び情報提供方法
US20190087831A1 (en) 2017-09-15 2019-03-21 Pearson Education, Inc. Generating digital credentials based on sensor feedback data
JP6713490B2 (ja) * 2018-02-07 2020-06-24 本田技研工業株式会社 情報提供装置及び情報提供方法
CN110998725B (zh) * 2018-04-19 2024-04-12 微软技术许可有限责任公司 在对话中生成响应
US11631151B2 (en) * 2018-09-30 2023-04-18 Strong Force Tp Portfolio 2022, Llc Intelligent transportation systems
EP3856596A4 (en) 2018-09-30 2022-10-12 Strong Force Intellectual Capital, LLC INTELLIGENT TRANSPORT SYSTEMS
EP3712896B1 (en) * 2019-03-19 2022-01-12 2HFutura SA Technique for efficient retrieval of personality data
US11507855B2 (en) * 2019-03-22 2022-11-22 Motorola Mobility Llc Generating action suggestions based on a change in user mood
DE102019205245A1 (de) * 2019-04-11 2020-10-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Steuerung eines Geschwindigkeits- oder Abstandsregelungssystems eines einspurigen Kraftfahrzeugs
US11735206B2 (en) * 2020-03-27 2023-08-22 Harman International Industries, Incorporated Emotionally responsive virtual personal assistant
US11809958B2 (en) * 2020-06-10 2023-11-07 Capital One Services, Llc Systems and methods for automatic decision-making with user-configured criteria using multi-channel data inputs

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008068664A (ja) * 2006-09-12 2008-03-27 Fujitsu Ten Ltd 車両制御装置および車両制御方法
JP2008186250A (ja) * 2007-01-30 2008-08-14 Denso Corp 車両用情報提示装置
JP2015064584A (ja) 2014-10-28 2015-04-09 マツダ株式会社 ドライバ感情推定装置及び方法
JP2016189073A (ja) * 2015-03-30 2016-11-04 株式会社国際電気通信基礎技術研究所 個性推定装置、個性推定プログラムおよび個性推定方法
JP2016223096A (ja) 2015-05-28 2016-12-28 日立建機株式会社 建設機械

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3985351B2 (ja) * 1998-07-31 2007-10-03 株式会社デンソー 安全運転判定装置
JP3044025B1 (ja) * 1998-12-09 2000-05-22 株式会社データ・テック 運転傾向性の分析が可能な運行管理システム及びその構成装置
JP2005143895A (ja) * 2003-11-17 2005-06-09 Nissan Motor Co Ltd 運転者心理状態判定装置
JP4755026B2 (ja) * 2006-06-08 2011-08-24 株式会社デンソー ドライバ性格判定装置及び車両用ナビゲーション装置
US20080096533A1 (en) * 2006-10-24 2008-04-24 Kallideas Spa Virtual Assistant With Real-Time Emotions
CN101756705A (zh) * 2008-11-14 2010-06-30 北京宣爱智能模拟技术有限公司 一种驾驶事故倾向性测试***及方法
WO2010084580A1 (ja) * 2009-01-21 2010-07-29 パイオニア株式会社 運転評価装置、運転評価装置の制御方法、制御プログラム及び記憶媒体
JP4957747B2 (ja) * 2009-05-18 2012-06-20 トヨタ自動車株式会社 車両環境推定装置
KR20110002757A (ko) * 2009-07-02 2011-01-10 삼성전자주식회사 감성 모델 장치, 감성 모델의 성향 학습 장치 및 방법
JP5598411B2 (ja) * 2011-04-20 2014-10-01 日産自動車株式会社 車両用情報提供装置
CN102871674A (zh) * 2011-07-13 2013-01-16 沈阳正道安全检测技术服务有限公司 一种驾驶员安全心理综合检测仪
JP5974556B2 (ja) * 2012-03-13 2016-08-23 日産自動車株式会社 道路情報作成・配信装置、車載装置、道路情報作成・配信システム、道路情報作成・配信方法
RU2568047C1 (ru) * 2012-05-14 2015-11-10 Ниссан Мотор Ко., Лтд. Устройство управления транспортного средства и способ управления транспортным средством
JP2014046820A (ja) * 2012-08-31 2014-03-17 Nissan Motor Co Ltd 運転者特性推定装置
KR101988279B1 (ko) * 2013-01-07 2019-06-12 삼성전자 주식회사 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
WO2014113889A1 (en) * 2013-01-23 2014-07-31 Persuasive Labs Inc. Method and apparatus for adapting customer interaction based on assessed personality
US9965553B2 (en) 2013-05-29 2018-05-08 Philip Scott Lyren User agent with personality
JP2015033457A (ja) * 2013-08-08 2015-02-19 日産自動車株式会社 運転状態推定装置及び運転状態推定方法
US9965462B2 (en) * 2013-08-09 2018-05-08 Tengrade, Inc. Systems and methods for identifying and recording the sentiment of a message, posting, or other online communication using an explicit sentiment identifier
US9390706B2 (en) * 2014-06-19 2016-07-12 Mattersight Corporation Personality-based intelligent personal assistant system and methods
GB2528083B (en) * 2014-07-08 2017-11-01 Jaguar Land Rover Ltd System and method for automated device control for vehicles using driver emotion
US20160055370A1 (en) * 2014-08-21 2016-02-25 Futurewei Technologies, Inc. System and Methods of Generating User Facial Expression Library for Messaging and Social Networking Applications
JP2016137200A (ja) * 2015-01-29 2016-08-04 マツダ株式会社 車両用乗員感情対応制御装置
US10137902B2 (en) * 2015-02-12 2018-11-27 Harman International Industries, Incorporated Adaptive interactive voice system
JP6467966B2 (ja) 2015-02-13 2019-02-13 オムロン株式会社 健康管理補助装置及び健康管理補助方法
US9785834B2 (en) * 2015-07-14 2017-10-10 Videoken, Inc. Methods and systems for indexing multimedia content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008068664A (ja) * 2006-09-12 2008-03-27 Fujitsu Ten Ltd 車両制御装置および車両制御方法
JP2008186250A (ja) * 2007-01-30 2008-08-14 Denso Corp 車両用情報提示装置
JP2015064584A (ja) 2014-10-28 2015-04-09 マツダ株式会社 ドライバ感情推定装置及び方法
JP2016189073A (ja) * 2015-03-30 2016-11-04 株式会社国際電気通信基礎技術研究所 個性推定装置、個性推定プログラムおよび個性推定方法
JP2016223096A (ja) 2015-05-28 2016-12-28 日立建機株式会社 建設機械

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3525141A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020017104A (ja) * 2018-07-26 2020-01-30 日本電信電話株式会社 学習装置、学習方法及びコンピュータプログラム
JP7048893B2 (ja) 2018-07-26 2022-04-06 日本電信電話株式会社 学習装置、学習方法及びコンピュータプログラム
JP2020030535A (ja) * 2018-08-21 2020-02-27 Zホールディングス株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
WO2020202450A1 (ja) * 2019-04-01 2020-10-08 ヤマハ発動機株式会社 パーソナリティ分析方法、パーソナリティ分析装置、パーソナリティデータを用いる情報処理方法及びパーソナリティデータを用いる情報処理装置
JP2019169976A (ja) * 2019-06-09 2019-10-03 田村 昌和 ライブ配信者などをアシストするライブ配信サーバ、ライブ配信方法及びプログラム
JP6865896B1 (ja) * 2020-01-22 2021-04-28 三菱電機株式会社 不安要因特定装置、プログラム及び不安要因特定方法
WO2021149200A1 (ja) * 2020-01-22 2021-07-29 三菱電機株式会社 不安要因特定装置、プログラム及び不安要因特定方法

Also Published As

Publication number Publication date
CN109906461B (zh) 2022-10-14
US20190276037A1 (en) 2019-09-12
EP3525141A4 (en) 2019-11-20
EP3525141A1 (en) 2019-08-14
US11186290B2 (en) 2021-11-30
JPWO2018092436A1 (ja) 2019-08-08
EP3525141B1 (en) 2021-03-24
CN109906461A (zh) 2019-06-18
JP6736685B2 (ja) 2020-08-05

Similar Documents

Publication Publication Date Title
JP6736685B2 (ja) 感情推定装置、および、感情推定システム
JP6575934B2 (ja) 車両運転支援システム及び車両運転支援方法
US20170352267A1 (en) Systems for providing proactive infotainment at autonomous-driving vehicles
JP6558719B2 (ja) 車両運転支援システム及び車両運転支援方法
US20180093673A1 (en) Utterance device and communication device
US20190225232A1 (en) Passenger Experience and Biometric Monitoring in an Autonomous Vehicle
JP6683163B2 (ja) 車両運転支援システム
JP6575932B2 (ja) 車両運転支援システム
JP7329755B2 (ja) 支援方法およびそれを利用した支援システム、支援装置
US10809802B2 (en) Line-of-sight detection apparatus, computer readable storage medium, and line-of-sight detection method
US11107471B2 (en) Dialog processing server, control method for dialog processing server, and terminal
CN108688675B (zh) 车辆驾驶支援***
CN111190480A (zh) 控制装置、智能体装置以及计算机可读存储介质
US11250875B2 (en) Behavior support system, behavior support apparatus, behavior support method, and storage medium storing program thereof
JP6575933B2 (ja) 車両運転支援システム
CN110389744A (zh) 基于人脸识别的多媒体音乐处理方法和***
JP2018169703A (ja) 車両運転支援システム及び車両運転支援方法
CN111746435B (zh) 信息提供装置、信息提供方法及存储介质
JP6607223B2 (ja) 車両運転支援システム及び車両運転支援方法
CN106408682A (zh) 提示方法和装置
US20220306155A1 (en) Information processing circuitry and information processing method
JP6579493B2 (ja) 車両運転支援システム
JP6579495B2 (ja) 車両運転支援システム
CN111210814A (zh) 控制装置、智能体装置以及计算机可读存储介质
CN108519098A (zh) 路径提示方法、装置、***及可穿戴设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17871498

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018551060

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017871498

Country of ref document: EP

Effective date: 20190506