JPWO2018092436A1 - 感情推定装置、および、感情推定システム - Google Patents

感情推定装置、および、感情推定システム Download PDF

Info

Publication number
JPWO2018092436A1
JPWO2018092436A1 JP2018551060A JP2018551060A JPWO2018092436A1 JP WO2018092436 A1 JPWO2018092436 A1 JP WO2018092436A1 JP 2018551060 A JP2018551060 A JP 2018551060A JP 2018551060 A JP2018551060 A JP 2018551060A JP WO2018092436 A1 JPWO2018092436 A1 JP WO2018092436A1
Authority
JP
Japan
Prior art keywords
emotion
personality
user
unit
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018551060A
Other languages
English (en)
Other versions
JP6736685B2 (ja
Inventor
伊藤 淳
淳 伊藤
康真 松井
康真 松井
康平 松浦
康平 松浦
明子 酒井
明子 酒井
公博 米川
公博 米川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JPWO2018092436A1 publication Critical patent/JPWO2018092436A1/ja
Application granted granted Critical
Publication of JP6736685B2 publication Critical patent/JP6736685B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/167Personality evaluation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/16Control of vehicles or other craft
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0028Mathematical models, e.g. for simulation
    • B60W2050/0029Mathematical model of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/043Identity of occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/21Voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/22Psychological state; Stress level or workload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Medical Informatics (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Developmental Disabilities (AREA)
  • Multimedia (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)

Abstract

ユーザの感情を、より高精度で推定できる感情推定装置、および、感情推定システムを提供する。自動二輪車4は、通信ネットワーク2に接続されたユーザUに関わる複数製品である自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および冷蔵庫15からの自身(U)に関する情報に基づいて構成されるパーソナル人格を備え、パーソナル人格によって、ベース人格が形成され、感情を検出する感情検出部を備える。

Description

本発明は、感情推定装置、および、感情推定システムに関する。
従来、運転者の感情を推定する装置が知られている(例えば、特許文献1参照)。特許文献1記載の装置は、運転中に運転支援を行った場合の運転者の感情・心理を推定する。
特開2015−64584号公報
特許文献1記載の装置は、運転操作等に関する情報等、車両から取得される情報に基づき運転者の感情を推定する。しかしながら、人間が車両を運転する時間は一日において限られた時間であり、この限られた時間における運転操作等から運転者の感情を推定しても、推定の精度に限界がある。また、車両に限らず、装置を使用するユーザの感情を、その装置の利用中の操作等に基づき推定する場合にも、同様の課題がある。
本発明は、上述した事情に鑑みてなされたものであり、ユーザの感情を、より高い精度で推定できる感情推定装置、および、感情推定システムを提供することを目的とする。
この明細書には、2016年11月16日に出願された日本国特許出願・特願2016−223096号の全ての内容が含まれる。
上記目的を達成するため、本発明は、通信ネットワーク(2)に接続された自身(U)に関わる複数製品(4,11,12,13,14,15)からの自身(U)に関する情報により構成されるパーソナル人格(482)を備え、前記パーソナル人格(482)によって、ベース人格(483)が形成され、感情を検出する感情検出部(464)を備えることを特徴とする。
また、本発明は、自身(U)が利用した複数製品(4,11,12,13,14,15)から収集されたユーザ情報に基づく機械学習により形成されたパーソナル人格(482)を備え、前記パーソナル人格(482)は、ベース人格(483)を形成し、前記自身(U)の感情を検出する感情検出部(464)を備えることを特徴とする。
本発明の構成によれば、複数の製品からの情報により構成されるパーソナル人格によって、高精度で感情を検出できる。例えば、自身が使用する時間が異なる複数の製品からの情報によりパーソナル人格が構成される場合、単一の製品がユーザの感情を推定する場合に比べ、より長い時間をかけて収集あるいは検出される情報をパーソナル人格に反映させることができる。このパーソナル人格を利用することにより、単一の製品から得られる情報をもとにする場合よりも高精度で感情を検出できる。また、特定の製品について、その製品が自身に関わる前の感情を検出することも可能となる。
また、本発明の感情推定装置において、前記感情検出部(464)は、前記ベース人格(483)の感情と、前記パーソナル人格(482)の現時点の感情と、を比較し、感情属性を検出する構成としてもよい。
この構成によれば、ベース人格の感情と、パーソナル人格の現時点の感情とを比較することにより、感情の傾向や特徴を加味して、より高い精度で感情を検出できる。例えば、自身の感情に、特定の感情が出やすい傾向がある場合に、その特定の感情を頻繁に検出してしまう状態を避けることができ、個人の感情傾向に合わせた基準を用いて、より高精度で感情を検出できる。
また、本発明の感情推定装置において、前記感情検出部(464)が検出する感情に所定以上の変化があった場合に、前記ベース人格(483)の感情に仕向ける動作を制御する動作制御部(470)を備える構成としてもよい。
この構成によれば、パーソナル人格が、自身の感情をベース人格の感情に仕向ける動作を行うことにより、自身の感情の傾向や特徴を考慮して自身の感情に働きかけを行うことができる。これにより、例えば、自身の感情を静穏化させることができる。
また、本発明の感情推定装置において、前記感情検出部(464)により検出された感情を蓄積する感情蓄積部(485)と、自身(U)の行動予定を示す行動予定表(484)と、自身(U)の感情に大きな変化があった場合に、少なくとも前記感情蓄積部(485)に蓄積された感情または自身(U)の行動予定表(484)に示された今後の予定から、感情変化原因を推定する感情変化原因推定部(469)と、を備える構成としてもよい。
この構成によれば、自身の感情を変化させた原因、或いは感情に影響を与えた原因を、未来の予定から推定することができる。これにより、感情を変化させた原因、或いは感情に影響を与えた原因に対応して、自身の感情に影響を与えるように対処をすることが可能となる。
また、本発明の感情推定装置において、前記感情変化原因推定部(469)が推定した原因を、前記感情蓄積部(485)に感情を蓄積する際に合わせて蓄積する構成としてもよい。
この構成によれば、自身の感情を変化させた原因、或いは感情に影響を与えた原因を蓄積することにより、自身の感情の傾向と原因とに関するデータを収集できる。収集したデータは、例えば感情推定部としてコンピュータを利用する場合に、このコンピュータが学習するデータとして利用できる。
また、本発明の感情推定装置において、前記動作制御部(470)は、前記感情変化原因推定部(469)で推定された原因に対応して、前記ベース人格(483)の感情に仕向ける動作を制御する構成としてもよい。
この構成によれば、感情蓄積部に蓄積した、自身の感情を変化させた原因或いは感情に影響を与えた原因をもとに、自身の感情をベース人格の感情に仕向ける動作を行うことができる。このため、自身の感情の傾向や特徴を考慮して、より効果的に、自身の感情に働きかけることができる。
また、本発明の感情推定装置において、前記製品(4,11,12,13,14,15)の1つは車両(4)であって、前記車両(4)は運転傾向を判定する運転傾向判定部(464)を備え、前記運転傾向判定部(464)は、少なくとものんびり運転と、せっかち運転と、を判別し、自身(U)の運転がせっかち運転と判別された場合に、少なくとも直前の感情及び、自身(U)の前記行動予定表(484)に示された行動予定とから、運転に影響がある感情かを否かを判断し、運転影響有と判断した場合に、前記動作制御部(470)は、運転影響がなくなるように仕向ける動作を行う構成としてもよい。
この構成によれば、装置から自身に対し、自身の感情を、運転影響がなくなるように仕向けて、車両の運転に影響を与える要因の解消または軽減を図ることができる。
また、本発明の感情推定装置において、前記運転に影響有の感情とは、怒る、心配、哀しい、不安のいずれかを含む構成としてもよい。
この構成によれば、自身の感情が怒る、心配、哀しい、不安等の感情であることを検出した場合に、これらの感情が運転に与える影響の解消または軽減を図ることができる。
また、本発明の感情推定装置において、前記パーソナル人格(482)は人工知能である構成としてもよい。
この構成によれば、人工知能であるパーソナル人格が複数の製品からの情報により構成されるので、パーソナル人格によって高精度で感情を検出できる。
また、本発明の感情推定装置において、前記パーソナル人格(482)は、自身(U)の感情または感情の変化を模倣し、前記感情検出部(464)は前記パーソナル人格(482)の感情を検出する構成としてもよい。
この構成によれば、パーソナル人格の感情を検出することによって自身の感情または感情の変化を容易に検出できる。また、パーソナル人格は複数の製品からの情報により構成されるので、自身の感情を、より高精度で検出できる。
また、上記目的を達成するため、本発明は、通信ネットワーク(2)に接続された車両(4)と、前記通信ネットワーク(2)に接続された自身(U)に関わる複数製品(11,12,13,14,15)と、前記複数製品(11,12,13,14,15)からの自身(U)に関する情報により構成されるパーソナル人格(482)と、を備え、前記パーソナル人格(482)によって、ベース人格(483)が形成され、感情を検出する感情検出部(464)を備え、前記車両が前記パーソナル人格(482)及び前記感情検出部(464)を備えることを特徴とする。
本発明の構成によれば、車両が、複数の製品からの情報により構成されるパーソナル人格により、高精度で感情を検出できる。このため、車両の運転中に収集あるいは検出される情報に限らず、より多くの製品が長い時間に収集あるいは検出する情報を用いることにより、より高精度で感情を検出できる。また、自身が車両に関わっていない状態における感情を検出することも可能となる。
本発明に係る感情推定装置では、複数の製品からの情報により構成されるパーソナル人格によって、高精度で感情を検出できる。また、特定の製品について、その製品が自身に関わる前の感情を検出することも可能となる。
また、上記発明において、感情検出部は、ベース人格の感情と、パーソナル人格の現時点の感情と、を比較し、感情属性を検出する構成としてもよい。この場合、感情の傾向や特徴を加味して、より高い精度で感情を検出できる。
また、上記発明において、感情検出部が検出する感情に所定以上の変化があった場合に、ベース人格の感情に仕向ける動作を制御する動作制御部を備える構成としてもよい。この場合、自身の感情の傾向や特徴を考慮して自身の感情に働きかけを行うことができる。
また、上記発明において、感情検出部により検出された感情を蓄積する感情蓄積部と、自身の行動予定を示す行動予定表と、自身の感情に大きな変化があった場合に、少なくとも感情蓄積部に蓄積された感情または自身の行動予定表に示された今後の予定から、感情変化原因を推定する感情変化原因推定部と、を備える構成としてもよい。この場合、自身の感情を変化させた原因、或いは感情に影響を与えた原因を未来の予定から推定し、この原因に対応して、自身の感情に影響を与えるように対処できる。
また、上記発明において、感情変化原因推定部が推定した原因を、感情蓄積部に感情を蓄積する際に合わせて蓄積する構成としてもよい。この場合、自身の感情の傾向と原因とに関するデータを収集できる。
また、上記発明において、動作制御部は、感情変化原因推定部で推定された原因に対応して、ベース人格の感情に仕向ける動作を制御する構成としてもよい。この場合、自身の感情の傾向や特徴を考慮して、より効果的に、自身の感情に働きかけることができる。
また、上記発明において、製品の1つは車両であって、車両は運転傾向を判定する運転傾向判定部を備え、運転傾向判定部は、少なくとものんびり運転と、せっかち運転と、を判別し、自身の運転がせっかち運転と判別された場合には、少なくとも直前の感情及び、自身の行動予定表に示された行動予定とから、運転に影響がある感情かを否かを判断し、運転影響有と判断した場合に、動作制御部は、運転影響がなくなるように仕向ける動作を行う構成としてもよい。この場合、車両の運転に影響を与える要因の解消または軽減を図ることができる。
また、上記発明において、運転に影響有の感情とは、怒る、心配、哀しい、不安のいずれかを含む構成としてもよい。この場合、自身の感情が怒る、心配、哀しい、不安等の感情であることを検出した場合に、これらの感情が運転に与える影響の解消または軽減を図ることができる。
また、上記発明において、パーソナル人格は人工知能である構成としてもよい。この場合、パーソナル人格によって高精度で感情を検出できる。
また、上記発明において、パーソナル人格は、自身の感情または感情の変化を模倣し、感情検出部はパーソナル人格の感情を検出する構成としてもよい。この場合、自身の感情または感情の変化を容易に、より高精度で検出できる。
また、本発明に係る感情推定システムでは、車両が、複数の製品からの情報により構成されるパーソナル人格により、高精度で感情を検出できる。また、自身が車両に関わっていない状態における感情を検出することも可能となる。
図1は、本発明の実施の形態に係る感情推定システムの概略図である。 図2は、感情推定システムにおける各装置の動作の具体例を示す図である。 図3は、サーバの機能ブロック図である。 図4は、自動二輪車の機能ブロック図である。 図5は、感情検出設定データの構成例を示す模式図である。 図6は、パーソナル人格及びベース人格の関係を示す説明図である。 図7は、対応動作テーブルの構成例を示す模式図である。 図8は、対応動作テーブルの構成例を示す模式図である。 図9は、感情推定システムを構成する装置の動作を示すフローチャートである。 図10は、サーバの動作を示すフローチャートである。 図11は、感情推定システムの動作を示すフローチャートである。 図12は、感情推定システムの動作を示すフローチャートである。 図13は、感情推定システムの動作を示すフローチャートである。 図14は、感情推定システムの動作を示すフローチャートである。 図15は、感情推定システムの動作を示すフローチャートである。 図16は、自動二輪車の別の構成例を示す機能ブロック図である。
以下、図面を参照して本発明の実施形態について説明する。
図1は、感情推定システム1の概略図である。
感情推定システム1は、自動二輪車4を含む複数の装置、およびサーバ3が通信ネットワーク2に接続されて構成される。感情推定システム1が備える装置は、ユーザUが使用する装置であれば、装置の種類(カテゴリー)、用途、構造等は特に制限されない。本実施形態では、自動二輪車4のほか、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および冷蔵庫15を例示する。
自動二輪車4(車両)、四輪車11(車両)、炊飯器12、掃除機13、テレビ受像機14および冷蔵庫15の各装置は、それぞれ、通信ネットワーク2に接続される。これら各装置は、通信ネットワーク2を介して、サーバ3と通信を実行し、データを送受信する。また、これら各装置は、通信ネットワーク2を介して相互に通信を実行してもよい。
これらの各装置は、本発明の感情推定装置として機能する。
通信ネットワーク2は、複数のコンピュータが通信を実行することが可能なネットワークであり、例えば、広域通信ネットワークである。通信ネットワーク2は、インターネット等のオープンなネットワークであってもよいし、クローズドな通信ネットワークであってもよい。通信ネットワーク2がオープンなネットワークである場合、感情推定システム1を構成するサーバ3および各装置は、VPN(Virtual Private Network)技術等を用いて、通信ネットワーク2上でセキュアな通信を実行してもよい。また、通信ネットワーク2は、公衆電話回線や専用線等の通信回線を含み、そのほか、通信回線を介した通信を中継あるいは制御するルーター、ゲートウェイサーバー、スイッチ、ブリッジ等の各種ネットワーク機器を含んでもよい。また、通信ネットワーク2を経由するデータ通信において使用される通信プロトコルは制限されない。
サーバ3は、単一のコンピュータにより構成されるものに限定されず、例えば、ネットワークコンピュータ(いわゆる、クラウドコンピュータ)で構成してもよい。
ユーザUは、本発明でいう自身に相当する。自身は、感情推定システム1、或いは、感情推定システム1を構成する自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、冷蔵庫15が感情を推定する対象の人物(人間)自身である。本実施形態では、ユーザUは、自動二輪車4を運転する人物である。ユーザUが自動二輪車4を運転することは必須ではなく、本実施形態では、好ましい一例として示している。ユーザUは、例えば、感情推定システム1を構成する自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、冷蔵庫15のうち少なくとも複数を使用するユーザが挙げられる。本実施形態では、一人のユーザUが使用する自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および、冷蔵庫15が、ユーザUの感情を推定する。ユーザUは、感情推定システム1を構成する自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、冷蔵庫15は、定常的に、或いは一時的に使用するが、ユーザUが上記の装置を所有することは限定されない。ユーザUは、上記の装置を借りて使用する人物であってもよい。例えば、四輪車11は、ユーザUが一時的にレンタルして使用するレンタカーであってもよい。
感情推定システム1において、自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および冷蔵庫15は、ユーザUに関わる装置である。自動二輪車4はユーザUが運転または搭乗する自動二輪車である。四輪車11は、ユーザUが使用する自動車である。四輪車11の使用の形態は、ユーザUが運転する場合に限らず、ユーザUとは異なる人物が運転し、ユーザUが同乗者として搭乗する形態も本発明の適用範囲に含まれる。
炊飯器12は、ユーザUが調理に使用する機器の一例であり、炊飯器である。炊飯器12は、電子レンジ、電磁調理器、オーブン、電気湯沸かし器等の他の調理器具に置き換えてもよい。掃除機13は、例えば、自走式の掃除機であり、掃除を実行する時刻および掃除を行う対象の場所について、ユーザUが事前に設定した内容に従って掃除を実行する。テレビ受像機14は、ユーザUが映像や音楽を試聴する機器の一例であり、テレビ放送を視聴する場合に使用される。冷蔵庫15は、ユーザUが食材等を貯蔵するために使用する機器の一例である。
これらはユーザUに関わる装置の具体例であり、本発明を適用する対象は、これらの装置に限定されない。
感情推定システム1を構成する各装置は、いずれも、ユーザUの感情に関する処理を行うため、コンピュータを備える。このコンピュータは、例えば、自動二輪車4が、自動二輪車としての動作を実行するために備えるECU(Engine Control Unit)や、炊飯器12が調理機能を実行するために備えるマイコン等、各装置が本来の機能を実行するために備えるコンピュータであってもよい。また、各装置は、ユーザUの感情を推定し、推定した感情に対応する処理を行うための専用のコンピュータを搭載してもよい。
本実施形態では、感情推定システム1の各装置は、それぞれ、パーソナル人格22を実現する。パーソナル人格22は、ユーザUの感情または感情の変化を模倣する、仮想的な人格である。パーソナル人格22は、コンピュータプログラムによって構築され、仮想の人間として振る舞い、あたかも実際の人間と同じような、ユーザUを真似た感情を持つ。パーソナル人格22の感情は、ユーザUの感情と同様に変化するよう設定される。別の表現では、パーソナル人格22は、ユーザUの感情をシミュレート(或いはエミュレート)する。パーソナル人格22は、パーソナル人格22を構成するプログラムをコンピュータが実行することにより、当該コンピュータが実行する。パーソナル人格22を構成するプログラムは、人間の感情をシミュレートするプログラムであってもよい。また、特定の1のパラメータから人間の感情を示す出力値を得るプログラムであってパラメータと出力値とを1対1で対応付けたシンプルなプログラムであってもよい。
本実施形態では一例として、パーソナル人格22は人工知能(AI:Artificial Intelligence)により構成される。すなわち、パーソナル人格22の機能は、人工知能技術に属し、又は関連する技術要素の全部、又は幾つかの集合により実現される。この種の技術要素には、各種フィルタリング、独立成分分析、SVM(Support Vector Machine)、輪郭抽出その他の画像処理技術、パターン認識(例えば、音声認識、顔認識ほか)、自然言語処理、知識情報処理、強化学習、ベイジアンネットワーク、SOM(自己組織化マップ)、ニューラルネットワーク、Deep Learning(深層学習)、その他各種機械学習などが挙げられる。
感情推定システム1では、ユーザUに関わる各装置が、パーソナル人格22のプログラムを実行する。各装置は、パーソナル人格22の動作中におけるユーザUの操作や音声などユーザUに関わる検出を行い、検出結果を収集する。この検出結果はビッグデータ21としてサーバ3に送られ、このビッグデータ21を、パーソナル人格22が学習する。パーソナル人格22が学習を行うことにより、ユーザUの感情を、パーソナル人格22がより高精度で模倣できる。従って、パーソナル人格22の感情をユーザUの感情とみなして、パーソナル人格22の現在の感情を検出することにより、ユーザUの感情を検出、あるいは推定できる。
感情推定システム1は、コンシェルジュ人格23を有する。コンシェルジュ人格23は、人間のようにユーザUとコミュニケーション(例えば、会話)を行う仮想的な人格である。ユーザUは、コンピュータプログラムによって構築された仮想の人間として振る舞うコンシェルジュ人格23を相手に、あたかも実際の人間とするのと同じような会話を行う。コンシェルジュ人格23は、あたかも人間がユーザUを気遣うような動作を行うことができ、ユーザUに対し、支援、案内、サポート等を行うユーザUの個人的な助言役、援助者、案内者として振る舞う。これらの役目を総称するため、本実施形態ではコンシェルジュ人格23という名称を付す。コンシェルジュ人格23は、コンシェルジュの語に代えて、例えば、パーソナルアシスタント(Personal Assistant)と呼ぶこともできる。
コンシェルジュ人格23の機能は、コンシェルジュ人格23を構成するプログラムをコンピュータが実行することにより、当該コンピュータが実行する。コンシェルジュ人格23を構成するプログラムは、人間の感情をシミュレートするプログラムであってもよい。また、特定の1のパラメータから人間の感情を示す出力値を得るプログラムであってパラメータと出力値とを1対1で対応付けたシンプルなプログラムであってもよい。
コンシェルジュ人格23は、パーソナル人格22と同様に、人工知能(AI)により構成してもよい。すなわち、コンシェルジュ人格23の機能は、パーソナル人格22と同様の人工知能技術に属する技術要素または関連する技術要素の全部、又は幾つかの集合により実現されてもよい。
コンシェルジュ人格23は、ユーザUと音声による会話を行うものに限定されず、例えば、後述するように、ユーザUが使用する装置の動作を制御するものであってもよい。また、コンシェルジュ人格23は、ユーザUに対し、ユーザUの感情を特定の感情に仕向けるように、会話及び/または装置の制御を含む動作を行ってもよい。例えば後述するように、ユーザUが自動二輪車4を運転中に、コンシェルジュ人格23は、自動二輪車4の挙動を調整する。
感情推定システム1の自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および冷蔵庫15の各装置は、上述した各装置の本来の機能に加え、ユーザUの感情を推定する機能を有する。これらの装置は、ユーザUが装置に対して行った操作の履歴から得られるデータや、ユーザUと各装置とが行った会話の内容等から、ユーザUの感情を推定する。さらに、各装置は、推定したユーザUの感情に対応して、ユーザUに対し、音声により会話をする機能を有する。この機能のため、各装置は、ユーザUの音声を集音するマイク、および、音声を発するスピーカを備える。
図2は、感情推定システム1における各装置の動作の具体例を示す図である。詳細には、図2は、感情推定システム1の各装置がユーザUの感情を推定するために利用する検出値の例と、ユーザUの感情に対応して実行する動作の例を示す。
例えば、自動二輪車4は、ユーザUが自動二輪車4を運転する場合の運転制御に関する検出値、および、ユーザUの音声を、ユーザUの感情を推定する検出値として利用する。四輪車11は、ユーザUが四輪車11を運転する場合の運転制御に関する検出値、四輪車11が備える重量センサが検出するユーザUの体重、および、ユーザUの音声を、ユーザUの感情を推定する検出値として利用する。四輪車11の運転制御に関するデータは、例えば、走行距離、走行速度、スロットル開度、ステアリング舵角、ブレーキ操作量、車重等が挙げられる。また、四輪車11は、GPS(Global Positioning System)等を利用した測位を行うことにより、出発地、到着地、経由地等のデータを取得してもよく、給油を行った場所や時刻に関するデータを取得してもよく、これらを運転制御に関するデータとして処理してもよい。
冷蔵庫15は、ドアの開閉回数、内容物に関するデータ、および、ユーザUの音声を、ユーザUの感情を推定する検出値として利用する。炊飯器12は、ユーザUが炊飯器12を使用する頻度、炊飯器12の運転メニューの中からユーザUが選択した項目の履歴、および、ユーザUの音声を、ユーザUの感情を推定する検出値として利用する。掃除機13は、収集したダストの量、および、ユーザUの音声を、ユーザUの感情を推定する検出値として利用する。テレビ受像機14は、ユーザUの操作により受信した放送局のデータ、および、放送を受信して画像を表示した時刻のデータ等を含む視聴履歴、および、ユーザUの音声を、ユーザUの感情を推定する検出値として利用する。
自動二輪車4は、ユーザUの感情を推定した場合に、ユーザUの感情に働きかけるため、自動二輪車4の制御を行う。この場合の制御は、例えば図2に示すように、自動二輪車4のシート高さの調整、運転制御、ユーザUに対し音声を発する動作等が挙げられる。また、四輪車11は、ユーザUの感情に働きかける動作として、車高の調整、運転制御、ユーザUに対し音声を発する動作等を行う。テレビ受像機14は、ユーザUの感情に働きかける動作として、ユーザUに対し音声を発するほか、番組を選択してユーザUに見せる動作を行う。炊飯器12、掃除機13、および冷蔵庫15は、ユーザUの感情に働きかける動作として、ユーザUに対し音声を発する動作等を行う。
また、感情推定システム1において、例えば航空機のシートに設置されるコンピュータを、ユーザUに関わる装置として使用することも考えられる。具体的には、航空機のシートに設置されるコンピュータが、シートに着座するユーザUを特定し、ユーザUと会話を行い、ユーザUに対する処理を実行する。この場合、航空機のシートに設置されるコンピュータは、ユーザUの音声に基づきユーザUの感情を推定する。また、ユーザUの感情に働きかける動作として、シートの位置調整を行ってもよいし、ユーザUに音声を発してもよい。また、衣料品等を販売する店舗に設置される試着室に、マイクとスピーカとを搭載したコンピュータを設置し、このコンピュータを、感情推定システム1を構成する装置として利用してもよい。このコンピュータは、航空機のシートに設置されるコンピュータと同様、試着室を使用するユーザUを特定し、ユーザUと会話を行い、ユーザUに対する処理を実行する。この場合、試着室に設置されるコンピュータは、ユーザUの音声に基づきユーザUの感情を推定する。また、ユーザUの感情に働きかける動作として、ユーザUに音声を発してもよい。
各装置は、ユーザUの感情を推定する場合に使用したデータを、通信ネットワーク2を経由してサーバ3に送信する。例えば、ユーザUが各装置を使用した場合に、ユーザUが装置に対して行った操作の履歴から得られるデータや、ユーザUと各装置とが行った音声による会話の内容等から得られるデータが収集され、サーバ3に送信される。これらのデータはビッグデータ21を構成する。サーバ3は、ビッグデータ21を解析する。また、ビッグデータ21は、サーバ3に蓄積されてもよい。
ビッグデータ21は、上述したように、感情推定システム1の各装置が収集したデータである。ビッグデータ21は、例えば、サーバ3が一時的に、或いは継続して記憶する。ビッグデータ21には、各装置が収集したデータ(情報)と、情報を収集した装置のカテゴリーを示す情報または装置に付与された固有の識別情報(ID等)と、が対応付けて含まれる。装置のカテゴリーは、感情推定システム1に含まれる装置の属性に基づき設定されてもよい。例えば、家庭用あるいは生活用電化製品と、日用品と、運転操作の対象である車両とを区別して設定される。また、製品の用途、種類、一般的な名称をもとに、より細かくカテゴリーが分類されてもよい。
サーバ3は、ビッグデータ21を収集し蓄積して、ビッグデータ21からパーソナル人格22を構成する。サーバ3は、人工知能であるパーソナル人格22に、ユーザUに関わる装置が収集したビッグデータ21に基づく学習を実行させる。パーソナル人格22は、ユーザUの感情について高度に学習を行い、ユーザUに特化して感情を高精度に推定するアルゴリズムを獲得できる。また、サーバ3は、人工知能であるコンシェルジュ人格23に、ビッグデータ21に基づく学習をさせてもよい。感情推定システム1では、コンシェルジュ人格23に学習をさせず、コンシェルジュ人格23を使用することも可能である。また、コンシェルジュ人格23を、特定のユーザUに適合させることが有用な場合には、コンシェルジュ人格23がビッグデータ21に基づき学習を行ってもよい。
自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および冷蔵庫15の各装置は、通信ネットワーク2を介して、パーソナル人格22を構成するプログラムおよび/またはデータをダウンロードして実行する。これにより、自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および冷蔵庫15のそれぞれにおいて、パーソナル人格22がユーザUの感情を高精度で推定できる。また、感情推定システム1の各装置は、通信ネットワーク2を介して、コンシェルジュ人格23を構成するプログラムおよび/またはデータをダウンロードして実行する。
ビッグデータ21は、感情推定システム1の各装置が推定したユーザUの感情を示すデータを含む。このデータは、各装置が、パーソナル人格22によりユーザUの感情を推定する処理を行った時点での結果であってもよいし、ユーザUの感情を推定した履歴のデータであってもよい。複数の装置のそれぞれが、ユーザUの感情を推定した履歴をサーバ3に送信することにより、サーバ3は、様々な時刻で推定されたユーザUの感情に関する情報を、ビッグデータ21として取得できる。この情報を、感情推定システム1の各装置が共有することで、各装置は、当該装置が使用されていない間におけるユーザUの感情に関するデータを取得できる。
感情推定システム1の各装置は、ユーザUの今後の予定に関するデータを、ビッグデータ21としてサーバ3に送信する。すなわち、ビッグデータ21は、各装置が取得した、ユーザUの今後の予定に関するデータを含む。ユーザUの今後の予定に関するデータは、ユーザUが各装置においてスイッチやキーによる入力操作や音声入力を行うことにより、各装置が取得する。例えば、ユーザUが炊飯器12に、旅行に行く日付と旅行先とを音声で告げた場合、炊飯器12は音声認識により旅行の行き先および日付の情報を認識する。この場合、炊飯器12は、旅行の行き先および日付の情報を、ユーザUの予定としてサーバ3に送信する。この情報は、後述するようにサーバ3を経由して感情推定システム1の各装置により共有される。また、サーバ3、或いは感情推定システム1の他の装置が、通信ネットワーク2を介して通信可能に接続される他のコンピュータから、予定に関するデータを取得してもよい。
また、感情推定システム1の各装置は、ユーザUの今後の予定以外にユーザUがスイッチやキーによる入力操作や音声入力によって入力したデータを含む。本実施形態では一例として、買い物リストを各装置が取得し、ビッグデータ21としてサーバ3に送信する。
これらのビッグデータ21は、パーソナル人格22による学習に利用されるだけでなく、パーソナル人格22の学習結果として、各装置がサーバ3からダウンロードしてもよい。
感情推定システム1では、自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14および冷蔵庫15の各装置が、他の装置が取得したデータを含むビッグデータ21に基づいて学習を行ったパーソナル人格22を利用して、ユーザUの感情を検出、或いは推定できる。そして、各装置は、ビッグデータ21に基づいて学習を行ったコンシェルジュ人格23を利用して、ユーザUの感情に働きかける動作を行うことができる。
例えば、図1に示すように、四輪車11は、ユーザUに対して会話音声110、111、112、113を発する。会話音声110は、ユーザUに対し、ユーザUの好みの音楽を再生することを伝える音声メッセージである。会話音声111は、ユーザUに対し、四輪車11のシート位置と、運転動作に応答して四輪車11が実行する走行動作のセッティングを、ユーザUの好みに合わせることを伝える音声である。会話音声112は、ユーザUに対し、四輪車11が備える重量センサで検出した重量に基づき、ユーザUの体重について会話する音声である。会話音声113は、ユーザUが四輪車11で旅行をしている場合に、付近の観光スポットや著名な土産物を案内する音声である。
また、例えば、炊飯器12は、ビッグデータ21に含まれるユーザUの今後の予定に基づき、ユーザUが出かける目的地について会話する会話音声121を発することができる。また、掃除機13は、例えば、ユーザUが花粉症であるとのデータに基づき、花粉症の対策をするようユーザUに呼びかける会話音声131を発することができる。テレビ受像機14は、ユーザUの今後の予定や自動二輪車4がユーザUと会話した内容の記録に基づき、ユーザUの以前の行動に関係するテレビ番組を案内する会話音声141を発することができる。冷蔵庫15は、ユーザUの以前の行動、具体的にはテレビ受像機14を使用した履歴に基づき、コーヒーを飲むように促す会話音声151を発することができる。
感情推定システム1の各装置は、ユーザUに対し一方的に音声を発するだけでなく、ユーザUとインタラクティブな音声会話が可能である。この音声会話は、各装置が備える上記のコンピュータがコンシェルジュ人格23を実行してデータを処理することにより実現される。これらの会話は、いわゆる雑談であってもよい。
感情推定システム1の各部の構成について説明する。
図3は、サーバ3の機能ブロック図である。
図3に示すように、サーバ3は、サーバ側制御部31、人格DB34、認証情報記憶部36、および通信部38を備える。
通信部38は、通信ネットワーク2に有線または無線で接続され、サーバ側制御部31の制御に従って通信ネットワーク2を介してデータを送受信する。
サーバ側制御部31は、サーバ3の各部を制御する制御部であり、プロセッサと、プロセッサが実行するプログラムとの協働により構成される。サーバ側制御部31には人格DB34、および、認証情報記憶部36が接続される。
サーバ側制御部31は、プログラムを実行するプロセッサであり、プロセッサ31と呼ぶこともできる。プロセッサ31は、集積回路や、マイクロコントローラ、マイクロコンピュータ、プログラマブルロジックコントローラ、特定用途向け集積回路、その他のプログラマブル回路を用いることができる。例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、マイコン、或いはその他の演算処理装置で構成できる。プロセッサ31は、ROM(Read Only Memory)やRAM(Random Access Memory)を統合した統合チップ(例えば、いわゆるSoC(System-on-a-Chip)デバイス)であってもよい。人格DB34は、実体としてデータを記憶する記憶装置であり、記憶装置34と呼ぶこともできる。記憶装置34は、例えば、HDD(Hard Disk Drive)等の磁気的記録媒体を用いた記憶装置、SSD(Solid State Drive)、フラッシュROM、SRAM(Static RAM)等の半導体記憶素子を用いた記憶装置が挙げられる。認証情報記憶部36は、記憶装置34の記憶領域の一部を用いて構成することができる。記憶装置34とは別に、記憶装置36を設けて、認証情報記憶部36としてもよい。この場合、記憶装置36の具体的構成は、記憶装置34と同様のものとすることができる。プロセッサ31が、記憶装置34に記憶されたプログラムを実行し、記憶装置34に記憶されたデータを処理することにより、サーバ側制御部31の各種機能を実現する。
サーバ側制御部31は、パーソナル人格実行部32、人格形成部311、人格転送部312、認証処理部313、および、コンシェルジュ人格形成部314を備える。
人格DB34は、パーソナル人格22及びコンシェルジュ人格23に関するデータを含むデータベースである。人格DB34は、パーソナル人格342、ベース人格343、行動予定データ344、感情検出履歴データ345、感情検出DB346、会話DB347、対応動作テーブル348、およびコンシェルジュ人格349を含む。図1のパーソナル人格22及びコンシェルジュ人格23は、感情推定システム1の各装置が実行するパーソナル人格22及びコンシェルジュ人格23を模式的に示したものである。これらの実体は、サーバ3においてはパーソナル人格342、及びコンシェルジュ人格349である。
認証情報記憶部36は、認証用の情報である認証情報361を記憶する。
人格形成部311は、ビッグデータ21(図1)に基づきパーソナル人格342を構成する。人格形成部311はパーソナル人格342を形成し、人格DB34に格納させる。上述したように、パーソナル人格342は、コンピュータが実行可能なプログラムである。
感情推定システム1において、ビッグデータ21が収集される前の状態では、人格DB34に、汎用の、あるいは初期状態のパーソナル人格342が記憶される。
人格形成部311は、通信部38によって、感情推定システム1の各装置から送信されるビッグデータ21を取得する。人格形成部311は、ビッグデータ21から、ユーザUの未来の予定に関するデータを抽出して行動予定データ344を生成し、人格DB34に記憶させる。人格形成部311は、ビッグデータ21から、ユーザUの感情を各装置が推定した推定結果を抽出し、感情検出履歴データ345を生成し、人格DB34に記憶させる。人格形成部311は、人格DB34に、既に行動予定データ344および感情検出履歴データ345が記憶されている場合、これらのデータを更新する。
人格形成部311は、人格DB34に記憶されたパーソナル人格342の学習機能により、ビッグデータ21を対象とする学習を実行させる。この学習により、パーソナル人格342は、ユーザUの感情を推定するアルゴリズムを獲得する。すなわち、初期状態においてパーソナル人格342が有する感情推定のアルゴリズムが、ビッグデータ21に基づく機械学習を行うことで、特定のユーザUの感情を推定する目的に向けたアルゴリズムに、改良あるいは改変される。アルゴリズムの改良、改変の具体的態様に制限はなく、プログラムそのものの変更を含んでもよいし、プログラムの動作を規定するパラメータの変更を含んでもよい。これにより、パーソナル人格342は、ユーザUの感情を高精度に推定し、ユーザUの感情を模倣するように感情または感情の動きを生成するアルゴリズムを獲得する。
人格形成部311は、人格DB34からパーソナル人格342を読み出して実行し、パーソナル人格342のプログラムの機能により上記の学習を実行させて、学習後のパーソナル人格342を人格DB34に記憶させる。なお、人格形成部311は、パーソナル人格342の学習を、パーソナル人格342を更新する機能を有しかつパーソナル人格342とは別のプログラムを実行することにより、行ってもよい。
サーバ3は、コンシェルジュ人格349を形成する。最も単純な方法では、ビッグデータ21が収集される前に、人格DB34に汎用あるいは初期状態のコンシェルジュ人格349が記憶される。この人格DB34に記憶されたコンシェルジュ人格349が、感情推定システム1で利用されてもよい。或いは、人格形成部311が、人格DB34に記憶されたコンシェルジュ人格349を読み出して実行し、コンシェルジュ人格349の学習機能により、ビッグデータ21に基づく学習を実行させる。コンシェルジュ人格349は、コンピュータが実行可能なプログラムである。この学習により、コンシェルジュ人格349は、パーソナル人格342の感情に働きかけるアルゴリズムを獲得する。コンシェルジュ人格349は、パーソナル人格342の感情を特定の方向、傾向あるいは特定の感情に向けるように働きかけるため、会話や装置の制御を行う。コンシェルジュ人格349が実行する動作の目的は、ユーザUの感情を、目的とする方向に誘導することにある。コンシェルジュ人格349は、ビッグデータ21に基づく機械学習を行うことで、特定のユーザUの感情に対し効果的に働きかけを行うことが可能になり、ユーザUの感情を、より確実に、目的とする方向に誘導できるようになる。このため、コンシェルジュ人格349は学習によりアルゴリズムの改良、改変を行う。アルゴリズムの改良、改変の具体的態様に制限はなく、プログラムそのものの変更を含んでもよいし、プログラムの動作を規定するパラメータの変更を含んでもよい。人格形成部311は、コンシェルジュ人格349の学習が進む毎に、人格DB34のコンシェルジュ人格349を更新する。
人格転送部312は、感情推定システム1を構成する各装置のいずれかから、パーソナル人格342すなわちパーソナル人格22を転送するよう要求された場合に、この要求に応答して、パーソナル人格342を含むプログラムおよびデータを通信部38により送信する。本実施形態で、人格転送部312は、パーソナル人格342のほか、パーソナル人格342が動作する場合に用いる他のデータを含む、人格DB34を、通信部38により送信する。
認証処理部313は、サーバ3が、通信ネットワーク2を介して他の装置からアクセスされた場合に、認証処理を実行する。認証処理部313は、サーバ3にアクセスした装置が送信する情報を、認証情報記憶部36が記憶する認証情報361と対比することで、認証を実行する。図1に示した自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および冷蔵庫15の各装置は、通信ネットワーク2によってサーバ3にアクセスする際に、ユーザUに対応するユーザID等の識別情報と、パスワード等の認証情報とを送信する。ユーザUの識別情報及び認証情報はユーザUに固有である。認証処理部313は、サーバ3にアクセスした装置に対する認証を実行する場合に、この装置を使用するユーザUを特定する。例えば、感情推定システム1が、複数のユーザUに対して上述した機能を実行する場合、サーバ3は、ユーザUごとに、人格DB34を有する。このため、認証処理部313は、認証を実行する際に、認証する装置を使用するユーザUを特定し、認証に成功した場合に、サーバ側制御部31は認証で特定されたユーザUに関する人格DB34を処理する。
人格転送部312は、認証処理部313による認証が成功した場合に、人格DB34を、通信部38により送信する。人格転送部312は、認証処理部313により認証された装置のカテゴリー等に応じて、人格DB34のうち送信するデータやプログラムを選択してもよい。
パーソナル人格実行部32は、パーソナル人格342を実行する。サーバ3において、人工知能のアルゴリズムを含むプログラムであるパーソナル人格342を実行する必要がある場合は、この処理をパーソナル人格実行部32が実行する。
パーソナル人格342は、上述したように、ユーザUの感情、或いは感情の変化を模倣する人工知能であり、具体的には、アルゴリズムを実行するためのプログラム、及び上記プログラムで処理されるデータを含む。パーソナル人格342は、ビッグデータ21に基づきユーザUに関する学習を行う学習機能、ユーザUの感情を推定(検出)する感情検出機能、ユーザUとの間で会話を行う会話実行機能等に対応するアルゴリズムを有する。
ベース人格343は、パーソナル人格342のアルゴリズムにより形成される仮想の人格であるベース人格に関するプログラム、および、データを含む。ベース人格については後述する。
行動予定データ344は、ユーザUの今後の予定に関するデータを含み、例えば、ビッグデータ21から抽出されたデータで構成される。行動予定データ344は、例えば、人格形成部311が、感情推定システム1を構成する各装置が送信するビッグデータ21から抽出した情報で構成される。人格形成部311は、通信ネットワーク2を介して接続される外部のサーバ(図示略)からユーザUの今後の予定に関するデータを受信して、行動予定データ344に含めてもよい。
感情検出履歴データ345は、自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、冷蔵庫15の各装置において、ユーザUの感情を検出した履歴を含むデータである。ここで、ユーザUの感情とは、ユーザUの感情を模倣するパーソナル人格342の感情であってもよい。この場合、感情検出履歴データ345は、パーソナル人格342の感情の履歴に関する情報を含んでもよい。
行動予定データ344および感情検出履歴データ345は、感情推定システム1の各装置が送信する行動予定データ344、感情検出履歴データ345で構成され、人格形成部311がビッグデータ21から抽出するその他のデータを含んでもよい。
感情検出DB346は、ユーザUの感情に関わる検出値として利用可能な各種データを含む。例えば、感情検出DB346は、マイクにより検出されるユーザUの声を解析して得られる韻律、音質、音韻等のデータ、及び、ユーザUの感情を示すパラメータを含んでも良い。また、感情検出DB346は、ユーザUの顔をカメラで撮像した撮像画像に関するデータを含んでも良い。具体的には、撮像画像から抽出されるユーザUの顔画像の特徴を示すデータと、ユーザUの感情を示すデータとを含んでも良い。
感情検出DB346が含むデータは、例えば、パーソナル人格342がユーザUの感情を検出する場合に使用する。パーソナル人格342は、感情検出用のアルゴリズムにより、ユーザUの音声を集音したデータやユーザUの顔の撮像画像からユーザUの感情を推定(検出)するときに、感情検出DB346のデータを参照する。また、感情検出DB346が含むデータは、パーソナル人格342がユーザUの感情を模倣するために参照することも可能である。また、コンシェルジュ人格349が、ユーザUの感情に対応する処理を行う場合に感情検出DB346のデータを参照してもよい。
また、パーソナル人格342は、感情検出DB346に含まれるデータを機械学習に利用してもよい。この機械学習は、話し相手の音声、表情、及び行動と、その話し相手の感情とが対応付いた訓練データを用いて行われる、いわゆる教師あり学習である。訓練データには、例えば、音声の韻律や音質、音韻、表情、及び行動(ジェスチャや運転操作)が多種多様に異なる多数のデータを用いることができる。また訓練データの感情は、「喜び」、「怒り」、「悲しみ」、「楽しみ」、「焦り」、「不安」、及び「中立」のいずれかに、その度合いとともに分類されている。このような機械学習により、音声、表情、及び行動に基づき、話し相手の感情を、その感情の度合いとともに分類するアルゴリズムが得られる。また、訓練データとして、感情推定システム1を構成する装置が過去に検出したユーザUの感情の検出結果と、ユーザUに関わる情報とを用いてもよい。
会話DB347は、コンシェルジュ人格349が会話用のアルゴリズムを利用してユーザUと会話を実行する場合に用いるデータを含む。具体的には、コンシェルジュ人格349が会話文を合成する場合に用いる単語辞書、発音辞書、音声辞書等のデータを含む。
また、会話DB347は、ユーザUの音声をパーソナル人格342が解析する場合に利用するデータを含んでも良い。
対応動作テーブル348は、ユーザUの感情に対応して実行する動作を定めるテーブル形式のデータである。対応動作テーブル348は、ユーザUの感情に関するデータと、ユーザUの感情を抑制し、或いは穏やかにするように、ユーザUに働きかける動作を定めるデータとが含まれる。
ユーザUに対して感情推定システム1の各装置が行う働きは、装置の種類によって異なる。サーバ3が人格DB34は、対応動作テーブル348を、装置のカテゴリー毎、或いは、装置毎に記憶しても良い。例えば、人格DB34が、複数の対応動作テーブル348を記憶しても良い。また、サーバ3が記憶する対応動作テーブル348は、複数のカテゴリーまたは複数の装置の各々に対応するテーブルを含んでもよい。この場合、1つの対応動作テーブル348が複数の装置に関するデータを含む構成としても良い。
コンシェルジュ人格349は、上述したように、ユーザUの感情に対応して。ユーザUの感情を所定の方向に仕向ける制御を行う人工知能であり、具体的には、アルゴリズムを実行するためのプログラム、及び上記プログラムで処理されるデータを含む。
図4は、自動二輪車4の制御系の構成を示す機能ブロック図である。
感情推定システム1でユーザUに関わる装置の一例として、自動二輪車4を説明する。
自動二輪車4は、鞍乗り型のバイクであってもよいしスクーターであってもよい。自動二輪車4は、走行に関わる各種センサを含むセンサ部43、および、走行に関わる各種動作を実行する動作部44を備える。また、自動二輪車4は、センサ部43および動作部44を制御するECU41を備える。本実施形態のECU41、センサ部43、および動作部44の各部は一般的な自動二輪車と変わらず、ECU41、センサ部43および動作部44の細部構成はあくまで一例である。
センサ部43は、照度センサ431、スイッチ432、スロットルセンサ433、舵角センサ434、ブレーキセンサ435、温度センサ436、および車速センサ437を備える。照度センサ431は自動二輪車4の周囲の明るさを検出する。スイッチ432は、自動二輪車4が備える各種スイッチであり、例えば、ウィンカースイッチ、ヘッドライトスイッチ、セルスタータースイッチ等を含む。スロットルセンサ433は、自動二輪車4のハンドル(図示略)に設置されたスロットルの操作量を検出する。舵角センサ434は、自動二輪車4のハンドル操作の操作量を検出する。ブレーキセンサ435は、自動二輪車4のブレーキレバーの操作量を検出する。自動二輪車4が、ユーザUの足により操作されるフットブレーキを備える場合、ブレーキセンサ435はフットブレーキの操作量を検出するものであってもよい。温度センサ436は、自動二輪車4のエンジンの温度、および/または自動二輪車4のトランスミッション等の駆動系の温度を検出する。例えば、自動二輪車4が搭載するエンジンが水冷式である場合、温度センサ436は冷却水の水温を検出してもよい。車速センサ437は、自動二輪車4の走行速度を検出する。
スイッチ432を除き、センサ部43を構成する各センサは、ECU41の制御に従って検出を実行し、検出値をECU41に出力する。また、ECU41は、スイッチ432の切り替え状態を常時検出可能である。
動作部44は、スロットル装置441、燃料噴射装置442、点火装置443、変速装置444、ブレーキ駆動装置445、灯火装置446、サスペンション調整部447、およびメーターパネル448を備える。
スロットル装置441は、ECU41の制御に従って、自動二輪車4のスロットルバルブ(図示略)の開度を調整する。燃料噴射装置442は、ECU41の制御に従って燃料を噴射する。自動二輪車4が備える燃料噴射装置442は、ポート噴射式であってもよいし直噴式であってもよく、噴射ノズルの数等も特に制限されない。燃料噴射装置442がポート噴射式の場合、スロットルバルブの開度に応じて燃料を噴射する。また、燃料噴射装置442が噴射する燃料の量はECU41により制御できる。
点火装置443は、自動二輪車4のエンジンの点火プラグおよび点火プラグに電圧を供給する回路を含む。ECU41は、点火装置443を制御することにより、自動二輪車4のエンジンの各シリンダにおける点火タイミングを制御できる。変速装置444は、エンジンに連結された自動変速装置であり、ECU41の制御に従って変速を実行する。変速装置444は、例えば、AT(Automatic Transmission)、ベルト式AT、CVT(Continuously Variable Transmission)、DCT(Dual Clutch Transmission)等である。ブレーキ駆動装置445は、自動二輪車4の前輪と後輪の各々に配置されたブレーキ装置であり、ブレーキレバーやフットブレーキの操作に応じて機械的に制動を行う。ブレーキ駆動装置445は、ブレーキレバーやフットブレーキの操作力をアシストして制動力を高めるブレーキブースターを有し、このブレーキブースターをECU41が制御できる。ブレーキ駆動装置445は、ブレーキレバーやフットブレーキの操作に応じてECU41が定めるタイミングおよび制動力で制動する構成であっても良い。灯火装置446は、自動二輪車4のヘッドランプ、ウィンカーランプ、ブレーキランプ、その他のマーカーランプを含む。灯火装置446は、ECU41の制御に従って少なくとも一部のランプの点灯および消灯を制御する。
サスペンション調整部447は、自動二輪車4のタイヤと車体フレームとの間に介設されるサスペンション装置(図示略)を調整する。例えば、自動二輪車4がアクティブサスペンション装置を備える場合、サスペンション調整部447は、ECU41の制御に従って、自動二輪車4の車高、ダンパーの減衰力等を調整する。メーターパネル448は、自動二輪車4の車速、エンジン回転数、走行距離、ランプ類の点灯状態、燃料の残量等を表示する。メーターパネル448は、暗所や夜間における視認性を高めるためにバックライトを有し、本実施形態では、ECU41の制御により、バックライトの発光色を変えることができる。
ECU41は、検出制御部411、スロットル制御部412、燃料噴射制御部413、点火制御部414、ブレーキ制御部415、サスペンション制御部416、ランプ点灯制御部417、および、表示制御部418を備える。
ECU41は、プログラムを実行するプロセッサであり、プロセッサ41と呼ぶこともできる。プロセッサ41は、集積回路や、マイクロコントローラ、マイクロコンピュータ、プログラマブルロジックコントローラ、特定用途向け集積回路、その他のプログラマブル回路を用いることができる。例えば、CPU、MPU、マイコン、或いはその他の演算処理装置で構成できる。また、プロセッサ41は、ROMやRAMを統合した統合チップ(例えば、いわゆるSoCデバイス)であってもよい。ECU41が、図示しないROMに記憶したプログラムを実行することにより、検出制御部411、スロットル制御部412、燃料噴射制御部413、点火制御部414、ブレーキ制御部415、サスペンション制御部416、ランプ点灯制御部417、および、表示制御部418の機能が実現される。
検出制御部411は、センサ部43に含まれる各種センサの検出値およびスイッチ432の状態を取得する。スロットル制御部412は、検出制御部411が検出した検出値等に基づいて、スロットル装置441を動作させる。燃料噴射制御部413は、検出制御部411が検出した検出値等に基づいて、燃料噴射装置442による燃料の噴射タイミングや噴射量を制御する。点火制御部414は、検出制御部411が検出した検出値等に基づいて点火装置443を制御し、適切なタイミングで点火プラグに点火させる。ブレーキ制御部415は、ブレーキ駆動装置445を制御することにより、ブレーキブースターの動作を制御する。サスペンション制御部416は、サスペンション調整部447を制御して、自動二輪車4の車高調整、サスペンションセッティングの設定等を行う。ランプ点灯制御部417は、スイッチ432の切り替え状態に対応して、灯火装置446を構成する各ランプの点灯および消灯を制御する。表示制御部418は、メーターパネル448のバックライトの点灯および消灯の切り替えや、バックライトの発光色の変更を行う。
自動二輪車4は、ECU41、センサ部43および動作部44の機能により、ユーザUの操作に応じて走行することが可能である。これらは、自動二輪車4の走行に要する最小構成といえる。
さらに、自動二輪車4は、装置側制御部46、通信部47、人格DB48、および、外部センサ49を備える。装置側制御部46は、人工知能であるパーソナル人格482を実行する機能部であり、プロセッサと、プロセッサが実行するプログラムとの協働により構成される。装置側制御部46には人格DB48、および外部センサ49が接続される。
装置側制御部46は、プログラムを実行するプロセッサであり、プロセッサ46と呼ぶこともできる。プロセッサ46は、集積回路や、マイクロコントローラ、マイクロコンピュータ、プログラマブルロジックコントローラ、特定用途向け集積回路、その他のプログラマブル回路を用いることができる。例えば、CPU、MPU、マイコン、或いはその他の演算処理装置で構成できる。また、プロセッサ46は、ROMやRAMを統合した統合チップ(例えば、いわゆるSoCデバイス)であってもよい。また、人格DB48は、実体としてデータを記憶する記憶装置であり、記憶装置48と呼ぶこともできる。記憶装置48は、例えば、HDD等の磁気的記録媒体を用いた記憶装置、SSD、フラッシュROM、SRAM等の半導体記憶素子を用いた記憶装置が挙げられる。
通信部47は、通信ネットワーク2に接続され、通信ネットワーク2を介してサーバ3(図1)と通信を実行する。通信部47は、装置側制御部46が出力するデータをサーバ3に送信し、サーバ3から受信したデータを装置側制御部46に出力する。外部センサ49は、ヘッドセット491、カメラ494、Gセンサ495、GPS受信部496、および無線通信部497を備える。ヘッドセット491は、ユーザUが装着するヘルメットに設けられ、マイク492、およびスピーカ493を有する。マイク492はユーザUが発する音声を集音して装置側制御部46に音声信号を出力する。スピーカ493は、ユーザUが耳に装着するイヤホンであってもよく、装置側制御部46の制御に従って音声を出力する。ここで、ヘッドセット491と装置側制御部46との間に、アナログ音声信号とデジタルデータとの変換を行うA/D(Analogue / Digital)変換器を設けてもよいし、ヘッドセット491がA/D変換器を備えてもよい。
カメラ494は、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを備え、ユーザUの顔を含む撮像範囲を撮像し、撮像画像データを装置側制御部46に出力する。Gセンサ495は、加速度を検出するセンサであり、検出値を装置側制御部46に出力する。Gセンサ495は、1軸方向のGを検出する1軸のセンサであってもよいし、2軸、或いは3軸センサであってもよい。また、Gセンサ495は、角速度センサ等と組み合わされた統合型のモーションセンサユニットであってもよい。
GPS受信部496は、GPS信号を受信するアンテナ(図示略)を備え、自動二輪車4の現在位置を測位し、測位結果を装置側制御部46に出力する。
無線通信部497は、少なくとも近距離無線通信プロトコルを利用した近距離通信を行う。近距離無線通信は、通信エリアが少なくとも数十センチから数メートル以上の無線通信である。近距離無線通信プロトコルには、Bluetooth(登録商標)、IrDA(登録商標)、RFID(Radio Frequency Identification)、IEEE 802.11(いわゆる無線LAN)などが挙げられる。無線通信部497は、例えば、ユーザUが所持し使用するスマートフォン、ワイヤレスマイク、その他の機器との間で無線通信を実行する。
人格DB48が格納する各種データは、サーバ3(図2)が有する人格DB34に格納されるデータである。装置側制御部46は、通信部47によってサーバ3にアクセスし、認証処理を経てダウンロードしたデータを人格DB48に記憶する。
パーソナル人格482は、上述したように、ユーザUの感情、或いは感情の変化を模倣する人工知能であり、具体的には、アルゴリズムを実行するためのプログラム、及び上記プログラムで処理されるデータを含む。パーソナル人格482は、例えば、サーバ3において学習を実施したパーソナル人格342を、装置側制御部46がダウンロードしたものである。
ベース人格483は、パーソナル人格482のアルゴリズムにより形成される仮想の人格であるベース人格に関するプログラム、および、データを含む。
パーソナル人格482は、ユーザUと同様の感情の傾向を有し、或いは、ユーザUの感情の傾向を模倣する、仮想的な人格である。パーソナル人格482は外的な要因に対応して、ユーザUの感情の変化をシミュレートし、ユーザUの感情をまねた感情を生成する。ここで、パーソナル人格482は、外的な要因と、この外的な要因に対応して生成または変化するユーザUの感情との両方に基づき、ユーザUの感情を模倣してもよい。
人間の感情には個性が反映され、人により、例えば、特定の感情を想起しやすい傾向を持つことがある。このようなユーザUの性格傾向、感情の傾向あるいは特性は個人差があり、例えば、怒りの感情を想起しやすい人や、少しのいらだちを感じている状態が普通に感じられる人がいれる。ベース人格483は、ユーザUの感情の傾向を加味して、通常の状態におけるユーザUが抱く感情を示す。ベース人格483は、感情を生成または変化させるアルゴリズムを有するプログラムであってもよいし、AIであってもよいが、感情の種類と程度とを示す基準値であってもよい。通常の状態におけるユーザUとは、感情推定システム1を構成する各装置が収集したビッグデータ21に基づき特定される仮想の人格である。簡単に表現すれば、「いつものユーザU」ならばどのような感情を抱くかを、ベース人格483の感情から得ることができる。
ベース人格483は、例えば、サーバ3が形成して、自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14および冷蔵庫15の各装置に送信(配信)してもよい。本実施形態では、自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14および冷蔵庫15の各装置の少なくともいずれかが形成する。後述するように、本実施形態では、自動二輪車4が装置側制御部46によりベース人格483を形成する。
行動予定データ484(行動予定表)は、人格DB34が格納する行動予定データ344と同様のデータであり、ユーザUの今後の予定に関するデータを含む。自動二輪車4はサーバ3から行動予定データ344をダウンロードして人格DB48に記憶する。このため、装置側制御部46は、最新の行動予定データ484を参照できる。
感情検出履歴データ485(感情蓄積部)は、ユーザUについて感情を推定し、検出した履歴のデータであって、装置側制御部46がサーバ3からダウンロードする。感情検出履歴データ485は、自動二輪車4において装置側制御部46がユーザUの感情を推定した履歴のデータを含む。さらに、感情推定システム1の他の装置(四輪車11、炊飯器12、掃除機13、テレビ受像機14、冷蔵庫15)がユーザUの感情を推定した履歴を含む。
感情検出DB486は、ユーザUの感情に関わる検出値として利用可能な各種データを含む。感情検出DB486は、人格DB34が記憶する感情検出DB346と同様のデータを含む。感情検出DB486は、装置側制御部46がサーバ3からダウンロードして、人格DB48に記憶してもよい。
会話DB487は、装置側制御部46が会話用のアルゴリズムを利用してユーザUと会話を実行する場合に用いるデータを含み、例えば、人格DB34が記憶する会話DB347と同様のデータを含む。
対応動作テーブル488は、ユーザUの感情に対応して実行する動作を定めるテーブル形式のデータである。対応動作テーブル488は、ユーザUの感情に関するデータと、ユーザUの感情を抑制し、或いは穏やかにするように、ユーザUに働きかける動作を定めるデータとが含まれる。特に、対応動作テーブル488は、ユーザUの感情に対応して自動二輪車4が実行する動作を定めるテーブルであり、四輪車11、炊飯器12などの他の装置が実行する動作に関するデータを含まない構成であってもよい。例えば、装置側制御部46は、人格DB34が格納する対応動作テーブル348のうち、自動二輪車4の動作に係るデータのみをダウンロードして、対応動作テーブル488として記憶してもよい。
コンシェルジュ人格489は、上述したように、ユーザUの感情に対応して。ユーザUの感情を所定の方向に仕向ける制御を行う人工知能であり、具体的には、アルゴリズムを実行するためのプログラム、及び上記プログラムで処理されるデータを含む。
装置側制御部46は、人格DB48が記憶するパーソナル人格482、及び、コンシェルジュ人格489を実行することにより、人工知能の各種機能を実現する。装置側制御部46は、通信制御部461、外部センサ制御部462、車両センサ制御部463、感情検出部464、走行状態調整部465、会話実行部466、出力制御部467、ベース人格形成部468、感情変化原因推定部469、及び、動作制御部470を有する。このうち、少なくとも感情検出部464、ベース人格形成部468、および感情変化原因推定部469は、パーソナル人格482を実行することにより実現される機能である。また、動作制御部470は、コンシェルジュ人格489を実行することにより実現される機能である。走行状態調整部465、及び、会話実行部466は、コンシェルジュ人格489に関連して実現される機能である。他の機能は、装置側制御部46が使用するプロセッサが、パーソナル人格482とは異なるプログラムを実行して構成されてもよい。
通信制御部461は、通信部47を制御して通信ネットワーク2を介したデータ通信を実行する。通信制御部461は、サーバ3に対して認証用の情報を送信する動作、サーバ3から人格DB34に含まれるデータをダウンロードする動作等を実行する。また、通信制御部461は、無線通信部497を制御して、各種の装置との間でデータ通信を実行しても良い。
外部センサ制御部462は、外部センサ49の各部を制御して検出値を取得する。具体的には、外部センサ制御部462は、マイク492、カメラ494、Gセンサ495、およびGPS受信部496の検出値や検出結果を取得する。
車両センサ制御部463は、ECU41の制御下にあるセンサ部43に含まれる各センサの検出値を、ECU41から取得する。これにより、装置側制御部46が実行する人工知能が、センサ部43が検出する検出値を利用できる。
感情検出部464(運転傾向判定部)は、ユーザUの感情を推定する。感情検出部464は上述したパーソナル人格482の機能である。感情検出部464は、マイク492が集音したユーザUの音声、および、カメラ494の撮像画像から、ユーザUの感情を検出する。また、感情検出部464は、感情検出履歴データ485を参照し、過去に検出されたユーザUの感情や、直前に検出されたユーザUの感情に関するデータを取得し、感情検出に用いることもできる。この場合は、他の装置が検出したユーザUの感情に関するデータを用いることもできる。また、感情検出履歴データ485は、行動予定データ484を参照し、未来のユーザUの予定を加味してユーザUの感情を検出することもできる。本実施形態では、パーソナル人格482が感情検出部464の機能を有するものとして説明するが、感情検出部464がコンシェルジュ人格489により実現される機能であってもよい。
感情検出部464は、機械学習によって得られたアルゴリズムを用いて、ユーザUの感情を推定する。この機械学習は、上述したように訓練データを用いて行われる、いわゆる教師あり学習である。感情検出部464は上記アルゴリズムに基づき、ユーザUの音声、表情、及び行動の入力を受け、ユーザUの感情の分類を、及び感情の度合いを出力する。なお、感情の分類は、あくまでも例示であり、必要に応じて適宜に変更してもよい。感情検出部464には、機械学習で得たアルゴリズムを用いた推定に代えて、既存の任意の感情認識技術を用いることもできる。
ここで、感情検出部464は、外部センサ制御部462が取得する外部センサ49の検出結果、車両センサ制御部463が取得するセンサ部43の検出結果、及び、感情検出履歴データ485に含まれる履歴のデータから、直接感情を検出するものに限らない。例えば、感情検出部464は、センサ部43及び外部センサ49の検出結果と感情検出履歴データ485のデータに基づきユーザUの感情または感情の動きをシミュレート(模倣)することにより、ユーザUの感情を推定、或いは検出してもよい。
そして、感情検出部464は、ユーザUの感情を推定した結果に、さらに、ベース人格483を加味して、ユーザUの感情を検出する。感情検出部464は、推定したユーザUの感情とベース人格483の感情とを比較し、ユーザUの感情を特定する。感情検出部464が、ユーザUの感情を、ベース人格483の感情と比較して得る結果を、感情属性と呼ぶ。
さらに、本実施形態の感情検出部464は、ユーザUが自動二輪車4を運転する際の操作の態様を、ユーザUの感情を検出するパラメータとして用いる。
図5は、感情検出部464がユーザUの感情を検出する場合のパラメータを設定する感情検出設定データ401の構成例を示す模式図である。感情検出設定データ401は、例えば、パーソナル人格482またはコンシェルジュ人格489に係るデータの1つとして人格DB48に記憶される。また、図6は、パーソナル人格482及びベース人格483の関係を示す説明図である。
例えば、ユーザUが、「悲しみ」の感情を抱くことが多い人物、或いは性格であると仮定する。このようなユーザUは、「悲しみ」の感情を抱くことが日常的であり、ユーザU自身にとっては通常の状態である。いわば、ユーザUの感情は特に「悲しみ」を意識するような状態ではなく、感情は「平穏」であるということもできる。これに対し、「悲しみ」の感情を抱くことが極めて希なユーザUが、「悲しみ」の感情を抱いた場合、非日常的であり、ユーザU自身にとっては非常に珍しい状態である。このように、ユーザUの感情として「悲しみ」が検出された場合の重要度は、ユーザUの感情の傾向や性質により異なる。
感情検出部464は、ベース人格483の感情を参照することで、ビッグデータ21から得られるユーザUの人格像が抱く感情を得て、この感情と、推定したユーザUの感情とを比較する。これにより、ユーザU自身にとって、どのような感情であるかを、高精度で推定し、検出できる。
図5の感情検出設定データ401では、感情検出部464がユーザUの感情を検出する場合に取得するデータ、すなわち検出値として、音声、スロットル開度、ブレーキ操作量、Gセンサ495の検出値、カメラ494の撮像画像、等が設定される。音声は、マイク492が検出する音声である。感情検出部464は、マイク492が検出する音声について、会話内容、独り言の頻度や回数、独り言の内容等を感情検出のパラメータとして利用する。また、スロットル開度はスロットルセンサ433の検出値であり、感情検出部464は、スロットル開度の変化を感情検出のパラメータとして利用する。ブレーキ操作量はブレーキセンサ435の検出値である。例えば、ユーザUが「怒り」の感情を抱いている場合に、スロットルやブレーキの操作が乱暴になり、スロットルセンサ433、ブレーキセンサ435の検出値が急峻に変化する。また、自動二輪車4の車体の挙動が不安定化することもあり、GPS受信部496の検出値の変化が急峻になる。このような変化を、ユーザUの感情の検出に利用できる。感情検出設定データ401に設定される検出値、およびパラメータは、ベース人格483の感情の検出にも利用できる。
図6には、ユーザUの感情の変化を図表として示す。図6の図表では縦軸を感情軸とし、横軸を時間の経過とする。縦軸の感情はどのような感情でもよいが、図6では一例として、「怒」(感情E1)−「穏」(感情E2)の軸を示す。縦軸上の点Nは、感情が中性の状態を示す中性点であり、ユーザUの感情が中性点Nであれば、「怒」と「穏」の対比においては中立した感情である。
図6にはベース人格483の感情を曲線BaCで示す。図6の曲線BaCは直線に見えるが曲線であってもよい。また、パーソナル人格482の感情を曲線PeCで示す。パーソナル人格482は、ユーザUの感情を模倣するように変化するので、曲線PeCはユーザUの感情の変化を示している(或いは、シミュレートしている)ということもできる。
曲線BaCと縦軸および横軸の比較から明らかなように、図6の例ではユーザUの通常の感情であるベース人格483は、中性点Nよりも「怒」に偏った位置にある。従って、例えば点P1では、曲線PeCが示すパーソナル人格482の感情は、中性点Nよりも「怒」に偏った位置にあり、曲線BaCに重なる。つまり、点P1では、パーソナル人格482の感情が、「いつものユーザUの感情」であるベース人格483と一致する。この場合、感情は「怒」に偏っているが、ユーザUは冷静で落ち着いた状態であるといえる。
図6の点P2では、曲線PeCは、曲線BaCよりも「怒」に大きく偏った位置にある。この場合、動作制御部470は、点P2の感情を、曲線BaCの感情に近づけるように、自動二輪車4の動作を実行させる。具体的には、動作制御部470は、走行状態調整部465、会話実行部466、及び出力制御部467を制御して、各種動作を実行させる。
また、図6の点P2においてはパーソナル人格482の感情とベース人格483の感情との間に、縦軸方向に差があるが、この差を感情属性ということができる。
動作制御部470は、パーソナル人格482の感情をベース人格483の感情に近づける動作を実行する基準として、基準範囲ERを有する。図6の例では、基準範囲ERは、感情軸においてベース人格483の感情からプラス方向、及び、マイナス方向に所定の幅を持つように設定される。基準範囲ERのプラス方向の幅、及び、マイナス方向の幅は、それぞれ独立して設定されても良いし、ベース人格483の感情を中心とするように設定されてもよい。また、基準範囲ERの大きさは、感情検出部464が検出する感情の種類ごとに設定されてもよい。例えば、感情軸におけるベース人格483の感情を基準に、プラス方向に所定%、マイナス方向に所定%と設定できる。
パーソナル人格482の感情が、ベース人格483の感情から、基準範囲ERを超える程度に乖離した場合に、動作制御部470は、パーソナル人格482の感情に所定以上の変化があった場合に該当すると判定する。すなわち、基準範囲ERの大きさは、パーソナル人格482の感情の変化を判定する基準となる、所定の範囲といえる。
基準範囲ERの大きさはユーザUごとに異なる。例えば、感情の起伏や感情の変化が少ない、大きいなどのベース人格483の特性に基づき、基準範囲ERの大きさが決定される。基準範囲ERの大きさは、例えば、感情検出部464または動作制御部470が決定してもよい。このように基準範囲ERを設定することで、感情検出部464が検出した感情がベース人格483の感情から離れている場合に、動作制御部470が動作を実行する基準が明確になる。このため、動作制御部470がユーザUに対して行う働きかけの頻度を、適切な程度に抑えることができ、ユーザUの感情に対し過度に干渉する事態を回避できる。これにより、ユーザUに、動作制御部470の制御を煩わしく感じさせることなく、ユーザUの感情を効果的に誘導して静穏化させ、ユーザUが快適に、安定して自動二輪車4を運転できるようにする。
図4に戻り、動作制御部470は、感情検出部464が検出するユーザUの感情に基づき、ユーザUの感情に働きかける動作を実行する。動作制御部470は、走行状態調整部465を制御して、動作部44の各部を動作させる。また、動作制御部470は、会話実行部466を制御して、ユーザUとの間の会話を実行させる。また、動作制御部470は、出力制御部467を制御して、走行状態調整部465及び会話実行部466とは異なる動作を実行させる。動作制御部470が、走行状態調整部465、会話実行部466及び出力制御部467に実行させる動作は、後述する対応動作テーブル488に設定されている。
走行状態調整部465は、後述する動作制御部470の制御に従って、動作部44を動作させる。
会話実行部466は、動作制御部470の制御に従って、ユーザUとの間で音声による会話を実行する。会話実行部466は、人工知能が有する会話のアルゴリズムに従って、マイク492とスピーカ493を制御し、音声による会話を行う。ここで、会話実行部466は、会話DB487を参照し、ユーザUが発する音声の認識や、ユーザUに対して発話する語や文の選択あるいは構築を行ってもよい。
出力制御部467は、動作制御部470の制御に従って、走行状態調整部465および会話実行部466が実行する動作以外の動作を実行する。
ベース人格形成部468は、ベース人格483を形成する。
感情変化原因推定部469は、感情検出部464が検出したユーザUの感情が大きく変化した場合に、感情の変化を招いた要因を推定する。感情検出部464は、設定された時間毎、或いは、外部要因により定まるタイミングに従い、ユーザUの感情を検出する。感情変化原因推定部469は、感情検出部464が検出するユーザUの感情と、それ以前、特にその直前に感情検出部464または他の装置が検出した感情との差を求める。感情検出部464が過去に検出した感情や、他の装置が過去に検出した感情に関するデータは感情検出履歴データ485に含まれる。ユーザUの感情を変化させる要因は様々であるが、本実施形態の感情変化原因推定部469は、行動予定データ484に含まれるユーザUの予定に関するデータから、感情変化の要因となった予定を探す。
図7は、対応動作テーブル488の構成例を示す模式図である。図8は、対応動作テーブル488aの構成例を示す模式図である。対応動作テーブル488aは、図7の対応動作テーブル488の一部を構成する。
上述のように、ユーザUの感情に対応して感情推定システム1の各装置が実行する動作は、装置によって異なる。図7および図8に示す対応動作テーブル488aは自動二輪車4の動作について設定される例を示す。対応動作テーブル488には、感情検出部464が検出したユーザUの感情に対応付けて、装置側制御部46が実行する動作が設定される。
図7の例では、対応動作テーブル488に設定される動作は3種類ある。すなわち、ユーザUの感情が通常である場合に実行される動作と、ユーザUの感情を静穏化させるために実行される動作と、ユーザUの感情が運転に影響あると判定された場合の動作である。
ユーザUの感情を静穏化するとは、ユーザUの感情を、平常のユーザUの感情に戻す、或いは近づけることを指す。具体的には、図6に示したように、パーソナル人格482の感情すなわちユーザUの感情を、ベース人格483の感情に戻す又は近づけることをいう。別の表現では沈静化、抑制、等ということもできる。
図7の例で、ユーザUの感情が「怒り」の場合の感情静穏化用の動作である「動作A−2」は、ユーザUの怒りを抑えて冷静にさせるよう働きかける動作である。ユーザUの感情が「悲しい」の場合の感情静穏化用の動作である「動作S−2」は、ユーザUを元気付けるよう働きかける動作である。
また、運転に影響がある感情は、例えば、怒る、心配、哀しい(悲しい)、不安、が挙げられる。これらの感情を感情検出部464が検出した場合に装置側制御部46が実行する動作は、ユーザUの感情を静穏化し、穏やかにするように、ユーザUに働きかける動作である。ユーザUの感情の静穏化とは、ユーザUの感情を、平常のユーザUの感情に戻す、或いは近づけることを指し、具体的にはベース人格483の感情に戻す又は近づけることをいう。別の表現では沈静化、抑制、等といえる。
図7の例では、対応動作テーブル488において、ユーザUの感情が「怒り」の場合の運転用の動作である「動作A−3」、および、ユーザUの感情が「悲しい」の場合の運転用の動作である「動作S−3」は、ユーザUの感情を静穏化するための動作である。
ここで、運転に影響があると判定されない感情について、対応動作テーブル488に設定される動作は、何も動作をしないことであってもよい。例えば、ユーザUの感情が「つまらない」の場合や「疲れ」の場合に対応付けて設定される運転用の動作は、何もなくてもよい。また、ユーザUが運転に集中することを支援する動作が設定されてもよい。例えば、ユーザUの感情が「つまらない」の場合や「疲れ」の場合に対応する運転用の動作として、ユーザUを退屈させず運転に集中するよう促す動作が設定されてもよい。
図8は、対応動作テーブル488において設定される動作の内容の一例を示す図である。図8には、例として、図7の対応動作テーブル488に例示した「動作A−2」の具体的な内容の例を示す。図8に設定される内容は、例えば。対応動作テーブル488に付随する対応動作テーブル488aとして、人格DB48が記憶してもよい。
動作A−2は、ユーザUの感情が「怒り」である場合に、ユーザUの感情を静穏化するようにユーザUに働きかける動作である。動作の種類は、「動作詳細」に設定される。すなわち、装置側制御部46は、自動二輪車4のエンジン出力、トルクコントロール、スロットル開度制限、ABS(Antilock Brake System)、サスペンションセッティング、メーターパネル表示、音声、等の各項目の動作を行う。これらの動作は走行状態調整部465の制御により実行される。
対応動作テーブル488、488aに設定される各種動作は、動作制御部470の制御により実行される。動作制御部470は、対応動作テーブル488、488aに従って走行状態調整部465を制御することにより、動作部44による動作を行う。また、動作制御部470は、対応動作テーブル488、488aに従って会話実行部466を制御することにより、音声による会話を行う。動作制御部470は、対応動作テーブル488、488aに従って出力制御部467を制御することにより、動作部44の動作及び会話以外の動作を行うことができる。
エンジン出力の制御について、走行状態調整部465は、スロットル制御部412が使用するスロットル装置制御パラメータ、燃料噴射制御部413が使用する燃料噴射マップ、点火制御部414が使用する点火時期パラメータを調整する。図8の例では、スロットル装置制御パラメータを、スロットル操作に対応するスロットル開度が低くなるよう調整し、燃料噴射マップおよび点火時期パラメータを、スロットル操作に対応するエンジン出力が低くなるよう調整する。これらのパラメータやマップは、ECU41が内蔵するROM(図示略)等の記憶装置に記憶される。走行状態調整部465は、上記の各パラメータやマップを、予め用意された別のパラメータやマップに切り替える。
トルクコントロールについて、走行状態調整部465は、燃料噴射制御部413が使用する燃料噴射マップ、および、点火制御部414が使用する点火時期パラメータを調整する。これにより、燃料噴射マップおよび点火時期パラメータが、出力トルクが低くなるよう調整される。スロットル開度制限に関し、走行状態調整部465は、スロットル制御部412が使用するスロットル装置制御パラメータを調整して、スロットル装置441がスロットルバルブを開く開度の上限を、例えば通常位置より低くする。ABSについて、走行状態調整部465は、ブレーキ制御部415が使用するブレーキ制御パラメータを調整して、ABSの作動条件を変更する。これにより、例えば、ABSが、通常時よりも高速度から作動するようになる。サスペンションセッティングについて、走行状態調整部465は、サスペンション制御部416が使用するサスペンションセッティング調整用のパラメータを調整する。例えば、自動二輪車4のサスペンション調整部447がアクティブサスペンションやセミアクティブサスペンションを搭載している場合、サスペンション制御部416の制御により走行中や停車中に減衰力や車高等のサスペンションセッティングが調整される。走行状態調整部465は、サスペンション制御部416が使用するパラメータを調整し、例えば、サスペンション制御部416が乗り心地を重視したセッティングを行うようにする。
メーターパネル表示について、走行状態調整部465は、表示制御部418が使用するデータを調整し、メーターパネル448の表示を、ユーザUをリラックスさせる効果が期待できる色に変更する。
音声に関する動作は会話実行部466が実行する。会話実行部466は、会話DB487を参照して、マイク492およびスピーカ493を用いてユーザUと音声による会話を実行し、ユーザUをリラックスさせる効果が期待できる会話を行う。会話実行部466は、例えば、スピーカ493から出力する声の高さ、声色、話す速さ、ユーザUの音声に対する応答時間、等を調整する。
対応動作テーブル488は、図8に例示した動作A−2に限らず、図7の例を含む各動作について、走行状態調整部465、会話実行部466および出力制御部467が実行する動作の内容を詳細に定める情報を含む。
続いて、感情推定システム1の動作についてフローチャートを参照して説明する。
図9は、感情推定システム1の動作を示すフローチャートであり、特に、ビッグデータ21をアップロードする際の感情推定システム1の各装置の動作を示す。
図9の動作は、自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および冷蔵庫15の各装置が実行可能である。
自動二輪車4においては、装置側制御部46が図9の動作を実行する。この場合、外部センサ制御部462および車両センサ制御部463が、自動二輪車4の各種センサの検出値を取得する(ステップS11)。ステップS11で検出される検出値は、マイク492、カメラ494、Gセンサ495、およびGPS受信部496から外部センサ制御部462が検出する検出値を含む。また、車両センサ制御部463によって、センサ部43に含まれる各センサの検出値を含む。
通信制御部461は、外部センサ制御部462および車両センサ制御部463が取得した検出値をアップロードする基準に達したか否かを判定する(ステップS12)。アップロードの基準は、例えば、予め設定された時間が経過する毎、ステップS11で取得した検出値の数、設定された特定のセンサの検出値を取得する毎、等とすることができる。アップロードの基準に達しない場合(ステップS12;NO)、通信制御部461はステップS11に戻り、外部センサ制御部462および車両センサ制御部463が検出値を取得する。アップロードの基準に達した場合(ステップS12;YES)、通信制御部461は、通信部47によりサーバ3に対して接続要求と認証情報を送信し(ステップS13)、認証に成功した後に、ステップS11で取得した検出値をサーバ3に送信する。
図10は、サーバ3の動作を示すフローチャートである。図10の動作は、図9の動作を実行する装置から送信される検出値の受信に係る動作を示す。
サーバ側制御部31は、通信部38によって自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14および冷蔵庫15のいずれかから接続要求を受信した場合に、接続要求とともに認証情報を受信して、認証処理部313により認証を行う(ステップS21)。ステップS21で、認証処理部313は、通信部38により受信した認証情報を、認証情報記憶部36が記憶する認証情報361と照合することにより、認証を実行し、接続要求をした装置を特定する。
サーバ側制御部31は、人格形成部311により、ステップS21で認証した装置に対応するパーソナル人格342を特定する(ステップS22)。続いて、サーバ側制御部31は、人格形成部311によって、ステップS21で認証に成功した装置から検出値を受信する(ステップS23)。サーバ側制御部31は、受信した検出値を人格DB34に登録して、人格DB34を更新する(ステップS24)。サーバ側制御部31は、ステップS23で受信した検出値を解析して、人格DB34に記憶する。例えば、サーバ側制御部31は、ユーザUの予定に関するデータを検出値から抽出して、行動予定データ344を更新する。
サーバ側制御部31は、ステップS24で検出値を人格DB34に登録したことにより、パーソナル人格342の学習を行う基準に達したか否かを判定する(ステップS25)。学習を行う基準は、例えば、予め設定された時間が経過する毎、ステップS24で人格DB34に登録した検出値の数、等とすることができる。
学習を行う基準に達していない場合(ステップS25;NO)、サーバ3は本処理を終了する。
学習を行う基準に達した場合(ステップS25;YES)、サーバ側制御部31は、パーソナル人格実行部32によりパーソナル人格342を実行し、パーソナル人格342が備える機械学習の機能によって、ステップS24で人格DB34に登録された検出値に基づく学習を実行する(ステップS26)。この学習により、パーソナル人格342のアルゴリズムやパラメータが更新される(ステップS27)。その後、サーバ3は、感情推定システム1を構成する各装置に対して、パーソナル人格342が更新されたことを通知し(ステップS28)、本処理を終了する。
なお、図10のステップS26で実行されるパーソナル人格342の学習を、サーバ3以外の装置で実行することも勿論可能である。例えば、自動二輪車4が、装置側制御部46によって、センサ部43及び/又は外部センサ49で検出した検出値に基づいて、パーソナル人格482の学習を実行してもよい。この場合、自動二輪車4は、学習した後のパーソナル人格482をサーバ3に送信してもよく、このときに、学習に用いた各種の検出値をビッグデータ21としてサーバ3に送信してもよい。
図11は、感情推定システム1の動作を示すフローチャートであり、特に、感情推定システム1を構成する装置においてベース人格を形成する動作を示す。ここでは、自動二輪車4が、ベース人格483を形成する処理を示す。
装置側制御部46が備えるベース人格形成部468は、感情検出履歴データ485を参照して、感情検出部464が過去にユーザUの感情を検出した履歴を取得する(ステップS31)。
ベース人格形成部468は、ステップS31で取得した履歴に基づいてユーザUの感情の傾向を判定し(ステップS32)、判定した傾向を反映したベース人格483を生成する(ステップS33)。
ベース人格形成部468は、ステップS33で生成したベース人格483に係るデータを生成市、人格DB48に登録する(ステップS34)。
ベース人格483は、ユーザUの感情をシミュレートするプログラム、或いは、ユーザUの感情の傾向を示すデータであってもよい。また、ベース人格483が人工知能である場合、ステップS33では、基本的な人工知能のアルゴリズムを含むプログラムをベース人格形成部468が実行し、この人工知能のアルゴリズムがステップS32で取得された履歴のデータを機械学習することにより、ユーザUに適したベース人格483を形成する。この場合、ステップS33では、機械学習により新たなアルゴリズムが獲得され、ステップS34では獲得されたアルゴリズムを含むプログラムおよびデータが人格DB48に記憶される。
ベース人格形成部468は、図11の動作を、ベース人格483が形成された後で、所定の条件に従って繰り返し実行してもよい。例えば、装置側制御部46がサーバ3に検出値を送信する毎に、行ってもよい。
このようにして生成されるベース人格483は、自動二輪車4が人格DB48に格納するだけでなく、自動二輪車4からサーバ3に送信してもよい。すなわち、図9で説明した動作において、検出値とともに、ベース人格483を送信してもよい。この場合、サーバ側制御部31は、図10に示す動作において、検出値とともにベース人格483を受信し、人格DB34に記憶するベース人格343を更新してもよい。そして、サーバ側制御部31が更新したベース人格343が更新されたことを感情推定システム1の他の装置に通知して、他の装置が、更新されたベース人格343をダウンロードしてもよい。この場合、特定のユーザUに関わる複数の装置が、ベース人格343を共有できる。また、それぞれの装置においてベース人格343が学習を行った場合に、学習により更新されたベース人格343が、再び人格DB34にアップロードされ、他の装置に配信される構成であってもよい。
また、サーバ3が、図11に示す動作を行ってもよい。この場合、サーバ3のサーバ側制御部31は、図10の動作でパーソナル人格342を更新する毎、或いは、ビッグデータ21に新たなデータが追加される毎に、図11の動作を行ってもよい。この場合、サーバ3は、更新したベース人格343を感情推定システム1の各装置に送信してもよいし、図10のステップS28と同様に、ベース人格343の更新を通知してもよい。また、サーバ3及び自動二輪車4以外の装置において図11の動作を実行してもよい。
図12は、感情推定システム1の動作を示すフローチャートであり、感情推定システム1を構成する各装置が実行する動作を示す。図13は、サーバ3の動作を示すフローチャートである。また、図14は、図12のステップS45の動作を詳細に示すフローチャートである。
図12、図13および図14は、感情推定システム1を構成する各装置がサーバ3から人格DB34をダウンロードし、感情検出の履歴をアップロードする動作を示す。図12および図14の動作を実行する主体は、感情推定システム1においてサーバ3を除く、どの装置であってもよく、ここでは自動二輪車4が実行する例を説明する。
図12の動作は、ユーザUが自動二輪車4を使用している状態で実行可能となる。装置側制御部46は、ユーザUによるサインインの要求を検出する(ステップS41)。サインインの要求の具体的態様は、例えば、ユーザUが音声で、サインインを指示することに相当する。通信制御部461は、接続要求と認証情報とを、通信部47によってサーバ3に送信し(ステップS42)、これによりサーバ3が認証を実行する。
認証に成功した後、通信制御部461は、サーバ3から、人格DB34をダウンロードする(ステップS43)。ステップS43では、人格DB34に含まれる一部のプログラムやデータのみをダウンロードしてもよい。また、過去に人格DB34をダウンロードして人格DB48に格納したことがある場合、ステップS43では、人格DB48と人格DB34との差分のみをダウンロードしてもよい。
装置側制御部46は、ダウンロードしたパーソナル人格482の実行を開始する(ステップS44)。ステップS44で、パーソナル人格482を実行することにより、ユーザUの感情を検出可能となる。また、装置側制御部46は、ステップS44で、動作制御部470の実行を開始する。これにより、自動二輪車4が、ユーザUに対するコンシェルジュ機能を含む人工知能として機能する。
装置側制御部46は、感情検出部464の機能により、ユーザUの感情を検出する感情検出処理を実行する(ステップS45)。感情検出処理の詳細は、図14を参照して後述するが、概要は、感情検出部464がユーザUの感情を検出し、この感情に対応して動作制御部470が走行状態調整部465、会話実行部466および出力制御部467を制御して、ユーザUの感情に働きかける動作を実行する。また、感情検出処理では、感情検出部464がユーザUの感情を検出した結果に基づき感情検出履歴データ485が更新される。
装置側制御部46は、ユーザUによるサインアウトの要求を検出する(ステップS46)。ユーザUは、サインアウトを行っても自動二輪車4の運転操作を行うことは可能であるが、サインアウトするとパーソナル人格22によるコンシェルジュ機能が実行されなくなる。サインアウトの要求の具体的態様は、例えば、ユーザUが音声で、サインアウトを指示することに相当する。
サインアウトの要求がなされたことを検出していない場合(ステップS46;NO)、装置側制御部46はステップS45の感情検出処理を所定時間毎に実行する。
サインアウトの要求がなされたことを検出した場合(ステップS46;YES)、装置側制御部46は、通信制御部461によって、感情検出履歴データ485を含む各種データをサーバ3にアップロードする(ステップS47)。その後、通信制御部461は、切断要求をサーバ3に送信し、サーバ3との通信を終了する(ステップS48)。
サーバ3は、図13の動作を実行する。
サーバ側制御部31は、通信部38によって自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14および冷蔵庫15のいずれかから接続要求を受信した場合に、接続要求とともに認証情報を受信して、認証処理部313により認証を行う(ステップS51)。ステップS51で、認証処理部313は、認証情報361により認証を実行し、接続要求をした装置を特定する。ここでは、自動二輪車4が接続要求をした例を説明する。
サーバ側制御部31は、自動二輪車4に対して、人格DB34に含まれるプログラムおよびデータをダウンロードさせる(ステップS52)。ここで、自動二輪車4から、人格DB34の一部のプログラムおよび/またはデータが要求された場合、サーバ側制御部31は要求に従ってプログラムおよび/またはデータを送信する。
サーバ側制御部31は、自動二輪車4から切断要求を受信したか否かを判定し(ステップS53)、切断要求を受信しない間は(ステップS53;NO)、待機する。切断要求を受信した場合(ステップS53;YES)、サーバ側制御部31は、自動二輪車4が送信する感情検出履歴データ485を受信し(ステップS54)、その後に自動二輪車4との通信(セッション)を切断する処理を行う(ステップS55)。サーバ側制御部31は、ステップS54で受信した感情検出履歴データ485に含まれるデータを、人格DB34の感情検出履歴データ345に含めて記憶することにより、人格DB34を更新する(ステップS56)。
ここで、サーバ側制御部31は、更新された感情検出履歴データ485に基づきパーソナル人格22を更新できる。すなわち、パーソナル人格実行部32によってパーソナル人格342を実行し、パーソナル人格342の機械学習の機能によって、更新された感情検出履歴データ345に基づき学習を行う(ステップS57)。パーソナル人格実行部32は、学習によって新たに獲得したアルゴリズムを含むパーソナル人格342を人格DB34に記憶させる(ステップS58)。ステップS58で、パーソナル人格実行部32は、更新されたパーソナル人格342の機能によって、ベース人格343を更新してもよい。
サーバ側制御部31は、感情推定システム1を構成する各装置に対して、パーソナル人格342が更新されたことを通知し(ステップS59)、本処理を終了する。
また、サーバ側制御部31は、パーソナル人格22の更新とともに、コンシェルジュ人格23を更新してもよい。
また、図14において、感情検出部464は、外部センサ制御部462および車両センサ制御部463によって検出値を取得する(ステップS61)。感情検出部464は、取得した検出値に基づいて、ユーザUの感情の検出を実行する(ステップS62)。例えば、感情検出部464は、外部センサ制御部462及び車両センサ制御部463により取得した検出値を、パーソナル人格482に与えて、パーソナル人格482の感情または感情の変化を検出する。パーソナル人格482の感情はユーザUの感情を模しているので、感情検出部464は、パーソナル人格482の感情を検出することによって、ユーザUの感情を推定することができる。感情検出部464は、人格DB48のベース人格483を実行して、ベース人格483の感情を取得する(ステップS63)。
感情検出部464は、ステップS62で検出したユーザUの感情と、ステップS63で取得したベース人格483の感情とを比較することにより、感情属性を検出する(ステップS64)。ステップS64の動作は、例えば図6を参照して説明した通りである。感情属性は、平常時のユーザUの感情を加味して補正したユーザUの感情である。平常時のユーザUの感情は、ベース人格483の感情として推定できる。
感情検出部464は、ステップS64で検出した感情属性を、ユーザUの感情を検出した結果として確定する(ステップS65)。
ここで、装置側制御部46は、感情変化原因推定部469によって、感情検出部464が検出したユーザUの感情の変化を判定する(ステップS66)。ステップS66で、感情変化原因推定部469は、ユーザUの感情の判定結果と、それ以前、すなわち過去に検出された感情の判定結果とを比較して、設定された閾値を超える感情の変化があったか否かを判定する。ここで、感情変化原因推定部469は、感情検出部464が検出し確定した感情の検出結果と、その直前に判定されたユーザUの感情とを比較することが好ましい。感情検出部464により検出されたユーザUの感情の検出結果は、感情検出履歴データ485から取得できる。
閾値を超える感情の変化があったと判定した場合(ステップS66;YES)、感情変化原因推定部469は、行動予定データ484を参照する(ステップS67)。感情変化原因推定部469は、行動予定データ484に含まれる予定のうち、ユーザUの今後の予定を抽出し、感情変化の要因となっている予定を推定する(ステップS68)。感情変化原因推定部469は、例えば、行動予定データ484に含まれる今後の予定のうち、需要度および/または緊急性が高い予定や、変更できる自由度が低い予定を、感情変化の原因として推定する。
走行状態調整部465、会話実行部466および出力制御部467は、ステップS68で推定した原因と、ステップS65で確定されたユーザUの感情の検出結果とに基づき、ユーザUの感情がベース人格483の感情に近づくように、対応動作を実行する(ステップS69)。ここで実行される対応動作は、対応動作テーブル488に設定された動作である。これにより、自動二輪車4が、ユーザUの感情を静穏化するように働きかけを行うことができる。また、ユーザUの感情の変化の要因を推定し、この要因に対応するように働きかけを行うので、効果的にユーザUの感情を静穏化できる。また、ステップS68において、ユーザUの感情の変化の要因となり得る予定がない場合に、該当する予定がないことを前提に、ステップS69でユーザUへの働きかけを行ってもよい。
また、閾値を超える感情の変化がないと判定した場合(ステップS66;NO)、走行状態調整部465、会話実行部466および出力制御部467は、ステップS65で確定されたユーザUの感情の検出結果に基づき、対応動作を実行する(ステップS70)。ここで実行される対応動作は、対応動作テーブル488に設定された動作である。その後、感情検出部464は、ステップS65で確定した検出結果を感情検出履歴データ485に登録する(ステップS71)。なお、ステップS69の動作の後に、ステップS71に移行してもよい。
図15は、感情推定システム1を構成する装置の動作を示すフローチャートであり、運転者であるユーザUの感情が運転に支障を来さないようにユーザUを支援する動作を示す。図15の動作は、自動二輪車4および四輪車11が実行することが可能であり、ここでは自動二輪車4が実行する例を説明する。
自動二輪車4は、ユーザUが自動二輪車4を運転する間に、図15の動作を実行する。図15の動作の開始時、自動二輪車4は装置側制御部46によりパーソナル人格482を実行している。
装置側制御部46は、外部センサ制御部462および車両センサ制御部463により、自動二輪車4が備える各センサの検出値を取得する(ステップS81)。感情検出部464は、ステップS81で取得した検出値から運転傾向を判定する(ステップS82)。ステップS82で、感情検出部464は、ユーザUの運転傾向を、少なくとも、「のんびり運転」と「せっかち運転」とのどちらであるかを判定する。また、感情検出部464は、「のんびり運転」および「せっかち運転」のどちらにも該当しないと判定することもでき、さらに他の運転であると判定してもよい。感情検出部464は、外部センサ制御部462および車両センサ制御部463により取得した検出値をパーソナル人格482に与え、パーソナル人格482の感情を検出することで、「のんびり運転」と「せっかち運転」とを判定してもよい。
感情検出部464は、感情検出履歴データ485を参照して、過去に判定されたユーザUの感情属性(特に、ステップS82の判定の直前に判定された感情属性)を取得する(ステップS83)。感情検出部464は、ステップS82の運転傾向の判定結果とステップS83で取得した感情属性とに基づき、ユーザUの感情が運転に与える影響の有無を判定する(ステップS84)。これにより、現在のユーザUの感情が、自動二輪車4の運転に影響がある感情か否かが判定される。
感情検出部464が、ユーザUの感情が、運転に影響がある感情と判定した場合(ステップS85;YES)、動作制御部470が、対応動作テーブル488の設定に従って、走行状態調整部465、会話実行部466および出力制御部467を制御する(ステップS86)。これにより、ユーザUの感情を、運転に影響のない感情にするよう、自動二輪車4からユーザUに対し働きかけを行うことができる。その後、装置側制御部46は、ユーザUが運転操作を終了したか否かを判定し(ステップS87)、運転を終了した場合は(ステップS87;YES)、図15の動作を終了する。また、運転を継続する場合は(ステップS87;NO)、ステップS81に戻る。
また、感情検出部464が、ユーザUの感情が運転に影響がある感情でないと判定した場合(ステップS85;NO)、装置側制御部46はステップS87に移行する。
上記実施形態では、自動二輪車4が、ECU41、センサ部43および動作部44を含む走行用の機能部及ぶ動作部に加え、装置側制御部46、人格DB48および外部センサ49を備える構成を例示した。
ここで、一般的な自動二輪車にスマートフォン等の携帯端末装置を組み合わせることで、自動二輪車4として動作させる構成例を示す。
図16は、自動二輪車4の別の構成例として、自動二輪車40および携帯端末装置5を示す機能ブロック図である。
自動二輪車40は、上述した自動二輪車4において、走行に必要な機能部および動作部を有する。具体的には、図16に示すように、自動二輪車40は、ECU41、センサ部43、および動作部44を備える。なお、図4に示した自動二輪車4と同様の構成部には同符号を付して説明を省略する。
また、自動二輪車40は、無線通信部421を備える。無線通信部421は、少なくとも近距離無線通信プロトコルを利用した近距離通信を行う。例えば、無線通信部421は、Bluetooth、IrDA、RFID、IEEE 802.11(いわゆる無線LAN)などに対応する無線通信を行う。
携帯端末装置5は、例えば、ユーザUが所有し、或いは使用するスマートフォンや携帯型電話機、タブレット型コンピュータ等の装置である。携帯端末装置5は、自動二輪車4(図4)と同様に装置側制御部46および人格DB48として機能するプロセッサと記憶装置とを備える。
また、携帯端末装置5は、通信部511、マイク512、スピーカ513を備える。通信部511は、無線電話回線に接続して通信を実行し、この無線電話回線を経由して通信ネットワーク2に接続できる。マイク512は、ユーザUの音声を集音し、スピーカ513は装置側制御部46の制御に従って音声を出力する。スピーカ513はユーザUが耳に装着するイヤホンであってもよい。
通信部511は、携帯端末装置5が携帯型電話機として或いはスマートフォンとして、通話やデータ通信を実行するために用いられる通信部であってもよい。マイク512およびスピーカ513は通話用の音声を入出力するものであってもよい。
携帯端末装置5は、カメラ514、Gセンサ515、および、GPS受信部516を備える。これらは、図4に示したカメラ494、Gセンサ495、および、GPS受信部496と同様の構成とすることができる。
携帯端末装置5は、無線通信部517を備える。無線通信部517は、無線通信部497(図4)と同様に構成され、少なくとも近距離無線通信プロトコルを利用した近距離通信を行う。例えば、無線通信部517は、Bluetooth、IrDA、RFID、IEEE 802.11(いわゆる無線LAN)などに対応する無線通信を行う。
無線通信部517は、自動二輪車40が備える無線通信部421との間で、無線通信部517との間で無線通信を実行する。
図16に示す構成は、無線通信部421と無線通信部517との間の無線通信により、自動二輪車40に、携帯端末装置5が備える装置側制御部46および人格DB48を接続した構成を実現する。従って、上記実施形態で説明した自動二輪車4と同様の機能および動作を、自動二輪車40が、携帯端末装置5とともに実行できる。
ECU41は、センサ部43で検出した検出値等を無線通信部421により携帯端末装置5に送信する機能、および、無線通信部421で受信するデータに基づき動作部44を動作させる機能を有する。この点を除き、自動二輪車40は、一般的な自動二輪車の構成である。
図16の構成では、自動二輪車40をベースに、ユーザUが使用する携帯端末装置5を組み合わせることで、自動二輪車4(図4)と同様に、人工知能によりユーザUを支援する装置を実現できる。
以上説明したように、本発明を適用した実施の形態の感情推定装置である自動二輪車4は、通信ネットワーク2に接続されたユーザUに関わる複数の製品からのユーザUに関する情報により構成されるパーソナル人格482を備える。感情推定システム1では、パーソナル人格482によって、ベース人格483が形成される。また、自動二輪車4は、感情を検出する感情検出部464を備える。
別の表現では、ユーザUが利用した複数製品から収集されたユーザ情報に基づく機械学習により形成されたパーソナル人格482を備える。パーソナル人格482を実行する装置側制御部46は、ベース人格483を形成する。装置側制御部46に限らず、例えばサーバ側制御部31がパーソナル人格342によりベース人格343を形成してもよい。そして、装置側制御部46は、ユーザU(U)の感情を検出する感情検出部464を備える。感情検出部464は、パーソナル人格482の機能として実装されてもよく、それ以外の機能であってもよい。
これにより、複数の製品からの情報により構成されるパーソナル人格482によって、高精度で感情を検出できる。例えば、感情推定システム1は、ユーザUが使用する時間が異なる複数の製品である自動二輪車4、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および冷蔵庫15を有する。感情推定システム1では、これら複数の装置からの情報を用いてパーソナル人格482を形成するので、パーソナル人格482は、ユーザUの特徴を高精度で反映した人格となる。従って、パーソナル人格482を利用してユーザUの感情を検出することで、単一の製品がユーザUの感情を推定する場合に比べ、より長い時間をかけて収集あるいは検出される情報を用いることになり、単一の製品から得られる情報をもとにする場合よりも高精度で感情を検出できる。また、特定の製品について、その製品がユーザUに関わる前の感情を検出することも可能となる。
感情検出部464は、ベース人格483の感情と、パーソナル人格482の現時点の感情と、を比較し、感情属性を検出する。ベース人格の感情を基準とすることで、ユーザUの感情の傾向や特徴を加味して、より高い精度で、ユーザUの感情を検出できる。例えば、ユーザUの感情に、特定の感情が出やすい傾向がある場合に、その特定の感情を頻繁に検出してしまう状態を避けることができる。従って、個人の感情傾向に適合する基準を用いて、高精度で感情を検出できる。
自動二輪車4は、感情検出部464が検出する感情に所定以上の変化があった場合に、ベース人格483の感情に仕向ける動作を制御する動作制御部470を備える。これにより、パーソナル人格482が、ユーザUの感情をベース人格483の感情に仕向ける動作を行い、ユーザUの感情の傾向や特徴を考慮してユーザUの感情に働きかけを行うことができる。これにより、例えば、ユーザUの感情を落ち着かせることができる。
自動二輪車4は、感情検出部464により検出された感情を蓄積する感情検出履歴データ485と、ユーザUの行動予定を示す行動予定データ484と、を、更に備える。パーソナル人格482を実行する装置側制御部46は、感情変化原因推定部469を備える。感情変化原因推定部469は、ユーザUの感情に大きな変化があった場合に、少なくとも感情検出履歴データ485に蓄積された感情またはユーザUの行動予定データ484に示された今後の予定から、感情変化原因を推定する。これにより、ユーザUの感情を変化させた原因、或いは感情に影響を与えた原因を未来の予定から推定することができる。これにより、感情を変化させた原因、或いは感情に影響を与えた原因に対応して、ユーザUの感情に影響を与えるように対処をすることが可能となる。
また、自動二輪車4は、感情変化原因推定部469が推定した原因を、感情検出履歴データ485に感情を蓄積する際に合わせて蓄積する。これにより、ユーザUの感情を変化させた原因、或いは感情に影響を与えた原因を蓄積することにより、ユーザUの感情の傾向と原因とに関するデータを収集できる。収集したデータは、例えば感情検出部464として機能するプロセッサ(コンピュータ)が学習するデータとして利用できる。
また、動作制御部470は、感情変化原因推定部469で推定された原因に対応して、ベース人格483の感情に戻るように仕向ける動作を実行する。これにより、ユーザUの感情を変化させた原因、或いは感情に影響を与えた原因をもとに、より効果的に、ユーザUの感情に働きかけることができる。
上記の実施形態では、感情推定システム1が複数の製品を備え、これら製品の1つは自動二輪車4、40である。自動二輪車4、40は感情検出部464により運転傾向を判定する。感情検出部464は、少なくとものんびり運転と、せっかち運転と、を判別する。ユーザUの運転がせっかち運転と判別された場合に、少なくとも直前の感情及び、ユーザUの行動予定データ484に示された行動予定とから、運転に影響がある感情かを否かを判断する。感情検出部464は、運転影響有と判断した場合に、動作制御部470は、運転影響がなくなるように仕向ける動作を行う。このように動作制御部470がユーザUに働きかけることにより、車両の運転に影響を与える要因の解消または軽減を図ることができる。
ここで、運転に影響有の感情とは、怒る、心配、哀しい、不安のいずれかを含む。これにより、ユーザUの感情が怒る、心配、哀しい、不安等の感情であることを検出した場合に、これらの感情が運転に与える影響の解消または軽減を図ることができる。
また、人工知能であるパーソナル人格482が複数の製品からの情報により構成されるので、パーソナル人格482によって高精度で感情を検出できる。
また、パーソナル人格(482)は、自身(U)の感情または感情の変化を模倣し、感情検出部(464)はパーソナル人格(482)の感情を検出する。このため、パーソナル人格482の感情を検出することによって、ユーザUの感情または感情の変化を容易に検出できる。また、パーソナル人格482は複数の製品からの情報により構成されるので、自身の感情を、より高精度で検出できる。
なお、上記実施の形態は本発明を適用した一態様を示すものであって、本発明は上記実施の形態に限定されるものではない。
上記実施の形態では車両の一例として自動二輪車4、40を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、前輪または後輪を2つ備えた3輪の鞍乗り型車両、4輪以上を備えた鞍乗り型車両、及び、スクーターなどの鞍乗り型車両に適用可能である。また、自動二輪車4、40は、自動二輪車の一例を示したものであり、本発明を適用する自動二輪車を限定するものではない。例えば、自動二輪車4、40が備えるセンサはセンサ部43に限定されず、サスペンションのストローク量を検出するセンサを設けたり、サスペンションやブレーキに圧力センサを設けたり、車体の複数箇所に加速度センサを設けたりして、自動二輪車4の動きをより詳細に検出する構成であってもよい。また、センサ部43や動作部44の一部を備えていない自動二輪車にも適用できる。
また、本発明を適用可能な装置として示した自動二輪車4、40、四輪車11、炊飯器12、掃除機13、テレビ受像機14、および冷蔵庫15は一例であり、他の種類の装置に適用することも勿論可能である。
また、図3、図4および図16に示した機能ブロックは、ハードウェアとソフトウェアとの協働により実現される機能的構成を示す。これら各装置の具体的な実装形態は、上記のブロック図に制限されない。従って、機能ブロック図における各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。また、プログラムされたハードウェアにより構成することも可能であり、その他、感情推定システム1の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
1 感情推定システム
2 通信ネットワーク
3 サーバ
4 自動二輪車(感情推定装置)
5 携帯端末装置
11 四輪車(感情推定装置)
12 炊飯器(感情推定装置)
13 掃除機(感情推定装置)
14 テレビ受像機(感情推定装置)
15 冷蔵庫(感情推定装置)
21 ビッグデータ
22 パーソナル人格
23 コンシェルジュ人格
31 サーバ側制御部
32 パーソナル人格実行部
40 自動二輪車(感情推定装置)
46 装置側制御部
48 人格DB
464 感情検出部(運転傾向判定部)
468 ベース人格形成部
469 感情変化原因推定部
470 動作制御部
482 パーソナル人格
483 ベース人格
484 行動予定データ(行動予定表)
485 感情検出履歴データ(感情蓄積部)
489 コンシェルジュ人格

Claims (11)

  1. 通信ネットワーク(2)に接続された自身(U)に関わる複数製品(4,11,12,13,14,15)からの自身(U)に関する情報に基づいて構成されるパーソナル人格(482)を備え、
    前記パーソナル人格(482)によって、ベース人格(483)が形成され、
    感情を検出する感情検出部(464)を備えることを特徴とする感情推定装置。
  2. 前記感情検出部(464)は、前記ベース人格(483)の感情と、前記パーソナル人格(482)の現時点の感情と、を比較し、感情属性を検出することを特徴とする請求項1記載の感情推定装置。
  3. 前記感情検出部(464)が検出する感情に所定以上の変化があった場合に、前記ベース人格(483)の感情に仕向ける動作を制御する動作制御部(470)を備えることを特徴とする請求項1または2記載の感情推定装置。
  4. 前記感情検出部(464)により検出された感情を蓄積する感情蓄積部(485)と、
    自身(U)の行動予定を示す行動予定表(484)と、
    自身(U)の感情に大きな変化があった場合に、少なくとも前記感情蓄積部(485)に蓄積された感情または自身(U)の行動予定表(484)に示された今後の予定から、感情変化原因を推定する感情変化原因推定部(469)と、を備えることを特徴とする請求項3記載の感情推定装置。
  5. 前記感情変化原因推定部(469)が推定した原因を、前記感情蓄積部(485)に感情を蓄積する際に合わせて蓄積することを特徴とする請求項4記載の感情推定装置。
  6. 前記動作制御部(470)は、前記感情変化原因推定部(469)で推定された原因に対応して、前記ベース人格(483)の感情に仕向ける動作を制御することを特徴とする請求項4または5記載の感情推定装置。
  7. 前記製品(4,11,12,13,14,15)の1つは車両(4)であって、
    前記車両(4)は運転傾向を判定する運転傾向判定部(464)を備え、
    前記運転傾向判定部(464)は、少なくとものんびり運転と、せっかち運転と、を判別し、
    自身(U)の運転がせっかち運転と判別された場合に、少なくとも直前の感情及び、自身(U)の前記行動予定表(484)に示された行動予定とから、運転に影響がある感情かを否かを判断し、
    運転影響有と判断した場合に、前記動作制御部(470)は、運転影響がなくなるように仕向ける動作を行うことを特徴とする請求項6記載の感情推定装置。
  8. 前記運転に影響有の感情とは、怒る、心配、哀しい、不安のいずれかを含むことを特徴とする請求項7記載の感情推定装置。
  9. 前記パーソナル人格(482)は人工知能であることを特徴とする請求項1から8のいずれかに記載の感情推定装置。
  10. 前記パーソナル人格(482)は、自身(U)の感情または感情の変化を模倣し、前記感情検出部(464)は前記パーソナル人格(482)の感情を検出することを特徴とする請求項1から9のいずれかに記載の感情推定装置。
  11. 通信ネットワーク(2)に接続された車両(4)と、
    前記通信ネットワーク(2)に接続された自身(U)に関わる複数製品(11,12,13,14,15)と、
    前記複数製品(11,12,13,14,15)からの自身(U)に関する情報により構成されるパーソナル人格(482)と、を備え、
    前記パーソナル人格(482)によって、ベース人格(483)が形成され、
    感情を検出する感情検出部(464)を備え、
    前記車両が前記パーソナル人格(482)及び前記感情検出部(464)を備える
    ことを特徴とする感情推定システム。
JP2018551060A 2016-11-16 2017-09-29 感情推定装置、および、感情推定システム Active JP6736685B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016223096 2016-11-16
JP2016223096 2016-11-16
PCT/JP2017/035631 WO2018092436A1 (ja) 2016-11-16 2017-09-29 感情推定装置、および、感情推定システム

Publications (2)

Publication Number Publication Date
JPWO2018092436A1 true JPWO2018092436A1 (ja) 2019-08-08
JP6736685B2 JP6736685B2 (ja) 2020-08-05

Family

ID=62146112

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018551060A Active JP6736685B2 (ja) 2016-11-16 2017-09-29 感情推定装置、および、感情推定システム

Country Status (5)

Country Link
US (1) US11186290B2 (ja)
EP (1) EP3525141B1 (ja)
JP (1) JP6736685B2 (ja)
CN (1) CN109906461B (ja)
WO (1) WO2018092436A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6639444B2 (ja) * 2017-06-07 2020-02-05 本田技研工業株式会社 情報提供装置及び情報提供方法
US20190087832A1 (en) * 2017-09-15 2019-03-21 Pearson Education, Inc. Digital credential field data mapping
JP6713490B2 (ja) * 2018-02-07 2020-06-24 本田技研工業株式会社 情報提供装置及び情報提供方法
WO2019200584A1 (en) * 2018-04-19 2019-10-24 Microsoft Technology Licensing, Llc Generating response in conversation
JP7048893B2 (ja) * 2018-07-26 2022-04-06 日本電信電話株式会社 学習装置、学習方法及びコンピュータプログラム
JP6971205B2 (ja) * 2018-08-21 2021-11-24 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US20200104966A1 (en) 2018-09-30 2020-04-02 Strong Force Intellectual Capital, Llc Intelligent transportation systems
JP7465484B2 (ja) 2018-09-30 2024-04-11 ストロング フォース ティーピー ポートフォリオ 2022,エルエルシー 高機能輸送システム
ES2905570T3 (es) * 2019-03-19 2022-04-11 2Hfutura Sa Técnica para la recuperación eficiente de datos de personalidad
US11507855B2 (en) * 2019-03-22 2022-11-22 Motorola Mobility Llc Generating action suggestions based on a change in user mood
WO2020202450A1 (ja) * 2019-04-01 2020-10-08 ヤマハ発動機株式会社 パーソナリティ分析方法、パーソナリティ分析装置、パーソナリティデータを用いる情報処理方法及びパーソナリティデータを用いる情報処理装置
DE102019205245A1 (de) * 2019-04-11 2020-10-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Steuerung eines Geschwindigkeits- oder Abstandsregelungssystems eines einspurigen Kraftfahrzeugs
JP2019169976A (ja) * 2019-06-09 2019-10-03 田村 昌和 ライブ配信者などをアシストするライブ配信サーバ、ライブ配信方法及びプログラム
WO2021149200A1 (ja) * 2020-01-22 2021-07-29 三菱電機株式会社 不安要因特定装置、プログラム及び不安要因特定方法
US11735206B2 (en) * 2020-03-27 2023-08-22 Harman International Industries, Incorporated Emotionally responsive virtual personal assistant
US11809958B2 (en) * 2020-06-10 2023-11-07 Capital One Services, Llc Systems and methods for automatic decision-making with user-configured criteria using multi-channel data inputs

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008068664A (ja) * 2006-09-12 2008-03-27 Fujitsu Ten Ltd 車両制御装置および車両制御方法
US20080096533A1 (en) * 2006-10-24 2008-04-24 Kallideas Spa Virtual Assistant With Real-Time Emotions
JP2008186250A (ja) * 2007-01-30 2008-08-14 Denso Corp 車両用情報提示装置
US20140359439A1 (en) * 2013-05-29 2014-12-04 Philip Scott Lyren User Agent with Personality
JP2015064584A (ja) * 2014-10-28 2015-04-09 マツダ株式会社 ドライバ感情推定装置及び方法
JP2016137200A (ja) * 2015-01-29 2016-08-04 マツダ株式会社 車両用乗員感情対応制御装置
JP2016147006A (ja) * 2015-02-13 2016-08-18 オムロン株式会社 健康管理補助装置及び健康管理補助方法
JP2016189073A (ja) * 2015-03-30 2016-11-04 株式会社国際電気通信基礎技術研究所 個性推定装置、個性推定プログラムおよび個性推定方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3985351B2 (ja) * 1998-07-31 2007-10-03 株式会社デンソー 安全運転判定装置
JP3044025B1 (ja) * 1998-12-09 2000-05-22 株式会社データ・テック 運転傾向性の分析が可能な運行管理システム及びその構成装置
JP2005143895A (ja) * 2003-11-17 2005-06-09 Nissan Motor Co Ltd 運転者心理状態判定装置
JP4755026B2 (ja) * 2006-06-08 2011-08-24 株式会社デンソー ドライバ性格判定装置及び車両用ナビゲーション装置
CN101756705A (zh) * 2008-11-14 2010-06-30 北京宣爱智能模拟技术有限公司 一种驾驶事故倾向性测试***及方法
WO2010084580A1 (ja) * 2009-01-21 2010-07-29 パイオニア株式会社 運転評価装置、運転評価装置の制御方法、制御プログラム及び記憶媒体
JP4957747B2 (ja) * 2009-05-18 2012-06-20 トヨタ自動車株式会社 車両環境推定装置
KR20110002757A (ko) * 2009-07-02 2011-01-10 삼성전자주식회사 감성 모델 장치, 감성 모델의 성향 학습 장치 및 방법
JP5598411B2 (ja) * 2011-04-20 2014-10-01 日産自動車株式会社 車両用情報提供装置
CN102871674A (zh) * 2011-07-13 2013-01-16 沈阳正道安全检测技术服务有限公司 一种驾驶员安全心理综合检测仪
JP5974556B2 (ja) * 2012-03-13 2016-08-23 日産自動車株式会社 道路情報作成・配信装置、車載装置、道路情報作成・配信システム、道路情報作成・配信方法
RU2568047C1 (ru) * 2012-05-14 2015-11-10 Ниссан Мотор Ко., Лтд. Устройство управления транспортного средства и способ управления транспортным средством
JP2014046820A (ja) * 2012-08-31 2014-03-17 Nissan Motor Co Ltd 運転者特性推定装置
KR101988279B1 (ko) * 2013-01-07 2019-06-12 삼성전자 주식회사 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
WO2014113889A1 (en) * 2013-01-23 2014-07-31 Persuasive Labs Inc. Method and apparatus for adapting customer interaction based on assessed personality
JP2015033457A (ja) * 2013-08-08 2015-02-19 日産自動車株式会社 運転状態推定装置及び運転状態推定方法
US9965462B2 (en) * 2013-08-09 2018-05-08 Tengrade, Inc. Systems and methods for identifying and recording the sentiment of a message, posting, or other online communication using an explicit sentiment identifier
US9390706B2 (en) * 2014-06-19 2016-07-12 Mattersight Corporation Personality-based intelligent personal assistant system and methods
GB2528083B (en) * 2014-07-08 2017-11-01 Jaguar Land Rover Ltd System and method for automated device control for vehicles using driver emotion
US20160055370A1 (en) * 2014-08-21 2016-02-25 Futurewei Technologies, Inc. System and Methods of Generating User Facial Expression Library for Messaging and Social Networking Applications
US10137902B2 (en) * 2015-02-12 2018-11-27 Harman International Industries, Incorporated Adaptive interactive voice system
JP2016223096A (ja) 2015-05-28 2016-12-28 日立建機株式会社 建設機械
US9785834B2 (en) * 2015-07-14 2017-10-10 Videoken, Inc. Methods and systems for indexing multimedia content

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008068664A (ja) * 2006-09-12 2008-03-27 Fujitsu Ten Ltd 車両制御装置および車両制御方法
US20080096533A1 (en) * 2006-10-24 2008-04-24 Kallideas Spa Virtual Assistant With Real-Time Emotions
JP2008186250A (ja) * 2007-01-30 2008-08-14 Denso Corp 車両用情報提示装置
US20140359439A1 (en) * 2013-05-29 2014-12-04 Philip Scott Lyren User Agent with Personality
JP2015064584A (ja) * 2014-10-28 2015-04-09 マツダ株式会社 ドライバ感情推定装置及び方法
JP2016137200A (ja) * 2015-01-29 2016-08-04 マツダ株式会社 車両用乗員感情対応制御装置
JP2016147006A (ja) * 2015-02-13 2016-08-18 オムロン株式会社 健康管理補助装置及び健康管理補助方法
JP2016189073A (ja) * 2015-03-30 2016-11-04 株式会社国際電気通信基礎技術研究所 個性推定装置、個性推定プログラムおよび個性推定方法

Also Published As

Publication number Publication date
US11186290B2 (en) 2021-11-30
WO2018092436A1 (ja) 2018-05-24
CN109906461B (zh) 2022-10-14
EP3525141A4 (en) 2019-11-20
JP6736685B2 (ja) 2020-08-05
CN109906461A (zh) 2019-06-18
EP3525141A1 (en) 2019-08-14
EP3525141B1 (en) 2021-03-24
US20190276037A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
JP6736685B2 (ja) 感情推定装置、および、感情推定システム
JP6575934B2 (ja) 車両運転支援システム及び車両運転支援方法
US20210004203A1 (en) Information processing device, information processing method, and program
US20190225232A1 (en) Passenger Experience and Biometric Monitoring in an Autonomous Vehicle
US20180093673A1 (en) Utterance device and communication device
JP6683163B2 (ja) 車両運転支援システム
JP2018169704A (ja) 車両運転支援システム及び車両運転支援方法
JP6575932B2 (ja) 車両運転支援システム
US10809802B2 (en) Line-of-sight detection apparatus, computer readable storage medium, and line-of-sight detection method
US11107471B2 (en) Dialog processing server, control method for dialog processing server, and terminal
US11250875B2 (en) Behavior support system, behavior support apparatus, behavior support method, and storage medium storing program thereof
JP6575933B2 (ja) 車両運転支援システム
CN110389744A (zh) 基于人脸识别的多媒体音乐处理方法和***
JP6555645B2 (ja) 車両運転支援システム及び車両運転支援方法
CN111746435B (zh) 信息提供装置、信息提供方法及存储介质
CN106408682A (zh) 提示方法和装置
JP6607223B2 (ja) 車両運転支援システム及び車両運転支援方法
US20220306155A1 (en) Information processing circuitry and information processing method
JP6579493B2 (ja) 車両運転支援システム
JP2002239959A (ja) 乗物用電子パートナーシステム
JP2018169702A (ja) 車両運転支援システム
WO2020158440A1 (ja) 情報処理装置、情報処理方法、及びプログラムを記載した記録媒体
JP6884854B2 (ja) 音声提供装置、音声提供方法及びプログラム
KR102596322B1 (ko) 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
JP6579494B2 (ja) 車両運転支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200715

R150 Certificate of patent or registration of utility model

Ref document number: 6736685

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150