CN113365556A - 情绪推定装置及情绪推定方法 - Google Patents

情绪推定装置及情绪推定方法 Download PDF

Info

Publication number
CN113365556A
CN113365556A CN201980090218.1A CN201980090218A CN113365556A CN 113365556 A CN113365556 A CN 113365556A CN 201980090218 A CN201980090218 A CN 201980090218A CN 113365556 A CN113365556 A CN 113365556A
Authority
CN
China
Prior art keywords
driver
emotion
unit
expression
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980090218.1A
Other languages
English (en)
Inventor
高本周作
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN113365556A publication Critical patent/CN113365556A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Anesthesiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)

Abstract

脸部信息检测部(13)检测与车辆的驾驶员的脸部的特征有关的脸部信息。身体信息检测部(14)检测与驾驶员的身体的特征有关的身体信息。可驾驶程度推定部(15)基于脸部信息和身体信息来推定驾驶员的可驾驶程度。表情推定部(16)基于脸部信息来推定驾驶员的表情。情绪推定部(17)基于驾驶员的可驾驶程度与驾驶员的表情的时间变化，来推定由舒适程度和活跃程度来表示的驾驶员的情绪。

Description

情绪推定装置及情绪推定方法
技术领域
本发明涉及推定驾驶员的情绪的情绪推定装置及情绪推定方法。
背景技术
现有的情绪推定装置根据摄像头拍摄到的影像等来检测被实验者的生理学数据和非生理学数据，基于检测出的生理学数据和非生理学数据来推定被实验者的清醒程度和舒适程度，并选择与推定出的清醒程度和舒适程度对应的情绪(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本专利特开2017－144222号公报
发明内容
发明所要解决的技术问题
现有的情绪推定装置推定出的情绪在预测成为交通事故的原因的超速和路怒等驾驶员的行动、基于驾驶辅助装置的加减速的调整以及针对驾驶员的警告等是有用的。然而，情绪有持续时间，因此存在如下问题：仅通过清醒程度和舒适程度无法正确地推定情绪。
本发明是为了解决上述问题而完成的，其目的在于推定将时间变化考虑在内的情绪。
用于解决技术问题的技术手段
本发明所涉及的情绪推定装置包括：检测与车辆的驾驶员的脸部有关的脸部信息的脸部信息检测部；检测与驾驶员的身体的特征有关的身体信息的身体信息检测部；基于脸部信息和身体信息来推定驾驶员的可驾驶程度的可驾驶程度推定部；基于脸部信息来推定驾驶员的表情的表情推定部；基于驾驶员的可驾驶程度与驾驶员的表情的时间变化来推定由舒适程度和活跃程度来表示的驾驶员的情绪的情绪推定部。
发明效果
根据本发明，基于驾驶员的可驾驶程度与驾驶员的表情的时间变化来推定情绪，因此能推定将时间变化考虑在内的情绪。
附图说明
图1是示出实施方式1所涉及的情绪推定装置的结构例的框图。
图2是说明基于实施方式1的情绪推定部的情绪推定方法的图。
图3是说明基于实施方式1的情绪推定部的情绪推定方法的图线。
图4中，图4A、图4B和图4C是示出由实施方式1的情绪推定部推定出的情绪的时间变化的一个示例的图线。
图5中，图5A和图5B是示出由实施方式1的情绪推定部推定出的情绪的时间变化的其它示例的图线。
图6是示出实施方式1所涉及的情绪推定装置的动作例的流程图。
图7是示出实施方式2所涉及的情绪推定装置的结构例的框图。
图8是示出各实施方式所涉及的情绪推定装置的硬件结构的一个示例的图。
图9是示出各实施方式所涉及的情绪推定装置的硬件结构的其它示例的图。
具体实施方式
下面，为了更详细地说明本发明，根据附图对用于实施本发明的方式进行说明。
实施方式1.
图1是示出实施方式1所涉及的情绪推定装置1的结构例的框图。实施方式1所涉及的情绪推定装置1搭载于车辆，或被带入车辆，以推定驾驶员的情绪。
该情绪推定装置1连接有拍摄部2。拍摄部2例如是设置在方向盘附近并对驾驶员进行拍摄的摄像头。该拍摄部2将拍摄驾驶员而得的拍摄图像输出到情绪推定装置1。
情绪推定装置1包括脸部检测部11、脸部部位检测部12、脸部信息检测部13、身体信息检测部14、可驾驶程度推定部15、表情推定部16和情绪推定部17。
脸部检测部11从拍摄部2获取拍摄图像。脸部检测部11从获取到的拍摄图像中检测拍摄到驾驶员脸部的区域。脸部检测部11将拍摄图像中的脸部区域输出到脸部部位检测部12和身体信息检测部14。
脸部部位检测部12从脸部检测部11检测出的拍摄图像中的脸部区域中检测驾驶员的脸部部位。脸部部位是眼、鼻和口等。脸部部位检测部12将检测出的脸部部位输出到脸部信息检测部13或身体信息检测部14中的至少一方。
另外，脸部检测部11和脸部部位检测部12的功能不一定需要由情绪推定装置1所具备，例如，也可以构成为由拍摄部2等外部装置所具备。
脸部信息检测部13基于脸部部位检测部12检测出的脸部部位，来检测与驾驶员的脸部的特征有关的脸部信息。脸部信息包含驾驶员的脸部方向角度、睁眼程度、眨眼速度、张嘴程度、视线角度或头部位置中的至少1个。脸部信息检测部13将检测出的脸部信息输出到可驾驶程度推定部15和表情推定部16。
身体信息检测部14基于脸部检测部11检测出的脸部区域、或脸部部位检测部12检测出的脸部部位，来检测与驾驶员的身体的特征有关的身体信息。身体信息包含心跳数、心跳变动、RRI(心跳间隔)、脑波、脉搏波、脉搏变动、血压、体温或出汗量中的至少1个。另外，身体信息检测部14可以使用根据拍摄部2的拍摄图像检测出的脸部区域或脸部部位来检测身体信息，也可以使用未图示的传感器的检测结果来检测身体信息。身体信息检测部14将检测出的身体信息输出到可驾驶程度推定部15。
另外，脸部信息是与生物功能有关的信息中将脸部方向角度、睁眼程度、眨眼程度、张嘴程度、视线角度和头部位置等在生理学上作为脸部的特征来处理的项目。身体信息是与生物功能有关的信息中将心跳数、心跳变动、RRI、脑波、脉搏波、脉搏变动、血压、体温和出汗量等在生理学上作为身体的特征来处理的项目。
可驾驶程度推定部15基于脸部信息检测部13检测出的脸部信息、或身体信息检测部14检测出的身体信息的至少一方，来推定驾驶员的可驾驶程度。例如，可驾驶程度推定部15使用模型来推定与脸部信息检测部13检测出的脸部信息和身体信息检测部14检测出的身体信息对应的可驾驶程度，上述模型通过学***常时以及异常时的脸部信息和身体信息与可驾驶程度之间的对应关系而得到。另外，可驾驶程度推定部15可以使用本车辆的驾驶员的脸部信息和身体信息，来对本车辆的驾驶员优化上述模型。可驾驶程度例如设为可以驾驶与无法驾驶2阶段。在可以驾驶的情况下，驾驶员处于适合驾驶的状态，另一方面，在无法驾驶的情况下，驾驶员处于不适合驾驶或无法驾驶的状态。可驾驶程度推定部15将推定出的可驾驶程度输出到情绪推定部17。
表情推定部16基于脸部信息检测部13检测出的脸部信息，来推定驾驶员的表情。例如，表情推定部16基于预先确定的脸部信息与表情之间的对应关系，来推定与脸部信息检测部13检测出的脸部信息对应的表情(所谓的规则库)。此外，表情推定部16可以使用学习了非特定多人的脸部信息与表情之间的对应关系而得的模型，来推定与脸部信息检测部13检测出的脸部信息对应的表情(所谓的机器学习)。此外，表情推定部16可以进行规则库和机器学习双方来推定表情。表情例如设为积极(笑脸)、消极(不高兴或哭脸)和中性(其它表情)3种。表情推定部16将推定出的表情输出到情绪推定部17。
情绪推定部17基于可驾驶程度推定部15推定出的可驾驶程度的时间变化与表情推定部16推定出的表情的时间变化，来推定用舒适程度和活跃程度来表示的驾驶员的情绪。另外，活跃程度较高的“活跃”状态指驾驶员处于唤醒或清醒的状态，活跃程度较低的“不活跃”状态指驾驶员处于犯困或醉酒的状态。
图2是说明基于实施方式1的情绪推定部17的情绪推定方法的图。
在无法驾驶的情况下，情绪不容易表现在表情中，难以根据表情来推定情绪。因此，在由可驾驶程度推定部15推定为驾驶员无法驾驶的情况下，情绪推定部17将活跃程度判定为不活跃。
另一方面，在由可驾驶程度推定部15推定为驾驶员可以驾驶的情况下，情绪推定部17将活跃程度判定为活跃。此外，在由可驾驶程度推定部15推定为驾驶员可以驾驶的情况下，情绪推定部17在表情推定部16推定出的表情为积极的情况下将舒适程度判定为舒适，在中性的情况下判定为无表情，在消极的情况下判定为不舒适。
以下，说明利用罗素情绪圆环模型来推定情绪的示例。
图3是说明基于实施方式1的情绪推定部17的情绪推定方法的图线。图3所示的图线中，纵轴是活跃程度，横轴是舒适程度。情绪推定部17根据基于可驾驶程度和表情判定出的活跃程度以及舒适程度，将表示情绪的点绘制到图3的图线上。例如，在可驾驶程度为“可以驾驶”的情况下，情绪推定部17将表示情绪的点从当前的位置向活跃侧移动与“可以驾驶”的持续时间相对应的量。反之，在可驾驶程度为“无法驾驶”的情况下，情绪推定部17在将表示情绪的点绘制到纵轴和横轴的交点即原点之后，使表示情绪的点从原点向不活跃侧移动与“无法驾驶”的持续时间相对应的量。此外，在表情为“积极”的情况下，情绪推定部17使表示情绪的点从当前的位置向舒适侧移动与“积极”的持续时间相对应的量。反之，在表情为“消极”的情况下，情绪推定部17使表示情绪的点从当前的位置向不舒适侧移动与“消极”的持续时间相对应的量。此外，在表情为“中性”的情况下，情绪推定部17使表示情绪的点向原点的方向移动与“中性”的持续时间相对应的量。另外，表示情绪的点的每单位时间的移动量可以是预先给出的值，也可以是不同驾驶员有不同的值。
此外，图3的图线中，在将表示情绪的点绘制到活跃且舒适的区域31的情况下，情绪推定部17将驾驶员的情绪推定为“兴奋”。在表示情绪的点向区域31移动的情况下，情绪推定部17推定为驾驶员逐渐变得兴奋。在驾驶员处于兴奋状态的情况下，可以预见超速等。此外，在将表示情绪的点绘制到活跃且不舒适的区域32的情况下，情绪推定部17将驾驶员的情绪推定为“不满”。在表示情绪的点向区域32移动的情况下，情绪推定部17推定为驾驶员逐渐感到不满。在驾驶员处于不满状态的情况下，可以预见路怒驾驶等。此外，在将表示情绪的点绘制到不活跃的区域33的情况下，情绪推定部17将驾驶员的情绪推定为“犯困”。在表示情绪的点向区域33移动的情况下，情绪推定部17推定为驾驶员逐渐犯困。在驾驶员处于犯困状态的情况下，可以预见瞌睡驾驶等。另外，图3的图线中的情绪的种类、以及区域和情绪的对应关系并不限于上述示例。此外，与情绪对应的区域的位置和大小可以随不同驾驶员而不同。
接着，说明情绪推定的具体示例。
图4A、图4B和图4C是示出由实施方式1的情绪推定部17推定出的情绪的时间变化的一个示例的图线。在驾驶员的可驾驶程度为“可以驾驶”、表情为“积极”的情况下，情绪推定部17如图4A那样，将表示情绪的点41绘制到图线上。在可驾驶程度“可以驾驶”和表情“积极”持续的情况下，表示情绪的点41向活跃侧和舒适侧移动与持续时间相对应的量。如图4B那样，在表示情绪的点41向表示情绪的点42移动并接近区域31的情况下，情绪推定部17可以推定情绪的时间变化如驾驶员逐渐变得兴奋那样。
图4C中，表示情绪的点43被绘制到兴奋的区域31。这里，在可驾驶程度“可以驾驶”和表情“中性”持续的情况下，表示情绪的点43向原点方向移动与持续时间相对应的量。另外，实施方式1中，情绪推定部17使情绪“中性”优先于可驾驶程度“可以驾驶”，来使表示情绪的点43移动。如图4C那样，在表示情绪的点43向表示情绪的点44移动并离开区域31的情况下，情绪推定部17可以推定情绪的时间变化如驾驶员逐渐变得冷静那样。
图5A和图5B是示出由实施方式1的情绪推定部17推定出的情绪的时间变化的其它示例的图线。在驾驶员的可驾驶程度为“无法驾驶”的情况下，情绪推定部17将表示情绪的点51绘制在原点，而与表情无关。然后，情绪推定部17使表示情绪的点51向不活跃侧移动与可驾驶程度“无法驾驶”的持续时间相对应的量。如图5A那样，在表示情绪的点51向表示情绪的点52移动并接近区域33的情况下，情绪推定部17可以推定情绪的时间变化如驾驶员逐渐变得犯困那样。
在驾驶员的可驾驶程度变为“可以驾驶”的情况下，情绪推定部17使表示情绪的点52向活跃侧移动与可驾驶程度“可以驾驶”的持续时间相对应的量。如图5B那样，在表示情绪的点52向表示情绪的点53移动并远离区域33的情况下，情绪推定部17可以推定情绪的时间变化如驾驶员逐渐变得清醒那样。另外，图5B中，例示出可驾驶程度为“可以驾驶”、且表情为“中性”的情况下的示例，因此，表示情绪的点52向原点方向移动。在表情为“积极”(或“消极”)的情况下，表示情绪的点52向活跃侧且向舒适侧(或不舒适侧)移动。
接着，说明情绪推定装置1的动作。
图6是示出实施方式1所涉及的情绪推定装置1的动作例的流程图。情绪推定装置1例如在车辆的点火开关接通时开始图6的流程图所示的动作，并重复该动作直到点火开关断开为止。
步骤ST1中，脸部检测部11从拍摄部2的拍摄图像中检测驾驶员的脸部区域。步骤ST2中，脸部部位检测部12从拍摄图像中的脸部区域中检测脸部部位。另外，如上述那样，脸部检测部11和脸部部位检测部12的功能可以构成为由外部装置来具备。该结构的情况下，情绪推定装置1不进行步骤ST1和步骤ST2中的动作。
步骤ST3中，脸部信息检测部13基于脸部部位来检测与驾驶员的脸部的特征有关的脸部信息。步骤ST4中，身体信息检测部14基于拍摄图像中的脸部区域或脸部部位，来检测与驾驶员的身体的特征有关的身体信息。步骤ST5中，可驾驶程度推定部15基于脸部信息和身体信息，来推定驾驶员的可驾驶程度。步骤ST6中，表情推定部16基于脸部信息，来推定驾驶员的表情。步骤ST7中，情绪推定部17基于驾驶员的可驾驶程度与表情的时间变化，来推定由舒适程度和活跃程度来表示的情绪。
另外，图6的流程图所示的情绪推定装置1的动作是一个示例，其动作并不限于此。例如，在身体信息检测部14不用脸部部位而仅用脸部区域来检测身体信息的情况下，脸部部位检测部12不进行与步骤ST2的脸部部位检测有关的动作。此外，例如，在可驾驶程度推定部15和表情推定部16仅使用由脸部信息检测部13检测出的脸部信息来推定可驾驶程度的情况下，身体信息检测部14不进行与步骤ST4的身体信息检测有关的动作。
如上所述，实施方式1所涉及的情绪推定装置1包括脸部信息检测部13、身体信息检测部14、可驾驶程度推定部15、表情推定部16和情绪推定部17。脸部信息检测部13检测与车辆的驾驶员的脸部的特征有关的脸部信息。身体信息检测部14检测与驾驶员的身体的特征有关的身体信息。可驾驶程度推定部15基于脸部信息和身体信息来推定驾驶员的可驾驶程度。表情推定部16基于脸部信息来推定驾驶员的表情。情绪推定部17基于驾驶员的可驾驶程度与驾驶员的表情的时间变化，来推定由舒适程度和活跃程度来表示的驾驶员的情绪。由此，情绪推定装置1不仅能推定某个时刻的驾驶员的情绪，也能推定将驾驶员逐渐变得兴奋、以及逐渐变得冷静之类的时间变化考虑在内的情绪。
此外，在可驾驶程度推定部15推定为可以驾驶的情况下，实施方式1的情绪推定部17基于驾驶员的表情的持续时间来推定驾驶员的情绪。由此，即使在驾驶员的状态为情绪不容易在表情中表现出的状态的情况下，情绪推定部17也能高精度地推定情绪。
此外，实施方式1的情绪推定部17根据驾驶员的可驾驶程度的持续时间和驾驶员的表情的持续时间来判定舒适程度和活跃程度，并参照预先确定的舒适程度、活跃程度与情绪之间的对应关系，来推定与判定出的舒适程度和活跃程度对应的驾驶员的情绪。由此，如图3～图5所示那样，情绪推定部17能简单地推定将时间变化考虑在内的情绪。
实施方式2.
图7是示出实施方式2所涉及的情绪推定装置1的结构例的框图。实施方式2所涉及的情绪推定装置1相对于图1所示的实施方式1的情绪推定装置1构成为追加了警告部18和驾驶切换部19。对于图7中与图1相同或相当的部分，标注相同的标号并省略说明。
警报部18具备显示器或扬声器中的至少一方。警告部18根据情绪推定部17推定出的情绪，对驾驶员发出警告，或催促驾驶员从手动驾驶向自动驾驶切换。例如，在驾驶员逐渐兴奋、表示情绪的点进入图3的区域31内的情况下，可预见超速等。因此，警告部18在显示器上显示警告画面，或者从扬声器输出警告音，由此来对驾驶员发出警告。此外，在驾驶员逐渐感到不满、表示情绪的点进入图3的区域32内的情况下，可预见路怒驾驶等。因此，警告部18在显示器上显示警告画面，或者从扬声器输出警告音，由此来对驾驶员发出警告。此外，在驾驶员逐渐感到犯困、表示情绪的点进入图3的区域33内的情况下，可预见瞌睡驾驶等。因此，警告部18在显示器上显示警告画面，或者从扬声器输出警告音，由此来对驾驶员发出警告。
另外，警告部18可以在警告画面显示后经过一定时间的情况下结束警告画面的显示，也可以在从兴奋或不满的状态变为冷静的情况下、或者从犯困的状态中清醒了的情况下结束警告画面的显示。同样地，警告部18可以在警告声输出后经过一定时间的情况下结束警告声的输出，也可以在从兴奋或不满的状态变为冷静的情况下、或者从犯困的状态中清醒了的情况下结束警告声的输出。
此外，警告部18可以在驾驶员逐渐感觉到犯困、表示情绪的点进入图3的区域33内的情况下，在显示器上显示催促向自动驾驶切换的画面，或者从扬声器输出催促向自动驾驶切换的声音。
并且，情绪推定装置1可以构成为在驾驶员感到犯困的情况下，自动进行从手动驾驶向自动驾驶的切换。具体而言，在驾驶员逐渐感到犯困、表示情绪的点进入图3的区域33内的情况下，驾驶切换部19对未图示的车辆控制装置指示从手动驾驶向自动驾驶的切换。
如上所述，实施方式2所涉及的情绪推定装置1具备警告部18。警告部18根据情绪推定部17所推定出的驾驶员的情绪，对驾驶员发出警告，或催促向自动驾驶的切换。由此，情绪推定装置1能在与驾驶员的情绪相对应的恰当的定时发出警告。
最后，说明各实施方式所涉及的情绪推定装置1的硬件结构。
图8和图9是示出各实施方式所涉及的情绪推定装置1的硬件结构例的图。情绪推定装置1中的脸部检测部11、脸部部位检测部12、脸部信息检测部13、身体信息检测部14、可驾驶程度推定部15、表情推定部16、情绪推定部17、警告部18和驾驶切换部19的功能由处理电路来实现。即，情绪推定装置1具备用于实现上述功能的处理电路。处理电路可以是作为专用硬件的处理电路100，也可以是执行存储于存储器102的程序的处理器101。
如图8所示，在处理电路为专用的硬件的情况下，处理电路100例如相当于单一电路、复合电路、程序化处理器、并联程序化处理器、ASIC(Application SpecificIntegrated Circuit：专用集成电路)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)或它们的组合。脸部检测部11、脸部部位检测部12、脸部信息检测部13、身体信息检测部14、可驾驶程度推定部15、表情推定部16、情绪推定部17、警告部18和驾驶切换部19的功能可以由多个处理电路100来实现，也可以汇总各部分的功能并由1个处理电路100来实现。
如图9所示，在处理电路为处理器101的情况下，脸部检测部11、脸部部位检测部12、脸部信息检测部13、身体信息检测部14、可驾驶程度推定部15、表情推定部16、情绪推定部17、警告部18和驾驶切换部19的功能由软件、固件或软件和固件的组合来实现。软件或固件以程序的形式来表述，并存储于存储器102。处理器101读取存储于存储器102的程序并执行，从而实现各部的功能。即，情绪推定装置1具备存储器102，该存储器102用于存储在由处理器101执行时最终执行图6的流程图所示的步骤的程序。此外，该程序可以说是使计算机执行脸部检测部11、脸部部位检测部12、脸部信息检测部13、身体信息检测部14、可驾驶程度推定部15、表情推定部16、情绪推定部17、警告部18和驾驶切换部19的步骤或方法的程序。
此处，处理器101指CPU(Central Processing Unit：中央处理单元)、处理装置、运算装置或微处理器等。
存储器102例如可以是RAM(Random Access Memory：随机存取存储器)、ROM(ReadOnly Memory：只读存储器)、EPROM(Erasable Programmable ROM：可擦可编程只读存储器)、或闪存等非易失性或易失性的半导体存储器，也可以是硬盘、软盘等磁盘，也可以是CD(Compact Disc：压缩盘)或DVD(Digital Versatile Disc：数字通用盘)等光盘。
另外，关于脸部检测部11、脸部部位检测部12、脸部信息检测部13、身体信息检测部14、可驾驶程度推定部15、表情推定部16、情绪推定部17、警告部18和驾驶切换部19的功能，可以用专用的硬件来实现一部分，并用软件或固件来实现一部分。如上所述，情绪推定装置1中的处理电路可以利用硬件、软件、固件或它们的组合来实现上述功能。
另外，本发明在其发明范围内，能够自由组合各实施方式，将各实施方式的任意结构要素进行变形，或者也可以省略各实施方式的任意的结构要素。
工业上的实用性
本发明所涉及的情绪推定装置适用于对搭乘包含车辆、铁路、船舶或飞机在内的移动体的驾驶员和乘客等的情绪进行推定的情绪推定装置。
标号说明
1 情绪推定装置
2 拍摄部
11 脸部检测部
12 脸部部位检测部
13 脸部信息检测部
14 身体信息检测部
15 可驾驶程度推定部
16 表情推定部
17 情绪推定部
18 警告部
19 驾驶切换部
31～33 区域
41～44、51～53 表示情绪的点
100 处理电路
101 处理器
102 存储器。

Claims (5)

1.一种情绪推定装置，其特征在于，包括：
检测与车辆的驾驶员的脸部的特征有关的脸部信息的脸部信息检测部；
检测与所述驾驶员的身体的特征有关的身体信息的身体信息检测部；
基于所述脸部信息和所述身体信息来推定所述驾驶员的可驾驶程度的可驾驶程度推定部；
基于所述脸部信息来推定所述驾驶员的表情的表情推定部；以及
基于所述驾驶员的可驾驶程度与所述驾驶员的表情的时间变化，来推定由舒适程度和活跃程度来表示的所述驾驶员的情绪的情绪推定部。
2.如权利要求1所述的情绪推定装置，其特征在于，
所述情绪推定部在由所述可驾驶程度推定部推定为可以驾驶的情况下，基于所述驾驶员的表情的持续时间来推定所述驾驶员的情绪。
3.如权利要求1所述的情绪推定装置，其特征在于，
所述情绪推定部根据所述驾驶员的可驾驶程度的持续时间和所述驾驶员的表情的持续时间来判定所述舒适程度和所述活跃程度，并参照预先确定的舒适程度、活跃程度与情绪之间的对应关系，来推定与判定出的所述舒适程度和所述活跃程度对应的所述驾驶员的情绪。
4.如权利要求1所述的情绪推定装置，其特征在于，
具备警告部，该警告部根据所述情绪推定部推定出的所述驾驶员的情绪，来对所述驾驶员发出警告，或者催促向自动驾驶的切换。
5.一种情绪推定方法，其特征在于，
脸部信息检测部检测与车辆的驾驶员的脸部的特征有关的脸部信息，
身体信息检测部检测与所述驾驶员的身体的特征有关的身体信息，
可驾驶程度推定部基于所述脸部信息和所述身体信息来推定所述驾驶员的可驾驶程度，
表情推定部基于所述脸部信息来推定所述驾驶员的表情，
在由所述可驾驶程度推定部推定为可以驾驶的情况下，情绪推定部基于所述驾驶员的表情的时间变化，来推定由舒适程度和活跃程度表示的所述驾驶员的情绪。
CN201980090218.1A 2019-02-04 2019-02-04 情绪推定装置及情绪推定方法 Pending CN113365556A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/003854 WO2020161768A1 (ja) 2019-02-04 2019-02-04 感情推定装置及び感情推定方法

Publications (1)

Publication Number Publication Date
CN113365556A true CN113365556A (zh) 2021-09-07

Family

ID=71948104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980090218.1A Pending CN113365556A (zh) 2019-02-04 2019-02-04 情绪推定装置及情绪推定方法

Country Status (5)

Country Link
US (1) US11430231B2 (zh)
JP (1) JP7233449B2 (zh)
CN (1) CN113365556A (zh)
DE (1) DE112019006823T5 (zh)
WO (1) WO2020161768A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021014738A1 (ja) * 2019-07-19 2021-01-28 日本電気株式会社 快適性運転データ収集システム、運転制御装置、方法、および、プログラム
JP7328828B2 (ja) * 2019-08-27 2023-08-17 フォルシアクラリオン・エレクトロニクス株式会社 状態推定装置、状態推定プログラムおよび状態推定方法
US12017679B2 (en) * 2021-10-25 2024-06-25 Honda Motor Co., Ltd. Adaptive trust calibration

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110043635A1 (en) * 2008-02-28 2011-02-24 Ryujiro Fujita Vehicle driving evaluation apparatus and method, and computer program
CN103714660A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的***
CN105383497A (zh) * 2015-10-30 2016-03-09 北京九五智驾信息技术股份有限公司 车载***
CN106562793A (zh) * 2015-10-08 2017-04-19 松下电器（美国）知识产权公司 信息提示装置的控制方法、以及信息提示装置
US20170105662A1 (en) * 2015-10-14 2017-04-20 Panasonic Intellectual Property Corporation of Ame Emotion estimating method, emotion estimating apparatus, and recording medium storing program
FR3057517A1 (fr) * 2016-10-14 2018-04-20 Valeo Comfort And Driving Assistance Dispositif de prevention des situations dangereuses pour un conducteur d'un vehicule de transport et procede associe

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4375420B2 (ja) * 2007-03-26 2009-12-02 株式会社デンソー 眠気警報装置、及びプログラム
WO2013008301A1 (ja) 2011-07-11 2013-01-17 トヨタ自動車株式会社 車両の緊急退避装置
KR20140080727A (ko) * 2012-12-14 2014-07-01 한국전자통신연구원 운전자 감성제어 장치 및 그 방법
JP2016071577A (ja) 2014-09-30 2016-05-09 マツダ株式会社 運転者状態検出方法および検出装置
DE102015220237A1 (de) * 2015-10-16 2017-04-20 Zf Friedrichshafen Ag Fahrzeugsystem und Verfahren zur Aktivierung einer Selbstfahreinheit zum autonomen Fahren
EP3175786A1 (en) 2015-12-01 2017-06-07 Panasonic Intellectual Property Corporation of America Estimation of physical conditions
JP6703893B2 (ja) 2015-12-01 2020-06-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 体調推定装置、及び、体調推定システム
US10467488B2 (en) * 2016-11-21 2019-11-05 TeleLingo Method to analyze attention margin and to prevent inattentive and unsafe driving

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110043635A1 (en) * 2008-02-28 2011-02-24 Ryujiro Fujita Vehicle driving evaluation apparatus and method, and computer program
CN103714660A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的***
CN106562793A (zh) * 2015-10-08 2017-04-19 松下电器（美国）知识产权公司 信息提示装置的控制方法、以及信息提示装置
US20170105662A1 (en) * 2015-10-14 2017-04-20 Panasonic Intellectual Property Corporation of Ame Emotion estimating method, emotion estimating apparatus, and recording medium storing program
CN105383497A (zh) * 2015-10-30 2016-03-09 北京九五智驾信息技术股份有限公司 车载***
FR3057517A1 (fr) * 2016-10-14 2018-04-20 Valeo Comfort And Driving Assistance Dispositif de prevention des situations dangereuses pour un conducteur d'un vehicule de transport et procede associe

Also Published As

Publication number Publication date
WO2020161768A1 (ja) 2020-08-13
JP7233449B2 (ja) 2023-03-06
JPWO2020161768A1 (ja) 2021-09-09
DE112019006823T5 (de) 2021-10-21
US11430231B2 (en) 2022-08-30
US20220067412A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
US11027608B2 (en) Driving assistance apparatus and driving assistance method
US11738757B2 (en) Information processing device, moving apparatus, method, and program
CN108394414B (zh) 清醒度判定***以及清醒度判定方法
EP3825981B1 (en) Warning apparatus and driving tendency analysis device
JP5326521B2 (ja) 覚醒状態判断装置及び覚醒状態判断方法
JP5423872B2 (ja) 生体状態判定装置
EP3885220B1 (en) Automatically estimating skill levels and confidence levels of drivers
CN113365556A (zh) 情绪推定装置及情绪推定方法
JPWO2018190152A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2019208450A1 (ja) 運転支援装置、運転支援方法及びプログラム
US9984298B2 (en) Method for outputting a drowsiness warning and control unit
JP6256433B2 (ja) 運転者状態検出装置
US11383640B2 (en) Techniques for automatically reducing annoyance levels of drivers when using driver monitoring systems
JP2018136849A (ja) 覚醒維持装置
JP2018013812A (ja) ドライバ状態誘導装置、及びドライバ状態誘導プログラム
JP2006298234A (ja) 覚醒度判定装置および方法
CN110626352A (zh) 车辆及其司乘人员焦虑情况的检测方法和装置
JP2019179370A (ja) 車速制御装置
CN113879319B (zh) 困倦征兆通知***
JP2023072268A (ja) 運転者状態判定方法及びその装置
JP2023072269A (ja) 運転者状態判定方法及びその装置
JP6199647B2 (ja) ドライバ状態判定装置、車両制御装置及びドライバ状態判定方法
JP2024081013A (ja) 車両制御装置
JP2024063481A (ja) 推定装置、推定方法及びプログラム
JP2023072270A (ja) 運転者状態判定方法及びその装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination