DE112019006823T5

DE112019006823T5 - Emotionsschätzvorrichtung und Emotionsschätzverfahren

Info

Publication number: DE112019006823T5
Application number: DE112019006823.7T
Authority: DE
Inventors: Shusaku Takamoto
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-02-04
Filing date: 2019-02-04
Publication date: 2021-10-21
Also published as: JP7233449B2; WO2020161768A1; US11430231B2; CN113365556A; US20220067412A1; JPWO2020161768A1

Abstract

Eine Gesichtsinformationsdetektionseinheit (13) detektiert Gesichtsinformationen, die sich auf die Gesichtsmerkmale eines Fahrers eines Fahrzeugs beziehen. Eine Physische-Information-Detektionseinheit (14) detektiert physische Informationen, die sich auf physische Merkmale des Fahrers beziehen. Eine Fahrfähigkeitsschätzeinheit (15) schätzt die Fahrfähigkeit des Fahrers auf der Grundlage der Gesichtsinformationen und der physischen Informationen. Eine Gesichtsausdruckschätzeinheit (16) schätzt den Gesichtsausdruck des Fahrers auf der Grundlage der Gesichtsinformationen. Eine Emotionsschätzeinheit (17) schätzt die Emotion des Fahrers, die durch den Grad des Komforts und den Grad der Aktivität repräsentiert wird, auf der Grundlage der zeitlichen Änderungen der Fahrfähigkeit des Fahrers und des Gesichtsausdrucks des Fahrers.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine Emotionsschätzvorrichtung und ein Emotionsschätzverfahren zur Schätzung einer Emotion eines Fahrers.
STAND DER TECHNIK
Herkömmliche Emotionsschätzvorrichtungen detektieren physiologische Daten und nicht-physiologische Daten eines Subjekts, z. B. aus einem von einer Kamera aufgenommenen Bild, schätzen den Grad des Erwachens und den Grad des Wohlbefindens des Subjekts auf der Grundlage der detektierten physiologischen Daten und der nichtphysiologischen Daten und wählen eine Emotion aus, die dem geschätzten Grad des Erwachens und dem Grad des Wohlbefindens entspricht (siehe z. B. Patentliteratur 1).
ZITIERLISTE
PATENTLITERATUR
Patentliteratur 1: JP 2017-144222 A
ZUSAMMENFASSUNG DER ERFINDUNG
TECHNISCHES PROBLEM
Die von einer herkömmlichen Emotionsschätzvorrichtung geschätzten Emotionen sind nützlich, um eine Aktion eines Fahrers, wie z. B. Geschwindigkeitsüberschreitung und aggressive Fahrweise, die einen Verkehrsunfall verursachen können, vorherzusagen und dadurch die Beschleunigung oder Verzögerung durch eine Fahrassistenzvorrichtung anzupassen, den Fahrer zu warnen usw. Da Emotionen jedoch eine Dauer haben, besteht der Nachteil, dass Emotionen nicht nur durch den Grad des Erwachens und den Grad des Wohlbefindens richtig eingeschätzt werden können.
Die vorliegende Erfindung wurde gemacht, um den oben genannten Nachteil zu lösen, und ein Ziel der vorliegenden Erfindung ist es, Emotionen unter Berücksichtigung von zeitlichen Änderungen zu schätzen.
LÖSUNG DES PROBLEMS
Eine Emotionsschätzvorrichtung gemäß der vorliegenden Erfindung umfasst: eine Gesichtsinformationsdetektionseinheit, die Gesichtsinformationen in Bezug auf ein Gesichtsmerkmal eines Fahrers eines Fahrzeugs detektiert; eine Physische-Information-Detektionseinheit, die physische Informationen in Bezug auf ein physisches Merkmal des Fahrers detektiert; eine Fahrfähigkeitsschätzeinheit, die die Fahrfähigkeit des Fahrers auf der Basis der Gesichtsinformationen und der physischen Informationen schätzt; eine Gesichtsausdruckschätzeinheit, die einen Gesichtsausdruck des Fahrers auf der Basis der Gesichtsinformationen schätzt; und eine Emotionsschätzeinheit, die eine Emotion des Fahrers, die durch einen Grad von Komfort und einen Grad von Aktivität repräsentiert wird, auf der Basis einer zeitlichen Änderung der Fahrfähigkeit des Fahrers und des Gesichtsausdrucks des Fahrers schätzt.
VORTEILHAFTE AUSWIRKUNGEN DER ERFINDUNG
Gemäß der vorliegenden Erfindung kann, da die Emotionen auf der Basis von zeitlichen Änderungen in der Fahrfähigkeit eines Fahrers und im Gesichtsausdruck des Fahrers geschätzt werden, eine Emotion unter Berücksichtigung der zeitlichen Änderungen geschätzt werden.
Figurenliste

1 ist ein Blockdiagramm, das eine beispielhafte Konfiguration einer Emotionsschätzvorrichtung gemäß einer ersten Ausführungsform zeigt.
2 ist ein Diagramm zur Erläuterung eines Emotionsschätzverfahrens, das von einer Emotionsschätzeinheit der ersten Ausführungsform durchgeführt wird.
3 ist ein Diagramm zur Erläuterung des Emotionsschätzverfahrens, das von der Emotionsschätzeinheit der ersten Ausführungsform durchgeführt wird.
4A, 4B und 4C sind Diagramme, die jeweils ein Beispiel für zeitliche Änderungen einer von der Emotionsschätzeinheit der ersten Ausführungsform geschätzten Emotion darstellen.
5Aund 5B sind Diagramme, die jeweils ein weiteres Beispiel für zeitliche Änderungen einer von der Emotionsschätzeinheit der ersten Ausführungsform geschätzten Emotion darstellen.
6 ist ein Flussdiagramm, das ein Beispiel für den Betrieb der Emotionsschätzvorrichtung gemäß der ersten Ausführungsform darstellt.
7 ist ein Blockdiagramm, das eine beispielhafte Konfiguration einer Emotionsschätzvorrichtung gemäß einer zweiten Ausführungsform illustriert.
8 ist ein Diagramm, das ein Beispiel für die Hardwarekonfiguration der Emotionsschätzvorrichtungen jeder der Ausführungsformen illustriert.
9 ist ein Diagramm, das ein weiteres Beispiel für die Hardwarekonfiguration der Emotionsschätzvorrichtungen jeder der Ausführungsformen veranschaulicht.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Um die vorliegende Erfindung näher zu beschreiben, werden im Folgenden Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.
Erste Ausführungsform
1 ist ein Blockdiagramm, das eine beispielhafte Konfiguration einer Emotionsschätzvorrichtung 1 gemäß einer ersten Ausführungsform zeigt. Die Emotionsschätzvorrichtung 1 gemäß der ersten Ausführungsform ist an einem Fahrzeug angebracht oder wird in ein Fahrzeug gebracht und schätzt eine Emotion eines Fahrers.
Mit der Emotionsschätzvorrichtung 1 ist eine Bildgebungseinheit 2 verbunden. Die Bildgebungseinheit 2 ist beispielsweise eine Kamera, die in der Nähe des Lenkrads installiert ist, um ein Bild des Fahrers zu erfassen. Die Bildgebungseinheit 2 gibt ein erfasstes Bild, das den Fahrer erfasst, an die Emotionsschätzvorrichtung 1 aus.
Die Emotionsschätzvorrichtung 1 umfasst eine Gesichtsdetektionseinheit 11, eine Gesichtsteildetektionseinheit 12, eine Gesichtsinformationsdetektionseinheit 13, eine Physische-Information-Detektionseinheit 14, eine Fahrfähigkeitsschätzeinheit 15, eine Gesichtsausdruckschätzeinheit 16 und eine Emotionsschätzeinheit 17.
Die Gesichtsdetektionseinheit 11 detektiert ein aufgenommenes Bild von der Bildgebungseinheit 2. Die Gesichtsdetektionseinheit 11 detektiert einen Bereich, in dem das Gesicht des Fahrers detektiert wird, aus dem erfassten Bild. Die Gesichtsdetektionseinheit 11 gibt den Gesichtsbereich des erfassten Bildes an die Gesichtsteildetektionseinheit 12 und die Physische-Information-Detektionseinheit 14 aus.
Die Gesichtsteildetektionseinheit 12 detektiert Gesichtsteile des Fahrers aus dem von der Gesichtsdetektionseinheit 11 detektierten Gesichtsbereich in dem erfassten Bild. Zu den Gesichtsteilen gehören die Augen, die Nase und der Mund. Die Gesichtsteildetektionseinheit 12 gibt die detektierten Gesichtsteile an mindestens eine der Gesichtsinformationsdetektionseinheiten 13 oder die Physische-Information-Detektionseinheit 14 aus.
Die Funktionen der Gesichtsdetektionseinheit 11 und der Gesichtsteildetektionseinheit 12 sind nicht notwendigerweise in der Emotionsschätzvorrichtung 1 enthalten und können in einer externen Vorrichtung wie der Bildgebungseinheit 2 enthalten sein.
Die Gesichtsinformationsdetektionseinheit 13 detektiert Gesichtsinformationen, die sich auf die Gesichtszüge des Fahrers beziehen, auf der Basis der Gesichtsteile, die von der Gesichtsteiledetektionseinheit 12 detektiert wurden. Die Gesichtsinformationen umfassen mindestens eine der folgenden Informationen: den Gesichtsausrichtungswinkel, den Augenöffnungsgrad, die Blinzelgeschwindigkeit, den Mundöffnungsgrad, den Sichtlinienwinkel oder die Kopfposition des Fahrers. Die Gesichtsinformationsdetektionseinheit 13 gibt die detektierten Gesichtsinformationen an die Fahrfähigkeitsschätzeinheit 15 und die Gesichtsausdruckschätzeinheit 16 aus.
Die Physische-Information-Detektionseinheit 14 detektiert physische Informationen, die sich auf die physischen Merkmale des Fahrers beziehen, auf der Basis des von der Gesichtsdetektionseinheit 11 detektierten Gesichtsbereichs oder der von der Gesichtsteildetektionseinheit 12 detektierten Gesichtsteile. Die physischen Informationen umfassen mindestens eine der folgenden Informationen: die Herzfrequenz, die Herzfrequenzvariabilität, die RRI, die Gehirnströme, die Pulswellen, die Pulsfrequenzvariabilität, den Blutdruck, die Körpertemperatur oder die Schweißrate. Es ist zu beachten, dass die Physische-Information-Detektionseinheit 14 die Physische-Information unter Verwendung des Gesichtsbereichs oder der Gesichtsteile, die aus dem aufgenommenen Bild der Bildgebungseinheit 2 detektiert wurden, detektieren kann oder die Physische-Information unter Verwendung eines Detektionsergebnisses eines Sensors (nicht dargestellt) detektieren kann. Die Physische-Information-Detektionseinheit 14 gibt die detektierte Physische Informationen an die Fahrfähigkeitsschätzeinheit 15 aus.
Es ist zu beachten, dass die Gesichtsinformationen von den Informationen, die sich auf biologische Funktionen beziehen, Elemente sind, die in der Physiologie als Gesichtsmerkmale angesehen werden, wie z. B. der Gesichtsorientierungswinkel, der Augenöffnungsgrad, die Blinzelgeschwindigkeit, der Mundöffnungsgrad, der Sichtlinienwinkel und die Kopfposition. Die physischen Informationen sind Informationen, die sich auf biologische Funktionen beziehen, Elemente, die in der Physiologie als physische Merkmale angesehen werden, wie z. B. die Herzfrequenz, die Herzfrequenzvariabilität, die RRI, die Gehirnwelle, die Pulswelle, die Pulsfrequenzvariabilität, der Blutdruck, die Körpertemperatur und die Schweißrate.
Die Fahrfähigkeitsschätzeinheit 15 schätzt die Fahrfähigkeit des Fahrers auf der Basis von mindestens einer der Gesichtsinformationen, die von der Gesichtsinformationsdetektionseinheit 13 detektiert wurden, und der physischen Informationen, die von der Physischen-Information-Detektionseinheit 14 detektiert wurden. Zum Beispiel schätzt die Fahrfähigkeitsschätzeinheit 15 eine Fahrfähigkeit, die den Gesichtsinformationen, die von der Gesichtsinformationsdetektionseinheit 13 detektiert wurden, und den physischen Informationen, die von der Physische-Information-Detektionseinheit 14 detektiert wurden, entspricht, unter Verwendung eines Modells, in dem eine Korrespondenzbeziehung zwischen den Gesichtsinformationen und den physischen Informationen vieler und nicht spezifizierter Personen in normalen Zeiten und abnormalen Zeiten und der Fahrfähigkeit erlernt wird. Es ist zu beachten, dass die Fahrfähigkeitsschätzeinheit 15 das Modell für einen Fahrer des Host-Fahrzeugs unter Verwendung von Gesichtsinformationen und physischen Informationen des Fahrers des Host-Fahrzeugs optimieren kann. Die Fahrfähigkeit hat z. B. zwei Stufen: fähig und nicht fähig. Im Falle der Fahrtauglichkeit befindet sich der Fahrer in einem fahrtauglichen Zustand, während im Falle der Fahruntauglichkeit der Fahrer in einem fahruntauglichen Zustand ist oder nicht fahren kann. Die Fahrfähigkeitsschätzeinheit 15 gibt die geschätzte Fahrfähigkeit an die Emotionsschätzeinheit 17 aus.
Die Gesichtsausdruckschätzeinheit 16 schätzt den Gesichtsausdruck des Fahrers auf der Grundlage der von der Gesichtsinformationsdetektionseinheit 13 detektierten Gesichtsinformationen. Beispielsweise schätzt die Gesichtsausdruckschätzeinheit 16 einen Gesichtsausdruck, der den von der Gesichtsinformationsdetektionseinheit 13 detektierten Gesichtsinformationen entspricht, auf der Basis einer vorbestimmten Korrespondenzbeziehung zwischen den Gesichtsinformationen und dem Gesichtsausdruck (sogenannte Regelbasis). Alternativ kann die Gesichtsausdruckschätzeinheit 16 einen Gesichtsausdruck, der der von der Gesichtsinformationsdetektionseinheit 13 detektierten Gesichtsinformation entspricht, unter Verwendung eines Modells schätzen, in dem die Korrespondenzbeziehung zwischen der Gesichtsinformation und dem Gesichtsausdruck vieler und nicht spezifizierter Personen gelernt wird (sog. maschinelles Lernen). Eine weitere Alternative ist, dass die Gesichtsausdruckschätzeinheit 16 einen Gesichtsausdruck schätzt, indem sie sowohl die Regelbasis als auch das maschinelle Lernen durchführt. Für den Gesichtsausdruck werden drei Arten von Gesichtsausdrücken festgelegt, zum Beispiel positiv (Lächeln), negativ (mürrisch oder weinend) und neutral (andere Gesichtsausdrücke). Die Gesichtsausdruckschätzeinheit 16 gibt den geschätzten Gesichtsausdruck an die Emotionsschätzeinheit 17 aus.
Die Emotionsschätzeinheit 17 schätzt die Emotion des Fahrers, die durch den Grad des Komforts und den Grad der Aktivität repräsentiert wird, auf der Basis von zeitlichen Änderungen der Fahrfähigkeit, die von der Fahrfähigkeitsschätzeinheit 15 geschätzt wird, und zeitlichen Änderungen des Gesichtsausdrucks, der von der Gesichtsausdruckschätzeinheit 16 geschätzt wird. Es ist zu beachten, dass der „aktive“ Zustand, in dem der Grad der Aktivität hoch ist, ein Zustand ist, in dem der Fahrer wach oder nüchtern ist, und der „inaktive“ Zustand, in dem der Grad der Aktivität niedrig ist, ein Zustand ist, in dem der Fahrer schläft oder betrunken ist.
2 ist ein Diagramm, das ein Emotionsschätzverfahren durch die Emotionsschätzeinheit 17 der ersten Ausführungsform veranschaulicht.
In einem Fall, in dem der Fahrer fahrunfähig ist, ist es unwahrscheinlich, dass Emotionen in einem Gesichtsausdruck ausgedrückt werden, und es ist schwierig, eine Emotion aus dem Gesichtsausdruck zu schätzen. Daher bestimmt die Emotionsschätzeinheit 17 in einem Fall, in dem von der Fahrfähigkeitsschätzeinheit 15 geschätzt wird, dass der Fahrer fahrunfähig ist, den Grad der Aktivität als inaktiv.
Andererseits bestimmt die Emotionsschätzeinheit 17 in einem Fall, in dem von der Fahrfähigkeitsschätzeinheit 15 geschätzt wird, dass der Fahrer fahrfähig ist, den Grad der Aktivität als aktiv. Darüber hinaus bestimmt die Emotionsschätzeinheit 17 in einem Fall, in dem von der Fahrfähigkeitsschätzeinheit 15 geschätzt wird, dass der Fahrer in der Lage ist, zu fahren, den Grad des Komforts als komfortabel, wenn der von der Gesichtsausdruckschätzeinheit 16 geschätzte Gesichtsausdruck positiv ist, bestimmt als ausdruckslos, wenn der Gesichtsausdruck neutral ist, und bestimmt als unbehaglich, wenn der Gesichtsausdruck negativ ist.
Im Folgenden wird ein Beispiel für die Schätzung von Emotionen unter Verwendung des Russell'schen Zirkumplexmodells beschrieben.
3 ist ein Diagramm zur Erläuterung des Emotionsschätzverfahrens durch die Emotionsschätzeinheit 17 der ersten Ausführungsform. In dem in 3 dargestellten Diagramm stellt die vertikale Achse den Grad der Aktivität und die horizontale Achse den Grad des Komforts dar. Die Emotionsschätzeinheit 17 zeichnet einen emotionsausdrückenden Punkt in das Diagramm in 3 ein, der vom Grad der Aktivität und dem Grad des Komforts abhängt, die auf der Grundlage der Fahrfähigkeit und des Gesichtsausdrucks bestimmt werden. Wenn beispielsweise die Fahrfähigkeit „fähig“ ist, verschiebt die Emotionsschätzeinheit 17 den emotionsausdrückenden Punkt von der aktuellen Position in Richtung der aktiven Seite um einen Betrag, der der Dauer der „Fähigkeit“ entspricht. Im Gegensatz dazu zeichnet die Emotionsschätzeinheit 17 in einem Fall, in dem die Fahrfähigkeit „unfähig“ ist, einen emotionsausdrückender Punkt am Ursprung auf, der der Schnittpunkt der vertikalen Achse und der horizontalen Achse ist, und verschiebt dann den emotionsausdrückender Punkt vom Ursprung in Richtung der inaktiven Seite um einen Betrag, der der Dauer des Zustands „unfähig“ entspricht. In einem Fall, in dem der Gesichtsausdruck „positiv“ ist, bewegt die Emotionsschätzeinheit 17 den emotionsausdrückender Punkt von der aktuellen Position in Richtung der angenehmen Seite um einen Betrag, der der Dauer von „positiv“ entspricht. Im Gegensatz dazu verschiebt die Emotionsschätzeinheit 17 in einem Fall, in dem der Gesichtsausdruck „negativ“ ist, den emotionsausdrückenden Punkt von der aktuellen Position in Richtung der unangenehmen Seite um einen Betrag, der der Dauer von „negativ“ entspricht. In einem Fall, in dem der Gesichtsausdruck „neutral“ ist, bewegt die Emotionsschätzeinheit 17 den emotionsausdrückenden Punkt in Richtung des Ursprungs um einen Betrag, der der Dauer des Zustands „neutral“ entspricht. Es ist zu beachten, dass der Betrag der Bewegung des emotionsausdrückenden Punktes pro Zeiteinheit ein im Voraus gegebener Wert oder ein für jeden Fahrer unterschiedlicher Wert sein kann.
Darüber hinaus schätzt die Emotionsschätzeinheit 17 in einem Fall, in dem ein Emotion ausdrückender Punkt in einem aktiven und komfortablen Bereich 31 im Diagramm von 3 aufgetragen ist, die Emotion des Fahrers als „Erregung“. Die Emotionsschätzeinheit 17 schätzt, dass der Fahrer allmählich erregt wird, wenn sich der die Emotion ausdrückende Punkt in Richtung des Bereichs 31 bewegt. In einem Fall, in dem sich der Fahrer in einem erregten Zustand befindet, wird z. B. eine Geschwindigkeitsüberschreitung vorausgesagt. In einem Fall, in dem ein Emotionen ausdrückender Punkt in einem aktiven und unangenehmen Bereich 32 eingezeichnet ist, schätzt die Emotionsschätzeinheit 17 die Emotion des Fahrers als „Unzufriedenheit“. Die Emotionsschätzeinheit 17 schätzt, dass der Fahrer allmählich Unzufriedenheit empfindet, wenn sich der emotionsausdrückende Punkt in Richtung des Bereichs 32 bewegt. In einem Fall, in dem sich der Fahrer in einem unzufriedenen Zustand befindet, wird z. B. aggressive Fahrweise vorhergesagt. In einem Fall, in dem ein Emotion ausdrückender Punkt in einem inaktiven Bereich 33 eingezeichnet ist, schätzt die Emotionsschätzeinheit 17 die Emotion des Fahrers als „Schläfrigkeit“. Die Emotionsschätzeinheit 17 schätzt, dass der Fahrer allmählich schläfrig wird, wenn sich der emotionsausdrückende Punkt in Richtung des Bereichs 33 bewegt. Wenn sich der Fahrer in einem schläfrigen Zustand befindet, wird z. B. ein Einschlafen während der Fahrt vorausgesehen. Es ist zu beachten, dass die Arten von Emotionen und die Korrespondenzbeziehung zwischen Bereichen und Emotionen in der Grafik von 3 nicht auf die obigen Beispiele beschränkt sind. Außerdem können die Position und die Größe der Bereiche, die den Emotionen entsprechen, für jeden Fahrer unterschiedlich sein.
Als nächstes wird ein spezifisches Beispiel für die Emotionsschätzung beschrieben.
4A, 4B und 4C sind Diagramme, die jeweils ein Beispiel für zeitliche Änderungen einer von der Emotionsschätzeinheit 17 der ersten Ausführungsform geschätzten Emotion darstellen. In einem Fall, in dem die Fahrfähigkeit des Fahrers „fähig“ und der Gesichtsausdruck „positiv“ ist, zeichnet die Emotionsschätzeinheit 17 einen emotionsausdrückender Punkt 41 auf einem Diagramm, wie in 4A dargestellt. Wenn die Fahrfähigkeit „fähig“ und der Gesichtsausdruck „positiv“ ist, bewegt sich der emotionsausdrückende Punkt 41 in Richtung der aktiven Seite und der komfortablen Seite um den Betrag, der der Dauer entspricht. Wenn sich der emotionsausdrückender Punkt 41 zu einem emotionsausdrückender Punkt 42 bewegt und sich dem Bereich 31 nähert, wie in 4B dargestellt, kann die Emotionsschätzeinheit 17 die zeitliche Änderung der Emotion abschätzen, z. B. dass der Fahrer allmählich erregt wird.
In 4C ist ein emotionsausdrückender Punkt 43 im Bereich 31 der Erregung eingezeichnet. In diesem Fall, wenn die Fahrfähigkeit „fähig“ und der Gesichtsausdruck „neutral“ andauern, bewegt sich der emotionsausdrückende Punkt 43 in Richtung des Ursprungs um den Betrag, der der Dauer entspricht. Es ist zu beachten, dass in der ersten Ausführungsform die Emotionsschätzeinheit 17 dem Gesichtsausdruck „neutral“ Vorrang vor der Fahrfähigkeit „fähig“ gibt und dadurch den emotionsausdrückenden Punkt 43 verschiebt. Wenn sich der emotionsausdrückende Punkt 43 zu einem emotionsausdrückenden Punkt 44 bewegt und sich von dem Bereich 31 wegbewegt, wie in 4C dargestellt, kann die Emotionsschätzeinheit 17 die zeitliche Änderung der Emotion so einschätzen, dass sich der Fahrer allmählich beruhigt.
5Aund 5B sind Diagramme, die jeweils ein weiteres Beispiel für die zeitliche Änderung einer Emotion darstellen, die von der Emotionsschätzeinheit 17 der ersten Ausführungsform geschätzt wird. In einem Fall, in dem die Fahrfähigkeit des Fahrers „unfähig“ ist, zeichnet die Emotionsschätzeinheit 17 unabhängig vom Gesichtsausdruck einen emotionsausdrückenden Punkt 51 am Ursprung auf. Dann verschiebt die Emotionsschätzeinheit 17 den emotionsausdrückenden Punkt 51 in Richtung der inaktiven Seite um den Betrag, der der Dauer der Fahrfähigkeit von „unfähig“ entspricht. Wenn sich der emotionsausdrückende Punkt 51 zu einem emotionsausdrückenden Punkt 52 bewegt und sich dem Bereich 33, wie in 5A dargestellt, nähert, kann die Emotionsschätzeinheit 17 die zeitliche Änderung der Emotion schätzen, z. B. dass der Fahrer allmählich schläfrig wird.
In einem Fall, in dem die Fahrfähigkeit des Fahrers „fähig“ wird, bewegt die Emotionsschätzeinheit 17 den emotionsausdrückenden Punkt 52 zur aktiven Seite um den Betrag, der der Dauer der Fahrfähigkeit von „fähig“ entspricht. Wenn sich der emotionsausdrückende Punkt 52 zu einem emotionsausdrückenden Punkt 53 bewegt und sich von dem Bereich 33 entfernt, wie in 5B dargestellt, kann die Emotionsschätzeinheit 17 die zeitliche Änderung der Emotion abschätzen, z. B. dass der Fahrer allmählich erwacht. Es ist zu beachten, dass in 5B ein Beispiel dargestellt ist, bei dem die Fahrfähigkeit „fähig“ und der Gesichtsausdruck „neutral“ ist, und sich daher der emotionsausdrückender Punkt 52 in Richtung des Ursprungs bewegt. In einem Fall, in dem der Gesichtsausdruck „positiv“ (oder „negativ“) ist, bewegt sich der emotionsausdrückende Punkt 52 in Richtung der aktiven Seite und der angenehmen Seite (oder der unangenehmen Seite).
Als nächstes wird der Betrieb der Emotionsschätzvorrichtung 1 beschrieben.
6 ist ein Flussdiagramm, das ein Beispiel für den Betrieb der Emotionsschätzvorrichtung 1 gemäß der ersten Ausführungsform darstellt. Wenn beispielsweise der Zündschalter des Fahrzeugs eingeschaltet wird, initiiert die Emotionsschätzvorrichtung 1 den im Flussdiagramm von 6 dargestellten Vorgang und wiederholt diesen Vorgang, bis der Zündschalter ausgeschaltet wird.
In Schritt ST1 detektiert die Gesichtsdetektionseinheit 11 den Gesichtsbereich des Fahrers aus dem erfassten Bild der Bildgebungseinheit 2. In Schritt ST2 detektiert die Gesichtsteildetektionseinheit 12 Gesichtsteile aus dem Gesichtsbereich in dem aufgenommenen Bild. Es ist zu beachten, dass, wie oben beschrieben, die Funktionen der Gesichtsdetektionseinheit 11 und der Gesichtsteildetektionseinheit 12 in einer externen Vorrichtung enthalten sein können. In einer solchen Konfiguration führt die Emotionsschätzvorrichtung 1 weder die Operation in Schritt ST1 noch ST2 aus.
In Schritt ST3 detektiert die Gesichtsinformationsdetektionseinheit 13 Gesichtsinformationen, die sich auf die Gesichtszüge des Fahrers beziehen, auf der Basis der Gesichtsteile. In Schritt ST4 detektiert die Physische-Information-Detektionseinheit 14 physische Informationen, die sich auf die physischen Merkmale des Fahrers beziehen, auf der Basis des Gesichtsbereichs oder der Gesichtsteile in dem aufgenommenen Bild. In Schritt ST5 schätzt die Fahrfähigkeitsschätzeinheit 15 die Fahrfähigkeit des Fahrers auf der Grundlage der Gesichtsinformationen und der physischen Informationen. In Schritt ST6 schätzt die Gesichtsausdruckschätzeinheit 16 den Gesichtsausdruck des Fahrers auf der Grundlage der Gesichtsinformationen. In Schritt ST7 schätzt die Emotionsschätzeinheit 17 eine Emotion, die durch den Grad des Komforts und den Grad der Aktivität repräsentiert wird, auf der Basis von zeitlichen Änderungen in der Fahrfähigkeit und dem Gesichtsausdruck des Fahrers.
Der im Flussdiagramm von 6 dargestellte Betrieb der Emotionsschätzvorrichtung 1 ist lediglich ein Beispiel und ist nicht auf diesen Betrieb beschränkt. Zum Beispiel in einem Fall, in dem die Physische-Information-Detektionseinheit 14 die physischen Informationen nur unter Verwendung des Gesichtsbereichs ohne Verwendung der Gesichtsteile detektiert, führt die Gesichtsteildetektionseinheit 12 nicht die Operation in Bezug auf die Gesichtsteildetektion von Schritt ST2 aus. Ferner führt beispielsweise in einem Fall, in dem die Fahrfähigkeitsschätzeinheit 15 und die Gesichtsausdruckschätzeinheit 16 die Fahrfähigkeit nur unter Verwendung der von der Gesichtsinformationsdetektionseinheit 13 detektierten Gesichtsinformationen schätzen, die Physisch-Information-Detektionseinheit 14 nicht die Operation bezüglich der Physisch-Information-Detektion des Schritts ST4 durch.
Wie oben beschrieben, enthält die Emotionsschätzvorrichtung 1 gemäß der ersten Ausführungsform die Gesichtsinformationsdetektionseinheit 13, die Physische-Information-Detektionseinheit 14, die Fahrfähigkeitsschätzeinheit 15, die Gesichtsausdruckschätzeinheit 16 und die Emotionsschätzeinheit 17. Die Gesichtsinformationsdetektionseinheit 13 detektiert Gesichtsinformationen, die sich auf die Gesichtszüge eines Fahrers des Fahrzeugs beziehen. Die Physische-Information-Detektionseinheit 14 detektiert physische Informationen, die sich auf die physischen Merkmale des Fahrers beziehen. Die Fahrfähigkeitsschätzeinheit 15 schätzt die Fahrfähigkeit des Fahrers auf der Basis der Gesichtsinformationen und der physischen Informationen. Die Gesichtsausdruckschätzeinheit 16 schätzt den Gesichtsausdruck des Fahrers auf der Basis der Gesichtsinformationen. Die Emotionsschätzeinheit 17 schätzt die Emotion des Fahrers, die durch den Grad des Komforts und den Grad der Aktivität repräsentiert wird, auf der Basis der zeitlichen Änderungen der Fahrfähigkeit des Fahrers und des Gesichtsausdrucks des Fahrers. Mit dieser Konfiguration ist die Emotionsschätzvorrichtung 1 nicht nur in der Lage, die Emotion des Fahrers zu einem bestimmten Zeitpunkt zu schätzen, sondern auch eine Emotion unter Berücksichtigung zeitlicher Änderungen zu schätzen, wie z. B., dass der Fahrer allmählich aufgeregt wird oder allmählich ruhiger wird.
Die Emotionsschätzeinheit 17 der ersten Ausführungsform schätzt die Emotion des Fahrers auf der Grundlage einer Dauer des Gesichtsausdrucks des Fahrers in einem Fall, in dem von der Fahrfähigkeitsschätzeinheit 15 geschätzt wird, dass der Fahrer fahrfähig ist. Folglich kann die Emotionsschätzeinheit 17 die Emotion auch dann genau schätzen, wenn der Zustand des Fahrers so ist, dass die Emotion im Gesichtsausdruck schwer zu detektieren ist.
Darüber hinaus bestimmt die Emotionsschätzeinheit 17 der ersten Ausführungsform den Komfortgrad und den Aktivitätsgrad in Abhängigkeit von der Dauer der Fahrfähigkeit des Fahrers und der Dauer des Gesichtsausdrucks des Fahrers und schätzt die Emotion des Fahrers, die dem Komfortgrad und dem Aktivitätsgrad entspricht, die durch Bezugnahme auf eine vorbestimmte Korrespondenzbeziehung zwischen dem Komfortgrad, dem Aktivitätsgrad und den Emotionen bestimmt worden sind. Folglich kann die Emotionsschätzeinheit 17 auf einfache Weise eine Emotion unter Berücksichtigung der zeitlichen Änderungen schätzen, wie in den 3 bis 5 dargestellt.
Zweite Ausführungsform
7 ist ein Blockdiagramm, das eine beispielhafte Konfiguration einer Emotionsschätzvorrichtung 1 gemäß einer zweiten Ausführungsform zeigt. Die Emotionsschätzvorrichtung 1 gemäß der zweiten Ausführungsform hat eine Konfiguration, in der eine Warneinheit 18 und eine Antriebsschalteinheit 19 zu der Emotionsschätzvorrichtung 1 der in 1 dargestellten ersten Ausführungsform hinzugefügt sind. In 7 ist die gleiche oder eine entsprechende Komponente wie in 1 mit dem gleichen Symbol gekennzeichnet, und eine Beschreibung derselben entfällt.
Die Warneinheit 18 umfasst mindestens eines von zwei Elementen: ein Display oder einen Lautsprecher. Die Warneinheit 18 warnt den Fahrer oder fordert ihn auf, vom manuellen Fahren auf autonomes Fahren umzuschalten, abhängig von der Emotion, die von der Emotionsschätzeinheit 17 geschätzt wird. Wenn der Fahrer z. B. allmählich aufgeregt wird und ein emotionsauslösender Punkt in den Bereich 31 von 3 eintritt, wird eine Geschwindigkeitsüberschreitung vorhergesagt. Daher warnt die Warneinheit 18 den Fahrer, indem sie einen Warnbildschirm auf dem Display anzeigt oder einen Warnton über den Lautsprecher ausgibt. Alternativ dazu wird, wenn der Fahrer allmählich unzufrieden wird und ein emotionsausdrückender Punkt in den Bereich 32 von 3 eintritt, z. B. Verkehrsrowdy vorausgesehen. Daher warnt die Warneinheit 18 den Fahrer, indem sie einen Warnbildschirm auf dem Display anzeigt oder einen Warnton über den Lautsprecher ausgibt. Eine weitere Alternative ist, dass, wenn der Fahrer allmählich schläfrig wird und ein Emotionen ausdrückender Punkt in den Bereich 33 von 3 eintritt, z. B. Dösen während der Fahrt vorhergesehen wird. Daher warnt die Warneinheit 18 den Fahrer, indem sie einen Warnbildschirm auf dem Display anzeigt oder einen Warnton über den Lautsprecher ausgibt.
Es ist zu beachten, dass die Warneinheit 18 die Anzeige des Warnbildschirms beenden kann, wenn eine bestimmte Zeitspanne nach der Anzeige des Warnbildschirms verstrichen ist, oder die Anzeige des Warnbildschirms beenden kann, wenn sich der Fahrer aus einem Zustand der Aufregung oder Unzufriedenheit beruhigt hat oder aus einem Zustand der Schläfrigkeit erwacht ist. In ähnlicher Weise kann die Warneinheit 18 die Ausgabe des Warntons beenden, wenn eine bestimmte Zeitspanne nach der Ausgabe des Warntons verstrichen ist, oder sie kann die Ausgabe des Warntons beenden, wenn sich der Fahrer aus einem Zustand der Aufregung oder Unzufriedenheit beruhigt oder aus einem Zustand der Schläfrigkeit erwacht.
Außerdem kann die Warneinheit 18, wenn der Fahrer allmählich schläfrig wird und der emotionsausdrückender Punkt in den Bereich 33 von 3 eintritt, auf einem Display einen Bildschirm anzeigen, der zum Umschalten auf autonomes Fahren auffordert, oder über einen Lautsprecher eine Sprachausgabe ausgeben, die zum Umschalten auf autonomes Fahren auffordert.
Darüber hinaus kann die Emotionsschätzvorrichtung 1 automatisch ein Umschalten vom manuellen Fahren zum autonomen Fahren durchführen, wenn der Fahrer sich schläfrig fühlt. Insbesondere weist die Antriebsschalteinheit 19 eine Fahrzeugsteuerungsvorrichtung (nicht dargestellt) an, vom manuellen Fahren zum autonomen Fahren umzuschalten, wenn der Fahrer sich allmählich schläfrig fühlt und der emotionsausdrückender Punkt den Bereich 33 von 3 erreicht.
Wie oben beschrieben, umfasst die Emotionsschätzvorrichtung 1 gemäß der zweiten Ausführungsform die Warneinheit 18. Die Warneinheit 18 warnt den Fahrer oder fordert zum Umschalten auf autonomes Fahren auf, abhängig von der Emotion des Fahrers, die von der Emotionsschätzeinheit 17 geschätzt wird. Folglich kann die Emotionsschätzvorrichtung 1 zu einem geeigneten Zeitpunkt in Abhängigkeit von der Emotion des Fahrers warnen.
Abschließend wird die Hardwarekonfiguration der Emotionsschätzvorrichtungen 1 der Ausführungsformen beschrieben.
8 und 9 sind Diagramme, die jeweils ein Beispiel für die Hardwarekonfiguration der Emotionsschätzvorrichtung 1 jeder der Ausführungsformen zeigen. Die Funktionen der Gesichtsdetektionseinheit 11, der Gesichtsteildetektionseinheit 12, der Gesichtsinformationsdetektionseinheit 13, der Physische-Information-Detektionseinheit 14, der Fahrfähigkeitsschätzeinheit 15, der Gesichtsausdruckschätzeinheit 16, der Emotionsschätzeinheit 17, der Warneinheit 18 und der Antriebsschalteinheit 19 in der Emotionsschätzvorrichtung 1 werden durch eine Verarbeitungsschaltung implementiert. Das heißt, die Emotionsschätzvorrichtung 1 enthält eine Verarbeitungsschaltung zur Implementierung der obigen Funktionen. Die Verarbeitungsschaltung kann eine Verarbeitungsschaltung 100 als dedizierte Hardware sein oder ein Prozessor 101 zum Ausführen eines in einem Speicher 102 gespeicherten Programms sein.
In dem Fall, in dem die Verarbeitungsschaltung eine dedizierte Hardware ist, wie in 8 dargestellt, entspricht die Verarbeitungsschaltung 100 beispielsweise einer einzelnen Schaltung, einer zusammengesetzten Schaltung, einem programmierten Prozessor, einem parallel programmierten Prozessor, einer anwendungsspezifischen integrierten Schaltung (ASIC), einem feldprogrammierbaren Gate-Array (FPGA) oder einer Kombination davon. Die Funktionen der Gesichtsdetektionseinheit 11, der Gesichtsteildetektionseinheit 12, der Gesichtsinformationsdetektionseinheit 13, der Physische-Information-Detektionseinheit 14, der Fahrfähigkeitsschätzeinheit 15, der Gesichtsausdruckschätzeinheit 16, der Emotionsschätzeinheit 17, der Warneinheit 18 und der Antriebsschalteinheit 19 können durch eine Vielzahl von Verarbeitungsschaltungen 100 implementiert werden, oder die Funktionen der j eweiligen Einheiten können gemeinsam durch eine einzige Verarbeitungsschaltung 100 implementiert werden.
Wie in 9 dargestellt, werden in einem Fall, in dem die Verarbeitungsschaltung der Prozessor 101 ist, die Funktionen der Gesichtsdetektionseinheit 11, der Gesichtsteiledetektionseinheit 12, der Gesichtsinformationsdetektionseinheit 13, der Physische-Information-Detektionseinheit 14, der Fahrfähigkeitsschätzeinheit 15, der Gesichtsausdruckschätzeinheit 16, der Emotionsschätzeinheit 17, der Warneinheit 18 und der Antriebsschalteinheit 19 durch Software, Firmware oder eine Kombination aus Software und Firmware implementiert. Die Software oder die Firmware wird als ein Programm beschrieben, das im Speicher 102 gespeichert ist. Der Prozessor 101 liest und führt ein im Speicher 102 gespeichertes Programm aus und implementiert dadurch die Funktionen der oben genannten Einheiten. Das heißt, die Emotionsschätzvorrichtung 1 umfasst den Speicher 102 zum Speichern des Programms, dessen Ausführung durch den Prozessor 101 zur Ausführung der im Flussdiagramm von 6 dargestellten Schritte führt. Außerdem kann man sagen, dass dieses Programm einen Computer veranlasst, die Prozeduren oder Verfahren auszuführen, die in der Gesichtsdetektionseinheit 11, der Gesichtsteildetektionseinheit 12, der Gesichtsinformation-Detektionseinheit 13, der Körperinformation-Detektionseinheit 14, der Fahrfähigkeitsschätzeinheit 15, der Gesichtsausdruckschätzeinheit 16, der Emotionsschätzeinheit 17, der Warneinheit 18 und der Antriebsschalteinheit 19 ausgeführt werden.
Der Prozessor 101 bezieht sich hier z. B. auf eine Zentraleinheit (CPU), eine Verarbeitungseinrichtung, eine Recheneinrichtung oder einen Mikroprozessor.
Der Speicher 102 kann ein nichtflüchtiger oder flüchtiger Halbleiterspeicher sein, wie z. B. ein Direktzugriffsspeicher (RAM), ein Festwertspeicher (ROM), ein löschbarer programmierbarer ROM (EPROM) oder ein Flash-Speicher, eine Magnetplatte, wie z. B. eine Festplatte oder eine flexible Platte, oder eine optische Platte, wie z. B. eine Compact Disc (CD) oder eine Digital Versatile Disc (DVD).
Es ist zu beachten, dass einige der Funktionen der Gesichtsdetektionseinheit 11, der Gesichtsteildetektionseinheit 12, der Gesichtsinformation-Detektionseinheit 13, der Physische-Information-Detektionseinheit 14, der Fahrfähigkeitsschätzeinheit 15, der Gesichtsausdruckschätzeinheit 16, der Emotionsschätzeinheit 17, der Warneinheit 18 und der Antriebsschalteinheit 19 durch dedizierte Hardware implementiert werden können, und einige können durch Software oder Firmware implementiert werden. Auf diese Weise kann die Verarbeitungsschaltung in der Emotionsschätzvorrichtung 1 die obigen Funktionen durch Hardware, Software, Firmware oder eine Kombination davon implementieren.
Es ist zu beachten, dass die vorliegende Erfindung eine flexible Kombination der Ausführungsformen, eine Modifikation einer beliebigen Komponente der Ausführungsformen oder das Weglassen einer beliebigen Komponente in den Ausführungsformen im Rahmen der vorliegenden Erfindung umfassen kann.
INDUSTRIELLE ANWENDBARKEIT
Eine Emotionsschätzvorrichtung gemäß der vorliegenden Erfindung eignet sich für eine Emotionsschätzvorrichtung zum Schätzen einer Emotion eines Fahrers, eines Passagiers oder dergleichen, der ein mobiles Objekt einschließlich eines Fahrzeugs, eines Zugs, eines Schiffs oder eines Flugzeugs bestiegen hat.
Bezugszeichenliste

1:: Emotionsschätzvorrichtung,
2:: Bildgebungseinheit,
11:: Gesichtsdetektionseinheit,
12:: Gesichtsteildetektionseinheit,
13:: Gesichtsinformationsdetektionseinheit,
14:: Physische-Information-Detektionseinheit,
15:: Fahrfähigkeitsschätzeinheit,
16:: Gesichtsausdruckschätzeinheit,
17:: Emotionsschätzeinheit,
18:: Warneinheit,
19:: Fahrschalteinheit,
31 bis 33:: Bereich, 4
1 bis 44, 51 bis 53:: Emotionsausdrückender Punkt,
100:: Verarbeitungsschaltung,
101:: Prozessor,
102:: Speicher

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2017144222 A [0003]

Claims

Eine Emotionsschätzvorrichtung, umfassend: eine Gesichtsinformationsdetektionseinheit, die Gesichtsinformationen detektiert, die sich auf ein Gesichtsmerkmal eines Fahrers eines Fahrzeugs beziehen; eine Physische-Information-Detektionseinheit, die physische Informationen in Bezug auf ein physisches Merkmal des Fahrers detektiert; eine Fahrfähigkeitsschätzeinheit, die die Fahrfähigkeit des Fahrers auf der Grundlage der Gesichtsinformationen und der physischen Informationen schätzt; eine Gesichtsausdruckschätzeinheit, die einen Gesichtsausdruck des Fahrers auf der Basis der Gesichtsinformationen schätzt; und eine Emotionsschätzeinheit, die eine Emotion des Fahrers, die durch einen Grad von Komfort und einen Grad von Aktivität repräsentiert wird, auf der Basis einer zeitlichen Änderung der Fahrfähigkeit des Fahrers und des Gesichtsausdrucks des Fahrers schätzt.
Die Emotionsschätzvorrichtung nach Anspruch 1, wobei die Emotionsschätzeinheit die Emotion des Fahrers auf der Basis einer Dauer des Gesichtsausdrucks des Fahrers in einem Fall schätzt, in dem von der Fahrfähigkeitsschätzeinheit geschätzt wird, dass der Fahrer fahrfähig ist.
Die Emotionsschätzvorrichtung nach Anspruch 1, wobei die Emotionsschätzeinheit den Komfortgrad und den Aktivitätsgrad in Abhängigkeit von einer Dauer der Fahrfähigkeit des Fahrers und der Dauer des Gesichtsausdrucks des Fahrers bestimmt und die Emotion des Fahrers schätzt, die dem Komfortgrad und dem Aktivitätsgrad entspricht, die unter Bezugnahme auf eine vorbestimmte Korrespondenzbeziehung zwischen dem Komfortgrad, dem Aktivitätsgrad und der Emotion bestimmt worden sind.
Die Emotionsschätzvorrichtung nach Anspruch 1, ferner umfassend eine Warneinheit, die den Fahrer warnt oder ihn auffordert, auf autonomes Fahren umzuschalten, abhängig von der durch die Emotionsschätzeinheit geschätzten Emotion des Fahrers.
Ein Emotionsschätzverfahren, umfassend: durch eine Gesichtsinformationsdetektionseinheit, Detektieren von Gesichtsinformation, die sich auf ein Gesichtsmerkmal eines Fahrers eines Fahrzeugs bezieht; durch eine Physische-Information-Detektionseinheit, Detektieren von physischen Informationen, die sich auf ein physisches Merkmal des Fahrers beziehen; durch eine Fahrfähigkeitsschätzeinheit, Schätzen der Fahrfähigkeit des Fahrers auf der Basis der Gesichtsinformationen und der physischen Informationen; durch eine Gesichtsausdruckschätzeinheit, Schätzen eines Gesichtsausdrucks des Fahrers auf der Basis der Gesichtsinformationen; und durch eine Emotionsschätzeinheit, Schätzen einer Emotion des Fahrers, die durch einen Grad von Komfort und einen Grad von Aktivität repräsentiert wird, auf der Basis einer zeitlichen Änderung des Gesichtsausdrucks des Fahrers in einem Fall, in dem durch die Fahrfähigkeitsschätzeinheit geschätzt wird, dass der Fahrer fahrfähig ist.