DE102018128195A1 - Fahrempfehlungsvorrichtung und Fahrempfehlungsverfahren - Google Patents

Fahrempfehlungsvorrichtung und Fahrempfehlungsverfahren Download PDF

Info

Publication number
DE102018128195A1
DE102018128195A1 DE102018128195.1A DE102018128195A DE102018128195A1 DE 102018128195 A1 DE102018128195 A1 DE 102018128195A1 DE 102018128195 A DE102018128195 A DE 102018128195A DE 102018128195 A1 DE102018128195 A1 DE 102018128195A1
Authority
DE
Germany
Prior art keywords
driving
driver
emotion
passenger
recommendation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018128195.1A
Other languages
English (en)
Inventor
Ikuo Goto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Publication of DE102018128195A1 publication Critical patent/DE102018128195A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/01Occupants other than the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/22Psychological state; Stress level or workload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/02Control of vehicle driving stability
    • B60W30/025Control of vehicle driving stability related to comfort of drivers or passengers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Eine Fahrempfehlungsvorrichtung enthält eine Bedienungsbestimmungseinrichtung und einen Empfehlungsgenerator. Die Bedienungsbestimmungseinrichtung verwendet eine Differenz zwischen einer Emotion eines Fahrers und einer Emotion eines Beifahrers zur Bestimmung einer spezifischen Fahrbedienung des Fahrers. Der Empfehlungsgenerator erzeugt eine Empfehlung für den Fahrer über die spezifische Fahrbedienung auf Basis einer Differenz zwischen einem Fahrmerkmal des Fahrers und einem Fahrmerkmal des Beifahrers.

Description

  • QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
  • Die vorliegende Anmeldung beansprucht die Priorität der japanischen Patentanmeldung Nr. 2017-228174 , eingereicht am 28. November 2017, deren gesamter Inhalt hiermit unter Bezugnahme aufgenommen wird.
  • HINTERGRUND
  • Technisches Gebiet
  • Die vorliegende Erfindung betrifft eine Fahrempfehlungsvorrichtung und ein Fahrempfehlungsverfahren.
  • Verwandte Technik
  • Herkömmlich haben die japanischen ungeprüften Patentanmeldungs-Veröffentlichungen JP-A Nr. 2009-157685 , JP-A Nr. 2013-69251 und JP-A Nr. 2006-350567 eine Vorrichtung vorgeschlagen, die ein Fahrmerkmal eines Fahrzeugfahrers extrahiert, und auf der Basis eines Vergleichsergebnisses mit einem Fahrmerkmal eines anderen Fahrers oder einem Sichere-Fahrt-Modell, das aus einem Fahrmerkmal des anderen Fahrers erzeugt wird, dem Fahrer Empfehlungen gibt.
  • Darüber hinaus schlägt die JP-A Nr. 2006-137871 eine Vorrichtung vor, die Emotionen eines Fahrers und eines Beifahrers aus biologischer Information und Bildinformation schätzt, und verschiedene Steuerungsarten an einem Fahrzeug durchführt, um eine Verbesserung zu erzielen, wenn diese Emotionen negativ sind.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Ein Aspekt der vorliegenden Erfindung gibt eine Fahrempfehlungsvorrichtung an, welche enthält: eine Bedienungsbestimmungseinrichtung, die konfiguriert ist, um eine Differenz zwischen einer Emotion eines Fahrers und einer Emotion eines Beifahrers zur Bestimmung einer spezifischen Fahrbedienung des Fahrers zu verwenden; und einen Empfehlungsgenerator, der konfiguriert ist, um eine Empfehlung für den Fahrer über die spezifische Fahrbedienung auf Basis einer Differenz zwischen einem Fahrmerkmal des Fahrers und einem Fahrmerkmal des Beifahrers zu erzeugen.
  • Ein anderer Aspekt der vorliegenden Erfindung gibt ein Fahrempfehlungsverfahren an, welches enthält: Verwenden einer Differenz zwischen einer Emotion eines Fahrers und einer Emotion eines Beifahrers zur Bestimmung einer spezifischen Fahrbedienung des Fahrers; und Erzeugen einer Empfehlung für den Fahrer über die spezifische Fahrbedienung auf Basis einer Differenz zwischen einem Fahrmerkmal des Fahrers und einem Fahrmerkmal des Beifahrers.
  • Figurenliste
    • 1 ist ein schematisches Diagramm einer Konfiguration eines Fahrempfehlungssystems gemäß einem Beispiel der vorliegenden Erfindung;
    • 2 ist ein schematisches Diagramm einer Technik, die es einer Emotionsschätzeinrichtung erlaubt, eine Emotion auf Basis eines Gesichtsbilds zu schätzen, für das eine als „erschrocken“ bezeichnete Emotion vorab definiert ist; und
    • 3 ist ein Flussdiagramm eines Prozesses, der in dem Fahrempfehlungssystem gemäß dem vorliegenden Beispiel ausgeführt wird.
  • DETAILLIERTE BESCHREIBUNG
  • Nachfolgend werden bevorzugte Beispiele der vorliegenden Erfindung unter Bezug auf die beigefügten Zeichnungen im Detail beschrieben. Übrigens ist die folgende Beschreibung auf illustrative Beispiele der Offenbarung gerichtet, und soll die Erfindung nicht einschränken. Faktoren, einschließlich, ohne Einschränkung, numerischer Werte, Dimensionen, Formen, Materialien, Komponenten, Positionen der Komponenten und wie diese Komponenten miteinander verbunden sind, dienen nur zu Illustrationszwecken, um die Erfindung leichter verständlich zu machen, und sollen die Erfindung nicht einschränken, solange nicht anderweitig spezifiziert. Ferner sind in den folgenden Beispielen Elemente, die nicht in dem allgemeinsten unabhängigen Anspruch der Offenbarung genannt sind, optional und können nach Bedarf vorgesehen werden. Die Zeichnungen sind schematisch und brauchen nicht maßstabsgetreu zu sein. In dieser Beschreibung und den beigefügten Zeichnungen sind strukturelle Elemente, die im Wesentlichen die gleiche Funktion und Struktur haben, mit den gleichen Bezugszahlen bezeichnet, und eine wiederholte Beschreibung dieser strukturellen Elemente wird weggelassen.
  • Die in der JP-A Nr. 2009-157685 , der JP-A Nr. 2013-69251 und der JP-A Nr. 2006-350567 beschriebene Technik trägt nicht dazu bei, eine Fahrempfehlung zu bieten, in der sich eine Emotion eines Beifahrers widerspiegelt. Daher besteht ein Problem darin, dass eine Fahrbedienung, bei der sich ein Beifahrer unangenehm fühlt, nicht verbessert wird.
  • Darüber veranlasst die in der JP-A Nr. 2016-137871 beschriebene Technik nicht, dass eine Fahrbedienung eines Fahrers so verbessert wird, dass sie sich in einer Emotion eines Beifahrers widerspiegelt. Daher besteht ein Problem, dass eine Fahrbedienung eines Fahrers, bei der sich ein Beifahrer unangenehm fühlt, fortdauert. Darüber hinaus verbessert die in der JP-A Nr. 201-137871 beschriebene Technik eine negative Emotion durch Ausführung verschiedener Steuerungsarten am Fahrzeug. Daher besteht ein Problem darin, dass eine Fahrbedienung, die für einen Beifahrer unangenehm ist, durchgeführt wird, wenn ein Fahrzeug gefahren wird, das nicht mit der Fahrsteuervorrichtung ausgestattet ist.
  • Es ist wünschenswert, eine neuartige und verbesserte Fahrempfehlungsvorrichtung und ein solches Fahrempfehlungsverfahren anzugeben, die die Fahrt ermöglichen, die für einen Beifahrer nicht unangenehm ist.
  • 1 ist ein schematisches Diagramm einer Konfiguration eines Fahrempfehlungssystems 2000 gemäß einem Beispiel der vorliegenden Erfindung. Das Fahrempfehlungssystem 2000 enthält eine Fahrempfehlungsvorrichtung 1000, einen Fahrzeugsensor 1100, einen Insassensensor 1300, einen Fahrzeugaußensensor 1400, eine Navigationsvorrichtung 1500, eine Anzeigevorrichtung 1600 und einen Lautsprecher 1700. Das Fahrempfehlungssystem 2000 ist hauptsächlich an einem Fahrzeug angebracht.
  • Der Fahrzeugsensor 1100 enthält eine Vielzahl von Sensoren, welche Fahrzeuginformation detektieren, wie etwa die Geschwindigkeit des Fahrzeugs, die Beschleunigung des Fahrzeugs, Winkelgeschwindigkeit einer Achse (wie etwa einer Antriebswelle) und Lenkwinkelgeschwindigkeit (Lenkwinkelbeschleunigung). Darüber hinaus enthält der Fahrzeugsensor 1100 einen Sensor, der den Tretbetrag, den Tretwinkel, die Tretkraft oder dergleichen eines Gaspedals oder Bremspedals detektiert, sowie einen Sensor, der den Lenkwinkel eines Lenkrads detektiert.
  • Der Insassensensor 1300 enthält eine Kamera, einen Infrarotsensor oder dergleichen, und detektiert das Gesicht eines Insassen eines Fahrzeugs. Darüber hinaus misst der Insassensensor 1300 die Bewegung des Kopfs oder eines Arms, die Sichtlinienrichtung oder dergleichen eines Insassen. Wenn der Insassensensor 1300 eine Kamera enthält, veranlasst die Bildverarbeitung an einem von der Kamera aufgenommenen Bild, dass das Gesicht eines Insassen, die Bewegung des Kopfs oder Arms des Insassen, die Sichtlinienrichtung oder dergleichen erfasst wird. Darüber hinaus enthält der Insassensensor 1300 ein Mikrofon, das Sprachaudiodaten eines Insassen erfasst.
  • Der Fahrzeugaußensensor 1400 enthält eine Stereokamera, eine monokulare Kamera, ein Millimeterwellenradar, einen Infrarotsensor und dergleichen, und misst Positionen oder Geschwindigkeit von Menschen, Fahrzeugen und dergleichen in der Nähe des Fahrzeugs, das mit dem Fahrzeugaußensensor 1400 ausgestattet ist. Wenn der Fahrzeugaußensensor 1400 eine Stereokamera enthält, enthält die Stereokamera ein Paar von rechten und linken Kameras, welche Bildsensoren, wie etwa CCD-Sensoren oder CMOS-Sensoren, enthalten. Der Fahrzeugaußensensor 1400 bildet eine Außenumgebung des Fahrzeugs ab und sendet die aufgenommene Bildinformation oder den aus der Bildinformation extrahierten Abstand zu einem anderen Fahrzeug, Geschwindigkeit, Verkehrszeicheninformation oder dergleichen zu der Fahrempfehlungsvorrichtung 1000. Zum Beispiel enthält die Stereokamera eine Farbkamera, die in der Lage ist, Farbinformation zu erfassen, und ist am oberen Teil der Windschutzscheibe des Fahrzeugs angebracht.
  • Die Navigationsvorrichtung 1500 sucht nach einer Route von einem gegenwärtigen Ort zu einem Ziel auf der Basis von Karteninformation. Daher kann die Navigationsvorrichtung 1500 die gegenwärtige Position des Fahrzeugs mittels des globalen Ortungssystems (GPS) und dergleichen erfassen. Darüber hinaus speichert die Navigationsvorrichtung 1500 die Route, die das Fahrzeug zum gegenwärtigen Ort nimmt.
  • Die Anzeigevorrichtung 1600 zeigt eine von der Fahrempfehlungsvorrichtung 1000 ausgegebene Empfehlung einem Fahrer an. Der Lautsprecher 1700 gibt die von der Fahrempfehlungsvorrichtung 1000 ausgegebene Empfehlung sprachlich an einen Fahrer aus.
  • Wie in 1 dargestellt, enthält die Fahrempfehlungsvorrichtung 1000 eine Emotionsschätzeinrichtung 100, einen Emotionsdifferenzrechner 200, eine Unangenehme-Bedienung-Bestimmungseinrichtung 300, eine Fahrerbedienungsmerkmalextraktionseinrichtung 400, eine Bedienungsmerkmalsdifferenzextraktionseinrichtung 500, einen Empfehlungsgenerator 600, eine Konversationsbestimmungseinrichtung 700, eine Bedienungsmerkmaldatenbank 800, eine Empfehlungszeitbestimmungseinrichtung 900, sowie ein Empfehlungsausgabemodul 950.
  • Im Übrigen kann jede der Komponenten der in 1 dargestellten Fahrempfehlungsvorrichtung 1000 eine Schaltung (Hardware) oder eine zentrale Prozessoreinheit enthalten, wie etwa eine CPU, sowie ein Programm (Software), um sie in Betrieb zu bringen.
  • Die Emotionsschätzeinrichtung 100 schätzt eine Emotion eines Insassen (eines Fahrers oder Beifahrers) des Fahrzeugs. Allgemein ist es bekannt, dass eine Korrelation zwischen einer menschlichen Emotion und einem Gesichtsmerkmalbetrag besteht (Facial Action Coding System). Diese Korrelation wird dazu benutzt, die Beziehung zwischen Emotionen und Gesichtsmerkmalbeträgen vorab in einer Datenbank zu akkumulieren. Die Emotionsschätzeinrichtung 100 erfasst einen Gesichtsmerkmalbetrag aus einem Bild einer Kamera oder dergleichen und vergleicht sie mit der Beziehung in der Datenbank, um eine Emotion eines Insassen zu schätzen.
  • 2 ist ein schematisches Diagramm einer Technik, die es der Emotionsschätzeinrichtung 100 erlaubt, eine Emotion auf der Basis eines Gesichtsbilds zu schätzen, für das eine als „erschrocken“ bezeichnete Emotion vorab definiert ist. Wie in 2 dargestellt, werden Merkmalbeträge, die aus Bildinformation von Gesichtsausdrücken erfasst werden, vorab in Zuordnung zu den Merkmalbeträgen entsprechenden Emotionen (Grade 1 bis 4) in der Datenbank der Fahrempfehlungsvorrichtung 1000 gehalten. Die Emotionsschätzeinrichtung 100 vergleicht einen Merkmalbetrag, der aus vom Insassensensor 1300 erfasster Bildinformation des Gesichts eines Insassen erfasst wird, mit Merkmalbeträgen der Bildinformation, die vorab gehalten und in 2 dargestellt ist, extrahiert den Merkmalbetrag der Bildinformation, die einen hohen Ähnlichkeitsgrad mit dem Merkmalbetrag der Bildinformation des Insassen oder den Merkmalbeträgen hat, die der in 2 dargestellten Bildinformation entsprechen, und bestimmt eine Emotion des Insassen auf der Basis des Grads, der dem extrahierten Merkmalbetrag der Bildinformation entspricht. Darüber hinaus kann die Bildinformation des Gesichts des Insassen, das von dem Insassensensor 1300 mit einem Verfahren wie etwa Blockabgleich erfasst wird, mit der in 2 dargestellten Bildinformation des Insassen verglichen werden, die vorab gehalten wird, wobei der Merkmalbetrag der Bildinformation, der eine hohe Ähnlichkeit mit der Bildinformation des Insassen hat, aus der in 2 dargestellten Bildinformation extrahiert werden kann, und eine Emotion des Insassen bestimmt werden kann. Übrigens exemplifiziert 2 die Emotion „erschrocken“ mit vier Graden. Das Gleiche gilt für Emotionen wie etwa „überrascht“, „ungeduldig“, und „gehetzt“. Die der Bildinformation von Gesichtsausdrücken entsprechenden Merkmalbeträge sind in Zuordnung zu den jeweiligen Merkmalbeträgen entsprechenden Emotionen in Grade kategorisiert, wodurch es möglich gemacht wird, den Typ und Art einer Emotion zu bestimmen. Auch besteht die Möglichkeit, zum Beispiel die in JP-A Nr. 2013-216241 beschriebene Technik zur Schätzung einer Emotion anzuwenden.
  • Ferner exemplifiziert 2 die Emotion „erschrocken“ mit vier Graden, aber die Emotion kann auch in mehr detaillierte Grade, wie etwa acht Grade, kategorisiert werden. Darüber hinaus kann zum Beispiel die Emotion „erschrocken“ in binäre Grade „erschrocken“ und „nicht erschrocken“ kategorisiert werden.
  • Darüber hinaus kann die Emotionsschätzvorrichtung 100 eine Emotion eines Insassen auf der Basis von Audiodaten des Insassen geschätzt werden, die von einem im Insassensensor 1300 enthaltenen Mikrofon erfasst werden. In diesem Fall wird zum Beispiel ein Änderungsmuster in dem Merkmalbetrag der Audiodaten auf der Basis eines in Klassen kategorisierten Änderungsmusters kategorisiert, wobei die kategorisierten Audiodaten als Lehrdaten verwendet werden, und eine Emotion eines Sprechers während des Sprechens für jedes Änderungsmuster eines Merkmalbetrags geschätzt wird. Hierfür kann zum Beispiel die in der JP-A Nr. 2017-111760 beschriebene Technik verwendet werden.
  • Der Emotionsdifferenzrechner 200 berechnet eine Differenz zwischen einer Emotion eines Fahrers und einer Emotion eines Beifahrers. Der Emotionsdifferenzrechner 200 kann unterschiedliche Prozesse demgemäß durchführen, ob Information einer von der Informationsschätzeinrichtung 100 geschätzten Emotion binäre Information oder mehrwertige Information ist, welche in Grade kategorisiert ist. Wenn Information von der Emotionsschätzeinrichtung 100 geschätzten Information eine der zwei Werte „erschrocken“ und „nicht erschrocken“ ist, vergleicht der Emotionsdifferenzrechner 200 eine Emotion eines Fahrers mit einer Emotion eines Beifahrers, und setzt ein „Unangenehme-Bedienung-Merkmal-Flag“, wenn sich der Fahrer nicht unangenehm fühlt (Emotionen wie etwa „erschrocken“, „überrascht“, „ungeduldig“ und „gehetzt“), aber sich der Beifahrer unangenehm fühlt.
  • Wenn darüber hinaus die Emotionsschätzeinrichtung 100 Information einer Emotion eines Insassen in Grade kategorisiert, wie in 2 dargestellt, kann der Emotionsdifferenzrechner 200 eine Differenz der Art des Fühlens zwischen einem Fahrer und einem Beifahrer auch dann berechnen, wenn diese beiden die Emotion „erschrocken“ fühlen. Wenn zum Beispiel der Fahrer die Emotion „erschrocken“ in Grad 2 fühlt und der Beifahrer die Emotion „erschrocken“ in Grad 8 fühlt, entspricht eine Graddifferenz der Emotion „erschrocken“ 8-2=6. Der Emotionsdifferenzrechner 200 setzt ein „Unangenehme-Bedienung-Merkmal-Flag“, wenn diese Graddifferenz größer als oder gleich einem konstanten Schwellenwert ist. Übrigens hat der Schwellenwert einen positiven Wert. Das oben beschriebene „Graddifferenz ist größer als oder gleich einem konstanten Schwellenwert“ bedeutet eine Situation, in der ein Beifahrer die Emotion „erschrocken“ stärker fühlt.
  • Wenn übrigens mehrere Beifahrer vorhanden sind, wird als Ziel, dessen Emotionsdifferenz von einem Fahrer ausgewertet wird, ein Ziel gewählt, das die höchste Priorität unter Modi hat, die auf der Basis eines Beifahrers, der den höchsten Unannehmlichkeitsgrad hat, einer Person, die vorab identifiziert ist, oder einer eingenommenen Sitzposition priorisiert sind.
  • Die Unangenehme-Bedienung-Bestimmungseinrichtung 300 bestimmt eine Fahrbedienung, die für einen Beifahrer unangenehm ist. Sobald der Emotionsdifferenzrechner 200 ein „Unangenehme-Bedienung-Merkmal-Flag“ setzt, analysiert die Unangenehme-Bedienung-Bestimmungseinrichtung 300 Fahrzeugdaten, Daten eines Bedienungsbetrags, Daten einer Umgebungssituation des Fahrzeugs und dergleichen innerhalb einer vorbestimmten Zeit (zum Beispiel einige Sekunden) vor und nach der Zeit, zu der das Flag gesetzt ist, und prüft eine etwaige Änderung der Fahrbedienung des Fahrers oder der Umgebungssituation des Fahrzeugs. Hier stimmen die Zeit, zu der sich der Beifahrer unangenehm fühlt, die Zeit, zu der die die Emotion verursachende Fahrbedienung stattfindet, oder die Zeit, zu der die die Emotion verursachende Umgebungssituation auftritt, nicht notwendigerweise überein. Dementsprechend werden auch Daten vor und nach der Zeit analysiert, zu der das Flag gesetzt ist. Wenn sich zum Beispiel ein Beifahrer durch eine plötzliche Beschleunigungsbedienung durch den Fahrer erschrocken fühlt, erfolgt eine Bedienung (Tritt auf das Gaspedal) des Fahrers vor der Zeit, zu der sich eine Emotion des Beifahrers ändert (normal → erschrocken). Wenn sich hingegen der Beifahrer erschrocken fühlt, weil eine Bremsbetätigung des Fahrers langsam ist, erfolgt eine Bedienung (Tritt auf die Bremse) des Fahrers nach der Zeit, zu der sich eine Emotion des Beifahrers ändert (normal → erschrocken). Somit macht es die Analyse beider Daten vor und nach der Zeit, zu der das Flag gesetzt ist, möglich, die Fahrbedienung und die Umgebungssituation entsprechend einer Emotion des Beifahrers, der sich „erschrocken“ fühlt, zu identifizieren.
  • Beispiele von zu analysierenden Daten beinhalten Daten in Bezug auf einen Bedienungsbetrag zum Fahren des Fahrzeugs, Daten in Bezug auf das Fahrzeugverhalten, Daten in Bezug auf die Position des Fahrzeugs sowie Daten in Bezug auf die Fahrzeugaußeninformation.
  • Beispiele von Daten in Bezug auf einen Bedienungsbetrag zum Fahren des Fahrzeugs beinhalten den Tretbetrag, den Tretwinkel oder die Tretkraft des Gaspedals oder des Bremspedals oder den Lenkwinkel des Lenkrads. Diese Bedienungsbeträge werden vom Fahrzeugsensor 1100 erfasst. Beispiele von Daten in Bezug auf das Fahrzeugverhalten beinhalten Fahrzeuggeschwindigkeit, triaxiale Beschleunigung, Rucke und Winkelgeschwindigkeit. Diese Daten werden vom Fahrzeugsensor 1100 erfasst. Beispiele von Daten in Bezug auf die Position des Fahrzeugs beinhalten Positionsinformation des Fahrzeugs und Dateninformation in Bezug auf den Bereich in der Nähe des Fahrzeugs. Diese Daten werden von der Navigationsvorrichtung 1500 erfasst. Beispiele von Fahrzeugaußeninformation beinhalten den Abstand und die Positionsbeziehung zu und mit einem Fahrzeug oder einem Fußgänger in der Umgebung, Verkehrszeichen und eine Trennlinie. Diese Informationsarten werden vom Fahrzeugaußensensor 1400 erfasst. Eine Fahrbedienung/Situationsdatenbank 850, die in der Fahrempfehlungsvorrichtung 1100 enthalten ist, sammelt diese Daten in chronologischer Reihenfolge. Die Unangenehme-Bedienung-Bestimmungseinrichtung 300 verwendet diese in der Fahrbedienung/Situationsdatenbank 850 akkumulierten Daten zur Bestimmung einer Fahrbedienung, die für einen Beifahrer unangenehm ist, oder eine Fahrzeugsituation, die für einen Beifahrer unangenehm ist.
  • Wenn sich eine Fahrbedienung eines Fahrers innerhalb einer vorbestimmten Zeit vor und nach der Zeit ändert, zu der als Ergebnis der Datenanalyse ein „Unangenehme-Bedienung-Merkmal-Flag“ gesetzt wird, bestimmt die Unangenehme-Bedienung-Bestimmungseinrichtung 300, dass die Bedienung erfolgt, die das „Unangenehme-Bedienung-Merkmal-Flag“ hervorruft. Als ein Verfahren zur Bestimmung einer Änderung wird eine Bestimmung aus einem Bedienungsbetrag und einer zeitlichen Änderung vorgenommen. Wenn zum Beispiel in Bezug auf eine Gaspedalbetätigung oder Bremsbetätigung „ein Zustand, in dem keine Bedienung durchgeführt wird, zu einem Bedienungszustand übergeht“, oder „eine Bedienung durchgeführt wird, aber ein Gaspedal oder Bremsstellungsgrad sich um einen vorbestimmten Wert oder stärker innerhalb einer Einheitszeit ändert“, wird bestimmt, dass sich eine Fahrbedienung eines Fahrers ändert.
  • Die Unangenehme-Bedienung-Bestimmungseinrichtung 300 bestimmt, ob sich eine Fahrbedienung ändert, und geht dann zu „Bestimmung der Umgebungssituation“ über. Beispiele einer Fahrbedienung, die einem Beifahrer unangenehm ist, außer zur Änderung der Fahrbedienung wie etwa plötzliche Bremsung oder plötzliche Beschleunigung, wie oben beschrieben, beinhalten, dass ein Fahrer nicht in einer Weise fährt, die in der Umgebungssituation geeignet ist (wie etwa eine Verkehrsregelung oder Fahrweise). Das heißt, wenn die „Bestimmung der Umgebungssituation“ des Fahrers unangemessen ist, wird eine Fahrbedienung durchgeführt, die für einen Beifahrer unangenehm ist.
  • Beispiele beinhalten eine Situation, in der Fahrzeug mit konstanter Geschwindigkeit fährt, aber einen extrem kurzen Zwischenfahrzeugabstand zu einem vor dem Fahrzeug vorausfahrenden Fahrzeug hat (sogenannte Drängelsituation), sowie eine Situation, in der das Fahrzeug die erlaubte Geschwindigkeit überschreitet. Auch wenn die oben beschriebene „Änderung der Fahrbedienung“ nicht erkannt wird, bestimmt die Unangenehme-Bedienung-Bestimmungseinrichtung 300, dass diese Fahrbedienung eine solche ist, die für einen Beifahrer unangenehm ist, nur weil die „Bestimmung der Umgebungssituation“ ungeeignet ist.
  • Wenn eine „Bestimmung der Umgebungssituation“ durchgeführt wird, kann die Unangenehme-Bedienung-Bestimmungseinrichtung 300 das Triangulationsprinzip auf ein Paar von rechten und linken Stereobildern anwenden, die von dem Paar rechter und linker Kameras der in dem Fahrzeugaußensensor 1400 enthaltenen Stereokamera aufgenommen werden, um Abstandsinformation zu einem Ziel aus dem Diskrepanzbetrag zwischen den entsprechenden Positionen zu erzeugen und zu erfassen. Gleichzeitig kann die Unangenehme-Bedienung-Bestimmungseinrichtung 300 Positionsinformation eines Objekts aus der Bildinformation erfassen. Darüber hinaus kann die Unangenehme-Bedienung-Bestimmungseinrichtung 300 dreidimensionales-Objekt-Daten, Fahrspurliniendaten und dergleichen durch Ausführung eines an sich bekannten Gruppierungsprozesses an der auf der Basis des Triangulationsprinzips erzeugten Abstandsinformation detektieren, und dann die dem Gruppierungsprozess unterzogene Abstandsinformation mit voreingestellten dreidimensionales-Objekt-Daten und dergleichen vergleichen. Dies erlaubt es der Unangenehme-Bedienung-Bestimmungseinrichtung 300, eine Person, ein anderes Fahrzeug, ein Stoppzeichen, eine Stopplinie, eine Mautschranke und dergleichen zu erkennen. Darüber hinaus kann die Unangenehme-Bedienung-Bestimmungseinrichtung 300 auf der Basis der vom Fahrzeugsensor 1100 erfassten Geschwindigkeit des Fahrzeugs erkennen, dass das Fahrzeug die erlaubte Geschwindigkeit überschreitet. Somit kann die Unangenehme-Bedienung-Bestimmungseinrichtung 300 basierend auf der erkannten Information eine „Bestimmung der Umgebungssituation“ durchführen.
  • Wenn die „Änderung der Fahrbedienung“ nicht erkannt wird, und die „Bestimmung der Umgebungssituation“ korrekt ist, bestimmt die Unangenehme-Bedienung-Bestimmungseinrichtung 300 aus einem anderen Grund als der Fahrbedienung, dass dem Insassen unangenehm ist. In diesem Fall wird die Prozessserie ab der Emotionsschätzeinrichtung 100 erneut ausgeführt. Im Übrigen beinhalten Beispiele der Situation, in der einem Beifahrer unangenehm ist, aber die „Änderung der Fahrbedienung“ nicht erkannt wird und die „Bestimmung der Umgebungssituation“ korrekt ist, eine Szene, in der nur der Beifahrer sein Smartphone bedient, und von der daraus erkannten Information überrascht ist.
  • Sobald die Unangenehme-Bedienung-Bestimmungseinrichtung 300 gemäß dem obigen Prozess die Fahrbedienung identifiziert hat, die einem Beifahrer unangenehm ist („Änderung in der Fahrbedienung“ oder „Bestimmung der Umgebungssituation“), extrahiert die Fahrerbedienungsmerkmalextraktionsvorrichtung 400 aus der „Änderung der Fahrbedienung“ oder der „Bestimmung der Umgebungssituation“ ein „Merkmal der Fahrbedienung des Fahrers“.
  • Beispiele eines „Merkmals der Fahrbedienung des Fahrers“ beinhalten ein „Merkmal von Beschleunigung und Verzögerung“ und ein „Merkmal des Lenkens“. Beispiele eines „Merkmals der Beschleunigung und Verzögerung“ beinhalten „Zwischenfahrzeugabstand während das Fahrzeug fährt“ und „ab einer Bremsbetätigung bis zum Stopp des Fahrzeug abgelaufene Fahrzeit“. Der „Zwischenfahrzeugabstand während das Fahrzeug fährt“ ist der Zwischenfahrzeugabstand zu einem vorausfahrenden Fahrzeug, wenn das Fahrzeug einen Zwischenfahrzeugabstand hat, der kürzer als oder gleich einem konstanten Wert ist. Darüber hinaus ist die „ab Bremsbetätigung bis Stopp des Fahrzeugs abgelaufene Zeit“ eine Fahrzeit, die ab einem Beginn einer Bremsbetätigung bis zum Stopp des Fahrzeugs abgelaufen ist.
  • Darüber hinaus beinhalten Beispiele eines „Merkmals des Lenkens“ eine „zum Fahrspurwechsel erforderliche Zeit“ oder eine „Lenkgeschwindigkeit zum Drehen nach rechts oder links“ (durchschnittliche Lenkwinkelgeschwindigkeit innerhalb einer vorbestimmten Zeit, die abgelaufen ist, seitdem das Fahrzeug in eine Kreuzung eintritt und das Drehen der Lenkung beginnt). Die „zum Fahrspurwechsel erforderliche Zeit“ ist eine Zeit, die ab der Zeit, zu der das Lenken zum Fahrspurwechsel beginnt, bis zu der Zeit, zu der sich das Fahrzeug zur nächsten Fahrspur bewegt und die Lenkung zur Mitte zurückgebracht wird, abgelaufen ist. Darüber hinaus ist die „zum Fahrspurwechsel erforderliche Zeit“ eine Zeit, die ab der Zeit, zu der im Falle des Fahrspurwechsels um eine Kurve herum das Lenken zum Fahrspurwechsel beginnt, bis zu der Zeit, zu der die Lenkung zu dem geeigneten Lenkwinkel entsprechend der Krümmung der Kurve zurückgebracht wird, abgelaufen ist. Darüber hinaus ist die „Lenkgeschwindigkeit zum Drehen nach rechts oder links“ eine durchschnittliche Lenkwinkelgeschwindigkeit innerhalb einer vorbestimmten Zeit, die abgelaufen ist, seitdem das Fahrzeug in eine Kreuzung eintritt und das Drehen der Lenkung beginnt.
  • Im Übrigen wird die „Umgebungssituation“, in der diese Merkmale extrahiert werden, auf den Merkmalbetrag als eine Kennung angewendet. Beispiele einer als „Umgebungssituation“ angewendeten Kennung beinhalten „Stoppen bei Rotlicht“ und „an einer Kreuzung links abbiegen“.
  • Die Bedienungsmerkmaldatenbank 800 erfasst und akkumuliert ein „Merkmal einer Fahrbedienung eines Beifahrers“. Beispiele eines „Merkmals einer Fahrbedienung eines Beifahrers“ beinhalten ein „Merkmal von Beschleunigung und Verzögerung“ und ein „Merkmal von Lenken“ ähnlich einem „Merkmal einer Fahrbedienung eines Fahrers“. Der Merkmalbetrag einer Fahrbedienung eines Beifahrers wird vorab über das Fahrzeug oder ein äquivalentes Merkmalgrößenextraktionssystem extrahiert. Wenn übrigens ein „Merkmal einer Fahrbedienung eines Beifahrers“ nicht erfasst wird, kann stattdessen auch ein „Modellfahrbedienungsmerkmal“ verwendet werden. Das „Modellfahrbedienungsmerkmal“ kann vom Fahrzeughersteller festgelegt werden, oder kann die Merkmalbeträge einer großen Benutzeranzahl beinhalten, die von Telematik oder dergleichen erfasst werden.
  • Die Bedienungsmerkmaldifferenzextraktionseinrichtung 500 extrahiert einen zwischen einer Fahrbedienung eines Fahrers und einer Fahrbedienung eines Beifahrers unterschiedlichen Punkt (Differenzpunkt). Insbesondere vergleicht die Bedienungsmerkmaldifferenzextraktionseinrichtung 500 ein „Merkmal einer Fahrbedienung eines Fahrers“, das von der Fahrerbedienungsmerkmalsextraktionseinrichtung 400 extrahiert wird, mit einem „Merkmal einer Fahrbedienung eines Beifahrers“, die vorab erfasst und in der Bedienungsmerkmaldatenbank 800 akkumuliert ist, um zwischen diesen beiden eine Differenz zu extrahieren.
  • Eine Differenz zwischen Merkmalbeträgen wird extrahiert durch Auswahl eines „Merkmals einer Fahrbedienung eines Fahrers“ und eines „Merkmals einer Fahrbedienung eines Beifahrers“, die mit den gleichen Kennungen versehen sind, und durch Erhalt einer Differenz zwischen Werten (= Merkmalbetrag einer Fahrbedienung des Fahrers - Merkmalbetrag einer Fahrbedienung des Beifahrers).
  • Wenn zum Beispiel ein Beifahrer bei einer Bremsbetätigung eines Fahrers zum Stoppen an einer Verkehrsampel ein unangenehmes Gefühl hat, erhält man eine Differenz zwischen dem Fahrer und dem Beifahrer in Bezug auf die „ab Bremsbetätigung bis Stopp des Fahrzeugs abgelaufene Fahrzeit“, die mit der Kennung „bei roter Ampel anhalten“ versehen ist. Wenn zum Beispiel die „ab Bremsbetätigung bis Stopp des Fahrzeugs abgelaufene Fahrzeit“ des Beifahrers durchschnittlich 6 Sekunden beträgt und jene des Fahrers 3 Sekunden beträgt, beträgt eine Differenz zwischen dem Fahrer und dem Beifahrer 3-6=-3 Sekunden.
  • Der Empfehlungsgenerator 600 bestimmt einen Fahrassistenzinhalt für einen Fahrer. Der Empfehlungsgenerator 600 bestimmt einen Kommentar für eine auszugebende Empfehlung, so dass eine Differenz zwischen dem Merkmalbetrag „Merkmal einer Fahrbedienung eines Fahrers“ und dem Merkmalbetrag „Merkmal einer Fahrbedienung eines Beifahrers“ verschwindet. Insbesondere werden „Kennung“, „Merkmalbetrag“, „Vorzeichen einer Differenz“ und „Absolutwert einer Differenz“ als Eingaben verwendet und es wird mit einem Kommentarerzeugungskennfeld ein Kommentar erzeugt.
  • Im oben beschriebenen Fall werden zum Beispiel „Kennung (= bei roter Ampel anhalten)“, der „Merkmalsbetrag (= ab Bremsbetätigung bis Stopp des Fahrzeugs abgelaufene Fahrzeit)“, das „Vorzeichen einer Differenz (= negativ)“ und der „Absolutwert einer Differenz (= 3 Sekunden)“ eingegeben, um für einen Fahrer einen Kommentar zu erzeugen, wie etwa „es wird empfohlen, die ,Zeit' für eine ,Bremsbetätigung' als ,früh' zu setzen, wenn Sie ,bei roter Ampel anhalten'. Insbesondere ist angenähert ,3 Sekunden früher' angemessen“.
  • Eine in der Fahrempfehlungsvorrichtung 1000 enthaltende Datenbank 970 speichert vorab Kommentare entsprechend Eingaben wie etwa „Kennung“, „Merkmalbetrag“, „Vorzeichen einer Differenz“ und „Absolutwert einer Differenz“. Der Empfehlungsgenerator 600 extrahiert die den Eingaben entsprechenden Kommentare aus der Kommentardatenbank 970, um einen Kommentar zu erzeugen.
  • Die Empfehlungszeitbestimmungseinrichtung 900 bestimmt eine Zeitgebung, zu der die vom Empfehlungsgenerator 600 erzeugte Empfehlung einem Fahrer übermittelt wird. Wenn eine Empfehlung zur falschen Zeit übermittelt wird, wird die Empfehlung einem Fahrer nicht korrekt übermittelt, und, was schlechter ist, kann die Empfehlung für einen Insassen sogar unangenehm sein. Daher kategorisiert die Empfehlungszeitbestimmungseinrichtung 900 die Empfehlung in eine solche, die unmittelbar übermittelt werden muss, und eine Empfehlung, die nach Bestimmung der Situation übermittelt werden sollte, und übermittelt die Empfehlung zu einer geeigneten Zeitgebung.
  • Zunächst wird die Empfehlung direkt einer Gefahr zugeordnet, die schnelle Reaktion erfordert. Zum Beispiel ist eine schnelle Reaktion erforderlich, wenn der Fahrer ein Stoppzeichen ignoriert oder eine Geschwindigkeitsbegrenzung überschreitet. Unterdessen kann eine starke Fahrbelastung oder eine Unterhaltung mit einem Insassen erfordern, dass eine geeignete Zeitgebung überwacht wird. Wenn zum Beispiel ein Fahrer eine plötzliche Bremsbetätigung durchführt, ist dies nicht als die Zeitgebung bevorzugt, zu der die Empfehlung übermittelt wird. Dementsprechend wird die Empfehlung an den Fahrer ausgegeben, nachdem ein stetiger Fahrzustand (wie etwa eine Situation, in der eine Bedienung konstant ist und Positionsinformation zeigt, dass das Fahrzeug geradeaus fährt) eingetreten ist.
  • Es ist möglich, auf der Basis der oben beschriebenen „Bestimmung der Umgebungssituation“ zu bestimmen, ob der Zustand gefährlich ist. Darüber hinaus ist es möglich, aus einer Extraktionsfunktion „Merkmal einer Fahrbedienung“ die Fahrbelastung zu bestimmen.
  • Darüber hinaus ist es möglich, aus der Stimme eines Insassen zu bestimmen, ob sich ein Fahrer unterhält. Die Konversationsbestimmungseinrichtung 700 bestimmt gemäß der aus dem Mikrofon des Insassensensors 1300 erfassten Sprache eines Insassen, ob Konversation ausgeführt wird.
  • Das Empfehlungsausgabemodul 950 gibt eine vom Empfehlungsgenerator 600 erzeugte Empfehlung mit einer von der Empfehlungszeitbestimmungseinrichtung 900 bestimmten Zeitgebung aus. Die ausgegebene Empfehlung wird auf der Anzeigevorrichtung 1600 angezeigt. Darüber hinaus wird die ausgegebene Empfehlung vom Lautsprecher 1700 sprachlich ausgegeben.
  • Wie oben beschrieben, wird es durch Anbieten einer Fahrmeldung für ein Fahrbedienungsmerkmal, mit dem sich ein Beifahrer unangenehm fühlt, möglich gemacht, eine Fahrbedienung eines Fahrers, mit der sich ein Beifahrer unangenehm fühlt, fundamental zu verbessern. Darüber hinaus braucht ein Beifahrer einem Fahrer nicht direkt eine Empfehlung für eine Fahranweisung anbieten, und daher lässt sich verhindern, dass sich der Beifahrer und der Fahrer streiten.
  • 3 ist ein Flussdiagramm eines Prozesses, der in dem Fahrempfehlungssystem 2000 gemäß dem vorliegenden Beispiel ausgeführt wird. Zuerst identifiziert in Schritt S10 der Insassensensor 1300 einen Insassen, wenn das Fahrzeug zum Fahren gestartet wird. Im nächsten Schritt S12 schätzt die Emotionsschätzeinrichtung 100 eine Emotion des Insassen auf der Basis eines Gesichtsausdrucks oder einer Stimme des Insassen, die vom Insassensensor 1300 erfasst werden.
  • Im nächsten Schritt S14 berechnet der Emotionsdifferenzrechner 200 eine Differenz zwischen einer Emotion eines Fahrers und einer Emotion eines Beifahrers. Im nächsten Schritt S16 bestimmt der Emotionsdifferenzrechner 200 auf der Basis einer Differenz zwischen einer Emotion des Fahrers und einer Emotion des Beifahrers, ob sich der Beifahrer sehr unangenehm fühlt. Wenn der Emotionsdifferenzrechner 200 bestimmt, dass sich der Beifahrer sehr unangenehm fühlt, setzt der Emotionsdifferenzrechner 200 ein „Unangenehme-Bedienung-Merkmal Flag“, und der Fluss geht zu Schritt S18 weiter. Wenn hingegen in Schritt S16 bestimmt wird, dass sich der Beifahrer nicht sehr unangenehm fühlt, kehrt der Fluss zu Schritt S12 zurück.
  • Sobald der Emotionsdifferenzrechner 200 das „Unangenehme-Bedienung-Merkmal-Flag“ gesetzt hat, bestimmt die Unangenehme-Bedienung-Bestimmungseinrichtung 300 in Schritt S18 eine Fahrbedienung, die dem Beifahrer unangenehm ist. Im nächsten Schritt S20 extrahiert die Fahrbedienungsmerkmalextraktionseinrichtung 400 ein Merkmal einer Fahrbedienung des Fahrers.
  • Im nächsten Schritt S22 extrahiert die Bedienungsmerkmaldifferenzextraktionseinrichtung 500 die Differenz zwischen einem Bedienungsmerkmal des Fahrers und einem Bedienungsmerkmals des Beifahrers. Im nächsten Schritt S24 wird bestimmt, ob eine etwaige Differenz zwischen dem Bedienungsmerkmal des Fahrers und dem Bedienungsmerkmal des Beifahrers vorliegt. Wenn eine Differenz zwischen dem Bedienungsmerkmal des Fahrers und dem Bedienungsmerkmal des Beifahrers vorliegt, geht der Fluss zu Schritt S26 weiter. Wenn hingegen keine Differenz zwischen dem Bedienungsmerkmal des Fahrers und dem Bedienungsmerkmal des Beifahrers vorliegt, kehrt der Fluss zu Schritt S12 zurück.
  • In Schritt S26 erzeugt der Empfehlungsgenerator 600 einen Kommentar zum Ausgeben einer Empfehlung an den Fahrer. Im nächsten Schritt S24 bestimmt die Empfehlungszeitbestimmungseinrichtung 900, ob die Zeitgebung, zu der die Empfehlung dem Fahrer übermittelt wird, geeignet ist. Wenn die Zeitgebung, zu der die Empfehlung an den Fahrer übermittelt wird, geeignet ist, geht der Fluss zu Schritt S30 weiter. Wenn hingegen in Schritt S28 bestimmt wird, dass die Zeitgebung, zu der die Empfehlung an den Fahrer übermittelt wird, nicht geeignet ist, kehrt der Fluss zu Schritt S28 zurück.
  • In Schritt S30 gibt das Empfehlungausgabemodul 950 eine vom Empfehlungsgenerator 600 erzeugte Empfehlung aus. Im nächsten Schritt S34 wird bestimmt, ob die Fahrt des Fahrzeugs fortdauert. Wenn die Fahrt des Fahrzeugs fortdauert, kehrt der Fluss zu Schritt S12 zurück. Wenn hingegen die Fahrt des Fahrzeugs nicht fortdauert, wird der Prozess beendet (ENDE).
  • Gemäß dem oben beschriebenen Beispiel wird eine Fahrbedienung, die für einen Beifahrer unangenehm ist, auf der Basis der Zeitgebung bestimmt, zu der eine Differenz zwischen einer Emotion eines Fahrers und einer Emotion des Beifahrers auftritt. Auf der Basis der Differenz zwischen dem Fahrer und dem Beifahrer wird für einen Fahrer eine Empfehlung über die so bestimmte Fahrbedienung erzeugt. Hiermit lässt sich eine Fahrweise verhindern, mit der sich ein Beifahrer unangenehm fühlt.
  • Obwohl unter Bezug auf die beigefügten Zeichnungen bevorzugte Beispiele der vorliegenden Erfindung im Detail beschrieben worden sind, ist die vorliegende Erfindung darauf nicht beschränkt. Für Fachkundige versteht es sich, dass verschiedene Modifikationen oder Varianten möglich sind, insofern sie in den technischen Umfang der beigefügten Ansprüche oder deren Äquivalente fallen. Es sollte sich verstehen, dass solche Modifikationen oder Varianten auch in den technischen Umfang der vorliegenden Erfindung fallen.
  • Eine Fahrempfehlungsvorrichtung enthält eine Bedienungsbestimmungseinrichtung und einen Empfehlungsgenerator. Die Bedienungsbestimmungseinrichtung verwendet eine Differenz zwischen einer Emotion eines Fahrers und einer Emotion eines Beifahrers zur Bestimmung einer spezifischen Fahrbedienung des Fahrers. Der Empfehlungsgenerator erzeugt eine Empfehlung für den Fahrer über die spezifische Fahrbedienung auf Basis einer Differenz zwischen einem Fahrmerkmal des Fahrers und einem Fahrmerkmal des Beifahrers.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2017228174 [0001]
    • JP 2009157685 A [0003, 0008]
    • JP 201369251 A [0003, 0008]
    • JP 2006350567 A [0003, 0008]
    • JP 2006137871 A [0004]
    • JP 2016137871 A [0009]
    • JP 201137871 A [0009]
    • JP 2013216241 A [0020]
    • JP 2017111760 A [0022]

Claims (10)

  1. Fahrempfehlungsvorrichtung, welche aufweist: eine Bedienungsbestimmungseinrichtung, die konfiguriert ist, um eine Differenz zwischen einer Emotion eines Fahrers und einer Emotion eines Beifahrers zur Bestimmung einer spezifischen Fahrbedienung des Fahrers zu verwenden; und einen Empfehlungsgenerator, der konfiguriert ist, um eine Empfehlung für den Fahrer über die spezifische Fahrbedienung auf Basis einer Differenz zwischen einem Fahrmerkmal des Fahrers und einem Fahrmerkmal des Beifahrers zu erzeugen.
  2. Fahrempfehlungsvorrichtung nach Anspruch 1, welche aufweist: eine Emotionsschätzeinrichtung, die konfiguriert ist, um eine Emotion eines Insassen zu schätzen; und einen Emotionsdifferenzrechner, der konfiguriert ist, um eine Differenz zwischen einer Emotion des Fahrers und einer Emotion des Beifahrers auf Basis der Emotion des Fahrers und der Emotion des Beifahrers, die von der Emotionsschätzeinrichtung geschätzt sind, zu berechnen.
  3. Fahrempfehlungsvorrichtung nach Anspruch 1 oder 2, wobei die Bedienungsbestimmungseinrichtung die spezifische Fahrbedienung innerhalb einer vorbestimmten Zeit vor oder nach einer Zeitgebung, zu der eine Differenz zwischen einer Emotion des Fahrers und einer Emotion des Beifahrers auftritt, bestimmt.
  4. Fahrempfehlungsvorrichtung nach Anspruch 3, wobei, wenn sich eine Fahrbedienung des Fahrers innerhalb der vorbestimmten Zeit ändert, die Bedienungsbestimmungseinrichtung die Fahrbedienung als die spezifische Fahrbedienung bestimmt.
  5. Fahrempfehlungsvorrichtung nach Anspruch 3, wobei die Bedienungsbestimmungseinrichtung die spezifische Fahrbedienung innerhalb der vorbestimmten Zeit auf Basis einer Situation in der Nähe eines Fahrzeugs bestimmt.
  6. Fahrempfehlungsvorrichtung nach einem der Ansprüche 1 bis 5, welche eine Fahrbedienungsmerkmalsextraktionseinrichtung aufweist, die konfiguriert ist, um das Fahrmerkmal des Fahrers auf Basis der spezifischen Fahrbedienung zu extrahieren.
  7. Fahrempfehlungsvorrichtung nach Anspruch 6, die ferner aufweist: eine Datenbank, die konfiguriert ist, um ein Fahrmerkmal des Beifahrers zu speichern; und eine Bedienungsmerkmalsdifferenzextraktionseinrichtung, die konfiguriert ist, um ein einem Fahrmerkmal des Fahrers entsprechendes Fahrmerkmal des Beifahrers aus der Datenbank zu extrahieren und die Differenz zwischen dem Fahrmerkmal des Fahrmerkmal des Fahrers und dem Fahrmerkmal des Beifahrers zu extrahieren.
  8. Fahrempfehlungsvorrichtung nach Anspruch 7, wobei die Bedienungsmerkmaldifferenzextraktionseinrichtung ein einer Fahrsituation des Fahrers entsprechendes Fahrmerkmal des Beifahrers aus einer Datenbank auf der Basis einer Kennung extrahiert, die einen Fahrzustand zu einer Zeit angibt, zu der ein Fahrmerkmal des Fahrers extrahiert wird.
  9. Fahrempfehlungsvorrichtung nach einem der Ansprüche 1 bis 8, welche aufweist: eine Zeitbestimmungseinrichtung, die konfiguriert ist, um eine Zeitgebung zu bestimmen, zu der die Empfehlung ausgegeben wird; und ein Empfehlungsausgabemodul, das konfiguriert ist, die Empfehlung zu der von der Zeitbestimmungseinrichtung bestimmten Zeitgebung auszugeben.
  10. Fahrempfehlungsverfahren, welches aufweist: Verwenden einer Differenz zwischen einer Emotion eines Fahrers und einer Emotion eines Beifahrers zur Bestimmung einer spezifischen Fahrbedienung des Fahrers; und Erzeugen einer Empfehlung für den Fahrer über die spezifische Fahrbedienung auf Basis einer Differenz zwischen einem Fahrmerkmal des Fahrers und einem Fahrmerkmal des Beifahrers.
DE102018128195.1A 2017-11-28 2018-11-12 Fahrempfehlungsvorrichtung und Fahrempfehlungsverfahren Pending DE102018128195A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017228174A JP6613290B2 (ja) 2017-11-28 2017-11-28 運転アドバイス装置及び運転アドバイス方法
JP2017-228174 2017-11-28

Publications (1)

Publication Number Publication Date
DE102018128195A1 true DE102018128195A1 (de) 2019-05-29

Family

ID=66442439

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018128195.1A Pending DE102018128195A1 (de) 2017-11-28 2018-11-12 Fahrempfehlungsvorrichtung und Fahrempfehlungsverfahren

Country Status (4)

Country Link
US (1) US10647326B2 (de)
JP (1) JP6613290B2 (de)
CN (1) CN109835346B (de)
DE (1) DE102018128195A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021118154A1 (de) 2021-07-14 2023-01-19 Dr. Ing. H.C. F. Porsche Aktiengesellschaft System für ein Kraftfahrzeug und Verfahren zur Abschätzung von Emotionen eines Fahrers eines Kraftfahrzeugs

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7116540B2 (ja) * 2017-11-28 2022-08-10 株式会社Subaru 運転アドバイス装置及び運転アドバイス方法
JP6713490B2 (ja) * 2018-02-07 2020-06-24 本田技研工業株式会社 情報提供装置及び情報提供方法
JP7100575B2 (ja) * 2018-12-28 2022-07-13 本田技研工業株式会社 情報処理装置及びプログラム
US11133002B2 (en) * 2019-01-14 2021-09-28 Ford Global Technologies, Llc Systems and methods of real-time vehicle-based analytics and uses thereof
JP6611972B1 (ja) * 2019-03-05 2019-11-27 正通 亀井 アドバイス提示システム
JP7151654B2 (ja) 2019-07-26 2022-10-12 トヨタ自動車株式会社 検索装置、学習装置、検索システム、検索プログラム、及び学習プログラム
CN110525447A (zh) * 2019-10-09 2019-12-03 吉林大学 一种防商用车驾驶员路怒的人机共驾***
CN110712651A (zh) * 2019-11-05 2020-01-21 大陆投资(中国)有限公司 用于车内监控的方法和装置
JP7375705B2 (ja) * 2020-08-11 2023-11-08 トヨタ自動車株式会社 情報処理装置、情報処理方法、およびプログラム
JPWO2023188180A1 (de) * 2022-03-30 2023-10-05

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006137871A (ja) 2004-11-12 2006-06-01 Sumitomo Bakelite Co Ltd 樹脂組成物及び樹脂組成物を使用して作製した半導体装置
JP2006350567A (ja) 2005-06-14 2006-12-28 Toyota Motor Corp 対話システム
JP2009157685A (ja) 2007-12-27 2009-07-16 Kyushu Univ 安全運転促進システム
JP2011037871A (ja) 1998-07-14 2011-02-24 Yissum Research Development Co Of The Hebrew Univ Of Jerusalem Ltd 再狭窄の治療
JP2013069251A (ja) 2011-09-26 2013-04-18 Toyota Infotechnology Center Co Ltd 運転支援装置および方法
JP2013216241A (ja) 2012-04-10 2013-10-24 Denso Corp 感情モニタリングシステム
JP2016137871A (ja) 2015-01-29 2016-08-04 マツダ株式会社 車両用乗員感情対応制御装置
JP2017111760A (ja) 2015-12-18 2017-06-22 カシオ計算機株式会社 感情推定器生成方法、感情推定器生成装置、感情推定方法、感情推定装置及びプログラム
JP2017228174A (ja) 2016-06-24 2017-12-28 カシオ計算機株式会社 出力装置、出力方法、及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4543905B2 (ja) * 2004-12-02 2010-09-15 日産自動車株式会社 気遣い運転ガイド装置および気遣い運転ガイド方法
JP2007148917A (ja) * 2005-11-29 2007-06-14 Aisin Aw Co Ltd 運転支援装置
JP5272605B2 (ja) * 2008-09-18 2013-08-28 日産自動車株式会社 運転操作支援装置、及び運転操作支援方法
WO2016035268A1 (ja) * 2014-09-03 2016-03-10 株式会社デンソー 車両の走行制御システム
US9688271B2 (en) * 2015-03-11 2017-06-27 Elwha Llc Occupant based vehicle control
US20170030726A1 (en) * 2015-07-31 2017-02-02 International Business Machines Corporation Selective human emotion metrics for navigation plans and maps
CN106652378A (zh) * 2015-11-02 2017-05-10 比亚迪股份有限公司 用于车辆的驾驶提醒方法、***、服务器和车辆
JP6731718B2 (ja) * 2015-12-17 2020-07-29 国立大学法人広島大学 乗員の感性向上システム
JP2017109708A (ja) * 2015-12-18 2017-06-22 三菱自動車工業株式会社 車両走行支援装置
JP2017138762A (ja) * 2016-02-03 2017-08-10 トヨタ自動車株式会社 運転者の感情推定装置
JP6368957B2 (ja) * 2016-05-10 2018-08-08 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
US10322727B1 (en) * 2017-01-18 2019-06-18 State Farm Mutual Automobile Insurance Company Technology for assessing emotional state of vehicle operator

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011037871A (ja) 1998-07-14 2011-02-24 Yissum Research Development Co Of The Hebrew Univ Of Jerusalem Ltd 再狭窄の治療
JP2006137871A (ja) 2004-11-12 2006-06-01 Sumitomo Bakelite Co Ltd 樹脂組成物及び樹脂組成物を使用して作製した半導体装置
JP2006350567A (ja) 2005-06-14 2006-12-28 Toyota Motor Corp 対話システム
JP2009157685A (ja) 2007-12-27 2009-07-16 Kyushu Univ 安全運転促進システム
JP2013069251A (ja) 2011-09-26 2013-04-18 Toyota Infotechnology Center Co Ltd 運転支援装置および方法
JP2013216241A (ja) 2012-04-10 2013-10-24 Denso Corp 感情モニタリングシステム
JP2016137871A (ja) 2015-01-29 2016-08-04 マツダ株式会社 車両用乗員感情対応制御装置
JP2017111760A (ja) 2015-12-18 2017-06-22 カシオ計算機株式会社 感情推定器生成方法、感情推定器生成装置、感情推定方法、感情推定装置及びプログラム
JP2017228174A (ja) 2016-06-24 2017-12-28 カシオ計算機株式会社 出力装置、出力方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021118154A1 (de) 2021-07-14 2023-01-19 Dr. Ing. H.C. F. Porsche Aktiengesellschaft System für ein Kraftfahrzeug und Verfahren zur Abschätzung von Emotionen eines Fahrers eines Kraftfahrzeugs

Also Published As

Publication number Publication date
JP2019098779A (ja) 2019-06-24
US10647326B2 (en) 2020-05-12
JP6613290B2 (ja) 2019-11-27
CN109835346A (zh) 2019-06-04
CN109835346B (zh) 2023-04-14
US20190161088A1 (en) 2019-05-30

Similar Documents

Publication Publication Date Title
DE102018128195A1 (de) Fahrempfehlungsvorrichtung und Fahrempfehlungsverfahren
DE102018111778B4 (de) Verfahren, Vorrichtung und System zur Steuerung eines Fahrzeugs, das eine Kreuzung passiert.
DE112016002612B4 (de) Fahrzeugsteuervorrichtung, Fahrzeugsteuerverfahren und Fahrzeugsteuerprogramm
DE112015002934B4 (de) Vorrichtung zum Erfassen eines Fahrunvermögenzustands eines Fahrers
DE102010061922B4 (de) Mit einer Blickrichtung eines Fahrers gekoppeltes System und Verfahren zum Alarmieren einer Frontalaufprallgefahr und ein dasselbe verwendendes Fahrzeug
DE102017217056A1 (de) Verfahren und Einrichtung zum Betreiben eines Fahrerassistenzsystems sowie Fahrerassistenzsystem und Kraftfahrzeug
DE102018002963A1 (de) Fahrerüberwachungsapparat und fahrerüberwachungsverfahren
DE112018004377T5 (de) Fahrzeugfahrassistenzsystem, fahrzeugfahrassistenzverfahren und fahrzeugfahrassistenzprogramm
DE102017204039A1 (de) Autonomes fahrsteuersystem für ein fahrzeug
DE102019117654A1 (de) Fahrspureinhaltesteuervorrichtung
DE112017006567T5 (de) Autonomes fahrzeug mit fahrerausbildung
DE112014007249T5 (de) Bildverarbeitungsvorrichtung, Fahrzeuganzeigesystem, Anzeigevorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
WO2014040855A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems eines fahrzeugs
DE102004057947B4 (de) Verfahren zur Funktionsprüfung eines kraftfahrzeugseitig integrierten Fahrerassistenzsystems
DE112013001424T5 (de) Objekterkennungsvorrichtung
DE102016202594A1 (de) Verfahren und Vorrichtung zum Interpretieren einer Fahrzeugumgebung eines Fahrzeugs sowie Fahrzeug
DE102019109505A1 (de) Datenverarbeitungsvorrichtung, überwachungssystem, wecksystem, datenverarbeitungsverfahren und datenverarbeitungsprogramm
DE102015218115A1 (de) System und verfahren zur automatischen fahrsteuerung
DE112019001487T5 (de) Zustandsbestimmungsvorrichtung, Zustandsbestimmungsprogramm und computerlesbares nichtvergänglich greifbares Speichermedium
DE102018105163A1 (de) System zum automatisierten Fahren
DE112017007258T5 (de) Vorrichtung zur bestimmung des konzentrationsgrades, verfahren zur bestimmung des konzentrationsgrades und programm zur bestimmung des konzentrationsgrades
EP3530537B1 (de) Kraftfahrzeug-steuervorrichtung und verfahren zum betreiben der steuervorrichtung zum autonomen führen eines kraftfahrzeugs
DE112017001632T5 (de) Fahrzeugumfeldüberwachungsvorrichtung und computerprogramm
DE102018127605A1 (de) Informationsverarbeitungsvorrichtung, fahrerüberwachungssystem, informationsverarbeitungsverfahren und informationsverarbeitungsprogramm
DE102015206546A1 (de) Fahrbahnmarkierungserkennungsvorrichtung

Legal Events

Date Code Title Description
R084 Declaration of willingness to licence
R082 Change of representative

Representative=s name: SONNENBERG HARRISON PARTNERSCHAFT MBB PATENT- , DE