DE102019217218A1

DE102019217218A1 - Computerimplementiertes Verfahren zum Bestimmen einer Kopfhaltung eines Fahrzeuginsassen für ein Fahrzeugsteuerungssystem, Steuergerät für automatisierte Fahrfunktionen, Innenraumüberwachungssystem eines Fahrzeuges und Computerprogrammprodukt zum Bestimmen einer Kopfhaltung

Info

Publication number: DE102019217218A1
Application number: DE102019217218.0A
Authority: DE
Inventors: Jörg Angermayer
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-11-07
Filing date: 2019-11-07
Publication date: 2021-05-12

Abstract

Computerimplementiertes Verfahren zum Bestimmen einer Kopfhaltung eines Fahrzeuginsassen für ein Fahrzeugsteuerungssystem umfassend die Schritte: Bereitstellen einer Aufnahme des Fahrzeuginsassen (V1), Bestimmen der Kopfhaltung des Fahrzeuginsassen anhand der Aufnahme mittels eines ersten Klassifikators, wobei die Kopfhaltung eine Position für ein Kopfgelenk umfasst und der erste Klassifikator ein Random-Forest-Klassifikator ist (V2), Bestimmen der Körperhaltung des Fahrzeuginsassen anhand der Aufnahme mittels eines zweiten Klassifikators, wobei die Körperhaltung wenigstens die Position für das Kopfgelenk umfasst und der zweite Klassifikator eine Support Vector Machine oder ein künstlich neuronales Netzwerk ist (V3), und Bereitstellen der Körperhaltung für das Fahrzeugsteuerungssystem, wobei für die Position des Kopfgelenks das Ergebnis des Klassifikators mit der höchsten Konfidenz verwendet wird, wobei wenigstens einer der Klassifikatoren eine Konfidenz von wenigstens 50% angibt (V4a). Ferner bezieht sich die Erfindung auf ein Steuergerät (10), ein Innenraumüberwachungssystem (20) und ein Computerprogrammprodukt.

Description

Die Erfindung bezieht sich auf ein computerimplementiertes Verfahren zum Bestimmen einer Kopfhaltung eines Fahrzeuginsassen für ein Fahrzeugsteuerungssystem. Ferner bezieht sich die Erfindung auf ein Steuergerät für automatisierte Fahrfunktionen. Außerdem bezieht sich die Erfindung auf ein Innenraumüberwachungssystem eines Fahrzeuges. Des Weiteren bezieht sich die Erfindung auf ein Computerprogrammprodukt zum Bestimmen einer Kopfhaltung.
Aus dem Stand der Technik sind viele Ansätze bekannt, mittels maschinellem Lernen eine Körperhaltung, im Englischen Body Pose genannt, zu schätzen, siehe zum Beispiel arXiv: 1608.03075 und den dort genannten Referenzen. Problematisch ist dabei, dass basierend auf 2D Bilddaten 3D Koordinaten geschätzt werden und Ergebnisse ungenau sind.
Hier setzt die Erfindung an. Der Erfindung hat die Aufgabe zugrunde gelegen, die Bestimmung von einer Kopfhaltung zu optimieren.
Das erfindungsgemäße computerimplementierte Verfahren dient dem Bestimmen einer Kopfhaltung eines Fahrzeuginsassen für ein Fahrzeugsteuerungssystem. Das Verfahren umfasst die Schritte:

• Bereitstellen einer Aufnahme des Fahrzeuginsassen
• Bestimmen der Kopfhaltung des Fahrzeuginsassen anhand der Aufnahme mittels eines ersten Klassifikators, wobei die Kopfhaltung eine Position für ein Kopfgelenk umfasst und der erste Klassifikator ein Random-Forest-Klassifikator ist,
• Bestimmen der Körperhaltung des Fahrzeuginsassen anhand der Aufnahme mittels eines zweiten Klassifikators, wobei die Körperhaltung wenigstens die Position für das Kopfgelenk umfasst und der zweite Klassifikator eine Support Vector Machine oder ein künstlich neuronales Netzwerk ist, und
• Bereitstellen der Körperhaltung für das Fahrzeugsteuerungssystem, wobei für die Position des Kopfgelenks das Ergebnis des Klassifikators mit der höchsten Konfidenz verwendet wird, wobei wenigstens einer der Klassifikatoren eine Konfidenz von wenigstens 50% angibt.

Nachfolgende Erläuterungen gelten ebenfalls für das Steuergerät, das Innenraumüberwachungssystem und das Computerprogrammprodukt.
Fahrzeuginsassen sind Fahrzeugführer und weitere Personen in einer Fahrgastzelle, zum Beispiel Beifahrer, Mitfahrer und/oder Fahrgäste mit einem bestimmten Beförderungsziel.
Die Aufnahme des Fahrzeuginsassen ist vorzugsweise eine Aufnahme eines bildgebenden Sensors. Ein bildgebender Sensor ist zum Beispiel ein Sensor einer Innen/Außenraumkamera oder eines Radar- und/oder Lidargeräts angeordnet im Innen- und/oder Außenraum eines Fahrzeuges. Die Aufnahmen werden gespeichert und bei Bedarf, vorzugsweise in Echtzeit, prozessiert.
Ein Klassifikator teilt Objekte oder Situationen in Klassen ein und erkennt Muster. Ein Klassifikator ist beispielsweise in einem Algorithmus implementiert. Der Klassifikator führt beispielsweise eine maschinelle Klassifikation durch. Der erste Klassifikator bestimmt die Kopfhaltung. Der zweite Klassifikator bestimmt die Körperhaltung.
Random Forest ist ein Klassifikator umfassend unkorrelierte Entscheidungsbäume, die nach einer bestimmten Randomisierung während eines Lernprozesses wachsen. Für eine Klassifikation darf jeder Baum in diesem Wald eine Entscheidung treffen und die Klasse mit den meisten Stimmen entscheidet die endgültige Klassifikation. Vorteile des Random Forest sind insbesondere, dass er relativ schnell trainiert aufgrund kurzen Trainings- und/oder Aufbauzeiten eines einzelnen Entscheidungsbaums, dass Evaluierungen aufgrund mehrerer Bäume parallelisierbar sind und dass wichtige Klassen, wie zum Beispiel Kopfgelenk, erkannt werden können.
Eine Support Vector Machine ist ein Klassifikator, die eine Menge von Objekten derart in Klassen unterteilt, dass um Klassengrenzen herum ein möglichst breiter Bereich frei von Objekten bleibt.
Ein künstlich neuronales Netzwerk ist ein Algorithmus ausgeführt auf einer elektronischen Schaltung und inspiriert am menschlichen Gehirn. Ein künstlich neuronales Netzwerk reagiert zweckgerichtet auf neue Informationen.
Ein menschlicher Körper hat 244 Freiheitsgrade mit 230 Gelenken, unter anderem Kopfgelenken. Der zweite Klassifikator berücksichtigt diese Freiheitsgrade und Gelenke. Die Kopfhaltung wird bestimmt durch das Kopfgelenk.
Wenn der erste Klassifikator sehr genaue Daten liefert, wird im Modell für die Körperhaltung für die Position des Kopfgelenkes, wie erhalten mit dem zweiten Klassifikator, das Ergebnis des ersten Klassifikators verwendet. Falls die Ergebnisse von Kopfhaltung und Körperhaltung eine vergleichbare Genauigkeit besitzen, wird vorteilhafterweise immer das Ergebnis mit der höchsten Konfidenz verwendet. Dabei setzt das Verfahren ein Limit, bei dem keine Ergebnisse geliefert werden, nämlich unter 50%. Dadurch werden die Ergebnisse für die Kopfhaltung bei der Bestimmung der Körperhaltung genauer und weniger fehleranfällig. Für das Auslösen von passiven Sicherheitssystemen wie zum Beispiel Airbags ist die Kenntnis der genauen Position des Kopfgelenkes entscheidend.
Mit der Erfindung wird die Bestimmung der Head Position im Body Pose Model optimiert.
Nach einem Aspekt der Erfindung ist der zweite Klassifikator ein Faltungsnetzwerk/ konvolutionales neuronales Netzwerk, im Englischen convolutional neural network genannt. In einem konvolutionalen neuronalen Netzwerk wird ein Filter auf eine Schicht von Neuronen unabhängig von der Position mit den gleichen Gewichtungsfaktoren angewendet. In einem vollständig verbundenen Netzwerk ist jedes Neuron einer Schicht mit allen Neuronen der vorausgehenden Schicht verbunden. Jede Verbindung hat ihren eigenen Gewichtungsfaktor. Das konvolutionale neuronale Netzwerk umfasst mehrere Poolingschichten zwischen den konvolutionalen Schichten. Poolingschichten verändern die Dimension einer zweidimensionalen Schicht in Breite und Höhe. Poolingschichten werden auch für höherdimensionale Schichten verwendet. Vorzugsweise umfasst das Faltungsnetzwerk mehrere konvolutionale Schichten, zum Beispiel fünf, mehrere vollständig verbundene Schichten, zum Beispiel zwei und mehrere Poolingschichten, zum Beispiel drei.
Das erfindungsgemäße Steuergerät ist für automatisierte Fahrfunktionen konstruiert. Es umfasst wenigstens eine erste Schnittstelle, um Daten eines ersten, in einem Fahrzeuginnenraum eines Fahrzeuges anordenbaren bildgebenden Sensors zu erhalten. Ferner umfasst das Steuergerät einen Computer, der konfiguriert ist, ein erfindungsgemäßes Verfahren auszuführen, um eine Kopfhaltung eines Fahrzeuginsassen in Abhängigkeit der Daten des ersten bildgebenden Sensors zu bestimmen und in Abhängigkeit der Kopfhaltung ein Signal für ein Fahrzeugsteuerungssystem zu bestimmen. Außerdem umfasst das Steuergerät eine zweite Schnittstelle, um das Signal für das Fahrzeugsteuerungssystem bereitzustellen.
Ein Steuergerät bereitet die Daten von Sensoren als Eingangssignale auf, verarbeitet diese mittels eines Computers, beispielsweiser einer Computerplattform, und stellt Logik- und/oder Leistungspegel als Regel- oder Steuersignale bereit. Das bestimmte Signal ist ein Regel- oder Steuersignal. Mit dem bestimmten Signal werden über die zweite Schnittstelle Fahrzeugaktuatoren, insbesondere Aktuatoren für Längs- und/oder Quersteuerung und/oder Sicherheitssysteme, geregelt und gesteuert, um einen automatisierten oder autonomen Fahrbetrieb zu ermöglichen. Das Steuergerät ist signaltechnisch mit den Sensoren über die erste Schnittstelle verbunden. Die erste Schnittstelle kann ein Bauteil sein oder mehrere Bauteile, ein Bauteil pro Sensor, umfassen. Der Datenaustausch erfolgt kabelgebunden oder kabellos, zum Beispiel über Funktechnologie. Das Steuergerät ist in ein Bordnetz des Straßenfahrzeuges integriert. Das Steuergerät ist insbesondere ein elektronisches Steuergerät für automatisierte Fahrfunktionen, im Englischen Domain ECU, insbesondere ADAS/AD Domain ECU, genannt.
Der Computer des Steuergeräts ist beispielsweise als ein System-on-a-Chip realisiert mit modularem Hardwarekonzept, das heißt alle oder zumindest ein großer Teil der Funktionen sind auf einem Chip integriert und können modular erweitert werden. Der Chip ist in ein Steuergerät integrierbar. Der Computer umfasst beispielsweise einen Mehrkernprozessor und Speichermodule. Der Mehrkernprozessor ist für einen Signal-/Datenaustausch mit den Speichermodulen konfiguriert. Beispielsweise umfasst der Mehrkernprozessor ein Bussystem. Die Speichermodule bilden den Arbeitsspeicher. Die Speichermodule sind beispielsweise RAM, DRAM SDRAM oder SRAM. Bei einem Mehrkernprozessor sind mehrere Kerne auf einem einzigen Chip, das heißt einem Halbleiterbauelement, angeordnet sind. Mehrkernprozessoren erreichen eine höhere Rechenleistung und sind kostengünstiger in einem Chip zu implementieren im Vergleich zu Mehrprozessorsystemen, bei denen jeder einzelne Kern in einem Prozessorsockel angeordnet ist und die einzelnen Prozessorsockel auf einer Hauptplatine angeordnet sind. Der Computer umfasst vorzugsweise wenigstens einen zentralen Verarbeitungsprozessor, im Englischen als Central Processing Unit, abgekürzt CPU, bezeichnet. Der Computer umfasst auch wenigstens einen Grafikprozessor, im Englischen als Graphic Processing Unit, abgekürzt GPU, bezeichnet. Grafikprozessoren besitzen eine spezielle Mikroarchitektur zum parallelen Prozessieren von Abläufen. Insbesondere umfasst ein Grafikprozessor wenigstens eine Prozesseinheit, die speziell zum Ausführen von Tensor-und/oder Matrixmultiplikationen ausgeführt ist. Tensor- und/oder Matrixmultiplikationen sind die zentralen Rechenoperationen für das Deep Learning. Der Computer umfasst vorzugsweise auch Hardware Beschleuniger für künstliche Intelligenz, insbesondere sogenannte Deep Learning Accelerators. Ferner ist der Computer oder das Steuergerät konfiguriert, modular mit mehreren, vorzugsweise mindestens vier, derartiger Chips erweitert zu werden. Damit ist der Computer insgesamt für maschinelles Lernen optimiert und skalierbar.
Das erfindungsgemäße Innenraumüberwachungssystem eines Fahrzeuges umfasst einen bildgebenden Sensor und ein erfindungsgemäßes Steuergerät, wobei zwischen dem Sensor und dem Steuergerät ein Datenaustausch erfolgt.
Ein Innenraumüberwachungssystem ist ein Sensorsystem zur Lokalisation und/oder Klassifikation, vorzugsweise dreidimensionalen Erkennung, von Fahrzeuginsassen.
Das Innenraumüberwachungssystem liefert insbesondere Daten für sicherheitsrelevante Aspekte, zum Beispiel mit welcher Kraft Airbags und/oder Gurtstraffer ausgelöst werden sollen in Abhängigkeit einer Position eines Fahrzeuginsassen oder Innenraumtemperaturen. Das Innenraumüberwachungssystem bestimmt auch den Einsatz weiterer adaptiver Sicherheitsfunktionen. Mit dem erfindungsgemäßen Steuergerät kann das Innenraumüberwachungssystem die Kopfhaltung besonders genau bestimmen. Damit kann das Innenraumüberwachungssystem beispielsweise besonders genau bestimmen, ob ein Fahrer den Blick auf die Straße richtet, um zu entscheiden, ob der Fahrer eine Steuerung eines Fahrzeuges übernehmen kann, im Englischen take-over genannt, falls das Fahrzeug zuvor automatisiert gesteuert wurde.
Vorzugsweise ist der Sensor ein Sensor einer 2D-Kamera oder einer 3D-Kamera, insbesondere einer Lichtlaufzeitkamera. Mit der Lichtlaufzeitkamera, im Englischen time-of-flight (TOF) camera genannt, wird ein Tiefenbild eines Kopfes über pixelweise Messung der Lichtlaufzeit erhalten. Der Sensor kann auch ein Lidar- oder Radar-Sensor sein.
Das erfindungsgemäße Computerprogrammprodukt zum Bestimmen einer Kopfhaltung eines Fahrzeuginsassen umfasst Softwarecodeabschnitte, die bewirken, dass das erfindungsgemäße Innenraumüberwachungssystem ein erfindungsgemäßes Verfahren ausführt, wenn das Computerprogramm auf einem Steuergerät des Innenraumüberwachungssystems läuft.
Die Softwarecodeabschnitte des Computerprogrammprodukts stellen eine Abfolge von Befehlen dar, durch die das Steuergerät bei geladenem Computerprogramm veranlasst wird, Kopfhaltung und Körperhaltung eines Fahrzeuginsassen zu bestimmen und in Abhängigkeit dieser Bestimmung ein Signal auszugeben, insbesondere zur Steuerung sicherheitsrelevanter Fahrzeugfunktionen. Das Computerprogrammprodukt ruft damit einen technischen Effekt hervor.

Ein Ausführungsbeispiel eines erfindungsgemäßen Innenraumüberwachungssystems ist in 1 angegeben.

Von dem Innenraumüberwachungssystem 20 ist in 1 ein erster bildgebender Sensor S1 und dargestellt. Der erste bildgebende Sensor S1 ist TOF-Kamera, die beispielsweise hinter einem Lenkrad an einer Windschutzscheibe montiert ist.
Das Steuergerät 10 umfasst eine erste Schnittstelle 11. Über die erste Schnittstelle 11 ist das Steuergerät 10 signaltechnisch mit dem bildgebenden Sensoren S1 des Innenraumüberwachungssystems 20 verbunden. Daten, insbesondere Bilddaten, des Sensors S1 werden über die erste Schnittstelle 11 einem Computer 12 des Steuergeräts 10 bereitgestellt. Der Computer 12 umfasst einen Speicher. Der Computer 12 führt folgende Schritte aus:

• Bereitstellen einer Aufnahme des Fahrzeuginsassen in einem ersten Schritt V1,
• Bestimmen der Kopfhaltung des Fahrzeuginsassen anhand der Aufnahme mittels eines ersten Klassifikators in einem zweiten Schritt V2, wobei die Kopfhaltung eine Position für ein Kopfgelenk umfasst und der erste Klassifikator ein Random-Forest-Klassifikator ist,
• Bestimmen der Körperhaltung des Fahrzeuginsassen anhand der Aufnahme mittels eines zweiten Klassifikators in einem dritten Schritt V3, wobei die Körperhaltung wenigstens die Position für das Kopfgelenk umfasst und der zweite Klassifikator eine Support Vector Machine oder ein künstlich neuronales Netzwerk ist,
• Bereitstellen der Körperhaltung für das Fahrzeugsteuerungssystem in einem vierten Schritt V4a, wobei für die Position des Kopfgelenks das Ergebnis des Klassifikators mit der höchsten Konfidenz verwendet wird, wobei wenigstens einer der Klassifikatoren eine Konfidenz von wenigstens 50% angibt,
• Bestimmen eines Signal S für ein Fahrzeugsteuerungssystem in Abhängigkeit der Kopfhaltung in einem fünften Schritt V5.

Als Ergebnis erhält der Computer 12 damit in Abhängigkeit der bestimmten Körper- und Kopfhaltung ein Signal S zur Ansteuerung von Fahrzeugaktuatoren. Das Signal S wird über eine zweite Schnittstelle 14 des Steuergeräts 10 bereitgestellt.
Bezugszeichenliste

10: Steuergerät
11: erste Schnittstelle
12: Computer
14: zweite Schnittstelle
20: Innenraumüberwachungssystem
S: Signal
S1: Sensor

Claims

Computerimplementiertes Verfahren zum Bestimmen einer Kopfhaltung eines Fahrzeuginsassen für ein Fahrzeugsteuerungssystem umfassend die Schritte: • Bereitstellen einer Aufnahme des Fahrzeuginsassen (V1) • Bestimmen der Kopfhaltung des Fahrzeuginsassen anhand der Aufnahme mittels eines ersten Klassifikators, wobei die Kopfhaltung eine Position für ein Kopfgelenk umfasst und der erste Klassifikator ein Random-Forest-Klassifikator ist (V2), • Bestimmen der Körperhaltung des Fahrzeuginsassen anhand der Aufnahme mittels eines zweiten Klassifikators, wobei die Körperhaltung wenigstens die Position für das Kopfgelenk umfasst und der zweite Klassifikator eine Support Vector Machine oder ein künstlich neuronales Netzwerk ist (V3), und • Bereitstellen der Körperhaltung für das Fahrzeugsteuerungssystem, wobei für die Position des Kopfgelenks das Ergebnis des Klassifikators mit der höchsten Konfidenz verwendet wird, wobei wenigstens einer der Klassifikatoren eine Konfidenz von wenigstens 50% angibt (V4a).
Verfahren nach Anspruch 1, wobei der zweite Klassifikator ein Faltungsnetzwerk ist.
Steuergerät (10) für automatisierte Fahrfunktionen umfassend • wenigstens eine erste Schnittstelle (11), um Daten eines ersten, in einem Fahrzeuginnenraum eines Fahrzeuges anordenbaren bildgebenden Sensors (S1) zu erhalten, • einen Computer (12), der konfiguriert ist, ein Verfahren nach einem der Ansprüche 1 oder 2 auszuführen, um eine Kopfhaltung eines Fahrzeuginsassen in Abhängigkeit der Daten des ersten bildgebenden Sensors (S1) zu bestimmen und in Abhängigkeit der Kopfhaltung ein Signal (S) für ein Fahrzeugsteuerungssystem zu bestimmen (V4b), und • eine zweite Schnittstelle (14), um das Signal (S) für das Fahrzeugsteuerungssystem bereitzustellen.
Innenraumüberwachungssystem (20) eines Fahrzeuges umfassend einen bildgebenden Sensor (S1) und ein Steuergerät (10) nach Anspruch 3, wobei zwischen dem Sensor (S1) und dem Steuergerät (10) ein Datenaustausch erfolgt.
Computerprogrammprodukt zum Bestimmen einer Kopfhaltung eines Fahrzeuginsassen umfassend Softwarecodeabschnitte, die bewirken, dass das Innenraumüberwachungssystem (2) nach Anspruch 4 ein Verfahren nach einem der Ansprüche 1 oder 2 ausführt, wenn das Computerprogramm auf einem Steuergerät (10) des Innenraumüberwachungssystems läuft.