DE102019212408A1

DE102019212408A1 - Verfahren zum Ermitteln des Körpergewichts und/oder der Sitzposition, Steuergerät sowie Kraftfahrzeug

Info

Publication number: DE102019212408A1
Application number: DE102019212408.9A
Authority: DE
Inventors: Devi Alagarswamy; Mark Schutera; Tim Härle; Martin Seyffert; Vincent Choquet
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-08-20
Filing date: 2019-08-20
Publication date: 2021-02-25

Abstract

Ein Verfahren zum Ermitteln des Körpergewichts und/oder der Sitzposition eines Fahrzeuginsassen (F) eines Kraftfahrzeugs (10) hat die folgenden Schritte:- Erhalten eines Bildes (B) des Fahrzeuginsassen (F) von einer Kamera (20) des Kraftfahrzeugs (10),- Ermitteln von wenigstens einem Körpermerkmal (M) des Fahrzeuginsassen (F) anhand des Bildes (B) durch ein Merkmalmodul (24) des Kraftfahrzeugs (10), und- Ermitteln des Körpergewichts und/oder der Sitzposition durch ein klassisches Maschinenlernmodul (26) anhand des wenigstens einen ermittelten Körpermerkmals (M).Ferner sind ein Steuergerät (22) und ein Kraftfahrzeug (10) gezeigt.

Description

Die Erfindung betrifft ein Verfahren zum Ermitteln des Körpergewichts und/oder der Sitzposition eines Fahrzeuginsassen eines Kraftfahrzeugs, ein Steuergerät für ein Kraftfahrzeug sowie ein Kraftfahrzeug.
Moderne Kraftfahrzeuge, wie Pkw und Lkw, besitzen Sicherheitssysteme, beispielsweise Sicherheitsgurtsysteme und Gassackmodule, deren Schutzwirkung optimiert werden kann, wenn diese passend auf den Fahrzeuginsassen des jeweiligen Sitzes abgestimmt sind. Insbesondere sind dabei das Gewicht und/oder die Sitzposition des Fahrzeuginsassen von Bedeutung.
Steuergeräte von Kraftfahrzeugen, insbesondere für sicherheitsrelevante Systeme, sollen jedoch so ressourcenschonend und robust, d. h. mit geringer Komplexität, wie möglich ausgeführt sein. Es ist daher Aufgabe der Erfindung, ein Verfahren zum Ermitteln des Körpergewichts und/oder der Sitzposition eines Fahrzeuginsassen bereitzustellen, das robust und ressourcenschonend ausführbar ist.
Die Aufgabe wird gelöst durch ein Verfahren zum Ermitteln des Körpergewichts und/oder der Sitzposition eines Fahrzeuginsassen eines Kraftfahrzeugs, mit den folgenden Schritten:

- Erhalten eines Bildes des Fahrzeuginsassen von einer Kamera des Fahrzeugs,
- Ermitteln von wenigstens einem Körpermerkmal des Fahrzeuginsassen anhand des Bildes durch ein Merkmalmodul des Fahrzeugs, und
- Ermitteln des Körpergewichts und/oder der Sitzposition durch ein klassisches Maschinenlernmodul anhand des wenigstens einen ermittelten Körpermerkmals.

Durch die Verwendung eines klassischen Maschinenlernmoduls ist eine besonders robuste, zuverlässige und ressourcenschonende Bestimmung des Körpergewichtes und/oder der Sitzposition des Fahrzeuginsassen möglich.
Unter einem klassischen Maschinenlernmodul wird im Rahmen dieser Erfindung ein Maschinenlernmodul verstanden, das kein künstliches neuronales Netzwerk ist oder umfasst.
Zum Beispiel werden mehrere verschiedene Körpermerkmale ermittelt und berücksichtigt.
In einer Ausgestaltung wird ein Sicherheitssystem, insbesondere ein Sicherheitsgurtsystem und/oder ein Rückhaltesystem in Abhängigkeit des ermittelten Körpergewichts und/oder der ermittelten Sitzposition gesteuert, um das Sicherheitssystem optimal an den Fahrzeuginsassen anpassen zu können.
Beispielsweise verwendet das klassische Maschinenlernmodul einen symbolischen Ansatz zum maschinellen Lernen, wodurch ressourcenschonend aber zuverlässig das Körpergewicht und/oder die Sitzposition bestimmt wird.
In einer Ausführungsform verwendet das Maschinenlernmodul beim Ermitteln des Körpergewichts und/oder der Sitzposition ein Klassifikationsverfahren, insbesondere einen Random Forest. Dadurch lässt sich das Körpergewicht und/oder die Sitzposition schnell ermitteln.
Alternativ oder zusätzlich kann das Maschinenlernmodul beim Ermitteln des Körpergewichts und/oder der Sitzposition ein Regressionsverfahren verwenden, insbesondere eine Support Vector Machine, wodurch eine besonders zuverlässige Ermittlung möglich ist.
Beispielsweise wird das Bild vorverarbeitet, insbesondere durch Segmentieren des Körpers des Fahrzeuginsassen, sodass die Ermittlung des Körpergewichtes und/oder der Sitzposition weiter vereinfacht werden kann.
Zur robusten Erkennung von Körperteilen kann das Merkmalmodul das wenigstens eine Körpermerkmal mittels eines maschinellen Bilderkennungsverfahrens, insbesondere unter Verwendung des Canny-Algorithmus ermitteln. Dabei können insbesondere Parameter der Kamera, zum Beispiel Kalibrationsparameter berücksichtigt werden.
Um ein besonders ressourcenschonendes Verfahren bereitzustellen, kann das Merkmalmodul bei der Bestimmung des wenigstens einen Körpermerkmals ein klassisches Maschinenlernverfahren, insbesondere mit einem symbolischen Ansatz verwenden.
Zum Beispiel kann ein Random Forest, d.h. ein Klassifikationsverfahren aus mehreren unkorrelierten Entscheidungsbäumen, verwendet werden.
In einer Ausführungsform des Verfahrens verwendet das Merkmalmodul bei der Bestimmung des wenigstens einen Körpermerkmals ein künstliches neuronales Netzwerk, wodurch eine Vielzahl an verschiedenen Körpermerkmalen unterschieden werden kann.
Zum Beispiel hat das Merkmalmodul ein künstliches neuronales Netzwerk.
Beispielsweise ist das wenigstens eine Körpermerkmal die Höhe des Körpers, insbesondere des Oberkörpers, die Breite des Körpers, insbesondere des Oberkörpers, die Armlänge wenigstens eines Arms, der Bauchumfang, die Orientierung des Oberkörpers, die Orientierung des Kopfes und/oder die Orientierung wenigstens eines Arms ist, wodurch das Körpergewicht und/oder die Sitzposition genau bestimmbar ist.
Die Orientierung wird zum Beispiel relativ zu anderen Körperteilen oder zu einem fahrzeugfesten Teil, wie dem Sitz oder der B-Säule bestimmt.
Um die Effektivität des Verfahrens weiter zu steigern, kann das wenigstens eine Körpermerkmal, das zur Ermittlung des Körpergewichts und/oder der Sitzposition herangezogen wird, mittels wenigstens eines Data-Mining Verfahrens ausgewählt werden.
In einer Ausführungsform der Erfindung ist das Bild eine Aufnahme des Fahrzeuginsassen, der auf einem entsprechenden Sitz des Kraftfahrzeugs sitzt, wodurch die Körpermerkmale in der relevanten Situation ermittelt werden, insbesondere in der für das Sicherheitssystem relevanten Stellung.
Ferner wird die Aufgabe gelöst durch ein Steuergerät für ein Kraftfahrzeug, das dazu eingerichtet ist, eines der zuvor beschriebenen Verfahren durchzuführen.
Die Aufgabe wird zudem durch ein Kraftfahrzeug mit einer Kamera und einem zuvor beschriebenen Steuergerät gelöst.
Die zum Verfahren erläuterten Merkmale und Vorteile gelten entsprechend für das Steuergerät sowie das Kraftfahrzeug und umgekehrt.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung sowie aus den beigefügten Zeichnungen, auf die Bezug genommen wird. In den Zeichnungen zeigen:

- 1 schematisch ein erfindungsgemäßes Kraftfahrzeug mit einem erfindungsgemäßen Steuergerät,
- 2 zeigt äußerst schematisch ein Bild eines Fahrzeuginsassen, und
- 3 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens.

1 zeigt schematisch ein Kraftfahrzeug 10, hier einen Pkw. Denkbar ist selbstverständlich auch, dass es sich bei dem Kraftfahrzeug 10 um einen Lkw handelt.
Das Kraftfahrzeug 10 weist einen Sitz 12 auf, auf dem ein Fahrzeuginsasse F, hier der Fahrer des Kraftfahrzeugs 10, Platz genommen hat.
Weiterhin hat das Kraftfahrzeug 10 ein Lenkrad 14, in dem ein Rückhaltesystem 16, z.B. ein Gassackmodul, angeordnet ist, ein Sicherheitsgurtsystem 18 (3), eine Kamera 20, die auf den Sitz 12 gerichtet ist, und ein Steuergerät 22.
Das Steuergerät 22 ist mit dem Rückhaltesystem 16, dem Sicherheitsgurtsystem 18 und der Kamera 20 zum Datenaustausch verbunden und steuert insbesondere das Rückhaltesystem 16, das Sicherheitsgurtsystem 18 und die Kamera 20.
Das Steuergerät 22 weist zudem ein Merkmalmodul 24 und ein klassisches Maschinenlernmodul 26 auf.
In 2 ist schematisch ein Bild B vom Sitz 12 mitsamt dem Fahrzeuginsassen F dargestellt, das mittels der Kamera 20 aufgenommen wurde und das dem Steuergerät 22 zum Ermitteln des Körpergewichts und/oder der Sitzposition des Fahrzeuginsassen F dient.
Hierzu führt das Steuergerät 22 das in 3 dargestellte Verfahren aus.
In einem ersten Schritt S1 nimmt die Kamera 20 ein Bild B vom Fahrzeuginsassen F auf, wie es beispielsweise in 2 dargestellt ist.
Im nächsten Schritt S2 übermittelt die Kamera 20 das Bild B an das Steuergerät 22, das dementsprechend das Bild B erhält.
Das Bild B wird in einem nächsten Schritt S3 vom Steuergerät 22 vorverarbeitet. Dabei wird der Körper des Fahrzeuginsassen F segmentiert. Auch andere, fahrzeugfeste Gegenstände können erkannt und segmentiert werden, wie der Sitz 12 oder die B-Säule 28 des Kraftfahrzeugs 10.
Bereits in diesem Schritt kann ein Canny-Algorithmus (Canny edge detector) zur Kantendetektion verwendet werden.
Hierbei können auch Parameter der Kamera 20, insbesondere Kalibrationsparameter berücksichtigt werden.
Das vorverarbeitete Bild wird in einem nächsten Schritt S4 an das Merkmalmodul 24 weitergegeben und dort verarbeitet.
Das Merkmalmodul 24 ermittelt wenigstens ein Körpermerkmal M des Fahrzeuginsassen F auf Grundlage des vorverarbeiteten Bildes B.
Ein Körpermerkmal M kann beispielsweise folgendes sein: die Höhe des Oberkörpers M₁, die Breite des Oberkörpers M₂, die Armlänge M₃, der Bauchumfang M₄ und/oder die Orientierungen der verschiedenen Körperteile zueinander oder zu einem fahrzeugfesten Teil, wie dem Sitz 12 oder der B-Säule 28.
Beispielsweise wird die Orientierung des Oberkörpers, die Orientierung des Kopfes und/oder die Orientierung der Arme als Körpermerkmal M ermittelt.
Dabei kann jeweils entweder die Länge und/oder Orientierung einer der Arme, beide Arme getrennt oder beide Arme gemeinsam bestimmt werden.
Es werden von dem Merkmalmodul 24 diejenigen Körpermerkmale M ermittelt, die zuvor, beispielsweise ab Werk, vorbestimmt und ausgewählt sind.
Die Auswahl, welche Körpermerkmale M sich zur Ermittlung des Körpergewichts und/oder der Sitzposition eignen und herangezogen werden sollen, wurde in einem vorgelagerten Schritt S0 ermittelt und bestimmt.
Die Bestimmung erfolgt beispielsweise mithilfe eines Data-Mining Verfahrens, manuell oder auf andere geeignete Weise.
Das Merkmalmodul 24 verwendet zur Bestimmung der Körpermerkmale M beispielsweise ein klassisches Maschinenlernverfahren mit einem symbolischen Ansatz und kein künstliches neuronales Netzwerk. Zum Beispiel kommt ein Random Forest zum Einsatz.
Zusätzlich kann das Merkmalmodul 24 ein maschinelles Bilderkennungsverfahren durchführen, z.B. unter Verwendung eines Canny-Algorithmus und/oder wenigstens eines Kameraparameters, wie einem Kalibrationsparameter der Kamera.
Alternativ oder zusätzlich zum klassischen Maschinenlernverfahren ist es ebenfalls denkbar, dass das Merkmalmodul 24 bei der Bestimmung des wenigstens einen Körpermerkmals M ein künstliches neuronales Netzwerk verwendet. Hierzu weist das Merkmalmodul 24 dann zum Beispiel ein künstliches neuronales Netzwerk 30 auf.
Die ermittelten Körpermerkmale M werden anschließend in einem nächsten Schritt S5 an das klassische Maschinenlernmodul 26 des Steuergerätes 22 übermittelt.
In Schritt S6 ermittelt das klassische Maschinenlernmodul 26 das Gewicht und/oder die Sitzposition des Fahrzeuginsassen F anhand der ermittelten Körpermerkmale M.
Das klassische Maschinenlernmodul 26 verwendet hierzu kein künstliches neuronales Netzwerk, sondern einen symbolischen Ansatz zum maschinellen Lernen.
Beispielsweise wird ein Klassifikationsverfahren, insbesondere ein Random Forest verwendet, um aufgrund der Körpermerkmale M das Körpergewicht und/oder die Sitzposition des Fahrzeuginsassen F zu ermitteln.
Alternativ oder zusätzlich kann das Maschinenlernmodul 26 zum Ermitteln des Gewichtes und/oder der Position des Fahrzeuginsassen F ein Regressionsverfahren, beispielsweise eine Support Vector Machine verwenden.
Unabhängig davon, ob eines, beide oder eine Kombination dieser Verfahren verwendet wird, erhält das klassische Maschinenlernmodul 26 das Körpergewicht und/oder die Sitzposition des Fahrzeuginsassen F.
In einem nächsten Schritt S7 steuert das Steuergerät 22 das Sicherheitsgurtsystem 18, das Rückhaltesystem 16 und/oder weitere Rückhaltesysteme des Kraftfahrzeugs 10 auf Grundlage des ermittelten Gewichtes und/oder der ermittelten Sitzposition.
Beispielsweise wird bei einem schweren Fahrzeuginsassen einem Gurtstraffer des Sicherheitsgurtsystems 18 ein Befehl zur stärkeren Straffung des Sicherheitsgurtes übergeben.
Das Rückhaltesystem 16 kann dahingehend gesteuert werden, dass verschiedene Kammern des Gassacks im Rückhaltefall aufgeblasen oder nicht aufgeblasen werden, in Abhängigkeit davon, ob es sich um einen schweren oder weniger schweren Fahrzeuginsassen oder um eine aufrechte oder eher liegende Sitzposition handelt.
Aufgrund der Verwendung eines klassischen Maschinenlernmoduls sind die notwendigen Ressourcen zur Ermittlung des Körpergewichts und/oder der Sitzposition des Steuergerätes 22 reduziert. Außerdem reduziert sich der Aufwand zum Trainieren des klassischen Maschinenlernmoduls 26 erheblich.
Bezugszeichenliste

10: Kraftfahrzeug
12: Sitz
14: Lenkrad
16: Rückhaltesystem
18: Sicherheitsgurtsystem
20: Kamera
22: Steuergerät
24: Merkmalmodul
26: klassisches Maschinenlernmodul
28: B-Säule
30: künstliches neuronales Netzwerk
B: Bild
F: Fahrzeuginsasse
M: Körpermerkmal

Claims

Verfahren zum Ermitteln des Körpergewichts und/oder der Sitzposition eines Fahrzeuginsassen (F) eines Kraftfahrzeugs (10) mit den folgenden Schritten: - Erhalten eines Bildes (B) des Fahrzeuginsassen (F) von einer Kamera (20) des Kraftfahrzeugs (10), - Ermitteln von wenigstens einem Körpermerkmal (M) des Fahrzeuginsassen (F) anhand des Bildes (B) durch ein Merkmalmodul (24) des Kraftfahrzeugs (10), und - Ermitteln des Körpergewichts und/oder der Sitzposition durch ein klassisches Maschinenlernmodul (26) anhand des wenigstens einen ermittelten Körpermerkmals (M).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein Sicherheitssystem, insbesondere ein Sicherheitsgurtsystem (18) und/oder ein Rückhaltesystem (16) in Abhängigkeit des ermittelten Körpergewichts und/oder der ermittelten Sitzposition gesteuert wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das klassische Maschinenlernmodul (26) einen symbolischen Ansatz zum maschinellen Lernen verwendet.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Maschinenlernmodul (26) beim Ermitteln des Körpergewichts und/oder der Sitzposition ein Klassifikationsverfahren verwendet, insbesondere einen Random Forest.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Maschinenlernmodul (26) beim Ermitteln des Körpergewichts und/oder der Sitzposition ein Regressionsverfahren verwendet, insbesondere eine Support Vector Machine.
Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch Vorverarbeiten des Bildes (B), insbesondere durch Segmentieren des Körpers des Fahrzeuginsassen (F).
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Merkmalmodul (24) das wenigstens eine Körpermerkmal (M) mittels eines maschinellen Bilderkennungsverfahrens, insbesondere unter Verwendung des Canny-Algorithmus ermittelt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Merkmalmodul (24) bei der Bestimmung des wenigstens einen Körpermerkmals (M) ein klassisches Maschinenlernverfahren, insbesondere mit einem symbolischen Ansatz verwendet.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Merkmalmodul (24) bei der Bestimmung des wenigstens einen Körpermerkmals (M) ein künstliches neuronales Netzwerk (30) verwendet.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das wenigstens eine Körpermerkmal (M) die Höhe des Körpers (M₁), insbesondere des Oberkörpers, die Breite des Körpers (M₂), insbesondere des Oberkörpers, die Armlänge (M₃) wenigstens eines Arms, der Bauchumfang (M₄), die Orientierung des Oberkörpers, die Orientierung des Kopfes und/oder die Orientierung wenigstens eines Arms ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das wenigstens eine Körpermerkmal (M), das zur Ermittlung des Körpergewichts und/oder der Sitzposition herangezogen wird, mittels wenigstens eines Data-Mining Verfahrens ausgewählt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bild (B) eine Aufnahme des Fahrzeuginsassen (F) ist, der auf einem entsprechenden Sitz (12) des Kraftfahrzeugs (10) sitzt.
Steuergerät für ein Kraftfahrzeug (10), das dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Kraftfahrzeug mit einer Kamera (20) und einem Steuergerät (22) nach Anspruch 13.