-
Die Erfindung betrifft ein Kraftfahrzeug, welches zwei Kameras sowie für jede Kamera eine jeweilige Analyseeinrichtung zum kamerabildbasierten Ermitteln von Eigenschaftsparametern einer von den Kameras gefilmten Person aufweist. Ein solcher Eigenschaftsparameter kann beispielsweise die Kopfposition der Person oder die Blickrichtung der Person angeben. Zumindest eine der Analyseeinrichtungen übergibt den ermittelten Eigenschaftswert an ein Fahrzeugsystem, welches in Abhängigkeit von dem Eigenschaftsparameter eine vorbestimmte Funktion in dem Kraftfahrzeug bereitstellt.
-
Hierzu ist aus der
DE 20 2009 018 513 U1 ein Verstellantrieb für ein Kraftfahrzeug bekannt, welcher zumindest einen biometrischen Sensor, beispielsweise eine Kamera, sowie eine Auswerteeinrichtung umfasst, die Daten des biometrischen Sensors erfasst und hieraus eine Autorisierung der gefilmten Person ableitet.
-
Aus der
DE 10 2007 023 140 A1 ist zur Identifizierung eines Fahrers eines Kraftfahrzeugs ein System bekannt, welches in Abhängigkeit von Bilddaten einer Kamera Bewegungsabläufe einer gefilmten Person ermittelt und anhand der Bewegungsabläufe zwischen einem bereits bekannten Fahrer und einem neuen Fahrer unterscheidet. Zum Ermitteln der Bewegungsabläufe werden aus Bilddaten von einer Bildverarbeitungseinheit Bewegungen oder Bewegungsabläufe extrahiert.
-
Aus der
DE 10 2007 023 141 A1 ist ein Verfahren zur Einstellung wenigstens eines Komfort- und/oder Sicherheitssystems in einem Kraftfahrzeug bekannt. Filmdaten einer Kamera werden zur Bestimmung von Vermessungs- und/oder Positionsdaten wenigstens eines aufgenommenen Teils eines Körpers einer Person verwendet und anschließend wenigstens ein Komfort- und/oder Sicherheitssystem direkt in Abhängigkeit von den Vermessungs- und/oder Positionsdaten eingestellt.
-
Aus der
EP 1 562 102 A2 ist eine Funktionsauslösung durch Blickauswahl bekannt. Hierbei wird der Fahrer gefilmt und aus den Bilddaten die Blickrichtung des Fahrers ermittelt. Sobald der Fahrer eine Symbolfläche anschaut und eine Bestätigungstaste drückt, wird eine der Symbolfläche zugeordnete Funktion des Kraftfahrzeugs aktiviert.
-
Aus der
DE 102 57 963 A1 ist ein System zur Bestimmung einer 3D-Position von PKW-Insassen bekannt. Die 3D-Position wird hierbei durch Beobachtung der Fahrzeuginsassen mit mindestens zwei Kameras durchgeführt, die nicht notwendigerweise nach einem Stereoprinzip betrieben werden müssen. Die Verwendung zweier Kameras ist nötig, um eine räumliche Beschreibung der Kopfposition zu erhalten, die mit einer Kamera allein nicht erfasst werden könnte.
-
Aus der
DE 10 2008 038 816 A1 ist zum Bestimmen eines Zustands eines Fahrers ein Verfahren bekannt, bei welchem mittels zweier Kameras ein dreidimensionales Modell des Kopfes des Fahrers erstellt wird und hierbei charakteristische Merkmale des Kopfes, wie zum Beispiel Nasenlöcher und Mundwinkel am Kopf des Fahrers, erfasst und vermessen werden.
-
Zusammenfassend sind somit aus dem Stand der Technik Kamerasysteme bekannt, die den Fahrer beziehungsweise andere Fahrzeuginsassen beobachten. Aus den Bilddaten der Kamerasysteme werden Eigenschaftsparameter der beobachteten Person zum Steuern von Fahrzeugsystemen, wie zum Beispiel Komfortsystemen, Assistenzsystemen oder Sicherheitssystemen, ermittelt. Wichtig hierbei ist die geeignete Wahl des Erfassungs- oder Funktionsprinzips (z.B. Farbbild oder Infrarot) des verwendeten Kamerasystems, um die für die Steuerung des jeweiligen Fahrzeugsystems benötigten Eigenschaftsparameter der gefilmten Person robust und z.B. unter möglichst vielen Beleuchtungssituationen zuverlässig ermitteln zu können.
-
In der
US 7 607 509 B2 ist ein Verfahren zum Überwachen eines Fahrzeuginsassens mittels zweier Kameras beschrieben. Die erste Kamera kann zum Erzeugen von 3D-Bilddaten ausgelegt sein, auf Grundlage derer eine Kopfposition erkannt werden kann. Zur Verifizierung können 2D-Bilddaten der zweiten Kamera herangezogen werden. Die Szenerie kann mittels Infrarotlicht ausgeleuchtet werden.
-
Aus der
DE 10 2010 044 449 A1 ist eine Fahrerbeobachtung für ein Kraftfahrzeug bekannt, welche auf der Grundlage von Kopfbilddaten einen Grad der Fahrfähigkeit eines Fahrers erkennt. Hierzu kann eine Innenraumkamera vorgesehen sein. Es können weitere Kameras und Alternativsensoriken vorgesehen sein, mittels welcher Ergebnisse verifiziert oder plausibilisiert werden können.
-
Aus der
DE 10 2011 077 522 A1 ist zum Erfassen einer thermischen Behaglichkeit einer Person in einem Kraftfahrzeug bekannt, eine Kombination aus einer Bilderfassungseinrichtung und einem Infrarotsensor bereitzustellen. Eine der Bilderfassungseinrichtung nachgeschaltete Bildauswerteeinrichtung kann von der Person deren Position im Raum, die Gestik und die Mimik erkennen. Mittels des Infrarotsensors kann überprüft werden, welche Hauttemperatur die Person aufweist.
-
Der Erfindung liegt die Aufgabe zugrunde, einen Eigenschaftsparameter, der zum Steuern von zumindest einem Fahrzeugsystem verwendet werden soll, zuverlässig zu ermitteln.
-
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung ergeben sich durch die Merkmale der abhängigen Patentansprüche.
-
Die Erfindung beruht auf der Idee, Analyseeinrichtungen, die aus Bilddaten unterschiedlicher Kameras jeweils einen eigenen Eigenschaftsparameter extrahieren, miteinander zu koppeln, um hierdurch zumindest eine der Analyseeinrichtungen bei ihrer Analyse mittels Analysedaten einer anderen Analyseeinrichtung zu unterstützen. Beispielsweise kann man ein Eye-Tracking-System, welches als Eigenschaftsparameter eine Blickrichtung ermittelt, dahingehend unterstützen, dass beispielsweise ein Analysesystem, welches Wärmebilddaten einer Wärmebild-Kamera analysiert, Informationen zur Position des Gesichtes an die Analyseeinrichtung des Eye-Tracking-Systems überträgt. Dann kann verifiziert werden, ob überhaupt die Augen richtig erkannt wurden.
-
Allgemein sieht die Erfindung ein Kraftfahrzeug vor, welches eine erste Kamera zum Filmen einer Person sowie eine erste Analyseeinrichtung aufweist, also z.B. einen Eyetracker, wobei die erste Analyseeinrichtung dazu ausgelegt ist, aus Bilddaten der ersten Kamera einen die Person beschreibenden ersten Eigenschaftsparameter zu ermitteln. Zusätzlich ist eine zweite Kamera zum Filmen derselben Person sowie eine zweite Analyseeinrichtung bereitgestellt, also z.B. die Wärmebildauswertung, wobei die zweite Analyseeinrichtung dazu ausgelegt ist, aus den Bilddaten der zweiten Kamera einen die Person beschreibenden zweiten Eigenschaftsparameter zu ermitteln.
-
Bei den beiden Kameras kann es sich um Kameras desselben Funktionsprinzips handeln oder dann sogar um dieselbe Kamera. Bevorzugt ist aber vorgesehen, dass die erste Kamera und die zweite Kamera ihre Bilddaten auf Grundlage unterschiedlicher Funktionsprinzipien erfassen, wobei die erste Kamera und die zweite Kamera bevorzugt jeweils eines der folgenden Funktionsprinzipien aufweisen: PMD (Photonic Mixing Device), Wärmebilderfassung, Infrarotbilderfassung, Farbbilderfassung, Farbintensitätsbilderfassung (Schwarz-Weiß), Stereoskopie. Im letzten Fall handelt es sich dann bei der entsprechenden Kamera um eine Stereokamera.
-
Bei den beiden Analyseeinrichtungen kann es sich um zwei an sich aus dem Stand der Technik bekannte, für die Steuerung derselben oder unterschiedlicher Fahrzeugsysteme bereitgestellte Analyseeinrichtungen handeln. Zumindest die erste Analyseeinrichtung ist dazu ausgelegt, zumindest ein Fahrzeugsystem durch ihren ersten Eigenschaftsparameter zu steuern, das heißt das zumindest eine Fahrzeugsystem ist dazu ausgelegt, in Abhängigkeit von dem ersten Eigenschaftsparameter eine vorbestimmte Funktion in dem Kraftfahrzeug bereitzustellen. Die zweite Analyseeinrichtung kann ihren Eigenschaftsparameter ebenfalls an das zumindest eine Fahrzeugsystem oder auch an ein anderes Fahrzeugsystem ausgeben. Bei dem zumindest einen Fahrzeugsystem handelt es sich bei entsprechenden Weiterbildungen der Erfindung um ein Fahrerassistenzsystem und/oder ein Sicherheitssystem zum Vermeiden von oder Schützen bei Verkehrsunfällen und/oder ein Klimatisierungssystem und/oder ein Infotainmentsystem und/oder ein Rear-Seat-Entertainmentsystem. Die beiden Analyseeinrichtungen können zum Ermitteln desselben Eigenschaftsparameters ausgelegt sein. Es ist aber bevorzugt vorgesehen, dass die beiden Analyseeinrichtungen unterschiedliche Eigenschaftsparameter ermitteln. Natürlich kann vorgesehen sein, dass eine oder beide der Analyseeinrichtungen auch mehrere Eigenschaftsparameter ermitteln, also beispielsweise sowohl eine Blickrichtung als auch einen Bewegungsvektor, welcher eine zeitliche Veränderung der Blickrichtung beschreibt.
-
Die Bilddaten der ersten Kamera sind Videodaten. Die erste Analyseeinrichtung ist dazu ausgelegt, zum Ermitteln des Eigenschaftsparameters die Videodaten mittels einer Segmentierung zu segmentieren, dann beispielsweise aus segmentierten Bildflächen mittels einer Merkmalsextraktion Bildmerkmale zu ermitteln und auf Grundlage der Bildmerkmale mittels einer Parameterbestimmung den Eigenschaftsparameter zu ermitteln. Es wird durch die Segmentierung eine Gesichtsfläche einerseits und eine Haarfläche und eine Hintergrundfläche andererseits in Einzelbildern der Videodaten segmentiert.
-
Um nun zumindest die erste Analyseeinrichtung beim Ermitteln des ersten Eigenschaftsparameters zu unterstützen, sind erfindungsgemäß die erste Analyseeinrichtung und die zweite Analyseeinrichtung über eine Koppeleinrichtung gekoppelt. Die Koppeleinrichtung ist dazu ausgelegt, die erste Analyseeinrichtung in Abhängigkeit von Analysedaten zu betreiben, welche von der zweiten Analyseeinrichtung anhand der Bilddaten der zweiten Kamera ermittelt worden sind.
-
Die Erfindung weist den Vorteil auf, dass nun in der ersten Analyseeinrichtung Analysedaten, die die erste Analyseeinrichtung selbst anhand der Bilddaten der ersten Kamera ermittelt hat, überprüft werden können und/oder auf der Grundlage der Analysedaten der zweiten Analyseeinrichtung überhaupt erst hergeleitet werden können. Genauso kann der erste Eigenschaftsparameter nun nicht nur auf Grundlage der Bilddaten der ersten Kamera, sondern auch auf Grundlage der Analysedaten ermittelt werden. Mit anderen Worten wird mittels der Koppeleinrichtung der erste Eigenschaftsparameter nun zusätzlich in Abhängigkeit von Analysedaten der zweiten Analyseeinrichtung ermittelt.
-
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die Koppeleinrichtung auch umgekehrt Analysedaten, welche die erste Analyseeinrichtung auf Grundlage der Bilddaten der ersten Kamera ermittelt hat, zum Betreiben der zweiten Analyseeinrichtung nutzt.
-
Weiterbildungen der Erfindung betreffen die von den beiden Analyseeinrichtungen ermittelten Eigenschaftsparameter. Die erste Analyseeinrichtung und/oder die zweite Analyseeinrichtung können jeweils dazu ausgelegt sein, zumindest einen aus den folgenden Eigenschaftsparametern zu ermitteln: eine Kopfposition, eine Kopfausrichtung (Lage der Kopfhochachse im Raum und/oder Richtungsvektor einer Gesichtsfläche des Kopfes), eine Blickrichtung, eine Handposition, eine Handstellung, eine Fingerstellung, eine Bewegungsrichtung, eine Bewegungsgeschwindigkeit.
-
Zusätzliche Weiterbildungen ergeben sich in Abhängigkeit davon, welche Analysedaten aus der zweiten Analyseeinrichtung die Koppeleinrichtung zum Betreiben der ersten Analyseeinrichtung nutzt oder umkehrt, welche Analysedaten der ersten Analyseeinrichtung zum Betreiben der zweiten Analyseeinrichtung. Der im Folgenden beschriebene erste Fall (erste Analyseeinrichtung betrieben durch Analysedaten der zweiten Analyseeinrichtung) gilt entsprechend umgekehrt auch für die den zweiten Fall (zweite Analyseeinrichtung betrieben durch Analysedaten der ersten Analyseeinrichtung).
-
Gemäß einer Weiterbildung ist die Koppeleinrichtung dazu ausgelegt, die erste Analyseeinrichtung in Abhängigkeit von Segmentierungsdaten der zweiten Analyseeinrichtung zu betreiben. Die Segmentierungsdaten beschreiben eine Segmentierung der Bilddaten der zweiten Kamera. Eine Segmentierung ist eine Einteilung eines durch die Bilddaten beschriebenen Bildes in Bildflächen, wobei Bildpunkte innerhalb einer jeweiligen Bildfläche ein jeweiliges vorbestimmtes Homogenitätskriterium erfüllen. Beispielsweise kann eine Bildfläche hautfarbene Bildpunkte aufweisen und eine benachbarte Bildfläche beispielsweise Bildpunkte einer bestimmten Haarfarbe. Hierdurch ergibt sich dann eine Segmentierung eines Bildes in Gesicht und Haarfläche. So kann beispielsweise eine durch die erste Analyseeinrichtung durchgeführte Segmentierung durch die Segmentierungsdaten der zweiten Analyseeinrichtung plausibilisiert, verifiziert oder ergänzt werden.
-
Gemäß einer anderen Weiterbildung ist die Koppeleinrichtung dazu ausgelegt, die erste Analyseeinrichtung in Abhängigkeit von Merkmalsdaten der zweiten Analyseeinrichtung zu betreiben. Merkmalsdaten beschreiben eine zu den Bilddaten der zweiten Kamera mittels einer Merkmalsextraktion ermittelte Zuordnung von Bildpunkten oder Bildflächen zu Körpermerkmalen der Person. Beispielsweise können Merkmalsdaten also angeben, dass eine bestimmtem Bildfläche Haare darstellt oder ein Gesicht oder eine Hand. Die Merkmalsdaten der zweiten Analyseeinrichtung können hierbei auf Segmentierungsdaten der zweiten Analyseeinrichtung beruhen. Beruht die erste Analyseeinrichtung beispielsweise auf einer Farbbildauswertung und stören Schlagschatten oder eine farbige Beleuchtung die Erkennung beispielsweise von Hautflächen, so ist als zweite Analyseeinrichtung die Bildanalyse einer Wärmebild-Kamera genutzt, da die Eigenwärme von unbedeckter Haut ein zuverlässiges Indiz für Hautflächen ist. So kann die zweite Analyseeinrichtung sehr viel robuster unbedeckte Haut erkennen und das Merkmal „Haut“ für einzelne Bildpunkte oder bereits segmentierte Bildflächen an die Koppeleinrichtung übergeben, welche mittels dieser Merkmalsdaten die erste Analyseeinrichtung beim Segmentieren oder Klassifizieren von Bildflächen unterstützen kann oder die Klassifizierung sogar ganz ersetzen kann, da bereits in den Merkmalsdaten enthaltene Klassifizierungsergebnis der zweiten Analyseeinrichtung ausreicht. Mittels der Merkmalsdaten kann in der ersten Analyseeinrichtung auch beispielsweise plausibilisiert werden, ob die Erkennung von Augen korrekt ist, denn diese müssen sich innerhalb einer Bildfläche, welche ein Gesicht beschreibt, befinden.
-
Gemäß einer anderen Weiterbildung ist die Koppeleinrichtung dazu ausgelegt, die erste Analyseeinrichtung in Abhängigkeit von dem zumindest einen zweiten Eigenschaftswert zu betreiben. Mit anderen Worten wird das fertige Analyseergebnis, nämlich der zweite Eigenschaftswert, zum Steuern der ersten Analyseeinrichtung verwendet.
-
Die im Folgenden erläuterten Weiterbildungen betreffen die Art und Weise, wie die Analysedaten der zweiten Analyseeinrichtung zum Betreiben der ersten Analyseeinrichtung genutzt werden können.
-
Die Koppeleinrichtung ist insbesondere dazu ausgelegt, Analysedaten der ersten Analyseeinrichtung (d.h. durch die erste Analyseeinrichtung anhand der Bilddaten der ersten Kamera ermittelte Daten) mittels der Analysedaten der zweiten Analyseeinrichtung zu plausibilisieren und/oder abzugleichen und/oder zu ergänzen und/oder zu ersetzen und/oder zu kombinieren. Mit Plausibilisieren ist hierbei gemeint, dass die Analysedaten der ersten Analyseeinrichtung mit den Analysedaten der zweiten Analyseeinrichtung verglichen werden und bei Übereinstimmung durch ein Konfidenz-Signal signalisiert wird, dass die Analysedaten der ersten Analyseeinrichtung richtig ermittelt worden sind. Bei Erkennen eines Unterschiedes wird dagegen durch das Konfidenz-Signal signalisiert, dass die Analysedaten von der ersten Analyseeinrichtung falsch ermittelt worden sind oder zumindest das Risiko einer Falscherkennung besteht. Mit Abgleichen ist gemeint, dass die erste Analyseeinrichtung so lange ihre Analysedaten beispielsweise iterativ ermittelt, bis diese Analysedaten mit den Analysedaten der zweiten Analyseeinrichtung mindestens bis auf einen vorbestimmten Toleranzwert übereinstimmen. Mit Ergänzen ist gemeint, dass die erste Analyseeinrichtung sowohl ihre eigenen Analysedaten als auch die Analysedaten der zweiten Analyseeinrichtung der Ermittlung des ersten Eigenschaftswerts zugrunde legt. Mit anderen Worten beruht der erste Eigenschaftswert dann auch auf Analysedaten, die die erste Analyseeinrichtung nicht selbst ermittelt hat, sondern die von der zweiten Analyseeinrichtung ermittelt worden sind. Mit Ersetzen ist gemeint, dass die Analysedaten der ersten Analyseeinrichtung verworfen werden und stattdessen die Analysedaten der zweiten Analyseeinrichtung verwendet werden. Dies kann beispielsweise in Abhängigkeit von jeweiligen Konfidenz-Werten für die Analysedaten der ersten Analyseeinrichtung und der zweiten Analyseeinrichtung entschieden werden, wenn die Wahrscheinlichkeit für eine Fehlerkennung der Analysedaten der ersten Analyseeinrichtung größer ist als diejenige für die zweite Analyseeinrichtung. Beispiele für solche Konfidenz-Werte sind an sich beispielsweise im Zusammenhang mit der Klassifizierung auf der Grundlage von Hidden-Markov-Modellen oder anderen statistischen Klassifikatoren bekannt. Mit Kombinieren ist gemeint, dass Analysedaten ermittelt werden, die sowohl auf den Analysedaten der ersten Analyseeinrichtung als auch auf denjenigen der zweiten Analyseeinrichtung beruhen. Beispielsweise kann eine gewichtete Summe aus den Analysedaten beider Analyseeinrichtungen berechnet werden. Die Gewichtung kann hierbei wieder auf den beschriebenen Konfidenz-Werten beruhen.
-
Die bisher beschriebenen Ausführungsformen der Erfindung betreffen lediglich zwei Analyseeinrichtungen. Bevorzugt ist vorgesehen, dass bei dem Kraftfahrzeug zumindest eine weitere Analyseeinrichtung zum Ermitteln von zumindest einem die Person beschreibenden weiteren Eigenschaftsparameter aus Bilddaten zumindest einer weiteren Kamera bereitgestellt ist. Die Koppeleinrichtung ist dann dazu ausgelegt, die erste Analyseeinrichtung auch in Abhängigkeit von durch die zumindest eine weitere Analyseeinrichtung ermittelten Analysedaten zu betreiben. Mit anderen Worten nutzt also die erste Analyseeinrichtung Analysedaten sowohl der zweiten als auch der zumindest einen weiteren Analyseeinrichtung zum Ermitteln des ersten Eigenschaftsparameters.
-
Allgemein formuliert wird durch das erfindungsgemäße Kraftfahrzeug also das folgende erfindungsgemäße Verfahren durchgeführt, das darauf basiert, dass das Kraftfahrzeug zumindest zwei Kameras sowie für jede Kamera eine jeweilige Analyseeinrichtung zum kamerabildbasierten Ermitteln eines jeweiligen Eigenschaftsparameters einer von den Kameras gefilmten Person aufweist. Jede Analyseeinrichtung steuert hierbei mittels ihres jeweiligen Eigenschaftsparameters zumindest ein Fahrzeugsystem. Gemäß dem Verfahren steuert eine Koppeleinrichtung bei zumindest einer der Analyseeinrichtungen eine Segmentierung und/oder eine Merkmalsextraktion und/oder die insbesondere auf der Segmentierung und/oder der Merkmalsextraktion basierende Ermittlung des jeweiligen Eigenschaftsparameters in Abhängigkeit von Analysedaten der jeweils übrigen Analyseeinrichtungen.
-
Jede Analyseeinrichtung kann beispielsweise als ein Programmmodul einer Prozessoreinrichtung des Kraftfahrzeugs bereitgestellt sein. Auch die Koppeleinrichtung kann als ein solches Programmmodul oder auch als eine Koppelschaltung beispielsweise zwischen zwei Steuergeräten bereitgestellt sein.
-
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Verfahrens, welche Merkmale aufweisen, die bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs beschrieben worden sind. Aus diesem Grund werden die entsprechenden Weiterbildungen des erfindungsgemäßen Verfahrens hier nicht noch einmal beschrieben.
-
Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen, ausgestaltet.
-
Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt die einzige Figur (Fig.) eine schematische Darstellung einer Aisführungsform des erfindungsgemäßen Kraftfahrzeugs.
-
Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen aber die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In der Fig. ist schematisch ein Kraftfahrzeug 10 gezeigt, bei dem es sich beispielsweise um einen Kraftwagen, insbesondere einen Personenkraftwagen, handeln kann. In dem Kraftfahrzeug 10 kann sich eine Person 12 beispielsweise in einem Fahrgastraum 14 befinden. Das Kraftfahrzeug 10 kann eine erste Kamera 16 und eine zweite Kamera 18 aufweisen. Sowohl ein Erfassungsbereich 16' der Kamera 16 und ein Erfassungsbereich 18' der Kamera 18 sind auf die Person 12 gerichtet.
-
Die Kamera 16 erzeugt Videodaten V1, welche an eine erste Analyseeinrichtung 20 übertragen werden. Die Kamera 18 erzeugt Videodaten V2 von der Person 12, welche an eine zweite Analyseeinrichtung 24 übertragen werden.
-
Bei der ersten Kamera 16 und der zweiten Kamera 18 kann es sich jeweils beispielsweise um eine PMD-Kamera, eine Infrarotbildkamera, eine Farbbildkamera, eine Schwarz-Weiß-Kamera oder eine Stereokamera handeln. Die Kameras 16, 18 können vom gleichen Kameratyp oder von unterschiedlichen Kameratypen sein.
-
Die erste Analyseeinrichtung 20 ermittelt aus den Videodaten V1 zumindest einen Eigenschaftsparameter E1, welcher von der ersten Analyseeinrichtung 20 an ein erstes Fahrzeugsystem 22 ausgegeben werden kann. Die zweite Analyseeinrichtung 24 ermittelt aus dem Videodaten V2 zumindest einen zweiten Eigenschaftsparameter E2, welchen sie an ein zweites Fahrzeugsystem 26 ausgeben kann.
-
Das erste Fahrzeugsystem 22 stellt in Abhängigkeit von dem ersten Eigenschaftsparameter E1 eine Funktion ein, die in dem Kraftfahrzeug 10 bereitgestellt wird. Das zweite Fahrzeugsystem 26 stellt in Abhängigkeit von dem Eigenschaftsparameter E2 eine Funktion ein, die in dem Kraftfahrzeug 10 bereitgestellt wird. Bei den Fahrzeugsystemen 22, 26 handelt es sich insbesondere jeweils um ein Fahrerassistenzsystem und/oder ein Sicherheitssystem. Es können aber auch durch das Fahrzeugsystem 22 und/oder das Fahrzeugsystem 26 jeweils ein Infotainmentsystem und/oder ein Rear-Seat-Infotainmentsystem bereitgestellt sein.
-
Die erste Analyseeinrichtung 20 kann dazu ausgestaltet sein, als den Eigenschaftsparameter beispielsweise eine Blickrichtung 30 der Person 12, eine räumliche Ausrichtung 32 eines Gesichts 34 der Person 12 oder eine Kopfrichtung 36, beispielsweise eine Ausrichtung einer Kopfhochachse, aus den Videodaten V1 zu ermitteln. Die zweite Analyseeinrichtung 24 kann dazu ausgelegt sein, als Eigenschaftsparameter E2 ebenfalls einen der beschriebenen Eigenschaftsparameter 30, 32, 34 zu ermitteln. Die hier in der Fig. veranschaulichten Eigenschaftsparameter sind nur beispielhaft aufzufassen.
-
Die erste Analyseeinrichtung 20 kann z.B. dazu ausgelegt sein, zum Ermitteln des Eigenschaftsparameters E1 die Videodaten V1 mittels einer Segmentierung 38 zu segmentieren, dann beispielsweise aus segmentierten Bildflächen mittels einer Merkmalsextraktion 40 Bildmerkmale zu ermitteln und auf Grundlage der Bildmerkmale mittels einer Parameterbestimmung 42 den Eigenschaftsparameter E1 zu ermitteln. Beispielsweise kann durch die Segmentierung 38 eine Gesichtsfläche 44 einerseits und eine Haarfläche 46 und eine Hintergrundfläche 48 andererseits in Einzelbildern der Videodaten V1 segmentiert werden. Die Merkmalsextraktion 40 kann für die Gesichtsfläche 44, die Haarfläche 46 und die Hintergrundfläche 48 beispielsweise bestimmen, dass die Gesichtsfläche 44 das Merkmal „Gesicht“, die Haarfläche 46 das Merkmal „Haar“ und die Hintergrundfläche 48 das Merkmal „irrelevant“ aufweist. Algorithmen zum Bereitstellen einer Segmentierung 48 und einer Merkmalsextraktion 40 sind an sich aus dem Stand der Technik bekannt. Die Parameterbestimmung 42 kann beispielsweise aus einem Flächenverhältnis der Gesichtsfläche 44 und der Haarfläche 48 auf den Ausrichtungsvektor 32 des Gesichtes 44 schließen.
-
Die zweite Analyseeinrichtung 24 kann ebenfalls eine Segmentierung 38', eine Merkmalsextraktion 40' und eine Parameterbestimmung 42' aufweisen. Die Wahl der Segmentierung 38', der Merkmalsextraktion 40' und der Parameterbestimmung 42' hängt von dem verwendeten Eigenschaftsparameter E2 ab. Hier kann wieder an sich aus dem Stand der Technik geschöpft werden.
-
Die erste Analyseeinrichtung 20 und die zweite Analyseeinrichtung 24 sind über eine Koppeleinrichtung 28 miteinander gekoppelt. Die Koppeleinrichtung 28 kann dazu ausgelegt sein, ein Segmentierungsergebnis S2 der Segmentierung 38' beispielsweise an die Segmentierung 38 zu übertragen. Genauso kann vorgesehen sein, durch die Koppeleinrichtung 28 ein Segmentierungsergebnis S1 der Segmentierung 38 an die Segmentierung 38' zu übertragen. Genauso können Merkmalsdaten F2 der Merkmalsextraktion 40' und Merkmalsdaten F1 der Merkmalsextraktion 40 über die Koppeleinrichtung 28 übertragen werden. Auch die Eigenschaftsparameter E2, E1 können an die jeweils andere Analyseeinrichtung 20, 24 übertragen werden.
-
Die ausgetauschten Analysedaten S1, S2, F1, F2, E1, E2 können dann zum Plausibilisieren, Abgleichen, Ergänzen, Ersetzen und/oder Kombinieren mit den jeweils durch die empfangende Analyseeinrichtung 20, 24 selbst ermittelten Analysedaten verarbeitet werden. Zusätzlich zu dem in der Fig. gezeigten Austauschen von Segmentierungsdaten zwischen den Segmentierungen 38, 38' kann beispielsweise auch vorgesehen sein, durch die Koppeleinrichtung 28 die Segmentierungsdaten S2 auch an die Merkmalsextraktion 40 zu übertragen oder auch an die Parameterextraktion 42. Genauso können auch die Merkmalsdaten F2 an die Segmentierung 38 oder an die Parameterextraktion 42 übertragen werden. Schließlich kann auch der Eigenschaftsparameter E2 an die Segmentierung 38 und/oder die Merkmalsextraktion 40 übertragen werden. Genauso kann umgekehrt vorgesehen sein, durch die Koppeleinrichtung 28 die Analysedaten S1, F1, E1 an jeweils die Segmentierung 38', die Merkmalsextraktion 40' und die Parameterermittlung 42' zu übertragen.
-
Die erste und die zweite Analyseeinrichtung 20, 24 und die Koppeleinrichtung 28 können jeweils durch ein Programmmodul einer Prozessoreinrichtung des Kraftfahrzeugs 10 realisiert sein.
-
Die Kameras 16, 18 und die Analyseeinrichtungen 20, 24 können aus dem Stand der Technik bekannte, bekanntermaßen unabhängig voneinander bereitgestellte Einrichtungen zum Steuern der Fahrzeugsysteme 22, 26 sein. Erfindungswesentlich die die Koppeleinrichtung 28. Bei der Kamera 16 oder der Kamera 18 kann es sich z.B. auch um eine Wärmebild-Kamera handeln. Zukünftig wird es im Fahrzeug verschiedene Kamerasysteme geben, die den Fahrer beziehungsweise die Insassen beobachten. Darüber hinaus werden auch Komfortsysteme und hier speziell die Klimaanlage immer stärke auf die Bedürfnisse des Fahrers adaptieren. So werden Luftströme im Fahrzeug gezielt gesteuert und temperiert werden können. Eine dafür sinnvolle Information ist die Kenntnis der Körper- beziehungsweise Oberflächentemperaturverteilung der Insassen, weswegen mit dem Einsatz von passiven Wärmebild-Kameras zu rechnen ist. Vor diesem Hintergrund ist es also erfindungsgemäß vorgesehen, die über die Eye-Tracking-, PMD-Kamera oder Wärmebild-Kamera ermittelten Daten, zum Beispiel zur Kopfrichtung, untereinander abzugleichen und so zu plausibilisieren. Dies kann vor allem bei einer Relevanz der vorliegenden Informationen für Assistenz- oder Sicherheitssysteme von großer Bedeutung sein.
-
Insgesamt ist somit durch das Beispiel gezeigt, wie z.B. bei einer Gestensteuerung und/oder einem Eye-Tracking ein Abgleich von Analysedaten aus einer Wärmebild-Kamera und/oder Eye-Tracking-Kamera und/oder PMD-Kamera erfolgen kann, um hierdurch gegen Umfeldvariationen robustere und/oder zuverlässigere Analyseergebnisse zu erhalten.
