-
Die Erfindung betrifft ein Verfahren zur Erzeugung eines Gesichtsmodells eines Fahrers eines Kraftfahrzeugs, welches zur Ermittlung des Fahrerzustands verwendet werden kann, gemäß dem Oberbegriff des Anspruchs 1 sowie die Anwendung des Verfahrens in einer Vorrichtung gemäß Anspruch 9.
-
Zur Erkennung des Zustands eines Fahrers eines Kraftfahrzeugs werden in verstärktem Masse kamerabasierte Systeme eingesetzt, die aus Informationen, wie beispielsweise Bewegungen des Fahrerkopfes, Bewegungen der Fahreraugen, Bestimmung der Blickrichtung des Fahrers, Bestimmung des Lidöffnungsgrades und der Lidschlussfrequenz und weiteren geeigneten biometrischen Merkmalen, Rückschlüsse auf den Fahrerzustand ermöglichen. Aus der Bewertung des Fahrerzustands lassen sich Aussagen über die Aufmerksamkeit, die Müdigkeit und/oder die Fitness des Fahrers ableiten. Um zu diesen Aussagen zu gelangen, wird üblicherweise ein Gesichtsmodell des Fahrers verwendet, aus dem die oben genannten Informationen abgeleitet werden.
-
Bei der Verwendung eines kamerabasierten Systems wird zur Erzeugung eines Gesichtsmodells des Fahrers zuerst dessen Kopf im Bild oder in der Bildsequenz ermittelt. Dazu wird üblicherweise ein generisches Modell eines Kopfes verwendet, mittels dem in den Bildern des Fahrers der Fahrerkopf gesucht wird. Ist die Position des Fahrerkopfes in den Bildern gefunden, so werden aus den Bildern biometrische Daten als Trainingsdaten ermittelt, mit denen ein Modell des Fahrerkopfes erstellt wird. Wird die Qualität des Fahrerkopfmodells nach der Lernphase als ausreichend betrachtet, so wird dieses für den Fahrer spezifische Modell abgespeichert und zukünftig für die Ermittlung des Fahrerzustands oder zur Erkennung von Gesichtsausdrücken verwendet.
-
Das derzeit am weitesten verbreitete Gesichtsmodell ist das Facial Action Coding System, kurz FACS, bei dem zur Klassifizierung vordefinierte Repräsentationen von Gesichtsbewegungen eingesetzt werden, wobei als Grundlage alle im Gesicht vorhandenen Muskeln dienen. Daraus wird ein Mimikmodell erstellt, welches aus so genannten Action Units, kurz AU, besteht, die jede optische unterscheidbare Bewegung des Gesichts darstellen können. Üblicherweise werden zur Codierung 46 AU's verwendet, wobei jedem AU eine 5-wertige Skala zugeordnet ist. Zur Erstellung eines Gesicht modells mittels FACS wird zuerst eine geeignete Gesichtsmaske erstellt, wobei für die Gesichtsoberfläche ein Netz aus Dreiecken verwendet wird. Dieses Netz wird dann an die Muskeln des realen Gesichts des Bildes angepasst, signifikante Punkte des Gesichts ermittelt und das Modell an das Verhalten der Muskelgruppen entsprechend angepasst.
-
Andere Verfahren zur Erzeugung eines Gesichtsmodells sind ferner aus
K. J. Kirchberg et al.: "Genetic Model Optimization for Hausdorff Distance-Based Face Localisation", Proc. International ECCV 2002 Workshop an Biometric Authentication, Springer, Lecture Notes in Computer Science, LNCS-2359, 103–111, Copenhagen, Denmark, June 2002, und
P. Viola et al.: "Robust Real-Time Face Detection", International Journal of Computer Vision 57(2), 137–154, Kluwer Academic Publishers, Netherland, 2004, bekannt.
-
Aus der
DE 10 2007 023 140 A1 ist ein Verfahren zur Erkennung sowie zur Verifizierung eines Fahrers eines Kraftfahrzeugs bekannt, wobei mittels eines Kamerasystems wenigstens eine Bewegung oder eine Bewegungseinheit des Fahrers aufgenommen, zur Erkennung oder Identifizierung seitens einer Bildverarbeitungseinheit analysiert, und mit einer bereits zuvor aufgenommenen Bewegung verglichen wird. Somit ist durch die Analyse von Bewegungen bzw. Bewegungsmustern eine Authentisierung von Personen im Bereich eines Kraftfahrzeugs möglich. Zur Identifizierung des Fahrers kann zusätzlich noch eine Gesichtserkennung oder ein anderes biometrisches System eingesetzt werden.
-
Die
EP 1 801 730 A1 offenbart ein Verfahren zur Erkennung des Zustands eines Fahrers eines Kraftfahrzeugs mittels einer auf den Fahrer gerichteten Kamera, wobei drei Punkte des Fahrergesichts ermittelt, aus den drei Gesichtspunkten die Haltung des Fahrerkopfes bestimmt, und aus der Kopfhaltung auf den Fahrerzustand geschlossen wird. Zur Bestimmung der drei Gesichtspunkte des Fahrers, vorzugsweise der beiden Augen und der Nase, wird in dem Videobild nach Gesichtsmerkmalen des Fahrers gesucht. Daraus wird entweder ein Gesichtsmodell erstellt oder, falls ein Gesichtsmodell des Fahrers bereits vorliegt, aus den Gesichtsmerkmalen und dem Gesichtsmodell die zur Bestimmung des Fahrerzustands benötigten drei Gesichtspunkte ermittelt. Eine Bestimmung der Qualität des Gesichtsmodells findet nicht statt.
-
Ferner ist aus der
US 005828487 A ein stereoskopisches Kamerasystem bekannt, bei dem vor einer Monokamera ein Linsensystem mit einer integrierten Blende angeordnet ist, wobei die Blende zwischen zwei Positionen so verschiebbar ist, dass entsprechend der eingenommenen Position ein linkes bzw. ein rechtes Abbild des abzubildenden Gegenstandes erzeugt wird. Bei hinreichender Schnelligkeit des Wechsels der Blende zwischen den beiden Positionen kann auf diese Weise ein stereoskopisches Bildpaar mit der Monokamera erzeugt werden. Eine 3D-Linse mit integrierter Blende, die jeweils einen Hälfte der Linse transparent schaltet und die andere Hälfte optisch blockiert, wird von ISee3D, Toronto, Kanada, produziert und vertrieben.
-
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur Erzeugung eines Gesichtsmodells des Fahrers eines Kraftfahrzeugs mit verbesserter Qualität des Gesichtsmodells zu schaffen.
-
Diese Aufgabe wird gelöst durch ein Verfahren zur Erzeugung eines Gesichtsmodells mit den Merkmalen des Anspruchs 1 sowie durch eine entsprechende Vorrichtung mit den Merkmalen des Anspruchs 9. Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.
-
Das erfindungsgemäße Verfahren zur Erzeugung eines Gesichtsmodells eines Fahrers eines Kraftfahrzeugs aus Bildern eines im Kraftfahrzeug angeordneten, den Fahrer beobachtenden Kamerasystems, wobei das Gesichtsmodell zur Erkennung von Fahrerzuständen verwendet wird, weist die folgenden Schritte auf:
- – Überprüfen des aktuellen Fahrers bei Fahrtbeginn,
- – Generierung von Bildern des aktuellen Fahrers,
- – Bestimmung der Position des Fahrerkopfes in den Bildern zur Ermittlung der jeweiligen Gesichtsbereiche,
- – Extraktion von Trainingsdaten aus den Gesichtsbereichen der Fahrerbilder, und
- – Erzeugung eines vorläufigen Gesichtsmodells des aktuellen Fahrers aus den Trainingsdaten.
-
Um ungenügende Gesichtsmodelle von vorneherein ausschließen zu können, wird daher kein abgespeichertes Gesichtsmodell des Fahrers benutzt, sondern es wird mit dem Beginn einer Fahrt immer ein Gesichtsmodell des aktuellen Fahrers generiert und verwendet. Es erfolgt also im ersten Schritt eine Überprüfung des Fahrers, indem beispielsweise überprüft wird, ob der Fahrergurt geschlossen ist und sich das Fahrzeug bewegt. Somit wird auch eine Authentisierung des Fahrers zu Fahrtbeginn zur Auswahl des korrekten Gesichtsmodells überflüssig.
-
Ist die Überprüfung abgeschlossen, so werden Fahrerbilder des aktuellen Fahrers generiert und es muss in den Bildern die Position des Fahrerkopfes gefunden werden. Dies kann durch die Anwendung eines generischen Kopfmodells erfolgen, mittels dem die Position des Fahrerkopfes in den Bildern ermittelt wird. Die Bilder, wobei darunter auch Bildsequenzen verstanden werden, liegen in digitaler Form vor und können schwarz-weiß oder farbig sein.
-
Ist die Position des Kopfes in den Bildern bekannt, so kann der Gesichtbereich des Fahrerkopfes bestimmt werden und es kann eine Unterscheidung in frontale oder laterale Bilder bzw. Gesichtbereiche, erfolgen. Aus den Gesichtsbereichen werden Trainingsdaten zum Trainieren eines Gesichtsmodells abgeleitet und zur Erzeugung eines vorläufigen oder ersten Gesichtsmodells verwendet.
-
Vorzugsweise wird das erzeugte vorläufige Gesichtsmodell einer Qualitätsprüfung unterzogen, wobei das vorläufige Gesichtsmodell bei ausreichender Qualität als endgültiges Modell zur Zustandserkennung des Fahrers für die aktuelle Fahrt verwendet wird. Dabei kann das erzeugte vorläufige Gesichtsmodell für den aktuellen Fahrer beispielsweise mittels eines Konfidenztests auf seine Qualität untersucht werden. Auf diese Weise wird vermieden, dass Änderungen im Fahrergesicht, wie beispielsweise eine neue Brille, Einfluss auf die Qualität des Gesichtsmodells haben können, wie dies bei abgespeicherten und damit voreingestellten Gesichtsmodellen der Fall ist.
-
Weiter bevorzugt wird bei nicht ausreichender Qualität das vorläufige Modell solange als endgültiges Gesichtsmodell zur Zustandserkennung des Fahrers verwendet, bis ein verbessertes Gesichtsmodell eine ausreichende Qualität zur Verwendung als endgültiges Gesichtsmodell aufweist. Mit anderen Worten, es wird ein erstes Gesichtsmodell zur Fahrerzustandsuntersuchung verwendet und gleichzeitig wird ein verbessertes Gesichtsmodell erstellt.
-
Vorzugsweise werden weitere Trainingsdaten aus weiteren Fahrerbildern generiert und zur Erzeugung eines verbesserten Gesichtsmodells aus dem vorläufigen Gesichtsmodell verwendet. Das erste Gesichtsmodell wird daher gleichzeitig benutzt und parallel dazu in einem separaten Verfahrenszweig verbessert, d. h. der Lernvorgang wird solange fortgeführt, bis ein besseres zweites Gesichtsmodell zur Verfügung steht, welches dann das erste Gesichtsmodell ersetzt.
-
Vorzugsweise werden die Fahrerbilder beispielsweise durch die Anwendung des generischen Modells in frontale, rechtsseitige und linksseitige Fahrerbilder klassifiziert. Damit kann beispielsweise erreicht werden, dass zur Generierung des ersten oder vorläufigen Gesichtsmodells vorwiegend frontale Bilder des Fahrers verwendet werden, wodurch bessere Trainingsdaten bereitgestellt werden können. Frontale Bilder des Fahrergesichts lassen sich vorzugsweise dann erzeugen, wenn der Fahrer den Innenrückspiegel einstellt und die Kamera in diesem angeordnet ist, da während der Einstellung des Innenrückspiegel die Kamera Frontalbilder des Fahrers aufnimmt. Durch Hinzunahme der seitlichen Bilder können dann Trainingsdaten erzeugt werden, die zur Erzeugung eines dreidimensionalen Gesichtsmodells dienen.
-
Insbesondere kann das vorläufige Gesichtsmodell ein aus frontalen Fahrerbildern erzeugtes frontales Gesichtsmodell sein und das verbesserte Gesichtsmodell aus dem vorläufigen Gesichtsmodell unter Verwendung seitlicher Gesichtsmodelle zusammengesetzt wird, wobei zur Generierung der seitlichen Gesichtsmodelle die seitlichen Fahrerbilder eingesetzt werden.
-
Weiter bevorzugt wird das Gesichtsmodell in 3D erzeugt, wenn das Fahrergesicht durch Stereobilder wiedergegeben wird, mit anderen Worten eine Stereokamera verwendet wird. Die Verwendung einer Stereokamera führt zu einer genaueren Verfolgung der Kopfbewegung und zu einer robusteren Lidschlagerkennung. Ferner wird die Erkennung der Blickrichtung des Fahrers ermöglicht oder verbessert.
-
Weiter bevorzugt ist es ausreichend, wenn das Gesichtsmodell oder die Gesichtsmodelle mindestens einen Augenbereich und die Fahrernase enthalten. Insbesondere kann auf den Lippenbereich verzichtet werden, da der Lippenbereich keine wichtigen Informationen zur Fahrerzustandserkennung hinsichtlich Aufmerksamkeit und Müdigkeit enthält.
-
Die erfindungsgemäße Vorrichtung zur Durchführung des im Vorangegangenen beschriebenen Verfahrens zur Erzeugung eines Gesichtsmodells eines Fahrers eines Kraftfahrzeugs umfasst ein im Kraftfahrzeug angeordnetes Kamerasystem zur Beobachtung des Fahrers und ein Auswertesystem zur Generierung eines Gesichtsmodells des Fahrers aus den vom Kamerasystem erzeugten Bildern, wobei das Auswertesystem aufweist:
- – eine Einrichtung zur Bestimmung eines vorläufigen Gesichtsmodells des Fahrers, eine Einrichtung zur Bestimmung eines verbesserten Gesichtsmodells des Fahrers, und
- – eine Einrichtung zum Vergleich des vorläufigen und des verbesserten Gesichtsmodelle mit vorgegebenen Qualitätskriterien.
-
Vorzugsweise weist das Kamerasystem eine Monokamera mit vorgeschalteter Stereolinse auf. Durch die Verwendung eines Stereosystems wird die Qualität des Gesichtsmodells verbessert, da die Tiefeninformation sich aus den Stereobildern einfacher ableiten lässt. Ferner ist die Verwendung eines Stereosystems bestehend aus einer Monokamera mit vorgeschalteter Stereolinse von der Kostenseite deutlich günstiger als ein Standardstereosystem mit zwei Kameras.
-
Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen erläutert. Dabei zeigt
-
1 ein Flussdiagramm des Verfahrens zur Erzeugung eines Gesichtsmodells,
-
2 eine schematische Darstellung der 3D-Linse einer 3D-Kamera,
-
3 einen Innenrückspiegel mit 3D-Kamera, und
-
4 eine schematische Darstellung der 3D-Vorrichtung.
-
1 zeigt ein Flussdiagramm einer bevorzugten Ausführungsform des Verfahrens zur Erzeugung eines Gesichtsmodels eines Fahrers eines Kraftfahrzeugs aus Bildern eines im Kraftfahrzeug angeordneten, den Fahrer beobachtenden Kamerasystems.
-
Das Verfahren startet mit Schritt S1, wobei der Schritt S1 mit dem Beginn der Fahrt initiiert wird, beispielsweise mit dem Einschalten der Zündung. Im nächsten Schritt S2 wird sichergestellt, dass nur Bilder des aktuellen Fahrers zum Lernen des Gesichtsmodells gesammelt werden. Dies kann beispielsweise durch Überprüfung, ob der Fahrergurt geschlossen ist und/oder ob das Kraftfahrzeug fährt, durchgeführt werden. Ferner kann in die Überprüfung des Schrittes S2 einfließen,
- – ob der Fahrer die Hände am Lenkrad hat oder nicht, und/oder
- – ob das Lenkmoment einen Schwellenwert überschritten hat.
-
Im Schritt S3 werden von einem im Fahrzeug angeordneten Kamerasystem Bilder bzw. Bildsequenzen des Fahrers aufgenommen und im Schritt S4 erfolgt eine Detektion des Fahrerkopfes in den Fahrerbildern. Dabei kommt üblicherweise ein generisches Kopfmodell zum Einsatz, mittels dem die Position des Fahrerkopfes in den Bildern bestimmt wird, so dass eine grobe Unterscheidung der aufgenommenen Bilder in frontale, linksseitige oder rechtsseitige Ansichten des Fahrerkopfes erfolgen kann. Nach der in Schritt S4 vorgenommenen ersten Bewertung der aufgenommenen Bilder werden in Schritt S5 Trainingsdaten aus den Bildern erzeugt, die zur Generierung des Gesichtsmodells notwendig sind.
-
Aus den im Schritt S5 gesammelten Trainingsdaten wird im nächsten Schritt S6 ein Gesichtsmodell des Fahrers erstellt, d. h. mit den aus den Bildern abgeleiteten Daten wird ein vorgegebenes Gesichtsmodell an das Fahrergesicht angepasst und es steht ein erstes oder vorläufiges Gesichtsmodell zur Verfügung.
-
In der nachfolgenden Abfrage des Schritts S7 wird die Qualität des ersten Gesichtsmodells untersucht. Erfüllt das erste Gesichtsmodell im Schritt S7 vorgegebene Qualitätsanforderungen, so wird des erste Gesichtsmodell im Schritt S8 als endgültiges Gesichtsmodell für den aktuellen Fahrer verwendet. Mit anderen Worten, das vorläufige Gesichtsmodell wird dem endgültigen Geschichtsmodel zugewiesen. Das endgültige Gesichtsmodell wird für die Fahrerzustandserkennung verwendet und aus den aktuellen Bildern des Fahrers wird mittels des Gesichtsmodells beispielsweise die Kopfbewegung, der Gesichtsausdruck, die Augenbewegung, der Lidschlag etc. bestimmt und zur Fahrerzustandsbewertung herangezogen.
-
Nun ist die Qualität des Gesichtsmodells abhängig von der Qualität der Trainingsdaten und deren Vollständigkeit. Ist daher beispielsweise die Anzahl der frontalen Bilder des Fahrers zu gering und daher die Qualität des Modells nicht ausreichend, was über einen Konfidenztest bestimmbar ist, so ist die Abfrage im Schritt S7 negativ und im Schritt S9 wird das erste Gesichtsmodell quasi vorübergehend zur Bestimmung des Fahrerzustands verwendet. Formal wird sozusagen vorläufig das erste Gesichtsmodell als das endgültige Gesichtsmodell behandelt.
-
Parallel zur Verwendung des ersten, nun vorläufigen Gesichtsmodells werden im Schritt S10 neue Trainingsdaten aus weiteren Fahrerbildern generiert und zu den bereits vorhandenen Trainingsdaten zugefügt. Im Schritt S11 wird basierend auf dem ersten Gesichtsmodell sowie dem erweiterten Trainingsdatensatz ein zweites verbessertes Gesichtsmodell entwickelt. Im Schritt S12 wird dann untersucht, ob die Qualität des zweiten Gesichtsmodells den vorgegebenen Anforderungen genügt. Ist dies der Fall, so wird im Schritt S13 das zweite Gesichtsmodell als endgültiges Gesichtsmodell für den aktuellen Fahrer verwendet. Ist dies nicht der Fall, so wird dennoch im Schritt S14 das erste Gesichtsmodell durch das zweite Gesichtsmodell ersetzt und das Verfahren springt zurück zu dem negativen Ausgang nach dem Schritt S7. Mit anderen Worten, die Schritte S9, S10, S11 werden wiederholt und es wird ein drittes Gesichtsmodell erstellt. Das Verfahren kann wiederholt werden, bis eine ausreichende Qualität des Gesichtsmodells gefunden ist.
-
Das aus den frontalen, linksseitigen und rechtsseitigen Bildern des Fahrerkopfes erstelltes Gesichtsmodell ist ein 3D-Modell, d. h. ein dreidimensionales Modell, jedoch ist die Ableitung der Tiefeninformation aus Bildern einer Monokamera schwierig und mit Fehlern behaftet. Um ein qualitativ besseres 3D-Gesichtmodell zu erhalten, können grundsätzlich Bilder einer Stereokamera verwendet werden, was durch die Verwendung zweier Kameras mit erhöhten Kosten verbunden ist.
-
2 zeigt eine schematische Darstellung einer 3D-Linse 1, wie sie in einer 3D-Kamera (nicht dargestellt) zum Einsatz kommt. Die Linse 1 weist zwei identische, zueinander symmetrische Bereiche mit senkrechter Symmetrieachse auf, nämlich im vorliegenden Fall einer kreisförmigen 3D-Linse 1 die rechte Linsenhälfte 2 und die linke Linsenhälfte 3. Dabei ist die Form der 3D-Linse 1 nicht auf die Kreisform beschränkt, sondern die Linse kann beispielsweise auch eine elliptische Form aufweisen. Durch eine geeignete Blende (nicht dargestellt) oder eine geeignete Beeinflussung der Transparenz der jeweiligen Linsenhälfte 2, 3 wird erreicht, dass jeweils eine Linsenhälfte transparent und die andere Linsenhälfte undurchsichtig ist. Durch einen schnellen Wechsel der Transparenz der Linsenhälften 2, 3 wird in der Bildebene der Kamera pro Linsenhälfte 2, 3 ein Bild des Gegenstandes, hier des Fahrers, erzeugt, wobei jeweils zwei aufeinander folgende Bilder ein Stereobildpaar quasi zu einem Zeitpunkt bilden. Aufgrund des schnellen Wechsels der Transparenz zwischen den beiden Linsenhälften 2, 3 kann man die beiden Stereobilder behandeln, als ob sie zu einem Zeitpunkt entstanden wären. Statt einer Nutzung einer Stereo-Kamera mit zwei Kameras kann so mit Hilfe der 3D-Linse 1 und einer Monokamera eine 3D-Kamera erzeugt werden, um ein linkes und rechtes Bild zu einem im wesentlichen gleichen Zeitpunkt zu generieren. Die Vorteile einer derartigen 3D-Kamera im Kraftfahrzeug sind offensichtlich, da sowohl der Platzbedarf als auch die Kosten im Vergleich zu einem echten Stereosystem mit zwei Kameras geringer sind.
-
3 zeigt die Anordnung einer den Fahrer beobachtenden Kamera 5 in einem Rückspiegel 4. Dabei kann die Kamera eine Monokamera oder die bereits erläuterte 3D-Kamera sein.
-
Vorzugsweise wird die Kamera 5 direkt an der linken Seite des Rückspiegels 4 eingebaut, so dass sie den Fahrer des Kraftfahrzeugs unmittelbar in Sicht hat. Dies ist insbesondere dann der Fall, wenn der Fahrer den Rückspiegel 4 einstellt, da in diesem Moment davon ausgegangen werden kann, dass die Kamera 5 frontale Bilder des Fahrers erzeugt.
-
4 zeigt eine bevorzugte Ausführungsform der Vorrichtung zur Erzeugung eines Gesichtsmodells eines Fahrers. Eine 3D-Kamera 5 erzeugt linke Bilder und rechte Bilder, die in entsprechenden Speichereinrichtungen 6, 7 gespeichert werden. Die linken Bilder des Speichers 7 werden in einer Einrichtung 8 zur Gesichtsdetektion verarbeitet, während parallel dazu in einer Tiefenbestimmungseinheit 9 aus den linken und rechten Bildern der Speicher 6, 7 die Tiefeninformation extrahiert wird. Aus den Gesichtsinformationen und den Tiefeninformationen wird in einem Modul 10 ein 3D-Gesichtsmodell erstellt, mittels dem in einem Bestimmungsmodul 12 Parameter und Merkmale des Fahrergesichts bestimmt werden, wie beispielsweise die Kopfbewegung, die Augenposition und Lidschläge. Parallel zum Bestimmungsmodul 12 ist ein Trainingsmodul 11 angeordnet, welches zum Trainieren des Gesichtsmodells dient.
-
Für die Gesichtsdetektion der Einrichtung 8 kann ein beliebiger Algorithmus zur Ermittelung des Gesichtbereiches verwendet werden. Wichtig ist hier, dass dabei mindestens ein Auge und die Nase im Bild gefunden sind.
-
Das im Modul 10 erzeugte 3D-Gesichtsmodell liefert eine Beschreibung des Gesichtsprofils, beispielsweise mittels eines Zylinder-Models. Im Gegensatz zu bekannten Gesichtsmodellen enthält das hier bevorzugte Gesichtsmodell den Mundbereich nicht. Gründe dafür sind:
- – der Mundbereich enthält keine wichtige Information zur Fahrerzustandserkennung (Aufmerksamkeit und Müdigkeit),
- – für einen Kamera-Einbauort im Kombidisplay oder in der Lenkradsäule ist bei einer ungültigen Sitzeinstellung oder für kleine Fahrer der Mundbereich vom Lenkrad verdeckt und der Kopf ist in dieser Situation nicht detektierbar, und
- – weniger Rechenaufwand und höhere Genauigkeit und Robustheit.
-
Vorzugsweise hat das System der 4 zwei Betriebsmodi, die auch parallel arbeiten können:
-
A) Trainings-Modus:
-
- i) Sammeln von 3D-Informationen für den frontalen Gesichtsbereich. Laterale Informationen sind zuerst nur optional.
- ii) Wenn genügend Trainingsdaten zur Verfügung stehen, wird ein generisches 3D-Gesichtsmodell trainiert. Danach steht das trainierte generische 3D-Gesichtsmodell zur Berechnung der Kopfbewegung zur Verfügung,
- iii) Falls keine lateralen 3D-Informationen zum Training verfügbar sind, ist das bereits trainierte generische 3D-Gesichtsmodell noch nicht vollständig optimiert und ein neues Training ist noch nötig.
- iv) Sofern laterale 3D-Informationen zum Training verfügbar sind, werden sie zusammen mit den alten frontalen 3D-Informationen in einem neuen Trainingsdatensatz zusammengefasst, und ein neuer Trainingsprozess startet.
- v) Während des neuen Trainingsprozesses wird das bereits trainierte generische 3D-Gesichtsmodell zur Berechnung der Kopfbewegung etc. weiter verwendet.
- vi) Nach dem neuen Trainingsprozess wird das erneut trainierte generische 3D-Gesichtsmodell zur Berechnung als das vollständige Modell verwendet. Ein weiteres Training ist mehr nötig.
-
B) Berechnungs-Modus:
-
- i) Während des Trainings wird die Kopfbewegung durch ein untrainiertes generisches 3D-Gesichtsmodell berechnet.
- ii) Ansonsten wird das trainierte generische 3D-Gesichtsmodell verwendet, und zwar:
zur Berechnung der Kopfbewegung (zur Aufmerksamkeitserkennung, und
zur Ermittlung von Augenposition und Lidschlägen (zur Müdigkeitserkennung).
-
Wie oben erwähnt, zeigt 4 eine bevorzugte Ausführungsform der erfindungsgemäßen Vorrichtung unter Verwendung einer 3D-Kamera. Es ist jedoch auch die Verwendung nur einer Monokamera anstelle der 3D-Kamera möglich. Aus den von einer Monokamera gelieferten 2D-Bildern kann auch ein 3D-Gesichtsmodell mit hoher Qualität generiert werden, indem die Tiefeninformation durch 3D-Rekonstruktionstechniken, wie beispielsweise mittels eines Structure-from-Motion-Verfahrens, ermittelt wird. Dies kann beispielsweise durch eine Bestimmung von Bewegungen in aufeinander folgenden Bildern erfolgen, aus denen sich die notwendigen Tiefeninformationen zur Generierung des 3D-Gesichtsmodells ermitteln lassen. In diesem Fall wäre die Kamera 5 eine Monokamera und anstelle der Speichereinrichtungen 6, 7 wäre ein Bildsequenzspeicher (nicht dargestellt) notwendig. Ferner wäre noch eine Einrichtung zur Ableitung der Tiefeninformation aus den Bildsequenzen notwendig.
-
Bezugszeichenliste
-
- S1
- Beginn
- S2
- Detektion des aktuellen Fahrers
- S3
- Erzeugung Fahrerbildern mittels Fahrerkamera
- S4
- Kopfdetektion mittels generischem Gesichtsmodell
- S5
- Erzeugung von Trainingsdaten aus den Fahrerbildern
- S6
- Generierung vorläufiges Gesichtsmodell
- S7
- Qualität des vorläufigen Gesichtsmodells?
- S8
- Zuweisung endgültiges Gesichtsmodell
- S9
- vorübergehende Verwendung des vorläufigen Gesichtsmodells
- S10
- Erzeugung weiterer Trainingsdaten aus weiteren Fahrerbildern
- S11
- Generierung eines verbesserten Gesichtsmodells
- S12
- Qualität des verbesserten Gesichtsmodells?
- S13
- Zuweisung endgültiges Gesichtsmodell
- S14
- Ersetzen des vorläufigen Gesichtsmodells durch das verbesserte Gesichtsmodell
- 1
- Linse
- 2
- rechte Linsenhälfte
- 3
- linke Linsenhälfte
- 4
- Innenrückspiegel
- 5
- Kamera
- 6
- Speicher linke Bilder
- 7
- Speicher rechte Bilder
- 8
- Gesichtserkennung
- 9
- Tiefenbestimmung
- 10
- Erzeugung des 3F-Gesichtsmodells
- 11
- Training des 3D-Gesichtsmodells
- 12
- Bestimmung von Gesichtsparametern
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102007023140 A1 [0006]
- EP 1801730 A1 [0007]
- US 005828487 A [0008]
-
Zitierte Nicht-Patentliteratur
-
- K. J. Kirchberg et al.: ”Genetic Model Optimization for Hausdorff Distance-Based Face Localisation”, Proc. International ECCV 2002 Workshop an Biometric Authentication, Springer, Lecture Notes in Computer Science, LNCS-2359, 103–111, Copenhagen, Denmark, June 2002 [0005]
- P. Viola et al.: ”Robust Real-Time Face Detection”, International Journal of Computer Vision 57(2), 137–154, Kluwer Academic Publishers, Netherland, 2004 [0005]
