-
Die vorliegende Erfindung betrifft ein Verfahren zur Kollisionsvermeidung für ein Kraftfahrzeug mit einem Fahrunterstützungssystem.
-
Fahrunterstützungssysteme, wie beispielsweise Fahrerassistenzsysteme, sind Systeme, die entwickelt wurden, um Fahrzeugsysteme hinsichtlich der Sicherheit und verbessertem Fahrverhalten zu automatisieren, anzupassen und zu verbessern. Sicherheitsmerkmale sind dafür ausgelegt, Kollisionen und Unfälle zu vermeiden, indem sie Technologien bereitstellen, die den Fahrer des Fahrzeugs vor möglichen Problemen warnen oder Kollisionen durch Implementieren von Sicherheitsmaßnahmen und Übernahme der Fahrzeugkontrolle vermeiden. In autonomen Fahrzeugen stellen die Fahrunterstützungssysteme Eingaben zum Ausführen einer Steuerung des Fahrzeugs bereit. Adaptive Merkmale können die Beleuchtung automatisieren, eine adaptive Geschwindigkeitsregelung bereitstellen, den Bremsvorgang automatisieren, Verkehrswarnungen integrieren, mit Smartphones kommunizieren, z.B. den Fahrer hinsichtlich anderer Autos oder verschiedenartiger Gefahren warnen, das Fahrzeug in der korrekten Fahrspur halten, oder anzeigen, was sich in toten Winkeln befindet. Fahrunterstützungssysteme weisen die vorstehend erwähnten Fahrerassistenzsysteme auf. Fahrunterstützungssysteme basieren häufig auf Eingaben von mehreren Datenquellen, wie beispielsweise von im Kraftfahrzeug installierten bildgebenden Einrichtungen, Bildverarbeitung, Radarsensoren, LIDAR, Ultraschallsensoren und anderen Quellen. Neuronale Netzwerke sind kürzlich für die Verarbeitung solcher Eingaben von Daten in Fahrerassistenzsystemen oder allgemein in Fahrunterstützungssystemen einbezogen worden.
-
In jüngster Zeit gab es einen sprunghaften Anstieg bei der Erforschung konvolutioneller neuronaler Netzwerke (CNN). Ihr Design ist durch eine Erhöhung der Rechenleistung in Computerarchitekturen und die Verfügbarkeit großer annotierter Datensätze unterstützt worden.
-
Im Gegensatz zu einem CNN, das in erster Linie ein diskriminierender Klassifikator ist, ist eine Deep-Boltzmann-Maschine (DBM) ein generativer Klassifikator. Mit anderen Worten, während ein CNN die Grenzen zwischen den Objektklassen lernt, mit denen er trainiert ist (auf eine überwachte Weise unter Verwendung annotierter Daten), um dazwischen zu unterscheiden, lernt eine DBM die zugrundeliegende Wahrscheinlichkeitsverteilung, gemäß der die den Trainingssatz bildenden Daten am ehesten verursacht worden sind. Da eine DBM ein generatives Modell ist, ist es robuster gegenüber Grenzfällen und Daten, die sich stark von denen unterscheiden, die während des Trainings auftreten. Außerdem benötigt sie keine annotierten Daten, um ihre Schätzung der zugrundeliegenden Wahrscheinlichkeitsverteilung zu erzeugen.
-
Eine Deep-Boltzmann-Maschine (DBM) ist ein stochastisches Hopfield-Netz mit verborgenen Schichten. Ein Hopfield-Netz ist ein energiebasiertes Modell. Während das Hopfield-Netz als inhaltsadressierbares Speichersystem verwendet wird, lernt die Boltzmann-Maschine ihre Eingaben darzustellen. Sie ist ein generatives Modell, das heißt, sie lernt die gemeinsame Wahrscheinlichkeitsverteilung aller ihrer Eingaben. Sobald die Boltzmann-Maschine ihre Eingabe gelernt hat (d.h., wenn sie ein thermisches Gleichgewicht erreicht hat), bildet die Konfiguration von Gewichten an den (mehreren) verborgenen Schichten eine Darstellung der Eingaben, die auf der sichtbaren Schicht präsentiert werden. RBMs sind Restricted-Boltzmann-Maschinen, wobei die Beschränkung darin besteht, dass die Neuronen einen bipartiten Graphen ohne intra-Schicht-Verbindungen bilden. Diese Beschränkung ermöglicht die Verwendung des hocheffizienten Contrastive-Divergence-Algorithmus für ein Training. Eine Deep-Boltzmann-Maschine (DBM) ist ein Stapel von RBMs. Ein Deep-Belief-Netz (DBN) enthält ebenfalls RBMs, es weist aber RBMs nur in den oberen zwei Schichten auf, und die darunterliegenden Schichten sind Sigmoid-Belief-Netze, die gerichtete grafische Modelle sind. Im Gegensatz dazu ist die DBM durch und durch ein ungerichtetes grafisches Modell.
-
Bis vor kurzem basierten die meisten Vision-basierten Müdigkeitserkennungssysteme auf handgemachten Merkmalen zum Überwachen von Gesichts- und Kopfbewegungen. Es hat sich allgemein gezeigt, dass handgemachte Merkmale eine begrenzte Wirksamkeit in realen Szenarien zeigen, die das Tragen einer Sonnenbrille durch den Fahrer und große Änderungen in der Beleuchtung beinhalten können. Auf der anderen Seite sind Merkmale, die auf der Basis von tiefem Lernen gelernt wurden, in realen Szenarien effektiver gewesen. Die American Automobile Association veröffentlichte 2010 ein Diagramm, gemäß dem 17% aller tödlichen Unfälle in den USA auf Müdigkeit von Fahrern zurückzuführen sind. Dies scheint ein globaler Trend zu sein. In Deutschland zeigen mehrere Studien der Volkswagen AG aus dem Jahr 2005, dass 5 - 25% aller Kollisionen durch einen einschlafenden Fahrer verursacht werden.
-
Verhaltensmessungen werden durch eine Fahrer-Augen-/Gesichtsbewegung unter Verwendung einer Kamera erhalten. Die vorliegende Erfindung erfasst Schläfrigkeit, Müdigkeit und/oder Ablenkung durch Überwachen von Gesichtsmerkmalen, Kopfbewegungen des Fahrers sowie Fahrmustern, die beispielsweise über CAN- (Controller Area Network) Signale gesammelt werden.
-
Es wird angenommen, dass sich Schläfrigkeit als schnelles und konstantes Blinzeln, Nicken oder Kopfschwingen und häufiges Gähnen offenbart. PERCLOS (Prozentsatz, in dem die Pupille durch das Augenlid bedeckt ist, als Funktion der Zeit) wird als ein zuverlässiges Maß zur Vorhersage von Schläfrigkeit angesehen und ist in kommerzielle Produkte, wie beispielsweise Seeing Machines und Lexus, integriert worden. Andere Gesichtsbewegungen, wie beispielsweise Anheben der inneren Brauen, Anheben der äußeren Brauen, Lippenstrecken, Kiefer fallenlassen und Augenblinzeln, sind ebenfalls als Anzeichen für Schläfrigkeit bekannt.
-
In dieser Hinsicht offenbart die
US 2007/0280505 A1 ein Verfahren und ein System zum Bestimmen der Position der Augen eines Fahrzeuginsassen, das einen oder mehrere Wellen empfangende Wandler aufweist, die jeweils derart angeordnet sind, dass sie Wellen vom Fahrgastraum empfangen, die durch den Insassen erzeugt oder modifiziert werden, und einen mit dem/den Wandler(n) verbundenen Prozessor zum Analysieren der Wellen und Bestimmen der Position der Augen des Insassen relativ zum Fahrgastraum basierend auf der Analyse der empfangenen Wellen. Der Prozessor kann einen trainierten Mustererkennungsalgorithmus aufweisen, der unter Verwendung von Daten über bekannte Stellungen der Augen von Insassen an verschiedenen Positionen und Wellen trainiert wird, die vom Fahrgastraum empfangen werden, wenn die Insassen sich an den verschiedenen Positionen befinden. Die Stellung der Augen des Insassen relativ zum Fahrgastraum kann verwendet werden, um eine oder mehrere Komponenten zu steuern, die jeweils basierend auf der Stellung der Augen des Insassen eine variable oder einstellbare Betriebsweise haben. Das System kann beispielsweise bestimmen, dass der Insasse ein Erwachsener ist, dass er betrunken ist oder dass er sich bezüglich des Airbags an einer ungeeigneten Stelle befindet.
-
Die
US 2008/0069403 A1 offenbart ein Bildgebungsverfahren und -system für ein Fahrzeug, das eine Infrarotquelle, die einen Infrarotstrahl entlang eines bestimmten Sichtfelds im Fahrzeug erzeugt, einen Infrarotdetektor, der auf von Objekten im Sichtfeld reflektierte Infrarotstrahlung anspricht, wodurch Bildsignale von der reflektierten Infrarotstrahlung erzeugt werden, und einen Prozessor aufweist, der auf die Bildsignale vom Detektor anspricht. Der Prozessor weist eine Gesichtserkennungssoftware auf, die Gesichtsmerkmale einer Person abbildet und identifiziert, um das Gesicht einer Person zu erfassen, und das erfasste Bild des Gesichts der Person mit gespeicherten Bildern vergleicht und veranlasst, dass eine Fahrzeugoperation ausgeführt wird, wenn das Gesicht einer bestimmten Person identifiziert wird. Der Prozessor kann dafür eingerichtet sein, ein Signal bereitzustellen, wenn die Person schläfrig oder handlungsunfähig zu sein scheint.
-
Die
US 2014/0097957 A1 offenbart ein Verfahren und ein System zum Überwachen eines Fahrers während einer Bewegung des Fahrzeugs, das ein Informationsgewinnungssystem aufweist, das Information über einen Fahrer gewinnt, der zu einem früheren Zeitpunkt auf der gleichen Straße gefahren ist, und einen Prozessor, der die gewonnene Information und die Fahrzeugbewegung analysiert, um zu bestimmen, ob der Fahrer die Fähigkeit verloren hat, das Fahrzeug weiter zu steuern. Der Verlust der Fähigkeit, das Fahrzeug weiterhin zu steuern, ergibt sich daraus, dass der Fahrer einschläft oder anderweitig nicht in der Lage ist, das Fahrzeug zu steuern, nachdem er anfangs wach oder anderweitig in der Lage gewesen ist, das Fahrzeug zu steuern. Eine reaktive Komponente, wie beispielsweise eine Warnlampe oder ein Warnton, wird aktiviert, wenn der Prozessor bestimmt, dass der Fahrer die Fähigkeit verloren hat, das Fahrzeug weiter zu steuern, wobei vorzugsweise eine Aktion durch den Fahrer erforderlich ist, die anzeigt, dass er die Fähigkeit zum Steuern des Fahrzeugs wiedererlangt hat, oder die Kontrolle über das Fahrzeug übernimmt, um das Fahrzeug abzubremsen und zum Stillstand zu bringen.
-
Fahrunterstützungssysteme, wie beispielsweise Fahrerassistenzsysteme, sind eines der am schnellsten wachsenden Segmente in der Automobilelektronik, und es besteht ein Bedarf an verbesserten Verfahren und Systemen zur Kollisionsvermeidung in Kraftfahrzeugen, die Fahrunterstützungssysteme aufweisen.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, Verfahren zur Kollisionsvermeidung für Kraftfahrzeuge anzugeben, die Fahrunterstützungssysteme aufweisen, die dazu geeignet sind, Kollisionen genauer als herkömmliche Verfahren zu vermeiden, und Kollisionen auf eine bessere Weise verhindern können, indem sie von einer großen Menge verfügbarer unnotierter Daten lernen.
-
Die Lösung der Aufgabe erfolgt durch den Gegenstand der unabhängigen Ansprüche. Bevorzugte Ausgestaltungen sind in den Unteransprüchen angegeben.
-
Erfindungsgemäß ist ein Verfahren zur Kollisionsvermeidung für ein Kraftfahrzeug angegeben, das ein Fahrunterstützungssystem aufweist, mit den folgenden Schritten:
- - Bereitstellen von Merkmalen, die a) kamerabasierte Merkmale des Fahrers und/oder b) Fahrmustermerkmale aufweisen, unter Verwendung eines oder mehrerer Detektoren,
- - Modellieren der zugrundeliegenden gemeinsamen Wahrscheinlichkeitsverteilung der Merkmale unter Verwendung einer Deep-Boltzmann-Maschine (DBM) als ein generatives Modell, wobei die Merkmale als Eingabe für die DBM verwendet werden,
- - Rekonstruieren der Eingabe basierend auf dem Lernergebnis der Deep-Boltzmann-Maschine (DBM), und
- - Erzeugen einer Warnung, wenn der Rekonstruktionsfehler einen vordefinierten Schwellenwert überschreitet.
-
Somit ist es eine wesentliche Idee dieser Ausführungsform der Erfindung, die folgenden vier Hauptschritte auf eine einzigartige Weise zu kombinieren: Bereitstellen von Merkmalen, die a) kamerabasierte Merkmale des Fahrers und/oder b) Fahrmustermerkmale aufweisen, unter Verwendung eines oder mehrerer Detektoren, Modellieren der zugrundeliegenden gemeinsamen Wahrscheinlichkeitsverteilung der Merkmale unter Verwendung einer Deep-Boltzmann-Maschine (DBM) als ein generatives Modell, wobei die Merkmale als Eingabe für die DBM verwendet werden, Rekonstruieren der Eingabe basierend auf dem Lernergebnis der Deep-Boltzmann-Maschine ( DBM) und Erzeugen einer Warnung, wenn der Rekonstruktionsfehler einen vordefinierten Schwellenwert überschreitet.
-
Insbesondere wird durch die Erfindung ein Verfahren zur Kollisionsvermeidung angegeben, indem vier Hauptschritte auf eine einzigartige Art und Weise kombiniert werden. Als ein erster Schritt werden Merkmale unter Verwendung eines oder mehrerer Detektoren bereitgestellt, wobei die Merkmale kamerabasierte (Sicht oder Infrarot) Merkmale sind, wie beispielsweise i. ein Gesichtswinkel unter Verwendung einer Modified-Census-Transformation (MCT) und/oder ii. ein Lidschlagmuster und/oder iii. Fahrmustermerkmale.
-
Das erste Fahrmuster kann ein Ereignis mit hoher Quergeschwindigkeit sein. Das Ereignis wird erfasst, wenn die aktuelle Quergeschwindigkeit eine Referenz-Quergeschwindigkeit überschreitet. Überschreitet die Quergeschwindigkeit die Referenz-Quergeschwindigkeit, wird dies als Verlust der Fähigkeit des Fahrers zum Halten der Fahrspur betrachtet. Das zweite Fahrmuster kann abruptes Gegenlenken in der Nähe des Fahrspurrandes sein. Wenn der Fahrer schläfrig ist, zeigt das Lenksignal aufgrund des Nachlassens der Greifkraft eine geringe Änderung um Null. Daher kann das dritte Fahrmuster in Änderungen des Lenkwerts bestehen, die während einiger Sekunden kleiner sind als ein normaler Bereich um Null, d.h. in einer Lenksignaländerung. Im nachfolgenden zweiten Schritt modelliert die DBM die zugrundeliegende gemeinsame Wahrscheinlichkeitsverteilung der beitragenden Merkmale, wie beispielsweise kamerabasierter Merkmale und/oder Fahrmustermerkmale, ohne die Notwendigkeit eines Labelling. Im dritten Schritt versucht das Modell nach der Entwicklung die Eingabe unter Verwendung seiner gelernten Wahrscheinlichkeitsverteilungsfunktion zu rekonstruieren. Wenn der Rekonstruktionsfehler einen vordefinierten Schwellenwert überschreitet, wird dies als eine Anomalie betrachtet. Der Schwellenwert kann ein Modellparameter sein. Im vierten Schritt können die Ergebnisse schließlich dazu verwendet werden, eine Warnung zu erzeugen, so dass eine Kollision vermieden werden kann. Daher kann in Fahrunterstützungssystemen die Warnung verarbeitet werden, um Gegenmaßnahmen zu bestimmen, z.B. um eine vorhergesagte Kollision zu vermeiden, oder allgemeiner, um die Gefahr einer bevorstehenden Kollision zu reduzieren. Daher muss der Schwellenwert nicht unbedingt eine bestimmte Kollision anzeigen, sondern er kann eine erhöhte Wahrscheinlichkeit dafür anzeigen, dass eine Kollision auftreten kann. Im Fall eines Fahrerassistenzsystems kann die Warnung an den Fahrer ausgegeben werden, z.B. durch ein Audio- und/oder ein haptisches Signal/Feedback. Daher kann, wenn die Warnung aufgrund eines Schläfrigkeits- oder Ermüdungsgrades oder eines Grades eines abgelenkten Zustands, in dem sich der Fahrer gerade befindet, erzeugt wird, der Fahrer aufgefordert werden, eine Pause einzulegen oder die Steuerung an einen aufmerksameren Fahrer zu übergeben.
-
Ein wesentlicher Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass die Deep-Boltzmann-Maschine (DBM) auch in der Lage ist, zu lernen und somit ein anormales Fahrerverhalten anzuzeigen. In Bezug auf die Anomalieerfassung ist es nicht möglich, ausreichende Trainingsdaten für die Erfassung eines anomalen Verhaltens zu sammeln, die von realen Fahrsituationen stammen. Beispielsweise ist das Sammeln von Videos von Beinahekollisionen und abgelenktem Fahren für andere Verkehrsteilnehmer gefährlich, während Videos von normalem, sicherem Fahren leicht verfügbar sind. In solchen Anwendungen kommen DBMs zur Geltung, weil sie die zugrundeliegende gemeinsame Wahrscheinlichkeitsverteilung der beitragenden Faktoren modellieren, so dass alles, was „sich nicht richtig anfühlt“, durch die DBM auf natürliche Weise als Ausreißer und somit als Anomalie hinsichtlich des Fahrverhalten angezeigt wird. Daher verwendet die Erfindung ein unüberwachtes, generatives Modell, d.h. die Deep-Boltzmann-Maschine (DBM), wodurch a) ein robustes Anomalieerfassungsverfahren durch Lernen des normalen, sicheren Fahrverhaltens und nach der Entwicklung das Markieren jeglichen Verhaltens außerhalb des normalen Verhaltens als potenziell unsicher auf natürliche Weise bereitgestellt wird und b) die Menge an erforderlichen gelabelten Daten vermindert wird. Die gelabelten Daten werden nur zur Feinabstimmung der Deep-Boltzmann-Maschine (DBM) verwendet, so dass nur sehr wenig annotierte Daten erforderlich sind. Daher ist die Erfindung für die Anomalieerfassung mit einem Fahrer geeignet, ohne dass trainiert wurde, wie Beispiele anomaler Verhaltensmuster aussehen.
-
Ein Deep-Belief-Netzwerk (DBN) ist ein gerichtetes, azyklisches grafisches Modell (Directed Acyclic Graphical Model (DAG)). Im Gegensatz dazu bietet die Deep-Boltzmann-Maschine (DBM) den technischen Vorteil, dass sie ein ungerichtetes grafisches Modell ist. Im Gegensatz zu Deep-Belief-Netzwerken kann die approximative Inferenzprozedur in DBMs zusätzlich zu einem anfänglichen Bottom-Up-Durchlauf ein Top-Down-Feedback beinhalten, wodurch ermöglicht wird, dass Deep-Boltzmann-Maschinen Unsicherheiten besser propagieren und somit robuster mit mehrdeutigen Eingaben umgehen können. Außerdem kann die Erfindung durch einen Greedy-Algorithmus zum schichtweisen Vortraining eine schnelle approximative Inferenz in DBMs erreichen. Das heißt, wenn ein Datenvektor auf den sichtbaren Einheiten gegeben ist, kann jede Schicht verborgener Einheiten in einem einzigen Bottom-Up-Durchlauf aktiviert werden, indem die Bottom-Up-Eingabe verdoppelt wird, um das Fehlen eines Top-Down-Feedbacks zu kompensieren (mit Ausnahme der obersten Schicht, die keine Top-Down-Eingabe hat). Diese schnelle approximative Inferenz wird zum Initialisieren der Mean-Field-Methode verwendet, die dann viel schneller konvergiert als bei einer zufälligen Initialisierung.
-
Vorzugsweise beinhalten die a) kamerabasierten Merkmale des Fahrers i) den Gesichtswinkel unter Verwendung der Modified-Census-Transformation (MCT) und/oder ii) ein Lidschlagmuster.
-
Ferner können gemäß einer bevorzugten Ausführungsform der Erfindung die b) Fahrmustermerkmale einen oder mehrere Parameter unter i) einer Quergeschwindigkeit, ii) abruptem Gegenlenken und/oder iii) einer Lenksignaländerung aufweisen. Das erfindungsgemäße Verfahren beinhaltet alle Kombinationen der oben genannten Fahrmustermerkmale in einer beliebigen Reihenfolge. Das erste Fahrmuster kann i) ein Ereignis mit hoher Quergeschwindigkeit sein. Das Ereignis wird erfasst, wenn die aktuelle Quergeschwindigkeit die Referenz-Quergeschwindigkeit überschreitet. Überschreitet die Quergeschwindigkeit die Referenz-Quergeschwindigkeit, wird dies als Verlust der Fähigkeit des Fahrers zum Halten der Fahrspur betrachtet. Das zweite Fahrmuster kann ii) abruptes Gegenlenken in der Nähe des Fahrspurrandes sein. Wenn der Fahrer schläfrig ist, zeigt das Lenksignal aufgrund der Schwächung der Greifkraft eine geringe Änderung um Null. Daher kann das dritte Fahrmuster iii) in Änderungen des Lenkwerts bestehen, die während einiger Sekunden kleiner sind als ein normaler Bereich um Null, d.h. einer iii) Lenksignaländerung.
-
Vorzugsweise kann der eine oder können die mehreren Detektoren eine oder mehrere Kameras aufweisen, die eine Sichtkamera und/oder eine Infrarotkamera aufweisen können. Der eine oder die mehreren Detektoren können auch einen Quergeschwindigkeitsdetektor, einen Gegenlenkbewegungsdetektor und/oder einen Lenksignaldetektor aufweisen. Das erfindungsgemäße Verfahren kann alle Kombinationen der oben erwähnten Detektoren verwenden, d.h. es können mehrere gleiche oder verschiedene einzelne Detektoren verwendet werden. Der eine oder die mehreren Detektoren sind vorzugsweise dem Fahrer zugewandt, d.h. sie können dem Fahrer zugewandte Kameras und/oder dem Fahrer zugewandte Detektoren sein. Daher können Muster eines abnormalen Verhaltens des Fahrers eines Kraftfahrzeugs erfasst werden.
-
Fahrunterstützungssysteme weisen Fahrerassistenzsysteme auf, die bereits bekannt sind und in herkömmlichen Fahrzeugen verwendet werden. Die entwickelten Fahrunterstützungssysteme werden bereitgestellt, um Fahrzeugsysteme hinsichtlich der Sicherheit und besserem Fahrverhalten zu automatisieren, anzupassen und zu verbessern. Die Sicherheitsmerkmale sind dafür ausgelegt, Kollisionen und Unfälle zu vermeiden, indem sie Technologien bereitstellen, die den Fahrer auf potenzielle Probleme aufmerksam machen oder Kollisionen vermeiden, indem sie Sicherheitsmaßnahmen implementieren und die Kontrolle über das Fahrzeug übernehmen. In autonomen Fahrzeugen stellen die Fahrunterstützungssysteme eine Eingabe zum Ausführen einer Steuerung des Fahrzeugs bereit. Adaptive Merkmale können die Beleuchtung automatisieren, eine adaptive Geschwindigkeitsregelung bereitstellen, Bremsvorgänge automatisieren, Verkehrswarnungen integrieren, mit Smartphones kommunizieren, z.B. den Fahrer in Bezug auf andere Autos oder verschiedenartige Gefahren warnen, das Fahrzeug in der korrekten Fahrspur halten, oder anzeigen, was sich in toten Winkeln befindet. Fahrunterstützungssysteme, die die vorstehend erwähnten Fahrerassistenzsysteme aufweisen, basieren häufig auf Eingaben von mehreren Datenquellen, wie beispielsweise von im Kraftfahrzeug installierten bildgebenden Einrichtungen, Bildverarbeitung, Radarsensoren, LIDAR, Ultraschallsensoren und anderen Quellen.
-
Ferner kann gemäß einer bevorzugten Ausführungsform der Erfindung der vordefinierte Schwellenwert, bei dem die Warnung erzeugt wird, einen Modellparameter aufweisen. Vorzugsweise ist der vordefinierte Schwellenwert ein Modellparameter. Das bedeutet, dass die Warnung erzeugt wird, wenn der Rekonstruktionsfehler, der durch Rekonstruieren der Eingabe basierend auf dem Lernergebnis der Deep-Boltzmann-Maschine (DBM) hergeleitet wird, einen vorgegebenen Schwellenwert des Modellparameters überschreitet.
-
Vorzugsweise weist der Schritt zum Erzeugen einer Warnung das Erzeugen eines akustischen Signals, d.h. eines Audiosignals, eines haptischen Signals oder einer Kombination davon auf. Diese Warnung wird verwendet, um insbesondere einen Fahrer des Fahrzeugs zu warnen. Parallel dazu kann eine weitere Warnung erzeugt werden, die z.B. durch das Fahrunterstützungssystem verarbeitet wird. Das Warnen des Fahrers kann auch z.B. durch ein akustisches Signal allein oder in Kombination mit einem Audiosignal und/oder einem haptischen Signal erfolgen. Das erfindungsgemäße Verfahren kann alle Kombinationen der oben erwähnten Signale verwenden, um den Fahrer zu warnen.
-
Ferner wird gemäß einer bevorzugten Ausführungsform der Erfindung die Deep-Boltzmann-Maschine (DBM) unter Verwendung eines Greedy-Algorithmus zum schichtweisen Vortraining vortrainiert. Auf diese Weise kann die DBM die interne Darstellung der als Eingabe verwendeten Merkmale lernen.
-
Vorzugsweise weist die Deep-Boltzmann-Maschine (DBM) einen Stapel von Restricted-Boltzmann-Maschinen (RBMs) auf. Mit anderen Worten, die DBM erzeugt ein Lernergebnis, sobald der Stapel von RBMs die zugrundeliegenden gemeinsamen Wahrscheinlichkeitsverteilungen der Eingabemerkmale gelernt hat. Die Deep-Boltzmann-Maschine (DBM) kann eine sichtbare Schicht aufweisen, in die die Merkmale als Eingabe eingespeist werden. Der sichtbaren Schicht können dann eine verborgene Schicht H1 und eine verborgene Schicht H2 folgen.
-
Erfindungsgemäß ist auch die Verwendung der hierin beschriebenen Verfahren in einem Fahrunterstützungssystem eines Kraftfahrzeugs angegeben. Insbesondere ist erfindungsgemäß die Verwendung des Verfahrens für eine Kollisionsvermeidung für ein Kraftfahrzeug angegeben, das ein oben beschriebenes Fahrunterstützungssystem aufweist.
-
Erfindungsgemäß ist ferner ein Fahrunterstützungssystem für ein Kraftfahrzeug angegeben, das einen oder mehrere Detektoren aufweist, wobei das Fahrunterstützungssystem dafür konfiguriert ist, das hierin beschriebene Verfahren auszuführen.
-
Erfindungsgemäß ist ferner ein nichtflüchtiges computerlesbares Medium angegeben, das darauf gespeicherte Befehle aufweist, die, wenn sie durch einen Prozessor ausgeführt werden, ein Fahrunterstützungssystem veranlassen, das hierin beschriebene Verfahren auszuführen.
-
Weiterhin ist erfindungsgemäß ein Kraftfahrzeug angegeben, mit:
- einer Datenverarbeitungseinrichtung,
- einem nichtflüchtigen computerlesbares Medium, das darauf gespeicherte Anweisungen umfasst, die, wenn sie durch einen Prozessor ausgeführt werden, ein Fahrunterstützungssystem veranlassen, das hierin beschriebene Verfahren auszuführen, und
- einem Fahrunterstützungssystem für ein Kraftfahrzeug, das einen oder mehrere Detektoren aufweist, wobei das Fahrunterstützungssystem dafür konfiguriert ist, das hierin beschriebene Verfahrens auszuführen
-
Diese und andere Aspekte der Erfindung werden anhand der nachfolgend beschriebenen Ausführungsformen und Beispiele ersichtlich und erläutert. Einzelne Merkmale, die in Verbindung mit den Ausführungsformen dargestellt sind, können allein oder in Kombination einen Aspekt der vorliegenden Erfindung bilden. Merkmale der verschiedenen Ausführungsformen können von einer Ausführungsform auf eine andere Ausführungsform übertragen werden. Ausführungsformen der vorliegenden Erfindung werden anhand der nachstehenden Beispiele näher beschrieben, die lediglich zur Erläuterung dienen und die Erfindung in keinerlei Weise einschränken sollen.
-
Es zeigen:
- 1 schematisch ein Kraftfahrzeug 1 mit einem Fahrunterstützungssystem 2 und einem oder mehreren Detektoren 3 gemäß einer Ausführungsform der Erfindung; und
- 2 schematisch das Verfahren zur Kollisionsvermeidung für ein Kraftfahrzeug 1 mit einem Fahrunterstützungssystem 2 gemäß einer Ausführungsform der Erfindung.
-
Beispiel 1
-
1 zeigt schematisch ein Kraftfahrzeug 1 mit einem Fahrunterstützungssystem 2 und mit einem oder mehreren Detektoren 3 gemäß einer Ausführungsform der Erfindung.
-
2 zeigt schematisch ein Verfahren zur Kollisionsvermeidung für ein Kraftfahrzeug 1 gemäß einer Ausführungsform der Erfindung, das ein Fahrunterstützungssystem 2 aufweist. In diesem Beispiel weist das Verfahren zur Kollisionsvermeidung für ein Kraftfahrzeug 1, das ein Fahrunterstützungssystem 2 aufweist, die Schritte auf: Bereitstellen von Merkmalen, die a) kamerabasierte Merkmale des Fahrers, wie i) einen Gesichtswinkel und ii) ein Lidschlagmuster, und/oder b) Fahrmustermerkmale aufweisen, wie i) eine Quergeschwindigkeit, ii) abruptes Gegenlenken und/oder iii) eine Lenksignaländerung, unter Verwendung eines oder mehrerer der Detektoren 3, Modellieren der zugrundeliegenden gemeinsamen Wahrscheinlichkeitsverteilung der Merkmale unter Verwendung einer Deep-Boltzmann-Maschine (DBM) als ein generatives Modell, wobei die Merkmale als eine Eingabe für die DBM verwendet werden, Rekonstruieren der Eingabe basierend auf dem Lernergebnis der Deep-Boltzmann-Maschine (DBM) und Erzeugen einer Warnung, wenn der Rekonstruktionsfehler größer ist ein vordefinierter Schwellenwert.
-
Gemäß diesem Beispiel werden durch das Verfahren somit a) kamerabasierte (Sicht und/oder Infrarot) Merkmale bereitgestellt, wie i) der Gesichtswinkel unter Verwendung einer Modified-Census-Transformation (MCT) und/oder ii) ein Lidschlagmuster, und/oder b) Fahrmustermerkmale wie i) eine Quergeschwindigkeit, ii) abruptes Gegenlenken und/oder iii) eine Lenksignaländerung.
-
Die a) kamerabasierten Merkmale des Fahrers, die durch den einen oder die mehreren Detektoren 3 aufgenommen werden, weisen i) den Gesichtswinkel unter Verwendung einer Modified-Census-Transformation (MCT) und/oder ii) das Lidschlagmuster auf. Die b) Fahrmustermerkmale, die durch den einen oder die mehreren Detektoren 3 aufgenommen werden, weisen i) eine Quergeschwindigkeit, ii) abruptes Gegenlenken und/oder iii) eine Lenksignaländerung auf. Das erste Fahrmuster, das erfasst wird, ist ein Ereignis mit einer hohen Quergeschwindigkeit. Das Ereignis wird erfasst, wenn die aktuelle Quergeschwindigkeit die Referenz-Quergeschwindigkeit überschreitet. Überschreitet die Quergeschwindigkeit die Referenz-Quergeschwindigkeit, wird dies als Verlust der Fähigkeit des Fahrers zum Halten der Fahrspur betrachtet. Das zweite Fahrmuster, das erfasst wird, ist abruptes Gegenlenken in der Nähe des Fahrspurrands. Wenn der Fahrer schläfrig ist, zeigt das Lenksignal aufgrund der Schwächung der Greifkraft eine geringe Änderung um Null. Daher ist das dritte Fahrmuster, das erfasst wird, eine Änderung des Lenkwerts, die während einiger Sekunden kleiner ist als ein normaler Bereich um Null ist, d.h. die Len ksig naländeru ng.
-
Die Detektoren 3 weisen eine oder mehrere Kameras auf, wie beispielsweise eine Sichtkamera und/oder eine Infrarotkamera. Die Detektoren 3 weisen außerdem einen Quergeschwindigkeitsdetektor, einen Gegenlenkdetektor und/oder einen Lenksignaldetektor auf. Grundsätzlich sind alle Kombinationen der vorstehend erwähnten Detektoren möglich. In dieser Ausführungsform sind einige der Detektoren 3 dem Fahrer zugewandt, d.h. sie können dem Fahrer zugewandte Kameras und/oder dem Fahrer zugewandte Detektoren sein. Insbesondere kann die Kamera, z.B. eine Sichtkamera und/oder eine Infrarotkamera, dem Fahrer zugewandt sein. Somit können Muster eines abnormalen Verhaltens des Fahrers z.B. durch Erfassen i) des Gesichtswinkels unter Verwendung einer Modified-Census-Transformation (MCT) und/oder ii) des Lidschlagmusters erfasst werden.
-
Anschließend werden die erfassten Merkmale, d.h. die a) kamerabasierten Merkmale und/oder die b) Fahrmustermerkmale, in die Neuronen der sichtbaren Schicht der Deep-Boltzmann-Maschine (DBM) als Eingabe eingespeist. Die DBM modelliert dann die zugrundeliegende gemeinsame Wahrscheinlichkeitsverteilung der beitragenden Merkmale, d.h. der a) kamerabasierten Merkmale und/oder der b) Fahrmustermerkmale, ohne dass ein Labelling erforderlich ist. Nach der Entwicklung versucht das Modell dann, die Eingabe unter Verwendung seiner gelernten Wahrscheinlichkeitsverteilungsfunktion zu rekonstruieren. Überschreitet der Rekonstruktionsfehler einen bestimmten Schwellenwert, wird dies als eine Anomalie betrachtet.
-
Der vordefinierte Schwellenwert, bei dem die Warnung erzeugt wird, z.B. bei dem der Fahrer des Kraftfahrzeugs 1 nach der Rekonstruktion der Eingabe gewarnt wird, ist ein Modellparameter. Dies bedeutet, dass die Warnung erzeugt wird, wenn der Rekonstruktionsfehler, der von der Rekonstruktion der Eingabe basierend auf dem Lernergebnis der DBM hergeleitet wird, einen vordefinierten Schwellenwert eines Modellparameters überschreitet.
-
Nach der Rekonstruktion werden die Ergebnisse schließlich verwendet, um die Warnung zu erzeugen, z.B. den Fahrer des Kraftfahrzeugs 1 zu warnen, wenn der Rekonstruktionsfehler den vordefinierten Schwellenwert überschreitet. Das Warnen des Fahrers hinsichtlich des Schläfrigkeitsgrads, des Ermüdungsgrads oder des Grads eines abgelenkten Zustands, in dem sich der Fahrer gerade befindet, erfolgt durch ein akustisches und/oder ein haptisches Signal/Feedback, das den Fahrer anregt, eine Pause einzulegen oder die Fahrzeugsteuerung an einen anderen Fahrer zu übergeben, bei dem eine ähnliche erhöhte Gefahr, eine Kollision zu verursachen, nicht besteht, sondern der z.B. einen niedrigen Schläfrigkeits-, Müdigkeits- oder Ablenkungsgrad aufweist.
-
Die Deep-Boltzmann-Maschine (DBM) wird unter Verwendung eines Greedy-Algorithmus zum schichtweisen Vortraining vortrainiert. Auf diese Weise kann die DBM die interne Darstellung der als Eingabe verwendeten Merkmale lernen.
-
Die Deep-Boltzmann-Maschine (DBM) weist einen Stapel von Restricted-Boltzmann-Maschinen (RBMs) auf. Mit anderen Worten, die DBM erzeugt ein Lernergebnis, sobald der Stapel von RBMs die zugrundeliegenden gemeinsamen Wahrscheinlichkeitsverteilungen der Eingabemerkmale gelernt hat. Die Deep-Boltzmann-Maschine (DBM) weist eine sichtbare Schicht auf, in die die Merkmale als Eingabe eingespeist werden. Auf die sichtbare Schicht folgen dann eine verborgene Schicht H1 und eine verborgene Schicht H2.
-
Bezugszeichenliste
-
- 1
- Kraftfahrzeug
- 2
- Fahrunterstützungssystem
- 3
- Detektor
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2007/0280505 A1 [0009]
- US 2008/0069403 A1 [0010]
- US 2014/0097957 A1 [0011]
