-
Die vorliegende Erfindung betrifft ein Verfahren und ein Assistenzsystem zum Unterstützen einer Fahrzeugführung. Die Erfindung betrifft weiter ein entsprechend eingerichtetes Kraftfahrzeug.
-
Beispielsweise in Großstädten kann es zu komplexen Fahr- oder Verkehrssituationen kommen. Dies kann beispielsweise an unübersichtlichen Kreuzungen, in Bereichen mit geänderter Verkehrsführung, in Kombination mit Straßenbahn- oder Busverkehr, potenziell ablenkender kommerzieller Beschilderung an einer Bebauung entlang einer jeweiligen Straße und/oder dergleichen mehr der Fall sein. Derartige Situationen können ein besonders hohes Maß an Konzentration, Aufmerksamkeit und Umsicht von Seiten eines Fahrers eines Fahrzeugs erfordern und insbesondere ortsunkundige Fahrer überfordern und zu Fehlern bei der richtigen Wegwahl und entsprechend zu Unfällen führen. Um dieser Problematik zu begegnen, werden oftmals entsprechende verkehrsleitende Schilder aufgestellt, was bei einer Vielzahl solcher Schilder jedoch ebenfalls problematisch sein kann, da im Verkehrsfluss nicht immer ausreichend Zeit gegeben ist, um sämtliche Schilder zuverlässig zu lesen und zu verstehen bzw. zu interpretieren und rechtzeitig auf durch die Schilder vermittelte Informationen zu reagieren. Dies kann besonders problematisch sein, wenn die Schilder in einer für den jeweiligen Fahrer fremden Sprache verfasst sind. Wenn in derartigen Situationen die Fahrzeugführung automatisiert unterstützt werden kann, kann dies für den Fahrer eine Stressreduktion und insgesamt eine verbesserte Sicherheit im Verkehrsgeschehen mit sich bringen.
-
Als einen Ansatz beschreibt die
US 7,386,437 B2 ein System und ein Verfahren zum Bereitstellen übersetzter Informationen an einen Fahrer eines Fahrzeugs mit einem Navigationssystem. In dem Verfahren wird eine Umgebung des Fahrzeugs mit einer Videokamera überwacht, um informative Schilder zu detektieren. Anhand der aktuellen Position des Fahrzeugs wird eine Inputsprache bestimmt. Wenn ein detektiertes Schild entlang einer Route des Fahrzeugs angeordnet ist, wird es aus der Inputsprache für den Fahrer übersetzt.
-
Als weiteren Ansatz beschreibt die
DE 20 2011 100 069 U1 ein System zum Erkennen von Verkehrszeichen zur Anwendung in einem Kraftfahrzeug. Das System ist dazu eingerichtet, Bilder mit zu erkennenden Verkehrszeichen durch eine Windschutzscheibe des Kraftfahrzeugs aufzunehmen, dadurch bedingte Verzerrungen im aufgenommenen Bild zu kompensieren und schließlich Verkehrszeichen auf den aufgenommenen Bildern zu erkennen. Damit sollen den Fahrzeuginsassen des Kraftfahrzeugs unter weitgehendem Einsatz von Komponenten, die allgemein und preiswert verfügbar sind, verkehrsrelevante Informationen angeboten werden.
-
Aufgabe der vorliegenden Erfindung ist es, eine Fahrzeugführung automatisiert zu unterstützen.
-
Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Mögliche Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in der Figur offenbart.
-
Das erfindungsgemäße Verfahren dient zum Unterstützen einer Fahrzeugführung. Damit kann also eine zumindest teilautomatisierte Führung des Fahrzeugs unterstützt werden oder ein Fahrer oder Führers des Fahrzeugs bei dessen manueller Führung unterstützt werden. Ein solches Fahrzeug kann ein Kraftfahrzeug, insbesondere ein Pkw, sein, wobei die vorliegende Erfindung jedoch nicht hierauf beschränkt ist. Das erfindungsgemäße Verfahren bzw. dessen im Folgenden erläuterte Verfahrensschritte können automatisch ausgeführt werden, beispielsweise durch ein dafür eingerichtetes Assistenzsystem.
-
In einem Verfahrensschritt des erfindungsgemäßen Verfahrens werden mittels einer Kamera des Fahrzeugs Bilddaten aufgenommen, die eine jeweilige in Fahrtrichtung des Fahrzeugs vorausliegende Umgebung des Fahrzeugs abbilden. Die in Fahrtrichtung vorausliegende Umgebung umfasst dabei im vorliegenden Sinne nicht nur Bereiche, die das Fahrzeug bei fortgesetzter Bewegung tatsächlich befahren wird, sondern kann sich beispielsweise von der jeweils aktuellen Position des Fahrzeugs kegelförmig in Fahrtrichtung nach vorne erstrecken, also auch in Fahrtrichtung voraus und seitlich von dem Fahrzeug bzw. dessen Trajektorie liegende Bereiche umfassen. Die Bilddaten können Kamerabilder, ein Bildstrom oder ein Videostrom sein oder umfassen und dementsprechend in der Umgebung des Fahrzeugs angeordnete Verkehrszeichen, Schilder und dergleichen mehr abbilden. Im Betrieb des Fahrzeugs können kontinuierlich oder regelmäßig, beispielsweise mit einer vorgegebenen Aufnahmefrequenz, solche Bilddaten aufgenommen werden, die jeweils wie nachfolgend beschrieben verarbeitet werden können.
-
In einer weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird jeweils durch Verarbeiten der Bilddaten - sofern vorhanden, also darin abgebildet - wenigstens ein Schild identifiziert, auf dem ein verkehrsleitender, also verkehrsrelevanter bzw. für die Führung des Fahrzeugs relevanter Text abgebildet ist. Ein solcher Text ist vorliegend weit gefasst zu verstehen, kann also beispielsweise einen oder mehrere vollständige oder unvollständige Sätze umfassen oder ein diskontinuierlicher Text oder dergleichen sein. Ebenso können ein einzelnes Wort oder mehrere einzelne Wörter, wodurch beispielsweise ein Hinweis oder dergleichen vermittelt wird, als Text im vorliegenden Sinne gelten. Insbesondere kann ein Text im vorliegenden Sinne jedoch wenigstens ein Wort umfassen, also beispielsweise nicht nur aus Zahlen oder Pfeilen oder dergleichen bestehen. Solche Zahlen, Pfeile oder weitere Symbole, die auf dem jeweiligen Schild gemeinsam mit wenigstens einem Wort abgebildet sind, können jedoch als Teil des Textes aufgefasst bzw. verarbeitet werden.
-
Insbesondere kann hier ein temporäres, reguläre oder standardisierte Verkehrszeichen oder Schilder ergänzendes oder nicht standardisiertes Schild identifiziert werden. Auf solchen Schildern können oftmals Texte oder Informationen angegeben sein, die nur vorübergehend oder nur spezifisch an der jeweiligen Stelle passend oder relevant sind. Solche Schilder können für Fahrer unvertraut sein und dementsprechend mehr Zeit und Aufmerksamkeit für ihre Interpretation erfordern bzw. nicht im gleichen Maße intuitiv oder nicht genauso schnell erfasst werden, wie übliche Standardverkehrszeichen. Somit kann in Situationen mit derartigen Schildern ein erhöhter Unterstützungsbedarf bestehen, um eine möglichst stressarme und sichere Fahrzeug- bzw. Verkehrsführung zu erreichen oder zu ermöglichen.
-
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird der Text mittels natürlicher Sprachverarbeitung, also mittels der automatisierten oder maschinellen Verarbeitung natürlicher Sprache (englisch: Natural Language Processing, NLP) verarbeitet. Dadurch oder dabei wird ein semantischer Inhalt, also die Bedeutung des Textes ermittelt. Mit anderen Worten kann also eine automatische Erkennung oder Extraktion des durch das jeweilige Schild angegebenen Bedeutungsinhalts durchgeführt werden. Darauf basierend wird dann die Relevanz des Schildes bzw. des Textes oder von dessen semantischem Inhalt für die Fahrzeugführung in der jeweils aktuellen Situation ermittelt. Beispielsweise kann das Schild nur zu bestimmten Zeiten, für bestimmte Fahrzeuge, für bestimmte Personen, für eine von mehreren vom Standort des Schildes ausgehenden möglichen Routen und/oder dergleichen mehr relevant sein bzw. gelten. Es wird hier also nicht nur eine durch das Schild angegebene Information bestimmt, sondern diese auch semantisch weiterverarbeitet bzw. hinsichtlich ihrer Relevanz überprüft. Dabei können vorgegebene Daten, die beispielsweise das jeweilige Fahrzeug, dessen Fahrer und/oder eine jeweils aktuelle Situation charakterisieren, berücksichtigt werden. Derartige Daten können beispielsweise in einem computerlesbaren Datenspeicher des Fahrzeugs bzw. des zur Durchführung des Verfahrens verwendeten Assistenzsystems oder dergleichen hinterlegt sein.
-
Falls bzw. wenn das Schild oder die durch dieses vermittelte Information für die Fahrzeugführung des jeweiligen Fahrzeugs zum jeweiligen Zeitpunkt, zu dem das Fahrzeug sich im Bereich des Schildes befindet, relevant ist, wird der Fahrer des Fahrzeugs darauf hingewiesen und/oder die Fahrzeugführung entsprechend angepasst. Dies kann also dann automatisch erfolgen oder durchgeführt werden, wenn das Schild zutreffend für das Fahrzeug gemäß dessen Route, Art und/oder Insassen, gemäß der aktuellen Situation und/oder dergleichen mehr ist oder - je nach Implementierung der vorliegenden Erfindung - beispielsweise dann, wenn die ermittelte Relevanz größer als ein vorgegebener Relevanzschwellenwert ist.
-
Um den Fahrer auf das Schild bzw. dessen Bedeutung oder semantischen Inhalt hinzuweisen kann beispielsweise eine entsprechende Anzeige in einem Kombiinstrument, Infotainmentdisplay oder Head-Up Display (HUD) des Fahrzeugs und/oder eine entsprechende Sprachausgabe erfolgen. Dabei kann ein Abbild oder eine Repräsentation des Schildes, des darauf angegebenen Textes oder des semantischen Inhalts, gegebenenfalls in verarbeiteter, angepasster oder abgekürzter Form ausgegeben werden. Eine entsprechende Anpassung der Fahrzeugführung kann beispielsweise eine funktionale Berücksichtigung des semantischen Inhalts, also eine Reaktion darauf in Form einer entsprechenden Steuerung oder Steuermaßnahme oder dergleichen bedeuten oder umfassen. Mit anderen Worten kann dann beispielsweise gemäß dem semantischen Inhalt des Schildes ein Navigationsgerät zur situationsgerechten Routenführung, ein Assistenzsystem zum Auffinden einer geeigneten Abstell- oder Parkfläche für das Fahrzeug, eine Beleuchtungseinrichtung, ein Radio, eine Geschwindigkeit des Fahrzeugs und/oder dergleichen mehr automatisch gesteuert oder angepasst werden.
-
Das Hinweisen des Fahrers auf das Schild bzw. dessen semantischen Inhalt kann diesem ein besonders zuverlässiges und vereinfachtes Erfassen der Bedeutung des jeweiligen Schildes ermöglichen. Dies kann beispielsweise dadurch unterstützt werden, dass das Schild oder dessen semantischer Inhalt in abgewandelter Form, beispielsweise in vorgegebene, dem Fahrer vertraute Symbole, eine dem Fahrer vertraute Sprache oder ein dem Fahrer vertrautes Alphabet oder dergleichen übersetzt oder umgesetzt wird, eine entsprechende Anzeige für einen längeren Zeitraum dargestellt wird und dementsprechend länger vom Fahrer studiert werden kann als das jeweilige tatsächliche Schild gegebenenfalls sichtbar ist, eine Sprachausgabe das Erfassen des semantischen Inhalts bzw. der Bedeutung des Schildes auch dann ermöglicht, wenn der Fahrer das Schild nicht im Blick hat oder nicht erkennen kann und/oder dergleichen mehr. Zudem kann dem Fahrer durch die vorliegende Erfindung die Aufgabe oder Mühe abgenommen werden, zu erfassen, ob ein gesehenes Schild in der jeweils aktuellen Situation überhaupt relevant ist oder nicht. Dadurch kann sich der Fahrer auf die relevanten Schilder bzw. das Erfassen und Berücksichtigen von deren zentralem semantischen Inhalt oder Bedeutung konzentrieren. Insgesamt kann durch die vorliegende Erfindung somit der Fahrer gerade in besonders stressbehafteten oder risikoreichen Situationen beim Ausführen des Fahrzeugs unterstützt werden. Somit kann also der Fahrer gerade in besonders komplexen Verkehrssituationen entlastet werden, da er gezielt auf wichtige, also relevante Hinweise aufmerksam gemacht werden kann. Ebenso kann eine Zuverlässigkeit, Robustheit und Sicherheit einer zumindest teilautomatisierten Fahrzeugführung, also einer entsprechenden Funktion eines oder mehrerer weiterer Assistenzsystemen des Fahrzeugs unterstützt oder verbessert werden.
-
Durch die vorliegende Erfindung können dabei insbesondere auch verkehrsrelevante Informationen berücksichtigt werden, die nicht über klassische oder standardisierte Schilder oder Verkehrszeichen dargestellt oder vermittelt werden. Solche Informationen werden gegebenenfalls durch herkömmliche Assistenzsysteme zur Verkehrszeichenerkennung oftmals nicht zuverlässig erkannt. Ein weiterer Vorteil besteht darin, dass die Fahrzeugführung hier besonders situationsangepasst unterstützt werden kann, beispielsweise auch dann, wenn die durch das jeweilige Schild vermittelten Informationen nicht oder noch nicht über andere Kanäle verfügbar sind, also beispielsweise nicht in einer Navigationskarte oder Navigationsdatenbank oder über TMC-Signal übermittelt bzw. erfasst werden und/oder dergleichen mehr. Dies kann beispielsweise auftreten, wenn das Schild neu ist oder beispielsweise nur für einen relativ kurzen Zeitraum gültig ist, beispielsweise bei einer vorübergehenden Straßensperrung, bei einem kurzfristigen Freihalten einer Verkehrsfläche für Be- oder Entladearbeiten, bei Bauarbeiten und/oder dergleichen mehr.
-
Das erfindungsgemäße Verfahren kann dabei relativ einfach und aufwandsarm implementiert und beispielsweise auch in bestehenden Fahrzeugen nachgerüstet bzw. angewendet werden. So kann beispielsweise eine ohnehin bereits für andere Funktionalitäten im Fahrzeug vorhandene Kamera zum Aufnehmen der Bilddaten und ein bestehendes Steuergerät des Fahrzeugs zum Ausführen einer entsprechenden Software, also eines das erfindungsgemäße Verfahren implementierenden Computerprogramms verwendet werden. Ebenso kann aber beispielsweise ein mobiles elektronisches Gerät, wie etwa ein Smartphone oder dergleichen, in oder an dem jeweiligen Fahrzeug befestigt und zur Durchführung des erfindungsgemäßen Verfahrens verwendet werden. Damit kann das erfindungsgemäße Verfahren beispielsweise auch zum Unterstützen einer Führung von Fahrzeugen, die nicht mit einer Kamera oder einem geeigneten Steuergerät oder dergleichen ausgestattet sind, nicht-motorisierten Fahrzeugen, Fahrrädern, Handwagen und/oder dergleichen mehr angewendet werden.
-
Es kann vorgesehen sein, dass auch dann, wenn das jeweilige Schild als nicht relevant eingestuft wird, dies ebenfalls angezeigt, repräsentiert oder dem Fahrer vermittelt wird, beispielsweise durch einen entsprechenden optischen und/oder akustischen Hinweis oder dergleichen. Dies kann den Fahrer ebenfalls entlasten, da er dann weiß, ob er das Schild beachten muss oder nicht, beispielsweise wenn er die entsprechende für die Relevanz ausschlaggebende Information übersehen hat.
-
Ebenso können auch dann, wenn das jeweilige Schild initial, also etwa bei seiner ersten Identifizierung, nicht als relevant eingestuft wird, für dieses Schild ermittelte Daten gespeichert oder zwischengespeichert werden. Beispielsweise können solche Daten die Position des Schildes, dessen Gültigkeitsbereich, der ermittelte Text, dessen semantischer Inhalt und/oder dergleichen mehr sein oder umfassen. Diese Daten können beispielsweise für wenigstens eine vorgegebene Zeitspanne und/oder wenigstens so lange, bis sich das Fahrzeug wenigstens bis zu einer vorgegebenen Mindestentfernung von dem Schild entfernt hat, gespeichert oder zwischengespeichert, also vorgehalten werden. Weiter kann kontinuierlich oder regelmäßig eine Position, eine Bewegung oder ein Verhalten des Fahrzeugs bzw. des Fahrers überprüft oder überwacht werden. Darauf basierend kann dann ebenfalls kontinuierlich oder regelmäßig die Relevanz des Schildes bzw. von dessen Bedeutung überprüft werden. Dies beruht auf der Erkenntnis, dass sich die Relevanz eines Schildes abhängig von zukünftigen Entscheidungen des Fahrers oder zukünftigen, unvorhergesehenen Veränderungen der Fahrzeugführung oder mit dem Verstreichen der Zeit verändern kann. So kann ein initial als nicht relevant eingestuftes Schild zu einem späteren Zeitpunkt relevant werden. Zu diesem späteren Zeitpunkt kann sich das Schild aber bereits außerhalb eines Sicht- oder Erfassungsbereiches der Kamera befinden, sodass es dann gegebenenfalls nicht erneut identifiziert und als dann relevant eingestuft werden würde. Jeweils wenn ein zuvor identifiziertes Schild relevant wird, kann darauf wie beschrieben automatisch reagiert, also beispielsweise der Fahrer darauf hingewiesen oder die Fahrzeugführung entsprechend angepasst werden. Beispielsweise kann ein Schild neben einer Parkfläche diese als nur bestimmten Fahrzeugarten, wie etwa Taxis oder dergleichen, vorbehalten deklarieren. Ist das Fahrzeug von anderer Art, kann das Schild als nicht relevant eingestuft werden, da es keine für das Fahrzeug nutzbare Parkfläche anzeigt, insbesondere wenn eine aktuelle Navigationsroute des Fahrzeugs an der Parkfläche vorbeiführt und/oder das Fahrzeug bzw. der Fahrer an dem Schild vorbeifährt, ohne abzubremsen und/oder ohne die Parkfläche anzusteuern. Beispielsweise kann der Fahrer danach jedoch unerwartet abbremsen und zurücksetzen, um die Parkfläche anzusteuern. Da dies zu einem regelwidrigen Abstellen das Fahrzeugs auf der Parkfläche führen kann oder würde, gewinnt das Schild dann an Relevanz. Dies kann automatisch erkannt werden. Dementsprechend kann der Fahrer dann auf das Schild bzw. dessen semantischen Inhalt hingewiesen werden. Somit kann eine weitere verbesserte Unterstützung der Fahrzeugführung erreicht werden.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung wird das Verarbeiten der Bilddaten und des Textes mittels einer vorgegebenen, dazu eingerichteten Datenverarbeitungseinrichtung lokal in dem Fahrzeug durchgeführt. Diese Datenverarbeitungseinrichtung kann insbesondere ein Steuergerät des Fahrzeugs sein oder umfassen. Ebenso kann als die Datenverarbeitungseinrichtung oder als Teil davon ein in dem Fahrzeug mitgeführtes, beispielsweise mit dem Fahrzeug gekoppeltes mobiles elektronisches Gerät, wie etwa ein Smartphone, ein Tablet, ein Computer oder dergleichen, verwendet werden. Ersteres kann eine besonders zuverlässige und komfortable Anwendung des erfindungsgemäßen Verfahrens ermöglichen, während Letzteres beispielsweise eine einfachere Softwareaktualisierung oder eine Nutzung von mehr oder zusätzlicher Rechenleistung für das Verfahren ermöglichen kann. Durch die hier vorgeschlagene lokale Datenverarbeitung in dem Fahrzeug wird keine Datenübertragung beispielsweise an eine fahrzeugexterne Servereinrichtung benötigt. Damit kann das erfindungsgemäße Verfahren unabhängig von einer entsprechenden Konnektivität angewendet werden, beispielsweise in Bereichen ohne Mobilfunknetzabdeckung, in Tunneln, im Ausland und dergleichen mehr. Dadurch kann die Zuverlässigkeit und Verfügbarkeit des erfindungsgemäßen Verfahrens bzw. der entsprechenden Assistenzfunktionalität sichergestellt bzw. verbessert werden. Zudem kann durch die lokale Verarbeitung der Bilddaten und des Textes in dem Fahrzeug das erfindungsgemäße Verfahren mit geringerer Latenz ausgeführt werden als wenn entsprechende Daten zwischen dem Fahrzeug und einer fahrzeugexternen Servereinrichtung, beispielsweise einem Backend, einem Cloudserver, einem Rechenzentrum oder dergleichen, ausgetauscht werden müssen. Dadurch kann der Hinweis an den Fahrer oder die Anpassung der Fahrzeugführung besonders schnell, also besonders frühzeitig erfolgen, wo wodurch entsprechend mehr Zeit für eine Reaktion oder Umsetzung zur Verfügung stehen kann.
-
Um den Rechenaufwand, also den Bedarf an Hardwareressourcen zur Anwendung des erfindungsgemäßen Verfahrens zu reduzieren, kann beispielsweise eine auf einem optischen Fluss basierende Bildverarbeitung angewendet werden. Dies kann besonders vorteilhaft bei lokaler Verarbeitung der Bilddaten in dem Fahrzeug angewendet werden, da hierfür eine Serie oder zeitliche Sequenz von Bilddaten benötigt wird und auch beispielsweise Daten, die eine Trajektorie des Fahrzeugs beschreiben, berücksichtigt werden können, was insgesamt eine andernfalls an die fahrzeugexterne Servereinrichtung zu übertragende Datenmenge erhöhen würde.
-
Nichtsdestotrotz kann die beschriebene Datenverarbeitung aber alternativ oder ergänzend ganz oder teilweise durch die fahrzeugexterne Servereinrichtung durchgeführt werden. Dort kann eine größere Rechenleistung oder Rechenkapazität als in dem Fahrzeug zur Verfügung stehen, was gegebenenfalls eine schnellere, genauere oder robustere Verarbeitung der entsprechenden Daten ermöglichen kann. Zudem kann dies eine Nutzung der Daten in einer Flotte oder einem Schwarm von Fahrzeugen, eine Aktualisierung von serverseitigen oder zentralen Kartendaten und/oder dergleichen mehr ermöglichen.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden die Bilddaten als zeitliche Sequenz, also beispielsweise als Vielzahl von Einzelbildern, als Bildstrom oder als Videostrom, aufgenommen. Für jeweils neuere Teile der Bilddaten wird dann überprüft, ob für ein darin abgebildetes Schild dessen Text bereits verarbeitet wurde. Wenn dies der Fall ist, wird für dieses Schild basierend auf den neueren Teilen der Bilddaten keine erneute Verarbeitung des Textes durchgeführt. Mit anderen Worten können also bereits erkannte und semantisch verarbeitete Schilder herausgefiltert werden, sodass entsprechender doppelter oder mehrfacher Datenverarbeitungsaufwand, wie beispielsweise zur Buchstabenerkennung und zur semantischen Textanalyse, eingespart werden kann. Andere Daten oder Eigenschaften des jeweiligen Schildes, wie beispielsweise Positionsdaten oder Pixelkoordinaten, können jedoch weiterhin oder erneut, bestimmt, verarbeitet bzw. aktualisiert werden. Dies kann beispielsweise eine korrekte kontinuierliche Hervorhebung des jeweiligen Schildes ermöglichen, etwa durch Anzeige eines Rahmens oder dergleichen an der Position des Schildes in einer Videowiedergabe, in einem HUD und/oder dergleichen mehr. Es kann hier vorgesehen sein, dass für ein mehrfach oder dauerhaft identifiziertes Schild die Verarbeitung von dessen Text so lange wiederholt durchgeführt oder versucht wird, bis ein entsprechendes Verarbeitungsergebnis also beispielsweise die automatische Erkennung des Textes oder des semantischen Inhalts des Textes, mit wenigstens einer vorgegebenen Mindestkonfidenz ermittelt wurde oder in wenigstens einer vorgegebenen Anzahl von entsprechenden aufeinanderfolgenden Verarbeitungen oder Analysen dasselbe Verarbeitungsergebnis ermittelt wurde. Dadurch kann beispielsweise berücksichtigt werden, dass je nach relativer Position des Schildes zu dem Fahrzeug oder je nach Aufnahmewinkel, unter dem das Schild bzw. die entsprechenden Bilddaten aufgenommen werden, eine Texterkennung unterschiedlich genau oder unterschiedlich zuverlässig sein kann. Damit kann also insgesamt eine besonders effiziente Anwendung des Verfahrens oder ein Kompromiss zwischen Effizienz und Robustheit realisiert werden.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird beim Ermitteln des semantischen Inhalts überprüft, ob der jeweilige Text eine Zeitangabe enthält, welche einen Gültigkeitszeitraum des Schildes angibt oder einschränkt. Ist dies der Fall, wird nur dann, wenn der jeweils aktuelle Zeitpunkt in diesen Gültigkeitszeitraum fällt, das Schild als relevant für die Fahrzeugführung eingestuft. Zusätzlich oder alternativ wird beim Ermitteln des semantischen Inhalts überprüft, ob der Text ein Fahrzeugmerkmal angibt, durch welches die Gültigkeit des Schildes auf Fahrzeuge mit diesem Fahrzeugmerkmal eingeschränkt wird. Ist dies der Fall, wird das Schild nur dann als relevant für die Fahrzeugführung eingestuft, wenn das Fahrzeug das angegebene Fahrzeugmerkmal aufweist oder erfüllt. Im ersten Fall kann der erkannte Text also beispielsweise hinsichtlich eines Datums oder einer Uhrzeit interpretiert werden. So kann der Text beispielsweise angeben, dass eine Straße oder eine Durchfahrt oder dergleichen nur zwischen einem ersten Datum oder einer ersten Uhrzeit und einem zweiten Datum oder einer zweiten Uhrzeit gesperrt oder befahrbar ist, ein Halteverbot oder eine Umleitung nur in einem bestimmten Zeitraum gilt und/oder dergleichen mehr. Im zweiten Fall können entsprechende Fahrzeugmerkmale beispielsweise ein Gesamtgewicht, einen Fahrzeugtyp und/oder dergleichen mehr betreffen oder spezifizieren. So kann das Schild beispielsweise nur für PKWs, LKWs, Busse, Motorräder, Fahrräder oder dergleichen gelten. Beispielsweise kann das Schild angeben oder spezifizieren, dass eine Straße oder Brücke oder dergleichen, insbesondere vorübergehend, etwa während einer Reparatur- oder Wartungszeit oder dergleichen, für bestimmte Fahrzeuge, wie beispielsweise entsprechend schwere Fahrzeuge, gesperrt ist oder beispielsweise während einer gegebenenfalls nur temporär geänderten Verkehrsführung eine Durchfahrt für bestimmte Fahrzeuge, wie etwa Fahrräder, gesperrt ist, ein Überholverbot nur für bestimmte Fahrzeugtypen oder erst ab einem bestimmten Fahrzeuggesamtgewicht gilt und/oder dergleichen mehr. Solche eine Hauptinformation des Schildes ergänzenden, einschränkenden oder spezifizierenden Detailinformationen können gerade in hektischen, stressreichen oder unübersichtlichen Verkehrs- oder Fahrsituationen von einem Fahrer des Fahrzeugs relativ einfach übersehen werden. Der Fahrer würde dann gegebenenfalls nur die Hauptinformation des Schildes ohne die den Gültigkeitszeitraum oder das für die Gültigkeit relevante Fahrzeugmerkmal spezifizierende Ergänzung oder Spezifizierung erfassen und dann gegebenenfalls regelwidrig agieren oder sein Verhalten unnötig einschränken oder anpassen.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird beim Ermitteln des semantischen Inhalts überprüft, ob der Text eine direkte, also explizite oder indirekte, also implizite Anweisung enthält. Wenn dies der Fall ist und das Schild für die Fahrzeugführung relevant ist, wird die Fahrzeugführung dann automatisch gemäß der Anweisung angepasst. Mit anderen Worten kann dann also das Fahrzeug oder eine Einrichtung des Fahrzeugs automatisch gesteuert werden, um die Anweisung zu befolgen, zu berücksichtigen oder umzusetzen. Eine entsprechende Anpassung kann beispielsweise eine Navigationsroute, eine Einstellung eines Scheibenwischer, einer Klimatisierungseinrichtung, einer Enteisungsanlage, einer untergrundspezifischen Einstellung oder Ansteuerung eines Fahrwerks, einer Bremsanlage, einer Lenkeinrichtung oder dergleichen, etwa für lose oder glatte Untergründe, eine Einstellung oder Auswahl eines Radiosenders, ein Aktivieren oder Deaktivieren einer Beleuchtungseinrichtung und/oder dergleichen mehr betreffen, bedeuten oder umfassen. Dies kann ein vorausschauendes Ausführen einer entsprechenden Anpassung ermöglichen, beispielsweise im Gegensatz zu herkömmlichen reaktiven Sensoren oder Assistenzsystemen, die entsprechend später reagieren, beispielsweise wenn die Umgebungshelligkeit - etwa nach Einfahrt in einen Tunnel - bereits abgesunken ist, eine Temperaturveränderung bereits stattgefunden hat, ein Brems- oder Lenkmanöver nicht den gewünschten Erfolg gezeigt hat, das Fahrzeug bereits auszubrechen droht und/oder dergleichen mehr. Demgegenüber ermöglicht die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung eine frühzeitigere, vorausschauende Reaktion, da entsprechende Schilder typischerweise bereits vor dem Auftreten einer entsprechenden Situation oder Gefahr auf diese hinweisen. Es kann vorgesehen sein, dass das automatische Anpassen der Fahrzeugführung nur dann erfolgt, wenn der semantische Inhalt wenigstens mit einer vorgegebenen Mindestkonfidenz erkannt wurde. Dies kann überraschende, unnötige oder den Fahrer verunsichernde automatische Eingriffe in die Fahrzeugführung vermeiden oder reduzieren.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden in mehreren nacheinander identifizierten Schildern wiederholte identische Referenzhinweise erkannt. Darauf basierend wird dann als deren semantischer Inhalt eine Identifizierung oder Angabe einer Route, insbesondere einer Umleitung oder Umgehung, ermittelt. Solche Referenzhinweise können beispielsweise Umleitungsbezeichnungen, wie etwa „U1“ oder ein blauer Punkt oder dergleichen sein oder umfassen. Eine Relevanz entsprechender Schilder kann dann gegeben sein, da der Fahrer bzw. das Fahrzeug anscheinend der entsprechenden Route folgt. Der Fahrer kann dann auf die Referenzhinweise hingewiesen werden, um es diesem zu erleichtern, der Route zu folgen, oder es kann eine Navigationsroute jeweils automatisch angepasst werden. Die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung kann besonders nützlich sein, da entsprechende Referenz- oder Routenführungshinweise oftmals entlang einer dem Fahrer nicht vertrauten Route auftreten oder einer nicht vertrauten Umgebung besonders leicht übersehen werden können.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird beim Verarbeiten des Textes dessen Sprache und/oder Alphabet identifiziert, also automatisch erkannt. Für den Hinweis an den Fahrer wird dann eine automatische Übersetzung in eine vorgegebene Sprache und/oder eine Ersetzung von Zeichen des Textes durch korrespondierende Zeichen eines vorgegebenen Alphabets durchgeführt. Dies kann es dem Fahrer, beispielsweise im Ausland, erleichtern oder ermöglichen, die Bedeutung des Schildes zu erfassen oder zu überprüfen. Dazu kann der Fahrer die entsprechende Sprache oder das entsprechende Alphabet vorgeben, beispielsweise über ein entsprechendes Benutzerinterface des Fahrzeugs oder des entsprechenden Assistenzsystems. Der in die vorgegebene Sprache und/oder das vorgegebene Alphabet übersetzte Text kann beispielsweise mittels einer Anzeigeeinrichtung des Fahrzeugs angezeigt werden. Dadurch kann dem Fahrer Gelegenheit gegeben werden, den Text vollständig zu lesen und zu erfassen oder beispielsweise sein Verständnis der Bedeutung des Schildes zu überprüfen. Insgesamt kann dadurch eine Unsicherheit des Fahrers reduziert werden, wenn er sich in einer Region mit für ihn fremdsprachigen Schildern befindet.
-
In einer möglichen Weiterbildung der vorliegenden Erfindung wird die Übersetzung des Textes mittels einer fahrzeugexternen Servereinrichtung durchgeführt. Dazu können die Bilddaten oder daraus extrahierte Textdaten in der Originalsprache des Schildes automatisch über eine zumindest teilweise oder streckenweise kabellose Datenverbindung, beispielsweise eine Mobilfunkverbindung oder dergleichen, an die fahrzeugexterne Servereinrichtung gesendet werden. Dort kann dann die automatische Übersetzung durchgeführt werden. Ein entsprechendes Übersetzungsergebnis, also insbesondere der übersetzte Text, kann dann von der fahrzeugexternen Servereinrichtung über die Datenverbindung zurück an das Fahrzeug gesendet werden. Das Fahrzeug kann das Übersetzungsergebnis, also insbesondere den übersetzten Text, dann empfangen und ausgeben bzw. lokal verwenden, um den Fahrer auf das jeweilige Schild bzw. dessen semantischen Inhalt oder Bedeutung hinzuweisen. Die Übersetzung des Textes mittels oder in der fahrzeugexternen Servereinrichtung kann eine verbesserte Übersetzungsqualität ermöglichen, da dann typischerweise mehr Ressourcen verwendet werden können als in dem Fahrzeug zur Verfügung stehen.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Assistenzsystem für ein Fahrzeug. Das erfindungsgemäße Assistenzsystem weist eine Datenverarbeitungseinrichtung zur Bildverarbeitung, Texterkennung und Verarbeitung natürlicher Sprache auf. Dabei ist das erfindungsgemäße Assistenzsystem zum, insbesondere automatischen, Ausführen des erfindungsgemäßen Verfahrens eingerichtet. Dazu kann das erfindungsgemäße Assistenzsystem bzw. dessen Datenverarbeitungseinrichtung beispielsweise eine Prozesseinrichtung, also etwa einen Mikrochip, Mikrocontroller oder Mikroprozessor oder dergleichen, und einen damit gekoppelten computerlesbaren Datenspeicher aufweisen. In diesem Datenspeicher kann ein Betriebs- oder Computerprogramm gespeichert sein, das die im Zusammenhang mit dem erfindungsgemäßen Verfahren genannten Verfahrensschritte, Abläufe oder Maßnahmen oder entsprechende Steueranweisungen codiert oder implementiert. Dieses Betriebs- oder Computerprogramm kann dann durch die Prozessoreinrichtung ausgeführt werden bzw. ausführbar sein, um das entsprechende Verfahren auszuführen oder dessen Ausführung zu bewirken. Das erfindungsgemäße Assistenzsystem kann insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Assistenzsystem sein oder diesem entsprechen. Dementsprechend kann das erfindungsgemäße Assistenzsystem also beispielsweise als Fahrzeugsteuergerät oder dergleichen ausgestaltet sein. Dabei kann das erfindungsgemäße Assistenzsystem ebenso beispielsweise die genannte Kamera umfassen und/oder eine entsprechende Schnittstelle, beispielsweise zum Anschließen an ein Bordnetz eines Fahrzeugs oder dergleichen, aufweisen.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Kraftfahrzeug, das wenigstens eine, insbesondere in Fahrzeuglängsrichtung nach vorne ausgerichtete, Kamera zum Aufnehmen oder Abbilden der jeweiligen Umgebung des Kraftfahrzeugs und ein erfindungsgemäßes Assistenzsystem aufweist. Das erfindungsgemäße Kraftfahrzeug kann insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren und/oder im Zusammenhang mit dem erfindungsgemäßen Assistenzsystem genannte Fahrzeug sein oder diesem entsprechen. Dementsprechend kann das erfindungsgemäße Kraftfahrzeug einige oder alle der in diesen Zusammenhängen genannten Eigenschaften und/oder Merkmale aufweisen. Beispielweise kann das Kraftfahrzeug eine Ausgabeeinrichtung zum Ausgeben von Hinweisen an einen Fahrer des Kraftfahrzeugs und/oder eine Fahrzeugführungseinrichtung zum zumindest teilautomatisierten Führen des Kraftfahrzeugs aufweisen, die zum Führen oder Steuern des Kraftfahrzeugs gemäß bzw. in Abhängigkeit von dem semantischen Inhalt von Texten für die Fahrzeugführung relevanter Schilder eingerichtet ist.
-
Weitere Merkmale der Erfindung können sich aus der nachfolgenden Figurenbeschreibung sowie anhand der Zeichnung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Die Zeichnung zeigt in der einzigen Figur eine ausschnittweise schematische Darstellung zur Veranschaulichung eines Verfahrens zur semantikbasierten Unterstützung einer Fahrzeugführung.
-
Gerade in Großstädten gibt es teilweise sehr komplexe Fahrsituationen, etwa an unübersichtlichen Kreuzungen, die ein hohes Maß an Konzentration verlangen, um den richtigen Weg zu wählen und Unfälle zu vermeiden. Zudem gibt es abseits der bekannten Straßenschilder auch häufig noch weitere Schilder, die auf Umleitungen, Straßensperrungen oder weitere verkehrsrelevante Informationen hinweisen. Diese Schilder auch noch zu sehen und geistig zu verarbeiten, macht die Fahraufgabe noch komplizierter. Sind diese noch in einer anderen Sprache oder gar nicht mit lateinischen Schriftzeichen verfasst, wird es noch komplizierter.
-
Es wäre daher nützlich, wenn ein Fahrzeug diese Schilder und Texte „lesen“ und den Fahrer gezielt darauf hinweisen oder die Informationen direkt verarbeiten könnte. Dies kann durch den Einsatz von Natural Language Processing (NLP) erreicht werden.
-
Zur Veranschaulichung zeigt 1 eine ausschnittweise schematische Darstellung eines Kraftfahrzeugs 1 und dessen Umgebung. Angedeutet sind hier eine Armaturentafel 2 des Kraftfahrzeugs 1 mit einem Kombiinstrument 3 und einem Infotainmentbildschirm 4. Oberhalb der Armaturentafel 2 ist eine Windschutzscheibe 5 des Kraftfahrzeugs 1 angedeutet. Weiter weist das Kraftfahrzeug 1 hier eine in Fahrtrichtung nach vorn ausgerichtete Kamera 6 zur Umgebungserfassung auf. Die Kamera 6 kann Bilddaten der Umgebung aufnehmen, die dann durch ein hier ebenfalls schematisch angedeutetes Assistenzsystem 7 des Kraftfahrzeugs 1 zum Unterstützen der Fahrzeugführung verarbeitet werden können. Das Assistenzsystem 7 weist einen Prozessor 8 und einen computerlesbaren Datenspeicher 9 auf und ist zum Durchführen eines nachfolgend beispielhaft erläuterten Verfahrens zum Unterstützen der Fahrzeugführung eingerichtet.
-
Durch die Windschutzscheibe 5 ist hier ein Ausschnitt einer Umgebung des Kraftfahrzeugs 1 mit einer Straße 10 dargestellt. Beispielhaft befindet sich hier an der Straße 10 eine Parkfläche 11 und ein Hinweisschild 12.
-
Das Hinweisschild 12 weist einen verkehrsleitenden Text 13 auf. Dieser kann beispielsweise angeben, dass die Straße 10 und/oder die Parkfläche 11 während bestimmter Zeiten und/oder für bestimmte Fahrzeuge gesperrt ist oder dergleichen.
-
Das Hinweisschild 12 kann in den durch die Kamera 6 aufgenommenen Bilddaten abgebildet sein und durch deren Verarbeiten von dem Assistenzsystem 7 identifiziert werden. Weiter kann das Assistenzsystem 7 den Text 13 erkennen und mittels natürlicher Sprachverarbeitung verarbeiten, um dessen semantischen Inhalt zu ermitteln. Das Assistenzsystem 7 kann dann ermitteln, ob das Hinweisschild 12 bzw. dessen Bedeutung in der jeweils aktuellen Situation für die Führung des Kraftfahrzeugs 1 relevant ist oder nicht. Wird das Hinweisschild 12 als relevant eingestuft, so kann ein Fahrer des Kraftfahrzeugs 1 darauf auf das Hinweisschild 12 und/oder dessen semantischen Inhalt hingewiesen werden. Dazu kann beispielsweise eine Hervorhebung 14 des Hinweisschildes 12, etwa in Form eines farbigen Rahmens um das Hinweisschild 12 oder dergleichen, angezeigt werden, beispielsweise mittels eines HUD des Kraftfahrzeugs 1. Zusätzlich oder alternativ kann beispielsweise in dem Kombiinstrument 3 und/oder in dem Infotainmentbildschirm 4 ein entsprechender Hinweis 15 auf das Hinweisschild 12 bzw. dessen Bedeutung, also den semantischen Inhalt des Textes 13 angezeigt werden. Ebenso kann das Assistenzsystem 7 einen entsprechenden Sprachhinweis ausgegeben und/oder eine Fahrzeugsteuerung oder zumindest teilautomatisierte Fahrzeugführung des Kraftfahrzeugs 1 automatisch gemäß dem semantischen Inhalt des Textes 13 anpassen.
-
Insbesondere in Großstädten aber ebenso an anderen Orten kann eine solche Situation auftreten, in der ergänzend zu bekannten oder standardisierten Schildern, Ampeln, Fahrbahnmarkierungen und sonstiger Straßenausstattung noch weitere Schilder wie das Hinweisschild 12 vorhanden sein können. Solche Hinweisschilder 12 können situations- und/oder ortsspezifisch, nicht-standardisiert und/oder nur temporär vorhanden oder relevant sein. Beispielsweise kann das Hinweisschild 12 in Textform über verkehrsrelevante Informationen informieren, wie beispielsweise Umleitungen, Straßensperrungen, sonstige wichtige verkehrsleitende Hinweise und dergleichen mehr. Da solche Informationen oder Hinweise gegebenenfalls nur temporär vorhanden oder relevant sind, sind sie oftmals in Navigationssystemen oder Navigationskarten nicht abgebildet oder enthalten. Zudem können solche Hinweisschilder 12 in verschiedenen Regionen oder Ländern abseits von Ortsbezeichnungen auch noch sonstige Substantive und/oder Verben enthalten, die zudem in unterschiedlichen Sprachen oder mit unterschiedlichen Alphabeten bzw. Schriftzeichen dargestellt sein können.
-
Solche textlastigen Hinweisschilder 12 können hier automatisiert von dem Kraftfahrzeug 1, insbesondere dem Assistenzsystem 7, erkannt werden. Durch das jeweilige Hinweisschild 12 vermittelte Informationen können dann automatisiert semantisch interpretiert werden, um den Fahrer des Kraftfahrzeugs 1 zu unterstützen oder zu entlasten, insbesondere in einer komplexen Verkehrssituation.
-
Dazu kann als die Kamera 6 beispielsweise eine bereits vorhandene Multifunktionskamera des Kraftfahrzeugs 1 verwendet werden, die ebenso für eine oder mehrere weitere Funktionen verwendet werden kann, wie etwa für ein maskierendes Dauerfernlicht, eine Standardverkehrszeichenerkennung, eine Fahrstreifen- oder Fahrbahnmarkierungserkennung und, eine Hinderniserkennung und/oder dergleichen mehr.
-
Das Assistenzsystem 7 kann mit der Kamera 6 verbunden bzw. gekoppelt sein. Ebenso können die Kamera 6 und das Assistenzsystem 7 miteinander kombiniert oder integriert sein.
-
Das Assistenzsystem 7 kann durch Verarbeitung der durch die Kamera 6 aufgenommenen Bilddaten entsprechende Texte 13 auffinden, diese digitalisieren und semantisch analysieren bzw. interpretieren. Dabei kann eine Methode zur Verarbeitung natürlicher Sprache angewendet werden, womit auch nicht für Verkehrszeichen standardisierte Texte 13 semantisch interpretiert werden können. Somit kann mit anderen Worten also auf nahezu beliebige verkehrsleitende Informationen bzw. Texte 13 gemäß deren semantischem Inhalt reagiert werden.
-
Dazu kann ein jeweiliges Bild zunächst mittels der Kamera 6 aufgenommen, vorverarbeitet und dann weiterverarbeitet werden. Schließlich kann der dabei erkannte Text 13 verarbeitet werden und eine entsprechende Ausgabe erfolgen, beispielsweise in Form der Hervorhebung 14, des Hinweises 15 und/oder eines Steuersignals für das Kraftfahrzeug 1 bzw. eine andere Assistenzeinrichtung des Kraftfahrzeugs 1.
-
Im ersten dieser Schritte kann die Kamera 6 kontinuierlich das Geschehen in Fahrtrichtung vor dem Kraftfahrzeug 1 filmen. Ebenso können ein oder mehrere weitere Umgebungskameras, wie beispielsweise eine seitlich ausgerichtete Kamera 6 oder eine Rückfahrkamera verwendet werden. Letztere werden jedoch mit hoher Wahrscheinlichkeit keine für die jeweilige Fahrsituationen relevanten Hinweisschilder 12 bzw. Texte 13 erfassen können. Daher kann entsprechender Datenverarbeitungsaufwand zum Verarbeiten von damit aufgenommenen Bildern eingespart werden. Die Kamera 6 kann mit einer vorgegebenen Bildrate arbeiten, also beispielsweise 20 bis 30 Bilder pro Sekunde aufnehmen, sodass dann beispielsweise alle 33 ms bis 50 ms ein neues Bild zur Verfügung stehen kann. Diese Bilder können, beispielsweise direkt in der Kamera 6, vorverarbeitet und dann zur weiteren Verarbeitung an das Assistenzsystem 7 übertragen werden.
-
Im zweiten Schritt erfolgt die entsprechende Vorverarbeitung des jeweiligen Bildes, was beispielsweise eine Anwendung eines oder mehrerer vorgegebener Algorithmen zur Bildaufbereitung bedeuten oder umfassen kann. Beispielsweise kann dabei eine automatische Helligkeits- oder Kontrastkorrektur bzw. -anpassung, ein Ausgleich von Bewegungsunschärfe in Kombination mit vorherigen Bildern, ein Transformieren des Bildes zur Entzerrung, etwa aufgrund einer verzerrenden Optik oder eines schrägen Aufnahmewinkels, eine Konvertierung in einen anderen Farbbereich, also beispielsweise eine Konvertierung zu einer Schwarz-weiß-Darstellung, einer Grauwertdarstellung oder in einen vorgegebenen HSV-Bereich (HSV: Hue-Saturation-Value) oder eine vorgegebene HSV-Kodierung oder dergleichen durchgeführt werden. Damit kann eine verbesserte, genauere oder effizientere Weiterverarbeitung des jeweiligen Bildes ermöglicht werden. Eine solche Vorverarbeitung kann durch Anwendung entsprechender Softwarealgorithmen oder in Hardware erfolgen.
-
Im dritten Schritt wird das jeweilige Bild weiterverarbeitet, wobei der Text 13 extrahiert wird. Dazu kann ein mehrstufiger Ansatz verwendet werden. In einer ersten Stufe kann eine Segmentierung angewendet oder durchgeführt werden, in der Bildregionen identifiziert werden können, die relevante Texte 13 enthalten oder enthalten können. Dazu kann beispielsweise ein Bilderkennungsverfahren, etwa auf der Basis von deep learning, also Maschinenlernen bzw. eines künstlichen neuronalen Netzes, eingesetzt werden. Ebenso können klassische Bildverarbeitungsverfahren eingesetzt werden, wie etwa eine Kantendetektion, beispielsweise Canny Edge Detection, um von zusammenhängenden Kanten umschlossene Flächen zu finden. So identifizierte Flächen können dann, gegebenenfalls unter Beachtung möglicher Verzerrungen, in Bezug auf ihre Form klassifiziert werden. Da Hinweisschilder 12 typischerweise rechteckig, rautenförmig oder rund sind, können dann nur solche Formen, also derart geformte Flächen herausgefiltert und weiterverarbeitet werden. Ein weiterer Ansatz besteht in der Nutzung von deep learning bzw. KI-basierten Methoden, um Regionen mit Buchstaben zu identifizieren. Dabei kann dann jeweils eine sogenannte bounding Box berechnet werden, welche die erkannte, buchstabenenthaltende Region umgibt und als entsprechende Fläche in der nachfolgenden Stufe bzw. weiteren Verfahrensschritten weiterverarbeitet werden kann.
-
In einer zweiten Stufe können alle in dem jeweiligen Bild identifizierten potenziell relevanten Regionen oder Flächen analysiert werden. Dazu kann auf diese Regionen oder Flächen beispielsweise eine optische Buchstabenerkennung (englisch: optical character recognition, OCR) angewendet werden. Dabei können jeweils digitalisierte Texte 13, insbesondere einschließlich ihrer Pixelkoordinaten, in einer entsprechenden vorgegebenen Datenstruktur, beispielsweise in dem Datenspeicher 9, zur Weiterverarbeitung gespeichert werden. Dort kann dann auch gespeichert oder hinterlegt werden, ob erkannt wurde, ob diese Texte 13 jeweils auf einem Schild standen.
-
Im vierten Schritt können die erkannten Texte 13 semantisch analysiert und auf ihre Relevanz für die jeweilige Verkehrssituation hin geprüft werden. Dazu kann zunächst eine vorgegebene Pipeline von Verarbeitungsschritten ausgeführt oder durchlaufen werden, um den jeweiligen erkannten Texte 13 zu normalisieren. Dies kann beispielweise bedeuten, dass der Text 13 in Kleinbuchstaben umgewandelt wird, Sätze extrahiert werden, indem der Text 13 an Interpunktionszeichen aufgetrennt wird, Wörter auf ihren Wortstamm abgebildet werden, beispielsweise mittels Stemming oder Lemmatisierung, eine sogenannte Part-of-Speech-Detektion ausgeführt wird, um Wortarten zu erkennen, und/oder dergleichen mehr.
-
Nach einer solchen Normalisierung des jeweiligen Textes 13 können weitere Verarbeitungs- oder Analyseschritte angewendet werden. Beispielsweise kann eine vorgegebene regelbasierte Textanalyse durchgeführt werden, um etwa Orts- und Zeitangaben oder auf bestimmte Fahrzeugfunktionen oder Fahrzeugmerkmale verweisende Angaben und/oder dergleichen mehr zu extrahieren, also zu erkennen. Wird dabei beispielsweise eine Ortsangabe, wie etwa ein Orts- oder Straßenname oder dergleichen, erkannt, so kann dann geprüft werden, ob eine aktuelle Navigationsroute des Kraftfahrzeugs 1 den entsprechenden Ort umfasst, also beispielsweise durch die entsprechende Straße führt. Wird eine Zeitangabe erkannt, so kann überprüft werden, ob demgemäß das jeweilige Hinweisschild 12 zum jeweils aktuellen Zeitpunkt relevant ist oder nicht. Zudem kann beispielsweise geprüft werden, ob der jeweilige Text 13 eine Umleitungsempfehlung, gegebenenfalls verbunden mit einem Referenzhinweis oder Umleitungskürzel, wie etwa „U2“ oder dergleichen, enthält. Ist dies der Fall, so kann die Navigationsroute automatisch entsprechend angepasst werden. Ebenso kann dann eingestellt oder veranlasst werden, dass bei einem erneuten Erkennen des gleichen Referenzhinweises oder Umleitungskürzels auf einem später identifizierten Hinweisschild 12 während der aktuellen Fahrt des Kraftfahrzeugs 1 der Fahrer explizit darauf hingewiesen wird. Ebenso sind weitere und/oder andere Verarbeitungs- und/oder Analyseschritte möglich.
-
Im fünften Schritt kann der so verarbeitete Text 13 bzw. dessen semantischer Inhalt oder ein entsprechender Hinweis 15 oder ein entsprechendes Steuersignal ausgegeben werden. Im Hinblick auf die Komplexität der hier vorgeschlagenen semantischen Textanalyse kann es sinnvoll sein, die erkannten Hinweisschilder 12, insbesondere wenn sie eine orts- und/oder zeitbezogene Relevanz für den Fahrer bzw. die jeweilige Situation haben, dem Fahrer anzuzeigen. Dies kann wie bereits angedeutet beispielsweise durch prominente Darstellung in dem Kombiinstrument 3, dem Infotainmentbildschirm 4, das HUD des Kraftfahrzeugs 1 und/oder dergleichen mehr erfolgen, um die Aufmerksamkeit des Fahrers darauf zu lenken.
-
Haben sich Interpretationen ergeben, die beispielsweise auf eine durchzuführende oder empfohlene Anpassung der Geschwindigkeit, eine Lichteinstellung, eine Scheibenwischereinstellung, eine Klimaanlageneinstellung und/oder dergleichen mehr hinweisen, so kann automatisch eine entsprechende Einstellung durchgeführt oder ein entsprechendes Steuersignal ausgegeben werden. Dies kann zumindest dann erfolgen, wenn die entsprechende Erkennung oder Interpretation wenigstens eine vorgegebene Minimal- oder Mindestkonfidenz aufweist.
-
Ebenso kann das Assistenzsystem 7 durch das jeweilige Hinweisschild 12 vermittelte Anweisungen, beispielsweise zu Umleitungen oder dergleichen, in eine vorgegebene Sprache übersetzen oder eine solche Übersetzung durch eine fahrzeugexterne Servereinrichtung veranlassen. Ebenso können entsprechend dem Fahrer potenziell unbekannte, beispielweise von einem vorgegebenen Alphabet oder Schriftzeichensatz abweichende Schriftzeichen durch Schriftzeichen eines vorgegebenen Alphabets oder Schriftzeichensatzes in dem jeweiligen Hinweis 15 ersetzt werden. So kann beispielsweise eine automatische Überführung von kyrillischen, arabischen oder chinesischen Schriftzeichen in Entsprechungen, also korrespondierende Schriftzeichen oder Schriftzeichengruppen des lateinischen Alphabets durchgeführt werden. Der Hinweis 15 kann dann nicht das tatsächliche Hinweisschild 12 bzw. nicht die für dessen Text 13 verwendeten Schriftzeichen, sondern die diese ersetzenden, hier beispielweise lateinischen, Schriftzeichen verwenden, also anzeigen.
-
Weiter kann das Assistenzsystem 7 über einen optischen Fluss und/oder Fahrzeugtrajektoriendaten, die eine aktuelle Trajektorie des Kraftfahrzeugs 1 angeben oder beschreiben, eine Veränderung eines Kamerabildes bzw. der mittels der Kamera 6 aufgenommenen Bilder bestimmt werden. Darauf basierend können bereits erkannte Hinweisschilder 12, deren Text 13 bereits semantisch verarbeitet wurde, herausgefiltert werden, sodass dafür dann beispielsweise keine erneute OCR-Anwendung und semantische Textanalyse mehr durchgeführt wird. War bei einer vorherigen Texterkennung bzw. Textanalyse eine vorgegebene Mindestkonfidenz oder Mindestgenauigkeit noch nicht erreicht, so kann hingegen für dasselbe Hinweisschild 12 mit dem Verfügbarwerden wenigstens eines neuen Bildes eine erneute entsprechende Verarbeitung, also beispielsweise eine erneute OCR-Anwendung und semantische Textanalyse, durchgeführt werden.
-
Insgesamt zeigen die beschriebenen Beispiele wie ein Verfahren zur Nutzung von Natural Language Processing (NLP), also zur Verarbeitung natürlicher Sprache zur Verbesserung einer Fahrerfahrung realisiert und angewendet werden kann.
-
Bezugszeichenliste
-
- 1
- Kraftfahrzeug
- 2
- Armaturentafel
- 3
- Kombiinstrument
- 4
- Infotainmentbildschirm
- 5
- Windschutzscheibe
- 6
- Kamera
- 7
- Assistenzsystem
- 8
- Prozessor
- 9
- Datenspeicher
- 10
- Straße
- 11
- Parkfläche
- 12
- Hinweisschild
- 13
- Text
- 14
- Hervorhebung
- 15
- Hinweis
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 7386437 B2 [0003]
- DE 202011100069 U1 [0004]
