DE102020117340A1

DE102020117340A1 - Verfahren zur Umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden Umgebungserfassungssensoren, Vorrichtung zur Durchführung des Verfahrens, Fahrzeug sowie entsprechend ausgelegtes Computerprogramm

Info

Publication number: DE102020117340A1
Application number: DE102020117340.7A
Authority: DE
Inventors: Kannan Shanthi Anbarasu; Adrian Costache; Richard Matthaei
Original assignee: ZF CV Systems Europe BV
Current assignee: ZF CV Systems Europe BV
Priority date: 2020-07-01
Filing date: 2020-07-01
Publication date: 2022-01-05
Also published as: EP4176378A1; CN116034359A; WO2022002901A1; US20230334836A1

Abstract

Die Erfindung betrifft ein Verfahren zur Umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden Umgebungserfassungssensoren (182, 186), wobei die Bilder der Umgebungserfassungssensoren (182, 186) mit jeweiligen Objekterkennungsalgorithmen ausgewertet werden. Für eine dynamische Objekterkennung wird eine mehrfache aufeinanderfolgende Objekterkennung für den jeweiligen Umgebungssensor (182, 186) durchgeführt und es werden die Objekterkennungen mit Positionsangabe in eine Objektliste (184-3; 184-4) für den jeweiligen Umgebungserfassungssensoren (182, 186) eingetragen. Anschließend wird die Genauigkeit der Objektlokalisierungen durch eine Sensordatenfusion der miteinander in Beziehung gesetzten Objekterkennungen erhöht. Dies erfolgt dynamisch nur in einem Zuverlässigkeitsbereich (RCDR), der durch miteinander in Beziehung setzen der Objekterkennungen in den Objektlisten (184-3; 184-4) bestimmt wird. Die Durchführung der Sensordatenfusion mit den sich entsprechenden Objekterkennungen wird auf den Zuverlässigkeitsbereich (RCDR) beschränkt und außerhalb des Zuverlässigkeitsbereiches (RCDR) erfolgt die Objektlokalisierung basierend auf den Objekterkennungen des anderen Umgebungserfassungssensors (186) erfolgt, für den der bestimmte Zuverlässigkeitsbereich (NRDR) nicht gilt.

Description

Die Erfindung betrifft das technische Gebiet von Systemen zur Umgebungserfassung, insbesondere bei Fahrzeugen. Solche Systeme spielen im Fahrzeugbereich eine immer größer werdende Rolle und werden sowohl für autonome Fahrsysteme und Fahrerassistenzsysteme eingesetzt. Die betreffenden Fahrerassistenzsysteme und automatische Fahrfunktionen besitzen ebenfalls eine Autonomiestufe und sind darauf angewiesen, dass die Umgebungserfassungssensoren verlässliche Daten produzieren.
Zur Zeit wird intensiv an Technologien gearbeitet, die zukünftig ein autonomes Fahren ermöglichen sollen. Ein erster Ansatz ist dabei die Einführung von verschiedenen Fahrerassistenzsystemen, die dem Fahrer bestimmte Aufgaben abnehmen. Beispiele von Fahrerassistenzsystemen sind ein Totwinkelwarnassistent, ein Notbremsassistent, ein Einparkassistent, ein Abbiegeassistent, ein Spurhalteassistent, ein Geschwindigkeitsregelassistent usw. In diesem Zusammenhang wird auch das komplett autonome Fahren erwähnt, bei dem eine komplett autonome Fahrfunktion mit einem entsprechend leistungsfähigem Rechner realisiert wird.
Um diese Systeme zu realisieren ist es erforderlich umfassende Informationen über Objekte (insb. bewegliche Verkehrsteilnehmer aber auch statische Objekte wie Verkehrszeichen) im sichtbaren und verdeckten/nicht sichtbaren Umfeld des eigenen Fahrzeugs zu sammeln. Das wird systemseitig durch den Einsatz neuerer Technologien (Fahrzeug-zu-Fahrzeug-Kommunikation, Einsatz von Datenbanken, Backend-Anbindung, Cloud-Dienste, Server-Einsatz, Fahrzeugsensorik, etc. ermöglicht. Im Bereich Fahrzeugsensorik werden insbesondere die folgenden Komponenten genannt, die eine Umfeldbeobachtung ermöglichen: RADAR-Geräte entsprechend Radio Detection and Ranging, LIDAR-Geräte, entsprechend Light Detection and Ranging, hauptsächlich für den Bereich Abstandserfassung/-warnung, und Kameras mit entsprechender Bildverarbeitung für den Bereich der Objekterkennung. Alle drei Sensorarten sind bildgebende Umgebungserfassungssensoren. Durch Bildauswertung kann eine Objekterkennung erfolgen. Die so gewonnen Daten über die Umwelt können somit als Basis für systemseitige Fahrempfehlungen, Warnungen, automatische Fahrmanöver, etc. herangezogen werden. Beispielsweise sind so Anzeigen/Warnungen darüber denkbar, in welche Richtung (möglicherweise in die eigene Trajektorie) ein anderes, umgebendes Fahrzeug abbiegen will. Es kann z.B. ein automatisches Bremsmanöver durchgeführt werden, wenn ein adaptiver Geschwindigkeitswarnassistent feststellt, dass ein bestimmter Abstand zu einem vorausfahrenden Fahrzeug unterschritten wird. Zusätzlich wird auch die Verkehrszeichenerkennung als Anwendungsfall erwähnt, um den Fahrer auf rechtliche Rahmenbedingungen hinzuweisen. Diese Verkehrszeichen müssen auch von automatischen Fahrsystemen oder Fahrerassistenzsystemen beachtet werden, und können automatische Bremsvorgänge oder Beschleunigungsvorgänge auslösen. Ein besonders wichtiges Beispiel ist ein AEBS-Notbremssystem, entsprechend Advanced Emergency Braking System. Solche Systeme können für verschiedene Kombinationen von Umgebungserfassungssensoren ausgelegt werden. Entsprechend sind Anpassungen erforderlich hinsichtlich der Verfügbarkeit des Assistenzsystems, der Auslösung der verschiedenen Warnungen des Fahrers, und des Bremsverhaltens etc..
Zur Klärung des Begriffs „autonomes Fahren“ wird hier noch folgender Einschub präsentiert. Unter autonomem Fahren (manchmal auch automatisches Fahren, automatisiertes Fahren oder pilotiertes Fahren genannt) ist die Fortbewegung von Fahrzeugen, mobilen Robotern und fahrerlosen Transportsystemen zu verstehen, die sich weitgehend autonom verhalten. Es gibt verschiedene Abstufungen des Begriffs autonomes Fahren. Dabei wird auf bestimmten Stufen auch dann von autonomen Fahren gesprochen, wenn noch ein Fahrer im Fahrzeug befindlich ist, der ggfs. nur noch die Überwachung des automatischen Fahrvorgangs übernimmt. In Europa haben die verschiedenen Verkehrsministerien (in Deutschland war die Bundesanstalt für Straßenwesen beteiligt) zusammengearbeitet und die folgenden Autonomiestufen definiert.

• Level 0: „Driver only“, der Fahrer fährt selbst, lenkt, gibt Gas, bremst, etc. Eine Notbremsfunktion kann auch auf dieser Ebene eingreifen.
• Level 1: Bestimmte Assistenzsysteme helfen bei der Fahrzeugbedienung (u.a. ein Abstandsregelsystem - Automatic Cruise Control ACC).
• Level 2: Teilautomatisierung. U.a. automatisches Einparken, Spurhaltefunktion, allgemeine Längsführung, Beschleunigen, Abbremsen etc. werden von den Assistenzsystemen übernommen (u.a. Stauassistent).
• Level 3: Hochautomatisierung. Der Fahrer muss das System nicht dauernd überwachen. Das Fahrzeug führt selbstständig Funktionen wie das Auslösen des Blinkers, Spurwechsel und Spurhalten durch. Der Fahrer kann sich anderen Dingen zuwenden, wird aber bei Bedarf innerhalb einer Vorwarnzeit vom System aufgefordert, die Führung zu übernehmen. Diese Form der Autonomie ist auf Autobahnen technisch machbar. Der Gesetzgeber arbeitet darauf hin, Level 3-Fahrzeuge zuzulassen. Die gesetzlichen Rahmenbedingungen wurden dafür bereits geschaffen.
• Level 4: Vollautomatisierung. Die Führung des Fahrzeugs wird dauerhaft vom System übernommen. Werden die Fahraufgaben vom System nicht mehr bewältigt, kann der Fahrer aufgefordert werden, die Führung zu übernehmen.
• Level 5: Kein Fahrer erforderlich. Außer dem Festlegen des Ziels und dem Starten des Systems ist kein menschliches Eingreifen erforderlich.

Automatisierte Fahrfunktionen ab Stufe 3 nehmen dem Fahrer die Verantwortung für die Steuerung des Fahrzeugs ab. Vom VDA wurde eine ähnliche Einteilung der verschiedenen Autonomiestufen herausgegeben, die ebenfalls benutzt werden kann. Genauso gibt es von der Society of Automotive Engineers eine Spezifikation für die Einteilung der Autonomiestufen. Es handelt sich um die Spezifiktaion „SAE J3016™: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems“. Auch nach dieser Spezifikation kann die Notbremsfunktion auf Level 0 eingreifen.
Aufgrund der derzeitigen Entwicklung hin zu höheren Autonomiestufen, wo aber viele Fahrzeuge nach wie vor noch vom Fahrer gesteuert werden, ist davon auszugehen, dass entsprechende zusätzliche Informationen mittelfristig bereits für manuell geführte Fahrzeuge und nicht erst langfristig für hochautomatisierte Systeme genutzt werden können.
Ein sehr wichtiger Aspekt ist dabei, dass die Umgebung des sich bewegenden Fahrzeuges sehr genau erfasst werden muss. Hier gibt es den Ansatz der Sensordatenfusion, bei dem die Genauigkeit der Umgebungserfassung dadurch erhöht wird, dass die Objekterkennungen mehrerer verschiedener Umgebungserfassungssensoren, miteinander in Beziehung gesetzt werden, wobei die sich so ergebenden Daten fusioniert werden. Eine Sensordatenfusion kann beispielsweise in der Fusion von Kamera- und Radardaten bestehen, um Objekte zu klassifizieren und die Objekterkennungsleistung des Sensorsystems zu erhöhen.
Aus der US 2016/0170414 A1 ist ein Fahrzeug-basiertes System zur Verkehrszeichenerkennung bekannt. Dabei werden Umgebungssensoren wie LIDAR-Sensor, RADAR-Sensor und Kamera eingesetzt. Auch die Position des Fahrzeuges wird über GPS erfasst. Die erkannten Verkehrszeichen werden mit ihrer Position nach extern berichtet und dort in einer Datenbank eingetragen.
Die bekannten Lösungen sind mit verschiedenen Nachteilen behaftet. Dies wurde im Rahmen der Erfindung erkannt. Bei den heute bekannten Bilderfassungsverfahren für den Einsatz im Fahrerassistenzbereich besteht das Problem, dass deren Detektionsleistung abnimmt, wenn ein Umgebungssensor z.B. aufgrund der Umgebungsbedingungen unzuverlässige Daten liefert. Das kann schnell passieren. Zu den Umgebungsbedingungen zählen auch die Wetterbedingungen. Diese beeinflussen stark die Sichtbedingungen. In diesem Zusammenhang wird auch das Tageslicht erwähnt. In der Dämmerung, bei Regen, Nebel und in der Nacht können die von der Kamera aufgenommenen Bilder nicht mehr so gut für eine Objekterkennung benutzt werden. Die Grenzen sind dabei fließend.
Es besteht also der Bedarf für weitere Verbesserungen bei Umgebungserfassungssystemen, insbesondere bei Fahrzeug-basierten Umgebungserfassungssensoren deren Objekterkennungen möglichst zuverlässig sein müssen.
Die Erfindung setzt sich zur Aufgabe, einen solchen Ansatz zu finden. Dabei soll die Technik der Sensordatenfusion möglichst weitgehend benutzt werden, da sie sich für die Genauigkeitserhöhung bei der Objekterkennung bewährt hat. Diese Aufgabe wird durch ein Verfahren zur Umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden Umgebungserfassungssensoren zu denen neben Kameras auch RADAR- und LIDAR-Sensoren gezählt werden, gemäß Anspruch 1, eine Vorrichtung zur Durchführung des Verfahrens nach Anspruch 11 und ein Fahrzeug zur Verwendung bei dem Verfahren gemäß Anspruch 15 sowie ein Computerprogramm gemäß Anspruch 16 gelöst.
Die abhängigen Ansprüche beinhalten vorteilhafte Weiterbildungen und Verbesserungen der Erfindung entsprechend der nachfolgenden Beschreibung dieser Maßnahmen.
Dabei haben die Erfinder erkannt, dass es zu einer Abnahme in der Funktionsgenauigkeit des Fahrerassistenzsystems kommt, wenn ein Umgebungserfassungssensor widrigen Bedingungen ausgesetzt ist, obwohl ein anderer Umgebungserfassungssensor nicht beeinträchtigt ist. Insbesondere wurde auch erkannt, dass es trotz des Einsatzes der Sensordatenfusion zu einer Beeinträchtigung der Funktionsgenauigkeit kommen kann, wenn einer der Umgebungserfassungssensoren widrigen Bedingungen ausgesetzt ist. Deshalb wird es erfindungsgemäß vorgesehen, die Funktion der Umgebungserfassungssensoren zu überwachen.
In einer Ausprägung besteht die Erfindung in einem Verfahren zur Umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden Umgebungserfassungssensoren, wobei die Bilder der Umgebungserfassungssensoren mit jeweiligen Objekterkennungsalgorithmen ausgewertet werden. Dabei weisen die wenigstens zwei Umgebungserfassungssensoren unterschiedliche Charakteristiken bzgl. der Objekterkennung in Abhängigkeit von der Distanz des Objektes zum Umgebungserfassungssensor auf. Weil sich die Umgebungserfassungssensoren bewegen, erfolgt für eine dynamische Objekterkennung eine mehrfache aufeinanderfolgende Objekterkennung für den jeweiligen Umgebungssensor. Die mehrfachen aufeinanderfolgenden Objekterkennungen werden in eine Objektliste eingetragen, wobei die Objekterkennungen in den Objektlisten der Umgebungserfassungssensoren miteinander in Beziehung gesetzt werden. Mit Hilfe der Sensordatenfusion wird die Genauigkeit der Objekterkennungen der miteinander in Beziehung gesetzten Objekterkennungen erhöht. Zusätzlich erfolgt aber aufgrund der oben erwähnten Problematik eine Überwachung der Funktion der Umgebungserfassungssensoren. Dies erfolgt in Form der Bestimmung eines Zuverlässigkeitsbereichs bzgl. der Objekterkennung wenigstens eines Umgebungserfassungssensors. Wird bei einem Umgebungserfassungssensor erkannt, dass seine Funktion gegenüber der Normalfunktion beeinträchtigt ist, und er nur in einem kleineren Bereich als dem Nominalbereich zuverlässige Objekterkennungen liefert, wird die Durchführung der Sensorfusion der Objekterkennungen nur noch auf den Zuverlässigkeitsbereich beschränkt und außerhalb des Zuverlässigkeitsbereiches findet eine Objektlokalisierung basierend auf den Objekterkennungen des anderen Umgebungserfassungssensors statt, für den der bestimmte Zuverlässigkeitsbereich nicht gilt. Die Benutzung der Ergebnisse der Sensordatenfusion wird deshalb in dem Bereich außerhalb des Zuverlässigkeitsbereichs ausgesetzt. Das Verfahren hat den Vorteil, dass die Genauigkeit der Objekterkennungen durch die Umgebungserfassungssensoren insgesamt gesteigert wird. Dies ergibt sich dadurch, dass in den Bereichen, wo einer der Umgebungserfassungssensoren keine verlässlichen Objekterkennungen abliefert die Sensordatenfusion unterbunden wird und stattdessen die Objekterkennungen des anderen Umgebungserfassungssensors übernommen werden. So kommt es nicht zur Verfälschung von Objekterkennungen durch die Sensordatenfusion zwischen verlässlichen und unzuverlässigen Objekterkennungen.
Dabei ist es vorteilhaft, wenn für die Bestimmung des Zuverlässigkeitsbereiches die historischen Daten von vorhergehenden Objekterkennungen berücksichtigt werden und eine Objekterkennungsrate über die Entfernung zwischen Umgebungssensor und Objekt berechnet wird.
Genauso ist es vorteilhaft, wenn für die Bestimmung des Zuverlässigkeitsbereiches die historischen Daten von vorhergehenden Objekterkennungen berücksichtigt werden und eine Objektverfolgungsrate über die Entfernung zwischen Umgebungssensor und Objekt berechnet wird. Beide Raten bilden ein einfaches Kriterium mit dem der Zuverlässigkeitsbereich quantitativ festgelegt werden kann.
Dies kann in vorteilhafter Weise so erfolgen, dass der Zuverlässigkeitsbereich dadurch bestimmt wird, dass in diesem Bereich die Objekterkennungsrate und/oder die Objektverfolgungsrate in einem nominalen Wertebereich liegt, der für eine zuverlässige Objekterkennung gefordert wird. Durch Experimente kann der nominale Wertebereich festgelegt werden. Ein Beispiel von einem geforderten nominalen Wertebereich liegt in dem Bereich von 80 - 90% Objekterkennungsrate und 90 - 100% Objektverfolgungsrate.
Eine vorteilhafte Variante besteht darin, dass der Zuverlässigkeitsbereich fortlaufend neu bestimmt wird, um eine dynamische Festlegung des Zuverlässigkeitsbereiches zu ermöglichen. Dies ermöglicht eine schnelle Anpassung an wechselnde Umgebungsbedingungen, wie wechselnde Lichtverhältnisse oder wechselnde Wetterbedingungen. Dies ermöglicht auch eine dynamische Anpassung des Regelverhaltens des Fahrerassistenzsystems oder der automatischen Fahrfunktion. Dies kann sich auf verschiedene Aspekte des Fahrerassistenzsystems beziehen. Als Beispiel wird neben dem Regelverhalten auch die Verfügbarkeit des Fahrerassistenzsystems und die Art der Warnung des Fahrers erwähnt.
Das Verfahren kann besonders vorteilhaft bei Umgebungserfassungssensoren zur Umgebungserfassung für ein Fahrzeug benutzt werden, wobei der eine Umgebungserfassungssensor ein RADAR-Sensor oder ein LIDAR-Sensor ist und der andere Umgebungserfassungssensor eine Kamera ist.
Als Objekte werden dabei bewegliche Verkehrsteilnehmer, insbesondere vorausfahrende Fahrzeuge von den Umgebungssensoren erfasst.
Zusätzlich ist es vorteilhaft, wenn als Objekte auch unbewegliche Objekte, insbesondere Verkehrsschilder oder stehende Fahrzeuge von den Umgebungssensoren erfasst werden. Diese Objekte sind für sichere Fahrerassistenzsysteme und automatische Fahrstufen höchst wichtig.
Dabei ist es vorteilhaft, wenn zur Objektverfolgung eine Trajektorie ermittelt wird, auf der die Positionen der fortlaufenden Objekterkennungen des Objektes liegen. Die Ermittlung der Trajektorie ist für die Steuerung der Sensordatenfusion vorteilhaft. Der Zuverlässigkeitsbereich ist nämlich abhängig von dem Objekt und der Lage des Objektes relativ zum Sensor.
Dabei kann die Trajektorie in Abschnitte eingeteilt werden, die angeben, mit den Messdaten welches Umgebungserfassungssensors oder welcher Umgebungserfassungssensoren die tatsächliche Berechnung der Position einer Objekterkennung erfolgen soll. Es gibt also Bereiche, in denen eine Verbesserung der Genauigkeit der Objekterkennung durch Sensordatenfusion von sich entsprechenden Objekterkennungen beider Umgebungserfassungssensoren stattfindet und Bereiche, bei denen nur die Objekterkennungen eines Umgebungserfassungssensors benutzt werden.
In einer anderen Ausprägung betrifft die Erfindung eine Vorrichtung zur Durchführung des Verfahrens, aufweisend wenigstens zwei unabhängige bildgebende Umgebungserfassungssensoren, wobei die wenigstens zwei Umgebungserfassungssensoren unterschiedliche Charakteristiken bzgl. der Objekterkennung in Abhängigkeit von der Distanz des Objektes zum Umgebungserfassungssensor aufweisen. Die Vorrichtung beinhaltet weiter eine Recheneinrichtung und eine Speichereinrichtung, wobei die Recheneinrichtung ausgelegt ist, eine genaue Position für eine Objekterkennung seitens der wenigstens zwei bildgebenden Umgebungserfassungssensoren durch Sensorfusion zu berechnen. Eine Besonderheit besteht darin, dass die Recheneinrichtung ausgelegt ist, einen Zuverlässigkeitsbereich bzgl. der Objekterkennung wenigstens eines Umgebungserfassungssensors dynamisch zu bestimmen und die Durchführung der Sensordatenfusion für die sich entsprechenden Objekterkennungen der wenigstens zwei Umgebungserfassungssensoren auf den Zuverlässigkeitsbereich zu beschränken und außerhalb des Zuverlässigkeitsbereiches die Objektlokalisierung basierend auf den Objekterkennungen des anderen Umgebungserfassungssensors zu berechnen, für den der bestimmte Zuverlässigkeitsbereich nicht gilt. So kann das erfindungsgemäße Verfahren in einer Vorrichtung implementiert werden.
Ein derartige Recheneinrichtung kann besonders vorteilhaft als Teil eines Steuergerätes in einem Fahrerassistenzsystem eines Fahrzeuges eingesetzt werden. Solche Fahrerassistenzsysteme sind darauf angewiesen, dass sie von Umgebungserfassungssensoren zuverlässige Objekterkennungen erhalten. Mit der erfindungsgemäßen Vorrichtung und dem erfindungsgemäßen Verfahren kann die Verlässlichkeit der Objekterkennungen überprüft werden und in bestimmten Bereichen die Genauigkeit der Objekterkennungen erhöht werden.
Eine vorteilhafte Weiterbildung der Vorrichtung besteht darin, dass die Recheneinrichtung mit einer Degradationsfunktion ausgestattet ist, die dafür ausgelegt ist die Funktion des Fahrerassistenzsystems dynamisch anzupassen in Abhängigkeit von der Bestimmung des Zuverlässigkeitsbereichs. Dies kann so erfolgen, dass z.B. das Regelverhalten angepasst wird. Dies kann bis hin zur Komplettabschaltung des Fahrerassistenzsystems gehen. Ebenfalls kann der Fahrer abgestuft gewarnt werden.
Bei einer häufig besonders wichtigen Variante bestehen die Umgebungserfassungssensoren in einer Videokamera und in einem LIDAR- oder RADAR-Sensor.
Eine weitere Ausprägung der Erfindung besteht in einem Fahrzeug, mit einer erfindungsgemäßen Vorrichtung.
Schließlich gibt es noch eine vierte Ausprägung der Erfindung, die in einem Computerprogramm, besteht das ausgelegt ist, bei Abarbeitung in einer Recheneinrichtung die Schritte des erfindungsgemäßen Verfahrens durchzuführen. Dafür gelten die entsprechenden Vorteile wie zu dem erfindungsgemäßen Verfahren beschrieben.
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden nachfolgend anhand der Figuren näher erläutert.
Es zeigen:

1 eine typische Fahrsituation auf einer mehrspurigen Autobahn;
2 ein Blockschaltbild der Bordelektronik eines Fahrzeuges;
3 ein Blockschaltbild eines Steuergerätes eines Notbremsassistenzsystems des Fahrzeuges; und
4 eine Prinzip-Darstellung, in der die Objektverfolgungsspuren für verschiedene vorausfahrende Fahrzeuge eingezeichnet sind und der momentane Zuverlässigkeitsbereich für einen Kamerasensor;
5 eine Prinzip-Darstellung, in der eine Objektverfolgungsspur für ein statisches Objekt in Form eines Verkehrszeichens eingezeichnet ist und der momentane Zuverlässigkeitsbereich für einen Kamerasensor; und
6 ein Flussdiagramm für ein Computerprogramm mit dem das erfindungsgemäße Verfahren zur Umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden Umgebungserfassungssensoren realisiert werden kann.

Die vorliegende Beschreibung veranschaulicht die Prinzipien der erfindungsgemäßen Offenbarung. Es versteht sich somit, dass Fachleute in der Lage sein werden, verschiedene Anordnungen zu konzipieren, die zwar hier nicht explizit beschrieben werden, die aber Prinzipien der erfindungsgemäßen Offenbarung verkörpern und in ihrem Umfang ebenfalls geschützt sein sollen.
1 zeigt eine typische Verkehrssituation auf einer sechsspurigen Autobahn. Mit der Bezugszahl 10 ist ein Nutzfahrzeug bezeichnet. Es kann sich z.B. um einen Bus oder einen LKW (Lastkraftwagen) handeln. Das Nutzfahrzeug 10 ist mit Umgebungserfassungssensoren und einem Fahrerassistenzsystem ausgestattet, dass sich auf die Objekterkennungen, die sich durch Auswertung der Daten der Umgebungserfassungssensoren ergeben, abstützt. Das Fahrerassistenzsystem betrifft einen Notbremsassistenzsystem. Mit der Bezugszahl 12 sind vorausfahrende Fahrzeuge bezeichnet. Das Nutzfahrzeug 10 bewegt sich auf der mittleren Fahrspur. Am rechten Straßenrand ist ein Verkehrszeichen 16 dargestellt. Es handelt sich um ein Verkehrsschild zur Geschwindigkeitsbegrenzung. Auf den Fahrspuren der gegenüberliegenden Fahrbahn bewegen sich entgegenkommende Fahrzeuge 14. Wie bei Autobahnen üblich sind die beiden Fahrbahnen für die verschiedenen Richtungen baulich getrennt. Dies ist durch den Doppelstrich in der Mitte angedeutet.
2 zeigt schematisch ein Blockschaltbild der Bordelektronik des Nutzfahrzeuges 10. Im oberen Bereich ist das Infotainmentsystem des Nutzfahrzeuges 10 gezeigt. Zur Bedienung des Infotainmentsystems dient eine berührungsempfindliche Anzeigeeinheit 20, eine Recheneinrichtung 40, eine Eingabeeinheit 50 und ein Speicher 60. Die Anzeigeeinheit 20 ist über eine Datenleitung 70 mit der Recheneinrichtung 40 verbunden. Die Datenleitung kann nach dem LVDS-Standard ausgelegt sein, entsprechend Low Voltage Differential Signalling. Über die Datenleitung 70 empfängt die Anzeigeeinheit 20 Steuerdaten zum Ansteuern der Anzeigefläche des Touchscreens 20 von der Recheneinrichtung 40. Über die Datenleitung 70 werden auch Steuerdaten der eingegebenen Befehle von dem Touchscreen 30 zu der Recheneinrichtung 40 übertragen. Mit der Bezugszahl 50 ist die Eingabeeinheit bezeichnet. Ihr zugehörig sind Bedienelemente wie Tasten, Drehregler, Schieberegler, oder Drehdrückregler, mit deren Hilfe die Bedienperson über die Menüführung Eingaben machen kann.
Die Speichereinrichtung 60 ist über eine Datenleitung 80 mit der Recheneinrichtung 40 verbunden. In dem Speicher 60 können Piktogrammverzeichnisse und/oder Symbolverzeichnisse hinterlegt sein mit den Piktogrammen und/oder Symbolen für die möglichen Einblendungen von Zusatzinformationen.
Die weiteren Teile des Infotainmentsystems Innenraumkamera 150, Radio 140, Navigationsgerät 130, Telefon 120 und Kombiinstrument 110 sind über den Datenbus 100 mit der Vorrichtung zur Bedienung des Infotainmentsystems verbunden. Als Datenbus 100 kommt eines auf Ethernet-Technologie beruhenden Bussystems wie BroadR-Reach in Frage. Als weitere Beispiele werden genannt der MOST Bus (Media Oriented System Transport) oder der D2B Bus (Domestic Digital Bus). An den Datenbus 100 ist auch ein Kommunikationsmodul 160 angeschlossen. Dieses dient zur Kommunikation nach innen und nach außen. Dafür ist das Kommunikationsmodul 160 mit einer Ethernet-Schnittstelle für die Kommunikation nach innen ausgestattet. Weiterhin ist in dem Kommunikationsmodul 160 ein LTE (Long Term Evolution) oder 5G Modem vorgesehen, mit dem Daten über Mobilfunk empfangen werden können und versendet werden können. Zum Beispiel können Abschnitte einer ständig aktualisierten hochgenauen Karte über Mobilfunk geladen werden. Hier wird noch erwähnt, dass die Innenraumkamera 150 als konventionelle Videokamera ausgelegt sein kann. In diesem Fall nimmt sie 25 Vollbilder/s auf, was bei dem Interlace-Aufnahmemodus 50 Halbbildern/s entspricht.
Mit der Bezugszahl 151 ist ein Motorsteuergerät bezeichnet. Die Bezugszahl 152 entspricht einem ESC-Steuergerät (Electronic Stability Control) und die Bezugszahl 153 bezeichnet ein Getriebe-Steuergerät. Weitere Steuergeräte, wie ein zusätzliches Brems-Steuergerät, können im Nutzfahrzeug 10 vorhanden sein. Die Vernetzung solcher Steuergeräte geschieht typischerweise mit dem CAN-Bussystem (Controller Area Network) 104, welches als ISO Norm standardisiert ist, meist als ISO 11898-1.
Der Kommunikationsbus 100 des Infotainment-Systems ist mit einem Gateway 30 verbunden. Daran angeschlossen sind auch die anderen Teile der Bordelektronik. Zum einen der Kommunikationsbus 104 des Antriebstrangs und weiter der Kommunikationsbus 102 für Fahrerassistenzsysteme, der in Form des FlexRay-Busses ausgebildet sein kann. Dabei ist ein Notbremsassistent 184 dargestellt. Dieser Notbremsassistent wird international als Advanced Emergency Braking System (AEBS) bezeichnet. Es könnten aber auch weitere Fahrerassistenzsysteme daran angeschlossen werden, darunter z.B. ein Steuergerät zur automatischen Abstandsregelung ACC entsprechend Adaptive Cruise Control, ein Fahrerassistenzsystem DCC zur adaptiven Fahrwerksregelung, entsprechend Dynamic Chassis Control. Ebenfalls sind an diesen Bus 102 die Umgebungserfassungssensoren ein RADAR-Sensor 186, entsprechend Radio Detection and Ranging und eine Frontkamera 182 angeschlossen. Auf deren Funktion wird nachfolgend noch genauer eingegangen. Weiterhin ist noch ein Kommunikationsbus 106 an das Gateway 30 angeschlossen. Dieser verbindet das Gateway 30 mit einer On-Board Diagnoseschnittstelle 190. Die Aufgabe des Gateway 30 besteht darin, die Formatumwandlungen für die verschiedenen Kommunikationssysteme 100, 102, 104, 106 zu machen, sodass untereinander Daten ausgetaucht werden können. Im gezeigten Ausführungsbeispiel macht das Notbremsassistenzsystem 184 für die Notbremsfunktion von einer hochgenauen Umgebungskarte Gebrauch. Die Umgebungskarte kann vorab in einem Speicher des Notbremsassistenzsystems abgespeichert werden. Dazu wird sie üblicherweise über das Kommunikationsmodul 160 geladen, von dem Gateway 30 weitergeleitet und in den Speicher des Notbremsassistenzsystem 184 geschrieben. In einer anderen Variante wird nur ein Ausschnitt einer Umgebungskarte geladen und in den Speicher des Notbremsassistenzsystems geschrieben. Die geladene Umgebungskarte muss aber noch ergänzt werden durch die Beobachtungen der Umgebungserfassungssensoren 182 und 186.
Es gibt noch weitere Umgebungssensoren, die in der Lage sind, das Umfeld des Fahrzeuges zu erfassen, die für unterschiedliche Entfernungen und unterschiedliche Einsatzzwecke einzusetzen sind. Es gelten in etwa die folgenden Reichweiten- und Zweckangaben:

• Eine Stereo-Kamera, Reichweite 500m, dient zur Erfassung einer 3D-Karte, benutzt für einen automatischen Notbremsassistenten, Spurwechselassistenten, zur Verkehrsschilderkennung und einen Abstandsregeltempomaten.
• Kamera, Reichweite 100 m, dient zur Erfassung einer 3D-Karte, benutzt für einen automatischen Notbremsassistenten, Spurwechselassistenten, zur Verkehrsschilderkennung, einen Abstandsregeltempomaten, zur Frontaufprallwarnung, automatischer Lichtsteuerung und einen Parkassistenten.
• Ultraschallsensor, Reichweite <10m, Parkassistent.
• Radar-Sensor, Reichweite 20 cm bis 100 m, benutzt für einen automatischen Notbremsassistenten, zur automatischen Geschwindigkeitsregelung, einen Abstandsregeltempomaten, einen Totwinkelassistenten, einen Querverkehralarmgeber
• Lidar-Sensor, Reichweite 100 m, dient zur Erfassung einer 3D-Karte, benutzt für einen automatischen Notbremsassistenten.

Die Frontkamera 182 kann als Spezialkamera ausgeführt sein, die mehr Bilder/s aufnimmt, um die Genauigkeit der Objekterkennung bei sich schneller bewegenden Objekten zu erhöhen.
Die Frontkamera 182 wird hauptsächlich zur Objekterkennung eingesetzt. Typische Objekte, die erkannt werden sollen, sind Verkehrszeichen, vorausfahrende/umgebende/parkende Fahrzeuge und andere Verkehrsteilnehmer, Kreuzungen, Abbiegestellen, Schlaglöcher usw. Die Bildauswertung findet in der Recheneinheit des Notbremsassistenten 184 statt. Dazu können bekannte Algorithmen zur Objekterkennung eingesetzt werden.
Die Objekterkennungsalgorithmen werden von der Recheneinheit des Notbremsassistenten 184 abgearbeitet. Es hängt von der Leistungsfähigkeit dieser Recheneinheit ab, wie viele Bilder pro Sekunde analysiert werden können.
3 zeigt ein Blockschaltbild des Notbremsassistenz-Steuergerätes 184. Mit der Bezugszahl 184-1 ist eine Recheneinheit bezeichnet. Es handelt sich um eine leistungsfähige Recheneinheit, die in der Lage ist die nötigen Rechenoperationen für die erwähnte Sensordatenfusion durchzuführen. Dafür kann sie mit mehreren Rechenkernen ausgestattet sein um parallele Rechenoperationen durchzuführen. Die Bezugszahl 184-2 bezeichnet eine Speichereinheit. Es können mehrere verschiedene Speicherbausteine darin enthalten sein. Darunter RAM-Speicher, EPROM-Speicher und FEPROM-Speicher. Die Bezugszahl 184-6 bezeichnet eine Ethernet-Schnittstelle. Damit wird die Verbindung zum Kommunikationsbus 102 hergestellt. Die Bezugszahl 184-3 bezeichnet eine Objektliste, in der die aufeinanderfolgenden Objekterkennungen eines durch den RADAR-Sensor 186 erkannten Objektes verzeichnet sind. Diese Objektliste wird über den Kommunikationsbus 102 von dem RADAR-Sensor 186 empfangen. Die Bezugszahl 184-4 bezeichnet eine Objektliste, in der die aufeinanderfolgenden Objekterkennungen eines durch den Kamera-Sensor 182 erkannten Objektes verzeichnet sind. Auch diese Objektliste wird über den Kommunikationsbus 102 von dem Kamera-Sensor 182 empfangen. Beide Objektlisten 184-3 und 184-4 beziehen sich auf dasselbe Objekt das von den beiden verschiedenen Umgebungserfassungssensoren 182, 186 gleichzeitig beobachtet wird. Die Bezugszahl 184-5 bezeichnet eine resultierende Objektliste in der die Genauigkeit der Objektlokalisierungen durch Sensordatenfusion erhöht ist.
4 zeigt eine Prinzip-Darstellung der Umgebungserfassung durch das Nutzfahrzeug 10. Der RADAR-Sensor 186 hat seine Stärken bei der Abstandsmessung und der Objekterkennung bei Nacht während die Frontkamera 182 ihre Stärken bei der Objekterkennung bei Tageslicht hat. In 4 sind die nominellen Objekterkennungsbereiche eingezeichnet. Der nominelle Objekterkennungsbereich der Frontkamera 182 ist mit Bezugszeichen NCDR markiert. Der nominelle Objekterkennungsbereich des RADAR-Sensors 186 ist mit Bezugszeichen NRDR markiert. Nominell unter Idealbedingungen geht der Objekterkennungsbereich der Frontkamera 182 fasst so weit, wie der des RADAR-Sensors 186. Unter verschlechterten Bedingungen kann der Objekterkennungsbereich der Frontkamera stark von der nominellen Objekterkennungsbereich abweichen. In der 4 ist ein momentan gültiger Zuverlässigkeitsbereich der Objekterkennung für die Frontkamera mit Bezugszeichen RCDR bezeichnet. Mit der Erkenntnis, dass die Objektlokalisierungen von Frontkamera 182 und RADAR-Sensor 186 in dem Bereich außerhalb des Zuverlässigkeitsbereichs RCDR durch Sensordatenfusion nicht verbessert werden können, wird erfindungsgemäß der Zuverlässigkeitsbereich bestimmt und die Sensordatenfusionsoperation auf diesen Zuverlässigkeitsbereich RCDR beschränkt.
In der 4 sind weiterhin Objektverfolgungsspuren für die verfolgten vorausfahrenden Fahrzeuge 12 eingezeichnet. Mit ihnen kann der Zuverlässigkeitsbereich einfach bestimmt werden. Dazu werden die Objektverfolgungsspuren in unterschiedliche Abschnitte eingeteilt. Der mit COT bezeichnete Abschnitt betrifft den Teil der Objektverfolgungsspur, in dem mit Hilfe von Objekterkennungsalgorithmen, die auf die Bilddaten der Frontkamera 182 angewendet werden, das vorausfahrende Fahrzeug 12 lokalisiert werden konnte. Der mit ROT bezeichnete Abschnitt betrifft den Teil der Objektverfolgungsspur, in dem mit Hilfe von Objekterkennungsalgorithmen, die auf die Bilddaten der RADAR-Sensors 186 angewendet werden, das vorausfahrende Fahrzeug 12 lokalisiert werden konnte. Dabei liefert der RADAR-Sensor 186 auch in dem Abschnitt COT Objekterkennungen ab. Bei der Objektverfolgungsspur für das vorausfahrende Fahrzeug 12 am rechten Bildrand sind einzelne Punkte der Objektverfolgungsspur besonders hervorgehoben. Das Bezugszeichen 1 RDP bezeichnet den Punkt der ersten Objekterkennung durch den RADAR-Sensor 186. Das Bezugszeichen 1CDP bezeichnet den Punkt der ersten Objekterkennung durch die Frontkamera 182. Das Bezugszeichen LCDP bezeichnet den Punkt der letzten Objekterkennung durch die Frontkamera 182 unter den gegebenen Umgebungsbedingungen. Bei der Objektverfolgungsspur am linken Bildrand ist der COT-Abschnitt bedeutend länger und geht nah an den das Ende des nominalen Objekterkennungsbereiches NCDR heran. Dies könnte dadurch bedingt sein, dass das vorausfahrende Fahrzeug 12 größer ist oder eine andere Form aufweist, die besser erkennbar ist. Es wäre aber auch möglich, dass in der Richtung die Sicht besser ist, z.B. weil dort weniger Nebelschwaden gegeben sind, oder weil in dieser Richtung kein Schattenwurf vorliegt.
Für die Bestimmung des Zuverlässigkeitsbereiches RCDR wird eine Objekterkennungsrate und eine Objektverfolgungsrate entlang der Objektverfolgungsspur über die Entfernung zwischen Umgebungssensor und Objekt berechnet. Beide Raten bilden ein einfaches Kriterium mit dem der Zuverlässigkeitsbereich quantitativ festgelegt werden kann.
Dies kann in vorteilhafter Weise so erfolgen, dass der Zuverlässigkeitsbereich RCDR dadurch bestimmt wird, dass in diesem Bereich die Objekterkennungsrate und/oder die Objektverfolgungsrate in einem nominalen Wertebereich liegt, der für eine zuverlässige Objekterkennung gefordert wird. Durch Experimente kann der nominale Wertebereich festgelegt werden. Ein Beispiel von einem geforderten nominalen Wertebereich liegt in dem Bereich von 80 - 90% Objekterkennungsrate und 90 - 100% Objektverfolgungsrate.
Eine vorteilhafte Variante besteht darin, dass der Zuverlässigkeitsbereich fortlaufend neu bestimmt wird, um eine dynamische Festlegung des Zuverlässigkeitsbereiches RCDR zu ermöglichen. Dies ermöglicht eine schnelle Anpassung an wechselnde Umgebungsbedingungen, wie wechselnde Lichtverhältnisse oder wechselnde Wetterbedingungen.
Die 5 zeigt eine Prinzip-Darstellung der Umgebungserfassung durch das Nutzfahrzeug 10, wobei als Objekt ein statisches Objekt in Form eines Verkehrszeichen 16 verfolgt wird. Gleiche Bezugszeichen bezeichnen in 5 die gleichen Komponenten wie in 4. Ein Unterschied besteht darin, dass die erste Objekterkennung am Punkt 1 RDP durch den RADAR-Sensor 186 geschieht, wenn das Verkehrszeichen 16 am weitesten entfernt ist. In der Folge bewegt sich das Verkehrszeichen 16 im aufgenommenen Bild auf das Nutzfahrzeug 10 zu, weil das Nutzfahrzeug 10 sich auf das Verkehrszeichen 16 zubewegt. Die gleiche Situation würde sich auch bei der Erkennung dynamischer Objekte ergeben, wenn sich das Nutzfahrzeug 10 diesen annähert. Eine typische Situation in der der Notbremsassistent aktiv werden soll betrifft zum Beispiel das Heranfahren des Nutzfahrzeuges 10 an ein Stauende. Auch dann würde die erste Objekterkennung am entfernten Ende des Objekterkennungsbereiches NCDR und NRDR erfolgen und die letzte Erkennung in der Nähe des Nutzfahrzeuges 10.
6 zeigt ein Flussdiagramm mit dem das erfindungsgemäße Verfahren zur Umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden Umgebungserfassungssensoren 182, 186 durchgeführt werden kann. Das Programm wird von der Recheneinheit 184-1 in dem Steuergerät des Notbremsassistenten 184 ausgeführt. Mit der Bezugszahl 202 ist der Programmstart bezeichnet. Im Programmschritt 204 erfolgt der Empfang der Objektlisten 184-3 und 184-4. In den Objektlisten ist jeweils auch die Position des jeweils erkannten Objektes angegeben. Die Bildauswertungen finden daher in den Umgebungserfassungssensoren 182 und 186 selbst statt. In einer anderen Ausführungsform können die Bilddaten zu dem Notbremsassistenten 184 übertragen werden, wobei dann die Bildauswertungen in der Recheneinheit 184-1 durchgeführt werden müssen. Es handelt sich bei der Bildauswertung um typische Objekterkennungsalgorithmen, die eine Mustererkennung auf Basis von in einer Tabelle abgespeicherten Mustern vornehmen. Alle gültigen Verkehrszeichen sind ja bekannt und deren Muster können in einer Tabelle abgespeichert werden. Typischerweise wird die Mustererkennung durch eine Faltungsoperation verbessert, bei der die aufgenommenen Bilder mit den bekannten Mustern gefaltet werden. Solche Algorithmen sind dem Fachmann bekannt und stehen zur Verfügung. Wenn auf diese Weise ein Verkehrszeichen erkannt wurde, wird auch die Erkennungsdistanz zum Verkehrszeichen ermittelt und abgespeichert. Entsprechende Algorithmen existieren für die Objekterkennung bei beweglichen Objekten.
Im Programmschritt 206 werden die Objekterkennungen miteinander in Beziehung gesetzt. Aus den Positionen in den Objektlisten 184-3 und 184-4 können jeweils auch die Entfernungen der Objekte 12, 16 zum Umgebungserfassungssensor 182, 186 berechnet werden. Darüber und über die Zeitpunkte, wann das jeweilige Bild aufgenommen wurde, können die Objekterkennungen in den beiden Objektlisten 184-3, 184-4 einander zugeordnet werden. Auch durch statistischen Methoden, wie der Berechnung der Kovarianzen zwischen Objekterkennungen kann ermittelt werden, ob sich die Objekterkennungen entsprechen.
Im Programmschritt 208 findet die Auswertung der empfangenen Objektlisten 184-3 und 184-4 statt. Dafür kann auch die Historie der Objektlisten herangezogen werden, die noch in dem Speicher 184-2 abgespeichert ist. Die Auswertung zielt darauf ab, einen Crosscheck durchzuführen, ob die beiden Objektlisten 184-3 und 184-4 sich entsprechen. An Stellen wo sich die Objektlisten nicht entsprechen, wird sich durch die Auswertung zeigen, welcher der beiden Sensoren eine Objekterkennung geliefert hat und welcher nicht. Es ist in der 3 zu sehen, dass die Objektliste 184-4 der Frontkamera 182 das Objekt nur dreimal enthält, während die Objektliste 184-3 des RADAR-Sensors 186 das Objekt fünfmal enthält. Dies ist verständlich, da wie beschrieben, bei schlechten Sichtverhältnissen eher eine Objekterkennung mit den Daten der Frontkamera 182 ausfallen wird als mit dem RADAR-Sensor 186 . So ist es dann möglich den Zuverlässigkeitsbereich RCDR der Frontkamera 182 zu bestimmen. Dies ergibt sich z.B. daraus, dass sich die Objekterkennungen in den beiden zu vergleichenden Objektlisten sich in dem Zuverlässigkeitsbereich innerhalb einer bestimmten Toleranz decken.
Im Programmschritt 210 findet dann die Operation der Sensordatenfusion von den sich entsprechenden Objekterkennungen in dem Zuverlässigkeitsbereich RCDR der Frontkamera 182 statt. Außerhalb des Zuverlässigkeitsbereichs RCDR werden die Objekterkennungen seitens des RADAR-Sensors 186 in die fusionierte Objektliste 184-5 eingetragen. Dies findet im Programmschritt 212 statt. Als Resultat entsteht eine gemeinsame Objektliste 184-5 für ein erkanntes Objekt. Das Objekt kann z.B. eines der vorausfahrenden Fahrzeuge 12 sein oder das Verkehrsschild 16, wie in den 4 und 5 gezeigt. Die gemeinsame Objektliste 184-5 wird von dem Steuerprogramm des Notbremsassistenten 184 benutzt. In der gemeinsamen Objektliste 184-5 ist mit dem Buchstaben F angedeutet welche Objekte in der Objektliste durch Sensordatenfusion bestimmt wurden. Mit dem Buchstaben R ist angedeutet welche Objekte ausschließlich aus den Daten des RADAR-Sensors 186 bestimmt wurden. Wenn erkannt wird, das sich das Objekt zu weit und/oder zu schnell an das Nutzfahrzeug 10 annähert, wird der Notbremsvorgang durchgeführt um eine Kollision mit dem Objekt zu verhindern.
Die Positionsermittlung der Objekte kann mit GNSS-Signale und Odometrie-Signale, die das Nutzfahrzeug bereithält gestützt werden. Die Bildqualität wird sehr stark mit der Tageszeit variieren. Hier sollte wenigstens zwischen Tag- und Nachtzeiten unterschieden werden.
Auch die Verkehrsbedingungen können einen Einfluss auf die Genauigkeit der Objekterkennung haben. Hier kann unterschieden werden, ob sich das Fahrzeug im Stadtverkehr, auf der Autobahn, auf der Landstraße usw. bewegt. Im Stadtverkehr kommt es auf besonders genaue Erfassung der Verkehrsschilder an.
Alle hierin erwähnten Beispiele wie auch bedingte Formulierungen sind ohne Einschränkung auf solche speziell angeführten Beispiele zu verstehen. So wird es zum Beispiel von Fachleuten anerkannt, dass das hier dargestellte Blockdiagramm eine konzeptionelle Ansicht einer beispielhaften Schaltungsanordnung darstellt. In ähnlicher Weise ist zu erkennen, dass ein dargestelltes Flussdiagramm, Zustandsübergangsdiagramm, Pseudocode und dergleichen verschiedene Varianten zur Darstellung von Prozessen darstellen, die im Wesentlichen in computerlesbaren Medien gespeichert und somit von einem Computer oder Prozessor ausgeführt werden können. Das in den Patentansprüchen genannte Objekt kann ausdrücklich auch eine Person sein.
Es sollte verstanden werden, dass das vorgeschlagene Verfahren und die zugehörigen Vorrichtungen in verschiedenen Formen von Hardware, Software, Firmware, Spezialprozessoren oder einer Kombination davon implementiert werden können. Spezialprozessoren können anwendungsspezifische integrierte Schaltungen (ASICs), Reduced Instruction Set Computer (RISC) und / oder Field Programmable Gate Arrays (FPGAs) umfassen. Vorzugsweise wird das vorgeschlagene Verfahren und die Vorrichtung als eine Kombination von Hardware und Software implementiert. Die Software wird vorzugsweise als ein Anwendungsprogramm auf einer Programmspeichervorrichtung installiert. Typischerweise handelt es sich um eine Maschine auf Basis einer Computerplattform, die Hardware aufweist, wie beispielsweise eine oder mehrere Zentraleinheiten (CPU), einen Direktzugriffsspeicher (RAM) und eine oder mehrere Eingabe/Ausgabe (I/O) Schnittstelle(n). Auf der Computerplattform wird typischerweise außerdem ein Betriebssystem installiert. Die verschiedenen Prozesse und Funktionen, die hier beschrieben wurden, können Teil des Anwendungsprogramms sein oder ein Teil, der über das Betriebssystem ausgeführt wird.
Die Offenbarung ist nicht auf die hier beschriebenen Ausführungsbeispiele beschränkt. Es gibt Raum für verschiedene Anpassungen und Modifikationen, die der Fachmann aufgrund seines Fachwissens als auch zu der Offenbarung zugehörend in Betracht ziehen würde.
Die Erfindung wird in den Ausführungsbeispielen am Beispiel des Einsatzes in Fahrzeugen genauer erläutert. Hier wird auch auf die Einsatzmöglichkeit bei Flugzeugen und Helikoptern zum Beispiel bei Landemanövern oder Sucheinsätzen etc. hingewiesen.
Auch bei ferngesteuerten Geräten wie Drohnen und Robotern, bei denen die es sehr stark auf Bildauswertung ankommt, kann die Erfindung eingesetzt werden. Andere Einsatzmöglichkeiten betreffen ein Smartphone, ein Tablet Computer, ein Personal Assistant oder eine Daten-Brille.
Bezugszeichenliste

10: Nutzfahrzeug
12: vorausfahrendes Fahrzeug
14: entgegenkommendes Fahrzeug
16: Verkehrsschild
20: LCD-Display
30: Gateway
40: Recheneinheit
50: Eingabeeinheit
60: Speichereinheit
70: Datenleitung zur Anzeigeeinheit
80: Datenleitung zur Speichereinheit
90: Datenleitung zur Eingabeeinheit
100: 1. Kommunikationsbus
102: 2. Kommunikationsbus
104: 3. Kommunikationsbus
106: 4. Kommunikationsbus
110: Kombiinstrument
120: Telefon
130: Navigationsgerät
140: Radio
150: Innenraumkamera
160: On-Board-Kommunikationsmodul
172: Motorsteuergerät
174: ESC-Steuergerät
176: Getriebesteuergerät
182: Frontkamera
184: Notbremsassistenz-Steuergerät
184-1: Mikrorechner
184-2: Speichereinheit
184-3: Objektliste RADAR-Sensor
184-4: Objektliste Frontkamera
184-5: fusionierte Objektliste
186: RADAR-Steuergerät
190: On-Board-Diagnose-Anschluss
202 - 216: verschiedene Programmschritte eines Computerprogramms
NCDR: nomineller Kamera-Objekterkennungsbereich
NRDR: nomineller RADAR-Sensor-Objekterkennungsbereich
RCDR: Zuverlässigkeitsbereich Kamera-Sensor
COT: Kameraobjekt-Verfolgungsspur
ROT: RADAR-Sensor-Objektverfolgungsspur
1CDP: erste Objekterkennungsposition Kamera-Sensor
1 RDP: erste Objekterkennungsposition RADAR-Sensor
LCDP: letzte Objekterkennungsposition Kamera-Sensor
NCDP: letzte Objekterkennungsposition RADAR-Sensor

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2016/0170414 A1 [0008]

Claims

Verfahren zur Umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden Umgebungserfassungssensoren (182, 186), wobei die Bilder der Umgebungserfassungssensoren (182, 186) mit jeweiligen Objekterkennungsalgorithmen ausgewertet werden, wobei die wenigstens zwei Umgebungserfassungssensoren (182, 186) unterschiedliche Charakteristiken bzgl. der Objekterkennung in Abhängigkeit von der Distanz des Objektes (12, 16) zum Umgebungserfassungssensor (182, 186) aufweisen, wobei für eine dynamische Objekterkennung eine mehrfache aufeinanderfolgende Objekterkennung für den jeweiligen Umgebungssensor (182, 186) durchgeführt wird und die Objekterkennungen mit Positionsangabe in eine Objektliste (184-3; 184-4) eingetragen werden, wobei die Objekterkennungen in den Objektlisten (184-3; 184-4) miteinander in Beziehung gesetzt werden, und wobei die Genauigkeit der Objektlokalisierungen durch eine Sensorfusion der miteinander in Beziehung gesetzten Objekterkennungen erhöht wird, dadurch gekennzeichnet, dass ein Zuverlässigkeitsbereich (RCDR) bzgl. der Objekterkennung wenigstens eines Umgebungserfassungssensors (182, 186) bestimmt wird, und wobei die Durchführung der Sensorfusion der Objekterkennungen auf den Zuverlässigkeitsbereich (RCDR) beschränkt wird und außerhalb des Zuverlässigkeitsbereiches (RCDR) die Objektlokalisierung basierend auf den Objekterkennungen des wenigstens einen anderen Umgebungserfassungssensors (186) erfolgt, für den der bestimmte Zuverlässigkeitsbereich (NRDR) nicht gilt.
Verfahren nach Anspruch 1, wobei für die Bestimmung des Zuverlässigkeitsbereiches (RCDR) die historischen Daten von vorhergehenden Objekterkennungen berücksichtigt werden und eine Objekterkennungsrate über die Entfernung zwischen Umgebungssensor (182, 186) und Objekt (12, 16) entlang der Objektverfolgungsspur (COT, ROT) berechnet wird.
Verfahren nach Anspruch 2, wobei für die Bestimmung des Zuverlässigkeitsbereiches (RCDR) die historischen Daten von vorhergehenden Objekterkennungen berücksichtigt werden und eine Objektverfolgungsrate über die Entfernung zwischen Umgebungssensor und Objekt (12, 16) entlang der Objektverfolgungsspur (OT) berechnet wird.
Verfahren nach Anspruch 2 oder 3, wobei der Zuverlässigkeitsbereich (RCDR) dadurch bestimmt wird, dass in diesem Bereich die Objekterkennungsrate und/oder die Objektverfolgungsrate entlang der Objektverfolgungsspur (OT) in einem nominalen Wertebereich liegt, der für eine zuverlässige Objekterkennung gefordert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Zuverlässigkeitsbereich (RCDR) fortlaufend neu bestimmt wird, um eine dynamische Festlegung des Zuverlässigkeitsbereiches (RCDR) zu ermöglichen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Umgebungserfassungssensoren (182, 186) zur Umgebungserfassung für ein Fahrzeug (10) benutzt werden, wobei der eine bildgebende Umgebungserfassungssensor (186) ein RADAR-Sensor oder ein LIDAR-Sensor ist und der andere bildgebende Umgebungserfassungssensor (182) eine Kamera ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei als Objekte (12, 16) bewegliche Verkehrsteilnehmer, insbesondere vorausfahrende Fahrzeuge (12) von den Umgebungssensoren (182, 186) erfasst werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei als Objekte (12, 16) unbewegliche Objekte, insbesondere Verkehrsschilder (16) oder stehende Fahrzeuge (12) von den Umgebungssensoren (182, 186) erfasst werden.
Verfahren nach einem der Ansprüche 3 bis 8, wobei zur Objektverfolgung die Objektverfolgungsspur (OT) geschätzt wird, auf der die Positionen der fortlaufenden Objekterkennungen des Objektes (12, 16) mutmaßlich liegen.
Verfahren nach Anspruch 9, wobei die Objektverfolgungsspur (OT) in Abschnitte (ROT, COT) eingeteilt wird, die angeben, mit den Messdaten welches Umgebungserfassungssensors (182, 186) oder welcher Umgebungserfassungssensoren (182, 186) die tatsächliche Berechnung der Position einer Objekterkennung erfolgen soll.
Vorrichtung zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche, aufweisend wenigstens zwei unabhängige bildgebende Umgebungserfassungssensoren (182, 186), wobei die wenigstens zwei Umgebungserfassungssensoren (182, 186) unterschiedliche Charakteristiken bzgl. der Objekterkennung in Abhängigkeit von der Distanz des Objektes (12, 16) zum Umgebungserfassungssensor (182, 186) aufweisen, weiter aufweisend eine Recheneinrichtung (184-1) und eine Speichereinrichtung (184-2), wobei die Recheneinrichtung (184-1) ausgelegt ist, eine genauere Objekterkennung seitens der wenigstens zwei bildgebenden Umgebungserfassungssensoren (182, 186) durch Sensorfusion zu berechnen, wobei die Recheneinrichtung (184-1) ausgelegt ist für die erkannten Objekte in den Objektlisten der Umgebungserfassungssensoren die jeweilige Position des Objektes zu berechnen, dadurch gekennzeichnet, dass die Recheneinrichtung (184-1) ausgelegt ist, einen Zuverlässigkeitsbereich (RCDR) bzgl. der Objekterkennung wenigstens eines Umgebungserfassungssensors (182, 186) dynamisch zu bestimmen und die Durchführung der Sensorfusion für die sich entsprechenden Objekterkennungen der wenigstens zwei Umgebungserfassungssensoren (182, 186) auf den Zuverlässigkeitsbereich (RCDR) zu beschränken und außerhalb des Zuverlässigkeitsbereiches (RCDR) die Objektlokalisierung basierend auf den Objekterkennungen des anderen Umgebungserfassungssensors (186) zu berechnen, für den der bestimmte Zuverlässigkeitsbereich (NRDR) nicht gilt.
Vorrichtung nach Anspruch 11, wobei die Recheneinrichtung (184-1) Teil eines Steuergerätes (184) in einem Fahrerassistenzsystem eines Fahrzeuges (10) ist.
Vorrichtung nach Anspruch 12, wobei die Recheneinrichtung (184-1) mit einer Degradationsfunktion ausgestattet ist, die dafür ausgelegt ist die Funktion des Fahrerassistenzsystems dynamisch anzupassen in Abhängigkeit von der Bestimmung des Zuverlässigkeitsbereichs (RCDR).
Vorrichtung nach einem der Ansprüche 8 bis 13, wobei ein Umgebungserfassungssensor (182, 186), eine Videokamera (182) und der wenigstens eine andere Umgebungserfassungssensor (182, 186), ein LIDAR- oder ein RADAR-Sensor ist.
Fahrzeug, dadurch gekennzeichnet, dass das Fahrzeug (10) mit einer Vorrichtung nach einem der Ansprüche 11 bis 14 ausgestattet ist.
Computerprogramm, dadurch gekennzeichnet, dass das Computerprogramm ausgelegt ist, bei Abarbeitung in einer Recheneinrichtung (184-1) die Schritte des Verfahrens nach einem der Ansprüche 1 bis 10 durchzuführen.