DE112017006672T5

DE112017006672T5 - Erfassung von Verkehrsdynamik und Strassenveränderungen beim autonomen Fahren

Info

Publication number: DE112017006672T5
Application number: DE112017006672.7T
Authority: DE
Inventors: Igor Tatourian; Justyna Zander; Rita H. Wouhaybi
Original assignee: Intel Corp
Current assignee: Tahoe Research Ltd
Priority date: 2016-12-29
Filing date: 2017-11-29
Publication date: 2019-12-19
Also published as: US20180188738A1; US10254763B2; CN110072749B; CN116552511A; US20190369634A1; CN110072749A; US10928829B2; WO2018125483A1

Abstract

In einigen Ausführungsformen beinhaltet der offenbarte Gegenstand ein System und ein Verfahren zur dynamischen Identifizierung von Objekten und Umgebungsveränderungen zur Verwendung bei autonomen Fahrzeugen. Zur effizienten Erfassung von Veränderungen für autonome oder teilautonome Fahrzeuge können Ausführungsformen eine Methode verwenden, die auf Hintergrundentfernung und Bildsubtraktion beruht, wobei Bewegungserfassung anstelle einer vollständigen Objektidentifizierung für alle Objekte in einem Bild verwendet wird. Dabei werden nahe eines Straßenabschnitts befindliche Straßeneinheiten oder virtuelle Straßeneinheiten in der Cloud, andere Fahrzeuge oder Mobileinrichtungen (z.B. Drohnen) verwendet, um Hintergrundbilder für einen Straßenabschnitt abzurufen und zur Verwendung durch das autonome Fahrzeug zu speichern. Weitere Ausführungsformen sind beschrieben und beansprucht.

Description

Diese Anmeldung beansprucht die Priorität der am 29. Dezember 2016 eingereichten US-Patentanmeldung Nr. 15/394,177 , deren Offenbarung hierin vollumfänglich in Bezug genommen wird.
TECHNISCHES GEBIET
Eine Ausführungsform des vorliegenden Gegenstands betrifft allgemein autonome Fahrzeuge und insbesondere das Identifizieren von Veränderungen in der Umgebung sowie der Straße, wodurch eine dynamische Analyse der Fahrumgebung ermöglicht wird.
HINTERGRUND
Es existieren verschiedene Mechanismen zur visuellen Identifizierung von Straßen und Objekten zur Verwendung im autonomen Fahren. Straßenidentifizierung beinhaltet üblicherweise umfangreiche Kartierung der Gebiete, in denen sich das autonome Fahrzeug bewegen soll, mittels Kameras oder Lidar (Light Detection and Ranging, Lichtabstandsmessung) zur Erstellung hochauflösender Karten. Gegenwärtig entwickelte hochautomatisierte Fahrzeuge (Highly Automated Vehicles, HAVs) verwenden detaillierte hochauflösende Karten. Veränderungen in der Umgebung zwischen dem Zeitpunkt der Kartierung und dem Zeitpunkt des Fahrens können Identifizierungsfehler verursachen, beispielsweise wenn sich Schlaglöcher bilden oder Straßenarbeiten vorgenommen werden. Zudem ist es unrealistisch, eine Verfügbarkeit präziser Karten für den gesamten Planeten zu erwarten. Zudem versagt die Verwendung von per Crowdsourcing erhaltenen Aktualisierungen dort, wo Anlieger absichtlich unzutreffende Informationen melden, um Verkehr von ihrem Gebiet wegzulenken.
Bestehende Fahrzeugsysteme zum maschinellen Sehen beruhen auf Maschinenlernalgorithmen wie konvolutionellen neuronalen Netzen (Convolutional Neural Networks, CNN) oder tiefgehenden neuronalen Netzen (Deep Neural Networks, DNN), um einen Ort zu analysieren und Objekte aus den Videorahmen zu extrahieren. Zusätzlich werden Radar (Funkabstandsmessung) oder Lidar verwendet und deren Daten mit den aus Bildern extrahierten Daten kombiniert. Lidar kann für einige Implementierungen mit unverhältnismäßigem Aufwand verbunden sein, während neuronale Netze falsche Ergebnisse hervorbringen oder gehackt werden können. Maschinenlemalgorithmen erfordern sehr hohe Verarbeitungs- und Speicherkapazitäten, und ein zusätzliches Kombinieren von Daten erhöht noch die Grundanforderungen an die Rechenleistung, was erhebliche Hindernisse für die Entwicklung autonomer oder selbstfahrender Fahrzeuge darstellt.
Figurenliste
In den Zeichnungen, die nicht notwendigerweise maßstabsgetreu sind, können gleiche Bezugszeichen in unterschiedlichen Ansichten gleichartige Komponenten beschreiben. Gleiche Bezugszeichen mit unterschiedlichen Buchstabensuffixen können verschiedene Exemplare gleichartiger Komponenten bezeichnen. Einige Ausführungsformen sind beispielhaft und nicht einschränkend in den Figuren der beiliegenden Zeichnungen veranschaulicht. Es zeigen:

1A ein Diagramm, das einen beispielhaften Bildrahmen wie von einem autonomen Fahrzeug aus wahrgenommen gemäß einer Ausführungsform veranschaulicht;
1B ein Diagramm, das einen beispielhaften Hintergrundbildrahmen, nachdem (sich bewegende) Vordergrundobjekte entfernt wurden, gemäß einer Ausführungsform veranschaulicht;
1C ein Diagramm, das die Vordergrundobjekte veranschaulicht, die aus 1B entfernt wurden;
2 ein Blockdiagramm, welches das System zur Verwendung von Straßen(rand)einheiten (Road Side Units, RSUs) zur Unterstützung autonomer Fahrzeuge gemäß einer Ausführungsform veranschaulicht;
3 ein Flussdiagramm, das ein Verfahren zur Verwendung von RSUs zur Unterstützung von Verkehrsmanagement gemäß einer Ausführungsform veranschaulicht;
4 ein Blockdiagramm, das verschiedene Komponenten der RSUs gemäß einer Ausführungsform veranschaulicht, und
5 ein Blockdiagramm, das ein Beispiel einer Maschine veranschaulicht, auf der eine oder mehrere Ausführungsformen implementiert werden können.

AUSFÜHRLICHE BESCHREIBUNG
In der nachfolgenden Beschreibung werden zu Erläuterungszwecken zahlreiche Einzelheiten dargelegt, um ein vollständiges Verständnis einiger beispielhafter Ausführungsformen zu gewährleisten. Ein Fachmann versteht jedoch, dass der vorliegende Gegenstand auch ohne diese konkreten Einzelheiten oder mit geringfügigen Änderungen umgesetzt werden kann.
Wo in dieser Spezifikation Bezug genommen wird auf „(genau) eine Ausführungsform“ oder „(irgend)eine Ausführungsform“, bedeutet dies, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder eine bestimmte Eigenschaft, die in Verbindung mit der Ausführungsform beschrieben werden, in mindestens einer Ausführungsform des vorliegenden Gegenstands enthalten sind. Die an verschiedener Stelle dieser Spezifikation zu lesende Formulierung „in (genau) einer Ausführungsform“ oder „in (irgend)einer Ausführungsform“ bezieht sich somit nicht unbedingt stets auf dieselbe Ausführungsform, oder auf unterschiedliche oder einander ausschließende Ausführungsformen.
Zu Erläuterungszwecken werden konkrete Konfigurationen und Einzelheiten dargelegt, um ein vollständiges Verständnis des vorliegenden Gegenstands zu gewährleisten. Ein Fachmann versteht jedoch, dass Ausführungsformen des beschriebenen Gegenstands ohne die vorliegend vorgestellten konkreten Einzelheiten oder auch in verschiedenen Kombinationen wie vorliegend beschrieben umgesetzt werden können. Des Weiteren können allgemein bekannte Merkmale weggelassen oder vereinfacht dargestellt sein, um die beschriebenen Ausführungsformen klarer darzustellen. In der gesamten Beschreibung können verschiedene Beispiele angegeben sein. Dabei handelt es sich lediglich um Beschreibungen konkreter Ausführungsformen. Umfang oder Bedeutung der Ansprüche sind nicht auf die angegebenen Beispiele eingeschränkt.
Bei einer Ausführungsform des vorliegenden Gegenstands handelt es sich um ein System und ein Verfahren, die eine Verbindung zwischen dynamischer Identifizierung von Objekten und Umgebungsveränderungen zur Verwendung bei autonomen Fahrzeugen herstellen. Zur wirksamen Erfassung von Veränderungen für autonome Fahrzeuge können Ausführungsformen eine auf Hintergrundentfernung und Bildsubtraktion beruhende Methode verwenden. Derzeit ist maschinelles Sehen nicht in der Lage, Veränderungen der Straße wie beispielsweise Schlaglöcher zu erfassen, und existierende Methoden können Schwierigkeiten hinsichtlich der Leistungsfähigkeit bei der Erkennung sich bewegender Objekte haben, wenn aktuelle Algorithmen Begrenzungsrahmen um diese Objekte erstellen. Für moderne Algorithmen ist es beispielsweise schwierig, eine Plastiktüte von einem großen Stein zu unterscheiden, und ebenso, eine an einer Kreuzung ausharrende Person von jemandem zu unterscheiden, der sich anschickt, die Kreuzung zu überqueren.
Vorliegend beschriebene Methoden unterscheiden sich von herkömmlicher Objekterfassung zur Verwendung durch autonome Fahrzeuge dadurch, dass sie anders als diese eine Bewegungserfassung unter Verwendung eines Minimums an Verarbeitungs- und Rechenleistung bereitstellen. Es kann spezialisierte Hardware- und Software-Architektur zur Anwendung kommen, um Bewegung und Hindernisse zu erfassen, ohne zu versuchen, die Objekte, die sich im Weg eines sich bewegenden Fahrzeugs befinden oder diesen kreuzen, zu erkennen. Um dies zu erreichen, können Ausführungsformen Verlagerungen in Bildern von Fahrzeugkameras erfassen. In einer Ausführungsform kann zur Erfassung von Verlagerungen ein Ersthintergrundbild oder eine Vorlage mit durch die Fahrzeugkamera aufgenommenen Bildern verglichen werden. Zur Bereitstellung der Hintergrundvorlage kann eine Road Side Unit (RSU) verwendet werden. Anstelle von RSUs an der Straße kann eine Vorlage auch aus der Cloud, von einer Drohne, per Satellitenkommunikation oder per Fahrzeug-zu-Fahrzeug-Kommunikation abgerufen werden oder durch das Fahrzeug selbst mittels eines Hintergrundbildvorlagengenerators erzeugt werden. Ein effizientes System bzw. eine effiziente Lösung müssen zwei Pole oder RSUs mit Funkfrequenz- (RF-) Fähigkeiten bereitstellen. Die RSUs können eine beliebige Anzahl an RF-Protokollen oder -Frequenzen verwenden, beispielsweise 4G, 5G dedizierte Nahbereichskommunikation (Dedicated Short-Range Communications, DSRC) etc. Zur Anwendung kommen können Infrarot oder andere auf Sichtkontakt beruhende optische Kommunikationsverfahren. Die RSUs können in der Lage sein, Informationen für einen Straßenabschnitt aufzuzeichnen und einen Verkehrsfluss sowie Fremdobjekterkennung auf Grundlage einfacher Bildverarbeitungsmethoden koordinieren.
Bei der Hintergrundbildvorlage kann es sich um eine vorbereitete Ansicht des Orts vom aktuellen Standpunkt eines Fahrzeugs aus und ohne Fremdobjekte handeln. Vorbereitete Ansichten des Orts können in RSUs oder in der Cloud gespeichert sein und durch andere Fahrzeuge verwendet werden, um Berechnungen zu optimieren.
In einer Ausführungsform verwendet ein System Fahrzeugkameras, um die Straße aufzuzeichnen und die Informationen in Straßeneinheiten (RSUs) zu speichern und in die Cloud hochzuladen, um diese zusammen mit ihren GPS-Koordinaten und Straßenbaken zu verarbeiten (Sensordaten als Teil der Videorahmen). Tageszeit und Witterungsverhältnisse können ebenfalls aufgezeichnet werden, um sicherzustellen, dass die sich verändernde Landschaft korrekt verwendet wird. GPS-Koordinaten und Straßenposition gewährleisten einen korrekten Außenweltsichtwinkel zur Bildsubtraktion. Zusätzlich kann ein überlagerndes Raster zur Entfernungs- und Bewegungsberechnung verwendet werden.
In einer Ausführungsform können zwei RSUs verwendet werden: eine am Anfang eines Straßenabschnitts und eine weitere am Ende des Straßenabschnitts. Auf diese Weise kann praktisch jede befestigte oder unbefestigte Straße an jedem Standort der Welt in einfacher Weise abgedeckt werden. Somit besteht nicht die Notwendigkeit einer umfangreichen Infrastruktur bei der Implementierung.
In einer Ausführungsform verwendet das System Hintergrundbildentfernung und Überlagerung subtrahierter Videorahmen mit Rasterlinien zur Entfernungs- und Bewegungserfassung. Sensordaten von der RSU, GPS- sowie zusätzliche Metadaten (Zeit, Wetter etc.) werden in die Bildrahmen eingebettet, um die Genauigkeit und Zuverlässigkeit des Systems zu verbessern. Sichtbar bleiben nur Objekte, die ihren Standort verändert bzw. sich innerhalb der Rahmen bewegt haben. In diesem Fall kann eine zusätzliche DNN- oder CNN-basierte Bilderkennung aktiviert werden und es kann Radar oder Lidar, sofern verfügbar, als ergänzende Lösung verwendet werden.
Gemäß 1A wird eine Darstellung eines beispielhaften Bilds mit Hintergrund- und Vordergrundinformationen gezeigt. Das Hintergrundbild 120A beinhaltet Wolken, Bäume, eine Straße, in der Ferne liegende Berge etc. In diesem Beispiel ist im Vordergrund ein Pkw 110 gezeigt. Da der Pkw 110 ein bewegliches Objekt ist, ist es unwahrscheinlich, dass dieser im Vorlagenbild wie in 1B gezeigt zu sehen ist. 1B veranschaulicht einen Hintergrundbildrahmen, auch bezeichnet als Vorlagenbild oder Hintergrundvorlagenbild, der Umgebung mit lediglich den Hintergrundbilddaten 120A, d.h. ohne Pkw 110 im Vordergrund. Der Hintergrundbildrahmen 120B kann sich aufgrund von Zeitunterschieden, sich ändernden Jahreszeiten, Pflanzenwachstum, Verfallserscheinungen der Umgebung (z.B. Schlaglöcher in der Straße) etc. geringfügig vom Bild 120A in 1A unterscheiden.
1A zeigt auch eine Darstellung einer Start-RSU 130 und einer End-RSU 140 für den gezeigten Straßenabschnitt. In Übereinstimmung mit der Fahrtrichtung des Fahrzeugs kann die RSU 130 als „Anfangs-RSU“ und die RSU 140 als „End-RSU“ bezeichnet werden. Es versteht sich, dass für Fahrzeuge mit entgegengesetzter Fahrtrichtung die Benennung von Anfangs- und End-RSU umgekehrt werden kann. In diesem Beispiel fährt das autonome Auto (nicht gezeigt) in vom unteren Seitenrand zum oberen Seitenrand verlaufender Richtung.
Ist eine RSU defekt oder nicht erreichbar, können die Bordcomputer des Fahrzeugs dessen eigene Videorahmen verwenden, um den Hintergrund zu entfernen, wobei der erste Rahmen als Vorlage dient und mehrere nachfolgende Rahmen abgeglichen werden, um den Hintergrund zu entfernen. In einem solchen Szenario können bei fehlender oder defekter RSU mehrere Autos mit verschiedenen Arten von Sensoren dieselben Maßnahmen durchführen, um den Umgebungsbereich um die fehlende/defekte RSU herum zu analysieren. In einer Ausführungsform markieren die Fahrzeuge die Bilder und senden ihre Resultate in die Cloud. In der Cloud wird eine Ähnlichkeitsanalyse vorgenommen. Die Ergebnisse der DNN-basierten Bewertung und die Endresultate können je nach der Sensorqualität und/oder visuellen Chipverarbeitungsfähigkeiten von Fahrzeug zu Fahrzeug variieren. Sobald die Ähnlichkeitsanalyse eine hohe Genauigkeit erreicht, beispielsweise 99,9 %, kann eine ,virtuelle RSU‘ in der Cloud erstellt werden, um als virtuelle Instanz der fehlenden/defekten RSU zu agieren, bis die Einheit repariert oder ersetzt ist. In einigen Umgebungen können aufgrund mangelnder Wirtschaftlichkeit oder Machbarkeit einer Platzierung physischer RSUs viele oder sämtliche der RSUs virtuell sein. Mit der Zeit können virtuelle RSU-Knoten in der Cloud verwendet werden, um die Genauigkeit von Beobachtungen zu verbessern, die von älteren oder überholten RSUs auf der Straße empfangen werden.
In einer Ausführungsform können Start- bzw. End-RSUs 130, 140 Vorlagevideorahmen in die Fahrzeuge streamen, die in den Straßenabschnitt einfahren, bzw. einen Stream von den Fahrzeugen empfangen, die diesen verlassen. Diese RSUs 130, 140 sind alles, was erforderlich ist, um den Verkehrsfluss auf dieser Straße, bei der es sich um eine Landstraße handeln kann, zu koordinieren. Diese Lösung ist vorteilhaft gegenüber bestehenden Lösungen, bei denen zunächst die Erstellung einer hochauflösenden Karte einer Straße erforderlich ist, bevor ein Auto in der Lage ist, auf der Straße selbsttätig zu fahren. In bestehenden Systemen können sich selbst bei recht genauen Karten die Karten und die Autos nur schwer an sich ändernde Straßenbedingungen anpassen.
2 ist ein Blockdiagramm, welches das System zur Verwendung von Straßeneinheiten (RSUs) zur Unterstützung autonomer Fahrzeuge gemäß einer Ausführungsform veranschaulicht. Gemäß 2 wird eine Darstellung der Kommunikation zwischen Systemeinrichtungen und -komponenten gemäß einer Ausführungsform gezeigt. Ein Fahrzeug 210 auf einer Straße 201 fährt in einen Straßenabschnitt ein. In einem Beispiel wird der Straßenabschnitt durch die RSU 221 und die RSU 223 begrenzt. In diesem Beispiel bewegt sich das Fahrzeug 210 von links nach rechts, so dass es sich begrifflich bei der RSU 221 um die Start-RSU und bei der RSU 223 um die End-RSU handelt. Das Fahrzeug 210 beinhaltet zudem ein Bildgewinnungssystem wie beispielsweise eine Kamera 211, um Bilder der Straße 201 und der Umgebung aufzunehmen. Der Einfachheit halber kann in dieser Schrift die Bezeichnung Kamera synonym mit der Bezeichnung Bildgewinnungssystem verwendet werden. In einer Ausführungsform kann das Bildgewinnungssystem eine Kamera, eine Kameraanordnung, einen Bordprozessor etc. beinhalten. In einer Ausführungsform kann das Bildgewinnungssystem die Kamera und wahlweise die weiteren Anordnungs- und Verarbeitungs- bzw. Datenverarbeitungseinrichtungskomponenten beinhalten. Ein Bordprozessor oder eine Datenverarbeitungseinrichtung (nicht gezeigt) kann auch als Bildweiterleitungseinrichtung bezeichnet werden. Die Bildweiterleitungseinrichtung kann Bilder von der Kamera 211 empfangen und diese an einen Server in der Cloud 240 weiterleiten. In einer Ausführungsform kann die Bildweiterleitungseinrichtung Teil der Kameraanordnung sein. In einer weiteren Ausführungsform kann es sich bei der Bildweiterleitungseinrichtung um eine separate Datenverarbeitungseinrichtung am Fahrzeug 210 handeln, die mit der Kamera 211 kommunikativ gekoppelt ist. Die Kamera und die Bildweiterleitungseinrichtung können durch Festverdrahtung verbunden sein oder drahtlos über eine Vielzahl von Formaten kommunizieren. Die Bildweiterleitungseinrichtung kann eine Kommunikationsverbindung oder - komponente beinhalten oder an einen Sender oder Sendeempfänger gekoppelt sein, um Bilder in die Cloud 240, an eine Drohne 230 oder an andere Fahrzeuge (nicht gezeigt) zu senden/weiterzuleiten.
Der Fahrzeug-Bordprozessor kommuniziert mit verfügbaren RSUs 221, 223, wenn diese in Reichweite liegen. In alternativen Ausführungsformen kann der Bordprozessor mit der Cloud 240 oder einer Drohne 230 kommunizieren. Wenn die RSUs 221, 223 nicht verfügbar sind, entweder aufgrund von Beschädigung oder in abgelegenen Gebieten, in denen es zu kostspielig oder unbequem ist, eine RSU zu platzieren, kann der Bordprozessor mit der Cloud 240 kommunizieren, um Bilder hochzuladen und Hintergrundvorlagen herunterzuladen. In einer weiteren Ausführungsform kann, wenn RSUs 221, 223 beschädigt oder nicht erreichbar sind, eine Drohne 230 vorab in das Gebiet des Straßenabschnitts geschickt werden, um Bilder für Vorlagen aufzunehmen. Die Drohne 230 enthält eine Kamera 231 und einen eigenen Bordprozessor (nicht gezeigt). Wie beim Fahrzeug 210 kann auch der Bordprozessor der Drohne Teil der Kameraanordnung oder eine separate Komponente sein. Die Drohne 230 kann aufgenommene Vorlagen an die Cloud 240 oder direkt an das Fahrzeug 210 kommunizieren.
Im veranschaulichten Beispiel werden, während das Fahrzeug 210 in einen Straßenabschnitt einfährt, Bildrahmen von der RSU 221 aus in das Fahrzeug eingespeist, um den Hintergrund zu maskieren. Beispielsweise sieht die Fahrzeugkamera 211 die vorausliegende Straße, wie in 1A veranschaulicht. Dieses Bild kann in Grauwerte umgewandelt und weiter vorverarbeitet werden. Von der RSU 221 aus kann ein Vorlagenbild bereitgestellt werden, wie in 1A veranschaulicht. Die Vorlage kann verwendet werden, um eine Maske zu erzeugen, sodass der Hintergrund entfernt wird und nur ein Fremdobjekt oder Veränderungen der Straße für die Idealvideorahmen verbleiben. In diesem Beispiel sind die Wolken anders und die Jahreszeit kann eine andere sein, wie durch die verschneiten Bergspitzen in der Vorlage angezeigt (1B). Zur Berücksichtigung dieser Unterschiede können Standardalgorithmen wie beispielsweise, ohne jedoch hierauf eingeschränkt zu sein, Rahmendifferenzermittlung, ungefährer Median, Medianbestimmung, Kalman-Filterung, Mischungen Gaußscher Algorithmen etc. verwendet werden. In diesem Beispiel verbleibt, wenn der Hintergrund aus dem Bild in 1A herausmaskiert ist, nur das entgegenkommende Fahrzeug 110, wie in 1C.
In einer Ausführungsform kann von Wind, Schnee oder Regen herrührendes Bildrauschen oder andere Artefakte entfernt werden, um eine hohe Übereinstimmung zwischen dem Kamerabild und der Maske sicherzustellen. Es können Nahinfrarot- (IR- ) Bilder zur Unterstützung beim Vergleich von Rahmen verwendet werden, die jahreszeit- oder umweltbedingte Unterschiede wie Schnee oder Regen aufweisen. Ein Ignorieren der Umgebungsunterschiede gestattet eine leichtere Identifizierung von Bewegung oder Grenzlinien. Die meisten Kameras erfassen ohnehin Nahinfrarotfrequenzen, filtern diese jedoch für das menschliche Auge heraus. HDR (ein Gleitkommakanal) kann zudem Unterscheidungshilfe bei abweichenden Lichtverhältnissen bieten.
Bestehende Systeme, die maschinelles Sehen verwenden, können beim Versuch der Identifizierung von Objekten oder Bewegung Randerfassungsalgorithmen verwenden, die Schatten erfassen. Ein Schatten wird als Kontur wahrgenommen. Um das Objekt abzugrenzen, wird Lidar oder Radar verwendet, um die Formen zu identifizieren. Diese Systeme können sehr aufwändig sein. Aktuell gibt es Bestrebungen, 3D-Kameras zu verwenden, um Objekte besser zu identifizieren. Bestehende Systeme können jedoch nur schwer Objekte unter sämtlichen Verhältnissen erfassen. Selbst wenn das System in der Lage ist, die Ränder des Objekts von den Schatten zu unterscheiden, können bestehende Systeme nur schwer eine Plastikmülltüte auf der Straße von einem massiven Stein unterscheiden. Das menschliche Sehen kann solche Unterscheidungen leichter vornehmen, da Menschen Hinweise im Objektverhalten als Hilfsmittel verwenden, um dieses zu identifizieren. Beispielsweise kann ein Flattern, das Bewegung im Wind anzeigt, eine Person zu der Annahme führen, dass es sich eher um eine Tüte als einen Stein handelt.
In bestehenden Systemen werden durch DNN/CNN einige Objekterkennungsaufgaben ausgeführt und offline mit Millionen von Bildern trainiert. Sobald das Training abgeschlossen ist, wird das Erkennungssystem in einem Fahrzeug installiert. Somit ist (typischerweise) kein weiteres Lernen mehr möglich.
In einer Ausführungsform sind vollständige Objekterkennungsversuche wie in bestehenden Systemen durch Bewegungserfassung und Charakterisierung eines Vordergrundobjekts ersetzt. Zusätzliche physische Parameter, die ein Verhalten der sich bewegenden Körper charakterisieren, können durch den Fahrzeug-Bordcomputer berechnet werden. Beispielsweise kann, wenn sich eine Plastiktüte auf der Straße im Wind bewegt, deren Geschwindigkeit und Gewicht berechnet und mit der internen Datenbank aus Absolutbewegungsparametern für Objekte und deren Eigenschaften verglichen werden, um ein sicheres Fahren sicherzustellen. Das heißt, eine Plastiktüte bewegt sich mit Geschwindigkeiten, mit denen sich schwere Objekte nicht bewegen können. Eine Kenntnis des Bewegungsbereichs und der Bewegungsbahn erlaubt einem Algorithmus Rückschlüsse über Gewicht und Festigkeit eines Objekts. Zumeist ist das Überfahren einer Plastiktüte weniger gefährlich als das Überfahren eines Steins mit ähnlichen Abmessungen. Durch die Möglichkeit, zwischen den beiden Objekten zu unterscheiden, kann ein unbegründetes Ausweichen oder Bremsen des autonomen Fahrzeugs zur unnötigen Umgehung des harmlosen Objekts vermieden werden.
Die Vorlagenbilder können auf Grundlage unterschiedlicher Ausführungsformen auf verschiedene Weise erzeugt und dem Fahrzeug bereitgestellt werden. Grundsätzlich müssen die Vorlagen dieselbe Außenweltsicht wie das Bildgewinnungssystem des Fahrzeugs aufweisen, z.B. gleiche Perspektive und Höhe. Vorlagenbilder können durch fliegende Drohnen, am Straßenrand befindliche und kommunikativ mit einer oder mehreren RSUs gekoppelte Kameras, spezielle mobile Bildaufnahmesysteme, Verkehrskameras vorangehender Fahrzeuge etc. aufgenommen werden. In einer Ausführungsform kann, wenn eine RSU wegen Wartungsarbeiten ausfällt und eine virtuelle RSU nicht verfügbar ist oder das Fahrzeug keine Bandbreitenabdeckung besitzt, um auf die Cloud zuzugreifen, das Fahrzeug seine eigenen Rahmen als Vorlagenrahmen verwenden. In diesem Fall kann die Berechnung komplizierter sein, da ein ursprüngliches Hintergrundbild nicht verfügbar ist. Verwenden von Methoden ähnlich einer Komprimierung von Videostreams über Netzwerke. Vergleichen von N-1- und N-Rahmen in Videorahmen. Einfaches Erfassen eines Hintergrundbilds durch Entfernen von Abschnitten des Rahmens, die sich mit der Zeit ändern, als sich bewegende Objekte. In einer Ausführungsform kann das erste durch die RSU bereitzustellende Vorlagenbild auf diese Weise erzeugt werden, da gegebenenfalls kein erstes Hintergrundbild existiert. Die Bestimmung, welches Bild als Hintergrundvorlagenbild bereitgestellt werden soll, kann automatisch erfolgen. Dabei kann ein einfacher regelbasierter Algorithmus oder eine CASE-Anweisung verwendet werden, um Verfügbarkeitsoptionen durchzugehen, wobei als letztes Mittel die lokale Erzeugung bleibt. In diesem Fall kann das lokal erzeugte Hintergrundbild dann an die RSU oder virtuelle RSU als das Erstbild hochgeladen werden, das durch weitere den Straßenabschnitt passierende Fahrzeuge zu verwenden ist.
In einer Ausführungsform können Nahinfrarotfrequenz-Bilder verwendet werden, um rasch Bewegung zu erfassen und den Hintergrund zu identifizieren. In einer Ausführungsform können auch Farbbilder erfasst werden, die an einen als Zweitkontrollmechanismus dienenden Sekundäralgorithmus gehen. Ist einmal das Hintergrundvorlagenbild erzeugt, wird dieses gespeichert oder an eine RSU am Boden oder eine virtuelle RSU in der Cloud hochgeladen. Das Fahrzeug kann eine Vielzahl von Kommunikationsverfahren nutzen. Beispielsweise können LTE oder 5G oder eine beliebige andere Art von Telekommunikationsprotokoll und/oder Funkwellen und/oder WiFi oder sogar auf Sichtkontakt beruhende optische Protokolle verwendet werden, um mit der Cloud zu kommunizieren. In einer Ausführungsform kann, wenn keine übliche Zellen- oder Breitbandverbindung verfügbar ist, beispielsweise in ländlichen Gebieten, eine Drohne eingesetzt werden, um als Weitergabe- oder Zugangspunkt zu agieren. Die Drohne kann eine Satelliten-Breitbandkommunikationsverbindung aufweisen, um die Informationen umgehend in die Cloud weiterzuleiten, oder die Daten lokal speichern, bis sie ein Gebiet mit Breitbandkommunikationszugang erreicht, und dann übertragen. Das Fahrzeug kann mit einer RSU am Boden mittels einer Vielzahl von Kommunikationsverfahren und -protokollen kommunizieren, beispielsweise, zellular, Punkt-zu-Punk-WiFi, Bluetooth, etc.
Während das Fahrzeug 210 an der RSU 223 den Straßenabschnitt verlässt, lädt dieses seine Ansicht der Straße 201 an die End-RSU 223 hoch. Die Start- und End-RSUs 221, 223 können die Bilddaten nachbearbeiten und die Veränderungen bezüglich der Straße oder der Witterungsverhältnisse markieren und verarbeitete Daten an ein Verkehrsmanagementsystem 241 (Traffic Management System, TMS) in der Cloud 240 liefern. Es ist zu beachten, dass Fahrzeuge Bilder aus vielen Richtungen aufnehmen können, was ungeachtet der Fahrtrichtung Daten anderer Fahrzeuge zugute kommt. Es versteht sich, dass sowohl bemannte als auch unbemannte (autonome) Fahrzeuge, die sich auf dem Straßenabschnitt bewegen, Bilddaten an RSUs und die Cloud senden können. Ein bemanntes Fahrzeug mag für die Bilder keine direkte Verwendung haben, durch deren Übersendung an das Verkehrsmanagementsystem 241 kann jedoch ein genaueres Modell der lokalen Umgebung für die autonomen Fahrzeuge und für Navigations- und Verkehrs- oder Unfallmeldesysteme zur Verfügung gestellt werden.
Während das Fahrzeug auf dem Straßenabschnitt unterwegs ist, können auf Grundlage von GPS-Koordinaten und Inertialkorrekturdaten Vorlagenbildrahmen von der RSU mit den Bildrahmen von den Fahrzeugkameras für eine präzisere Auswahl der Rahmen abgeglichen werden.
In einer Ausführungsform besteht Sichtkontakt zwischen der Start-RSU und der End-RSU, so dass diese leicht kommunizieren können. In einer weiteren Ausführungsform kommunizieren die Start- und End-RSUs durch eine virtuelle RSU in der Cloud.
RSUs können als Sicherheitsmittel für die autonom operierenden Fahrzeugbestände eingesetzt werden. In einer Ausführungsform kann die RSU Daten über eine ausgewählte Art von Fahrzeugbestand sammeln, beispielsweise in Kolonnen fahrende Lkws und die Arbeitsschritte der Lkws beim Einordnen in den Verkehr und/oder Reagieren auf das Verkehrsaufkommen. Wenn die RSUs eine Unstimmigkeit auf einem der Lkws feststellen (sich beispielsweise der Laderaum des Lkws entsperrt hat, sich die Tür geöffnet hat und Gegenstände herausgefallen sind oder herausstehen), kann an das Lkw-Steuersystem und/oder die Cloud eine geeignete Warnung gesendet werden.
Die RSUs können auch verwendet werden, um Daten zu den Arbeitsschritten der Lkws in Abhängigkeit von den Straßenverhältnissen zu sammeln, beispielsweise arbeitet auf einer Straße (z.B. einer breiten Straße in gutem Zustand) der Lkw-Kolonnenbildungsalgorithmus effizient, während auf einer anderen Straße (z.B. enge Straße mit vielen Schlaglöchern) der Kolonnenbildungsalgorithmus entsprechend optimiert und angepasst werden kann. Die RSU kann bei der Einschätzung der verschiedenen Szenarien auf Grundlage der Umgebung helfen und die DNN- und CNN-Netze einsetzen, um die Algorithmen für effizientere und situationsbewusstere Kolonnenbildung zu trainieren, insbesondere wenn die Lkws abbiegen.
In ähnlicher Weise wird, wenn sich ein Rettungsfahrzeug auf der Straße befindet (z.B. ein ärztliches Rettungsfahrzeug oder ein Feuerwehrfahrzeug), erwartet, dass andere Autos für diese bestimmte Verhältnisse schaffen. Ärztlichen Fahrzeugen kann Priorität eingeräumt werden. Diese Priorität kann auf den durch die RSUs bereitgestellten Informationen beruhen. Beispielsweise können die Start-RSU und die End-RSU für einen zugehörigen Straßenabschnitt die auf diesem Straßenabschnitt befindlichen Personenkraftwagen informieren, wie effizient Platz für das bzw. die ärztlichen Fahrzeuge geschaffen werden kann, z.B. wann und wo zur Seite zu fahren, schneller oder langsamer zu fahren ist, etc. Zusätzlich kann eine Echtzeitoptimierung der eingehenden Rettungsfahrzeuganfragen auf dem in einer RSU 221, 223 befindlichen Prozessor und/oder in der Cloud 240 erfolgen.
3 ein Flussdiagramm, das ein Verfahren 300 zur Verwendung von RSUs zur Unterstützung von Verkehrsmanagement gemäß einer Ausführungsform veranschaulicht. Eine Ausführungsform kann Vordergrundobjekte in der Umgebung identifizieren. Am Startstandort fährt ein autonomes oder teilautonomes Fahrzeug in einen Straßenabschnitt ein. Falls eine physische Start-RSU verfügbar ist, lädt das Fahrzeug in Kasten 301 Videorahmen von der RSU zur Verwendung als Vorlage herunter. Falls die RSU nicht verfügbar ist, kann das Fahrzeug entweder die Rahmen von einer virtuellen RSU in der Cloud, einem Satelliten oder einem Mobilfunkmast herunterladen oder Videomaterial aufnehmen und die fahrzeugeigenen Videorahmen als Erstvorlage verwenden. In einer alternativen Ausführungsform kann das Fahrzeug eine Drohne aussenden oder Drohnenunterstützung anfordern, entweder vorab oder kurz vor Einfahrt in den Straßenabschnitt. Die Drohne kann Videomaterial des Straßenabschnitts aufnehmen, um Erstvorlagerahmen zu erzeugen. In einer Ausführungsform sendet die Drohne die Vorlagerahmen an eine virtuelle RSU in der Cloud. In einer weiteren Ausführungsform sendet die Drohne die Rahmen direkt an das Fahrzeug und agiert als die virtuelle RSU. Falls die Drohne nicht in der Lage ist, tief genug zu fliegen, um die richtige Perspektive zu erhalten, wie sie von dem Fahrzeug eingenommen würde, kann durch einen Prozessor in der Drohne oder in der Cloud eine Transposition oder Übersetzung der Bilder vorgenommen werden, um die Bilder für eine bessere Bildsubtraktion zu formatieren.
Sobald das Fahrzeug die Vorlage oder das Bild erhält, werden in Kasten 303 Rahmen von der RSU (oder virtuellen RSU) mit durch das fahrzeugeigene Kamerasystem aufgenommenen Rahmen abgeglichen. Der Abgleich kann mit Unterstützung durch passende Rahmen am gleichen GPS-Standort erfolgen. Der Abgleich kann Orientierungspunkte im Bild verwenden. In einer Ausführungsform können Markierungen in der Szenerie hilfreich sein, um verschiedene Bilder aus verschiedenen Quellen auszurichten und abzugleichen. Eine Drohne kann einen Farbvorrat mitführen, um damit die Szenerie zu markieren. Die Drohne kann die Farbe wiederholt verwenden, falls der Algorithmus beim Abgleichen der Bilder von den verschiedenen Fahrzeugen Probleme hat. Für den Abgleich der Rahmen können mehrere Methoden verwendet werden, beispielsweise Algorithmen zur Bildzusammenfügung. Die Bilder werden in Kasten 305 verglichen und subtrahiert, um den Hintergrund zu entfernen. Das Entfernen des Hintergrundes sollte bewegliche Objekte, Schlaglöcher, Gegenstände oder Schutt auf der Straße etc. aufzeigen. Während das Fahrzeug auf dem Straßenabschnitt unterwegs ist, können dreidimensionale (3D-) Objekte als sich bewegende Objekte identifiziert werden, da sich die Vordergrundobjekte relativ zum Fahrzeug bewegen. Sich bewegende Objekte können durch Vergleichen aufeinanderfolgender oder nahe beieinander liegender Rahmen schnell identifiziert werden. Sich bewegende Objekte können durch Vergleichen ihrer Eigenschaften mit bekannten Merkmalen in einer Datenbank identifiziert oder charakterisiert werden. Für identifizierte Vordergrundobjekte wird die Bewegungsphysik berechnet. In Kasten 307 werden Bewegung eines Objekts sowie dessen Form analysiert, um die Vordergrundobjekte und gegebenenfalls deren Bewegungsvektoren zu berechnen. Eine tatsächliche Identifizierung des Objekts ist nicht nötig. Eine Analyse zur Bestimmung, ob das Objekt eine Gefahr darstellt, kann schneller erfolgen, wenn eine tatsächliche Objektidentifizierung umgangen wird. Die Bewegung einer Plastiktüte auf der Straße, und möglicherweise deren umhertreibende Bewegung, kann von einem stillstehenden Stein unterschieden werden. Die auf Grundlage von dessen Bewegungsvektoren erfolgende Identifizierung, ob das Objekt massiv ist oder umhertreibt, unterstützt das autonome Fahrzeug bei der Bestimmung, ob das Objekt umgangen werden soll oder durch dieses hindurchgefahren werden kann. Weniger wichtig ist es dabei, das Objekt tatsächlich als Stein oder Plastiktüte zu identifizieren.
In Kasten 309 werden Objekteigenschaften benannt und Bewegungsbahnen eingezeichnet, um vorherzusagen, wo sich das Objekt aufhalten wird, wenn sich das Fahrzeug nähert. In Block 311 werden durch eine Fahrzeuglenksteuerung die Fahrzeuggeschwindigkeit und ein etwaiges erforderliches Lenkverhalten angepasst, um den Vordergrundobjekten Rechnung zu tragen. Lenkverhaltensalgorithmen können für bestimmte Objekte auf bekannte Eigenschaften zurückgreifen. Große Steine können ein Ausweichen erfordern und Plastiktüten ignoriert werden. Eine große Mülltüte mit darin befindlichen Gegenständen wird jedoch eher als zu umgehendes als zu überfahrendes Objekt identifiziert. Beispielsweise unterscheidet sich die Bewegung einer Tüte mit schwerem Inhalt von der einer harmlosen leeren Tüte, die sich im Wind bewegt.
In Kasten 313 können die Videobilder mit den Fremdobjekten zur weiteren Verarbeitung an die End-RSU übertragen werden oder an ein Verkehrsmanagementsystem in der Cloud, einem Satelliten etc. übertragen werden. In Kasten 315 können Fremdobjekte (Vordergrund) vom Hintergrund entfernt werden. In Kasten 317 können die Hintergrundbilder an die End-RSU hochgeladen werden, um die Bereitstellung künftiger Bildvorlagen zu unterstützen. Die Hintergrundbilder können auch an eine virtuelle End-RSU in der Cloud übertragen werden. In einer Ausführungsform können die Start- und End-RSUs direkt miteinander kommunizieren, um die Hintergrund- und Vordergrundbilder zu verbreiten. In einer weiteren Ausführungsform können die RSUs per Übertragung in die Cloud miteinander kommunizieren. Und in einigen Fällen kann ein Straßenabschnitt eine physische RSU und eine virtuelle RSU als Start- und End-RSUs aufweisen. Beide RSUs, ob physisch oder virtuell, sind für die Verarbeitung der Bedingungen für den Straßenabschnitt und die Synchronisierung von Rahmen zwischen einander und der Cloud zuständig.
Eine Ausführungsform identifiziert sich bewegende bzw. Fremdobjekte und deren physische Eigenschaften wie Bewegung und Gewicht. Weitere Abläufe, beispielsweise Algorithmen zum Interpretieren von Daten von Radareinrichtungen oder solche, die speziell für das Erfassen von Straßenbegrenzungen trainiert sind, können mittels weiterer Methoden wie beispielsweise DNN/CNN implementiert werden. Daten aus verschiedenen Abläufen können kombiniert werden, um Fahrzeuggeschwindigkeit und Richtung zu bestimmen.
Unter erneuter Bezugnahme auf 2 weist in einer Ausführungsform die Kamera 211 an dem Fahrzeug 210 einen Bordprozessor auf und kann an eine Datenbank gekoppelt sein, die Bewegungseigenschaften wie Geschwindigkeit und Unstetigkeit enthält. Es ist zu beachten, dass Objektidentifizierung ein Identifizieren eines Vorhandenseins eines Objekts und ein Korrelieren von dessen physischen und Bewegungseigenschaften beinhalten kann, ohne den Versuch einer Identifizierung des eigentlichen Objekttyps zu unternehmen. Die Datenbank kann Parameter für Objekte enthalten, die festlegen, ob diese umgangen werden sollten oder harmlos sind. Objekterfassung und Bewegungsanalyse können in der Kameraanordnung erfolgen. Durch diese Implementierung können jedoch die Kameras sehr aufwändig werden. In einer weiteren Ausführungsform besitzt die Kamera eine minimale Rechenleistung und erfolgen Objekterfassung und Bewegungsanalyse in der Cloud. In dieser Ausführungsform kann die Kamera mit geringem Aufwand installiert und bei Beschädigung oder Ausfall leicht ersetzt werden. In einer weiteren Ausführungsform kommuniziert die Kamera mit einer ECU (Electronic Control Unit, elektronische Steuereinheit), um die Verarbeitung durchzuführen. Die ECU kann sich am Fahrzeug befinden, stellt jedoch eine von der Kamera getrennte Einheit oder Komponente dar. Somit kann auch hier die Kamera bei Beschädigung recht kostengünstig ersetzt werden.
4 ist ein Blockdiagramm, das verschiedene Ausführungsformen für RSUs und virtuelle RSUs veranschaulicht. Das autonome Fahrzeug 410 kann mit einer physischen RSU 420 oder einer virtuellen RSU 435 in der Cloud kommunizieren. Die virtuelle RSU 435 und das Verkehrsmanagementsystem (TMS) 431 sind als auf einem Server 430 in der Cloud befindlich dargestellt. Es versteht sich jedoch, dass sich die virtuelle RSU 435 und das TMS 431 auch auf separaten aber kommunikativ gekoppelten Knoten oder Servern befinden können. In einer Ausführungsform ist die RSU 420, 435 an eine Bildvorlagendatenbank 429, 439 gekoppelt, welche die Hintergrundbildrahmen enthält. Die Bildvorlagendatenbank 429, 439 kann die Hintergrundbild-Erstvorlage von einem Fahrzeug, einer Drohne oder aus einer anderen Quelle empfangen. In einer Ausführungsform ist die RSU 420, 435 an eine Rahmenvergleichseinrichtungskomponente 427, 437 gekoppelt, um aus einer Vielzahl von Bildrahmen der Umgebung eine Hintergrundbildvorlage zu erzeugen. Die Rahmenvergleichseinrichtung 427, 437 kann an eine Hintergrundbildvorlagen-Erzeugungseinrichtung gekoppelt sein, um gesammelte Bilder zu vergleichen und Vordergrundobjekte zu entfernen, um ein Vorlagenhintergrundbild zu erzeugen. In einer Ausführungsform kann die Hintergrundbildvorlagen-Erzeugungseinrichtung in der gleichen Komponente enthalten sein wie die Rahmenvergleichseinrichtung. In einer Ausführungsform kann sich die Hintergrundbildvorlagen-Erzeugungseinrichtung am Fahrzeug befinden, so dass eine Hintergrundbildvorlage auch dann erzeugt werden kann, wenn dem Fahrzeug keine RSUs zur Verfügung stehen. Sobald es erzeugt ist, wird das Hintergrundbild in der Bildvorlagendatenbank 429, 439 zur späteren Übertragung an das Fahrzeug 410 gespeichert. Die RSU kann mit dem Empfang neuer Bildrahmen die Hintergrundbilder dynamisch aktualisieren. In einer Ausführungsform kann das Hintergrundbild festgelegt sein, bis es explizit aktualisiert wird.
In einer Ausführungsform kann das zum Vergleich in der Datenbank 429, 439 gespeicherte Hintergrundbild nach einer vorab bestimmten Zeitspanne verfallen. Ablaufende jahreszeitliche Erstbilder können ebenfalls hilfreich sein, wenn sich die Umgebung kurzzeitig erheblich verändert, beispielsweise aufgrund von Schnee oder Lichtverhältnissen. Bergregionen können zur schnelleren Analyse Hintergrundvorlagen aufweisen, die sich jahreszeitlich bedingt ändern. Eine abgelaufene Erstvorlage kann durch eine einfache Parameteränderung mit der Zeit wieder aktiviert werden. Die RSU 420, 435 kann auf Grundlage von Jahreszeit, Lichtverhältnissen, Temperatur etc. eine Erstvorlage automatisch wieder einsetzen. Es können gleichzeitig mehrere Erstbilder in der Datenbank 429, 439 vorhanden sein. Die RSU 420, 435 kann die zu aktivierende Vorlage auf Grundlage von unabhängigem Wissen um die Jahreszeiten oder die Witterung auswählen, beispielsweise wenn Temperatur-, Zeit- oder andere Sensoren verfügbar sind. In einer weiteren Ausführungsform kann die aktive Hintergrundvorlage auf Grundlage einer Ausgabe der Rahmenvergleichseinrichtung 427, 437 ausgewählt werden.
Ein Verkehrsmanagementsystem (TMS) 431 kann eine Alarmkomponente 433 aufweisen, um Alarme per Rundsendung zu verbreiten, wenn Hindernisse oder Gefahren auf der Straße identifiziert werden. Die Alarme können per Rundsendung direkt an das Fahrzeug 410 oder über eine Alarmkomponente 423 an der Boden-RSU 420 gesendet werden. In einer Ausführungsform kann die RSU 420 die Hindernisse identifizieren und das Fahrzeug 410 alarmieren und zur erneuten Rundsendung an eine zweite RSU 440 rundsenden.
In einer Ausführungsform können zusätzliche Sensoren, beispielsweise ein Mikrofon oder eine andere Audiosignal-Aufnahmeeinrichtung 441, verwendet werden, um Bewegung, Schritte, Tier- oder Herdengeräusche etc. zu identifizieren. In einer Ausführungsform kann die an das Mikrofon 441 gekoppelte Audiokomponente (nicht gezeigt) dafür trainiert werden, Lawinenabgänge, sich von einem Steilhang ablösende Felsbrocken oder Tierwanderung etc. zu identifizieren. In einer Ausführungsform kann sich die Audiokomponente an der RSU 440 oder in der Cloud befinden. Die Audiokomponente ist dann an eine Datenbank gekoppelt, die Audioproben zu Vergleichszwecken enthält, um Zielgeräusche, z.B. den vorstehend erwähnten Lawinenabgang, sich von einem Steilhang lösende Felsbrocken, Tierwanderung oder Fahrzeugkollisionsgeräusche wie zersplitterndes Glas, Sirenen etc. zu identifizieren. Audiosignale können mit einem Zeitstempel aufgezeichnet werden, um sicherzustellen, dass etwaige gesendete Alarme noch relevant sind. Ein auf Audioerfassung einer potentiellen Gefahr basierender Alarm kann je nach Eigenschaften der Gefahr für kontinuierliches Rundsenden, periodisches Rundsenden, späteres Rundsenden oder direkte Übertragung an ein Fahrzeug, eine andere RSU oder virtuelle RSU gespeichert sein. Falls diese Audiosignale ausgelöst werden, kann das visuelle System in erhöhte Wachsamkeit für die Straße überquerende Tiere oder den Weg versperrende Felsbrocken versetzt werden. Die RSU kann diese Informationen verarbeiten und einen Alarm direkt an ein Fahrzeug senden und/oder eine Warnung an das TMS 431 in der Cloud übertragen. Das TMS 431 kann Fahrzeuge auf potentielle Gefahren aufmerksam machen, lange bevor diese in den Straßenabschnitt mit der Bewegung einfahren. Der Alarm kann das Fahrzeug veranlassen, mit geringerer Geschwindigkeit in das Gebiet einzufahren.
In einer weiteren Ausführungsform sind möglicherweise RSUs nicht verfügbar und der Straßenabschnitt kann ein hohes Verkehrsaufkommen aufweisen. In diesem Fall können die Fahrzeuge eine Fahrzeug-zu-Fahrzeug-Kommunikation verwenden, um Vorlagebilder zur Verwendung durch andere Fahrzeuge hin und her zu leiten. In diesem Szenario kann ein Fahrzeug als mobile virtuelle RSU agieren.
In einer Ausführungsform können Rettungsfahrzeuge eine Warnung an das TMS 431 aussenden, welches Autos beim Einfahren oder Verlassen eines Straßenabschnitts alarmieren kann. In einer weiteren Ausführungsform können die Rettungsfahrzeuge auch per Fahrzeug-zu-Fahrzeug-Kommunikation mit anderen Fahrzeugen kommunizieren. In manchen Terrains kann diese Art der Kommunikation jedoch Sichtkontakt erfordern. Daher kann ein zusätzlicher Alarm vom TMS eine frühere Warnung bereitstellen.
Da das System dynamisch ist, werden Bilder stets aktualisiert, um dauerhafte Änderungen an der Infrastruktur festzuhalten, beispielsweise Fahrspurerweiterungen oder Reparaturen bestehender Schlaglöcher.
5 ist ein Blockdiagramm, das ein Beispiel einer Maschine oder Datenverarbeitungseinrichtung Error! Reference source not found.00 veranschaulicht, auf der eine oder mehrere Ausführungsformen implementiert werden können. In alternativen Ausführungsformen kann die Maschine Error! Reference source not found.00 als eigenständige Einrichtung arbeiten, oder sie kann mit weiteren Maschinen verbunden (z.B. vernetzt) sein. Bei vernetzter Verwendung kann die Maschine Error! Reference source not found.00 als Server-Maschine, als Client-Maschine oder in Server-Client-Netzumgebungen als beides arbeiten. In einem Beispiel kann die Maschine Error! Reference source not found.00 als Peer-Maschine in einer Peer-to-Peer- (P2P-) (oder einer anderen verteilten) Netzumgebung auftreten. Bei der Maschine Error! Reference source not found.00 kann es sich um einen Personal Computer (PC), einen Tablet-PC, eine Set-Top-Box (STB), einen persönlichen digitalen Assistenten (PDA), ein Mobiltelefon, eine Web-Vorrichtung, einen Netzrouter, eine Vermittlungseinrichtung oder eine Brücke oder um jegliche Maschine handeln, die in der Lage ist, Anweisungen (sequenziell oder anderer Art) auszuführen, die durch diese Maschine vorzunehmende Handlungen vorgeben. Ferner ist zwar nur eine einzige Maschine veranschaulicht, jedoch kann die Bezeichnung „Maschine“ auch so aufgefasst werden, dass sie jegliche Ansammlung von Maschinen beinhaltet, die einzeln oder gemeinsam einen Satz (oder mehrere Sätze) von Anweisungen ausführen, um eine oder mehrere der vorliegend behandelten Methodiken durchzuführen, beispielsweise Cloud Computing, Software as a Service (SaaS) oder andere Rechnerclusteranordnungen.
Vorliegend beschriebene Beispiele können Logik oder mehrere Komponenten oder Mechanismen beinhalten oder mit diesen arbeiten. Bei Schalttechnik handelt es sich um eine Sammlung von Schaltungen, die in greifbaren Einheiten implementiert sind, die Hardware beinhalten (z.B. einfache Schaltungen, Gatter, Logik etc.). Schalttechnikzugehörigkeit kann im Zeitverlauf und basierend auf Hardware-Veränderlichkeit flexibel sein. Schalttechnik beinhaltet Elemente, die im Betrieb allein oder in Kombination vorgegebene Arbeitsschritte durchführen können. In einem Beispiel kann Hardware der Schalttechnik unveränderlich dafür ausgelegt sein, einen bestimmten Arbeitsschritt auszuführen (z.B. festverdrahtet sein). In einem Beispiel kann die Hardware der Schalttechnik veränderbar verbundene physische Komponenten (z.B. Ausführungseinheiten, Transistoren, einfache Schaltungen etc.) beinhalten, darunter ein computerlesbares Medium, das physisch modifiziert ist (z.B. magnetisch, elektrisch, bewegliche Platzierung massehaltiger invarianter Partikel etc.), um Anweisungen des bestimmten Arbeitsschritts zu codieren. Beim Verbinden der physischen Komponenten werden die zugrunde liegenden elektrischen Eigenschaften eines Hardware-Elements verändert, beispielsweise von einem Isolator in einen Leiter oder umgekehrt. Die Anweisungen ermöglichen es eingebetteter Hardware (z.B. den Ausführungseinheiten oder einem Lademechanismus), Elemente der Schalttechnik in Hardware über die veränderbaren Verbindungen zu erstellen, um im Betrieb Teile des bestimmten Arbeitsschritts auszuführen. Entsprechend ist das computerlesbare Medium kommunikativ an die anderen Komponenten der Schalttechnik gekoppelt, wenn die Einrichtung in Betrieb ist. In einem Beispiel kann jede der physischen Komponenten in mehr als einem Element mehr als einer Schalttechnik verwendet werden. Beispielsweise können im Betrieb Ausführungseinheiten zu einem Zeitpunkt in einer ersten Schaltung einer ersten Schalttechnik verwendet werden und zu einem anderen Zeitpunkt durch eine zweite Schaltung in der ersten Schalttechnik oder durch eine dritte Schaltung in einer zweiten Schalttechnik wiederverwendet werden.
Die Maschine (z.B. Computersystem) Error! Reference source not found.00 kann einen Hardware-Prozessor Error! Reference source not found.02 (z.B. eine zentrale Verarbeitungseinheit (CPU), eine Grafikverarbeitungseinheit (GPU), einen Hardware-Prozessorkern oder eine Kombination aus diesen), einen Hauptspeicher Error! Reference source not found.04 und einen statischen Speicher Error! Reference source not found.06 beinhalten, von denen einige oder alle über eine Zwischenverbindung (z.B. Bus) Error! Reference source not found.08 miteinander kommunizieren können. Die Maschine Error! Reference source not found.00 kann ferner eine Anzeigeeinheit Error! Reference source not found.10, eine alphanumerische Eingabeeinrichtung Error! Reference source not found.12 (z.B. eine Tastatur) und eine Nutzerschnittstellen- (U1-) Navigationseinrichtung Error! Reference source not found.14 (z.B. eine Maus) beinhalten. In einem Beispiel kann es sich bei der Anzeigeeinheit Error! Reference source not found.10, der Eingabeeinrichtung Error! Reference source not found.12 und der Ul-Navigationseinrichtung Error! Reference source not found.14 um eine berührungsempfindliche Bildschirmanzeige handeln. Die Maschine Error! Reference source not found.00 kann zusätzlich eine Speichereinrichtung (z.B. eine Laufwerkseinheit) Error! Reference source not found.16, eine Signalerzeugungseinrichtung Error! Reference source not found.18 (z.B. einen Lautsprecher), eine Netzwerkschnittstelleneinrichtung Error! Reference source not found.20 und einen oder mehrere Sensoren Error! Reference source not found.21 wie beispielsweise einen Global-Positioning-System- (GPS-) Sensor, einen Kompass, einen Beschleunigungssensor oder einen anderen Sensor beinhalten. Die Maschine Error! Reference source not found.00 kann eine Ausgabesteuerung Error! Reference source not found.28 wie beispielsweise eine serielle (z.B. Universal Serial Bus (USB)), parallele oder andere drahtgebundene oder drahtlose (z.B. Infrarot- (IR-), Nahfeldkommunikations- (NFC-) etc.) Verbindung beinhalten, um mit einer oder mehreren Peripherieeinrichtungen (z.B. einem Drucker, Kartenleser etc.) zu kommunizieren oder diese zu steuern.
Die Speichereinrichtung Error! Reference source not found.16 kann ein maschinenlesbares Error! Reference source not found.22 beinhalten, auf dem ein oder mehrere Sätze von Datenstrukturen oder Anweisungen Error! Reference source not found.24 (z.B. Software) gespeichert sind, die eine oder mehrere der vorliegend beschriebenen Techniken oder Funktionen verkörpern oder von diesen genutzt werden. Die Anweisungen Error! Reference source not found.24 können sich auch vollständig oder zumindest teilweise innerhalb des Hauptspeichers Error! Reference source not found.04, innerhalb des statischen Speichers Error! Reference source not found.06 oder während ihrer Ausführung durch die Maschine Error! Reference source not found.00 innerhalb des Hardware-Prozessors Error! Reference source not found.02 befinden. In einem Beispiel können eines oder eine Kombination aus dem Hardware-Prozessor Error! Reference source not found.02, dem Hauptspeicher Error! Reference source not found.04, dem statischen Speicher Error! Reference source not found.06 oder der Speichereinrichtung Error! Reference source not found.16 maschinenlesbare Medien darstellen.
Zwar ist das maschinenlesbare Medium Error! Reference source not found.22 als ein einziges Medium dargestellt, jedoch kann die Bezeichnung „maschinenlesbares Medium“ ein einzelnes Medium oder auch mehrere Medien (z.B. eine zentralisierte oder verteilte Datenbank und/oder angeschlossene Caches und Server) beinhalten, die dafür konfiguriert sind, die eine oder die mehreren Anweisungen Error! Reference source not found.24 zu speichern.
Die Bezeichnung „maschinenlesbares Medium“ kann jedwedes Medium beinhalten, das in der Lage ist, Anweisungen zur Ausführung durch die Maschine Error! Reference source not found.00, welche die Maschine Error! Reference source not found.00 veranlassen, eine oder mehrere der Techniken der vorliegenden Offenbarung durchzuführen, zu speichern, zu codieren oder zu tragen, oder das in der Lage ist, von solchen Anweisungen verwendete oder diesen zugeordnete Datenstrukturen zu speichern, zu codieren oder zu tragen. Zu nicht einschränkenden Beispielen für maschinenlesbare Medien können Solid-State-Speicher sowie optische und magnetische Medien zählen. In einem Beispiel beinhaltet ein massehaltiges maschinenlesbares Medium ein maschinenlesbares Medium mit einer Vielzahl an Partikeln, die eine invariante (z.B. Ruhe-) Masse aufweisen. Entsprechend handelt es sich bei massehaltigen maschinenlesbaren Medien nicht um transiente, sich verbreitende Signale. Zu konkreten Beispielen für massehaltige maschinenlesbare Medien können zählen: nichtflüchtiger Speicher wie beispielsweise Halbleiterspeichereinrichtungen (z.B. elektrisch programmierbarer Nur-Lese-Speicher (EPROM), elektrisch löschbarer programmierbarer Nur-Lese-Speicher (EEPROM)) und Flashspeichereinrichtungen, Magnetplatten wie beispielsweise interne Festplatten und entnehmbare Platten, magneto-optische Platten sowie CD-ROM- und DVD-ROM-Platten.
Die Anweisungen Error! Reference source not found.24 können ferner über ein Kommunikationsnetz Error! Reference source not found.26 mittels eines Übertragungsmediums über die Netzschnittstelleneinrichtung Error! Reference source not found.20 unter Nutzung eines einer Vielzahl von Übertragungsprotokollen (z.B. Frame Relay, Internetprotokoll (IP), Transmission Control Protocol (TCP), User Datagram Protocol (UDP), Hypertext Transfer Protocol (HTTP) etc.) übertragen oder empfangen werden. Zu Beispielen für Kommunikationsnetze können unter anderem zählen: ein Lokalnetz (LAN), ein Weitverkehrsnetz (WAN), ein Paketdatennetz (z.B. das Internet), Mobilfunknetze (z.B. zellulare Netze), herkömmliche Telefonnetze (POTS) und Funkdatennetze (z.B. Standards der „Institute of Electrical and Electronics Engineers“- (IEEE-) 802.11-Familie, bekannt als Wi-Fi®, Standards der IEEE-802.16-Familie, bekannt als WiMax®), Standards der IEEE-802.15.4-Familie, Peer-to-Peer-(P2P-) Netze. In einem Beispiel kann die Netzschnittstelleneinrichtung Error! Reference source not found.20 einen oder mehrere physische Buchsen (z.B. Ethernet-, Koaxial- oder Telefonbuchse) oder eine oder mehrere Antennen beinhalten, um sich mit dem Kommunikationsnetz Error! Reference source not found.26 zu verbinden. In einem Beispiel kann die Netzschnittstelleneinrichtung Error! Reference source not found.20 mehrere Antennen beinhalten, um mittels Einfacheingang-Mehrfachausgang-(SIMO-), Mehrfacheingang-Mehrfachausgang- (MIMO-) und/oder Mehrfacheingang-Einfachausgang- (MISO-) Techniken drahtlos zu kommunizieren. Die Bezeichnung „Übertragungsmedium“ ist dahingehend zu verstehen, dass diese jegliches nicht greifbare Medium beinhaltet, das in der Lage ist, Anweisungen zur Ausführung durch die Maschine Error! Reference source not found.00 zu speichern, zu codieren oder zu tragen, und beinhaltet digitale oder analoge Kommunikationssignale oder ein anderes nicht greifbares Medium, um die Kommunikation solcher Software zu erleichtern.
ZUSÄTZLICHE ANMERKUNGEN UND BEISPIELE
Beispiele können Gegenstände wie beispielsweise ein Verfahren, Mittel zum Durchführen von Handlungsschritten des Verfahrens, mindestens ein maschinenlesbares Medium, das Anweisungen enthält, die bei Ausführung durch eine Maschine die Maschine veranlassen, Handlungsschritte des Verfahrens durchzuführen, oder eine Vorrichtung oder ein System für Erfassung und Management von Verkehrsdynamik für autonome und teilautonome Fahrzeuge gemäß vorliegend beschriebenen Ausführungsformen und Beispielen beinhalten.
Beispiel 1 ist ein System zur Erfassung und Vermeidung von Gefahren auf Straßen, umfassend: eine Bildrahmenvergleichseinrichtung, um eine Hintergrundbildvorlage zu empfangen und die Hintergrundbildvorlage mit mindestens einem einer Vielzahl gesammelter Bildrahmen zu vergleichen und ferner Vordergrundbilder und Hintergrundbilder aus den gesammelten Bildrahmen zu trennen, wobei die Hintergrundbildvorlage von einer Straßeneinheit empfangen wird, wobei die Hintergrundbildvorlage einem Straßenabschnitt entspricht, auf dem sich ein Fahrzeug bewegen soll, sowie eine Fahrzeuglenksteuerung am Fahrzeug, um die Vordergrundbilder zu analysieren, um Gefahren auf einer Straße zu deren Vermeidung zu identifizieren.
In Beispiel 2 beinhaltet der Gegenstand des Beispiels 1 wahlweise ein Bildgewinnungssystem, das im Betrieb kommunikativ an ein Fahrzeug gekoppelt ist, wobei das Bildgewinnungssystem eine Kamera beinhaltet und dafür eingerichtet ist, die Vielzahl von Bildrahmen zu sammeln.
In Beispiel 3 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 1 bis 2 wahlweise, dass es sich bei der Straßeneinheit um eine Einrichtung handelt, die ausgewählt ist aus der Gruppe, bestehend aus einer nahe des Straßenabschnitts befindlichen Straßeneinheit und einer virtuellen Straßeneinheit, die im Betrieb mit dem Fahrzeug in Kommunikation steht und sich entweder auf einem an ein Netz gekoppelten Server, einem in der Nähe befindlichen zweiten Fahrzeug, einer Drohne oder einer Mobileinrichtung befindet.
In Beispiel 4 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 1 bis 3 wahlweise, dass das System ferner eine Bildweiterleitungseinrichtung umfasst, um ein Hintergrundbild und/oder ein Vordergrundbild an die Straßeneinheit weiterzuleiten.
In Beispiel 5 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 1 bis 4 wahlweise, dass zum Trennen von Vordergrundbildern und Hintergrundbildern die Bildrahmenvergleichseinrichtung dafür vorgesehen ist, die gesammelten Rahmen mit den Hintergrundbildvorlagen abzugleichen, und dass die Bildrahmenvergleichseinrichtung ferner dafür vorgesehen ist, Vordergrundobjekten in den Vordergrundbildern entsprechende Bewegungsvektoren zu identifizieren.
In Beispiel 6 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 1 bis 5 wahlweise, dass die Hintergrundbildvorlage von entweder einer Straßeneinheit, einer virtuellen Straßeneinheit oder einer an die Bildrahmenvergleichseinrichtung am Fahrzeug gekoppelten Hintergrundbildvorlagen-Erzeugungseinrichtung empfangen wird, wobei die Hintergrundbildvorlagen-Erzeugungseinrichtung dafür eingerichtet ist, durch das Bildgewinnungssystem gesammelte Bilder zu verwenden, um eine neue Hintergrundbildvorlage zu erzeugen.
In Beispiel 7 beinhaltet der Gegenstand des Beispiels 6 wahlweise, dass ein Betrieb der Hintergrundbildvorlagen-Erzeugungseinrichtung vorgesehen ist, wenn von der Straßeneinheit oder der virtuellen Straßeneinheit keine verwendbare Hintergrundbildvorlage verfügbar ist.
In Beispiel 8 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 1 bis 7 wahlweise, dass die Fahrzeuglenksteuerung ferner dafür vorgesehen ist, die Fahrzeuggeschwindigkeit in Reaktion auf eine Identifizierung der Vordergrundobjekte anzupassen.
In Beispiel 9 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 1 bis 8 wahlweise, dass die Fahrzeuglenksteuerung ferner dafür vorgesehen ist, die Fahrzeuggeschwindigkeit in Reaktion auf einen von entweder der Straßeneinheit oder einem Verkehrsmanagementsystem in einem Netz empfangenen Alarm anzupassen.
Beispiel 10 ist eine Straßeneinheit zur Unterstützung von Verkehrsmanagement auf einem Straßenabschnitt, umfassend: eine Bildvorlagensteuerung, um dem Straßenabschnitt entsprechende Bilder zu senden und zu empfangen, eine Bildvorlagendatenbank, die im Betrieb an die Bildvorlagensteuerung gekoppelt ist, um die dem Straßenabschnitt entsprechenden Bilder zu speichern, wobei die Bilder Hintergrund- und Vordergrundbilder umfassen, wobei die Bildvorlagensteuerung dafür vorgesehen ist, die dem Straßenabschnitt entsprechenden Bilder von einem sich auf dem Straßenabschnitt bewegenden Fahrzeug, einer weiteren Straßeneinheit, einer virtuellen Straßeneinheit, einer Drohne und/oder einer anderen mobilen Bildgewinnungseinrichtung zu empfangen, eine Bildrahmenvergleichseinrichtung, um mindestens zwei der dem Straßenabschnitt entsprechenden Bildrahmen zu vergleichen, wobei der Vergleich ferner dafür vorgesehen ist, Vordergrundbilder und Hintergrundbilder aus einem Bildrahmen mittels Subtraktion zu trennen und Vordergrundobjekte aus dem Bildrahmen zu entfernen, um eine dem Straßenabschnitt entsprechende Hintergrundbildvorlage zu erzeugen, wobei die Hintergrundbildvorlage zur Speicherung in der Bildvorlagendatenbank vorgesehen ist.
In Beispiel 11 beinhaltet der Gegenstand des Beispiels 10 wahlweise ein Audiogewinnungssystem zum Aufnehmen von dem Straßenabschnitt entsprechenden Audioinformationen, das kommunikativ an eine Audiodatenbank gekoppelt ist, um Audioproben von Zielgeräuschen zu speichern, eine Audioanalysekomponente, um aufgenommene Audiosignale mit den Audioproben zu vergleichen, um ein zeitliches Vorhandensein eines Zielgeräuschs zu identifizieren, und eine Alarmeinrichtung, um eine Benachrichtigung zu senden, dass das Zielgeräusch auf dem Straßenabschnitt vorhanden ist.
In Beispiel 12 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 10 bis 11 wahlweise, dass es sich bei der Straßeneinheit um eine Einrichtung handelt, die ausgewählt ist aus der Gruppe, bestehend aus einer nahe des Straßenabschnitts befindlichen Straßeneinheit und einer virtuellen Straßeneinheit, die im Betrieb mit einem Fahrzeug in Kommunikation steht und sich entweder auf einem an ein Netz gekoppelten Server, einem in der Nähe befindlichen zweiten Fahrzeug, einer Drohne oder einer Mobileinrichtung befindet.
In Beispiel 13 beinhaltet der Gegenstand des Beispiels 12 wahlweise, dass im Betrieb die Straßeneinheit mit mindestens einer weiteren Straßeneinheit kommuniziert, um Hintergrundbildvorlagen zu koordinieren.
In Beispiel 14 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 10 bis 13 wahlweise eine Alarmeinrichtung, um aus den abgetrennten Vordergrundbildern ein eine Straßengefahr darstellendes Objekt zu identifizieren und eine Benachrichtigung zu senden, dass ein eine Straßengefahr darstellendes Objekt identifiziert wurde.
In Beispiel 15 beinhaltet der Gegenstand des Beispiels 14 wahlweise, dass ein Senden der Benachrichtigung an ein sich auf dem Straßenabschnitt bewegendes Fahrzeug, eine weitere Straßeneinheit, eine virtuelle Straßeneinheit, eine Drohne und/oder eine andere mobile Bildgewinnungseinrichtung vorgesehen ist.
Beispiel 16 ist ein computerimplementiertes Verfahren zum Erfassen von Objekten auf einem Straßenabschnitt, umfassend: Empfangen eines einem Straßenabschnitt entsprechenden Bildrahmens, wobei der Bildrahmen durch eine kommunikativ an ein Fahrzeug gekoppelte Kameraanordnung aufgenommen wurde, Empfangen eines Hintergrundbildrahmens durch eine Datenverarbeitungseinrichtung am Fahrzeug, Abgleichen des einem Straßenabschnitt entsprechenden Hintergrundbildrahmens und aufgenommenen Bildrahmens, Trennen eines Hintergrundteils und eines Vordergrundteils des aufgenommenen Bildrahmens, wobei der Vordergrundteil sich bewegende und vorübergehend vorhandene Objekte im aufgenommenen Bild beinhaltet und der Hintergrundteil beständige oder grundsätzlich unveränderliche Objekte im aufgenommenen Bild beinhaltet, Identifizieren von Bewegungsvektoren für ein Objekt im Vordergrundteil und Zuweisen von Eigenschaften zu dem Objekt, Bereitstellen von Informationen über den Vordergrundteil einschließlich der zugewiesenen Eigenschaften des Objekts an eine Lenksteuerung im Fahrzeug, um auf Grundlage der empfangenen Informationen ein Bestimmen über eine etwaige Anpassung eines Lenkverhaltens durch das Fahrzeug zu unterstützen.
In Beispiel 17 beinhaltet der Gegenstand des Beispiels 16 wahlweise ein Übertragen des Hintergrundteils des aufgenommenen Bildrahmens an eine Straßeneinheiteinrichtung.
In Beispiel 18 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 16 bis 17 wahlweise, dass der Hintergrundbildrahmen von einer nahe des Straßenabschnitts befindlichen Straßeneinheit und/oder einer virtuellen Straßeneinheit empfangen wird, die im Betrieb mit dem Fahrzeug in Kommunikation steht und sich entweder auf einem an ein Netz gekoppelten Server, einem in der Nähe befindlichen zweiten Fahrzeug oder einer Drohne oder einer anderen Mobileinrichtung befindet.
In Beispiel 19 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 16 bis 18 wahlweise, dass das Empfangen des Hintergrundbildrahmens ferner Folgendes umfasst: Abrufen mindestens zweier aufgenommener Bildrahmen aus einem Datenspeicher am Fahrzeug, Erzeugen eines lokalen Hintergrundbildrahmens aus einem Vergleich der mindestens zwei aufgenommenen Bildrahmen und Verwenden des lokalen Hintergrundbildrahmens als Hintergrundbildrahmen, wenn der Hintergrundbildrahmen von einer Quelle, bei der es sich nicht um Komponenten am Fahrzeug handelt, nicht verfügbar ist.
In Beispiel 20 beinhaltet der Gegenstand des Beispiels 19 wahlweise ein Übertragen des Hintergrundteils des aufgenommenen Bildrahmens an eine Straßeneinheiteinrichtung, wobei der Hintergrundteil den lokalen Hintergrundbildrahmen als Vorlage verwendet.
Beispiel 21 ist mindestens ein computerlesbares Speichermedium, das auf diesem gespeicherte Anweisungen aufweist, wobei die Anweisungen bei Ausführung auf einem Prozessor den Prozessor veranlassen: eine Vielzahl einem Straßenabschnitt entsprechender Bildrahmen zu empfangen, einen Hintergrundbildrahmen zu empfangen, den Hintergrundbildrahmen und einen aufgenommenen Bildrahmen der Vielzahl von Bildrahmen, die einem Straßenabschnitt entsprechen, miteinander abzugleichen, einen Hintergrundteil und einen Vordergrundteil des aufgenommenen Bildrahmens zu trennen, wobei der Vordergrundteil sich bewegende und vorübergehend vorhandene Objekte im aufgenommenen Bild beinhaltet und der Hintergrundteil beständige oder grundsätzlich unveränderliche Objekte im aufgenommenen Bild beinhaltet, Bewegungsvektoren für ein Objekt im Vordergrundteil zu identifizieren und dem Objekt Eigenschaften zuzuweisen, Informationen über den Vordergrundteil einschließlich der zugewiesenen Eigenschaften des Objekts zu empfangen und Informationen über den Vordergrundteil einschließlich der zugewiesenen Eigenschaften des Objekts an eine Lenksteuerung im Fahrzeug bereitzustellen, um auf Grundlage der empfangenen Informationen ein Bestimmen über eine etwaige Anpassung eines Lenkverhaltens durch das Fahrzeug zu unterstützen.
In Beispiel 22 beinhaltet der Gegenstand des Beispiels 21 wahlweise Anweisungen zum Übertragen des Hintergrundteils des aufgenommenen Bildrahmens an eine Straßeneinheiteinrichtung.
In Beispiel 23 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 21 bis 22 wahlweise, dass der Hintergrundbildrahmen von einer nahe des Straßenabschnitts befindlichen Straßeneinheit und/oder einer virtuellen Straßeneinheit empfangen wird, die im Betrieb mit dem Fahrzeug in Kommunikation steht und sich entweder auf einem an ein Netz gekoppelten Server, einem in der Nähe befindlichen zweiten Fahrzeug oder einer Drohne oder einer anderen Mobileinrichtung befindet.
In Beispiel 24 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 21 bis 23 wahlweise, dass die Anweisungen zum Empfangen des Hintergrundbildrahmens ferner Anweisungen umfassen, um: mindestens zwei aufgenommene Bildrahmen aus einem Datenspeicher am Fahrzeug abzurufen, einen lokalen Hintergrundbildrahmen aus einem Vergleich der mindestens zwei aufgenommenen Bildrahmen zu erzeugen und den lokalen Hintergrundbildrahmen als Hintergrundbildrahmen zu verwenden, wenn der Hintergrundbildrahmen von einer Quelle, bei der es sich nicht um Komponenten am Fahrzeug handelt, nicht verfügbar ist.
In Beispiel 25 beinhaltet der Gegenstand des Beispiels 24 wahlweise Anweisungen zum Übertragen des Hintergrundteils des aufgenommenen Bildrahmens an eine Straßeneinheiteinrichtung, wobei der Hintergrundteil den lokalen Hintergrundbildrahmen als Vorlage verwendet.
Beispiel 26 ist ein System zur Erfassung von Verkehrsdynamik, umfassend Mittel zum Durchführen des Verfahrens nach einem der Beispiele 16 bis 20.
Beispiel 27 ist mindestens ein computerlesbares Speichermedium, das auf diesem gespeicherte Anweisungen enthält, wobei die Anweisungen bei Ausführung auf einem Prozessor den Prozessor veranlassen, das Verfahren nach einem der Beispiele 16 bis 20 durchzuführen.
Beispiel 28 ist ein System, das Verkehrsdynamik erfasst, umfassend: Mittel zum Aufnehmen eines einem Straßenabschnitt entsprechenden Bildrahmens, Mittel zum Empfangen eines Hintergrundbildrahmens, Mittel zum Abgleichen des einem Straßenabschnitt entsprechenden Hintergrundbildrahmens und aufgenommenen Bildrahmens, Mittel zum Trennen eines Hintergrundteils und eines Vordergrundteils des aufgenommenen Bildrahmens, wobei der Vordergrundteil sich bewegende und vorübergehend vorhandene Objekte im aufgenommenen Bild beinhaltet und der Hintergrundteil beständige oder grundsätzlich unveränderliche Objekte im aufgenommenen Bild beinhaltet, Mittel zum Identifizieren von Bewegungsvektoren für ein Objekt im Vordergrundteil und Zuweisen von Eigenschaften zu dem Objekt, Mittel zum Bereitstellen von Informationen über den Vordergrundteil einschließlich der zugewiesenen Eigenschaften des Objekts an eine Lenksteuerung im Fahrzeug, um auf Grundlage der empfangenen Informationen ein Bestimmen über eine etwaige Anpassung eines Lenkverhaltens durch das Fahrzeug zu unterstützen.
In Beispiel 29 beinhaltet der Gegenstand des Beispiels 28 wahlweise Mittel zum Übertragen des Hintergrundteils des aufgenommenen Bildrahmens an eine Straßeneinheiteinrichtung.
In Beispiel 30 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 28 bis 29 wahlweise, dass der Hintergrundbildrahmen von einer nahe des Straßenabschnitts befindlichen Straßeneinheit und/oder einer virtuellen Straßeneinheit empfangen wird, die im Betrieb mit dem Fahrzeug in Kommunikation steht und sich entweder auf einem an ein Netz gekoppelten Server, einem in der Nähe befindlichen zweiten Fahrzeug oder einer Drohne oder einer anderen Mobileinrichtung befindet.
In Beispiel 31 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 28 bis 30 wahlweise, dass das Empfangen des Hintergrundbildrahmens ferner Folgendes umfasst: Mittel zum Abrufen mindestens zweier aufgenommener Bildrahmen aus einem Datenspeicher am Fahrzeug, Mittel zum Erzeugen eines lokalen Hintergrundbildrahmens aus einem Vergleich der mindestens zwei aufgenommenen Bildrahmen und Mittel zum Verwenden des lokalen Hintergrundbildrahmens als Hintergrundbildrahmen, wenn der Hintergrundbildrahmen von einer Quelle, bei der es sich nicht um Komponenten am Fahrzeug handelt, nicht verfügbar ist.
In Beispiel 32 beinhaltet der Gegenstand des Beispiels 31 wahlweise Mittel zum Übertragen des Hintergrundteils des aufgenommenen Bildrahmens an eine Straßeneinheiteinrichtung, wobei der Hintergrundteil den lokalen Hintergrundbildrahmen als Vorlage verwendet.
Beispiel 33 ist ein System, das dafür konfiguriert ist, Arbeitsschritte nach einem oder mehreren der Beispiele 1 bis 32 durchzuführen.
Beispiel 34 ist ein Verfahren zum Durchführen von Arbeitsschritten nach einem oder mehreren der Beispiele 1 bis 32.
Beispiel 35 ist mindestens ein maschinenlesbares Speichermedium, das Anweisungen enthält, die bei Ausführung auf einer Maschine die Maschine veranlassen, die Arbeitsschritte nach einem oder mehreren der Beispiele 1 bis 32 durchzuführen.
Beispiel 36 ist ein System, das Mittel zum Durchführen der Arbeitsschritte nach einem oder mehreren der Beispiele 1 bis 32 umfasst.
Die vorliegend beschriebenen Methoden sind nicht auf eine bestimmte Hardware- oder Software-Konfiguration eingeschränkt. Sie können in jedweder Datenverarbeitungs-, Konsumelektronik- oder Verarbeitungsumgebung Anwendung finden. Die Methoden können in Hardware, Software, Firmware oder einer Kombination aus diesen implementiert werden, die in Logik oder Schalttechnik resultieren, welche die Ausführung oder Durchführung vorliegend beschriebener Ausführungsformen unterstützt.
Für Simulationen kann Programmcode Hardware mittels einer Hardware-Beschreibungssprache oder einer anderen funktionalen Beschreibungssprache repräsentieren, die im Wesentlichen ein Modell eines zu erwartenden Leistungsverhaltens entwickelter Hardware aufzeigt. Bei Programmcode kann es sich um Assemblersprache oder Maschinensprache handeln oder um Daten, die kompiliert oder interpretiert werden können. Ferner wird im Fachgebiet üblicherweise davon gesprochen, dass Software, in der einen oder anderen Form, eine Handlung vollzieht oder ein Ergebnis produziert. Solche Ausdrücke beschreiben lediglich in verkürzter Form eine Ausführung von Programmcode durch ein Verarbeitungssystem, welche einen Prozessor veranlasst, eine Handlung zu vollziehen oder ein Ergebnis zu produzieren.
Jedes Programm kann in einer höheren prozeduralen, deklarativen und/oder objektorientierten Programmiersprache implementiert sein, um mit einem Verarbeitungssystem zu kommunizieren. Programme können jedoch, sofern gewünscht, auch in Assembler oder Maschinensprache implementiert sein. In jedem Fall kann die Sprache kompiliert oder interpretiert werden.
Programmanweisungen können verwendet werden, um ein Universal- oder Spezialverarbeitungssystem, das mit den Anweisungen programmiert wird, zu veranlassen, die vorliegend beschriebenen Arbeitsschritte durchzuführen. Alternativ können die Arbeitsschritte durch bestimmte Hardware-Komponenten, die festverdrahtete Logik zum Durchführen der Arbeitsschritte enthalten, oder durch eine Kombination aus programmierten Computerkomponenten und speziell ausgelegten Hardware-Komponenten durchgeführt werden. Die vorliegend beschriebenen Verfahren können als ein Computerprogrammprodukt bereitgestellt werden, auch beschrieben als ein computer- oder maschinenzugängliches oder -lesbares Medium, das ein oder mehrere maschinenzugängliche Speichermedien beinhalten kann, die auf diesen gespeicherte Anweisungen aufweisen, die verwendet werden können, um ein Verarbeitungssystem oder eine andere elektronische Einrichtung zu programmieren, um die Verfahren auszuführen.
Programmcode oder Anweisungen können zum Beispiel auf flüchtigem oder nichtflüchtigem Speicher gespeichert sein, beispielsweise Speichereinrichtungen und/oder einem zugehörigen maschinenlesbaren oder maschinenzugänglichen Medium, darunter Halbleiterspeicher, Festplatten, Floppy-Disketten, optischer Speicher, Bänder, Flashspeicher, Memory Sticks, Digital Video Disks, Digital Versatile Disks (DVDs) etc. sowie exotischere Medien wie beispielsweise maschinenzugänglicher biologischer Festzustandsspeicher. Ein maschinenlesbares Medium kann einen beliebigen Mechanismus zum Speichern, Übertragen oder Empfangen von Informationen in maschinenlesbarer Form beinhalten, und das Medium kann ein greifbares Medium beinhalten, durch welches elektrische, optische, akustische oder eine andere Form sich verbreitender Signale oder Trägerwellen, die den Programmcode codieren, geleitet werden können, beispielsweise Antennen, Glasfasern, Kommunikationsschnittstellen etc. Programmcode kann in Form von Paketen, seriellen Daten, parallelen Daten, sich verbreitenden Signalen etc. übertragen werden und kann in komprimiertem oder verschlüsseltem Format verwendet werden.
Programmcode kann in Programmen implementiert sein, die auf programmierbaren Maschinen wie mobilen oder stationären Computern, persönlichen digitalen Assistenten, Smartphones, mobilen Interneteinrichtungen, Set-Top-Boxen, Mobiltelefonen und Rufempfängern, Konsumelektronikeinrichtungen (darunter DVD-Player, persönliche Videorekorder, persönliche Videospieler, Satellitenempfänger, Stereoempfänger, Kabelfernsehempfänger) und anderen elektronischen Einrichtungen ausgeführt werden, welche jeweils einen Prozessor, durch den Prozessor lesbaren flüchtigen oder nichtflüchtigen Speicher, mindestens eine Eingabeeinrichtung und/oder eine oder mehrere Ausgabeeinrichtungen beinhalten. Programmcode kann auf die mittels der Eingabeeinrichtung eingegebenen Daten angewandt werden, um die beschriebenen Ausführungsformen durchzuführen und Ausgabeinformationen zu generieren. Die Ausgabeinformationen können auf eine oder mehrere Ausgabeeinrichtungen angewandt werden. Ein Fachmann versteht, dass Ausführungsformen des offenbarten Gegenstands mit verschiedenen Computersystemkonfigurationen umgesetzt werden können, darunter Mehrprozessor- oder Mehrkernprozessorsysteme, Minicomputer, Großrechner sowie allgegenwärtige bzw. Miniaturcomputer oder -prozessoren, die in praktisch jede Einrichtung eingebettet sein können. Ausführungsformen des offenbarten Gegenstands können zudem in verteilten Datenverarbeitungsumgebungen, Cloud-Umgebungen, Peer-to-Peer- oder vernetzten Mikrodiensten umgesetzt werden, wobei Aufgaben oder Teile davon durch entfernte Verarbeitungseinrichtungen ausgeführt werden, die durch ein Kommunikationsnetz verbunden sind.
Ein Prozessorteilsystem kann verwendet werden, um die Anweisung auf den maschinenlesbaren oder maschinenzugänglichen Medien auszuführen. Das Prozessorteilsystem kann einen oder mehrere Prozessoren beinhalten, die jeweils einen oder mehrere Kerne aufweisen. Zusätzlich kann das Prozessorteilsystem auf einer oder mehreren physischen Einrichtungen angeordnet sein. Das Prozessorteilsystem kann einen oder mehrere spezialisierte Prozessoren wie beispielsweise eine Grafikprozessoreinheit (GPU), einen digitalen Signalprozessor (DSP), ein frei programmierbares Gatterfeld (FPGA) oder einen Prozessor mit festgelegter Funktion beinhalten.
Auch wenn Arbeitsschritte als ein sequenzieller Prozess beschrieben werden, können einige der Arbeitsschritte tatsächlich parallel, zusammen und/oder in einer verteilten Umgebung durchgeführt werden, wobei Programmcode lokal und/oder entfernt gespeichert sein kann für einen Zugriff durch Einzel- oder Mehrprozessormaschinen. Zudem kann in einigen Ausführungsformen die Reihenfolge der Arbeitsschritte umgestellt sein, ohne hierdurch vom Grundgedanken des offenbarten Gegenstands abzuweichen. Programmcode kann durch oder zusammen mit eingebetteten Steuerungen verwendet werden.
Vorliegend beschriebene Beispiele können Schalttechnik, Logik oder mehrere Komponenten, Module oder Mechanismen beinhalten oder auf diesen laufen. Bei Modulen kann es sich um Hardware, Software oder Firmware handeln, die kommunikativ an einen oder mehrere Prozessoren gekoppelt ist, um die vorliegend beschriebenen Arbeitsschritte auszuführen. Es versteht sich, dass die Module oder Logik in einer Hardware-Komponente oder -Einrichtung, Software oder Firmware, die auf einem oder mehreren Prozessoren läuft, oder einer Kombination aus diesen implementiert werden können. Bei den Modulen kann es sich um getrennte und unabhängige Komponenten handeln, die durch Teilen oder Weitergabe von Daten integriert werden, oder die Module können Teilkomponenten eines einzigen Moduls sein oder auf mehrere Module aufgeteilt sein. Die Komponenten können Prozesse sein, die auf einem einzigen Datenverarbeitungsknoten oder auf eine Vielzahl von Datenverarbeitungsknoten verteilt laufen bzw. implementiert werden können, welche parallel, zusammen, nacheinander oder in einer Kombination aus diesen laufen, wie ausführlicher in Verbindung mit den Flussdiagrammen in den Figuren beschrieben. Bei Modulen kann es sich somit um Hardware-Module handeln, sodass Module als greifbare Einheiten aufgefasst werden können, die in der Lage sind, vorgegebene Arbeitsschritte durchzuführen, und in einer bestimmten Weise konfiguriert oder angeordnet sein können. In einem Beispiel können Schaltungen in vorgegebener Weise als ein Modul angeordnet sein (z.B. intern oder in Bezug auf externe Einheiten wie beispielsweise andere Schaltungen). In einem Beispiel können ein oder mehrere Computersysteme (z.B. ein eigenständiges, ein Client- oder ein Server-Computersystem) oder ein oder mehrere Hardware-Prozessoren durch Firmware oder Software (z.B. Anweisungen, ein Abschnitt einer Anwendung oder eine Anwendung) ganz oder teilweise als ein Modul konfiguriert sein, das arbeitet, um vorgegebene Arbeitsschritte durchzuführen. In einem Beispiel kann sich die Software auf einem maschinenlesbaren Medium befinden. In einem Beispiel veranlasst die Software bei Ausführung durch die dem Modul zugrunde liegende Hardware die Hardware dazu, die vorgegebenen Arbeitsschritte durchzuführen. Entsprechend ist die Bezeichnung „Hardware-Modul“ als eine greifbare Einheit umfassend zu verstehen, ob dies nun eine Einheit ist, die physisch konstruiert, speziell konfiguriert (z.B. festverdrahtet) oder vorübergehend (z.B. transient) konfiguriert (z.B. programmiert) ist, um in vorgegebener Weise zu arbeiten oder vorliegend beschriebene Arbeitsschritte ganz oder teilweise auszuführen. In Beispielen, in denen Module vorübergehend konfiguriert sind, muss ein jedes der Module zu einem gegebenen Zeitpunkt nicht instantiiert sein. Wenn beispielsweise die Module einen Universal-Hardware-Prozessor umfassen, der mittels Software konfiguriert, angeordnet oder angepasst ist, kann der Universal-Hardware-Prozessor zu unterschiedlichen Zeiten jeweils als unterschiedliche Module konfiguriert sein. Entsprechend kann Software einen Hardware-Prozessor beispielsweise so konfigurieren, dass dieser zu einem Zeitpunkt ein bestimmtes Modul darstellt und zu einem anderen Zeitpunkt ein anderes Modul darstellt. Bei Modulen kann es sich auch um Software- oder Firmware-Module handeln, die so arbeiten, dass sie die vorliegend beschriebenen Methodiken durchführen.
Auch wenn dieser Gegenstand unter Bezugnahme auf veranschaulichende Ausführungsformen beschrieben wurde, ist diese Beschreibung jedoch nicht in einem begrenzenden oder einschränkenden Sinn auszulegen. Beispielsweise können die vorstehend beschriebenen Beispiele (oder ein oder mehrere Aspekte davon) in Kombination mit anderen verwendet werden. Es können auch andere Ausführungsformen verwendet werden, wie ein Fachmann bei Sichtung der vorliegenden Offenbarung versteht. Die Zusammenfassung soll dem Leser ein rasches Erfassen des Wesens der technischen Offenbarung ermöglichen. Die Zusammenfassung wird jedoch in dem Verständnis vorgelegt, dass sie nicht zur Auslegung oder Einschränkung des Umfangs oder der Bedeutung der Ansprüche herangezogen wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 15394177 [0001]

Claims

System zur Erfassung und Vermeidung von Gefahren auf Straßen, umfassend: eine Bildrahmenvergleichseinrichtung, um eine Hintergrundbildvorlage zu empfangen und die Hintergrundbildvorlage mit mindestens einem einer Vielzahl gesammelter Bildrahmen zu vergleichen und ferner Vordergrundbilder und Hintergrundbilder aus den gesammelten Bildrahmen zu trennen, wobei die Hintergrundbildvorlage von einer Straßeneinheit empfangen wird, wobei die Hintergrundbildvorlage einem Straßenabschnitt entspricht, auf dem sich ein Fahrzeug bewegen soll, und eine Fahrzeuglenksteuerung am Fahrzeug, um die Vordergrundbilder zu analysieren, um Gefahren auf einer Straße zu deren Vermeidung zu identifizieren.
System nach Anspruch 1, ferner umfassend ein Bildgewinnungssystem, das im Betrieb kommunikativ an ein Fahrzeug gekoppelt ist, wobei das Bildgewinnungssystem eine Kamera beinhaltet und dafür eingerichtet ist, die Vielzahl von Bildrahmen zu sammeln.
System nach Anspruch 1, wobei es sich bei der Straßeneinheit um eine Einrichtung handelt, die ausgewählt ist aus der Gruppe, bestehend aus einer nahe des Straßenabschnitts befindlichen Straßeneinheit und einer virtuellen Straßeneinheit, die im Betrieb mit dem Fahrzeug in Kommunikation steht und sich entweder auf einem an ein Netz gekoppelten Server, einem in der Nähe befindlichen zweiten Fahrzeug, einer Drohne oder einer Mobileinrichtung befindet.
System nach einem der Ansprüche 1 bis 3, wobei das System ferner eine Bildweiterleitungseinrichtung umfasst, um ein Hintergrundbild und/oder ein Vordergrundbild an die Straßeneinheit weiterzuleiten.
System nach einem der Ansprüche 1 bis 3, wobei zum Trennen von Vordergrundbildern und Hintergrundbildern die Bildrahmenvergleichseinrichtung dafür vorgesehen ist, die gesammelten Rahmen mit den Hintergrundbildvorlagen abzugleichen, und wobei die Bildrahmenvergleichseinrichtung ferner dafür vorgesehen ist, Vordergrundobjekten in den Vordergrundbildern entsprechende Bewegungsvektoren zu identifizieren.
System nach Anspruch 1, wobei die Hintergrundbildvorlage von entweder einer Straßeneinheit, einer virtuellen Straßeneinheit oder einer an die Bildrahmenvergleichseinrichtung am Fahrzeug gekoppelten Hintergrundbildvorlagen-Erzeugungseinrichtung empfangen wird, wobei die Hintergrundbildvorlagen-Erzeugungseinrichtung dafür eingerichtet ist, durch das Bildgewinnungssystem gesammelte Bilder zu verwenden, um eine neue Hintergrundbildvorlage zu erzeugen.
System nach Anspruch 6, wobei ein Betrieb der Hintergrundbildvorlagen-Erzeugungseinrichtung vorgesehen ist, wenn von der Straßeneinheit oder der virtuellen Straßeneinheit keine verwendbare Hintergrundbildvorlage verfügbar ist.
System nach Anspruch 1, wobei die Fahrzeuglenksteuerung ferner dafür vorgesehen ist, die Fahrzeuggeschwindigkeit in Reaktion auf eine Identifizierung der Vordergrundobjekte anzupassen.
System nach Anspruch 1, wobei die Fahrzeuglenksteuerung ferner dafür vorgesehen ist, die Fahrzeuggeschwindigkeit in Reaktion auf einen von entweder der Straßeneinheit oder einem Verkehrsmanagementsystem in einem Netz empfangenen Alarm anzupassen.
Straßeneinheit zur Unterstützung von Verkehrsmanagement auf einem Straßenabschnitt, umfassend: eine Bildvorlagensteuerung, um dem Straßenabschnitt entsprechende Bilder zu senden und zu empfangen, eine Bildvorlagendatenbank, die im Betrieb an die Bildvorlagensteuerung gekoppelt ist, um die dem Straßenabschnitt entsprechenden Bilder zu speichern, wobei die Bilder Hintergrund- und Vordergrundbilder umfassen, wobei die Bildvorlagensteuerung dafür vorgesehen ist, die dem Straßenabschnitt entsprechenden Bilder von einem sich auf dem Straßenabschnitt bewegenden Fahrzeug, einer weiteren Straßeneinheit, einer virtuellen Straßeneinheit, einer Drohne und/oder einer anderen mobilen Bildgewinnungseinrichtung zu empfangen, eine Bildrahmenvergleichseinrichtung, um mindestens zwei der dem Straßenabschnitt entsprechenden Bildrahmen zu vergleichen, wobei der Vergleich ferner dafür vorgesehen ist, Vordergrundbilder und Hintergrundbilder aus einem Bildrahmen mittels Subtraktion zu trennen und Vordergrundobjekte aus dem Bildrahmen zu entfernen, um eine dem Straßenabschnitt entsprechende Hintergrundbildvorlage zu erzeugen, wobei die Hintergrundbildvorlage zur Speicherung in der Bildvorlagendatenbank vorgesehen ist.
Straßeneinheit nach Anspruch 10, ferner umfassend: ein Audiogewinnungssystem zum Aufnehmen von dem Straßenabschnitt entsprechenden Audioinformationen, das kommunikativ an eine Audiodatenbank gekoppelt ist, um Audioproben von Zielgeräuschen zu speichern, eine Audioanalysekomponente, um aufgenommene Audiosignale mit den Audioproben zu vergleichen, um ein zeitliches Vorhandensein eines Zielgeräuschs zu identifizieren, und eine Alarmeinrichtung, um eine Benachrichtigung zu senden, dass das Zielgeräusch auf dem Straßenabschnitt vorhanden ist.
Straßeneinheit nach einem der Ansprüche 10 bis 11, wobei es sich bei der Straßeneinheit um eine Einrichtung handelt, die ausgewählt ist aus der Gruppe, bestehend aus einer nahe des Straßenabschnitts befindlichen Straßeneinheit und einer virtuellen Straßeneinheit, die im Betrieb mit einem Fahrzeug in Kommunikation steht und sich entweder auf einem an ein Netz gekoppelten Server, einem in der Nähe befindlichen zweiten Fahrzeug, einer Drohne oder einer Mobileinrichtung befindet.
Straßeneinheit nach einem der Ansprüche 10 bis 11, wobei im Betrieb die Straßeneinheit mit mindestens einer weiteren Straßeneinheit kommuniziert, um Hintergrundbildvorlagen zu koordinieren.
Straßeneinheit nach Anspruch 12, ferner umfassend: eine Alarmeinrichtung, um aus den abgetrennten Vordergrundbildern ein eine Straßengefahr darstellendes Objekt zu identifizieren und eine Benachrichtigung zu senden, dass ein eine Straßengefahr darstellendes Objekt identifiziert wurde.
Straßeneinheit nach Anspruch 14, wobei ein Senden der Benachrichtigung an ein sich auf dem Straßenabschnitt bewegendes Fahrzeug, eine weitere Straßeneinheit, eine virtuelle Straßeneinheit, eine Drohne und/oder eine andere mobile Bildgewinnungseinrichtung vorgesehen ist.
Computerimplementiertes Verfahren zum Erfassen von Objekten auf einem Straßenabschnitt, umfassend: Empfangen eines einem Straßenabschnitt entsprechenden Bildrahmens, wobei der Bildrahmen durch eine kommunikativ an ein Fahrzeug gekoppelte Kameraanordnung aufgenommen wurde, Empfangen eines Hintergrundbildrahmens durch eine Datenverarbeitungseinrichtung am Fahrzeug, Abgleichen des einem Straßenabschnitt entsprechenden Hintergrundbildrahmens und aufgenommenen Bildrahmens, Trennen eines Hintergrundteils und eines Vordergrundteils des aufgenommenen Bildrahmens, wobei der Vordergrundteil sich bewegende und vorübergehend vorhandene Objekte im aufgenommenen Bild beinhaltet und der Hintergrundteil beständige oder grundsätzlich unveränderliche Objekte im aufgenommenen Bild beinhaltet, Identifizieren von Bewegungsvektoren für ein Objekt im Vordergrundteil und Zuweisen von Eigenschaften zu dem Objekt, Bereitstellen von Informationen über den Vordergrundteil einschließlich der zugewiesenen Eigenschaften des Objekts an eine Lenksteuerung im Fahrzeug, um auf Grundlage der empfangenen Informationen ein Bestimmen über eine etwaige Anpassung eines Lenkverhaltens durch das Fahrzeug zu unterstützen.
Verfahren nach Anspruch 16, ferner umfassend: Übertragen des Hintergrundteils des aufgenommenen Bilds an eine Straßeneinheiteinrichtung.
Verfahren nach Anspruch 16, wobei der Hintergrundbildrahmen von einer nahe des Straßenabschnitts befindlichen Straßeneinheit und/oder einer virtuellen Straßeneinheit empfangen wird, die im Betrieb mit dem Fahrzeug in Kommunikation steht und sich entweder auf einem an ein Netz gekoppelten Server, einem in der Nähe befindlichen zweiten Fahrzeug, einer Drohne oder einer anderen Mobileinrichtung befindet.
Verfahren nach Anspruch 16, wobei das Empfangen des Hintergrundbildrahmens ferner Folgendes umfasst: Abrufen mindestens zweier aufgenommener Bildrahmen aus einem Datenspeicher am Fahrzeug, Erzeugen eines lokalen Hintergrundbildrahmens aus einem Vergleich der mindestens zwei aufgenommenen Bildrahmen und Verwenden des lokalen Hintergrundbildrahmens als Hintergrundbildrahmen, wenn der Hintergrundbildrahmen von einer Quelle, bei der es sich nicht um Komponenten am Fahrzeug handelt, nicht verfügbar ist.
Verfahren nach Anspruch 19, ferner umfassend: Übertragen des Hintergrundteils des aufgenommenen Bildrahmens an eine Straßeneinheiteinrichtung, wobei der Hintergrundteil den lokalen Hintergrundbildrahmen als Vorlage verwendet.
System zur Erfassung von Verkehrsdynamik, umfassend Mittel zum Durchführen des Verfahrens nach einem der Ansprüche 16 bis 20.
Mindestens ein computerlesbares Speichermedium, das auf diesem gespeicherte Anweisungen enthält, wobei die Anweisungen bei Ausführung auf einem Prozessor den Prozessor veranlassen, das Verfahren nach einem der Ansprüche 16 bis 20 durchzuführen.
System, das Verkehrsdynamik erfasst, umfassend: Mittel zum Aufnehmen eines einem Straßenabschnitt entsprechenden Bildrahmens, Mittel zum Empfangen eines Hintergrundbildrahmens, Mittel zum Abgleichen des einem Straßenabschnitt entsprechenden Hintergrundbildrahmens und aufgenommenen Bildrahmens, Mittel zum Trennen eines Hintergrundteils und eines Vordergrundteils des aufgenommenen Bildrahmens, wobei der Vordergrundteil sich bewegende und vorübergehend vorhandene Objekte im aufgenommenen Bild beinhaltet und der Hintergrundteil beständige oder grundsätzlich unveränderliche Objekte im aufgenommenen Bild beinhaltet, Mittel zum Identifizieren von Bewegungsvektoren für ein Objekt im Vordergrundteil und Zuweisen von Eigenschaften zu dem Objekt, Mittel zum Bereitstellen von Informationen über den Vordergrundteil einschließlich der zugewiesenen Eigenschaften des Objekts an eine Lenksteuerung im Fahrzeug, um auf Grundlage der empfangenen Informationen ein Bestimmen über eine etwaige Anpassung eines Lenkverhaltens durch das Fahrzeug zu unterstützen.
System nach Anspruch 23, ferner umfassend Mittel zum Übertragen des Hintergrundteils des aufgenommenen Bildrahmens an eine Straßeneinheiteinrichtung.
System nach Anspruch 23, wobei der Hintergrundbildrahmen von einer nahe des Straßenabschnitts befindlichen Straßeneinheit und/oder einer virtuellen Straßeneinheit empfangen wird, die im Betrieb mit dem Fahrzeug in Kommunikation steht und sich entweder auf einem an ein Netz gekoppelten Server, einem in der Nähe befindlichen zweiten Fahrzeug, einer Drohne oder einer Mobileinrichtung befindet.
System nach Anspruch 23, wobei das Empfangen des Hintergrundbildrahmens ferner Folgendes umfasst: Mittel zum Abrufen mindestens zweier aufgenommener Bildrahmen aus einem Datenspeicher am Fahrzeug, Mittel zum Erzeugen eines lokalen Hintergrundbildrahmens aus einem Vergleich der mindestens zwei aufgenommenen Bildrahmen und Mittel zum Verwenden des lokalen Hintergrundbildrahmens als Hintergrundbildrahmen, wenn der Hintergrundbildrahmen von einer Quelle, bei der es sich nicht um Komponenten am Fahrzeug handelt, nicht verfügbar ist.
System nach Anspruch 26, ferner umfassend Mittel zum Übertragen des Hintergrundteils des aufgenommenen Bildrahmens an eine Straßeneinheiteinrichtung, wobei der Hintergrundteil den lokalen Hintergrundbildrahmen als Vorlage verwendet.