DE102017123180A1

DE102017123180A1 - Rückwertige Hinderniserkennung und Abstandsschätzung

Info

Publication number: DE102017123180A1
Application number: DE102017123180.3A
Authority: DE
Inventors: Yi Zhang; Vidya Nariyambut murali; Madeline J Goh
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2016-10-07
Filing date: 2017-10-05
Publication date: 2018-04-19
Also published as: RU2017133756A; GB201715742D0; US10318826B2; GB2557402A; CN107914708B; US20180101739A1; CN107914708A; MX2017012837A

Abstract

Die Offenbarung betrifft Systeme und Verfahren zum Schätzen oder Bestimmen der Bewegung eines Fahrzeugs und/oder des Abstands zu Objekten innerhalb des Blickfelds einer rückwärtigen Kamera. Ein Verfahren zur rückwärtigen Hinderniserkennung unter Verwendung von Struktur aus Bewegung beinhaltet Identifizieren von Bildmerkmalen in einem ersten Rahmen, die Merkmalen in einem zweiten Rahmen entsprechen, wobei der erste Rahmen und der zweite Rahmen benachbarte Bildrahmen umfassen, die durch eine nach hinten gerichtete Kamera eines Fahrzeugs aufgenommen wurden. Das Verfahren beinhaltet Bestimmen von Parametern für ein nicht-ebenes Bewegungsmodell basierend auf den Bildmerkmalen. Das Verfahren beinhaltet Bestimmen einer Kamerabewegung basierend auf den Parametern für das nicht-ebene Bewegungsmodell.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft die Hinderniserkennung und Objektabstandsschätzung und betrifft insbesondere die Objektabstandsschätzung mit Eigenbewegungsausgleich unter Verwendung einer monokularen rückwärtigen Kamera für Fahrzeugintelligenz.
ALLGEMEINER STAND DER TECHNIK
Automobile stellen einen erheblichen Teil des Transports für gewerbliche, behördliche und private Einrichtungen bereit. Autonome Fahrzeuge und Fahrerassistenzsysteme werden gegenwärtig entwickelt und eingesetzt, um Sicherheitsmerkmale bereitzustellen, eine Menge von erforderlicher Benutzereingabe zu verringern oder eine Benutzerbeteiligung sogar gänzlich zu eliminieren. Zum Beispiel können einige Fahrerassistenzsysteme, wie beispielsweise Unfullvermeidungssysteme, die Fahrt, Positionen und eine Geschwindigkeit des Fahrzeugs und anderer Objekte überwachen, während ein Mensch fährt. Wenn das System erkennt, dass ein Unfall oder Zusammenstoß unmittelbar bevorsteht, kann das Unfallvermeidungssystem eingreifen und eine Bremse betätigen, das Fahrzeug lenken oder andere Ausweich- oder Sicherheitsmanöver durchführen. Als ein anderes Beispiel können autonome Fahrzeuge ein Fahrzeug mit wenig oder keiner Benutzereingabe fahren, navigieren und/oder parken. Aufgrund der mit dem Fahren verbundenen Gefahren und der Fahrzeugkosten ist es äußerst wichtig, dass autonome Fahrzeuge und Fahrassistenzsysteme sicher arbeiten und in der Lage sind, auf den Straßen in einer Reihe von unterschiedlichen Fahrumgebungen genau zu navigieren.
Figurenliste
Nicht einschränkende und nicht erschöpfende Umsetzungen der vorliegenden Offenbarung werden in Bezug auf die folgenden Figuren beschrieben, wobei sich in den verschiedenen Ansichten gleiche Bezugszeichen auf gleiche Teile beziehen, sofern nicht anderweitig angegeben. Vorteile der vorliegenden Offenbarung können unter Bezugnahme auf die folgende Beschreibung und beigefügten Zeichnungen besser nachvollzogen werden, wobei:

1 ein schematisches Blockdiagramm ist, das eine Umsetzung eines Fahrzeugsteuersystems veranschaulicht, das ein automatisiertes Fahr-/Assistenzsystem gemäß einer Ausführungsform beinhaltet;
2 eine perspektivische Ansicht einer beispielhaften Fahrumgebung veranschaulicht;
3 eine perspektivische Ansicht einer anderen beispielhaften Fahrumgebung veranschaulicht;
4 ein schematisches Diagramm ist, das ein epipolares Geometriemodell veranschaulicht, um eine grundlegende Matrix gemäß einer Ausführungsform zu bestimmen;
5 ein schematisches Diagramm ist, das eine zeitliche örtliche Bündelausgleichung gemäß einer Ausführungsform veranschaulicht;
6A ein Diagramm ist, das eine Abstandsschätzung gemäß einer Ausführungsform veranschaulicht;
6B ein anderes Diagramm ist, das eine Abstandsschätzung gemäß einer Ausführungsform veranschaulicht;
7 ein schematisches Blockdiagramm ist, das einen Datenstrom für ein Verfahren zum Bestimmen des Abstands zu einem Objekt gemäß einer Ausführungsform veranschaulicht;
8 ein schematisches Blockdiagramm ist, das beispielhafte Komponenten einer Objektabstandskomponente gemäß einer Umsetzung veranschaulicht;
9 ein schematisches Blockdiagramm ist, das ein Verfahren zum Bestimmen einer Kamera-/Fahrzeugbewegung gemäß einer Umsetzung veranschaulicht; und
10 ein schematisches Blockdiagramm ist, das ein Rechensystem gemäß einer Umsetzung veranschaulicht.

DETAILLIERTE BESCHREIBUNG
Ein automatisiertes Fahrsystem oder Fahrassistenzsystem kann Daten aus einer Vielzahl von Quellen während der Entscheidungsfindung, des Parkens, der Navigation oder des Fahrens verwenden, um optimale Wege oder Manöver zu bestimmen. Zum Beispiel können Fahrzeuge zahlreichen Objekten, sowohl statischen als auch dynamischen, begegnen. Zusätzlich zum Erkennen und Klassifizieren derartiger Objekte kann der Abstand zum Gegenstand eine wichtige Information für autonomes oder unterstütztes Fahren oder Parken sein. Zum Beispiel ist das Erkennen von Hindernissen und das Schätzen des Abstands zu den Hindernissen eine wichtige Aufgabe eines automatischen Parksystems. Ein intelligentes Fahrzeug muss möglicherweise für ein Fahrzeugparkmanöver oder eine Notbremsung rasch den Abstand zum Hindernis erkennen und schätzen. In vielen Fällen besteht die Herausforderung darin, die Höhe des Objekts zu bestimmen und die sich bewegenden Objekte von der stationären Umgebung zu unterscheiden.
In der vorliegenden Patentanmeldung offenbaren die Anmelder Systeme, Verfahren und Vorrichtungen zum Schätzen oder anderweitigen Bestimmen der Bewegung eines Fahrzeugs und/oder des Abstands von Objekten innerhalb des Sichtfeldes einer rückwärtigen Kamera. Ein System zur rückwärtigen Hinderniserkennung unter Verwendung einer Struktur aus der Bewegung beinhaltet eine Bildkomponente, eine Merkmalskomponente, eine Modellparameterkomponente und eine Bewegungskomponente. Die Bildkomponente ist konfiguriert, eine Reihe von Bildrahmen zu erlangen, die durch eine monokulare Kamera während der Bewegung eines Fahrzeugs aufgenommen werden. Die Merkmalskomponente ist konfiguriert Bildmerkmale in einem ersten Rahmen, die Merkmalen in einem zweiten Rahmen entsprechen, zu identifizieren. Der erste Rahmen und der zweite Rahmen sind benachbarte Bildrahmen in der Reihe von Bildrahmen. Die Modellparameterkomponente ist konfiguriert, Parameter für ein nicht-ebenes Bewegungsmodell basierend auf den Bildmerkmalen zu bestimmen. Die Bewegungskomponente ist konfiguriert, eine Kamerabewegung basierend auf den Parametern für das ebene Bewegungsmodell zu bestimmen.
In einer Ausführungsform können Bilder von einer am Fahrzeug angebrachten Monochrom- oder Farbkamera gesammelt werden. Zum Beispiel kann die Kamera eine rückwärtige Kamera, wie beispielsweise eine Rückfahrkamera, beinhalten, die in einen nach unten gerichteten Winkel positioniert ist, um eine Ansicht von Hindernissen auf der Rückseite eines Fahrzeugs bereitzustellen. In einer Ausführungsform kann ein System dünnbesetzte Bildmerkmalsextraktion und -abgleichung, Kamerakalibrierung, Bildperspektive ntrans formation, Kamerabewegungsschätzun g, Bildmerkmalshöhenschätzung, Bild-Realwelt-Maßstabsschätzung und Abstandsschätzung basierend auf einem Lochkameramodell verwenden, um Objekte zu lokalisieren und eine Bewegung eines Fahrzeugs während des Parkens oder Fahrens zu bestimmen.
In einer Ausführungsform kann eine vorberechnete Kamerakalibrierung durchgeführt werden und eine entsprechende Metrik kann gespeichert werden. Zum Beispiel können die Verschiebungen für Kamerafarben, der Blickwinkel, der Brennpunkt oder dergleichen geprüft und in der rückwärtigen Kamera oder als Teil eines Systems gespeichert werden. Basierend auf den durch die Kamera (z. B. eine am Fahrzeug angebrachte rückwärtige Kamera) aufgenommenen Bildern kann ein System eine Fahrzeugeigenbewegungsschätzung durchführen. Bildmerkmale werden aus benachbarten Rahmen extrahiert und abgeglichen. Zum Beispiel können Bildmerkmale für ein Bild extrahiert und mit Merkmalen aus einem vorangehenden Bildrahmen abgeglichen werden. Eine grundlegende Matrix (wie beispielsweise für ein nicht-ebenes Bewegungsmodell) kann basierend auf den Bildmerkmalen und deren Entsprechung zu Bildmerkmalen in einem anderen Bildrahmen erlangt werden. Eine grundlegende Matrix kann unter Verwendung eines Stichprobenübereinstimmungs-(random sample consensus - RANSAC-)Verfahrens basierend auf den Merkmalsentsprechungen berechnet/geschätzt werden. Merkmalsentsprechungen können in Nicht-Ausreißer und Ausreißer klassifiziert werden und die grundlegende Matrix für die Eigenbewegung wird unter Verwendung nur von Nicht-Ausreißern geschätzt, weil diese stationären Merkmalen (in Bezug auf den Erdboden) entsprechen. Bei den Ausreißern handelt es sich entweder um sich in Bezug auf den Erdboden bewegende Merkmale oder um ungültige Merkmale. Nachdem die grundlegende Matrix erzeugt wurde, wird die Eigenbewegung durch Zerlegen der Parameter der Matrix geschätzt. Eine örtliche Bündelausgleichung kann durchgeführt werden, um die Genauigkeit zu verbessern.
Eine dreidimensionale Rekonstruktion wird an allen dünnbesetzten Merkmalspunkten unter Verwendung mehrerer Bilder durchgeführt. Anfangs kann die rekonstruierte Geometrie auf einem unbekannten Maßstab basieren. Für den Fall, dass ein vordefinierter Bereich nahe der Kamera im Bild der Erdboden ist, kann die Höhe der stationären Merkmalspunkte des Fernbereichs dennoch geschätzt werden, indem deren Geometrie den Erdboden-Merkmalspunkten zugeordnet wird. Basierend auf den geschätzten Höhen und der Geometrie kann der Realweltmaßstab für die Merkmalspunkte (z. B. in Zentimeter oder Zoll) bestimmt und auf die dreidimensionalen Rekonstruktionen angewendet werden. Indem eine bekannte stationäre Merkmalsgeometrie (z. B. der Erdboden) rekonstruierten Merkmalspositionen zugeordnet wird, wird das Problem erheblich vereinfacht. Somit kann der Merkmalsabstand gewonnen werden, indem die Struktur-aus-Bewegung-(structure-from-motion -SFM-)Leitung ausgenutzt wird, sowie die Gewinnung der fehlenden Maßstabsinformationen. Die Notwendigkeit, Merkmalspunkte in Erdboden/Nicht-Erdboden unter Verwendung eines Minimalspannbaums (minimal spanning tree - MST) einzuteilen, wird somit vermieden.
Weitere Ausführungsformen und Beispiele werden in Bezug auf die nachstehenden Figuren erörtert.
Unter Bezugnahme auf die Figuren veranschaulicht 1 ein beispielhaftes Fahrzeugsteuersystem 100. Das Fahrzeugsteuersystem 100 beinhaltet ein automatisiertes Fahr-/Assistenzsystem 102. Das automatisierte Fahr-/Assistenzsystem 102 kann verwendet werden, um den Betrieb eines Fahrzeugs zu automatisieren oder zu steuern oder einen menschlichen Fahrer zu unterstützen. Das automatisierte Fahr-/Assistenzsystem 102 kann zum Beispiel eines oder mehrere von Bremsung, Lenkung, Beschleunigung, Lichter, Alarme, Fahrerbenachrichtigungen, Radio oder beliebigen weiteren Antriebs- oder Hilfssystemen des Fahrzeugs steuern. In einem weiteren Beispiel ist das automatisierte Fahr-/Assistenzsystem 102 unter Umständen nicht in der Lage, jegliche Steuerung des Fahrens (z. B. der Lenkung, Beschleunigung oder Bremsung) bereitzustellen, kann jedoch Benachrichtigungen und Warnmeldungen bereitstellen, um einen menschlichen Fahrer darin zu unterstützen, sicher zu fahren. Das automatisierte Fahr-/Assistenzsystem 102 kann zum Beispiel eine oder mehrere Steuerungen (wie beispielsweise die hierin erörterten) beinhalten, die Daten über einen Steuerungsbus bereitstellen oder empfangen und die Daten verwenden, um durchzuführende Aktionen zu bestimmen und/oder Anweisungen oder Signale bereitzustellen, um diese Aktionen zu initiieren. Das automatisierte Fahr-/Assistenzsystem 102 kann eine Objektabstandskomponente 104 beinhalten, die konfiguriert ist, eine Bewegungsgeschwindigkeit eines Fahrzeugs und/oder einen Abstand zu einem Objekt basierend auf Kameradaten zu erkennen und/oder zu bestimmen. Zum Beispiel kann die Objektabstandskomponente 104 einen Ort und einen Abstand zu Hindernissen, die sich hinter einem Fahrzeug befinden, während eines Parkvorgangs oder während des Rückwärtsfahrens bestimmen.
Das Fahrzeugsteuersystem 100 beinhaltet ebenfalls eine oder mehrere Sensorsysteme/- vorrichtungen zum Erkennen eines Vorhandenseins nahe gelegener Objekte, Fahrbahnmarkierungen und/oder zur Bestimmung eines Orts eines Mutterfahrzeugs (z. B. eines Fahrzeugs, welches das Fahrzeugsteuersystem 100 beinhaltet). Das Fahrzeugsteuerungssys te m 100 kann zum Beispiel Radarsysteme 106, ein oder mehrere LIDAR-Systeme 108, ein oder mehrere Kamerasysteme 110, ein globales Positionsbestimmungssystem (GPS) 112 und/oder Ultraschallsysteme 114 beinhalten. Das Fahrzeugsteuersystem 100 kann einen Datenspeicher 116 zum Speichern relevanter oder nützlicher Daten zur Navigation und Sicherheit beinhalten, wie beispielsweise Kartendaten, Fahrverlauf (d. h. Fahrtenaufzeichnung) oder weitere Daten.
Das Fahrzeugsteuersystem 100 kann ebenfalls einen Sendeempfänger 118 zur drahtlosen Kommunikation mit einem mobilen oder drahtlosen Netzwerk, anderen Fahrzeugen, Infrastruktur, Cloud- oder Remote-Computing- oder Speicherressourcen oder einem beliebigen anderen Kommunikationssystem beinhalten.
Das Fahrzeugsteuersystem 100 kann Fahrzeugsteueraktuatoren 120 beinhalten, um verschiedene Aspekte des Fahrens des Fahrzeugs zu steuern, wie beispielsweise Elektromotoren, Schalter oder andere Aktuatoren, um die Bremsung, Beschleunigung, Lenkung oder dergleichen zu steuern. Das Fahrzeugsteuersystem 100 kann einen oder mehrere Anzeigen 122, Lautsprecher 124 oder andere Vorrichtungen beinhalten, sodass einem menschlichen Fahrer oder Fahrgast Benachrichtigungen bereitgestellt werden können. Eine Anzeige 122 kann ein Head-up-Display, eine Anzeige oder eine Angabe am Armaturenbrett, einen Bildschirm oder eine beliebige andere visuelle Angabe beinhalten, die von einem Fahrer oder einem Fahrgast eines Fahrzeugs gesehen werden kann. Die Lautsprecher 124 können einen oder mehrere Lautsprecher eines Soundsystems eines Fahrzeugs beinhalten oder können einen für die Fahrerbenachrichtigung vorgesehenen Lautsprecher beinhalten. Die Fahrzeugsteueraktuatoren 120, Anzeigen 122, Lautsprecher 124 oder andere Teile des Fahrzeugsteuersystems 100 können von einer oder mehreren der Steuerungen des automatisierten Fahr-/Assistenzsystems 102 gesteuert werden.
In einer Ausführungsform ist das automatisierte Fahr-/Assistenzsystem 102 konfiguriert, das Fahren oder Navigieren eines Mutterfahrzeugs zu steuern. Das automatisierte Fahr-/Assistenzsystem 102 kann zum Beispiel die Fahrzeugsteueraktuatoren 120 steuern, um einen Weg innerhalb von Fahrspuren auf einer Straße, einem Parkplatz, einer Einfahrt oder an einem anderen Ort entlangzufahren. Das automatisierte Fahr-/Assistenzsystem 102 kann zum Beispiel einen Weg basierend auf durch eine beliebige der Komponenten 106-118 bereitgestellten Informationen oder Wahmehmungsdaten bestimmen. Die Sensorsysteme/-vorrichtungen 106-110 und 114 können verwendet werden, um Echtzeit-Sensordaten zu erhalten, sodass das automatisierte Fahr-/Assistenzsystem 102 in Echtzeit einen Fahrer unterstützen oder ein Fahrzeug fahren kann. In einer Ausführungsform verwendet das automatisierte Fahr-/Assistenzsystem 102 ebenfalls Informationen, die in einem Fahrverlauf (lokal oder entfernt) gespeichert sind, zum Bestimmen von Bedingungen in einer aktuellen Umgebung. Das automatisierte Fahr-/Assistenzsystem 102 kann einen oder mehrere Algorithmen, Anwendungen, Programme oder Funktionalitäten umsetzen, die das Fahrzeug fahren oder beim Fahren helfen.
In einer Ausführungsform beinhalten die Kamerasysteme 110 eine nach hinten gerichtete Kamera, die auf einen Bereich hinter dem Fahrzeug gerichtet ist. Oftmals sind nach hinten gerichtete Kameras oder Parkkameras in einem Winkel nach unten gerichtet, um eine Ansicht nahe gelegener Objekte und/oder des Erdbodens bereitzustellen. Die Kamerasysteme 110 können zum Beispiel Kameras beinhalten, die in unterschiedliche Richtungen gerichtet sind, um unterschiedliche Ansichten und unterschiedliche Sichtfelder für Bereiche nahe dem Fahrzeug oder um dieses herum bereitzustellen. Einige Kameras können zum Beispiel nach vorn, zur Seite, nach hinten, unter Winkeln oder in eine beliebige andere Richtung gerichtet sein.
Es versteht sich, dass die Ausführungsform aus 1 lediglich als Beispiel dient. Andere Ausführungsformen können weniger oder zusätzliche Komponenten beinhalten, ohne vom Umfang der Offenbarung abzuweichen. Des Weiteren können dargestellte Komponenten ohne Beschränkung kombiniert oder in andere Komponenten enthalten sein.
2 veranschaulicht ein Bild 200, das gemäß einer Ausführungsform eine perspektivische Ansicht einer Szene hinter einem Fahrzeug bereitstellt, die Poller und einen Bordstein beinhaltet. Die Ansicht veranschaulicht das, was in einem Bild durch eine Kamera des Fahrzeugs, das rückwärts in eine Parklücke oder auf einer Fahrbahn fährt, aufgenommen werden kann. 3 veranschaulicht ein Bild 300, das eine perspektivische Ansicht eines Parkbereichs mit einer Vielzahl von Parkkeilen oder Parksperren und einem Fahrzeug bereitstellt. Die Ansicht veranschaulicht das, was in einem Bild durch eine Kamera eines Fahrzeugs, das zum Beispiel rückwärts in eine Parklücke hinein- oder aus ihr herausfährt, aufgenommen sein kann. 2 beinhaltet gepunktete Linien 202, die eine Bewegung der erkannten Merkmale zwischen dem Bild 200 und einem vorangehenden Bild darstellen. In ähnlicher Weise, beinhaltet 3 gepunktete Linien 302, die eine Bewegung der erkannten Merkmale zwischen dem Bild 300 und einem vorangehenden Bild darstellen. In einer Ausführungsform kann die Objektabstandskomponente 104 zum Erkennen und Korrelieren von Merkmalen innerhalb von Bildern einen oder mehrere der folgenden Algorithmen verwenden: skaleninvariante Merkmalstransformation (scale-invariant feature transform - SIFT), beschleunigte, robuste Merkmale (speeded up robust features - SURF) und/oder Oriented-Fast-and-Rotated-Brief (ORB). In einer Ausführungsform führt die Objektabstandskomponente 104 eine Bildmerkmalsextraktion für einen aktuellen Rahmen (z. B. 200 oder 300) und einem Bild durch, das dem aktuellen Rahmen vorangeht. Die Objektabstandskomponente 104 kann die Merkmale identifizieren und korreliert die Merkmale in verschiedenen Bildern miteinander. Die gepunkteten Linien 202 zum Beispiel erstrecken sich zwischen einem Punkt, der eine aktuelle Position des Merkmals (z. B. im Bild 200) und einer Position für das Merkmal in einem vorangehenden Bild anzeigt.
In einer Ausführungsform können die Anfangs- und Endpunkte für jede gepunktete Linie 202, 302, sowie der Abstand zwischen den Punkten einem Abstand entsprechen, der von einem Objekt oder einem Merkmal zwischen den Bildern zurückgelegt wurde. In einer Ausführungsform können die Positionen und/oder der von den Punkten zurückgelegte Abstand verwendet werden, um ein Bewegungsmodell auszufüllen. Zum Beispiel kann die Objektabstandskomponente 104 eine Matrix oder Felder für ein nicht-ebenes Bewegungsmodell basierend auf den Positionen und/oder den zurückgelegten Abständen ausfüllen. Für Rückansichtsbilder und/oder für das Parken können die betroffenen Objekte nahe gelegene Objekte beinhalten. Außerdem sind Rückansichts- oder Rückfahrkameras ebenfalls in einem Winkel nach unten gerichtet, um eine gute Ansicht des Erdbodens bereitzustellen. Da die Bilder wahrscheinlich nahe gelegene Objekte beinhalten, kann eine größere prozentuale Variation beim Abstand vorliegen und somit können nur nicht-ebene Bewegungsmodelle verwendet werden. Zum Beispiel können nur nicht-ebene Bewegungsmodelle in der Lage sein, Bildern Rechnung zu tragen, die einen nahe gelegenen Erdbodenbereich sowie Parkhindernisse, wie beispielsweise Autos oder Bordsteine, beinhalten.
2 und 3 veranschaulichen ebenfalls Referenzbereiche 302, 304, die einen Bereich einer Erdboden-/Fahrfläche in der Nähe des Autos beinhalten. Zum Beispiel können die Referenzbereiche 302, 304 Bereiche beinhalten, die wahrscheinlich einen Erdbodenbereich in der Nähe der Rückseite eines Fahrzeugs beinhalten. Die Referenzbereiche 302, 304 und beliebige, in diesen Bereichen erkannte Merkmale können als Referenz für andere Merkmale verwendet werden. Zum Beispiel kann angenommen werden, dass die Referenzbereiche 302, 304 den Erdboden in der Nähe des Fahrzeugs beinhalten und dass der Erdbodenbereich einen spezifischen Abstand von der Kamera besitzt. Da der Abstand bekannt ist und andere Kameraparameter bekannt sind, können die Größe, der Abstand oder die Bewegung von Merkmalen in diesem Bereich direkt berechnet werden. Diese Werte können als Referenz verwendet werden, um die Größe und den Maßstab von anderen erkannten Objekten oder Hindernissen, die sich nicht in den Referenzbereichen 302, 304 befinden, zu bestimmen.
Wie der Fachmann verstehen wird, dienen 2 und 3 der Veranschaulichung. Des Weiteren dienen die gepunkteten Linien 202, 203 lediglich als Beispiel und stellen nicht notwendigerweise die Merkmale und/oder die Korrelationen dar, die identifiziert werden können. Zum Beispiel können eine größere Anzahl von Merkmalen, zusätzliche Merkmale oder unterschiedliche Merkmale erkannt und in der Praxis korreliert werden.
4 ist ein Diagramm, das den Betrieb und/oder die Berechnung eines nicht-ebenen Bewegungsmodells veranschaulicht. Nicht-ebene Bewegungsmodelle werden verwendet, um Bewegungen annähernd darzustellen, wenn sich Merkmalspunkte im dreidimensionalen Raum und nicht in oder auf der annähernd gleichen Ebene befinden. Zum Beispiel können in Bildern, in denen es eine große Menge an Variation bei Tiefe oder Abstand von der Kamera gibt, nicht-ebene Bewegungsmodelle am genauesten eine Bewegung der Eigenkamera oder des Eigenfahrzeugs schätzen. Nachstehende Gleichung 1 veranschaulicht eine Transformation für eine grundlegende Matrix unter Verwendung epipolarer Geometrie, die für ein nicht-ebenes Bewegungsmodell verwendet werden kann. Es versteht sich, dass F eine grundlegende Matrix darstellt und unter Verwendung des linearen 8-Punkte-Verfahrens oder des nicht-linearen 8-Punkte-Verfahrens aufgelöst werden kann. $x_{2}^{T} F x_{1} = 0$
In einer Ausführungsform kann die zeitliche örtliche Bündelausgleichung verwendet werden, um die Genauigkeit der Merkmalskorrelation und/oder der Parameterdaten für eine grundlegende Matrix (z. B. einer Matrix für ein dreidimensionales Bewegungsmodell) zu verbessern. Zum Beispiel können das Rauschen aus einem Kamerabild, Fehler beim Merkmalsabgleich und/oder Fehler bei der Bewegungsschätzung zu Ungenauigkeiten bei den Parameterdaten, der Bewegungsschätzung und/oder Abstandsschätzungen für ein Objekt führen. Da das System eine Vielzahl von Rahmen aufweist, z. B. als Teil eines Videos oder Reihen von Bildern, die von einer Kamera aufgenommen wurden, kann das System eine Bündelausgleichung durchführen, indem Zeitinformationen aus anderen Bildrahmen aufgenommen werden. Anstatt zum Beispiel aus zwei aufeinanderfolgenden Rahmen eine Bewegung nur zu schätzen, kann das System Informationen für ein Merkmal oder ein Objekt aus einer Menge von Rahmen innerhalb einer Zeitspanne (z. B. 1 oder 2 Sekunden) aufnehmen, um durchschnittliche oder gefilterte Positions- oder Bewegungsdaten zu erzeugen, um Informationen mit verringertem Rauschen zu erhalten oder den Fehler zu senken. 5 und nachstehende Gleichung 2 veranschaulichen eine Ausführungsform für eine zeitliche örtliche Bündelausgleichung. Zum Beispiel kann der gefilterte Abstand zu einem Punkt oder einem Merkmal in einem Bild berechnet werden, indem nach D aufgelöst wird. $E (P, X) = \sum_{i = 1}^{m} \sum_{j = 1}^{n} D {(x_{i j}, P_{i} X_{j})}^{2}$
6 ein Diagramm ist, das Parameter für eine Abstandsschätzung gemäß einer Ausführungsform veranschaulicht. Ein Bildsensor 602 einer Kamera ist durch eine Ebene dargestellt, auf der ein Bild erzeugt wird. Gemäß einer Ausführungsform kann ein Abstand zwischen einem Hindernis 604 und der Kamera oder dem Bildsensor 602 unter Verwendung nachstehender Gleichung 3 berechnet werden. $D = (H + Δ h) t a n [\frac{π}{2} - α - θ - t a n^{- 1} \frac{h}{f}] - Δ d$
Die Terme der Gleichung 3 und von 6 sind wie folgt: α stellt die anfängliche rückwärtige Kameraneigung in Bezug auf das Eigenfahrzeug (z. B. wie montiert) dar; f ist die Brennweite für die rückwärtige Kamera; H ist die anfängliche rückwärtige Kamerahöhe (z. B. wie montiert); Δd ist der rückwärtige Kamera-Kopf-Abstand (z. B. der Abstand zwischen dem Brennpunkt und dem Bodenkontakt für das Hindernis 604); θ und Δh werden unter Verwendung der Bewegungsschätzung aus einem nicht-ebenen Bewegungsmodell erlangt (θ stellt die Neigung des Fahrzeugs dar und Δh stellt die Höhenänderung für das Objekt auf dem Sensor dar); h ist der Kontaktpunkt-Mittelabstand (z. B. der Abstand zwischen einem spezifischen Pixel und dem vertikalen Sensor einer Sensoranordnung); und D ist der Abstand zum Objekt (z. B. der Abstand zum Erdbodenkontakt des Objekts).
In einer Ausführungsform wird der Abstand für jedes Objekt oder Hindernis, das eine Höhe oberhalb eines Schwellenwerts aufweist, berechnet. Zum Beispiel kann eine für das Fahrzeug spezifische Schwellenwerthöhe (wie z. B. 4 Zoll, 6 Zoll oder eine andere Höhe) gespeichert werden. Basierend auf der dreidimensionalen Rekonstruktion einer Szene werden die Objekte mit Merkmalspunkten bei oder oberhalb dieser Schwellenwerthöhe identifiziert und anschließend wird der Abstand zu einer Bodenkontaktstelle oder einem anderen Abschnitt eines Hindernisses berechnet.
7 ist ein schematisches Blockdiagramm, das einen Datenstrom für ein Verfahren 700 zum Bestimmen des Abstands zu einem Objekt oder Hindernis auf der Rückseite eines Fahrzeugs basierend auf einer Reihe von Kamerabildern bestimmt. Bilder 702, wie beispielsweise Bilder von einer Videoübertragung, sind für die Objekterkennung 704 bereitgestellt. In einer Ausführungsform erkennt die Objekterkennung 704 Objekte innerhalb eines Bildes. Die Objekterkennung 704 kann zum Beispiel eine Anzeige einer Art oder Klasse eines Objekts und dessen zweidimensionale Position innerhalb jedes Bildes erzeugen. In einer Ausführungsform wird die Objekterkennung 704 unter Verwendung eines tiefen neuronalen Netzwerks durchgeführt, in das ein Bild eingespeist wird. Die Objekterkennung 704 kann zu einer zweidimensionalen Objektposition 706 für ein oder mehrere Objekte führen. In einer Ausführungsform können Pixel mit einer ähnlichen zweidimensionalen Position, Farbe und/oder Intensität und die Merkmalspunkte ausweisen, die sich gemeinsam bewegen, als Teil des gleichen Objekts identifiziert werden.
Die Bilder 702 werden ebenfalls für eine Eigenbewegungsschätzung 708 bereitgestellt. Die Eigenbewegungsschätzung kann Merkmalsextraktion und -korrelation, geschätzte Fahrzeugbewegung, dünnbesetzte Merkmalspunktrekonstruktion und örtliche Bündelausgleichung wie hierin erörtert beinhalten. In einer Ausführungsform kann die Eigenbewegungsschätzung 708 zu Informationen über die Fahrzeugbewegung 710 führen. Die Informationen über die Fahrzeugbewegung 710 können Informationen wie beispielsweise einen zwischen Rahmen zurückgelegten Abstand oder andere Geschwindigkeitsanzeigen beinhalten. Die Informationen über die Fahrzeugbewegung 710 können Informationen wie beispielsweise einen Versatzwinkel für die Kamera beinhalten, wie beispielsweise eine Neigung des Fahrzeugs in Bezug auf die Straße basierend auf der Fahrbahnneigung an der Position des Eigenfahrzeugs oder eines Referenzobjekts.
Die Abstandsschätzung 712 wird basierend auf der Fahrzeugbewegung und der zweidimensionalen Objektposition 706 durchgeführt. Zum Beispiel kann die Abstandsschätzung 712 den Abstand zwischen einer Eigenkamera oder des Eigenfahrzeugs und einem Bildmerkmal oder -objekt berechnen. In einer Ausführungsform kann die Abstandsschätzung durchgeführt werden, indem eine Pixelposition eines Objekts, wie sie mittels der Objekterkennung 704 bestimmt wurde, mit einem Abstand korreliert wird, der, wie in Bezug auf 6 dargestellt und beschrieben, berechnet wurde. Die Abstandsschätzung 712 kann zu einem Objektabstand 714 für ein während der Objekterkennung 704 erkanntes spezifisches Objekt führen. Basierend auf dem Objektabstand und der Objekthöhe kann ein Steuersystem eines Fahrzeugs, wie beispielsweise das automatisierte Fahr-/Assistenzsystem 102 aus 1, Entscheidungen zum Fahren und/oder zur Kollisionsvermeidung treffen. Möglicherweise beeinflussen zum Beispiel kleine Objekte oder Unebenheiten auf der Erdbodenfläche das Fahren nicht, während Bordsteine, Poller, Fahrzeuge oder andere größere Objekte vermieden werden.
Mit Blick auf 8 ist ein schematisches Blockdiagramm dargestellt, das Komponenten einer Objektabstandskomponente 104 gemäß einer Ausführungsform veranschaulicht. Die Objektabstandkomponente 104 beinhaltet eine Bildkomponente 802, eine Merkmalskomponente 804, eine Modellparameterkomponente 806, eine Bewegungskomponente 808, eine Rekonstruktionskomponente 810, eine Objekterkennungskomponente 812, eine Abstandskomponente 814 und eine Benachrichtigungskomponente 816. Die Komponenten 802-816 dienen lediglich zur Veranschaulichung und es kann sein, dass nicht alle in allen Ausführungsformen enthalten sind. Tatsächlich können einige Ausführungsformen lediglich eine oder eine beliebige Kombination aus zwei oder mehreren der Komponenten 802-816 beinhalten. Zum Beispiel können sich einige der Komponenten 802-816 außerhalb der Objektabstandskomponente 104, wie beispielsweise innerhalb des automatisierten Fahr-/Assistenzsystems 102, oder andernorts befinden.
Die Bildkomponente 802 ist konfiguriert, Bilder von einer Kamera eines Fahrzeugs zu erhalten und/oder zu speichern. Die Bilder können zum Beispiel Videobilder beinhalten, die von einer monokularen Kamera eines Fahrzeugs aufgenommen wurden. Die Bilder können Bilder von einer nach hinten gerichteten Kamera eines Fahrzeugs, wie beispielsweise einer Rückfahrkamera oder einer Rückansichtskamera, beinhalten. Die Bilder können als eine Reihe von Bildern, die eine Umgebung vor oder nahe dem Fahrzeug in Echtzeit oder beinahe in Echtzeit abbilden, gespeichert und/oder empfangen werden.
Die Merkmalskomponente 804 ist konfiguriert, Bildmerkmale innerhalb der Bilder zu erkennen. Die Bildmerkmale können Pixel beinhalten, die sich an Rändern mit hohem Kontrast, an Positionen mit Hochfrequenzinhalten oder dergleichen befinden. Zum Beispiel können die Ränder eines Objekts oftmals einen hohen Kontrast in Bezug auf eine unmittelbare Umgebung aufweisen. In ähnlicher Weise können mehrfarbige Objekte Ränder mit hohem Kontrast innerhalb des gleichen Objekts beinhalten. Ecken von Objekten oder Muster auf Objekten können als Bildmerkmale identifiziert werden. Siehe zum Beispiel die gepunkteten Linien 202, 302 aus 2 und 3. In einer Ausführungsform erkennt die Merkmalskomponente 804 alle Merkmale innerhalb eines Bildes, einschließlich denen oberhalb einer Erdbodenfläche. Fahrflächen zum Beispiel weisen oftmals eine geringere Anzahl von Merkmalen als benachbarte Strukturen, Gebüsch oder andere Objekte oder Strukturen nahe einer Straße oder anderweitig im Blickfeld einer Fahrzeugkamera auf Dennoch werden in der Regel ebenfalls einige Erdbodenflächenmerkmale, wie beispielsweise Steine, Fahrbahnmarkierungen, Risse, Straßenbelagsbeschaffenheit oder dergleichen, erkannt.
In einer Ausführungsform korreliert die Merkmalskomponente 804 Merkmale in einem Bild oder Bildrahmen mit Merkmalen in einem benachbarten Bild oder Bildrahmen in einer Reihe von Bildern. Während der Bewegung eines Fahrzeugs zum Beispiel kann sich ein Merkmal, das einer Ecke eines Gebäudes, einem Fahrzeug oder einem anderen Objekt entspricht, in benachbarten Rahmen an unterschiedlichen Positionen befinden. Die Merkmalskomponente 804 kann ein Merkmal, das der sich an einer ersten Position innerhalb eines ersten Bildes befindlichen Ecke entspricht, mit einem Merkmal korreliert, das der gleichen Ecke entspricht, die sich an einer zweiten Position innerhalb eines zweiten Bildes befindet. Somit können die Informationen über das gleiche Merkmal an unterschiedlichen Positionen für das Berechnen des Abstands des Fahrzeugs, der zwischen den zwei Rahmen zurückgelegt wird, sowie für die Objektverfolgung informativ sein. In einer Ausführungsform kann die Merkmalskomponente 804 Merkmale unter Verwendung eines ORB-Algorithmus, eines SURF-Algorithmus, eines optischen Flussalgorithmus, eines SIFT-Algorithmus oder dergleichen identifizieren und korrelieren. In einigen Ausführungsformen stellt der ORB-Algorithmus eine genaue Merkmalserkennung und -korrelation mit verringerter Verzögerung bereit. Zum Beispiel kann der SURF-Algorithmus eine hohe Genauigkeit bereitstellen, ist jedoch langsam. Andererseits ist der optische Flussalgorithmus schnell, neigt jedoch zu großen Bewegungsfehlern. Die Antragsteller fanden heraus, dass der ORB-Algorithmus einen geringen Genauigkeitskompromiss für große Geschwindigkeitserhöhungen beim Durchführen von Merkmalsauswahl und -abgleich bereitstellt.
In einer Ausführungsform klassifiziert die Merkmalskomponente 804 ebenfalls die erkannten Merkmale als Nicht-Ausreißer und Ausreißer. Zum Beispiel können einige Merkmale Rauschen, Fehlern oder sogar Objekten entsprechen, die sich relativ zum Erdboden bewegen. Beispielhafte Objekte oder Hindernisse, die sich bewegen, können Fußgänger, einen Ball, Regen, Hagel oder dergleichen beinhalten. Die Merkmalskomponente 804 kann den RANSAC-Algorithmus verwenden, um Merkmale als Nicht-Ausreißer und Ausreißer zu klassifizieren. Zum Beispiel kann die Merkmalskomponente 804 Merkmalspunkte als Ausreißer identifizieren, wenn sie nicht in ein Modell passen, das zum Schätzen der Bewegung verwendet wird. Zum Beispiel kann ein Modell darstellen, wie sich feste Objekte relativ zum Fahrzeug bewegen. Wenn es Merkmalspunkte gibt, die fehlerhaft sind oder sich bewegenden Objekten entsprechen, können diese Merkmalspunkte als Ausreißer klassifiziert werden und können somit von Verarbeitungsschritten (wie beispielsweise zum Bestimmen von Modellparametern oder der Fahrzeugbewegung) ausgenommen werden.
Wenn die Merkmalsidentifkation und der Merkmalsabgleich durchgeführt wurden, kann in einer Ausführungsform die Merkmalskomponente 804 das Rauschen oder den Fehler verringern, indem eine örtliche Bündelausgleichung an die Bildmerkmale durchgeführt wird. Zum Beispiel können Zeitinformationen von einer Vielzahl von Bildrahmen (z. B. alle Bildrahmen innerhalb einer Sekunde oder einer anderen Zeitspanne) verwendet werden, um eine Position für ein Merkmal in einem Bildrahmen zu berechnen, die ein verringertes Rauschen, eine glattere Bewegung und/oder einen verringerten Fehler vorsieht.
Die Modellparameterkomponente 806 ist konfiguriert, Parameter für Bewegungsmodelle zu bestimmen. Zum Beispiel kann die Modellparameterkomponente 806 Parameter für ein nicht-ebenes Bewegungsmodell basierend auf den Bildmerkmalen und den Abstand zwischen korrelierten Bildmerkmalen, die durch die Merkmalskomponente 804 bestimmt wurden, bestimmen. Die Modellparameterkomponente 806 kann eine Parametermatrix für das verfügbare Bewegungsmodell ausfüllen. Die Modellparameterkomponente 806 kann zum Beispiel eine grundlegende Matrix für ein nicht-ebenes Bewegungsmodell ausfüllen. Die Werte für die Parameter können basierend auf den Positionen von Merkmalen und Abständen zwischen entsprechenden Merkmalen zwischen benachbarten Bildern berechnet werden. In einer Ausführungsform lässt die Modellparameterkomponente 806 Merkmale aus, die während der Bestimmung der Parameter als Ausreißer klassifiziert wurden. Zum Beispiel können nur Merkmale, die durch einen RANSAC-Algorithmus als Nicht-Ausreißer klassifiziert wurden, durch die Modellparameterkomponente 806 beim Bestimmen der Parameter für eine grundlegende Matrix für ein nicht-ebenes Bewegungsmodell verwendet werden.
Die Bewegungskomponente 808 ist konfiguriert, eine Kamerabewegung basierend auf Parametern für das ausgewählte Bewegungsmodell zu bestimmen. Die Bewegungskomponente 808 kann zum Beispiel einen Abstand berechnen, der durch die Kamera (und das entsprechende Fahrzeug) zwischen den Zeitpunkten zurückgelegt wurde, zu denen zwei aufeinanderfolgende Bilder aufgenommen wurden. In einer Ausführungsform berechnet die Bewegungskomponente 808 θ, Δh und/oder Δd, wie in Bezug auf 6 und Gleichung 3 dargestellt und beschrieben ist. In einer Ausführungsform bestimmt die Bewegungskomponente 808 eine Bewegung des Fahrzeugs allein basierend auf Bilddaten von einer einzigen monokularen Kamera. In einer Ausführungsform können die Bewegungsinformationen zur Abstandsschätzung, Hindernis vermeidung oder anderen Verarbeitungen oder Entscheidungsfindungen, die durch ein Fahrzeugsteuersystem, wie beispielsweise ein automatisiertes Fahr-/Assistenzsystem 102, durchzuführen sind, verwendet werden.
Die Rekonstruktionskomponente 810 ist konfiguriert, eine dreidimensionale Szene basierend auf dem Bewegungsmodell zu rekonstruieren. In einer Ausführungsform ist die Rekonstruktionskoniponente 810 konfiguriert, dreidimensionale dünnbesetzte Merkmalspunkte basierend auf dem Bewegungsmodell zu rekonstruieren. Die rekonstruierte Szene kann Punkte beinhalten, die Merkmalen entsprechen, die durch die Merkmalskomponente 804 erkannt wurden. In einer Ausführungsform kann die Szene unter Verwendung eines unbekannten Maßstabs rekonstruiert werden. Zum Beispiel kann die Szene unter Verwendung von Einheitsabständen, die unbekannt sind oder später zugewiesen werden können, konstruiert werden. In einer Ausführungsform bestimmt die Rekonstruktionskomponente 810 einen Maßstab für die Position der Merkmalspunkte im dreidimensionalen Raum basierend auf Merkmalspunkten innerhalb eines vordefinierten Erdbodenbereichs. Zum Beispiel können die Abstände zu Merkmalen innerhalb der Referenzbereiche 302, 304 aus 2-3 basierend auf einer bekannten Höhe des Fahrzeugs sowie auf Kamerakalibrierungsparametern berechnet werden. Mit diesen bekannten Werten können ebenfalls der Abstand, die Höhe und der Maßstab anderer Objekte oder Hindernisse berechnet werden.
Mit dem berechneten/geschätzten Maßstab und den Rekonstruktionen der dreidimensionalen Szene kann der Abstand zu einem beliebigen Merkmalspunkt und dem entsprechenden Artikel bestimmt werden. In einer Ausführungsform wird der Abstand zu jedem Merkmalspunkt oberhalb einer Schwellenwerthöhe vom Erdboden bestimmt. In einer Ausführungsform kann dann die rekonstruierte Szene zur Abstandsschätzung, Hindernisvermeidung oder anderen Verarbeitungen oder Entscheidungsfindungen, die durch ein Fahrzeugsteuersystem, wie beispielsweise ein automatisiertes Fahr-/Assistenzsystem 102, durchzuführen sind, verwendet werden.
Die Objekterkennungskomponente 812 ist konfiguriert, Objekte innerhalb von Bildern zu erkennen, die von der Bildkomponente 802 erhalten oder gespeichert wurden. Die Objekterkennungskomponente 812 kann zum Beispiel jedes Bild verarbeiten, um Objekte, wie beispielsweise Fahrzeuge, Fußgänger, Tiere, Radfahrer, Straßenschmutz, Verkehrszeichen, Barrieren oder dergleichen zu erkennen. Die Objekte können stationäre oder sich bewegende Objekte beinhalten. In einer Ausführungsform kann die Objekterkennungskomponente 812 ebenfalls ein Objekt als eine bestimmte Art von Objekt klassifizieren. Beispielhafte Objektarten können ein stationäres oder ein mobiles Objekt beinhalten. Andere beispielhafte Objektarten können Fahrzeugart, Tier, Straßen- oder Fahrbarriere, Fußgänger, Radfahrer oder eine beliebige andere Klassifikation oder Anzeige der Objektart beinhalten.
In einer Ausführungsform bestimmt die Objekterkennungskomponente 812 ebenfalls eine Position für das Objekt, wie beispielsweise eine zweidimensionale Position innerhalb eines Bildrahmens oder eine Anzeige, deren Pixel dem Objekt entsprechen. In einer Ausführungsform kann die Objekterkennungskomponente 812 ein erkanntes Objekt mit einem oder mehreren durch die Merkmalskomponenle 804 erkannten Merkmalen korrelieren. Zum Beispiel können alle der Merkmale, die in einen dem Objekt entsprechenden Bereich fallen, als dem Objekt entsprechende Merkmale identifiziert werden. Somit können Abstände, Bewegung oder andere Eigenschaften des Objekts mit den Merkmalen korreliert werden und Abstände, Bewegung oder andere Eigenschaften der Merkmale können mit dem entsprechenden Objekt korreliert werden.
In einer Ausführungsform kann die Objekterkennungskomponente basierend auf der zweidimensionalen Position des Objekts und der Merkmalspunkte eine Höhe oder andere Dimensionen eines Objekts bestimmen. Zum Beispiel kann die Objekterkennungskomponente 812 eine maximale Höhe, eine maximale Breite oder dergleichen eines entsprechenden Objekts und/oder dem Objekt entsprechende Merkmalspunkte bestimmen. In einer Ausführungsform kann die Objekterkennungskomponente 812 Objekte oder Hindernisse identifizieren, die eine Höhe oberhalb eines Schwellenwerts aufweisen, sodass die Objekte, über die nicht gefahren werden kann, während des Parkens, Fahrens und dergleichen vermieden werden.
Die Abstandskomponente 814 ist konfiguriert, einen Abstand zwischen einer Kamera oder einem Eigenfahrzeug und einem Objekt zu bestimmen. Die Abstandskomponente 814 kann zum Beispiel den Abstand D aus Gleichung 3 basierend auf dem Bewegungsmodell und entsprechenden Parametern und Bewegungsinformationen berechnen. Die Abstandsinformationen können zur Hindernisvermeidung, zum automatischen Parken oder zu anderen Verarbeitungen oder Entscheidungsfindungen, die durch ein Fahrzeugsteuersystem, wie beispielsweise ein automatisiertes Fahr-/Assistenzsystem 102, durchzuführen sind, verwendet werden. In einer Ausführungsform kann die Abstandskomponente 814 einen Abstand zu dem einen oder den mehreren Objekten oder Hindernissen mit einer Höhe oberhalb eines Schwellenwerts bestimmen. Zum Beispiel können Hindernisse oberhalb einer bestimmten Höhe während des Parkens vermieden werden, während andere Objekte (wie beispielsweise Linien oder Schmutz) in mindestens einigen Fällen überfahren werden können.
Die Benachrichtigungskomponente 816 ist konfiguriert, einen Fahrer oder ein automatisiertes Fahr-/Assistenzsystem 102 über das Vorhandensein von Objekten zu benachrichtigen. Zum Beispiel kann die Benachrichtigungskomponente 816 einen Fahrer darüber benachrichtigen, dass ein Hindernis hinter dem Fahrzeug vorhanden ist. Diese Informationen können dem Fahrer helfen, das Fahrzeug zu parken, ohne auf das Hindernis zu prallen. Die Benachrichtigung kann Details über das Hindernis, wie beispielsweise dessen Identität (z. B. Fußgänger, Kind, Auto, Bordstein oder dergleichen), dessen Höhe und/oder dessen Abstand vom Fahrzeug bereitstellen. Diese Informationen können durch den Fahrer oder das automatisierte Fahr-/Assistenzsystem 102 verwendet werden, um das Fahrzeug auf eine solche Weise zu parken oder zu fahren, dass ein Aufprall auf das Hindernis vermieden wird.
9 ist ein schematisches Flussdiagramm, das ein Verfahren 1000 zum Bestimmen der Bewegung eines Fahrzeugs veranschaulicht. Das Verfahren 900 kann durch eine Objektabstandskomponente, wie beispielsweise die Objektabstandskomponente 104 aus 1 oder 8, durchgeführt werden.
Das Verfahren 900 beginnt und eine Merkmalskomponente 804 identifiziert 902 Bildmerkmale in einem ersten Rahmen, die Merkmalen in einem zweiten Rahmen entsprechen. Der erste Rahmen und der zweite Rahmen sind benachbarte Bildrahmen, die durch eine nach hinten gerichtete Kamera eines Fahrzeugs aufgenommen wurden. Die Merkmalskomponente 804 kann ebenfalls Merkmale unter Verwendung eines RANSAC-Algorithmus als Nicht-Ausreißer oder Ausreißer basierend darauf klassifizieren, um wieviel sie sich zwischen den Rahmen bewegen. Eine Modellparameterkomponente 806 bestimmt 904 Parameter für ein nicht-ebenes Bewegungsmodell basierend auf den Bildmerkmalen. Eine Bewegungskomponente 808 bestimmt 906 Kamerabewegung basierend auf den Parametern für das nicht-ebene Bewegungsmodell. Eine Rekonstruktionskomponente 810 rekonstruiert 908 rekonstruierende Merkmalspunkte im dreidimensionalen Raum. Die Rekonstruktionskomponente 810 kann ebenfalls einen Maßstab für die Rekonstruktion basierend auf Merkmalspunkten und deren Bewegung in einem Referenzbereich (z. B. einem Bereich, der dem Erdboden in der Nähe einer Rückseite des Fahrzeugs entspricht) bestimmen. Eine Abstandskomponente 814 bestimmt 910 einen Abstand zu dem einen oder den mehreren Objekten mit einer Höhe oberhalb eines Schwellenwerts. Die Abstandsinformationen können während des Parkens oder Fahrens verwendet werden, um einen Aufprall auf Hindernisse zu vermeiden.
Nun wird unter Bezugnahme auf 10 ein Blockdiagramm einer beispielhaften Rechenvorrichtung 1000 veranschaulicht. Die Rechenvorrichtung 1000 kann verwendet werden, um verschiedene Verfahren, wie beispielsweise die hierin erläuterten, durchzuführen. Die Rechenvorrichtung 1000 kann als eine Objektabstandskomponente 104, ein automatisiertes Fahr-/Assistenzsystem 102, ein Server oder eine beliebige andere Recheneinhe it dienen. Die Rechenvorrichtung 1000 kann verschied ene Überwachungsfunktionen wie hierin beschrieben durchführen und kann eine oder mehrere Anwendungsprogramme, wie beispielsweise die hierin beschriebenen Anwendungsprogramme oder Funktionalitäten, ausführen. Die Rechenvorrichtung 1000 kann eine beliebige aus einer Reihe von Rechenvorrichtungen, wie beispielsweise ein Desktop-Computer, ein eingebauter Computer, ein Fahrzeugsteuersystem, ein Notebook-Computer, ein Server-Computer, ein tragbarer Computer, Tablet-Computer und dergleichen, sein.
Die Rechenvorrichtung 1000 beinhaltet einen oder mehrere Prozessor(en) 1002, eine oder mehrere Speichervorrichtung(en) 1004, eine oder mehrere Schnittstelle(n) 1006, eine oder mehrere Massenspeichervorrichtung(en) 1008, einen oder mehrere Ein-/Ausgabe-(I/O-)Vorrichtung(en) 1010 und eine Anzeigevorrichtung 1030, von denen alle an einen Bus 1012 gekoppelt sind. Der/die Prozessor(en) 1002 beinhaltet/beinhalten einen oder mehrere Prozessoren oder Steuereinrichtungen, die in der/den Speichervorrichtung(en) 1004 und/oder der/den Massenspeichervorrichtung(en) 1008 gespeicherte Anweisungen ausführen. Der/die Prozessor(en) 1002 kann/können ebenso verschiedene Arten von computerlesbaren Medien beinhalten, wie beispielsweise einen Cache-Speicher.
Die Speichervorrichtung(en) 1004 beinhaltet/beinhalten verschiedene computerlesbare Medien, wie beispielsweise flüchtige Speicher (z. B. Direktzugriffsspeicher (RAM) 1014) und/oder nichtflüchtige Speicher (z. B. Festwertspeicher (ROM) 1016). Die Speichervorrichtung(en) 1004 kann/können ebenso einen wiederbeschreibbaren ROM beinhalten, wie beispielsweise einen Flash-Speicher.
Die Massenspeichervorrichtung(en) 1008 beinhaltet/beinhalten verschiedene computerlesbare Medien, wie beispielsweise Magnetbänder, Magnetplatten, optische Platten, Festkörperspeicher (z. B. Flash-Speicher) und so weiter. Wie in 10 dargestellt, ist eine besondere Massenspeichervorrichtung ein Festplattenlaufwerk 1024. Verschiedene Laufwerke können ebenso in der/den Massenspeichervorrichtung(en) 1008 beinhaltet sein, um ein Auslesen aus und/oder Schreiben an die verschiedenen computerlesbaren Medien zu ermöglichen Die Massenspeichervorrichtung(en) 1008 beinhaltet/beinhalten entfernbare Medien 1026 und/oder nichtentfernbare Medien.
Die I/O-Vorrichtung(en) 1010 beinhaltet/beinhalten verschiedene Vorrichtungen, die es ermöglichen, dass Daten und/oder andere Informationen in die Rechenvorrichtung 1000 eingegeben oder daraus abgerufen werden. (Eine) Beispielhafte I/O-Vorrichtung(en) 1010 beinhaltet/beinhalten Cursorsteuervorrichtungen, Tastaturen, Tastenfelder, Mikrofone, Monitore oder andere Anzeigevorrichtungen, Lautsprecher, Drucker, Netzschnittstellenkarten, Modems und dergleichen.
Die Anzeigevorrichtung 1030 beinhaltet jede Art von Vorrichtung, die fähig ist, Informationen für einen oder mehrere Benutzer der Rechenvorrichtung 1000 anzuzeigen. Beispiele einer Anzeigevorrichtung 1030 beinhalten einen Monitor, ein Anzeigeendgerät, eine Videoprojektionsvorrichtung und dergleichen.
Die Schnittstelle(n) 1006 beinhaltet/beinhalten verschiedene Schnittstellen, die der Rechenvorrichtung 1000 ermöglichen, mit anderen Systemen, Vorrichtungen oder Rechenumgebungen zu interagieren (Eine) Beispielhafte Schnittstelle(n) 1006 kann/können eine beliebige Anzahl von unterschiedlichen Netzschnittstellen 1020, wie beispielsweise Schnittstellen zu lokalen Netzen (LANs), Großraumnetzen (WANs), drahtlosen Netzen und dem Internet, beinhalten. (Eine) Andere Schnittstelle(n) beinhaltet/beinhalten eine Benutzerschnittstelle 1018 und eine Peripherievorrichtungsschnittstelle 1022. Die Schnittstelle(n) 1006 kann/können ebenfalls eine oder mehrere Benutzerschnittstellenelemente 1018 beinhalten. Die Schnittstelle(n) 1006 können ebenfalls eine oder mehrere periphere Schnittstellen, wie beispielsweise Schnittstellen für Drucker, Zeigevorrichtungen (Mäuse, Touchpad oder eine beliebige geeignete Benutzerschnittstelle, die dem Durchschnittsfachmann auf dem Gebiet jetzt bekannt ist oder später entdeckt wird), Tastaturen und dergleichen, beinhalten.
Der Bus 1012 ermöglicht dem (den) Prozessor(en) 1002, der (den) Speichervorrichtung(en) 1004, der (den) Schnittstelle(n) 1006, der (den) Massenspeichervorrichtung(en) 1008 und der (den) I/O-Vorrichtung(en) 1010, miteinander sowie mit anderen Vorrichtungen oder Komponenten, die mit dem Bus 1012 gekoppelt sind, zu kommunizieren. Der Bus 1012 stellt eine oder mehrere von verschiedenen Arten von Busstrukturen dar, wie beispielsweise einen Systembus, PCI-Bus, IEEE-Bus, USB-Bus und so weiter.
Im Sinne der Veranschaulichung sind Programme und andere ausführbare Programmkomponenten hierin als diskrete Blöcke dargestellt, auch wenn es sich versteht, dass sich derartige Programme und Komponenten zu verschiedenen Zeiten in unterschiedlichen Speicherkomponenten der Rechenvorrichtung 1000 befinden und durch den/die Prozessor(en) 1002 ausgeführt werden können. Alternativ können die hierin beschriebenen Systeme und Verfahren in einer Hardware oder einer Kombination von Hardware, Software und/oder Firmware eingerichtet sein. Ein oder mehrere anwendungsspezifische integrierte Schaltkreise (ASICs) können zum Beispiel programmiert sein, um eines oder mehrere der hierin beschriebenen Systeme und Verfahren auszuführen.
Beispiele
Die folgenden Beispiele betreffen weitere Ausführungsformen.
Beispiel 1 ist ein Verfahren zur rückwärtigen Hinderniserkennung unter Verwendung von Struktur aus Bewegung. Das Verfahren beinhaltet Identifizieren von Bildmerkmalen in einem ersten Rahmen, die Merkmalen in einem zweiten Rahmen entsprechen, wobei der erste Rahmen und der zweite Rahmen benachbarte Bildrahmen umfassen, die durch eine nach hinten gerichtete Kamera eines Fahrzeugs aufgenommen wurden. Das Verfahren beinhaltet Bestimmen von Parametern für ein nicht-ebenes Bewegungsmodell basierend auf den Bildmerkmalen. Das Verfahren beinhaltet Bestimmen einer Kamerabewegung basierend auf den Parametern für das nicht-ebene Bewegungsmodell.
In Beispiel 2 beinhaltet das Verfahren aus Beispiel 1 ferner Identifizieren eines oder mehrerer Merkmalspunkte als Teil eines gleichen Objekts basierend auf einem oder mehreren einer Pixelintensität oder einer zweidimensionalen Position innerhalb des ersten Rahmens oder des zweiten Rahmens.
In Beispiel 3 beinhaltet das Verfahren nach einem der Beispiele 1-2 ferner Rekonstruieren von Merkmalspunkten im dreidimensionalen Raum und Bestimmen eines Maßstabs für die Position der Merkmalspunkte im dreidimensionalen Raum basierend auf Merkmalspunkten innerhalb eines vordefinierten Erdbodenbereichs im ersten Rahmen und im zweiten Rahmen.
In Beispiel 4 beinhaltet das Verfahren nach Beispiel 3 ferner Bestimmen einer Höhe eines oder mehrerer Objekte basierend auf entsprechenden Merkmalspunkten.
In Beispiel 5 beinhaltet das Verfahren nach einem der Beispiele 3-4 ferner Bestimmen eines Abstands zu dem einen oder den mehreren Objekten mit einer Höhe oberhalb eines Schwellenwerts.
In Beispiel 6 beinhaltet das Verfahren nach Beispiel 5 ferner Benachrichtigen eines Fahrers oder eines automatisierten Fahrsystems über ein Vorhandensein der Objekte mit der Höhe oberhalb eines Schwellenwerts.
In Beispiel 7 beinhaltet das Verfahren nach einem der Beispiele 1-6 ferner Klassifizieren von Merkmalen als Nicht-Ausreißer und Ausreißer, wobei das Bestimmen der Parameter das Bestimmen basierend auf den Nicht-Ausreißern umfasst.
In Beispiel 8 beinhaltet das Verfahren nach einem der Beispiele 1-7 ferner Durchführen einer örtlichen Bündelausgleichung an Bildmerkmale für eine verbesserte Genauigkeit.
Beispiel 9 ist ein System zur rückwärtigen Hinderniserkennung unter Verwendung einer Struktur aus Bewegung, das eine Bildkomponente, eine Merkmalskomponente, eine Modellparameterkomponente und eine Bewegungskomponente beinhaltet. Das System beinhaltet eine Bildkomponente, die konfiguriert ist, eine Reihe von Bildrahmen zu erlangen, die durch eine monokulare Kamera während der Bewegung eines Fahrzeugs aufgenommen werden. Die Merkmalskomponente ist konfiguriert, Bildmerkmale in einem ersten Rahmen, die Merkmalen in einem zweiten Rahmen entsprechen, zu identifizieren, wobei der erste Rahmen und der zweite Rahmen benachbarte Bildrahmen in der Reihe von Bildrahmen umfassen. Die Modeltparameterkornponente ist konfiguriert, Parameter für ein nicht-ebenes Bewegungsmodell basierend auf den Bildmerkmalen zu bestimmen. Die Bewegungskomponente ist konfiguriert, eine Kamerabewegung basierend auf den Parametern für das nicht-ebene Bewegungsmodell zu bestimmen.
In Beispiel 10 beinhaltet das Verfahren nach Beispiel 9 ferner eine Objekterkennungskomponente, die konfiguriert ist, einen oder mehrere Merkmalspunkte als Teil eines gleichen Objekts basierend auf einem oder mehreren einer Pixelintensität oder einer zweidimensionalen Position innerhalb des ersten Rahmens oder des zweiten Rahmens zu identifizieren.
In Beispiel 11 beinhaltet das System nach einem der Beispiele 9-10 ferner eine Rekonstruktionskomponente, die zu Folgendem konfiguriert ist: Rekonstruieren von Merkmalspunkten im dreidimensionalen Raum; und Bestimmen eines Maßstabs für die Position der Merkmalspunkte im dreidimensionalen Raum basierend auf Merkmalspunkten innerhalb eines vordefinierten Erdbodenbereichs im ersten Rahmen und im zweiten Rahmen.
In Beispiel 12 beinhaltet das System nach einem der Beispiele 9-10 ferner eine Objekterkennungskomponente, die konfiguriert ist, eine Höhe eines oder mehrerer Objekte basierend auf den Positionen entsprechender Merkmalspunkte zu bestimmen.
In Beispiel 13 beinhaltet das System nach Beispiel 12 ferner eine Abstandskomponente, die konfiguriert ist, einen Abstand zu dem einen oder den mehreren Objekten mit einer Höhe oberhalb eines Schwellenwerts zu bestimmen.
In Beispiel 14 beinhaltet das System nach Beispiel 13 ferner eine Benachrichtigungskomponente, die konfiguriert ist, einen Fahrer oder ein automatisiertes Fahrsystem über ein Vorhandensein des einen oder der mehreren Objekte mit der Höhe oberhalb eines Schwellenwerts zu benachrichtigen.
In Beispiel 15 ist die Merkmalskomponente nach einem der Beispiele 9-14 ferner konfiguriert, Merkmale als Nicht-Ausreißer und Ausreißer zu klassifizieren, wobei die Modellparameterkomponente konfiguriert ist, die Parameter basierend auf den Nicht-Ausreißern zu bestimmen.
In Beispiel 16 ist die Merkmalskomponente nach einem der Beispiele 9-15 ferner konfiguriert, eine örtliche Bündelausgleichung an Bildmerkmale für eine verbesserte Genauigkeit durchzuführen.
Beispiel 17 ist ein computerlesbares Speichermedium, auf dem Anweisungen gespeichert sind, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, die Prozessoren veranlassen, Bildmerkmale in einem ersten Rahmen, die Merkmalen in einem zweiten Rahmen entsprechen, zu identifizieren, wobei der erste Rahmen und der zweite Rahmen benachbarte Bildrahmen umfassen, die durch eine nach hinten gerichtete Kamera eines Fahrzeugs aufgenommen wurden. Die Anweisungen veranlassen ferner den einen Prozessor oder die mehreren Prozessoren, Parameter für ein nicht-ebenes Bewegungsmodell basierend auf den Bildmerkmalen zu bestimmen. Die Anweisungen veranlassen ferner den einen Prozessor oder die mehreren Prozessoren, eine Kamerabewegung basierend auf Parametern für das nicht-ebene Bewegungsmodell zu bestimmen.
In Beispiel 18 veranlassen die Anweisungen nach Beispiel 17 den einen Prozessor oder die mehreren Prozessoren ferner, einen oder mehrere Merkmalspunkte als Teil eines gleichen Objekts basierend auf einem oder mehreren einer Pixelintensität oder einer zweidimensionalen Position innerhalb des ersten Rahmens oder des zweiten Rahmens zu identifizieren.
In Beispiel 19 veranlassen die Anweisungen nach einem der Beispiele 17-18 ferner den einen Prozessor oder die mehreren Prozessoren zu Folgendem: Rekonstruieren von Merkmalspunkten im dreidimensionalen Raum; und Bestimmen eines Maßstabs für die Position der Merkmalspunkte im dreidimensionalen Raum basierend auf Merkmalspunkten innerhalb eines vordefinierten Erdbodenbereichs im ersten Rahmen und im zweiten Rahmen.
In Beispiel 20 veranlassen Anweisungen nach einem der Beispiele 17-19 ferner den einen Prozessor oder die mehreren Prozessoren, eine Höhe eines oder mehrerer Objekte basierend auf entsprechenden Merkmalspunkten zu bestimmen.
Beispiel 21 ist ein System oder eine Vorrichtung, das bzw. die Mittel zum Umsetzen eines Verfahrens, eines Systems oder einer Vorrichtung nach einem der Beispiele 1-20 einschließt.
In der vorangehenden Offenbarung wurde auf die beigefügten Zeichnungen Bezug genommen, die einen Teil hiervon bilden und in denen spezifische Implementierungen, in denen die Offenbarung durchgeführt werden kann, veranschaulichend gezeigt werden. Es versteht sich, dass andere Umsetzungen verwendet werden können und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „ein Ausführungsbeispiel“ usw. geben an, dass die beschriebene Ausführungsform ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft beinhalten kann; doch es muss nicht notwendigerweise jede Ausführungsform diese(s) bestimmte Merkmal, Struktur oder Eigenschaft beinhalten. Darüber hinaus beziehen sich solche Formulierungen nicht notwendigerweise auf dieselbe Ausführungsform. Ferner sei darauf hingewiesen, dass, wenn ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben wird, es im Bereich des Fachwissens des Fachmanns liegt, ein(e) derartige(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen umzusetzen, ob dies nun ausdrücklich beschrieben ist oder nicht.
Umsetzungen der hierin offenbarten Systeme, Vorrichtungen und Verfahren können einen Spezial- oder Universalcomputer umfassen oder verwenden, der Computerhardware beinhaltet, wie etwa zum Beispiel einen oder mehrere Prozessoren und einen oder mehrere Systemspeicher, wie hierin erörtert. Umsetzungen innerhalb des Umfangs der vorliegenden Offenbarung können außerdem physische und andere computerlesbare Medien zum Transportieren oder Speichern von computerausführbaren Anweisungen und/oder Datenstrukturen beinhalten. Bei derartigen computerlesbaren Medien kann es sich um beliebige verfügbare Medien handeln, auf die durch ein Universal- oder Spezialcomputersystem zugegriffen werden kann. Bei computerlesbaren Medien, auf denen computerausführbare Anweisungen gespeichert werden, handelt es sich um Computerspeichermedien (-vorrichtungen). Bei computerlesbaren Medien, die computerausführbare Anweisungen transportieren, handelt es sich um Übertragungsmedien. Daher können Umsetzungen der Offenbarung beispielsweise und nicht einschränkend mindestens zwei deutlich unterschiedliche Arten von computerlesbaren Medien umfassen: Computerspeichermedien (-vorrichtungen) und Übertragungsmedien.
Computerspeichermedien (-vorrichtungen) beinhalten RAM, ROM, EEPROM, CD-ROM, Solid-State-Drives („SSDs“) (z. B. auf Grundlage von RAM), Flash-Speicher, Phasenänderungsspeicher („PCM“), andere Speichertypen, andere optische Plattenspeicher, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder ein beliebiges anderes Medium, das verwendet werden kann, um die gewünschten Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu speichern, und auf das durch einen Universal- oder Spezialcomputer zugegriffen werden kann.
Eine Umsetzung der hierin offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere (entweder festverdrahtete, drahtlose oder eine Kombination aus festverdrahteter oder drahtloser) Kommunikationsverbindung an einem Computer bereitgestellt oder auf diesen übertragen werden, sieht der Computer die Verbindung korrekt als ein Übertragungsmedium an. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen beinhalten, die verwendet werden können, um die gewünschten Programmcodemittel in der Form von computerausführbaren Anweisungen oder Datenstrukturen zu übertragen und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen aus den Vorstehenden sollten ebenfalls im Umfang computerlesbarer Medien beinhaltet sein.
Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die bei Ausführung an einem Prozessor einen Universalcomputer, Spezialcomputer oder eine Spezialverarbeitungsvorrichtung dazu veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen auszuführen. Die computerausführbaren Anweisungen können zum Beispiel Binärdateien, Zwischenformatanweisungen, wie etwa Assemblersprache, oder auch Quellcode sein. Obwohl der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben wurde, versteht es sich, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht notwendigerweise auf die vorangehend beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen werden vielmehr als beispielhafte Formen der Umsetzung der Ansprüche offenbart.
Der Fachmann kann nachvollziehen, dass die Offenbarung in Network-Computing-Umgebungen mit vielen Arten von Computersystemkonfigurationen durchgeführt werden kann, einschließlich eines Armaturenbrett-Fahrzeugcomputers, PCs, Desktop-Computern, Laptops, Nachrichtenprozessoren, Handvorrichtungen, Multiprozessorsystemen, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbarer Unterhaltungselektronik, Netzwerk-PCs, Minicomputern, Mainframe-Computern, Mobiltelefonen, PDAs, Tablets, Pagern, Routern, Switches, verschiedenen Speichervorrichtungen und dergleichen. Die Offenbarung kann außerdem in Umgebungen mit verteilten Systemen durchgeführt werden, in denen sowohl lokale Computersysteme als auch Remotecomputersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben durchführen. In einer Umgebung mit verteilten Systemen können sich Programmmodule sowohl in lokalen Speichervorrichtungen als auch in Fernspeichervorrichtungen befinden.
Ferner können die hier beschriebenen Funktionen gegebenenfalls in einem oder mehreren der Folgenden ausgeführt werden: Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten. Ein oder mehrere anwendungsspezifische integrierte Schaltkreise (ASICs) können zum Beispiel programmiert sein, um eines oder mehrere der hierin beschriebenen Systeme und Verfahren auszuführen. Bestimmte Ausdrücke werden in der Beschreibung und den Ansprüchen in Bezug auf bestimmte Systemkomponenten verwendet. Die Begriffe „Module“ und „Komponenten“ werden in den Bezeichnungen von bestimmte n Komponenten verwendet, um ihre Umsetzungsunabhängigkeit in Software, Hardware, Schaltungen, Sensoren und dergleichen wiederzugeben. Der Fachmann wird zu schätzen wissen, dass auf Komponenten durch verschiedene Bezeichnungen Bezug genommen werden kann. In diesem Dokument soll nicht zwischen Komponenten unterschieden werden, die sich dem Namen nach unterscheiden, nicht jedoch von der Funktion her.
Es ist anzumerken, dass die vorstehend erörterten Sensorausführungsformen Computerhardware, Software, Firmware oder eine beliebige Kombination davon umfassen können, um zumindest einen Teil ihrer Funktionen auszuführen. Ein Sensor kann zum Beispiel Computercode einschließen, der dazu konfiguriert ist, in einem oder mehreren Prozessoren ausgeführt zu werden, und kann eine Hardware-Logikschaltung/elektrische Schaltung einschließen, die durch den Computercode gesteuert wird. Diese Vorrichtungsbeispiele werden hier zum Zwecke der Veranschaulichung bereitgestellt und sollen nicht der Einschränkung dienen. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen umgesetzt werden, wie es einem einschlägigen Fachmann bekannt ist.
Zumindest einige Ausführungsformen der Offenbarung wurden Computerprogrammprodukten zugeführt, die eine solche Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Derartige Software veranlasst bei Ausführung in einer oder mehreren Datenverarbeitungsvorrichtungen eine Vorrichtung dazu, wie hier beschrieben zu arbeiten.
Während vorstehend verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben wurden, versteht es sich, dass diese lediglich als Beispiele dienen und nicht als Einschränkung. Für den entsprechenden Fachmann wird ersichtlich, dass verschiedene Änderungen in Form und Detail daran vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen. Daher sollen die Breite und der Umfang der vorliegenden Offenbarung durch keines der vorstehend beschriebenen Ausführungsbeispiele eingeschränkt werden, sondern sollen lediglich in Übereinstimmung mit den folgenden Ansprüchen und ihren Äquivalenten definiert sein. Die vorstehende Beschreibung wurde zum Zwecke der Veranschaulichung und Beschreibung dargelegt. Sie ist nicht als umfassend anzusehen und soll die Offenbarung nicht auf die spezifische offenbarte Form beschränken. Viele Modifikationen und Variationen sind in Anbetracht der vorstehenden Lehren möglich. Ferner ist anzumerken, dass eine beliebige oder alle der vorangehend genannten alternativen Implementierungen in einer beliebigen gewünschten Kombination verwendet werden können, um zusätzliche Hybridimplementierungen der Offenbarung zu bilden.
Ferner soll die Offenbarung, auch wenn spezifische Umsetzungen der Offenbarung beschrieben und dargestellt wurden, nicht auf die somit beschriebenen und dargestellten spezifischen Formen oder Anordnungen der Teile beschränkt werden. Der Umfang der Offenbarung ist durch die hieran beigefügten Ansprüche, jegliche zukünftigen hier beantragten Ansprüche und in verschiedenen Anwendungen und deren Äquivalenten zu definieren.

Claims

Verfahren zur rückwärtigen Hinderniserkennung unter Verwendung von Struktur aus Bewegung, wobei das Verfahren Folgendes umfasst: Identifizieren von Bildmerkmalen in einem ersten Rahmen, die Merkmalen in einem zweiten Rahmen entsprechen, wobei der erste Rahmen und der zweite Rahmen benachbarte Bildrahmen umfassen, die durch eine nach hinten gerichtete Kamera eines Fahrzeugs aufgenommen wurden; Bestimmen von Parametern für ein nicht-ebenes Bewegungsmodell basierend auf den Bildmerkmalen; und Bestimmen einer Kamerabewegung basierend auf den Parametern für das nicht-ebene Bewegungsmodell
Verfahren nach Anspruch 1, das ferner Identifizieren eines oder mehrerer Merkmalspunkte als Teil eines gleichen Objekts basierend auf einem oder mehreren einer Pixelintensität oder einer zweidimensionalen Position innerhalb des ersten Rahmens oder des zweiten Rahmens umfasst.
Verfahren nach Anspruch 1, ferner umfassend: Rekonstruieren von Merkmalspunkten im dreidimensionalen Raum; und Bestimmen eines Maßstabs für die Position der Merkmalspunkte im dreidimensionalen Raum basierend auf Merkmalspunkten innerhalb eines vordefinierten Erdbodenbereichs im ersten Rahmen und im zweiten Rahmen; Bestimmen einer Höhe eines oder mehrerer Objekte basierend auf entsprechenden Merkmalspunkten; Bestimmen eines Abstands zu dem einen oder den mehreren Objekten mit einer Höhe oberhalb eines Schwellenwerts; und Benachrichtigen eines Fahrers oder eines automatisierten Fahrsystems über ein Vorhandensein der Objekte mit der Höhe oberhalb des Schwellenwerts.
Verfahren nach Anspruch 1, das ferner Klassifizieren von Merkmalen als Nicht-Ausreißer und Ausreißer umfasst, wobei das Bestimmen der Parameter das Bestimmen basierend auf den Nicht-Ausreißern umfasst.
Verfahren nach Anspruch 1, das ferner Durchführen einer örtlichen Bündelausgleichung an Bildmerkmalen für eine verbesserte Genauigkeit umfasst.
System zur rückwärtigen Hinderniserkennung unter Verwendung von Struktur aus Bewegung, wobei das System Folgendes umfasst: eine Bildkomponente, die konfiguriert ist, eine Reihe von Bildrahmen zu erlangen, die durch eine monokulare Kamera während der Bewegung eines Fahrzeugs aufgenommen werden; eine Merkmalskomponente, die konfiguriert ist, Bildmerkmale in einem ersten Rahmen, die Merkmalen in einem zweiten Rahmen entsprechen, zu identifizieren, wobei der erste Rahmen und der zweite Rahmen benachbarte Bildrahmen in der Reihe von Bildrahmen umfassen; eine Modellparameterkomponente, die konfiguriert ist, Parameter für ein nicht-ebenes Bewegungsmodell basierend auf den Bildmerkmalen zu bestimmen; und eine Bewegungskomponente, die konfiguriert ist, eine Kamerabewegung basierend auf den Parametern für das nicht-ebene Bewegungsmodell zu bestimmen.
System nach Anspruch 6, das ferner eine Objekterkennungskomponente umfasst, die konfiguriert ist, einen oder mehrere Merkmalspunkte als Teil eines gleichen Objekts basierend auf einem oder mehreren einer Pixelintensität oder einer zweidimensionalen Position innerhalb des ersten Rahmens oder des zweiten Rahmens zu identifizieren.
System nach Anspruch 6, ferner umfassend: eine Rekonstruktionskomponente, die konfiguriert ist, Merkmalspunkte im dreidimensionalen Raum zu rekonstruieren und einen Maßstab für die Position der Merkmalspunkte im dreidimensionalen Raum basierend auf Merkmalspunkten innerhalb eines vordefinierten Erdbodenbereichs im ersten Rahmen und im zweiten Rahmen zu bestimmen; und eine Objekterkennungskomponente, die konfiguriert ist, eine Höhe eines oder mehrerer Objekte basierend auf den Positionen entsprechender Merkmalspunkte zu bestimmen.
System nach Anspruch 8, das ferner eine Abstandskomponente umfasst, die konfiguriert ist, einen Abstand zu dem einen oder den mehreren Objekten mit einer Höhe oberhalb eines Schwellenwerts zu bestimmen.
System nach Anspruch 8, das ferner eine Benachrichtigungskomponente umfasst, die konfiguriert ist, einen Fahrer oder ein automatisiertes Fahrsystem über ein Vorhandensein des einen oder der mehreren Objekte mit der Höhe oberhalb eines Schwellenwerts zu benachrichtigen.
System nach Anspruch 6, wobei die Merkmalskomponente ferner zu einem oder mehreren von Folgendem konfiguriert ist: Klassifizieren von Merkmalen als Nicht-Ausreißer und Ausreißer, wobei die Modellparameterkomponente konfiguriert ist, die Parameter basierend auf den Nicht-Ausreißern zu bestimmen; oder Durchführen einer örtlichen Bündelausgleichung an Bildmerkmalen für eine verbesserte Genauigkeit.
Computerlesbares Speichermedium, auf dem Anweisungen gespeichert sind, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, die Prozessoren zu Folgendem veranlassen: Identifizieren von Bildmerkmalen in einem ersten Rahmen, die Merkmalen in einem zweiten Rahmen entsprechen, wobei der erste Rahmen und der zweite Rahmen benachbarte Bildrahmen umfassen, die durch eine nach hinten gerichtete Kamera eines Fahrzeugs aufgenommen wurden; Bestimmen von Parametern für ein nicht-ebenes Bewegungsmodell basierend auf den Bildmerkmalen; und Bestimmen einer Kamerabewegung basierend auf den Parametern für das nicht-ebene Bewegungsmodell.
Computerlesbares Medium nach Anspruch 12, wobei die Anweisungen den einen Prozessor oder die mehreren Prozessoren ferner dazu veranlassen, einen oder mehrere Merkmalspunkte als Teil eines gleichen Objekts basierend auf einem oder mehreren einer Pixelintensität oder einer zweidimensionalen Position innerhalb des ersten Rahmens oder des zweiten Rahmens zu identifizieren.
Computerlesbares Medium nach Anspruch 12, wobei die Anweisungen den einen Prozessor oder die mehreren Prozessoren ferner zu Folgendem veranlassen: Rekonstruieren von Merkmalspunkten im dreidimensionalen Raum; und Bestimmen eines Maßstabs für die Position der Merkmalspunkte im dreidimensionalen Raum basierend auf Merkmalspunkten innerhalb eines vordefinierten Erdbodenbereichs im ersten Rahmen und im zweiten Rahmen,
Computerlesbares Medium nach Anspruch 12, wobei die Anweisungen den einen Prozessor oder die mehreren Prozessoren ferner veranlassen, eine Höhe eines oder mehrerer Objekte basierend auf entsprechenden Merkmalspunkten zu bestimmen.