DE102015014320A1

DE102015014320A1 - Verfahren und System zur Verbesserung der Qualität von Bildinformationen einer 3D-Erkennungseinheit zur Verwendung bei einem Fahrzeug

Info

Publication number: DE102015014320A1
Application number: DE102015014320.4A
Authority: DE
Inventors: Mikael Salmén
Original assignee: Scania CV AB
Current assignee: Scania CV AB
Priority date: 2014-11-26
Filing date: 2015-11-05
Publication date: 2016-06-02
Also published as: SE538500C2; SE1451427A1

Abstract

Gegenstand der vorliegenden Erfindung ist ein Verfahren zur Verbesserung der Zuverlässigkeit von Bildinformationen einer 3D-Erkennungseinheit zur Verwendung bei einem Fahrzeug. Dabei dient die 3D-Erkennungseinheit dazu, das Objekt zu beleuchten und aus dem vom Objekt reflektierten Licht mit 3D-Informationen ein 3D-Bild zu erstellen. Dieses Verfahren umfasst einen Schritt, in dem die 3D-Erkennungseinheit für eine bestimmte 3D-Erkennungseinheit-Position am Fahrzeug kalibriert wird. Der Schritt zur Kalibrierung der 3D-Erkennungseinheit umfasst die folgenden Teilschritte: Erkennung (Si) von Markierungen mit bekanntem minimalem Reflexionsvermögen als geringstes unterstütztes Reflexionsvermögen unter Verwendung von unterschiedlichen Integrationszeiten/Belichtungszeiten für unterschiedliche 3D-Erkennungseinheit-Positionen, einschließlich der Höhe über den genannten Markierungen und der Richtung der 3D-Erkennungseinheit; Gewinnung (S2) von zuverlässigen Informationen aus der genannten Markierungserkennung; und Erstellung (S3) von unterschiedlichen Masken auf der Basis der so gewonnenen zuverlässigen Informationen für die genannten unterschiedlichen 3D-Erkennungseinheit-Positionen. Die vorliegende Erfindung betrifft außerdem ein System zur Verbesserung der Zuverlässigkeit von Bildinformationen einer 3D-Erkennungseinheit zur Verwendung bei einem Fahrzeug. Darüber hinaus bezieht sich die vorliegende Erfindung auf ein Fahrzeug. Ein weiterer Gegenstand der vorliegenden Erfindung ist ein Computerprogramm und ein Computerprogrammprodukt.

Description

Technischer Bereich
Die Erfindung betrifft ein Verfahren zur Verbesserung der Zuverlässigkeit von Bildinformationen einer 3D-Erkennungseinheit zur Verwendung bei einem Fahrzeug gemäß dem Oberbegriff des Patentanspruchs 1. Die Erfindung bezieht sich auch auf ein System zur Verbesserung der Zuverlässigkeit von Bildinformationen einer 3D-Erkennungseinheit zur Verwendung bei einem Fahrzeug. Die Erfindung betrifft ein Fahrzeug. Des Weiteren betrifft die Erfindung ein Computerprogramm und ein Computerprogrammprodukt.
Bisheriger Stand der Technik
Für 2D-Kameras gibt es Bildqualitätsmessverfahren und Vergleichsverfahren. Bei Time-of-Flight-Kameras können verschiedene Messverfahren angewendet werden, um die Qualität der Entfernungsdaten zu messen, beispielsweise die Messung der Varianz der Entfernungsmessungen. Auf der Basis der dadurch gewonnenen Messdaten kann die Belichtungszeit der Kamera automatisch so angepasst werden, dass eine gute Bildqualität des gesamten Bildes erzielt wird.
Bei der Installation einer Time-of-Flight-Kamera an einem Fahrzeug ist die Position in Bezug auf die Fahrbahn von der Art des Fahrzeugs abhängig. Aufgrund der begrenzten Beleuchtungsstärke der Kamera kann die Kamera nicht das gesamte Sichtfeld beleuchten. Deshalb kann die automatische Belichtungsfunktion der Kamera versuchen, die Sicht zu maximieren, und für die Kamera eine zu hohe Belichtung einstellen, so dass andere visuelle Probleme auftreten können.
Die Patentschrift WO 2011/54971 beschreibt ein Verfahren und ein System zur Erkennung von 3D-Objekten in einem bestimmten Bereich. Eine Kamera wird auf der Basis von Daten bezüglich des Abstands zum Boden in Bezug auf den Boden kalibriert. Es wird ein Objekterkennungsvolumen erstellt, bei dem alle Punkte mit einem Abstand von beispielsweise 10 cm und darüber zum Boden ausgeschlossen werden.
Aufgabe der Erfindung
Eine Aufgabe der vorliegenden Erfindung besteht darin, ein kosteneffizientes Verfahren zur Verbesserung der Zuverlässigkeit von Bildinformationen einer 3D-Erkennungseinheit zur Verwendung bei einem Fahrzeug bereitzustellen.
Eine weitere Aufgabe der vorliegenden Erfindung besteht darin, ein kosteneffizientes System zur Verbesserung der Zuverlässigkeit von Bildinformationen einer 3D-Erkennungseinheit zur Verwendung bei einem Fahrzeug bereitzustellen.
Zusammenfassung der Erfindung
Diese und andere Aufgaben, die aus der nachstehenden Beschreibung zu ersehen sind, werden durch ein Verfahren, ein System, ein Fahrzeug, ein Computerprogramm und ein Computerprogrammprodukt gemäß den beigefügten unabhängigen Patentansprüchen gelöst. Bevorzugte Ausführungsformen des Verfahrens und des Systems sind in den beigefügten abhängigen Patentansprüchen angegeben.
Insbesondere wird eine Aufgabe der Erfindung durch ein Verfahren zum Verbessern der Zuverlässigkeit von Bildinformationen von einer 3D-Erkennungseinheit zum Verwenden bei einem Fahrzeug gelöst. Dabei ist die 3D-Erkennungseinheit dazu eingerichtet, das Objekt zu beleuchten und aus dem von dem Objekt reflektierten Licht kennzeichnende 3D-Informationen zu erkennen, um ein 3D-Bild zu ermitteln. Dieses Verfahren umfasst einen Schritt des Kalibrierens der 3D-Erkennungseinheit für eine bestimmte 3D-Erkennungseinheit-Position am Fahrzeug. Der Schritt des Kalibrierens der 3D-Erkennungseinheit umfasst die folgenden Schritte: Erkennen von Markierungen mit einem bekannten minimalen Reflexionsvermögen als geringstes unterstütztes Reflexionsvermögen unter Verwendung von unterschiedlichen Integrationszeiten/Belichtungszeiten für unterschiedliche 3D-Erkennungseinheit-Positionen, die die Höhe über den Markierungen und die Richtung der 3D-Erkennungseinheit umfassen; Ermitteln von zuverlässigen Informationen aus dem Erkennen der Markierungen; Erstellen von verschiedenen Masken auf der Basis der entsprechend ermittelten zuverlässigen Informationen für die unterschiedlichen 3D-Erkennungseinheit-Positionen. Dadurch kann dieselbe 3D-Erkennungseinheit für unterschiedliche Fahrzeugkonfigurationen verwendet werden, die unterschiedliche Positionen der 3D-Erkennungseinheit benötigen, die unterschiedliche Höhen und/oder Richtungen zum Identifizieren eines Objekts umfassen, so dass sich die Kosten verringern. Ferner wird die Qualität der Informationen/Daten des Bildes des Objekts verbessert, so dass das Verarbeiten der Daten unabhängig von verschiedenen Positionen, d. h. Höhen/Richtungen der 3D-Erkennungseinheit, zu einer besseren Identifizierung des erkannten Objekts führt. Dadurch wird die Zuverlässigkeit der Bildinformationen von der 3D-Erkennungseinheit verbessert. Die Menge an erforderlichen Informationen/Daten wird durch das Erstellen der verschiedenen Masken für unterschiedliche Positionen der 3D-Erkennungseinheit minimiert. Dadurch kann die maximale Objekt-Erkennungsentfernung für die 3D-Erkennungseinheit für die verschiedenen Positionen der 3D-Erkennungseinheit bestimmt werden. Dadurch wird eine generische Lösung für eine Fahrzeugflotte vereinfacht, durch Verwenden einer Variante der 3D-Erkennungseinheit statt mehrerer angepasster Varianten oder einem manuellen Erstellen einer Maske für jede 3D-Erkennungseinheit in Abhängigkeit von der Position am Fahrzeug. Indem auf diese Weise unterschiedliche Masken unterschiedlichen Positionen einer 3D-Erkennungseinheit am Fahrzeug zugeordnet werden, können diese unterschiedlichen Positionen identifizierbar sein, so dass, wenn eine 3D-Erkennungseinheit an einer bestimmten Stelle an einem Fahrzeug angeordnet ist, die 3D-Erkennungseinheit so gesteuert wird, dass die Maske verwendet wird, die der identifizierten Position zugeordnet ist.
Gemäß einer Ausführungsform des Verfahrens umfasst der Schritt des Erkennens von Markierungen mit bekanntem minimalem Reflexionsvermögen das Erkennen von Markierungen mit unterschiedlichem bekanntem minimalem Reflexionsvermögen als geringstes unterstütztes Reflexionsvermögen, das zu unterschiedlichen Objektarten gehört, unter Verwendung von unterschiedlichen Integrationszeiten/Belichtungszeiten.; wobei zuverlässige Informationen aus der Markierungserkennung ermittelt werden. Ferner werden dabei verschiedene Masken auf der Basis der derart ermittelten zuverlässigen Informationen für unterschiedliche Markierungen erstellt, die zu unterschiedlichen Objektarten gehören. Dadurch kann dieselbe 3D-Erkennungseinheit für unterschiedliche Objektarten verwendet werden. Außerdem wird die Qualität der Informationen/Daten des Bildes unterschiedlicher Objekte verbessert, so dass eine Verarbeitung der Daten zu einer besseren Identifizierung der erkannten Objekte führt. Die Menge der erforderlichen Informationen/Daten wird minimiert durch Erstellen der unterschiedlichen Masken für die unterschiedlichen Objekte. Dadurch kann die maximale Objekterkennungsentfernung für die 3D-Erkennungseinheit für die verschiedenen Objekte bestimmt werden. Dadurch wird eine generische Lösung für eine Fahrzeugflotte vereinfacht, durch Verwenden einer Variante der 3D-Erkennungseinheit statt mehrerer angepasster Varianten oder dem manuellen Erstellen einer Maske für jede 3D-Erkennungseinheit in Abhängigkeit vom Objekt.
Gemäß einer Ausführungsform des Verfahrens wird der Schritt des Erkennens von Markierungen mit bekanntem minimalem Reflexionsvermögen für unterschiedliche Beleuchtungsstärken der 3D-Erkennungseinheit durchgeführt. Dadurch können unterschiedliche Masken für unterschiedliche Beleuchtungsstärken erstellt werden.
Dadurch können unterschiedliche Masken für unterschiedliche Beleuchtungsstärken für die jeweilige Position der 3D-Erkennungseinheit erstellt werden. Dadurch können unterschiedliche Masken für unterschiedliche Beleuchtungsstärken für unterschiedliche Objekte erstellt werden. Indem auf diese Weise unterschiedliche Masken unterschiedlichen Beleuchtungsstärken für eine 3D-Erkennungseinheit zugeordnet werden, kann eine solche 3D-Erkennungseinheit mit variabler Beleuchtungsstärke an einem Fahrzeug so gesteuert werden, dass die Maske verwendet wird, die der eingestellten Beleuchtungsstärke zugeordnet ist.
Gemäß einer Ausführungsform des Verfahrens wird der Schritt des Erkennens von Markierungen mit bekanntem minimalem Reflexionsvermögen für unterschiedliche Beleuchtungsmuster der 3D-Erkennungseinheit durchgeführt. Dadurch können unterschiedliche Masken für unterschiedliche Beleuchtungsmuster erstellt werden.
Dadurch können unterschiedliche Masken für unterschiedliche Beleuchtungsmuster für die jeweilige Position der 3D-Erkennungseinheit erstellt werden. Dadurch können unterschiedliche Masken für unterschiedliche Beleuchtungsmuster für unterschiedliche Objekte erstellt werden. Indem auf diese Weise unterschiedliche Masken unterschiedlichen Beleuchtungsmustern für eine 3D-Erkennungseinheit zugeordnet werden, kann eine solche 3D-Erkennungseinheit mit variablen Beleuchtungsmustern an einem Fahrzeug so gesteuert werden, dass die Maske verwendet wird, die dem eingestellten Beleuchtungsmuster zugeordnet ist.
Gemäß einer Ausführungsform des Verfahrens umfasst der Schritt des Erstellens einer Maske das Ausschließen von Informationen von einer 3D-Erkennungseinheit, die Pixeln entsprechen, die als unzuverlässig erachtet werden. Dadurch wird die Qualität der Bildinformationen/-daten verbessert. Da nicht alle Pixel verarbeitet werden müssen, erhöht sich die Objekterkennungs- und die Bildverarbeitungsgeschwindigkeit.
Gemäß einer Ausführungsform umfasst das Verfahren die folgenden Schritte: Erkennen von Markierungen mit bekanntem maximalem Reflexionsvermögen, das das höchste erwartete Reflexionsvermögen darstellt, unter Verwendung von unterschiedlichen Integrationszeiten/Belichtungszeiten; Ermitteln von Sättigungsmerkmalen aus der genannten Markierungserkennung, die einen Sättigungsgrad umfassen, zum Ermitteln einer zuverlässigen Erkennung. Dadurch kann festgestellt werden, wann ein bestimmtes Objekt aufgrund seines Reflexionsvermögens/seiner Sättigung nicht erkennbar ist.
Gemäß einer Ausführungsform des Verfahrens umfasst der Schritt des Erkennens von Markierungen mit bekanntem maximalem Reflexionsvermögen einen Schritt des Erkennens von Markierungen mit unterschiedlichem bekanntem maximalem Reflexionsvermögen als höchstes erwartetes Reflexionsvermögen in Bezug auf unterschiedliche Objektarten, unter Verwendung unterschiedlicher Integrationszeiten/Belichtungszeiten. Dabei werden Sättigungsmerkmale, die einen Sättigungsgrad umfassen, aus der Markierungserkennung festgestellt, um ein zuverlässige Erkennungen für die unterschiedlichen Objektarten zu ermitteln. Dadurch kann festgestellt werden, wann unterschiedliche Objekte aufgrund ihres Reflexionsvermögens/ihrer Sättigung nicht erkennbar sind.
Gemäß einer Ausführungsform des Verfahrens wird der Schritt des Erkennens von Markierungen mit bekanntem maximalem Reflexionsvermögen für unterschiedliche Beleuchtungsstärken der 3D-Erkennungseinheit durchgeführt. Dadurch kann festgestellt werden, wann ein bestimmtes Objekt aufgrund seines Reflexionsvermögens/seiner Sättigung für unterschiedliche Beleuchtungsstärken der 3D-Erkennungseinheit nicht erkennbar ist.
Gemäß einer Ausführungsform des Verfahrens wird der Schritt des Erkennens von Markierungen mit bekanntem maximalem Reflexionsvermögen für unterschiedliche Beleuchtungsmuster der 3D-Erkennungseinheit durchgeführt. Dadurch kann festgestellt werden, wann ein bestimmtes Objekt aufgrund seines Reflexionsvermögens/seiner Sättigung für unterschiedliche Beleuchtungsmuster der 3D-Erkennungseinheit nicht erkennbar ist.
Gemäß einer Ausführungsform umfasst das Verfahren einen Schritt des Speicherns derart ermittelter Masken. Dadurch können solche Masken zum Validieren gegenüber einer anderen Maske einer anderen 3D-Erkennungseinheit verwendet werden, die an einem anderen Fahrzeug mit entsprechenden Merkmalen, d. h. bei gleicher Positionierung der 3D-Erkennungseinheit, platziert ist. Dadurch können solche Masken in einer anderen 3D-Erkennungseinheit der gleichen Art verwendet werden, ohne dass eine Kalibrierung dieser 3D-Erkennungseinheit erforderlich ist, wobei jedoch ein gewisses Maß an Korrelation bevorzugt werden kann.
Gemäß einer Ausführungsform umfasst das Verfahren einen Schritt des Speicherns auf diese Weise ermittelter Sättigungsmerkmale. Dadurch können solche Sättigungsmerkmale zum Validieren gegenüber Sättigungsmerkmalen einer anderen 3D-Erkennungseinheit verwendet werden, die an einem anderen Fahrzeug mit entsprechenden Merkmalen, d. h. bei gleicher Positionierung der 3D-Erkennungseinheit, platziert ist. Dadurch können solche Sättigungsmerkmale in einer anderen 3D-Erkennungseinheit der gleichen Art verwendet werden, ohne dass ein Kalibrieren dieser 3D-Erkennungseinheit erforderlich ist, wobei jedoch ein gewisses Maß an Korrelation bevorzugt werden kann.
Insbesondere wird eine Aufgabe der Erfindung durch ein System zum Verbessern der Zuverlässigkeit von Bildinformationen von einer 3D-Erkennungseinheit zum Verwenden bei einem Fahrzeug gelöst. Dabei ist die 3D-Erkennungseinheit dazu eingerichtet, das Objekt zu beleuchten und aus dem von dem Objekt reflektierten Licht kennzeichnende 3D-Informationen zu erkennen, um ein 3D-Bild zu ermitteln, das geeignet ist, um die oben beschriebenen Verfahren auszuführen.
Das System gemäß der Erfindung bietet die Vorteile gemäß den entsprechenden Verfahrensansprüchen.
Zeichnungskurzbeschreibung
Die vorliegende Erfindung lässt sich besser anhand der nachstehenden detaillierten Beschreibung unter Zuhilfenahme der beigefügten Zeichnungen verstehen, wobei gleiche Bezugszeichen sich bei allen Zeichnungen auf dieselben Teile beziehen.
1a ist eine schematische Seitenansicht eines Fahrzeugs gemäß der vorliegenden Erfindung.
2 ist eine schematische Darstellung eines Systems zur Verbesserung der Zuverlässigkeit von Bildinformationen einer 3D-Erkennungseinheit zur Verwendung bei einem Fahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung.
3 ist eine schematische Darstellung eines Blockdiagramms eines Verfahrens zur Verbesserung der Zuverlässigkeit von Bildinformationen einer 3D-Erkennungseinheit zur Verwendung bei einem Fahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung.
4a ist eine schematische Darstellung einer Seitenansicht eines Fahrzeugs mit einer bestimmten Konfiguration für eine bestimmte Position einer 3D-Erkennungseinheit gemäß der vorliegenden Erfindung.
4b ist eine schematische Darstellung einer Seitenansicht eines Fahrzeugs mit einer bestimmten Konfiguration für eine bestimmte Position einer 3D-Erkennungseinheit gemäß der vorliegenden Erfindung.
4c ist eine schematische Darstellung einer Draufsicht eines Fahrzeugs mit einer 3D-Erkennungseinheit gemäß der vorliegenden Erfindung.
5 ist eine schematische Darstellung eines Computers gemäß einer Ausführungsform der vorliegenden Erfindung.
Detaillierte Beschreibung
Im Folgenden bezieht sich die Bezeichnung „Verbindung” auf eine Kommunikationsverbindung, bei der es sich um eine physische Verbindung, wie beispielsweise eine optoelektronische Kommunikationsverbindung, oder um eine nicht physische Verbindung, wie beispielsweise eine drahtlose Verbindung, z. B. in Form einer Funk- oder Mikrowellenverbindung, handeln kann.
Im Folgenden bedeutet die Bezeichnung „2D” zweidimensional. Im Folgenden bedeutet die Bezeichnung „3D” dreidimensional.
Im Folgenden bezieht sich die Bezeichnung „Markierung” auf eine beliebige geeignete Markierung mit einem bekannten minimalen Reflexionsvermögen, das das geringste unterstützte Reflexionsvermögen in Bezug auf ein bestimmtes Objekt darstellt. Die Bezeichnung „Markierung” kann sich außerdem auf eine beliebige geeignete Markierung mit einem bekannten maximalen Reflexionsvermögen beziehen, das das höchste erwartete Reflexionsvermögen darstellt. Bei einer „Markierung” kann es sich um ein beliebiges geeignetes Element handeln, wie beispielsweise ein Streifen oder mehrere Streifen. Bei einer „Markierung” kann es sich um eine Markierung, die ein kontinuierliches Muster bildet, und/oder um mehrere Markierungen, die ein Muster bilden, handeln. Bei „Markierungen” kann es sich um unterschiedliche Markierungen mit unterschiedlichen bekannten minimalen Reflexionsvermögen handeln, die die geringsten unterstützten Reflexionsvermögen von unterschiedlichen Objektarten darstellen. Die Markierungen können dem Boden entsprechen, aber auch anderen Objekten, wie beispielsweise Fußgängern, Tieren, Radfahrern, reflektierende Objekte z. B. in der Form von Straßenschildern, Markierungen auf der Straße, Leitplanken usw. Die Markierungen/Maske können/kann die erwartete Objektgröße und die Wahrscheinlichkeit der Erkennung einer ausreichenden Menge von Signalen/Pixeln des Objekts in einem bestimmten Bereich des Sichtfelds der 3D-Erkennungseinheit berücksichtigen. Beispielsweise kann ein in der Nähe befindliches Objekt aufgrund von starken Signalen/Reflexionen und größeren Abmessungen beispielsweise 100 Pixel/Signale generieren, während ein weiter entferntes Objekt aufgrund eines schwächeren Signals/einer schwächeren Reflexion und aufgrund seiner Geometrie beispielsweise nur 20 Pixel generieren kann.
Im Folgenden bezieht sich die Bezeichnung „3D-Erkennungseinheit-Position” auf die Höhe der 3D-Erkennungseinheit und die Richtung der 3D-Erkennungseinheit.
Die Bezeichnung „Richtung der 3D-Erkennungseinheit” bezieht sich auf die Richtung, in welcher die 3D-Erkennungseinheit ausgerichtet ist und in der sie folglich Bilder erkennt. Die Richtung der 3D-Erkennungseinheit umfasst den Winkel zu der X-, Y-, Z-Achse.
Im Folgenden wird der Begriff „Integrationszeit/Belichtungszeit” verwendet. Bei einer 3D-Erkennungseinheit in der Form einer Time-of-Flight-Kamera, beispielsweise als Continuous-Wave-/PMD-Sensor, spricht man von der Integrationszeit. Eine solche Time-of-Flight-Kamera nimmt während der Integrationszeit vier Bilder auf.
1 ist eine schematische Darstellung eines Fahrzeugs 1 gemäß einer Ausführungsform der vorliegenden Erfindung. Das als Beispiel verwendete Fahrzeug 1 ist ein Schwerfahrzeug in der Form eines Lastkraftwagens. Bei dem Fahrzeug gemäß der vorliegenden Erfindung kann es sich um ein beliebiges geeignetes Fahrzeug handeln, beispielsweise um einen Bus, einen Personenkraftwagen, einen Zug oder dergleichen. Das Fahrzeug umfasst ein System zur Verbesserung der Zuverlässigkeit von Bildinformationen einer 3D-Erkennungseinheit 110 zur Verwendung bei einem Fahrzeug gemäß der vorliegenden Erfindung. Das Fahrzeug umfasst eine 3D-Erkennungseinheit 110. Die 3D-Erkennungseinheit 110 ist am Fahrzeug, hier am Fahrerhaus, in einer bestimmten Position, angeordnet, die eine bestimmte Höhe H und eine bestimmte Erkennungsrichtung D umfasst. Die Höhe und/oder die Richtung sind von der Fahrzeugkonfiguration, z. B. von der Fahrerhauskonfiguration und/oder von der Fahrgestellkonfiguration, abhängig. Die Position als Richtung umfasst den Winkel zu der X-, Y-, Z-Achse, der bestimmt werden muss, d. h. den Rollwinkel, den Nickwinkel und den Gierwinkel. Falls die 3D-Erkennungseinheit 110 ein Grad um die Y-Achse geneigt ist und die Y-Achse in der Vorwärtsrichtung des Fahrzeugs verläuft, ist das Resultat ein anderes als bei einer 3D-Erkennungseinheit 110, die keinen Rollversatz zur Horizontalen aufweist. Ein Fahrzeug kann mehrere mögliche Montagepositionen aufweisen.
2 zeigt schematisch ein System I zur Verbesserung der Zuverlässigkeit von Bildinformationen einer 3D-Erkennungseinheit 110 zur Verwendung bei einem Fahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung.
Das System I umfasst eine elektronische Steuereinheit 100.
Die 3D-Erkennungseinheit 110 ist eingerichtet zur Beleuchtung eines Objekts O mittels Licht L1 und zur Erstellung eines 3D-Bildes aus dem vom Objekt reflektierten Licht L2, das 3D-Informationen enthält. Die 3D-Erkennungseinheit 110 ist eingerichtet zur Feststellung von reflektiertem Licht durch Anwendung der Time-of-Flight-Technik. Die 3D-Erkennungseinheit 110 umfasst aktives Licht L1 zur Beleuchtung des Objekts O. Bei dem Licht L1 kann es sich um beliebiges geeignetes Licht handeln, wie beispielsweise Infrarot-Licht, sichtbares Licht, LASER-Licht oder dergleichen. Die 3D-Erkennungseinheit 110 umfasst gemäß einer Ausführungsform ein Mittel zur Beleuchtung eines Objekts O mittels Infrarot-Licht.
Die 3D-Erkennungseinheit 110 umfasst gemäß einer Ausführungsform eine Time-of-Flight-Kamera-Einheit. Bei der Time-of-Flight-Kamera-Einheit kann es sich um einen beliebigen Sensor handeln, der mit durch Luft übertragenen Signalen arbeitet und eine Korrelation mit empfangenen Signalen vornimmt, um eine Entfernung zu einem Messpunkt oder zu mehreren Messpunkten zu bestimmen. Bei der Time-of-Flight-Kamera-Einheit (ToF-Kamera-Einheit) kann es sich um eine beliebige ToE-Kamera handeln, beispielsweise auf der Basis der Prinzipien Continuous-Wave (CW, wie beispielsweise PMD, Swissranger usw.), Pulsed-Wave (wie beispielsweise TDC) oder Range-Gating (Obzerv). ToF-Kamera-Einheiten arbeiten normalerweise mit einer Leuchtdiode (LED), welche die gesamte Szene komplett beleuchtet. Die 3D-Erkennungseinheit 110 umfasst gemäß einer Ausführungsform eine LIDAR, d. h. eine Laser-Scanner-Einheit.
Die 3D-Erkennungseinheit 110 kann ein 3D-Bild eines Objekts O erkennen.
Das System I umfasst die Mittel 112, 112a, 112b, 120, 130, 140 zur Kalibrierung der 3D-Erkennungseinheit 110 für eine bestimmte 3D-Erkennungseinheit-Position an einem Fahrzeug.
Das Mittel zur Kalibrierung der 3D-Erkennungseinheit umfasst ein Mittel 112 zur Erkennung von Markierungen. Das Mittel 112 zur Erkennung von Markierungen umfasst ein Mittel 112a zur Erkennung von Markierungen mit einem bekannten minimalen Reflexionsvermögen als geringstes unterstütztes Reflexionsvermögen unter Verwendung unterschiedlicher Integrationszeiten/Belichtungszeiten für unterschiedliche 3D-Erkennungseinheit-Positionen. Die verschiedenen 3D-Erkennungseinheit-Positionen umfassen die Höhe über den genannten Markierungen und die Richtung der 3D-Erkennungseinheit. Das genannte Mittel 112 zur Erkennung von Markierungen ist in der genannten 3D-Erkennungseinheit 110 enthalten. Die 3D-Erkennungseinheit 110 kann folglich die genannten Markierungen erkennen. Das System I und folglich die 3D-Erkennungseinheit 110 umfassen das genannte Mittel 112a zur Erkennung von Markierungen mit einem bekannten minimalen Reflexionsvermögen als geringstes unterstütztes Reflexionsvermögen unter Verwendung unterschiedlicher Integrationszeiten/Belichtungszeiten.
Gemäß einer Ausführungsform umfasst das Mittel 112 zur Erkennung von Markierungen ein Mittel zur Erkennung von Markierungen mit einem bekannten bestimmten Reflexionsvermögen zwischen dem geringsten und dem höchsten Reflexionsvermögen als ein bestimmtes unterstütztes Reflexionsvermögen unter Verwendung unterschiedlicher Integrationszeiten/Belichtungszeiten.
Für jede Position der 3D-Erkennungseinheit 110 erstellt folglich das Mittel 112 zur Erkennung von Markierungen Bilder unter Verwendung unterschiedlicher Integrationszeiten/Belichtungszeiten, um Entfernungsdaten für jede Position zu gewinnen.
Das Mittel 112 zur Erkennung von Markierungen umfasst ein Mittel 112b zur Erkennung von Markierungen mit unterschiedlichen bekannten minimalen Reflexionsvermögen als geringste unterstützte Reflexionsvermögen für unterschiedliche Objektarten unter Verwendung unterschiedlicher Integrationszeiten/Belichtungszeiten.
Das Mittel zur Kalibrierung der 3D-Erkennungseinheit 110 umfasst ein Mittel 120 zur Gewinnung von zuverlässigen Informationen aus der genannten Markierungserkennung. Das System I umfasst folglich ein Mittel 120 zur Gewinnung von zuverlässigen Informationen aus der genannten Markierungserkennung. Das Mittel 120 zur Gewinnung von zuverlässigen Informationen aus der genannten Markierungserkennung umfasst die Anwendung eines Qualitätsmessverfahrens für jedes Entfernungspixel, für das die 3D-Erkennungseinheit 110, d. h. das Mittel 112a zur Erkennung von Markierungen mit bekanntem minimalem Reflexionsvermögen, schätzen kann, welche Pixel/Messungen als zuverlässig erachtet werden können. Gemäß einer Ausführungsform wird eine Marge hinzugefügt, um die Robustheit der Objekterkennung zu steigern.
Das Mittel 112a, 112b zur Erkennung von Markierungen mit einem bekannten minimalen Reflexionsvermögen kann mit unterschiedlichen Beleuchtungsstärken der 3D-Erkennungseinheit 110 arbeiten.
Das Mittel 112a, 112b zur Erkennung von Markierungen mit einem bekannten minimalen Reflexionsvermögen kann mit unterschiedlichen Beleuchtungsmustern der 3D-Erkennungseinheit 110 arbeiten.
Das Mittel 120 zur Gewinnung von zuverlässigen Informationen aus der genannten Markierungserkennung umfasst die Gewinnung von zuverlässigen Informationen aus unterschiedlichen bekannten minimalen Reflexionsvermögen als geringste unterstützte Reflexionsvermögen für verschiedene Objektarten.
Bei der Gewinnung von zuverlässigen Informationen aus unterschiedlichen bekannten minimalen Reflexionsvermögen als geringste unterstützte Reflexionsvermögen für unterschiedliche Objektarten wird die Objektgröße berücksichtigt. Das Mittel 112 zur Erkennung von Markierungen zur Objekterkennung kann gemäß einer Ausführungsform eine bestimmte Schwelle von Pixeln, beispielsweise 30 Pixel, annehmen, damit eine Pixelhäufung in die Objekterkennung einbezogen werden kann. Folglich werden Markierungen/Objekte, die eine Anzahl von Pixeln zurückgeben, die unter der Schwelle liegt, beispielsweise 20 Pixel, nicht erkannt. Indem auf diese Weise die Objektgröße bei der Erstellung einer Maske berücksichtigt wird, kann die Qualität/Zuverlässigkeit stark verbessert werden.
Die erkannte Pixeldichte kann als ein Maß zur Festlegung der Schwelle für den Grenzabstand der Maske verwendet werden. Beispielsweise liefern für eine Markierung nur 25% der Pixel Signale mit ausreichender Stärke. In diesem Abstand beträgt die Pixeldichte beispielsweise 10 cm, d. h. der physische Abstand zwischen zwei benachbarten Pixeln beträgt 10 cm und das erkennbare Objekt muss eine Größe von 30 cm × 30 cm aufweisen. Dies bedeutet, dass bei einer 100prozentigen Erkennung 3×3 Pixel, d. h. 9 Pixel, erkannt werden können. Falls nur 25% erkannt werden können, sind dies 2 Pixel. Falls die Schwelle auf 5 Pixel eingestellt ist, ist das Objekt in diesem Abstand nicht erkennbar.
Das Mittel zur Kalibrierung der 3D-Erkennungseinheit 110 umfasst ein Mittel 132 zur Erstellung unterschiedlicher Masken auf der Basis der dadurch gewonnenen zuverlässigen Informationen für unterschiedliche 3D-Erkennungseinheit-Positionen, die die Höhe über den genannten Markierungen und die Richtung der 3D-Erkennungseinheit umfassen. Das System I umfasst folglich ein Mittel 132 zur Erstellung unterschiedlicher Masken auf der Basis der derart gewonnenen zuverlässigen Informationen für unterschiedliche 3D-Erkennungseinheit-Positionen, die die Höhe über den genannten Markierungen und die Richtung der 3D-Erkennungseinheit umfassen. Bei der Erstellung der Masken werden nur die zuverlässigen Pixel zugelassen. Sobald die 3D-Erkennungseinheit 110, d. h. das Mittel 120 zur Gewinnung von zuverlässigen Informationen aus der genannten Markierungserkennung, entschieden hat, welche Pixel als zuverlässig erachtet werden können, wird jede Maske gespeichert und der benötigten Integrationszeit und der Objektart zugeordnet.
Das Mittel zur Kalibrierung der 3D-Erkennungseinheit 110 umfasst ein Mittel 134 zur Erstellung unterschiedlicher Masken auf der Basis der derart gewonnenen zuverlässigen Informationen für unterschiedliche Markierungen, die zu unterschiedlichen Objektarten gehören. Das System I umfasst folglich ein Mittel 134 zur Erstellung unterschiedlicher Masken auf der Basis der derart gewonnenen zuverlässigen Informationen für unterschiedliche Markierungen, die zu unterschiedlichen Objektarten gehören.
Das Mittel 132 und das Mittel 134 sind in einem Mittel 130 zur Erstellung von Masken enthalten. Das System I umfasst somit ein Mittel zur Erstellung von Masken auf der Basis von zuverlässigen Informationen für Markierungen.
Das Mittel 130 zur Erstellung einer Maske umfasst ein Mittel 130a zum Ausschluss von Informationen aus Pixeln der 3D-Erkennungseinheit, die als unzuverlässig erachtetet werden. Das Mittel 130a zum Ausschluss von Informationen aus Pixeln der 3D-Erkennungseinheit, die als unzuverlässig erachtetet werden, kann ein beliebiges geeignetes Filtermittel umfassen.
Die Markierungen müssen nicht kontinuierlich sein, da die 3D-Erkennungseinheit, z. B. die Time-of-Flight-Kamera, eine Maske interpolieren/extrapolieren kann. Die Markierungen sollten die 3D-Erkennungseinheit in die Lage versetzen, die Informationen für das gesamte Sichtfeld aufzubauen, das nur durch seine Beleuchtung begrenzt wird.
Das Mittel 112 zur Erkennung von Markierungen umfasst das Mittel 112c zur Erkennung von Markierungen mit bekanntem maximalem Reflexionsvermögen als höchstes erwartetes Reflexionsvermögen unter Verwendung von unterschiedlichen Integrationszeiten/Belichtungszeiten. Das System I und somit die 3D-Erkennungseinheit 110 umfassen das genannte Mittel 112c zur Erkennung von Markierungen mit bekanntem maximalem Reflexionsvermögen als höchstes erwartetes Reflexionsvermögen unter Verwendung unterschiedlicher Integrationszeiten/Belichtungszeiten.
Das Mittel 112 zur Erkennung von Markierungen umfasst ein Mittel 112d zur Erkennung von Markierungen mit unterschiedlichen bekannten maximalen Reflexionsvermögen als höchste erwartete Reflexionsvermögen, die zu unterschiedlichen Objektarten gehören, unter Verwendung unterschiedlicher Integrationszeiten/Belichtungszeiten.
Das Mittel 112c, 112d zur Erkennung von Markierungen mit bekanntem maximalem Reflexionsvermögen kann mit unterschiedlichen Beleuchtungsstärken der 3D-Erkennungseinheit 110 arbeiten.
Das Mittel 112c, 112d zur Erkennung von Markierungen mit bekanntem maximalem Reflexionsvermögen kann mit unterschiedlichen Beleuchtungsmustern der 3D-Erkennungseinheit 110 arbeiten.
Das System I umfasst ein Mittel 140 zur Feststellung von Sättigungsmerkmalen, die einen Sättigungsgrad umfassen, aus der genannten Markierungserkennung, um eine zuverlässige Erkennung sicherzustellen.
Das Mittel 140 zur Feststellung von Sättigungsmerkmalen, die einen Sättigungsgrad umfassen, aus der genannten Markierungserkennung dient dazu, zuverlässige Erkennungen für die genannten unterschiedlichen Objektarten sicherzustellen.
Indem auf diese Weise Sättigungsmerkmale, einschließlich eines Sättigungsgrades, aus der genannten Markierungserkennung mit dem genannten Mittel 140 festgestellt werden, ist bei Verlängerung der Integrationszeit zur Erfassung eines Objekts mit relativ geringem Reflexionsvermögen, beispielsweise des Bodens, dem System I, einschließlich der 3D-Erkennungseinheit 110, bekannt, wann zu erwarten ist, dass ein anderes Objekt mit relativ höherem Reflexionsvermögen, beispielsweise ein Fußgänger, aufgrund der Sättigung nicht erkennbar ist. Das System I, einschließlich der 3D-Erkennungseinheit 110, kann gemäß einer Ausführungsform so gesteuert werden, dass die 3D-Erkennungseinheit 110 zu einem bestimmten Zeitpunkt in den Mehrfachbelichtungsmodus, d. h. in den so genannten HDR (= High Dynamic Range) schaltet, um sicherzustellen, dass die kritischste Objektart, zum Beispiel Fußgänger, jederzeit erkennbar ist.
Das System I umfasst ein Mittel 100, 150 zur Speicherung der auf diese Weise gewonnenen Masken. Das Mittel 100, 150 zur Speicherung der so gewonnenen Masken umfasst ein Mittel 150 zur externen Speicherung der so gewonnenen Masken, einschließlich eines externen Speichermittels. Das genannte Mittel 150 zur externen Speicherung von Masken kann eine beliebige geeignete Server-Einheit, einen beliebigen geeigneten Computer oder dergleichen umfassen.
Das System I umfasst ein Mittel 100, 160 zur Speicherung der so bestimmten Sättigungsmerkmale. Das Mittel 100, 160 zur Speicherung der so bestimmten Sättigungsmerkmale umfasst ein externes Mittel 160 zur Speicherung der so bestimmten Sättigungsmerkmale. Das genannte externe Mittel 160 kann eine beliebige geeignete Server-Einheit, einen beliebigen geeigneten Computer oder dergleichen umfassen.
Die elektronische Steuereinheit 100 ist über eine Verbindung 12a mit dem Mittel 112a wirkverbunden, das zur Erkennung von Markierungen mit bekanntem minimalem Reflexionsvermögen als geringstes unterstütztes Reflexionsvermögen unter Verwendung von unterschiedlichen Integrationszeiten/Belichtungszeiten, einschließlich der Höhe über den genannten Markierungen und der Richtung der 3D-Erkennungseinheit, dient. Die elektronische Steuereinheit 100 kann über die Verbindung 12a ein Signal vom genannten Mittel 112a erhalten, das 3D-Bilddaten für die genannten Markierungen für unterschiedliche Integrationszeiten/Belichtungszeiten für unterschiedliche Positionen der 3D-Erkennungseinheit 110 enthält.
Die elektronische Steuereinheit 100 ist über eine Verbindung 12b mit dem Mittel 112b wirkverbunden, das zur Erkennung von Markierungen mit unterschiedlichen bekannten minimalen Reflexionsvermögen als geringste unterstützte Reflexionsvermögen in Bezug auf unterschiedliche Objektarten, unter Verwendung von unterschiedlichen Objektarten/Belichtungszeiten dient. Die elektronische Steuereinheit 100 kann über die Verbindung 12b vom genannten Mittel 112b ein Signal erhalten, das 3D-Bilddaten für die genannten Markierungen für unterschiedliche Integrationszeiten/Belichtungszeiten für die unterschiedlichen Objektarten enthält.
Die elektronische Steuereinheit 100 ist über eine Verbindung 120a mit dem Mittel 120 wirkverbunden, das dazu dient, zuverlässige Informationen aus der genannten Markierungserkennung zu gewinnen. Die elektronische Steuereinheit 100 kann über die Verbindung 120a ein Signal zum genannten Mittel 120 übermitteln, das 3D-Bilddaten für die genannten Markierungen für unterschiedliche Integrationszeiten/Belichtungszeiten für die verschiedenen Positionen der 3D-Erkennungseinheit 110 und/oder 3D-Bilddaten für die genannten Markierungen für unterschiedliche Integrationszeiten/Belichtungszeiten für die verschiedenen Objektdaten enthält.
Die elektronische Steuereinheit 100 ist über eine Verbindung 120b mit dem Mittel 120 zur Gewinnung von zuverlässigen Informationen aus der genannten Markierungserkennung wirkverbunden. Die elektronische Steuereinheit 100 kann über die Verbindung 120b ein Signal vom genannten Mittel 120 erhalten, das Daten bezüglich zuverlässiger Informationen aus der genannten Markierungserkennung enthält, einschließlich Daten bezüglich zuverlässiger Informationen aus der Markierungserkennung für unterschiedliche Integrationszeiten/Belichtungszeiten für die verschiedenen Positionen der 3D-Erkennungseinheit 110 und/oder Daten bezüglich zuverlässiger Informationen aus der Markierungserkennung für unterschiedliche Integrationszeiten/Belichtungszeiten für die verschiedenen Objektarten.
Die elektronische Steuereinheit 100 ist über eine Verbindung 132a mit dem Mittel 132 wirkverbunden, das dazu dient, verschiedene Masken auf der Basis der so gewonnenen zuverlässigen Informationen für unterschiedliche 3D-Erkennungseinheit-Positionen zu erstellen, die die Höhe über den genannten Markierungen und die Richtung der 3D-Erkennungseinheit umfassen. Die elektronische Steuereinheit 100 kann über die Verbindung 132a ein Signal zum genannten Mittel 132 übermitteln, das Maskenerstellungsdaten für gewonnene zuverlässige Informationen für unterschiedliche 3D-Erkennungseinheit-Positionen enthält.
Die elektronische Steuereinheit 100 ist über eine Verbindung 132b mit dem Mittel 132 wirkverbunden, das dazu dient, unterschiedliche Masken auf der Basis der so gewonnenen zuverlässigen Informationen für unterschiedliche 3D-Erkennungseinheit-Positionen zu erstellen. Die elektronische Steuereinheit 100 kann über die Verbindung 132b ein Signal vom genannten Mittel 132 erhalten, das Maskendaten für unterschiedliche Masken auf der Basis der so gewonnenen zuverlässigen Informationen für unterschiedliche 3D-Erkennungseinheit-Positionen enthält.
Die elektronische Steuereinheit 100 ist über eine Verbindung 134a mit dem Mittel 134 wirkverbunden, das dazu dient, unterschiedliche Masken auf der Basis der so gewonnenen zuverlässigen Informationen für unterschiedliche Markierungen zu erstellen, die sich auf unterschiedliche Objektarten beziehen. Die elektronische Steuereinheit 100 kann über die Verbindung 134a ein Signal zum genannten Mittel 134 übermitteln, das Maskenerstellungsdaten für gewonnene zuverlässige Informationen für unterschiedliche Objektarten enthält.
Die elektronische Steuereinheit 100 ist über eine Verbindung 134b mit dem Mittel 134 wirkverbunden, das dazu dient, unterschiedliche Masken auf der Basis der so gewonnenen zuverlässigen Informationen für unterschiedliche Markierungen zu erstellen, die sich auf unterschiedliche Objektarten beziehen. Die elektronische Steuereinheit 100 kann über die Verbindung 134b vom genannten Mittel 134 ein Signal erhalten, das Maskendaten für unterschiedliche Masken auf der Basis der so gewonnenen zuverlässigen Informationen für unterschiedliche Objektarten enthält.
Die elektronische Steuereinheit 100 ist über eine Verbindung 30a mit dem Mittel 130a wirkverbunden, das dazu dient, Informationen aus den Pixeln der 3D-Erkennung der 3D-Erkennungseinheit auszuschließen, die als unzuverlässig erachtet werden. Die elektronische Steuereinheit 100 kann über die Verbindung 30a ein Signal zum genannten Mittel 130a übermitteln, das Filterungsdaten enthält, um Informationen aus Pixeln der 3D-Erkennung der 3D-Erkennungseinheit auszuschließen, die als unzuverlässig erachtet werden.
Die vom genannten Mittel 132 übermittelten Maskendaten sind gefilterte Maskendaten, wenn das Mittel 130a Informationen aus den Pixeln der 3D-Erkennung der 3D-Erkennungseinheit ausgeschlossen hat, die als unzuverlässig erachtet werden.
Die vom genannten Mittel 134 übermittelten Maskendaten sind gefilterte Maskendaten, wenn das Mittel 130a Informationen aus den Pixeln der 3D-Erkennung der 3D-Erkennungseinheit ausgeschlossen hat, die als unzuverlässig erachtet werden.
Die elektronische Steuereinheit 100 ist über eine Verbindung 12c mit dem Mittel 112c wirkverbunden, das dazu dient, Markierungen mit bekanntem maximalem Reflexionsvermögen als höchstes erwartetes Reflexionsvermögen unter Verwendung unterschiedlicher Integrationszeiten/Belichtungszeiten zu erkennen. Die elektronische Steuereinheit 100 kann über die Verbindung 12c ein Signal vom genannten Mittel 112c erhalten, das 3D-Bilddaten für die genannten Markierungen für unterschiedliche Integrationszeiten/Belichtungszeiten enthält.
Die elektronische Steuereinheit 100 ist über eine Verbindung 12d mit dem Mittel 112d wirkverbunden, das dazu dient, Markierungen mit unterschiedlichen bekannten maximalen Reflexionsvermögen als höchste erwartete Reflexionsvermögen für verschiedene Objektarten unter Verwendung unterschiedlicher Integrationszeiten/Belichtungszeiten zu erkennen. Die elektronische Steuereinheit 100 kann über die Verbindung 12d ein Signal vom genannten Mittel 112d erhalten, das 3D-Bilddaten für die genannten Markierungen für unterschiedliche Integrationszeiten/Belichtungszeiten für unterschiedliche Objektarten enthält.
Die elektronische Steuereinheit 100 ist über eine Verbindung 140a mit dem Mittel 140 wirkverbunden, das dazu dient, Sättigungsmerkmale, einschließlich eines Sättigungsgrades, aus der genannten Markierungserkennung zu bestimmen, um eine zuverlässige Erkennung sicherzustellen. Die elektronische Steuereinheit 100 kann über die Verbindung 140a ein Signal zum genannten Mittel 140 übermitteln, das 3D-Bilddaten für die genannten Markierungen enthält, einschließlich 3D-Bilddaten für die genannten Markierungen für unterschiedliche Integrationszeiten/Belichtungszeiten für die unterschiedlichen Objektarten.
Die elektronische Steuereinheit 100 ist über eine Verbindung 140b mit dem Mittel 140 wirkverbunden, das dazu dient, Sättigungsmerkmale, einschließlich eines Sättigungsgrades, aus der genannten Markierungserkennung zu bestimmen, um eine zuverlässige Erkennung sicherzustellen. Die elektronische Steuereinheit 100 kann über die Verbindung 140b ein Signal vom genannten Mittel 140 erhalten, das Daten bezüglich der Sättigung aus der genannten Markierungserkennung, einschließlich des Sättigungsgrades, für unterschiedliche Objekte enthält, um eine zuverlässige Erkennung sicherzustellen.
Das Mittel 130 zur Erstellung von Masken auf der Basis von zuverlässigen Informationen für Markierungen ist über eine Verbindung 150a mit dem Mittel 150 wirkverbunden, das dazu dient, die so gewonnenen Masken zu speichern. Das Mittel 130 kann über die Verbindung 150a ein Signal zum genannten Mittel 150 übermitteln, das Maskendaten für Masken für unterschiedliche 3D-Erkennungseinheit-Positionen und/oder Maskendaten für Masken für unterschiedliche Objekte enthält, wobei das Mittel 150 dazu dient, die genannten Masken zu speichern.
Die elektronische Steuereinheit 100 kann gemäß einer Ausführungsform Masken speichern, für unterschiedliche 3D-Erkennungseinheit-Positionen, die als Maskendaten vom Mittel 132 über die Verbindung 132b empfangen wurden, und/oder Masken für unterschiedliche Objektmaskendaten vom Mittel 134 über die Verbindung 134a.
Das Mittel 130 zur Erstellung von Masken auf der Basis von zuverlässigen Informationen für Markierungen ist über eine Verbindung 150b mit dem Mittel 150 speichern, das dazu dient, die so gewonnenen Masken extern zu speichern. Das Mittel 130 kann über die Verbindung 150b vom genannten Mittel 150 ein Signal erhalten, das Maskendaten für Masken für unterschiedliche 3D-Erkennungseinheit-Positionen und/oder Maskendaten für Masken für unterschiedliche Objekte, die extern für eine andere 3D-Erkennungseinheit und/oder eine andere Fahrzeugkonfiguration gespeichert wurden, enthält, wobei das Mittel 130 die genannten Masken mit Masken, die vom Mittel 130 erstellt wurden, validieren kann.
Das Speichermittel 150, beispielsweise eine Server-Einheit zur externen Speicherung von Masken, kann eine Vielzahl von Masken für viele Positionen und viele Objekte speichern, und zwar gemäß einer Ausführungsform auch für unterschiedliche Beleuchtungsstärken und unterschiedliche Beleuchtungsmuster, wobei die elektronische Steuereinheit 100 gemäß einer Ausführungsform das Aussortieren der Masken unterstützen kann, so dass Maskendaten für eine verringerte Anzahl von Masken zur elektronischen Steuereinheit 100 übermittelt werden.
Gemäß einer Ausführungsform kann die elektronische Steuereinheit 100 zugängliche Masken auf der Basis der Position anfordern, eine erste Schätzung vornehmen und dann die am besten geeignete Maske aus den empfangenen Maskendaten auswählen.
Gemäß einer Ausführungsform nimmt die elektronische Steuereinheit 100 eine Schätzung vor, übermittelt die Schätzung zusammen mit der Position und möglichen anderen relevanten Informationen, wie beispielsweise Objektart und Art der 3D-Erkennungseinheit, zum Speichermittel 150, beispielsweise zu einer externen Server-Einheit, das die Masken beurteilt und Daten bezüglich der am besten geeigneten Masken zur elektronischen Steuereinheit übermittelt, die eine weitere Schätzung vornimmt, die mit den empfangenen Daten korreliert wird. Falls das Ergebnis nicht stimmt, wird eine weitere Schätzung vorgenommen.
Das Mittel 140 zur Feststellung von Sättigungsmerkmalen, einschließlich des Sättigungsgrades, aus der genannten Markierungserkennung zur Gewinnung von zuverlässigen Erkennungsdaten ist über eine Verbindung 160a mit dem Mittel 160 zur Speicherung der so gewonnenen Sättigungsmerkmale wirkverbunden. Das Mittel 140 kann über die Verbindung 160a ein Signal zum genannten Mittel 160 übermitteln, das Daten bezüglich der Sättigung aus der genannten Markierungserkennung enthält, um eine zuverlässige Erkennung zu bestimmen, wobei das Mittel 160 den genannten Sättigungsgrad für die genannten Markierungen einschließlich der Sättigungsgrade für unterschiedliche Objekte speichern kann. Dies kann besonders relevant sein, wenn sich die Beleuchtungsstärke und/oder die Beleuchtungsmuster ändern können.
Die elektronische Steuereinheit 100 kann gemäß einer Ausführungsform die Sättigungsgrade für die genannten Markierungen für unterschiedliche Objekte speichern.
Das Mittel 140 zur Feststellung von Sättigungsmerkmalen, einschließlich des Sättigungsgrades, aus der genannten Markierungserkennung zum Ermitteln einer zuverlässigen Erkennung ist über eine Verbindung 160b mit dem Mittel 160 zur Speicherung der so gewonnenen Sättigungsmerkmale wirkverbunden. Das Mittel 140 kann über die Verbindung 160b ein Signal vom genannten Mittel 160 erhalten, das Daten bezüglich der Sättigung aus der genannten Markierungserkennung enthält, die für eine andere 3D-Erkennungseinheit und/oder für eine andere Fahrzeugkonfiguration extern gespeichert wurden, wobei das Mittel 130 die genannten Masken mit Masken, die mit dem Mittel 130 erstellt wurden, validieren kann.
3 ist eine schematische Darstellung eines Blockdiagramms eines Verfahrens zur Verbesserung der Zuverlässigkeit von Bildinformationen einer 3D-Erkennungseinheit zur Verwendung bei einem Fahrzeug. Die 3D-Erkennungseinheit ist dabei eingerichtet zur Beleuchtung des Objekts und zur Erkennung von 3D-Informationen aus dem vom Objekt reflektierten Licht zur Erstellung eines 3D-Bildes.
Gemäß einer Ausführungsform umfasst das Verfahren zur Verbesserung der Zuverlässigkeit von Bildinformationen einer 3D-Erkennungseinheit zur Verwendung bei einem Fahrzeug einen Schritt S1 In diesem Schritt werden Markierungen mit einem bekannten minimalen Reflexionsvermögen als geringstes unterstütztes Reflexionsvermögen unter Verwendung von unterschiedlichen Integrationszeiten/Belichtungszeiten für unterschiedliche 3D-Erkennungseinheit-Positionen erkannt, die die Höhe über den genannten Markierungen und die Richtung der 3D-Erkennungseinheit umfassen.
Gemäß einer Ausführungsform umfasst das Verfahren zur Verbesserung der Zuverlässigkeit von Bildinformationen einer 3D-Erkennungseinheit zur Verwendung bei einem Fahrzeug einen Schritt S2. In diesem Schritt werden zuverlässige Informationen aus der genannten Markierungserkennung gewonnen.
Gemäß einer Ausführungsform umfasst das Verfahren zur Verbesserung der Zuverlässigkeit von Bildinformationen einer 3D-Erkennungseinheit zur Verwendung bei einem Fahrzeug einen Schritt S3. In diesem Schritt werden unterschiedliche Masken auf der Basis der so gewonnenen zuverlässigen Informationen für die genannten unterschiedlichen 3D-Erkennungseinheit-Positionen erstellt.
4a ist eine schematische Darstellung einer Seitenansicht eines 1a mit einer bestimmten Konfiguration für eine bestimmte Position einer 3D-Erkennungseinheit 110 gemäß der vorliegenden Erfindung. 4b zeigt eine Seitenansicht eines Fahrzeugs 1b mit einer bestimmten Konfiguration für eine bestimmte Position einer 3D-Erkennungseinheit 110. Da das Fahrzeug 1b höher ist als das Fahrzeug 1a, ergibt sich eine höhere Position der 3D-Erkennungseinheit 110.
Die 3D-Erkennungseinheit-Position am Fahrzeug 1a befindet sich in der Höhe H1 über dem Boden O1. Der Boden oder die Straße sind ein Objekt O1. Die 3D-Erkennungseinheit-Position am Fahrzeug 1a ist in der Richtung D1 zum Boden gerichtet, was einem bestimmten Winkel in der X-, Y-, Z-Ebene entspricht.
Die 3D-Erkennungseinheit-Position am Fahrzeug 1b befindet sich in der Höhe H2 über dem Boden O1. Der Boden oder die Straße sind ein Objekt O1. Die 3D-Erkennungseinheit-Position am Fahrzeug 1b ist in der Richtung D2 zum Boden gerichtet, was einem bestimmten Winkel in der X-, Y-, Z-Ebene entspricht.
Der Erkennungsbereich R1 der 3D-Erkennungseinheit 110, wenn diese am Fahrzeug 1a installiert ist, kann sich vom Erkennungsbereich R2 der 3D-Erkennungseinheit 110, wenn diese am Fahrzeug 1b installiert ist, unterscheiden.
Die 3D-Erkennungseinheit 110 ist eingerichtet zur Erkennung von Markierungen S10 mit bekanntem minimalem Reflexionsvermögen als geringstes unterstütztes Reflexionsvermögen unter Verwendung unterschiedlicher Integrationszeiten/Belichtungszeiten. Das bekannte Reflexionsvermögen der genannten Markierungen S10 bezieht sich auf ein bestimmtes Objekt O1, zum Beispiel den Boden/die Straße O1. Die genannte Erkennung wird für unterschiedliche 3D-Erkennungseinheit-Positionen durchgeführt, die hier als Position am Fahrzeug 1a und als Position am Fahrzeug 1b dargestellt sind.
Dann werden zuverlässige Informationen aus der genannten Markierungserkennung gewonnen und unterschiedliche Masken auf der Basis der so gewonnenen zuverlässigen Informationen für die genannten unterschiedlichen 3D-Erkennungseinheit-Positionen erstellt.
4c ist eine schematische Darstellung einer Draufsicht eines Fahrzeugs 1c mit einer 3D-Erkennungseinheit gemäß der vorliegenden Erfindung. Es sind unterschiedliche Erkennungsbereiche R3, R4 dargestellt. Es sind unterschiedliche Markierungen S10, S20, S30 vorhanden, die sich auf unterschiedliche Objekte beziehen, zum Beispiel Boden/Straße für Markierung S10, Fußgänger für Markierung S20 und stark reflektierende Objekte, wie beispielsweise Straßenschilder, für Markierung S30.
Die Markierungen müssen nicht kontinuierlich sein, da die 3D-Erkennungseinheit, beispielsweise eine Time-of-Flight-Kamera, eine Maske interpolieren/extrapolieren kann. Die Markierungen/Muster sollten die 3D-Erkennungseinheit in die Lage versetzen, die Informationen für das gesamte Sichtfeld zu erstellen, das nur durch seine Beleuchtung begrenzt wird.
Die 3D-Erkennungseinheit 110 kann die Markierungen S10, S20, S30 mit unterschiedlichen bekannten minimalen Reflexionsvermögen als geringste unterstützte Reflexionsvermögen, das sich auf unterschiedliche Objektarten bezieht, unter Verwendung unterschiedlicher Integrationszeiten/Belichtungszeiten erkennen.
Dann werden aus der genannten Markierungserkennung zuverlässige Informationen gewonnen und unterschiedliche Masken M1, M2, M3 auf der Basis der so gewonnenen zuverlässigen Informationen für die genannten unterschiedlichen Objektarten erstellt.
Hier sind die Markierungen S10, S20, S30, die unterschiedlichen Objektarten entsprechen, zur Veranschaulichung gleichzeitig in einem Feld dargestellt. Markierungen, die einer Objektart entsprechen, können erkannt werden und dann durch eine Markierung, die einem anderen Objekt entspricht, ersetzt werden usw.
5 zeigt ein Diagramm einer Einrichtung 500. Die unter Verweis auf beschriebene Steuereinheit 100 kann gemäß einer Ausführungsform die Einrichtung 500 aufweisen. Die Einrichtung 500 umfasst einen nicht flüchtigen Speicher 520, ein Datenverarbeitungsgerät 510 und einen Lese-/Schreib-Speicher 550. Der nicht flüchtige Speicher 520 umfasst ein erstes Speicherelement 530, in dem ein Computerprogramm, wie beispielsweise ein Betriebssystem, gespeichert ist, um die Funktion der Einrichtung 500 zu steuern. Die Einrichtung 500 umfasst außerdem eine Bussteuerung, einen seriellen Kommunikationsport, I/O-Mittel, einen A/D-Wandler, eine Zeit- und Datum-Erfassungs- und -Übermittlungseinheit, einen Ereigniszähler und eine Unterbrechungssteuerung (nicht dargestellt). Der nicht flüchtige Speicher 520 umfasst auch ein zweites Speicherelement 540.
Es wird ein Computerprogramm P bereitgestellt, das Routinen zur Verbesserung der Zuverlässigkeit von Bildinformationen einer 3D-Erkennungseinheit zur Verwendung bei einem Fahrzeug umfasst. Das Programm P umfasst Routinen zur Erkennung von Markierungen mit bekanntem minimalem Reflexionsvermögen als geringstes unterstütztes Reflexionsvermögen unter Verwendung von unterschiedlichen Integrationszeiten/Belichtungszeiten für unterschiedliche 3D-Erkennungseinheit-Positionen, die die Höhe über den genannten Markierungen und die Richtung der 3D-Erkennungseinheit umfassen. Das Programm P umfasst Routinen zur Gewinnung von zuverlässigen Informationen aus der genannten Markierungserkennung. Das Programm P umfasst gemäß einer Ausführungsform Routinen zur Erstellung unterschiedlicher Masken auf der Basis der so gewonnenen zuverlässigen Informationen für unterschiedliche 3D-Erkennungseinheit-Positionen. Das Programm P kann in ausführbarer oder in komprimierter Form in einem separaten Speicher 560 und/oder im Lese-/Schreib-Speicher 550 gespeichert werden.
Wenn angegeben ist, dass das Datenverarbeitungsgerät 510 eine bestimmte Funktion ausführt, ist das so zu verstehen, dass das Datenverarbeitungsgerät 510 einen bestimmten Teil des Programms ausführt, das in einem separaten Speicher 560 gespeichert ist, oder einen bestimmten Teil des Programms ausführt, das in einem Lese-/Schreib-Speicher 550 gespeichert ist.
Das Datenverarbeitungsgerät 510 kann über einen Datenbus 515 mit einem Datenkommunikationsport 599 kommunizieren. Der nicht flüchtige Speicher 520 ist eingerichtet zur Kommunikation mit dem Datenverarbeitungsgerät 510 über einen Datenbus 512. Der separate Speicher 560 ist eingerichtet zur Kommunikation mit dem Datenverarbeitungsgerät 510 über einen Datenbus 511. Der Lese-/Schreib-Speicher 550 ist eingerichtet zur Kommunikation mit dem Datenverarbeitungsgerät 510 über einen Datenbus 514. An den Datenkommunikationsport 599 können beispielsweise die mit der Steuereinheit 100 verbundenen Verbindungen angeschlossen sein.
Wenn Daten am Datenport 599 empfangen werden, werden diese temporär im zweiten Speicherteil 540 gespeichert. Wenn die empfangenen Eingangsdaten temporär gespeichert wurden, wird das Datenverarbeitungsgerät 510 eingestellt, um den Code wie oben beschrieben auszuführen. Die am Datenport 599 empfangenen Signale können von der Einrichtung 500 zur Erkennung von Markierungen mit bekanntem minimalem Reflexionsvermögen als geringstes unterstütztes Reflexionsvermögen unter Verwendung von unterschiedlichen Integrationszeiten/Belichtungszeiten für unterschiedliche 3D-Erkennungseinheit-Positionen, die die Höhe über den genannten Markierungen und die Richtung der 3D-Erkennungseinheit umfassen, verwendet werden. Die am Datenport 599 empfangenen Signale können von der Einrichtung 500 zur Gewinnung von zuverlässigen Informationen aus der genannten Markierungserkennung verwendet werden. Die am Datenport 599 empfangenen Signale können von der Einrichtung 500 zur Erstellung von unterschiedlichen Masken auf der Basis der so gewonnenen zuverlässigen Informationen für unterschiedliche 3D-Erkennungseinheit-Positionen verwendet werden.
Teile der im vorliegenden Dokument beschriebenen Verfahren können von der Vorrichtung 500 mithilfe des Datenverarbeitungsgeräts 510 durchgeführt werden, welches das im separaten Speicher 560 oder im Lese-/Schreibspeicher 550 gespeicherte Programm ausführt. Wenn die Einrichtung 500 das Programm ausführt, werden Teile der im vorliegenden Dokument beschriebenen Verfahren durchgeführt.
Die obige Beschreibung der bevorzugten Ausführungsformen der vorliegenden Erfindung dient zur Veranschaulichung und Erläuterung. Sie soll keine erschöpfende Beschreibung sein und soll die Erfindung nicht auf die beschriebenen Varianten begrenzen. Für Fachleute auf dem Gebiet der Erfindung sind erwartungsgemäß viele Änderungen und Variationen ersichtlich. Die Ausführungsformen wurden gewählt und beschrieben, um die Prinzipien der Erfindung und ihre praktischen Anwendungen in bestmöglicher Weise zu erklären und es damit Fachleuten zu ermöglichen, die Erfindung für verschiedene Ausführungsformen und mit den verschiedenen Änderungen, die für den vorgesehenen Anwendungszweck geeignet sind, zu verstehen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2011/54971 [0004]

Claims

Verfahren zum Verbessern der Zuverlässigkeit von Bildinformationen einer 3D-Erkennungseinheit (110) zum Verwenden bei einem Fahrzeug (1, 1a, 1b, 1c), wobei die 3D-Erkennungseinheit (110) dazu eingerichtet ist, ein Objekt zu beleuchten und aus dem vom Objekt reflektierten Licht mit 3D-Informationen ein 3D-Bild zu ermitteln, wobei das Verfahren den Schritt umfasst: Kalibrieren der 3D-Erkennungseinheit (110) für eine bestimmte Position der 3D-Erkennungseinheit (110) an dem Fahrzeug, dadurch gekennzeichnet, dass der Schritt des Kalibrierens der 3D-Erkennungseinheit (110) die Schritte umfasst: Erkennen (S1) von Markierungen (S10, S20, S30) mit bekanntem minimalem Reflexionsvermögen als geringstes unterstütztes Reflexionsvermögen, das der minimalen Anzahl von Pixeln entspricht, die von den zu erkennenden Markierungen reflektiert werden, unter Verwendung unterschiedlicher Integrationszeiten/Belichtungszeiten für unterschiedliche 3D-Erkennungseinheit-Positionen, die die Höhe über den genannten Markierungen und die Richtung der 3D-Erkennungseinheit (110) umfassen; Ermitteln (S2) von zuverlässigen Informationen aus der genannten Markierungserkennung; Erstellen (S3) unterschiedlicher Masken auf der Basis der derart ermittelten zuverlässigen Informationen für die unterschiedlichen 3D-Erkennungseinheit-Positionen.
System (I) zum Verbessern der Zuverlässigkeit von Bildinformationen einer 3D-Erkennungseinheit (110) zum Verwenden bei einem Fahrzeug (1, 1a, 1b, 1c), wobei die 3D-Erkennungseinheit (110) dazu eingerichtet ist, ein Objekt zu beleuchten und aus dem von dem Objekt reflektierten Licht mit 3D-Informationen ein 3D-Bild zu ermitteln, mit einem Mittel zum Kalibrieren der 3D-Erkennungseinheit (110) für eine bestimmte Position der 3D-Erkennungseinheit (110) an dem Fahrzeug; dadurch gekennzeichnet, dass das Mittel zum Kalibrieren der 3D-Erkennungseinheit (110) umfasst: ein Mittel (112) zum Erkennen von Markierungen (S10, S20, S30), das ein Mittel (112a) zum Erkennen von Markierungen mit bekanntem minimalem Reflexionsvermögen als geringstes unterstütztes Reflexionsvermögen umfasst, das der minimalen Anzahl von Pixeln entspricht, die von den zu erkennenden Markierungen reflektiert werden, unter Verwendung von unterschiedlichen Integrationszeiten/Belichtungszeiten für unterschiedliche 3D-Erkennungseinheit-Positionen, die die Höhe über den genannten Markierungen und die Richtung der 3D-Erkennungseinheit umfassen; ein Mittel (120) zum Ermitteln von zuverlässigen Informationen aus der Markierungserkennung; und ein Mittel (132) zum Erstellen von unterschiedlichen Masken auf der Basis der derart gewonnenen zuverlässigen Informationen für unterschiedliche 3D-Erkennungseinheit-Positionen.
System nach Patentanspruch 2, bei dem das Mittel (112) zum Erkennen von Markierungen umfasst: ein Mittel (112b) zum Erkennen von Markierungen (S10, S20, S30) mit unterschiedlichen bekannten minimalen Reflexionsvermögen als geringste unterstützte Reflexionsvermögen für unterschiedliche Objektarten, unter Verwendung von unterschiedlichen Integrationszeiten/Belichtungszeiten; wobei ein Mittel (120) zum Ermitteln von zuverlässigen Informationen aus der Markierungserkennung vorgesehen ist; und wobei ein Mittel (134) zum Erstellen von unterschiedlichen Masken auf der Basis der derart gewonnenen zuverlässigen Informationen für unterschiedliche Markierungen für unterschiedliche Objektartenvorgesehen ist.
System nach Patentanspruch 2 oder 3, bei dem das Mittel (112a, 112b) zum Erkennen von Markierungen mit bekanntem minimalem Reflexionsvermögen dazu eingerichtet ist, mit unterschiedlichen Beleuchtungsstärken der 3D-Erkennungseinheit (110) betrieben zu werden.
System nach einem der Patentansprüche 2–4, bei dem das Mittel (112a, 112b) zum Erkennen von Markierungen mit bekanntem minimalem Reflexionsvermögendazu eingerichtet ist, mit unterschiedlichen Beleuchtungsmustern der 3D-Erkennungseinheit (110) betrieben zu werden.
System nach einem der Patentansprüche 2–5, bei dem das Mittel (132, 134) zum Erstellen einer Maske ein Mittel (130a) zum Ausschließen von Informationen aus Pixeln der 3D-Erkennung der 3D-Erkennungseinheit umfasst, die als unzuverlässig erachtet werden.
System nach einem der Patentansprüche 2–6, bei dem das Mittel (112) zum Erkennung von Markierungen umfasst: ein Mittel (112c) zum Erkennen von Markierungen mit bekanntem maximalem Reflexionsvermögen als höchstes erwartetes Reflexionsvermögen, das der maximalen Anzahl von Pixeln entspricht, die von den Markierungen reflektiert werden, unter Verwendung von unterschiedlichen Integrationszeiten/Belichtungszeiten; und ein Mittel (140) zum Bestimmung von Sättigungsmerkmalen, die einen Sättigungsgrad umfassen, aus der genannten Markierungserkennung zum Ermitteln einer zuverlässigen Erkennung.
System nach einem der Patentansprüche 2–7, bei dem das Mittel (112) zum Erkennen von Markierungen ein Mittel (112d) zum Erkennen von Markierungen mit unterschiedlichem bekanntem maximalem Reflexionsvermögen als höchstes erwartetes Reflexionsvermögen für unterschiedliche Objektarten umfasst, unter Verwendung unterschiedlicher Integrationszeiten/Belichtungszeiten; wobei ein Mittel (140) zum Bestimmen von Sättigungsmerkmalen, die einen Sättigungsgrad umfassen, aus der Markierungserkennung vorgesehen ist, um zuverlässige Erkennungen für die unterschiedlichen Objektarten zu ermitteln.
System nach einem der Patentansprüche 2–8, bei dem das Mittel (112c, 112d) zum Erkennen von Markierungen mit bekanntem maximalem Reflexionsvermögen dazu eingerichtet ist, mit unterschiedlichen Beleuchtungsstärken der 3D-Erkennungseinheit (110) ausgeführt zu werden.
System nach einem der Patentansprüche 2–9, bei dem das Mittel (112c; 112d) zum Erkennen von Markierungen mit bekanntem maximalem Reflexionsvermögen dazu eingerichtet ist, mit unterschiedlichen Beleuchtungsmustern der 3D-Erkennungseinheit (110) ausgeführt zu werden.
System nach einem der Patentansprüche 2–10 mit einem Mittel (150) zum Speichern der so erstellten Masken.
System nach einem der Patentansprüche 7–10 mit einem Mittel (160) zum Speichern der so bestimmten Sättigungsmerkmale.
Fahrzeug (1) mit einem System (I) nach einem der Patentansprüche 2–12.
Computerprogramm (P) zum Verbessern der Zuverlässigkeit von Bildinformationen einer 3D-Erkennungseinheit (110) zum Verwenden bei einem Fahrzeug, wobei das Computerprogramm (P) Programmcode umfasst, der, wenn er auf einer elektronischen Steuereinheit (100) oder auf einem anderen Computer (500), die/der an die elektronische Steuereinheit (100) angeschlossen ist, ausgeführt wird, die elektronische Steuereinheit dazu veranlasst, die Schritte nach Patentanspruch 1 durchzuführen.
Computerprogrammprodukt mit einem digitalen Speichermedium, das das Computerprogramm nach Patentanspruch 14 speichert.