DE102015204528A1 - Vorrichtung und Verfahren zur Objekterkennung in einem Fortbewegungsmittel - Google Patents

Vorrichtung und Verfahren zur Objekterkennung in einem Fortbewegungsmittel Download PDF

Info

Publication number
DE102015204528A1
DE102015204528A1 DE102015204528.5A DE102015204528A DE102015204528A1 DE 102015204528 A1 DE102015204528 A1 DE 102015204528A1 DE 102015204528 A DE102015204528 A DE 102015204528A DE 102015204528 A1 DE102015204528 A1 DE 102015204528A1
Authority
DE
Germany
Prior art keywords
data
sensor
environment
specific features
locomotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102015204528.5A
Other languages
English (en)
Inventor
Nina Brouwer
Felix Klanner
Horst Klöden
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102015204528.5A priority Critical patent/DE102015204528A1/de
Publication of DE102015204528A1 publication Critical patent/DE102015204528A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Es werden ein Fortbewegungsmittel, eine Vorrichtung sowie in Verfahren zur Objekterkennung in einem Fortbewegungsmittel vorgeschlagen. Das Verfahren umfasst die Schritte: – Erfassen einer Umgebung (5) des Fortbewegungsmittels durch einen Sensor des Fortbewegungsmittels, – Auslesen einer Referenz, welche objektspezifische Merkmale vordefinierter Umgebungsobjekte beschreibt, – Vergleichen in der Referenz beschriebener, objektspezifischer Merkmale mit einer ersten Menge von Daten des Sensors, – Erkennen eines Umgebungsobjektes (P) als Ergebnis des Vergleiches und im Ansprechen darauf – Untersuchen von Merkmalen des Umgebungsobjektes (P) anhand einer zweiten Menge von Daten des Sensors, wobei die zweite Menge von Daten gegenüber der ersten Menge von Daten – einen verkleinerten Umgebungsbereich (7, 8) repräsentiert, und/oder – eine vergrößerte Auflösung aufweist.

Description

  • Die vorliegende Erfindung betrifft ein Fortbewegungsmittel, eine Vorrichtung sowie ein Verfahren zur Objekterkennung in einem Fortbewegungsmittel. Insbesondere betrifft die vorliegende Erfindung eine Möglichkeit zur Reduktion eines Analyseaufwands bezüglich zur Verfügung stehender Sensordaten.
  • Für die Umfelderfassung von Fahrzeugen werden unterschiedliche Sensoren verwendet, wobei insbesondere optische Sensoren zur Umfelderfassung aufgrund rasch zunehmender Leistungsfähigkeit und stark sinkender Hardwarekosten besonders auf dem Vormarsch sind. Bei der optischen Umfelderfassung von Umgebungsobjekten ist es nötig, die Objekte in der Fahrzeugumgebung sensorisch zu erfassen, zu detektieren und mitunter zu verfolgen. Eine Möglichkeit, dies umzusetzen, besteht in der Verwendung eines optischen Kamerasystems. Im Stand der Technik werden mitunter bereits hochauflösende Kameras zur Umfelderfassung vorgeschlagen. Für ein echtzeitfähiges System und minimale Verarbeitungszeiten ist es wichtig, das Bild der Sensoren möglichst rasch nach potentiellen Kollisionspartnern, z.B. Fußgängern, zu durchsuchen. Im Stand der Technik existieren Ansätze aus dem Bereich der Bildverarbeitung, bei denen der Suchprozess ohne zusätzliche Sensorinformationen optimiert wird. Bezüglich der Möglichkeit einer Optimierung überlappender Bilder („overlapping“), Ansätze zur Untersuchung mittels verschieblicher Fenster („sliding window“) oder zum intelligenten scannen eines Sensorbildes nach menschlichem Vorbild wird auf die nachfolgend genannten Dokumente des Standes der Technik hingewiesen:
    Sudowe, Patrick; Leibe, Bastian (2011): Efficient Use of Geometric Constraints for Sliding-Window Object Detection in Video. In: David Hutchison, Takeo Kanade, Josef Kittler, Jon M. Kleinberg, Friedemann Mattern, John C. Mitchell et al. (Hg.): Computer Vision Systems, Bd. 6962. Berlin, Heidelberg: Springer Berlin Heidelberg (Lecture Notes in Computer Science), S. 11–20.
    Lampert, Christoph H.; Blaschko, Matthew B.; Hofmann, Thomas: Beyond sliding windows: Object localization by efficient subwindow search. In: 2008 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Anchorage, AK, USA, S. 1–8.
    Kapsalas, P.; Rapantzikos, K.; Sofou, A.; Avrithis, Y.: Regions of interest for accurate object detection. In: 2008 International Workshop on Content-Based Multimedia Indexing. London, UK, S. 147–154.
    Butko, N.J; Movellan, J.R: Optimal scanning for faster object detection. In: 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPR Workshops). Miami, FL, S. 2751–2758.
  • Außerdem sind Ansätze bekannt, bei denen Sensorinformationen eines Laserscanners verwendet werden, um parkende Autos am Fahrbahnrand zu detektieren. Anschließend wird gezielt in den Bereichen zwischen den Fahrzeugen nach Fußgängern gesucht (s. Broggi, A; Cerri, P.; Ghidoni, S.; Grisleri, P.; Ho Gi Jung, "A New Approach to Urban Pedestrian Detection for Automatic Braking," Intelligent Transportation Systems, IEEE Transactions on, vol.10, no.4, pp.594,605, Dec. 2009, doi: 10.1109/TITS.2009.2032770).
  • Weitere Ansätze nutzen Informationen einer Stereokamera, um relevante Bereiche (region of interest, ROI) zum Identifizieren (s. Keller, C.G.; Llorca, D.F.; Gavrila, D. M. „Dense stereo-based ROI generation for pedestrian detection". In Joachim Denzler, Gunther Notni, Herbert Süße, editors, Pattern Recognition 31st DAGM Symposium, Jena, Germany, September 9–11, 2009. Proceedings. Volume 5748 of Lecture Notes in Computer Science, pages 81–90, Springer, 2009).
  • Es ist ein Ziel der vorgenannten Ansätze, die Klassifikationsgenauigkeit von gesuchten Objekten mittels eines visuellen Systems zu verbessern. Um jedoch z.B. rechtzeitig vor einem Fußgänger warnen zu können, ist es nötig, diesen frühzeitig zu detektieren. Aktuelle Serienkameras sind jedoch in ihrer Reichweite beschränkt. Dies liegt u.a. daran, dass die räumliche Auflösung (Anzahl der Pixel) sowie die zeitliche Auflösung (Anzahl der aufgenommenen Bilder pro Sekunde) beschränkt sind. Sofern hochauflösende Kamerasysteme verwendet werden, stehen zwar grundsätzlich Daten zur Verfügung, welche eine Objekterkennung auch für weiter entfernte Objekte ermöglichen. Zur klassischen Bildanalyse sind aufgrund der Datenmenge jedoch immer leistungsfähigere Auswerteeinheiten erforderlich, sofern eine annehmbare Verarbeitungszeit und eine möglichst lange Vorwarndauer erzielt werden sollen. Mit anderen Worten besteht ein Zielkonflikt klassischer Systeme darin, Umgebungsobjekte in größeren Entfernungen zu erkennen und dabei die Echtzeitfähigkeit des Systems zu gewährleisten.
  • Die vorstehend identifizierte Aufgabe wird erfindungsgemäß durch ein Verfahren zur Objekterkennung in einem Fortbewegungsmittel gelöst. Das Fortbewegungsmittel kann beispielsweise ein PKW, ein Transporter, ein LKW, ein Luft- und/oder Wasserfahrzeug sein. In einem ersten Schritt wird eine Umgebung des Fortbewegungsmittels durch einen Sensor des Fortbewegungsmittels erfasst. Mit anderen Worten ist der Sensor im Fortbewegungsmittel angeordnet, bevorzugt dauerhaft in das Fortbewegungsmittel und dessen Informationsinfrastruktur integriert. Der Sensor kann beispielsweise einen optischen Sensor umfassen, welcher einen primär kollisionsrelevanten vorderen Umgebungsbereich (in Fahrtrichtung) des Fortbewegungsmittels erfasst. Zur Objekterkennung wird anschließend eine Referenz, welche objektspezifische Merkmale vordefinierter Umgebungsobjekte beschreibt, ausgelesen. Die Referenz dient als Muster für interessierende Umgebungsobjekte. Insbesondere können mobile Umgebungsobjekte durch die Referenz beschrieben werden. Bevorzugt ist eine Erkennung von Fußgängern und Fremdfahrzeugen auf Basis der Referenz möglich, da diese aufgrund möglicher Eigenbewegungen eine besonders hohe Kollisionsrelevanz für das erfindungsgemäß ausgestaltete Fortbewegungsmittel aufweisen. Anschließend werden in der Referenz beschriebene, objektspezifische Merkmale mit einer ersten Menge von Daten des Sensors verglichen. Die erste Menge von Daten des Sensors kann beispielsweise die gesamte vom Sensor erzeugte Datenmenge umfassen. Mit anderen Worten kann die erste Menge von Daten den gesamten, vom Sensor optisch erfassten Bildausschnitt repräsentieren. Auf diese Weise wird sichergestellt, dass erfasste Umgebungsobjekte möglichst positionsunabhängig vom erfindungsgemäßen Verfahren berücksichtigt werden. Optional kann in Abhängigkeit unterschiedlicher Eingangsgrößen die erste Menge von Daten eine verminderte Datenmenge definieren. Beispielsweise kann ein kollisionsrelevanter Bereich innerhalb eines vom Sensor repräsentierten Umgebungsbereiches als erste Menge von Daten aufgefasst werden. Auch eine verminderte Auflösung gegenüber einer nativen Auflösung des Sensors ist möglich, so dass lediglich jeder x-te Pixel innerhalb eines abgebildeten und ausgewerteten Bildausschnittes verarbeitet wird. Anschließend wird ein Umgebungsobjekt als Ergebnis des Vergleiches erkannt. Eine solche Objekterkennung kann beispielsweise nach im Stand der Technik bekannten Überlegungen erfolgen und bekannte Algorithmen verwenden. Sofern das Umgebungsobjekt erfolgreich erkannt und insbesondere als grundsätzlich kollisionsrelevant eingestuft worden ist, kann das Umgebungsobjekt anhand einer zweiten Menge von Daten des Sensors hinsichtlich bestimmter Merkmale untersucht werden. Die Merkmale können beispielsweise weiteren Aufschluss über eine etwaige Kollisionsrelevanz geben. Beispielsweise kann eine Ausrichtung und/oder eine Bewegungsrichtung des Umgebungsobjektes extrahiert werden, welche Aufschluss über geplante oder tatsächliche Bewegungen des Umgebungsobjektes geben. Insbesondere kann auch eine Ausrichtung eines Kopfes und/oder eine Blickrichtung eines Passanten oder eines Radfahrers untersucht werden. Hierzu können beispielsweise bekannte Algorithmen zur Gesichtserkennung verwendet werden. Die zweite Menge von Daten kann gegenüber der ersten Menge von Daten einen verkleinerten Umgebungsbereich repräsentieren, so dass eine gegenüber der ersten Menge von Daten verminderte Datenmenge zu analysieren ist und raschere Ergebnisse erzielt werden.
  • Alternativ oder zusätzlich kann eine vergrößerte Auflösung der Umgebung die zweite Menge von Daten gegenüber der ersten Menge von Daten kennzeichnen. Auf diese Weise wird eine eingehendere Untersuchung der Merkmale des Umgebungsobjektes ermöglicht, bevor das Umgebungsobjekt näher gekommen ist und seine Kollisionsrelevanz sich gegebenenfalls erhöht hat. Insbesondere kann die zweite Menge von Daten sowohl durch einen verkleinerten, durch sie abgebildeten Umgebungsbereich, als auch durch eine vergrößerte Auflösung dieses Umgebungsbereiches gegenüber der ersten Menge von Daten gekennzeichnet sein. Auf diese Weise kann der vorgenannte Zielkonflikt vermindert bzw. aufgelöst werden.
  • Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
  • Bevorzugt kann die erste Menge von Daten des Sensors in vordefinierte Bereiche für Entfernungen jeweils repräsentierter enthaltener Umfeldbereiche unterteilt werden. Die Entfernungen können stufenweise klassifiziert sein. Die Entfernung kann beispielsweise durch eine Flow-Analyse (Bildfluss-Analyse) innerhalb der Sensordaten in Verbindung mit einer aktuellen (z.B. über ein Bus-System des Fahrzeugs ermittelten) Reisegeschwindigkeit ermittelt werden. Alternativ oder zusätzlich kann mindestens ein Sensor zur Abstandsmessung (z.B. Sonar, Laser, Lidar, Ultraschall o.ä.) verwendet werden, um die Daten des Sensors den vordefinierten Entfernungsbereichen zuordnen zu können. Entsprechend kann die Referenz die objektspezifischen Merkmale in Abhängigkeit eines Entfernungsbereiches durch sie beschriebener Umgebungsobjekte gliedern bzw. klassifizieren. Mit anderen Worten können die objektspezifischen Merkmale für einen jeweiligen Entfernungsbereich in unterschiedlicher Weise beschrieben werden. Insbesondere können eine Größe und/oder eine Perspektive auf die objektspezifischen Merkmale von der Objektentfernung abhängen. Nun kann in Abhängigkeit der für die Sensordaten vordefinierten Entfernungsbereiche stets eine an den Entfernungsbereich angepasst aufbereitete Referenz verwendet werden, wodurch rechenaufwendige Skalierungen der Referenz oder des Bildmaterials vermieden werden können. Zudem kann eine besonders rasche Signalverarbeitung erfolgen. Im Ergebnis kann die Vorwarnzeit bis zu einer etwaigen Kollision mit dem Umgebungsobjekt minimiert werden.
  • Die zweite Menge von Daten kann einen Umgebungsbereich repräsentieren, welcher gegenüber der ersten Menge von Daten des Sensors in höherem Maße durch die Position des erkannten Umgebungsobjektes bestimmt ist. Mit anderen Worten kann im Schritt des Erkennens des Umgebungsobjektes eine Bestimmung vorteilhafter Auswertungsgrenzen im Sensorsignal vorgenommen werden, welche einerseits sicherstellen, dass möglichst wenig außerhalb des Umgebungsobjektes gelegene Daten in der ersten Menge von Daten enthalten sind, andererseits jedoch keine zur eingehenderen Untersuchung von Merkmalen des Umgebungsobjektes erforderlichen Daten ausgegrenzt werden.
  • Die erfindungsgemäß bestimmten Auswertungsgrenzen können ein Rechteck, einen Kreis, ein Oval oder andere geometrische Formen beschreiben, und alternativ oder zusätzlich in Abhängigkeit einer erfassten Referenz und/oder in Abhängigkeit des konkret in den Sensordaten zu identifizierenden Umgebungsobjektes definiert werden. Auf diese Weise kann die Signalverarbeitung weiter beschleunigt werden.
  • Je nach Zielsetzung und Art des Umgebungsobjektes kann auch ein Teil der das Umgebungsobjekt repräsentierenden Sensordaten als zweite Menge von Daten herangezogen werden und andere Teile des Umgebungsobjektes datentechnisch „ausgegrenzt“ bzw. „vernachlässigt“ werden. Insbesondere kann ein Kopf und insbesondere eine Augenpartie einer Person als Umgebungsobjekt zur Analyse einer Kopfstellung bzw. einer Blickrichtung herangezogen werden. Auf diese Weise lassen sich beabsichtigte Bewegungsrichtungen der Person besonders rasch ermitteln und gegebenenfalls drohende Kollisionen vorhersagen.
  • Bevorzugt kann die Referenz Objektgrößenbereiche als objektspezifische Merkmale in Abhängigkeit einer Objektentfernung vom Sensor beschreiben, wobei die Objektgrößenbereiche insbesondere an typische Größen von abgebildeten Personen angepasst sind. Auf diese Weise können nahegelegene Umgebungsbereiche repräsentierende Daten zunächst auf gegebenenfalls enthaltene Passanten vergleichsweise großer Abmessungen hin untersucht werden, während weiter entfernte Umgebungsbereiche repräsentierende Daten a priori auf gegebenenfalls enthaltene Passanten kleinerer Abmessungen hin untersucht werden. Insbesondere können bei Annahme einer horizontalen Erdoberfläche (was beispielsweise durch Beschleunigungs- und/oder Neigungssensoren des Fortbewegungsmittels bestätigt oder falsifiziert werden kann) in unteren Bildbereichen angeordnete Objekte als näher gelegen und in oberen Bildbereichen enthaltene Objekte als weiter entfernt angenommen werden. Eine Kalibrierung dieser Abhängigkeit kann in Abhängigkeit einer Höhe des Sensors und seiner Ausrichtung erfolgen. Auf diese Weise kann eine im Wesentlichen kontinuierliche Zuordnung von Entfernungsbereichen zu den Sensordaten erfolgen, ohne dass ein unverhältnismäßig großer rechentechnischer Aufwand entsteht.
  • Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird eine Vorrichtung zur Objekterkennung in einem Fortbewegungsmittel vorgeschlagen. Diese umfasst einen Sensor zum Erfassen einer Umgebung des Fortbewegungsmittels und einen Datenspeicher zum Bereithalten einer Referenz, welche objektspezifische Merkmale vordefinierter Umgebungsobjekte beschreibt. Zusätzlich ist eine Auswerteeinheit vorgesehen, welche eingerichtet ist, in der Referenz beschriebene objektspezifische Merkmale mit einer ersten Menge von Daten des Sensors zu vergleichen. Mit anderen Worten ist die Auswerteeinheit in der Lage, eine Bilderkennung bezüglich einer ersten Menge von Daten des Sensors durchzuführen und die Position durch die Referenz beschriebener Objektmerkmale zu bestimmen. Ermittelt die Auswerteeinheit ein Umgebungsobjekt als Ergebnis des Vergleiches, kann sie Merkmale des Umgebungsobjektes anhand einer zweiten Menge von Daten des Sensors eingehender untersuchen, sofern die zweite Menge von Daten gegenüber der ersten Menge von Daten einen verkleinerten Umgebungsbereich repräsentiert und alternativ oder zusätzlich eine vergrößerte Auflösung (räumlich oder zeitlich) aufweist. Mit anderen Worten ist die erfindungsgemäße Vorrichtung eingerichtet, ein Verfahren gemäß dem erstgenannten Erfindungsaspekt auszuführen, wobei zur Vermeidung von Wiederholungen auf die Merkmale, Merkmalskombinationen und die sich aus diesen ergebenden Vorteile des erstgenannten Erfindungsaspektes verwiesen wird.
  • Gemäß einem dritten Aspekt der vorliegenden Erfindung wird ein Fortbewegungsmittel vorgeschlagen, welches als PKW, als Transporter, als LKW, als Luft- und/oder Wasserfahrzeug ausgestaltet sein kann. Das Fortbewegungsmittel umfasst eine Vorrichtung zur Objekterkennung gemäß dem zweitgenannten Erfindungsaspekt und verwirklicht daher dieselben Merkmale, Merkmalskombinationen und Vorteile.
  • Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung und den Figuren. Es zeigen:
  • 1 eine schematische Übersicht über Komponenten eines Ausführungsbeispiels eines erfindungsgemäßen Fortbewegungsmittels mit einem Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung;
  • 2 eine schematische Darstellung einer erfindungsgemäßen Auswahl einer zweiten Menge von Daten aus einer ersten Menge von Daten anhand einer schematischen Darstellung eines sensorisch erstellten Abbildes einer Umgebung eines Fortbewegungsmittels; und
  • 3 ein Flussdiagramm veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Objekterkennung in einem Fortbewegungsmittel.
  • 1 zeigt einen PKW 10 als Fortbewegungsmittel, in welchem eine optische Kamera 1 als Sensor zur Erfassung einer Umgebung des PKWs 10 vorgesehen ist. Der Erfassungsbereich 4 der Kamera 1 beinhaltet einen Passanten P als Umgebungsobjekt, der Gegenstand eines erfindungsgemäßen Auswerteverfahrens sein soll. Hierzu ist die Kamera 1 mit einem elektronischen Steuergerät 2 als Beispiel einer Auswerteeinheit informationstechnisch verbunden. Ein Datenspeicher 3 hält Instruktionen repräsentierend die Schritte des erfindungsgemäßen Verfahrens sowie Referenzen zur erfindungsgemäßen Untersuchung und Klassifikation von Sensordaten hinsichtlich gegebenenfalls enthaltener Umgebungsobjekte bereit und ist hierzu informationstechnisch mit dem elektronischen Steuergerät 2 verbunden.
  • 2 zeigt eine Abbildung einer Umgebung 5, in welcher ein Passant P als Umgebungsobjekt neben einer Straße 9 steht. Durch einen vergleichsweise großen Bildausschnitt 6, welcher durch eine erste Menge Sensordaten repräsentiert wird, kann zunächst sichergestellt werden, dass sämtliche kollisionsrelevanten Umgebungsobjekte einer erfindungsgemäßen Auswertung berücksichtigt werden. Auch wenn eine Ausrichtung des Passanten P sowie seine Blickrichtung anhand der ersten Menge von Daten noch nicht erkannt werden kann, kann bereits zumindest ermittelt werden, dass es sich um einen Passanten P handelt. Im Ansprechen darauf kann ein verkleinerter, auf die Position des Passanten P zugeschnittener Bildausschnitt 7 definiert werden, welcher durch eine zweite Menge von Daten des Sensors repräsentiert wird. Auf diese Weise können kollisionstechnisch irrelevante Bereiche außerhalb des Bildausschnittes 7 bei der Auswertung vernachlässigt werden und rascher ein Ergebnis bezüglich der Kollisionsrelevanz des Passanten P erzielt werden. Beispielsweise kann anhand des (höher aufgelösten) Bildausschnittes 7 eine Ausrichtung/Bewegungsrichtung des Passanten P ermittelt werden, während eine Blickrichtung des Passanten P noch immer nicht ermittelt werden kann. In einer Wiederholung des erfindungsgemäßen Verfahrens kann ein weiter verkleinerter Bildausschnitt 8 definiert werden, welcher bezüglich seiner Grenzen auf eine möglichst große Abbildung des Kopfes des Passanten P zugeschnitten ist und durch eine dritte Menge von Daten repräsentiert wird, welche gegenüber dem Bildausschnitt 7 eine schnellere Auswertung und/oder bessere Chancen zur korrekten Ermittlung einer Blickrichtung des Passanten P bietet. Für den Fachmann ist ersichtlich, dass eine weitere Reduktion des auszuwertenden Bildbereiches einerseits eine raschere Ermittlung der Blickrichtung des Passanten ermöglicht, andererseits eine weitere Erhöhung der auszuwertenden Pixeldichte bei festgehaltenem Auswerteaufwand ermöglicht.
  • 3 zeigt Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Objekterkennung in einem Fortbewegungsmittel. In Schritt 100 wird eine Umgebung des Fortbewegungsmittels durch einen Sensor des Fortbewegungsmittels erfasst. Der Sensor kann beispielsweise eine optisch 2D-Frontkamera sein. Anschließend wird eine erste Menge von Daten des Sensors in vordefinierte Bereiche für Entfernungen jeweils repräsentierter enthaltener Umfeldbereiche unterteilt. Dies ermöglicht eine entfernungsgerechte Korrelation mit in einem nachfolgenden Schritt 300 aus einem Datenspeicher ausgelesenen Referenzen, welche objektspezifische Merkmale vordefinierter Umgebungsobjekte beschreiben. In Schritt 400 werden in der Referenz beschriebene, objektspezifische Merkmale mit einer ersten Menge von Daten des Sensors verglichen. Die erste Menge von Daten des Sensors kann beispielsweise einen vergleichsweise großen Bereich der Umgebung bei einer vergleichsweise geringen Auflösung repräsentieren. In Schritt 500 wird ein Umgebungsobjekt als Ergebnis des Vergleiches erkannt. Das Umgebungsobjekt kann beispielsweise ein Passant sein. Im Ansprechen auf das Erkennen des Umgebungsobjektes werden in Schritt 600 Merkmale des Umgebungsobjektes anhand einer zweiten Menge von Daten des Sensors untersucht. Die zweite Menge von Daten ist gegenüber der ersten Menge von Daten durch einen verkleinerten, durch sie repräsentierten Umgebungsbereich und/oder durch eine vergrößerte Auflösung gekennzeichnet. Insbesondere kann die zweite Menge von Daten auf diejenigen Daten des Sensors begrenzt werden, welche das Umgebungsobjekt repräsentieren. Insbesondere kann ein Kopf, bevorzugt ein Augenbereich, einer Person als Umgebungsobjekt durch die zweite Menge von Daten repräsentiert werden, während außerhalb dieser Bereiche gelegene Daten nicht (mehr) enthalten sind.
  • Die im Rahmen der vorliegenden Erfindung vorgeschlagene Verfahrensweise ermöglicht eine geeignete Abwägung zwischen einer zu verarbeitenden Datenmenge und einer hierzu (Hardware bedingt) erforderlichen Verarbeitungszeit. Die Verarbeitungszeit kann beispielsweise vorgegeben werden und dadurch charakterisiert werden, innerhalb welcher Zeitdauer ein Fußgänger im Fahrzeugumfeld (z.B. in Anbetracht einer aktuellen Geschwindigkeit des Fahrzeugs und/oder des Fußgängers) spätestens detektiert werden muss, um den Fahrer des Fahrzeugs rechtzeitig vor einer potentiellen Kollision warnen zu können. In Abhängigkeit von der aktuellen Geschwindigkeit berechnet sich dadurch die Entfernung, innerhalb welcher alle Fußgänger detektiert werden müssen.
  • Aktuell werden Frontkameras für automobile Anwendungen beispielsweise mit Auflösungen im Bereich zwischen 1 und 12 Megapixeln verwendet. Um den Bildbereich möglichst rasch auf das grundsätzliche Vorhandensein von kollisionsrelevanten Umgebungsobjekten untersuchen zu können, kann zunächst eine vergleichsweise geringe Auflösung der Kamerabilder ausgewertet werden. Sofern ein Umgebungsobjekt erkannt wird, kann ein dem Umgebungsobjekt zugeordneter Bildbereich mit einer erhöhten Informationsdichte bzw. Auflösung untersucht werden, um weitere Informationen über die Beschaffenheit und/oder Ausrichtungs- und Bewegungsgrößen des Umgebungsobjektes zu ermitteln.
  • Eine weitere vorteilhafte Ausgestaltung der vorliegenden Erfindung ermöglicht eine Einsparung erforderlicher Rechenzeit, indem bestimmte Suchbereiche im Bild vollständig ausgeschlossen werden können, da kollisionsrelevante Objekte in diesen Bereichen nicht zu erwarten sind. Dafür erfolgt zunächst eine Bodenebenschätzung oder alternativ die Annahme einer flachen Welt (englisch: „flat world assumption“). Dadurch lässt sich das Wissen nutzen, dass Fußgänger in einer bestimmten Entfernung eine festgelegte Größe haben müssen. Dies ermöglicht eine Beschneidung des Sensorbildes in der Höhe von oben und unten, wenn z.B. bei niedriger Geschwindigkeit nur der vordere Entfernungsbereich abgesucht werden soll.
  • Bezugszeichenliste
  • 1
    Kamera
    2
    elektronisches Steuergerät
    3
    Datenspeicher
    4
    Erfassungsbereich
    5
    Umgebung
    6, 7, 8
    Bildausschnitte
    9
    Straße
    10
    PKW
    100–600
    Verfahrensschritte
    P
    Passant
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Nicht-Patentliteratur
    • Sudowe, Patrick; Leibe, Bastian (2011): Efficient Use of Geometric Constraints for Sliding-Window Object Detection in Video. In: David Hutchison, Takeo Kanade, Josef Kittler, Jon M. Kleinberg, Friedemann Mattern, John C. Mitchell et al. (Hg.): Computer Vision Systems, Bd. 6962. Berlin, Heidelberg: Springer Berlin Heidelberg (Lecture Notes in Computer Science), S. 11–20 [0002]
    • Lampert, Christoph H.; Blaschko, Matthew B.; Hofmann, Thomas: Beyond sliding windows: Object localization by efficient subwindow search. In: 2008 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Anchorage, AK, USA, S. 1–8 [0002]
    • Kapsalas, P.; Rapantzikos, K.; Sofou, A.; Avrithis, Y.: Regions of interest for accurate object detection. In: 2008 International Workshop on Content-Based Multimedia Indexing. London, UK, S. 147–154 [0002]
    • Butko, N.J; Movellan, J.R: Optimal scanning for faster object detection. In: 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPR Workshops). Miami, FL, S. 2751–2758 [0002]
    • s. Broggi, A; Cerri, P.; Ghidoni, S.; Grisleri, P.; Ho Gi Jung, "A New Approach to Urban Pedestrian Detection for Automatic Braking," Intelligent Transportation Systems, IEEE Transactions on, vol.10, no.4, pp.594,605, Dec. 2009, doi: 10.1109/TITS.2009.2032770 [0003]
    • s. Keller, C.G.; Llorca, D.F.; Gavrila, D. M. „Dense stereo-based ROI generation for pedestrian detection“. In Joachim Denzler, Gunther Notni, Herbert Süße, editors, Pattern Recognition 31st DAGM Symposium, Jena, Germany, September 9–11, 2009. Proceedings. Volume 5748 of Lecture Notes in Computer Science, pages 81–90, Springer, 2009 [0004]

Claims (10)

  1. Verfahren zur Objekterkennung in einem Fortbewegungsmittel (10) umfassend die Schritte: – Erfassen (100) einer Umgebung (5) des Fortbewegungsmittels (10) durch einen Sensor (1) des Fortbewegungsmittels (10), – Auslesen (300) einer Referenz, welche objektspezifische Merkmale vordefinierter Umgebungsobjekte beschreibt, – Vergleichen (400) in der Referenz beschriebener, objektspezifischer Merkmale mit einer ersten Menge von Daten des Sensors (1), – Erkennen (500) eines Umgebungsobjektes (P) als Ergebnis des Vergleiches und im Ansprechen darauf – Untersuchen (600) von Merkmalen des Umgebungsobjektes (P) anhand einer zweiten Menge von Daten des Sensors (1), wobei die zweite Menge von Daten gegenüber der ersten Menge von Daten – einen verkleinerten Umgebungsbereich (7, 8) repräsentiert, und/oder – eine vergrößerte Auflösung aufweist.
  2. Verfahren nach Anspruch 1 weiter umfassend – Unterteilen (200) der ersten Menge von Daten des Sensors (1) in vordefinierte Bereiche für Entfernungen jeweils repräsentierter enthaltener Umfeldbereiche, wobei – die Referenz die objektspezifischen Merkmale in Abhängigkeit eines Bereiches einer Entfernung durch sie beschriebener Umgebungsobjekte sortiert, und – das Untersuchen der Merkmale der Umgebungsobjekte (P) anhand der zweiten Menge von Daten des Sensors (1) jeweils anhand solcher objektspezifischen Merkmale der Referenz erfolgt, welche dem jeweiligen Bereich für Entfernungen entspricht.
  3. Verfahren nach Anspruch 1 oder 2, wobei das von der Referenz beschriebene Umgebungsobjekt (P) eine Person umfasst, und die objektspezifischen Merkmale – eine Kopfstellung und/oder – eine Blickrichtung der Person beschreiben.
  4. Verfahren nach einem der vorstehenden Ansprüche, wobei die zweite Menge von Daten einen Umgebungsbereich repräsentiert, welcher gegenüber der ersten Menge von Daten des Sensors (1) in höherem Maße durch die Position des erkannten Umgebungsobjektes (P) bestimmt ist.
  5. Verfahren nach einem der vorstehenden Ansprüche, weiter umfassend den Schritt – Begrenzen (600) der zweiten Menge von Daten auf diejenigen Daten des Sensors, welche das Umgebungsobjekt (P), insbesondere, insbesondere den Kopf einer Person, repräsentieren.
  6. Verfahren nach einem der vorstehenden Ansprüche, wobei der Sensor (1) ein optischer Sensor ist.
  7. Verfahren nach einem der vorstehenden Ansprüche, wobei die Referenz Objektgrößenbereiche als objektspezifische Merkmale in Abhängigkeit einer Objektentfernung vom Sensor (1) beschreibt, wobei die Objektgrößenbereiche insbesondere an Abbildungen von Personen angepasst sind.
  8. Verfahren nach einem der vorstehenden Ansprüche, wobei die Referenz die objektspezifischen Merkmale in Abhängigkeit ihrer Entfernung vom Sensor (1) beschreibt.
  9. Vorrichtung zur Objekterkennung in einem Fortbewegungsmittel (10) umfassend – einen Sensor (1) zum Erfassen einer Umgebung (5) des Fortbewegungsmittels (10), – einen Datenspeicher (3) zum Bereithalten einer Referenz, welche objektspezifische Merkmale vordefinierter Umgebungsobjekte (P) beschreibt, und – eine Auswerteeinheit (2), welche eingerichtet ist, in der Referenz beschriebene objektspezifische Merkmale mit einer ersten Menge von Daten des Sensors (1) zu vergleichen, – ein Umgebungsobjekt (P) als Ergebnis des Vergleiches zu erkennen und im Ansprechen darauf – Merkmale des Umgebungsobjektes (P) anhand einer zweiten Menge von Daten des Sensors (1) zu untersuchen, wobei die zweite Menge von Daten gegenüber der ersten Menge von Daten – einen verkleinerten Umgebungsbereich (7, 8) repräsentiert, und/oder – eine vergrößerte Auflösung umfasst.
  10. Fortbewegungsmittel umfassend eine Vorrichtung nach Anspruch 9.
DE102015204528.5A 2015-03-13 2015-03-13 Vorrichtung und Verfahren zur Objekterkennung in einem Fortbewegungsmittel Pending DE102015204528A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102015204528.5A DE102015204528A1 (de) 2015-03-13 2015-03-13 Vorrichtung und Verfahren zur Objekterkennung in einem Fortbewegungsmittel

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015204528.5A DE102015204528A1 (de) 2015-03-13 2015-03-13 Vorrichtung und Verfahren zur Objekterkennung in einem Fortbewegungsmittel

Publications (1)

Publication Number Publication Date
DE102015204528A1 true DE102015204528A1 (de) 2016-09-15

Family

ID=56801027

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015204528.5A Pending DE102015204528A1 (de) 2015-03-13 2015-03-13 Vorrichtung und Verfahren zur Objekterkennung in einem Fortbewegungsmittel

Country Status (1)

Country Link
DE (1) DE102015204528A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017006785A1 (de) 2017-07-18 2018-01-04 Daimler Ag Verfahren zur gezielten Detektion von Personen
DE102020214622A1 (de) 2020-11-20 2022-05-25 Conti Temic Microelectronic Gmbh Auswertung von Bilddaten einer Stereokamera zur Objektbewertung
DE102021131930A1 (de) 2021-12-03 2023-06-07 Connaught Electronics Ltd. Gestenerkennung im Straßenverkehr

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Butko, N.J; Movellan, J.R: Optimal scanning for faster object detection. In: 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPR Workshops). Miami, FL, S. 2751–2758
Kapsalas, P.; Rapantzikos, K.; Sofou, A.; Avrithis, Y.: Regions of interest for accurate object detection. In: 2008 International Workshop on Content-Based Multimedia Indexing. London, UK, S. 147–154
s. Broggi, A; Cerri, P.; Ghidoni, S.; Grisleri, P.; Ho Gi Jung, "A New Approach to Urban Pedestrian Detection for Automatic Braking," Intelligent Transportation Systems, IEEE Transactions on, vol.10, no.4, pp.594,605, Dec. 2009, doi: 10.1109/TITS.2009.2032770
s. Keller, C.G.; Llorca, D.F.; Gavrila, D. M. „Dense stereo-based ROI generation for pedestrian detection". In Joachim Denzler, Gunther Notni, Herbert Süße, editors, Pattern Recognition 31st DAGM Symposium, Jena, Germany, September 9–11, 2009. Proceedings. Volume 5748 of Lecture Notes in Computer Science, pages 81–90, Springer, 2009
Sudowe, Patrick; Leibe, Bastian (2011): Efficient Use of Geometric Constraints for Sliding-Window Object Detection in Video. In: David Hutchison, Takeo Kanade, Josef Kittler, Jon M. Kleinberg, Friedemann Mattern, John C. Mitchell et al. (Hg.): Computer Vision Systems, Bd. 6962. Berlin, Heidelberg: Springer Berlin Heidelberg (Lecture Notes in Computer Science), S. 11–20

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017006785A1 (de) 2017-07-18 2018-01-04 Daimler Ag Verfahren zur gezielten Detektion von Personen
DE102020214622A1 (de) 2020-11-20 2022-05-25 Conti Temic Microelectronic Gmbh Auswertung von Bilddaten einer Stereokamera zur Objektbewertung
DE102021131930A1 (de) 2021-12-03 2023-06-07 Connaught Electronics Ltd. Gestenerkennung im Straßenverkehr

Similar Documents

Publication Publication Date Title
DE112018007287T5 (de) Fahrzeugsystem und -verfahren zum erfassen von objekten und einer objektentfernung
DE102017105903A1 (de) Fussgängerdetektion und Bewegungsvorhersage mit nach hinten gerichteter Kamera
DE102018101125A1 (de) Rekurrentes tiefes neuronales Faltungsnetzwerk zur Detektion von Objekten
DE102018201054A1 (de) System und Verfahren zur Bilddarstellung durch ein Fahrerassistenzmodul eines Fahrzeugs
DE102012223730A1 (de) Vorrichtung und verfahren zum einstellen einer parkposition auf basis eines av-bildes
WO2013072231A1 (de) Verfahren zur nebeldetektion
EP2710573B1 (de) Verfahren und vorrichtung zum erkennen eines möglichen kollisionsobjektes
DE102013201545A1 (de) Erstellen eines Umfeldmodells für ein Fahrzeug
DE102018212655A1 (de) Erkennung der Bewegungsabsicht eines Fußgängers aus Kamerabildern
WO2018215031A1 (de) Verfahren zur erkennung von objekten in einem bild einer kamera
DE102017218366A1 (de) Verfahren und system zur fussgängererfassung in einem fahrzeug
DE102013205854B4 (de) Verfahren zum Detektieren eines freien Pfads mittels temporärer Koherenz
EP3038011A1 (de) Verfahren zum Bestimmen des Abstands eines Objekts von einem Kraftfahrzeug mittels einer monokularen Bilderfassungseinrichtung
DE102018111935A1 (de) Bildverarbeitungssystem, Bildverarbeitungsverfahren, Informationsverarbeitungsvorrichtung und Aufzeichnungsmedium
DE102016104730A1 (de) Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102013012930A1 (de) Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug
DE102015204528A1 (de) Vorrichtung und Verfahren zur Objekterkennung in einem Fortbewegungsmittel
DE102015212771A1 (de) Vorrichtung zur Erkennung von teilverdeckten beweglichen Objekten für ein Umfelderfassungssystem eines Kraftfahrzeugs
DE102015216352A1 (de) Verfahren zum Erkennen einer möglichen Kollision eines Fahrzeuges mit einem Fußgänger auf Grundlage hochaufgelöster Aufnahmen
DE102018220018A1 (de) Verfahren zur Objekterkennung mittels Sensorsystem von Fahrzeugen
DE102018005969A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen
DE102007024641A1 (de) Verfahren und Vorrichtung zur Darstellung einer Fahrzeugumgebung
EP2037407B1 (de) Verfahren zur Objekterfassung
DE102015204529A1 (de) Verfahren und Vorrichtung zur Objekterkennung in einem Fortbewegungsmittel
WO2016096446A1 (de) Vordergrund-hintergrund differenzierung im fahrzeug

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R016 Response to examination communication