DE102019209152A1 - Verfahren und Vorrichtung zum sicheren Identifizieren von Objekten in Videobildern - Google Patents

Verfahren und Vorrichtung zum sicheren Identifizieren von Objekten in Videobildern Download PDF

Info

Publication number
DE102019209152A1
DE102019209152A1 DE102019209152.0A DE102019209152A DE102019209152A1 DE 102019209152 A1 DE102019209152 A1 DE 102019209152A1 DE 102019209152 A DE102019209152 A DE 102019209152A DE 102019209152 A1 DE102019209152 A1 DE 102019209152A1
Authority
DE
Germany
Prior art keywords
machine learning
learning system
objects
positions
light sources
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019209152.0A
Other languages
English (en)
Inventor
Konrad Groh
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102019209152.0A priority Critical patent/DE102019209152A1/de
Priority to US16/903,974 priority patent/US11580332B2/en
Priority to CN202010586397.2A priority patent/CN112131923A/zh
Publication of DE102019209152A1 publication Critical patent/DE102019209152A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

Computerimplementiertes Verfahren zum sicheren Identifizieren von Objekten in einer mittels eines bildgebenden Sensors (30) empfangenen Folge von Eingangsbildern (x), wobei mittels eines ersten maschinellen Lernsystems (NN1), insbesondere eines künstlichen neuronalen Netzes, aus den Eingangsbildern (x) jeweils Positionen von Lichtquellen im jeweiligen Eingangsbild (x) ermittelt werden, und wobei mittels eines zweiten maschinellen Lernsystems (NN2), insbesondere eines künstlichen neuronalen Netzes, aus der sich ergebenden Folge von Positionen (P1,P2) von Lichtquellen Objekte (i) aus der Folge von Eingangsbildern (x) identifiziert werden.

Description

  • Die Erfindung betrifft einen Verfahren zum Sicheren Identifizieren von Objekten innerhalb eines von einem bildgebenden Sensor erfassten Bildes, ein System das eingerichtet ist, dieses Verfahren auszuführen, Verfahren zum Trainieren dieses Systems, eine Trainingsvorrichtung, ein Computerprogramm und ein maschinenlesbares Speichermedium.
  • Stand der Technik
  • Aus der nicht vorveröffentlichten DE 10 2017 223 264.1 ist ein Verfahren zum Detektieren eines Objekts in einem bereitgestellten Eingangssignal, wobei abhängig von dem bereitgestellten Eingangssignal ein Objekt detektiert wird und wobei eine Ansteuerung eines Aktors abhängig von der Detektion des Objekts erfolgt.
  • Vorteile der Erfindung
  • Die Erfindung betrachtet einen visuellen Sensor, der bei auch bei schlecht ausgeleuchteten Szenen mit im Bild sichtbaren aktiven Lichtquellen Eingangsbilder für z.B. eine automatisierte Fahrfunktion liefert.
  • In solchen Fällen kann es sein, dass die Eingangsbilder schlecht ausgeregelt sind. Dies kann dazu führen, dass nur die im Bild sichtbaren Lichtquellen wie etwa Fahrzeugscheinwerfer, Laternen, Reklametafeln, und ähnliches, sichtbar sind.
  • Durch eine Normalisierung kann das Bild justiert werden, nur führt dies u.U. dazu, dass nun die Umgebung sichtbar ist, aber die Position der Lichtquellen nicht eindeutig bestimmbar ist.
  • Wird ein maschinelles Lernsystem angelernt, Objekte in den Eingangsbildern zu identifizieren, so ist es nicht auszuschließen, dass Lichtquellen mit Fahrzeugen und/oder andere Objekten assoziiert werden. Dies kann dazu führen, dass jede Lichtquelle automatisch zu einem detektierten Objekt führt. Dies führt zu dem Problem, dass Reflektionen, die z.B. durch nasse Fahrbahnen, spiegelnden Straßenbeton, Tunnelwände usw. entstanden sind, als Geisterobjekten erkannt werden.
  • Es praktischerweise nicht möglich, im Training des maschinellen Lernsystems einen Datensatz realer Trainingsdaten vorzusehen, in dem alle potentiellen Lichtquellen und Reflektionen enthalten sind.
  • Das Verfahren mit den Merkmalen des unabhängigen Anspruch 1 hat demgegenüber den Vorteil, dass Lichtintensitäten lokal angepasst werden, so dass es nicht zu Überblendungen kommt.
  • Weiterhin ist dieses Verfahren mit einer Simulation von bewegten und unbewegten Lichtquellen trainierbar, in der Reflektionen und Überdeckungen für alle relevanten Fälle synthetisch generiert werden können.
  • Weitere Aspekte der Erfindung sind Gegenstand der nebengeordneten Ansprüche. Vorteilhafte Weiterbildungen sind Gegenstand der abhängigen Ansprüche.
  • Offenbarung der Erfindung
  • In einem ersten Aspekt betrifft die Erfindung ein computerimplementiertes Verfahren zum sicheren Identifizieren von Objekten in einer mittels eines bildgebenden Sensors empfangenen Folge von Eingangsbildern, wobei mittels eines ersten maschinellen Lernsystems, insbesondere eines künstlichen neuronalen Netzes, aus den Eingangsbildern jeweils Positionen von Lichtquellen im jeweiligen Eingangsbild ermittelt werden, und wobei insbesondere mittels eines zweiten maschinellen Lernsystems wie beispielsweise eines künstlichen neuronalen Netzes aus der sich ergebenden Folge von Positionen von Lichtquellen Objekte aus der Folge von Eingangsbildern identifiziert werden.
  • Diese Verarbeitungssequenz hat den Vorteil, dass die komplexe Aufgabe, auch Lichtquellen von Reflektionen zu unterscheiden, und auch zumindest teilweise überdeckte Lichtquellen sicher zu identifizieren, in ein mit vertretbarem Aufwand trainierbares maschinelles Lernsystem verlagert werden kann. Aus den identifizierten Lichtquellen lassen sich dann besonders einfach die Objekte identifizieren. Auch diese Aufgabe ist wiederum besonders gut in ein leicht trainierbares maschinelles Lernsystem verlagerbar.
  • In einer Weiterbildung kann vorgesehen sein, dass insbesondere mittels des zweiten maschinellen Lernsystems neben den identifizierten Objekten auch Attribute insbesondere der identifizierten Objekte in der Folge von Eingangsbildern identifiziert werden. Dies lässt sich mit dem zweiten maschinellen Lernsystem besonders einfach umsetzen. Attribute können beispielsweise eine (3d-)Position des mittels des Sensors aufgenommenen Objekts, eine (3d-)Geschwindigkeit dieses Objekts, oder auch eine Eigengeschwindigkeit des Sensors sein, die gemeinsam mit der (3d-)Geschwindigkeit des Objekts eine Relativgeschwindigkeit zwischen Sensor und Objekt charakterisiert.
  • Alternativ oder zusätzlich kann vorgesehen sein, dass insbesondere mittels des ersten maschinellen Lernsystems auch eine Normalisierung des jeweiligen Eingangsbilds ermittelt wird. Eine Normalisierung kann insbesondere bedeuten, dass eine etwaige im Eingangsbild vorhandene Überblendung in der Normalisierung nicht mehr vorhanden ist. Mit einer solchen Normalisierung lässt sich besonders effizient eine weitere Informationsquelle bereitstellen, mit der Objekte ebenfalls identifiziert werden können. Es ist besonders vorteilhaft, dass das erste maschinellen Lernsystem sowohl die Normalisierung, also ein Entfernen von durch die Lichtquellen verursachten Überblendungen, also auch die Identifikation der Positionen der Lichtquellen durchführt, da der für die jeweilige der beiden Aktionen notwendige Informationsgehalt stark korreliert. Daher lässt sich dieses maschinelle Lernsystem besonders effizient trainieren.
  • Um diese Informationsquelle dann auch auszunutzen, kann in einer Weiterbildung dann vorgesehen sein, dass mittels eines dritten maschinellen Lernsystems aus der Normalisierung des jeweiligen Eingangsbilds Objekte im jeweiligen Eingangsbild und deren Positionen im Eingangsbild identifiziert werden. Eine Ausgestaltung als maschinelles Lernsystem ist hier besonders einfach, weil dieses besonders einfach trainierbar ist.
  • In einem weiteren Aspekt kann vorgesehen sein, dass eine Fusion der auf alternativen Wegen identifizierten Objekte mittels eines vierten maschinellen Lernsystems geschieht, d.h. dass dieses aus den mittels des dritten maschinellen Lernsystems identifizierten Objekten und aus den aus der Folge der Positionen der Lichtquellen identifizierten Objekten und insbesondere auch aus den identifizierten Attributen gesicherte Objekte im Eingangsbild identifiziert.
  • In weiteren Aspekten betrifft die Erfindung System, die eingerichtet ist, eines der vorgenannten Verfahren auszuführen, umfassend das erste maschinelle Lernsystem und das zweite maschinelle Lernsystem, optional auch das dritte maschinelle Lernsystem und/oder das vierte maschinelle Lernsystem.
  • Hieran anknüpfend ist in einem noch weiteren Aspekt ein computerimplementiertes Verfahren zum Trainieren eines dieser Systeme vorgesehen, wobei eine Szene umfassend Objekte und Lichtquellen an vorgebbaren Positionen im Raum generiert wird und aus der Szene eine Folge synthetischen Positionen von Lichtquellen generiert wird, wie sie von einer Kamera aus einer vorgebbaren Kameraposition aufgenommen würde, wobei das zweite maschinelle Lernsystem trainiert wird, aus den Positionen der Lichtquellen die Positionen der Objekte, so, wie sie von der Kamera aus der vorgebbaren Kameraposition aufgenommen würden, abzuleiten. Dies hat den Vorteil, dass sich Positionen von Lichtquellen auf einfachste Weise realistisch generieren lassen, und daher für eine Vielzahl denkbarer Szenarien besonders einfach Trainingsdaten erzeugbar sind, sodass das trainierte System besonders zuverlässig funktioniert.
  • In einer Weiterbildung kann vorgesehen sein, dass das erste maschinelle Lernsystem mit einem Datensatz trainiert wird, der Paare aus augmentierten Bildern und zugehörigen vorgebbaren Positionen umfasst, wobei die augmentierten Bilder erhalten wurden, indem zu realen Bildern an vorgebbaren Positionen Lichtquellen künstlich hinzugefügt werden, und wobei das erste maschinelle Lernsystem trainiert wird, aus den augmentierten Bildern die vorgebbaren Positionen zu ermitteln. Dies nutzt in besonders vorteilhafter Weise aus, dass zwar eine große Vielzahl von Bildern mit realen Lichtquellen schwer mit einer adäquaten Vielzahl von Reflektionen etc. erzeugbar sind, dass aber zu realen, d.h. mit einem Sensor aufgenommenen, Bildern auf vergleichsweise einfache Weise z.B. mittels Raytracing-Verfahren Lichtquellen künstlich hinzugefügt werden können.
  • In einer Weiterbildung hiervon kann vorgesehen sein, dass das erste maschinelle Lernsystem ferner mit einem Datensatz trainiert wird, der auch Paare von realen Bildern und zugehörigen augmentierten Bildern umfasst, und wobei das erste maschinelle Lernsystem trainiert wird, aus den augmentierten Bildern als normalisierte Daten die zugehörigen realen Bilder zu ermitteln. Hiermit lässt sich das erste maschinelle Lernsystem auf besonders einfache Weise so trainieren, dass es Lichtquellen aus Bildern herausrechnen kann.
  • In weiteren Aspekten betrifft die Erfindung ein Computerprogramm, das eingerichtet, die obigen Verfahren auszuführen und ein maschinenlesbares Speichermedium, auf dem dieses Computerprogramm gespeichert ist.
  • Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert. In den Zeichnungen zeigen:
    • 1 schematisch einen Aufbau einer Ausführungsform der Erfindung;
    • 2 schematisch ein Ausführungsbeispiel zur Steuerung eines wenigstens teilautonomen Roboters;
    • 3 schematisch ein Ausführungsbeispiel zur Steuerung eines Fertigu ngssystems;
    • 4 schematisch ein Ausführungsbeispiel zur Steuerung eines Zugangssystems;
    • 5 schematisch ein Ausführungsbeispiel zur Steuerung eines Überwachungssystems;
    • 6 eine beispielhafte Szene in der der ein Objekt mittels des Sensors erfasst wird;
    • 7 eine beispielhafte Skizze der vom Sensor erfassten Szene;
    • 8 einen beispielhaften Informationsfluss im oben genannten Systems;
    • 9 einen möglichen Aufbau einer Trainingsvorrichtung.
  • Beschreibung der Ausführungsbeispiele
  • 1 zeigt einen Aktor 10 in seiner Umgebung 20 in Interaktion mit einem Steuerungssystem 40. In vorzugsweise regelmäßigen zeitlichen Abständen wird die Umgebung 20 in einem Videosensor 30 erfasst, der auch durch eine Mehrzahl von Sensoren gegeben sein kann, beispielsweise eine Stereokamera. Das Sensorsignal S - bzw. im Fall mehrerer Sensoren je ein Sensorsignal S - des Sensors 30 wird an das Steuerungssystem 40 übermittelt. Das Steuerungssystem 40 empfängt somit eine Folge von Sensorsignalen S. Das Steuerungssystem 40 ermittelt hieraus Ansteuersignale A, welche an den Aktor 10 übertragen werden.
  • Das Steuerungssystem 40 empfängt die Folge von Sensorsignalen S des Sensors 30 in einer optionalen Empfangseinheit 50, die die Folge von Sensorsignalen S in eine Folge von Eingangsbildern x umwandelt (alternativ kann auch unmittelbar je das Sensorsignal S als Eingangsbild x übernommen werden). Das Eingangsbild x kann beispielsweise ein Ausschnitt oder eine Weiterverarbeitung des Sensorsignals S sein. Das Eingangsbild x umfasst einzelne Frames einer Videoaufzeichnung. Mit anderen Worten wird Eingangsbild x abhängig von Sensorsignal S ermittelt. Die Folge von Eingangsbildern x wird einem Objektidentifikationssystem 60 zugeführt.
  • Objektidentifikationssystem 60 wird vorzugsweise parametriert durch Parameter ϕ, die in einem Parameterspeicher P hinterlegt sind und von diesem bereitgestellt werden.
  • Das Objektidentifikationssystem 60 ermittelt aus den Eingangsbildern x Ausgangsgrößen y. Ausgangsgrößen y werden einer optionalen Umformeinheit 80 zugeführt, die hieraus Ansteuersignale A ermittelt, welche dem Aktor 10 zugeführt werden, um den Aktor 10 entsprechend anzusteuern. Ausgangsgröße y umfasst Informationen über Objekte, die der Videosensor 30 erfasst hat.
  • Der Aktor 10 empfängt die Ansteuersignale A, wird entsprechend angesteuert und führt eine entsprechende Aktion aus. Der Aktor 10 kann hierbei eine (nicht notwendigerweise baulich integrierte) Ansteuerlogik umfassen, welches aus dem Ansteuersignal A ein zweites Ansteuersignal ermittelt, mit dem dann der Aktor 10 angesteuert wird.
  • In weiteren Ausführungsformen umfasst das Steuerungssystem 40 den Sensor 30. In noch weiteren Ausführungsformen umfasst das Steuerungssystem 40 alternativ oder zusätzlich auch den Aktor 10.
  • In weiteren bevorzugten Ausführungsformen umfasst das Steuerungssystem 40 eine Ein- oder Mehrzahl von Prozessoren 45 und wenigstens ein maschinenlesbares Speichermedium 46, auf dem Anweisungen gespeichert sind, die dann, wenn sie auf den Prozessoren 45 ausgeführt werden, das Steuerungssystem 40 veranlassen, das erfindungsgemäße Verfahren auszuführen.
  • In alternativen Ausführungsformen ist alternativ oder zusätzlich zum Aktor 10 eine Anzeigeeinheit 10a vorgesehen.
  • 2 zeigt, wie das Steuerungssystem 40 zur Steuerung eines wenigstens teilautonomen Roboters, hier eines wenigstens teilautonomen Kraftfahrzeugs 100, eingesetzt werden kann.
  • Bei dem Sensor 30 kann es sich beispielsweise um einen vorzugsweise im Kraftfahrzeug 100 angeordneten Videosensor handeln.
  • Das Objektidentifikationssystem 60 ist eingerichtet, aus den Eingangsbildern x Objekte sicher zu identifizieren.
  • Bei dem vorzugsweise im Kraftfahrzeug 100 angeordneten Aktor 10 kann es sich beispielsweise um eine Bremse, einen Antrieb oder eine Lenkung des Kraftfahrzeugs 100 handeln. Das Ansteuersignal A kann dann derart ermittelt werden, dass der Aktor oder die Aktoren 10 derart angesteuert wird, dass das Kraftfahrzeug 100 beispielsweise eine Kollision mit den vom Objektidentifikationssystem 60 sicher identifizierten Objekte verhindert, insbesondere, wenn es sich um Objekte bestimmter Klassen, z.B. um Fußgänger, handelt.
  • Alternativ kann es sich bei dem wenigstens teilautonomen Roboter auch um einen anderen mobilen Roboter (nicht abgebildet) handeln, beispielsweise um einen solchen, der sich durch Fliegen, Schwimmen, Tauchen oder Schreiten fortbewegt. Bei dem mobilen Roboter kann es sich beispielsweise auch um einen wenigstens teilautonomen Rasenmäher oder einen wenigstens teilautonomen Putzroboter handeln. Auch in diesen Fällen kann das Ansteuersignal A derart ermittelt werden, dass Antrieb und/oder Lenkung des mobilen Roboters derart angesteuert werden, dass der wenigstens teilautonome Roboter beispielsweise eine Kollision mit vom Objektidentifikationssystem 60 identifizierten Objekten verhindert.
  • Alternativ oder zusätzlich kann mit dem Ansteuersignal A die Anzeigeeinheit 10a angesteuert werden, und beispielsweise die ermittelten sicheren Bereiche dargestellt werden. Auch ist es beispielsweise beim einem Kraftfahrzeug 100 mit nicht automatisierter Lenkung möglich, dass die Anzeigeeinheit 10a mit dem Ansteuersignal A derart angesteuert wird, dass sie ein optisches oder akustisches Warnsignal ausgibt, wenn ermittelt wird, dass das Kraftfahrzeug 100 droht, mit einem der sicher identifizierten Objekte zu kollidieren.
  • 3 zeigt ein Ausführungsbeispiel, in dem das Steuerungssystem 40 zur Ansteuerung einer Fertigungsmaschine 11 eines Fertigungssystems 200 verwendet wird, indem ein diese Fertigungsmaschine 11 steuernder Aktor 10 angesteuert wird. Bei der Fertigungsmaschine 11 kann es sich beispielsweise um eine Maschine zum Stanzen, Sägen, Bohren und/oder Schneiden handeln.
  • Bei dem Sensor 30 kann es sich dann beispielsweise um einen optischen Sensor handeln, der z.B. Eigenschaften von Fertigungserzeugnissen 12a, 12b erfasst. Es ist möglich, dass diese Fertigungserzeugnisse 12a, 12b beweglich sind. Es ist möglich, dass der die Fertigungsmaschine 11 steuernde Aktor 10 abhängig von einer Zuordnung der erfassten Fertigungserzeugnisse 12a, 12b angesteuert wird, damit die Fertigungsmaschine 11 entsprechend einen nachfolgenden Bearbeitungsschritt des richtigen der Fertigungserzeugnisses 12a, 12b ausführt. Es ist auch möglich, dass durch Identifikation der richtigen Eigenschaften desselben der Fertigungserzeugnisse 12a, 12b (d.h. ohne eine Fehlzuordnung) die Fertigungsmaschine 11 entsprechend den gleichen Fertigungsschritt für eine Bearbeitung eines nachfolgenden Fertigungserzeugnisses anpasst.
  • 4 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines Zugangssystems 300 eingesetzt wird. Das Zugangssystem 300 kann eine physische Zugangskontrolle, beispielsweise eine Tür 401 umfassen. Videosensor 30 ist eingerichtet ist, eine Person zu erfassen. Mittels des Objektidentifikationssystem 60 kann dieses erfasste Bild interpretiert werden. Sind mehrere Personen gleichzeitig erfasst, kann durch eine Zuordnung der Personen (also der Objekte) zueinander beispielweise die Identität der Personen besonders zuverlässig ermittelt werden, beispielsweise durch eine Analyse ihrer Bewegungen. Der Aktor 10 kann ein Schloss sein, dass abhängig vom Ansteuersignal A die Zugangskontrolle freigibt, oder nicht, beispielsweise die Tür 401 öffnet, oder nicht. Hierzu kann das Ansteuersignal A abhängig von der der Interpretation des Objektidentifikationssystem 60 gewählt werden, beispielsweise abhängig von der ermittelten Identität der Person. An Stelle der physischen Zugangskontrolle kann auch eine logische Zugangskontrolle vorgesehen sein.
  • 5 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines Überwachungssystems 400 verwendet wird. Von dem in 5 dargestellten Ausführungsbeispiel unterscheidet sich dieses Ausführungsbeispiel dadurch, dass an Stelle des Aktors 10 die Anzeigeeinheit 10a vorgesehen ist, die vom Steuerungssystem 40 angesteuert wird. Beispielsweise kann vom Objektidentifikationssystem 60 zuverlässig eine Identität der vom Videosensor 30 aufgenommenen Gegenstände ermittelt werden, um abhängig davon z.B. darauf zu schließen, welche verdächtig werden, und das Ansteuersignal A dann derart gewählt werden, dass dieser Gegenstand von der Anzeigeeinheit 10a farblich hervorgehoben dargestellt wird.
  • 6 zeigt eine beispielhafte reale Szene, in der das mit Sensor 30 ausgestatte Kraftfahrzeug 100, auch als Ego-Fahrzeug bezeichnet, sich mit einer Ego-Geschwindigkeit ve fortbewegt und ein Objekt i, im dargestellten Beispiel ein weiteres Kraftfahrzeug, aufnimmt, welches sich mit einer Geschwindigkeit vi fortbewegt.
  • 7 zeigt schematisch eine Ansicht dieses Objekts i, wie es vom Sensor 30 aufgenommen sein kann. Objekt i hat zwei Scheinwerfer, einen ersten an einer ersten Position P1 und einen zweiten an einer zweiten Position P2, die zu Überblendungen im Bild führen können. Objekt i befindet sich in einer Position Pi im aufgenommenen Bild.
  • 8 zeigt beispielhaft den Informationsfluss im Objektidentifikationssystem 60. Zu aufeinanderfolgenden Zeitpunkten tk, tk+1 wird diesem jeweils ein Eingangsbild x zugeführt. Das erste maschinelle Lernsystem NN1 ermittelt hieraus Positionen P1 ,P2 (tk) der Lichtquellen im Eingangsbild zum ersten Zeitpunkt tk, und Positionen P1 ,P2 (tk+1) der Lichtquellen im Eingangsbild zum späteren zweiten Zeitpunkt tk+1. Diese Positionen P1, P2 der Lichtquellen können z.B. durch ein semantisch segmentiertes Bild beschrieben werden, welches die Klassen „Lichtquelle“ und „keine Lichtquelle“ hat. Beide ermittelte Positionen werden dem zweiten maschinellen Lernsystem NN2 zugeführt, das hieraus Objekt i, seine Position Pi , seine Geschwindigkeit vi (bzw. eine Liste der Objekte und ihrer jeweiligen Attribute) und die Ego-Geschwindigkeit ve ermittelt.
  • Das erste maschinelle Lernsystem NN1 ermittelt ferner aus dem Eingangsbild x dessen zugehörige Normalisierung xnorm und führt sie dem dritten maschinellen Lernsystem NN3 zu, das hieraus ebenfalls Objekt i und seine Position Pi (bzw. eine Liste der Objekte und ihrer jeweiligen Positionen) ermittelt.
  • Das vom zweiten maschinellen Lernsystem NN2 ermittelten Objekt i, seine Position Pi , seine Geschwindigkeit vi (bzw. die Liste der Objekte und ihrer jeweiligen Attribute) und die Ego-Geschwindigkeit ve sowie das vom dritten maschinellen Lernsystem NN3 ermittelte Objekt i, und seine Position Pi (bzw. die entsprechende Liste) werden dem vierten maschinellen Lernsystem NN4 übermittelt. Dieses ermittelt hieraus das Ausgangssignal y, welches Informationen über das gesicherte Objekt i und seine gesicherte Position Pi umfasst (bzw. eine Liste der Objekte und ihrer zugehörigen gesicherten Positionen).
  • Jedes dieser vier maschinellen Lernsysteme kann beispielsweise durch ein künstliches neuronales Netz gegeben sein. Das hier illustrierte Verfahren kann als Computerprogramm realisiert und im maschinenlesbaren Speichermedium 46 abgespeichert sein.
  • 9 zeigt einen möglichen Aufbau einer Trainingsvorrichtung 140 zum Trainieren des Objektidentifikationssystems 60. Dieser wird mit Parametern ϕ parametriert, die von einem Parameterspeicher P bereitgestellt werden.
  • Trainingsvorrichtung 140 kann jedes der vier maschinellen Lernsystem NN1, ..., NN4 trainieren. Das jeweils zu trainierende maschinelle Lernsystem ist mit dem Bezugszeichen NN gekennzeichnet.
  • Trainingsvorrichtung 140 umfasst einen Bereitsteller 71, der Eingangsgrößen e und Soll-Ausgangsgrößen as bereitstellt. Eingangsgröße e wird dem zu trainierenden maschinellen Lernsystem NN zugeführt, das hieraus Ausgangsgrößen a ermittelt. Ausgangsgrößen a und Soll-Ausgangsgrößen as werden einem Vergleicher 74 zugeführt, der hieraus abhängig von einer Übereinstimmung den jeweiligen Ausgangsgrößen a und Soll-Ausgangsgrößen as neue Parameter ϕ' ermittelt, die dem Parameterspeicher P übermittelt werden und dort Parameter ϕ ersetzen.
  • Im ersten Schritt wird mit das erste maschinelle Lernsystem NN1 trainiert, welches die Position der Lichtquellen bestimmen und die Eingangsbilder normalisieren soll. Hierbei werden realen Bildern xr, die beispielsweise aus einer Datenbank bereitgestellt werden, an vorgebbaren Positionen P1,s,P2,s künstliche Lichtquellen hinzugefügt. So ergibt sich ein augmentiertes Bild xa. Dieses ist die Eingangsgröße e, die Ausgangsgröße a ist die Normalisierung und die ermittelten Positionen P1 ,P2 der Lichtquellen. Die Soll-Ausgangsgrößen sind das reale Bild xr und die vorgebbaren Positionen P1,s,P2,s. Die Übereinstimmung wird für die Bilder und die Positionen jeweils separat ermittelt. Das erste maschinelle Lernsystem NN1 wird dahin trainiert, dass die Positionen dieser Lichtquellen ausgegeben werden und die Bilder normalisiert werden, d.h. die Lichtquellen wieder entfernt werden.
  • Im zweiten Schritt wird das zweite maschinelle Lernsystem NN2 trainiert. Hierbei werden die Positionen von Objekten mit Lichtquellen (wie z.B. eines Fahrzeugs mit Scheinwerfern) mit Reflektionen von zeitlichen Abfolgen zufälliger Szenen sz erzeugt. Eingangsgröße e ist die Folge der Positionen von Lichtquellen zu zwei aufeinanderfolgenden Zeitpunkten, Soll-Ausgangsgröße as sind die Positionen und die Geschwindigkeiten der Objekte. Das zweite maschinelle Lernsystem NN2 wird dahingehend trainiert, dass es die Positionen und die Geschwindigkeiten der Objekte korrekt rekonstruiert.
  • Die Reihenfolgen von erstem Schritt und zweitem Schritt kann beliebig gewählt werden.
  • Im dritten Schritt wird das dritte maschinelle Lernsystem NN3 trainiert. Dies erfolgt mit Hilfe eines Datensatzes (X,Z) der Folgen von Eingangsbildern enthält X = ((x1,0, x1,1, ..., x1,t), ..., (xn,0, xn,1, ..., xn,t)) und zu jeder Folge (xk,0,xk,1, ...,xk,t) eine Liste (zk,0,zk,1, ...,zk,t) der darin enthalten Objekte mit Attributen Positionen, Geschwindigkeiten und die Ego-Geschwindigkeit. Die gleichen Objekte in verschiedenen Eingangsbildern sind einander zugeordnet. Weiterhin wird zu jedem Eingangsbild x eine Segmentierung bereitgestellt, die insbesondere die darin enthaltenen aktiven Lichtquellen enthält. Mit dem ersten maschinellen Lernsystem NN1 werden aus den Eingangsbildern x des Datensatzes zugehörige Normalisierungen xnorm ermittelt, die als Eingangsgröße e verwendet werden. Soll-Ausgangsgröße as sind die Objekte und ihre Positionen. Das dritte maschinelle Lernsystem NN3 soll trainiert werden, dass es Objekte korrekt erkennt und die Positionen zuverlässig rekonstruiert.
  • Hinsichtlich der Reihenfolge von Schritt 3 ist lediglich zu beachten, dass er nach erfolgtem Schritt 1 erfolgen sollte, damit das erste maschinelle Lernsystem NN1 bereits trainiert ist.
  • Im vierten Schritt wird das vierte maschinelle Lernsystem NN4 trainiert. Hierbei wird das gesamte Objektidentifikationssystem 60 herangezogen, dem das Eingangsbild x des beschriebenen Datensatzes (X,Z) zugeführt wird. Die Ausgangsgröße a ist hier die Ausgangsgröße y des Objektidentifikationssystems 60, als Soll-Ausgangsgröße as werden im Datensatz die entsprechenden Objekte und Attribute vorgehalten. Angepasst werden hier lediglich die Parameter ϕ, die das vierte maschinelle Lernsystem NN4 charakterisieren.
  • Hinsichtlich der Trainingsreihenfolge sollte dieser Schritt als letzter ausgeführt werden.
  • Die vom Trainingssystem 140 ausgeführten Verfahren können als Computerprogramm implementiert auf einem maschinenlesbaren Speichermedium 146 hinterlegt sein und von einem Prozessor 145 ausgeführt werden.
  • Der Begriff „Computer“ umfasst beliebige Geräte zur Abarbeitung vorgebbarer Rechenvorschriften. Diese Rechenvorschriften können in Form von Software vorliegen, oder in Form von Hardware, oder auch in einer Mischform aus Software und Hardware.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102017223264 [0002]

Claims (15)

  1. Computerimplementiertes Verfahren zum sicheren Identifizieren von Objekten in einer mittels eines bildgebenden Sensors (30) empfangenen Folge von Eingangsbildern (x), wobei mittels eines ersten maschinellen Lernsystems (NN1), insbesondere eines künstlichen neuronalen Netzes, aus den Eingangsbildern (x) jeweils Positionen (P1,P2) von Lichtquellen im jeweiligen Eingangsbild (x) ermittelt werden, und wobei insbesondere mittels eines zweiten maschinellen Lernsystems (NN2) aus der sich ergebenden Folge von Positionen (P1,P2) von Lichtquellen Objekte (i) aus der Folge von Eingangsbildern (x) identifiziert werden.
  2. Verfahren nach Anspruch 1, wobei insbesondere mittels des zweiten maschinellen Lernsystems (NN2) neben den identifizierten Objekten (i) auch Attribute (vi,Pi,ve) der identifizierten Objekte (i) in der Folge von Eingangsbildern (x) identifiziert werden.
  3. Verfahren nach Anspruch 1 oder 2, wobei insbesondere mittels des ersten maschinellen Lernsystems (NN1) auch eine Normalisierung (xnorm) des jeweiligen Eingangsbilds (x) ermittelt wird.
  4. Verfahren nach Anspruch 3, wobei mittels eines dritten maschinellen Lernsystems (NN3) aus der Normalisierung (xnorm) des jeweiligen Eingangsbilds (x) Objekte im jeweiligen Eingangsbild (x) identifiziert werden.
  5. Verfahren nach Anspruch 4, wobei mittels eines vierten maschinellen Lernsystems (NN4) aus den mittels des dritten maschinellen Lernsystems (NN3) identifizierten Objekten (i) und aus den aus der Folge der Positionen der Lichtquellen identifizierten Objekten (i) und insbesondere auch aus den identifizierten Attributen (vi,Pi,ve) gesicherte Objekte (i) im Eingangsbild (x) identifiziert werden.
  6. System (60), das eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 5 auszuführen, umfassend das erste maschinelle Lernsystem (NN1) und das zweite maschinelle Lernsystem (NN2).
  7. System (60) nach Anspruch 6 das eingerichtet ist, das Verfahren nach einem der Ansprüche 4 bis 5 auszuführen, umfassend das dritte maschinelle Lernsystem (NN3).
  8. System (60) nach Anspruch 7, das eingerichtet ist, das Verfahren nach Anspruch 5 auszuführen, umfassend das vierte maschinelle Lernsystem (NN4).
  9. Computerimplementiertes Verfahren zum Trainieren des Systems (60) nach einem der Ansprüche 6 bis 8, wobei eine Szene (sz) umfassend Objekte und Lichtquellen an vorgebbaren Positionen im Raum generiert wird und aus der Szene (sz) eine Folge synthetischer Positionen (P1,s,P2,s) von Lichtquellen generiert wird, wie sie von einer Kamera (30) aus einer vorgebbaren Kameraposition aufgenommen würde, wobei das zweite maschinelle Lernsystem (NN2) trainiert wird, aus der Folge synthetischer Positionen (P1,s,P2,s) der Lichtquellen die Position der Objekte abzuleiten.
  10. Verfahren nach Anspruch 9, wobei das erste maschinelle Lernsystem (NN1) mit einem Datensatz trainiert wird, der Paare aus augmentierten Bildern (xa) und zugehörigen vorgebbaren Positionen (P1,s,P2,s) umfasst, wobei die augmentierten Bilder (xa) erhalten wurden, indem zu realen Bildern (xr) an vorgebbaren Positionen (P1,s,P2,s) Lichtquellen künstlich hinzugefügt werden, und wobei das erste maschinelle Lernsystem (NN1) trainiert wird, aus den augmentierten Bildern (xa) die vorgebbaren Positionen (P1,s,P2,5) zu ermitteln.
  11. Verfahren nach Anspruch 10, wobei das erste maschinelle Lernsystem (NN1) ferner mit einem Datensatz trainiert wird, der auch Paare von realen Bildern (xr) und zugehörigen augmentierten Bildern (xa) umfasst, und wobei das erste maschinelle Lernsystem (NN1) trainiert wird, aus den augmentierten Bildern (xa) als normalisierte Daten die zugehörigen realen Bilder (xr) zu ermitteln.
  12. Verfahren nach einem der Ansprüche 9 bis 11, wobei zunächst das erste maschinelle Lernsystem (NN1), vor dem dritten maschinellen Lernsystem (NN3) trainiert wird, und dann das vierte maschinelle Lernsystem (NN4) als letztes trainiert wird.
  13. Trainingsvorrichtung (140), welche eingerichtet ist, das Verfahren nach einem der Ansprüche 9 bis 12 auszuführen.
  14. Computerprogramm, welches eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 5 oder 9 bis 12 auszuführen.
  15. Maschinenlesbares Speichermedium (46, 146), auf dem das Computerprogramm nach Anspruch 14 gespeichert ist.
DE102019209152.0A 2019-06-25 2019-06-25 Verfahren und Vorrichtung zum sicheren Identifizieren von Objekten in Videobildern Pending DE102019209152A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102019209152.0A DE102019209152A1 (de) 2019-06-25 2019-06-25 Verfahren und Vorrichtung zum sicheren Identifizieren von Objekten in Videobildern
US16/903,974 US11580332B2 (en) 2019-06-25 2020-06-17 Method and device for reliably identifying objects in video images
CN202010586397.2A CN112131923A (zh) 2019-06-25 2020-06-24 用于可靠地标识在视频图像中的对象的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019209152.0A DE102019209152A1 (de) 2019-06-25 2019-06-25 Verfahren und Vorrichtung zum sicheren Identifizieren von Objekten in Videobildern

Publications (1)

Publication Number Publication Date
DE102019209152A1 true DE102019209152A1 (de) 2020-12-31

Family

ID=73747561

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019209152.0A Pending DE102019209152A1 (de) 2019-06-25 2019-06-25 Verfahren und Vorrichtung zum sicheren Identifizieren von Objekten in Videobildern

Country Status (3)

Country Link
US (1) US11580332B2 (de)
CN (1) CN112131923A (de)
DE (1) DE102019209152A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9652980B2 (en) * 2008-04-24 2017-05-16 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US10235601B1 (en) * 2017-09-07 2019-03-19 7D Labs, Inc. Method for image analysis

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI302879B (en) * 2006-05-12 2008-11-11 Univ Nat Chiao Tung Real-time nighttime vehicle detection and recognition system based on computer vision
JP4702426B2 (ja) * 2008-10-10 2011-06-15 株式会社デンソー 車両検出装置、車両検出プログラム、およびライト制御装置
DE102011077038A1 (de) * 2011-06-07 2012-12-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs
JP5892876B2 (ja) * 2011-07-28 2016-03-23 クラリオン株式会社 車載用環境認識装置
JP5666538B2 (ja) * 2012-11-09 2015-02-12 富士重工業株式会社 車外環境認識装置
JP5820843B2 (ja) * 2013-05-29 2015-11-24 富士重工業株式会社 周囲環境判定装置
US9275289B2 (en) * 2014-03-27 2016-03-01 Xerox Corporation Feature- and classifier-based vehicle headlight/shadow removal in video
JP6365477B2 (ja) * 2015-09-16 2018-08-01 トヨタ自動車株式会社 物体認識装置及び汚れ検出方法
JP7044062B2 (ja) * 2016-07-04 2022-03-30 日本電気株式会社 対象物認識システム、対象物認識装置、対象物認識方法、及びプログラム
US20180211120A1 (en) * 2017-01-25 2018-07-26 Ford Global Technologies, Llc Training An Automatic Traffic Light Detection Model Using Simulated Images
US10453208B2 (en) * 2017-05-19 2019-10-22 Waymo Llc Camera systems using filters and exposure times to detect flickering illuminated objects
DE102017223264A1 (de) 2017-12-19 2019-06-19 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ansteuern eines Aktors
JP7131617B2 (ja) * 2018-03-06 2022-09-06 オムロン株式会社 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体
CN111788102B (zh) * 2018-03-07 2024-04-30 罗伯特·博世有限公司 用于跟踪交通灯的里程计***和方法
EP3553694A1 (de) * 2018-04-12 2019-10-16 Aptiv Technologies Limited Abstandsschätzung von fahrzeugscheinwerfern
US11126873B2 (en) * 2018-05-17 2021-09-21 Zoox, Inc. Vehicle lighting state determination
US11881018B2 (en) * 2018-07-10 2024-01-23 Hangzhou Taro Positioning Technology Co., Ltd. Detecting dual band infrared light source for object tracking
US11030458B2 (en) * 2018-09-14 2021-06-08 Microsoft Technology Licensing, Llc Generating synthetic digital assets for a virtual scene including a model of a real-world object
US10929714B2 (en) * 2018-11-19 2021-02-23 Ford Global Technologies, Llc High-throughput automated annotation of visual data for training neural networks used for landmark detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9652980B2 (en) * 2008-04-24 2017-05-16 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US10235601B1 (en) * 2017-09-07 2019-03-19 7D Labs, Inc. Method for image analysis

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALMAGAMBETOV, A. [et al.]: Robust and computationally lightweight autonomous tracking of vehicle taillights and signal detection by embedded smart cameras. In: IEEE Transactions on Industrial Electronics, 2015, 62. Jg., Nr. 6, S. 3732-3741.URL: https://ieeexplore.ieee.org/iel7/41/4387790/07031905.pdf[abgerufen am 07.05.2020] *
LEE, Kuan-Hui, et al. An Attention-based Recurrent Convolutional Network for Vehicle Taillight Recognition. In: 2019 IEEE Intelligent Vehicles Symposium (IV). IEEE, 2019, S. 2365-2370.URL: https://ieeexplore.ieee.org/iel7/8792328/8813768/08814278.pdf[abgerufen am 07.05.2020] *
ZOU, Q. [et al.]: Robust nighttime vehicle detection by tracking and grouping headlights. In: IEEE Transactions on Intelligent Transportation Systems, 2015, 16. Jg., Nr. 5, S. 2838-2849.URL: https://ieeexplore.ieee.org/iel7/6979/4358928/07111283.pdf[abgerufen am 06.05.2020] *

Also Published As

Publication number Publication date
US20200410294A1 (en) 2020-12-31
US11580332B2 (en) 2023-02-14
CN112131923A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
AT521607B1 (de) Verfahren und Vorrichtung zum Testen eines Fahrerassistenzsystem
WO2005048195A2 (de) Verfahren zur korrespondenzanalyse in bilddatensätzen
EP3977430A1 (de) Verfahren und vorrichtung zur detektion von rauch
DE102016223094A1 (de) Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
DE102016223106A1 (de) Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
EP2483834B1 (de) Verfahren und Vorrichtung zum Erkennen einer Fehldetektion eines Objekts in einem Bild
EP3584748A1 (de) Verfahren zur erzeugung eines testdatensatzes, verfahren zum testen, verfahren zum betreiben eines systems, vorrichtung, steuerungssystem, computerprogrammprodukt, computerlesbares medium, erzeugung und verwendung
DE102020201939A1 (de) Verfahren und Vorrichtung zur Bewertung eines Bildklassifikators
DE10049366A1 (de) Verfahren zum Überwachen eines Sicherheitsbereichs und entsprechendes System
DE19600958A1 (de) Interaktives Überwachungssystem
DE102019209152A1 (de) Verfahren und Vorrichtung zum sicheren Identifizieren von Objekten in Videobildern
DE102019213009A1 (de) Aufbereitung von Radarsignalen mit Unterdrückung von Bewegungsartefakten
DE102022201679A1 (de) Verfahren und Vorrichtung zum Trainieren eines neuronalen Netzes
DE102019208008A1 (de) Verfahren und Vorrichtung zum sicheren Zuordnen identifizierter Objekte in Videobildern
DE102018201909A1 (de) Verfahren und Vorrichtung zur Objekterkennung
DE19641000C2 (de) Verfahren und Anordnung zur automatischen Erkennung der Anzahl von Personen in einer Personenschleuse
DE102019209228A1 (de) Verfahren und Vorrichtung zum Überprüfen der Robustheit eines künstlichen neuronalen Netzes
WO2022122196A1 (de) Optische schienenwegerkennung
DE102021206625A1 (de) Computerimplementiertes Verfahren und System zur Unterstützung einer Installation eines bildgebenden Sensors und Trainingsverfahren
DE102021204040A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Erstellung von Trainingsdaten im Fahrzeug
DE102020208309A1 (de) Verfahren und Vorrichtung zum Erstellen eines maschinellen Lernsystems
EP3701428B1 (de) Verfahren und vorrichtung zum verbessern der robustheit eines maschinellen lernsystems
EP3772017A1 (de) Bahnsignalerkennung für autonome schienenfahrzeuge
DE102019209153A1 (de) Verfahren und Vorrichtung zum sicheren Klassifizieren und/oder Segmentieren von Bildern
DE102019202451A1 (de) Glättung für Bildklassifikation

Legal Events

Date Code Title Description
R163 Identified publications notified
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000