-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Anlernen eines lernfähigen Algorithmus. Weiter betrifft die Erfindung ein Computerprogrammprodukt, ein Fahrerassistenz-System und ein Fahrzeug.
-
Insbesondere autonom fahrende Fahrzeuge sind heute mit selbstlernenden Algorithmen ausgestattet. Die selbstlerenden Algorithmen dienen hierbei zur Unterstützung bei der Verkehrsführung. Solche selbstlernenden Algorithmen müssen in der Regel angelernt werden.
-
Für den Prozess des Anlernens ist bis heute ein sogenanntes Labeling notwendig. Bei einem solchen Labeling werden Objekte in Bildern händisch markiert und gegebenenfalls einer Klasse zugeordnet. Die Markierung erfolgt hierbei durch Personen, welche die jeweilig relevanten Objekte in dem Bild mit einem Rahmen kennzeichnen.
-
Die Bilder oder Bildausschnitte mit den jeweilig relevanten Objekten werden einem lernfähigen Algorithmus bereitgestellt.
-
Der lernfähige Algorithmus wird mit Hilfe solcher gekennzeichneten Bilder angelernt und kann nach dem Anlernen selbstständig solche Objekte erkennen und die Verkehrsführung anhand der erkannten Objekte gestalten.
-
Nachteilhaft ist das händische Kennzeichnen der relevanten Objekte aufwendig und somit teuer. Überdies eine solche ein solches Kennzeichnen fehleranfällig.
-
Dieses Problem adressieren beispielhaft die Dokumente
US 2019/0246844 A1 oder
US 2018/0325442 A1 .
-
Die
AU 2018267553 A1 offenbart ein System und Verfahren zum Anlernen eines Fahrzeugs.
-
Die
US20190302883 A1 beschreibt eine Stabilisierung eines Retina-Displays für Augmented Reality.
-
Im Lichte des Standes der Technik ist es Aufgabe der Erfindung, ein Anlernen eines selbstlernenden Algorithmus zu vereinfachen und eine Verkehrsführung zu verbessern.
-
Die Aufgabe wird durch ein Verfahren nach Anspruch 1 gelöst. Darüber hinaus wird die Aufgabe durch ein Computerprogrammprodukt gemäß Anspruch 7 gelöst. Weiter wird die Aufgabe durch ein Fahrerassistenz-System gemäß Anspruch 8 und durch ein Fahrzeug gemäß Anspruch 9 gelöst. Darüber hinaus wird die Aufgabe durch eine Vorrichtung gemäß Anspruch 10 gelöst.
-
Vorteilhafte Ausgestaltungen der Erfindung sind jeweils Gegenstand der abhängigen Ansprüche.
-
(PA1) Bei dem Verfahren zum Anlernen eines lernfähigen Algorithmus zur Unterstützung einer Verkehrsführung wird eine Blickrichtung einer Person mit Hilfe eines ersten Sensors ermittelt, wobei zumindest ein Bild mit einem zweiten Sensor erfasst wird, wobei das Bild zumindest einen Bildbereich mit jeweils einem Objekt umfasst, wobei der Bildbereich anhand der ermittelten Blickrichtung der Person ermittelt wird, wobei der jeweilige Bildbereich dem lernfähigen Algorithmus bereitgestellt wird, wobei der lernfähige Algorithmus die von den jeweiligen Bildbereichen umfassten Objekten jeweils einer Klasse zuordnet und wobei eine Bewertung der jeweiligen Klasse auf Relevanz für die Verkehrsführung erfolgt.
-
Definitionen für die Erfindung
-
Unter einer Verkehrsführung kann eine Bewegung eines Fahrzeugs in einer Verkehrssituation, beispielhaft auf einer Straße, verstanden werden.
-
Ein solcher lernfähiger Algorithmus kann jeweils ein künstliches neuronales Netz, eine Vector-Support Machine oder ein Algorithmus auf Basis eines Decision-Trees sein.
-
Der erste Sensor ist vorzugsweise als Kamera, insbesondere als Eye-Tracker, ausgebildet.
-
Der zweite Sensor ist vorzugsweise als Kamera oder als Radar oder LIDAR-Sensor ausgebildet.
-
Der erste Sensor dient vorzugsweise dazu, die Blickrichtung der Person zu ermitteln. Anhand der Blickrichtung wird der Bildbereich bestimmt, welchen die Person entsprechend der Blickrichtung betrachtet.
-
Der zweite Sensor dient vorzugsweise zur Erfassung eines Bildes oder mehrerer Bilder. Vorzugsweise dient der zweite Sensor zur Erfassung solcher Bilder oder Bildbereiche, welche der Blickrichtung einer Person entsprechen. Ein Bildbereich ist beispielhaft ein Teil des Bildes welches ein Kraftfahrzeug umfasst. Der Bildbereich ist vorteilhaft ein Teil einer Ansicht, Der Bildbereich ist derart wählbar, wie sie sich dem Fahrer des Autos zeigt.
-
Der jeweilige Bildbereich umfasst vorzugsweise ein Objekt. Ein Objekt kann ein Fahrzeug, ein Fußgänger, ein Radfahrer, ein Verkehrsschild, eine Verkehrsampel oder eine Fahrbahnmarkierung sein.
-
Eine Verkehrsführung kann dabei die Steuerung eines gerichteten Antriebs eines Fahrzeugs als Teil des Verkehrs sein. Alternativ oder zusätzlich kann unter einer Verkehrsführung eine Steuerung eines Verkehrsleitsystem, welches den Verkehr mit einer Vielzahl von Fahrzeugen steuert oder zumindest beeinflusst, gemeint sein.
-
Der lernfähige Algorithmus wird vorzugsweise mit Hilfe der Objekte angelernt, welche der jeweilige Bildbereich umfasst.
-
Der Bildbereich ist vorteilhaft derart ausgebildet, dass er das jeweils enthaltene Objekt vollumfänglich umfasst. Vorteilhaft entsprechen die Ränder des Bildbereiches im Wesentlichen den Rändern des jeweils umfassten Objektes.
-
Die Größe des Bildbereiches kann optional mit Hilfe des ersten Sensors ermittelt werden. Vorzugsweise wird hierzu die Linsenform eines jeweiligen Auges einer Person ermittelt und anhand der Linsenform die Sichtweite oder die Fokussierung des jeweiligen Auges ermittelt. Durch einen Abgleich mit dem Bild, welches mit dem zweiten Sensor ermittelt worden ist, kann die Größe des jeweiligen Bildbereiches und/oder des jeweiligen Objektes ermittelt werden.
-
Vorteilhaft sind Objekt jeweils einer Klasse zuordnebar. Vorteilhaft können beispielhaft alle Kraftfahrzeuge der Klasse „Kraftfahrzeuge“ oder alle Fußgänger der Klasse „Fußgänger“ zugeordnet werden.
-
Vorteilhaft werden Klassen für die Objekte definiert, welche einen direkten oder einen nicht-direkten Einfluss auf die Verkehrsführung haben.
-
Vorteilhaft gibt es Klassen mit relevanten Objekten, wie Fahrzeuge oder Verkehrsschilder. Darüber hinaus können Klassen mit vermeintlich nicht-relevanten Objekten wie Werbetadeln definiert sein.
-
Einen direkten Einfluss auf die Verkehrsführung haben beispielhaft Verkehrsschilder, (Kraft-) Fahrzeuge, Fahrbahnmarkierungen oder Radfahrer.
-
Einen nicht-direkten oder keinen Einfluss auf die Verkehrsführung sind beispielhaft Werbetafeln, Gebäude und deren Elemente wie Fenster oder Pflanzen am Straßenrand. Objekte mit einem nicht-direkten Einfluss auf die Verkehrsführung können nicht-relevante Objekte für die Verkehrsführung sein.
-
Funktionsweise der Erfindung
-
Die Erfindung dient vorteilhaft zur Aufnahme von Bildern, wobei den Bildern mit gekennzeichneten Bildbereichen aufgenommen werden. Die Erfindung macht sich zu Nutze, dass eine Person vorzugsweise den für die Verkehrsführung relevanten Objekten Beachtung schenkt und die Person seine/ihre Blickrichtung auf solche relevanten Objekte richtet.
-
Die Blickrichtung wird mit dem ersten Sensor erfasst. Der Blickrichtung wird ein Bildbereich aus dem Bild zugeordnet, wobei das Bild von dem zweiten Sensor erfasst wird. Es wird davon ausgegangen, dass die Person zu einem überwiegenden Anteil der Zeitbereiche die Blickrichtung auf relevante Objekte richtet.
-
So wird vorteilhaft in einem Verfahren Bilder mit den entsprechenden Bildbereichen ermittelt und bereitgestellt. Die jeweiligen Bildbereiche zeigen/umfassen vorzugsweise Objekte, vorteilhaft die relevanten Objekte.
-
Vorteilhaft ist dadurch eine aufwendige händische Zuordnung von Objekten in Bildern erheblich vereinfacht bzw. oft nicht mehr notwendig.
-
Bei einer vorteilhaften Ausgestaltung der Erfindung erfolgt eine Einteilung der Objekte in
- - eine erste Klasse für die Verkehrsführung relevante Objekte und
- - eine zweite Klasse für die Verkehrsführung nicht-relevante Objekte,
wobei die Einteilung anhand eines direkten Einflusses der Objekte der jeweiligen Klasse auf die Verkehrsführung erfolgt.
-
Relevante Objekte sind vorzugsweise solche Objekte, welche die Verkehrsführung beeinflussen. Relevante Objekte können Ampeln, Verkehrszeichen, Fahrbahnmarkierungen, oder weitere Fahrzeuge sein. Demnach kann eine Klasse für relevante Objekte definiert werden. Bevorzugt werden relevante Objekte dem Typ nach in Klassen eingeteilt, beispielhaft eine Klasse für Kraftfahrzeuge und eine weitere Klasse für Verkehrszeichen.
-
Nicht-relevante Objekte sind beispielhaft Fenster, Werbeschilder, Gebäude oder sonstige, außerhalb der Fahrbahn positionierte, Gegenstände sein. Vorteilhaft können nicht relevante Objekte in einer gemeinsamen Klasse subsummiert oder gar nicht betrachtet werden.
-
Vorzugsweise richtet die Person die Blickrichtung vorwiegend auf relevante Objekte. Durch eine Konzentration der Blickrichtung können Bildbereiche mit zumindest überwiegend relevanten Objekten in den aufgenommenen Bildern ermittelt und/oder bereitgestellten Bildern gekennzeichnet werden.
-
Durch eine Unterscheidung von relevanten Objekten und nicht-relevanten Objekten kann ein lernfähiger Algorithmus verbessert angelernt werden. Das verbesserte Anlernen dieser vorteilhaft lediglich erfolgt daher, dass der jeweilige lernfähige Algorithmus lediglich mit Objekten, welche für die Verkehrsführung relevant sind, angelernt wird.
-
Durch die Einteilung der Objekte in relevante Objekte und nicht-relevante Objekte kann ein lernfähiger Algorithmus vorteilhaft besonders einfach und effizient angelernt werden.
-
Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung dient zur Ermittlung des direkten Einflusses ein weiterer lernfähiger Algorithmus, wobei der weitere lernfähige Algorithmus zumindest mit:
- - dem jeweiligen Objekt der jeweiligen Klasse und
- - der jeweiligen Reaktion zumindest eines Verkehrsteilnehmers ermittelt.
-
Mit Hilfe des weiteren lernfähigen Algorithmus erfolgt vorteilhaft eine Einteilung der in den jeweiligen Bildbereichen gezeigten Objekte in
- - relevanten Objekte
- - nicht-relevante Objekte.
-
Vorteilhaft werden solche Objekte als relevant gewertet, insofern diese Objekte eine Reaktion eines Verkehrsteilnehmers, insbesondere der Person, in Verbindung gebracht werden können.
-
Vorteilhaft wird der jeweiligen Klasse die Wesentlichkeit für die Verkehrsführung zugeordnet.
-
Eine Reaktion kann eine Richtungsänderung und/oder ein Abbremsen oder Beschleunigen der Person und/oder eines weiteren Verkehrsteilnehmers sein.
-
Demnach kann unter einer direkten Kausalität verstanden werden, dass bei Auftreten eines relevanten Objektes eine Reaktion auf die Verkehrsführung erfolgt.
-
Beispielhaft kann ein eine Reaktion auf das Auftreten einer roten Ampel-Leuchte sein, dass Fahrzeuge auf der Fahrspur vor der entsprechenden roten Ampel-Leuchte bremsen.
-
Durch eine Erfassung einer Reaktion eines Objektes auf die Verkehrsführung kann besonders einfach bestimmt werden, ob ein Objekt für die Verkehrsführung relevant ist oder nicht.
-
(PA2) Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung erfolgt anhand der jeweiligen Reaktion der Verkehrsführung auf das Objekt eine Einteilung des jeweiligen Objektes in ein relevantes Objekt oder in eine erste Klasse oder eine nicht-relevantes Objekt oder in eine zweiten Klasse.
-
Durch die Reaktion anhand des Auftretens einer Reaktion bei Auftreten eines Objektes kann ermittelt werden, ob das jeweilige Objekt oder die jeweilige Klasse der Objekte relevant für die Verkehrsführung ist.
-
Alternativ oder zusätzlich kann eine Veränderung der Blickrichtung der Person bei Auftreten eines Objektes erfasst werden.
-
Beispielhaft kann bei Auftreten eines Objektes „Vorfahrt gewähren“ erfasst werden, dass die Person Fahrzeuge oder Radfahrer auf einer angrenzenden Fahrbahn oder Fahrspur beachtet.
-
Durch die Erfassung kann besonders vorteilhaft eine Bedeutung des jeweiligen Objektes für die Verkehrsführung ermittelt werden.
-
Weiter beispielhaft kann bei Auftreten eines besonders jungen Fußgängers oder Radfahrers eine besondere Fokussierung auf das Verhalten desjenigen Objektes und optional eine Reduktion der Geschwindigkeit erfasst werden. So kann beispielhaft ein lernfähiger Algorithmus für ein Fahrzeug, insbesondere ein zumindest teilautonom angetriebenes Fahrzeug, derart angelernt werden, dass erkannte Objekte wie ein besonders junger Fußgänger eine erhöhte Aufmerksamkeit bedarf. Optional kann berücksichtigt werden, dass das Verhalten des entsprechenden Objektes stärker veränderbar ist als andere Objekte wie andere Fahrzeuge auf derselben Fahrspur.
-
Insbesondere durch das Erkennen von Relationen von Objekt im jeweiligen Bildbereich mit dem entsprechenden Objekt kann der lernfähige Algorithmus verbessert angelernt werden.
-
(PA3) Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung basiert der lernfähige Algorithmus und/oder der weitere lernfähige Algorithmus auf einem künstlichen neuronalen Netz, insbesondere auf einem Deep-Learning-Verfahren.
-
Künstliche neuronale Netze finden bereits im Rahmen der Verkehrsführung Anwendung. Besonders vorteilhaft eignen sich künstliche neuronale Netze, welche auf einem Deep-Learning-Ansatz basiert, da derartige neuronale Netze effizient angelernt werden können.
-
Insbesondere können künstliche neuronale Netze auf einem integrierten Schaltkreis abgebildet werden. So kann beispielhaft eine aufwendige Recheneinheit bei der Steuerung eines Fahrzeugs eingespart werden.
-
(PA4) Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung sind die Objekte der jeweiligen Klasse Arten von Verkehrsteilnehmer, Verkehrsschilder, Fahrbahnmarkierungen oder Fahrzeugbeleuchtungen.
-
Vorzugsweise umfasst eine erste Klasse motorisierte Fahrzeuge, eine zweite Klasse Radfahrer, eine dritte Klasse Fußgänger. Optional umfasst eine vierte Klasse Verkehrsschilder. Darüber hinaus kann eine fünfte Klasse Fahrbahnmarkierungen umfassen. Schließlich kann eine sechste Klasse erkannte Leuchtquellen oder reflektierende Elemente umfassen.
-
Vorzugsweise erfolgt eine Konzentration der Blickrichtungen auf Objekte einer hier genannten Klasse, so dass vorwiegend Bildbereiche bereitgestellt werden, welche Objekte aus der entsprechenden Klasse umfassen.
-
Alternativ oder zusätzlich kann die Person seine/ihre Blickrichtung auf Objekte der entsprechenden Klasse verstärkt ausrichten.
-
Durch eine Einteilung von Objekten in entsprechende Klassen kann zum einen eine Prüfung der Auswahl der Bildbereiche als auch das Anlernen des lernfähigen Algorithmus besonders einfach erfolgen.
-
(PA5) Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung werden die jeweilige Klasse von Objekten in einer Galerie dargestellt, wobei die Person und/oder ein Bilderkennungsalgorithmus Bildbereiche aussortiert, die kein Objekt der jeweiligen Klasse zeigt.
-
Alternativ oder zusätzlich können Bildbereiche mit Objekten in der Galerie dargestellt werden, welche noch keiner Gruppe zugeordnet worden sind.
-
Vorzugsweise zeigt eine solche Galerie die Bildbereiche, welche mit einer hohen Wahrscheinlichkeit das jeweilige Objekt der entsprechenden Klasse zeigen oder umfassen, in einer benachbarten Anordnung.
-
Vorzugsweise sind einzelne Bildbereiche auswählbar. Vorzugsweise werden solche Bildbereiche ausgewählt, welche kein Objekt oder ein nicht-relevantes Objekt zeigen. Alternativ oder zusätzlich können Bildbereiche mit Objekten ausgewählt werden, welche Objekte einer nicht erwarteten Klasse zeigen.
-
Vorteilhaft kann mit Hilfe der Darstellung der Bildbereiche dem jeweiligen Objekt und/oder dem jeweiligen Bildbereiche eine Klasse zugeordnet werden und/oder die jeweilige Klasse angepasst oder verändert werden.
-
Durch die Auswahl der Bildbereiche können einzelne Bildbereiche, beispielsweise Bildbereiche, welche keine oder nicht die vorgesehenen Objekte zeigen, nicht zum Anlernen des lernfähigen Algorithmus bereitgestellt werden.
-
Durch die Anzeige der Bildbereiche in einer Galerie können Bildbereiche, welche nicht das vorgesehene Objekt zeigen, einfach aussortiert werden.
-
Durch den Einsatz der Galerie kann das Anlernen des lernfähigen Algorithmus erheblich verbessert werden, da auf einfache und schnelle Art und Weise nicht oder falsch klassifizierte Bildbereich oder Objekte aussortiert werden können.
-
(PA6) In einer weiteren vorteilhaften Ausgestaltung der Erfindung wird ein Bildbereich dann bereitgestellt, falls die jeweilige Blickrichtung zumindest einen Zeitbereich auf das Objekt gereichtet bleibt.
-
Eine Bereitstellung des jeweiligen Bildbereiches erfolgt vorteilhaft an den lernfähigen Algorithmus und/oder einen weiteren lernfähigen Algorithmus.
-
Vorzugsweise dauert ein solcher Zeitbereich zumindest 50 Millisekunden, besonders vorteilhaft dauert ein solcher Zeitbereich zumindest 200 Millisekunden.
-
Unter dem Terminus „gerichtet bleibt“ kann verstanden werden, dass sich die Blickrichtung und somit die Position des Bildbereich in dem Bild im Wesentlichen auf das vermutetet Objekt verbleibt. So kann eine Änderung der Blickrichtung im Bereich eines Raumwinkels von 1 bis 5 Grad als ein „im wesentlichen Verbleiben“ verstanden werden.
-
Durch das kurzzeitige Verbleiben der Blickrichtung können Objekte oder Bildbereiche besonders effizient ausgewählt werden. Ein nachfolgendes Labeling oder ein nachfolgendes Überprüfen der Bildbereiche bzw. der Relevanz der Objekte kann zumindest stark vereinfacht werden.
-
Beschreibung des Computerprogrammproduktes
-
(PA7) Das Computerprogrammprodukt ist zum Ablauf auf einer Recheneinheit vorgesehen, wobei das Computerprogrammprodukt eine Schnittstelle für den zumindest einen ersten Sensor und eine Schnittstelle für den zumindest einen zweiten Sensor aufweist, wobei das Computerprogrammprodukt zur Durchführung eines vorstehend beschriebenen Verfahrens ausgebildet ist.
-
Die Schnittstelle dient vorzugsweise zur Aufnahme des jeweiligen Bildes und/oder zur Aufnahme der jeweiligen Blickrichtung.
-
Die Schnittstelle kann darüber hinaus zur Bereitstellung der Bildbereiche ausgebildet sein. Die Schnittstelle kann eine Software-Schnittstelle oder eine Hardware-Schnittstelle als Teil der Recheneinheit ausgebildet sein.
-
Das Computerprogrammprodukt dient vorzugsweise zur Ermittlung der Bildbereiche anhand der jeweiligen Blickrichtung.
-
Vorzugsweise werden die ermittelten Bildbereiche zum Anlernen eines lernfähigen Algorithmus bereitgestellt.
-
Alternativ kann das Computerprogramm zum Anlernen des lernfähigen Algorithmus und/oder des weiteren lernfähigen Algorithmus ausgebildet sein.
-
Vorzugsweise umfasst das Computerprogramm eine weitere Schnittstelle zu einem Bildschirm, wobei der Bildschirm insbesondere zur Darstellung der Bilder, der Bildbereiche und/oder der Galerie vorgesehen ist.
-
Durch den Einsatz des Computerprogramms kann ein besonders effizientes Anlernen des jeweiligen lernfähigen Algorithmus erfolgen.
-
Vorzugsweise ist der lernfähige Algorithmus zum Einsatz einer Verkehrsführung ausgebildet. Besonders vorteilhaft dient der lernfähige Algorithmus zur Unterstützung eines Fahrerassistenz-Systems. Alternativ oder zusätzlich kann der lernfähige Algorithmus zur Steuerung oder Regelung eines gerichteten Antriebs für ein autonom-bewegbares Fahrzeug ausgebildet sein.
-
Beschreibung Fahrassistenzsystem
-
(PA8) Das Fahrerassistenzsystem weist eine Recheneinheit mit einem lernfähigen Algorithmus und/oder eines weiteren lernfähigen Algorithmus auf, wobei der jeweilige lernfähige Algorithmus mit Hilfe eines vorstehend beschriebenen Verfahrens angelernt worden ist.
-
Das Fahrerassistenzsystem kann als
- - Spurhalte-Assistent,
- - Geschwindigkeitshalte-Assistent,
- - Lichtsteuerung zur verbesserten Ausleuchtung,
- - Verkehrszeichenerkennung und/oder als
- - Objekt-Warnsystem
ausgebildet sein.
-
Der lernfähige Algorithmus dient insbesondere zur Unterstützung bei der Erkennung von Objekten oder Lichtsignalen.
-
Mit einem hier beschriebenen Verfahren kann der lernfähige Algorithmus besonders effizient angelernt werden. Durch das effiziente Anlernen können die Funktion und die Sicherheit des Fahrerassistenz-Systems erhöht werden.
-
Beschreibung Fahrzeug
-
(PA9) Das Fahrzeug umfasst einem Antrieb. Der Antrieb ist vorzugsweise ein gerichteter Antrieb. Das Fahrzeug weist eine Recheneinheit mit zumindest einem lernfähigen Algorithmus auf, wobei der lernfähige Algorithmus mit Hilfe eines Verfahrens gemäß vorstehender Beschreibung angelernt worden ist.
-
Das Fahrzeug ist vorteilhaft ein autonom-bewegbares oder ein zumindest teil-autonom bewegbares Fahrzeug.
-
Der Antrieb ist vorzugsweise ein gerichteter Antrieb. Ein gerichteter Antrieb umfasst vorzugsweise einen Motor zum Antrieb der Räder des Fahrzeuges sowie eine Lenkung zur Ausrichtung der Räder des Fahrzeugs.
-
Beschreibung der Vorrichtung
-
(PA10) Vorrichtung zum Anlernen eines lernfähigen Algorithmus, umfassend zumindest einen ersten Sensor und zumindest einen zweiten Sensor, und eine Recheneinheit, wobei die Recheneinheit zum Anlernen eines lernfähigen Algorithmus und/oder eines weiteren lernfähigen Algorithmus mit einem vorstehenden Verfahren ausgebildet ist.
-
Vorzugsweise umfasst die Vorrichtung eine Recheneinheit, wobei die Recheneinheit ein vorstehend beschriebenes Computerprogrammprogramm umfasst.
-
Der erste Sensor ist vorzugsweise an einem Gestell montiert, wobei der erste Sensor zur Erfassung der Blickrichtung ausgebildet ist. Das Gestell ist vorteilhaft am Kopf der Person befestigbar. Optional ist mit Hilfe des ersten Sensors auf die Fokussierung des jeweiligen Auges erfassbar. Mit Hilfe der erfassten Fokussierung kann vorteilhaft die Größe des jeweiligen Bildbereiches und/oder eine Entfernung des jeweiligen Objektes abgeschätzt werden.
-
Vorzugsweise ist der zumindest eine zweite Sensor so ausgerichtet, dass der zweite Sensor die Bildbereiche erfassen kann, welche durch die Blickrichtung der Person von der Person betrachtet werden. Vorzugsweise ist der zumindest eine zweite Sensor an dem Gestell befestigt.
-
Alternativ kann der erste Sensor in einem Fahrzeug derart befestigt sein, dass der erste Sensor die Blickrichtung der fahrenden Person erfassen kann. Alternativ oder zusätzlich kann der zweite Sensor derart an dem Fahrzeug befestigt sein, so dass mit Hilfe des zweiten Sensors die Bildbereiche entsprechend der erfassten Blickrichtungen erfasst werden können.
-
Zusammenfassend betrifft die Erfindung ein Verfahren und eine Vorrichtung zum Anlernen eines lernfähigen Algorithmus, wobei der lernfähige Algorithmus zur Unterstützung der Verkehrsführung dient. Das Verfahren umfasst zumindest folgende Schritte:
- - Ein erster Sensor erfasst die Blickrichtung einer Person,
- - Ein zweiter Sensor erfasst ein Bild und/oder entsprechend der Blickrichtung der Person Bildbereiche,
- - Objekte in den jeweiligen Bildbereichen werden optional nach Klassen geordnet, vorteilhaft mit Hilfe einer Galerie, von einer Person auf Relevanz geprüft,
- - die Bildbereiche oder die Objekte werden einem lernfähigen Algorithmus bereitgestellt,
- - anhand der Objekte, die von den Bildbereichen oder den Bildern umfasst sind, wird der lernfähige Algorithmus angelernt,
wobei der lernfähige Algorithmus zur Unterstützung der Verkehrsführung eingerichtet und ausgebildet ist.
-
Figurenliste
-
Im Folgenden wird die Erfindung anhand von Figuren näher beschrieben und erläutert. Die in den Figuren jeweils gezeigten Merkmale können zu neuen Ausgestaltungen der Erfindung kombiniert werden. Die in den Figuren gezeigten Merkmalskombinationen schränken die Erfindung in keiner Weise ein.
-
Es zeigen:
- 1 Eine beispielhafte Vorrichtung mit einem ersten und einem zweiten Sensor;
- 2 ein beispielhafter Einsatz eines Verfahrens,
- 3 Blickrichtungen als Funktion der Zeit,
- 4 ein beispielhaftes Bild,
- 5 eine beispielhafte Darstellung,
- 6 ein Fahrzeug sowie
- 7 ein beispielhaftes Schema zum Anlernen eines lernfähigen Algorithmus.
-
1 zeigt eine beispielhafte Vorrichtung 1 mit einem ersten Sensor 3a und einem zweiten Sensor 3a. Der jeweilige Sensor 3a, 3b ist an einer Halterung 5 befestigt. Die Halterung 5 weist eine erste Seite auf, wobei die erste Seite dem Auge einer Person 23 zugewandt ist. Der erste Sensor 3a ist derart ausgerichtet, so dass der erste Sensor 3a das Auge der Person 23 erfassen kann. Der erste Sensor 3a ist dazu eingerichtet, die Position, die Ausrichtung und/oder die Größe der Pupille zumindest eines Auges der Person 23 zu erfassen. Optional ist eine Erfassung der Form der Linse des Auges denkbar. Je nach Aufbau der Vorrichtung 1 kann die Halterung 5 ein Blickfenster 7 aufweisen. Durch das Blickfenster 7 kann die Person 23 ihre Blickrichtung 19 auf die Objekte 9a, 9b richten. Vorteilhaft ist das Blickfenster 7 als Sehhilfe für die Person 23 ausgebildet.
-
Bei der in 1 gezeigten Ausführung ist der erste Sensor 3a als Eye-Tracker ausgebildet und der zweite Sensor 3b ist als Kamera zur Erfassung eines Bildes 17 und/oder zumindest einem Bildbereich 21 ausgebildet.
-
Die Vorrichtung 1, insbesondere die Halterung 5 kann am Kopf der Person 23 lösbar befestigt werden.
-
Weiter ist ein zweiter Sensor 3b an der Halterung 5 befestigt. Der zweite Sensor 3b ist derart ausgerichtet, dass der zweite Sensor 3b das Bild 17 und/oder die Bildbereiche 21 erfassen kann, welches die Person 23 im Blickfeld hat. Das Bild 17 umfasst relevante Objekte 9a und nicht-relevante Objekte 9b. Insbesondere relevante Objekte 9a sind jeweils in einem Bildbereich 21 angeordnet, wobei der jeweilige Bildbereich 21 einer Blickrichtung 19 der Person 23 zugeordnet ist.
-
Das Bild 17 weist oft nicht-relevante Objekte 9b auf. Auch das nicht-relevante Objekt 9a kann einem Bildbereich 21 zugeordnet sein, obgleich vorwiegend relevante Objekte 9a in Bildbereichen 21 angeordnet sind. Relevante Objekte 9a sind vorzugsweise solche Objekte 9a, 9b, welche zum Anlernen eines lernfähigen Algorithmus KI vorgesehen sind.
-
Die Größe des Bildes 17 richtet sich vorzugsweise nach der Ausführung des zweiten Sensors 3b. Vorteilhaft ist das Bild 17 so groß ausgebildet, dass es zumindest die Bildbereiche 21 abdeckt, welche sich durch die möglichen Blickrichtungen 19 ergeben.
-
Relevante Objekte 9a für eine Verkehrsführung sind beispielhaft Fußgänger, Fahrzeuge, Radfahrer, Verkehrsschilder, Ampeln oder Fahrbahnmarkierungen.
-
Nicht-relevante Objekte 9b in einer Verkehrssituation sind beispielhaft Werbetafeln, Fenster, Vögel, Häuser oder Wolken.
-
2 zeigt einen beispielhaften Einsatz eines Verfahrens. Die Figur zeigt ein Fahrzeug 13 auf einer Fahrbahn. Das Fahrzeug 13 weist an seiner Vorderseite einen zweiten Sensor 3b auf, wobei der zweite Sensor 3b als Kamera, insbesondere als eine Monokamera, ausgebildet sein kann. Alternativ oder zusätzlich kann der zweite Sensor 3b auch als LIDAR-Sensor oder als Radar-Sensor ausgebildet sein. Der zweite Sensor 3b dient zur Erfassung der Objekte 9a, 9b vor dem Fahrzeug 13, insbesondere die relevanten Objekte 9a in einem Blickfeld der Person 23, wobei sich die Person 23 im Fahrzeug 13 sitzt. Dem Fahrzeug 13 ist vorteilhaft ein erster Sensor 3a zugeordnet. Vorteilhaft ist der erste Sensor 3a im Innenraum des Fahrzeugs 13 derart positioniert, dass er die Blickrichtung des Fahrers und/oder des Beifahrers des Fahrzeugs 13, hier der Person 23, erfassen kann.
-
In einem ersten Schritt des Verfahrens blickt die Person 23, vorzugsweise als Fahrer des Fahrzeugs 13, aus der Windschutzscheibe auf die für die Verkehrsführung relevanten Objekte 9a. Während der Fahrt des Fahrzeugs 13 richtet die Person 23 ihre Blickrichtung 19 zumindest vorwiegend auf die relevanten Objekte 9a. In dem gezeigten Beispiel sind die relevanten Objekte 9a eine Ampel und ein Verkehrszeichen.
-
Die Wolke an der oberen Seite der Figur wird von der Person 23 nicht betrachtet. Mit anderen Worten richtet die Person 23 ihre Blickrichtung 19 nicht oder nur unerheblich kurz auf die Wolke. Die im oberen Bereich der Figur dargestellte Wolke wird daher von der Person nicht betrachtet und ist demnach mit einer hohen Wahrscheinlichkeit ein nicht-relevantes Objekt 9b für die Verkehrsführung.
-
Die jeweilige Blickrichtung 19 der Person 23 wird mit Hilfe des ersten Sensors 3a ermittelt. Anhand der Blickrichtung 19 werden Bildbereiche 21 aus einem Bild 17 bestimmt, wobei das Bild 17 mit Hilfe des zweiten Sensors 3b erfasst werden.
-
In diesem Beispiel richtet die Person 23 zu einem ersten Zeitpunkt t1 ihre Blickrichtung 19 auf das erste relevante Objekt 9a. Zu einem zweiten Zeitpunkt t2 richtet die Person 23 ihre Blickrichtung 19 auf das zweite relevante Objekt 9a. Die jeweilige Blickrichtung 19 wird zu den Zeitpunkten t1, t2 mit Hilfe des ersten Sensors 3a erfasst.
-
Vorteilhaft wird zu den jeweiligen Zeitpunkten t1, t2, t3 die jeweilige Blickrichtung 19 erfasst. Zu den jeweiligen Zeitpunkten t1, t2 wird jeweils ein Bild der Umgebung mit Hilfe des zweiten Sensors 3b erfasst.
-
Mit Hilfe einer Recheneinheit (nicht gezeigt), werden vorteilhaft entsprechend der Blickrichtungen 19 zu den jeweiligen Zeitpunkten t1, t2, t3 Bildbereiche 21 aus dem jeweiligen Bild 17 ermittelt, welches zu dem jeweiligen Zeitpunkt t1, t2 mit Hilfe des zweiten Sensors 3b erfasst worden ist.
-
Es wird angenommen, dass die Person 23 die Blickrichtung 19 zumindest vorwiegend auf relevante Objekte 9a richtet. Daher zeigen die entsprechenden Bildausschnitte vorwiegend relevante Objekte 9a. Diese Bildbereiche 21 können in weiteren Schritten weiterverarbeitet werden und beispielhaft zum Anlernen eines lernfähigen Algorithmus dienen.
-
3 zeigt Blickrichtungen 19 als Funktion der Zeit. Es ist ein Bild 17 gezeigt, wobei das Bild 17 Bildbereiche 21 umfasst. Die Linie 20 symbolisiert den Verlauf der Blickrichtungen 19 einer Person 23 (nicht gezeigt) als Funktion der Zeit. Blickrichtung verändert sich als Funktion der Zeit. Ist die zeitliche Änderung Blickrichtung 19 für einen Zeitbereiche dt begrenzt, kann davon ausgegangen werden, dass die Person 23 ihre Blickrichtung 19 auf ein relevantes Objekt 9b richtet. Die räumliche Begrenzung, welche jeweils durch Kreise symbolhaft dargestellt sind, symbolisieren die im Wesentlichen gleiche Ausrichtung der Blickrichtung 19.
-
Die zeitliche Änderung der Blickrichtung 19 entspricht der Länge der Linie 20 zwischen den, als Punkte gekennzeichnete, jeweilige Änderung der Blickrichtung 19. Verbleibt die Blickrichtung 19 für den Zeitbereich dt in dem Bildbereich 21 oder zumindest im Wesentlichen in dem Bildbereich 21, wie hier für die beiden Bildbereiche 21 durch die verhältnismäßig kleinen Änderungen der Blickrichtungen dargestellt, wird der entsprechende Bildbereich 21 aus dem Bild 17 ausgewählt.
-
Vorzugsweise werden die ausgewählten Bildbereiche 21 hinterlegt und optional einem Labeling-Prozess bereitgestellt (siehe auch 5).
-
4 zeigt ein beispielhaftes Bild 17. Das Bild 17 ist vorzugsweise mit Hilfe eines zweiten Sensors 3b erfasst worden. Das Bild 17 zeigt eine Mehrzahl von Objekten 9a, 9b. Das Bild 19 wurde zur Verkehrsführung mit dem zweiten Sensor 3b aufgezeichnet. Die, für die Verkehrsführung relevanten, Objekte 9a sind ein Verkehrsschild sowie Fahrbahnmarkierungen. Demnach ist ein Bildbereich 21 (hier durch gestrichelte Linien um die Fahrbahnmarkierung gekennzeichnet) der das jeweils relevante Objekt 9a umfasst, vorteilhaft auszuwählen. Beispielhaft wäre ein Fußgänger am Straßenrand ist ein weiteres, für das Verkehrsgeschehen, relevantes Objekt 9a. Die Wolke ist ebenfalls für die Verkehrsführung ein nicht-relevantes Objekt 9b.
-
5 zeigt eine beispielhafte Darstellung. Die Darstellung kann einer Darstellung eines Bildschirmes eines Labeling-Programms entsprechen. Gezeigt sind Bildbereiche 21, wobei die Bildbereiche jeweils Objekte 9a, 9b zeigen. Dem jeweiligen Bildbereich 21 ist jeweils ein Zeitpunkt t1, t2, t3 zugeordnet. Zu einem ersten Zeitpunkt t1 wurde die Blickrichtung 19 auf ein relevantes Objekt 9a gerichtet. Zu einem zweiten Zeitpunkt wurde der Blickrichtung 19 auf ein weiteres relevantes Objekt 9a gerichtet. Zu einem dritten Zeitpunkt t3 wurde der Blickrichtung 19 auf ein drittes, nicht-relevantes Objekt 9b gerichtet.
-
Zu einer besonders schnellen Überprüfung der Relevanz der Objekte 9a, 9b werden die Bildbereiche 21 mit den jeweiligen Objekten 9a, 9b in einer Galerie 15 angeordnet. Die Galerie 15 zeigt die Bildbereiche 21 aneinander angeordnet.
-
Vorzugsweise werden Objekte (9a, 9b), insbesondere relevante Objekte 9a, einer jeweiligen Klasse von Objekten 9a, 9b benachbart in der Galerie 15 benachbart angeordnet dargestellt.
-
Beispielsweise mit Hilfe eines Mauszeigers und/oder durch Anklicken können relevante Objekte 9a oder nicht-relevante Objekte 9b ausgewählt werden. Optional können auch Objekte, 9a, 9b, welche nicht zu der jeweilig vorgesehenen Klasse von Objekten 9a, 9b gehören, ausgewählt werden.
-
Da vorzugsweise die meisten Objekte 9a, 9b der entsprechenden Klasse zugehörig sind, werden lediglich die nicht zur jeweiligen Klasse gehörigen Objekte 9a, 9b ausgewählt und die ausgewählten Objekte 9a, 9b oder die entsprechenden Bildbereiche 21 vorteilhaft nicht zum Anlernen des lernfähigen Algorithmus KI bereitgestellt.
-
Vorzugsweise verschwinden die Bildbereiche, welche kein relevantes Objekt 9a, 9b der vorgesehenen Klasse umfasst/zeigt, aus der Galerie.
-
6 zeigt ein Fahrzeug 13. Das Fahrzeug 13 umfasst eine Steuereinrichtung SE und einen Antrieb M. Der Antrieb M ist vorzugsweise mit einer Lenkeinrichtung und/oder einer Bremseinrichtung des Fahrzeugs 13 gekoppelt und somit als gerichteter Antrieb M ausgebildet.
-
Die Steuereinrichtung SE dient zumindest zur Unterstützung der fahrenden Person 23. Das Fahrzeug 13 umfasst einen zweiten Sensor 3b, wobei der zweite Sensor 3b zur Erfassung eines Bildes 21, insbesondere dem Sichtbereich der Person 23, ausgebildet ist.
-
Der zweite Sensor 3b erfasst vorzugsweise diejenigen Objekte 9a, 9b, welche die Person 23 betrachtet. Die Person 23 betrachtet während der Verkehrsführung aus dem Fahrzeug 13 heraus vorzugsweise relevante Objekte 9a, wie das gezeigte Verkehrsschild. Nicht-relevante Objekte 9a wie das Fenster im Bild 21 werden nicht beachtet. Auf das Fenster wird vorteilhaft nicht die Blickrichtung 19 gerichtet. Die Auswahl der Objekte 9a, 9b wird mit Hilfe des ersten Sensors 3a erfasst. Der erste Sensor 3a ist vorzugsweise als Eye-Tracker ausgebildet.
-
Die erfassten Objekte 9a, 9b oder die entsprechenden Bildbereiche 21 können an die Steuereinrichtung SE übermittelt werden. Die Steuereinrichtung SE kann besonders einfach die mit Hilfe des zweiten Sensors 3b erfassten relevanten Objekten 9a oder den entsprechenden Bildbereichen 21 den die Person 23 bei der Verkehrsführung im Fahrzeugs 13 unterstützen. Die Unterstützung erfolgt vorzugsweise mit Hilfe bekannter Fahrerassistenz-Systeme wie ein Fahrspur-Halte-Assistent, eine Verkehrszeichenerkennung oder ein Abstand-Halte-Assistent.
-
Alternativ kann mit dem gezeigten Fahrzeug das zumindest teilautonome Fahren unterstützt werden. Hierzu werden der Steuereinrichtung SE lediglich oder zumindest vorwiegend Bilder 17 oder Bildbereiche von dem zweiten Sensor 3b bereitgestellt, welche relevante Objekte 9a zeigen. Durch diese Vorauswahl, welche mit Hilfe den jeweils erfassten Blickrichtungen 19 der Person 23 ermittelt werden, kann ein selbstlernender Algorithmus KI besonders effizient angelernt werden. Besonders vorteilhaft kann vorstehend vorgestellte Verfahren zur Unterstützung eines End-to-End-Learing-Algorithm genutzt werden.
-
7 zeigt ein beispielhaftes Schema zum Anlernen eines lernfähigen Algorithmus KI. Dem lernfähigen Algorithmus KI werden Objekte (9a, 9b) oder die entsprechenden Bildbereiche 21 sowie den jeweiligen Objekten 9a, 9b zugeordnete Zeitpunkte t1, t2, t3 bereitgestellt. Darüber hinaus kann dem lernfähigen Algorithmus KI die jeweilige Reaktion 27 auf die Verkehrsführung bereitgestellt werden. Eine Reaktion 27 kann eine Beschleunigung oder Abbremsen durch die Person 23 in dem Fahrzeug 13, ein Ausweichmanöver oder keine Reaktion 27 auf das jeweilige Objekt 9a, 9b sein. Anhand der Reaktion 27 ist es denkbar, dass der lernfähige Algorithmus KI die Relevanz des jeweiligen Objektes 9a, 9b lernt. Beispielhaft kann ein Objekt 9a, 9b dann als relevantes Objekt 9a klassifiziert werden, insofern die Person 23 innerhalb einer vorgebbaren Zeitdauer dt eine Reaktion 27 durchführt.
-
Optional erfolgt ein Zuordnen des jeweiligen Objektes anhand der Reaktion mit Hilfe eines weiteren lernfähigen Algorithmus KI'.
-
Der jeweils angelernte lernfähige Algorithmus KI wird vorzugsweise der Steuereinrichtung SE bereitgestellt.
-
Bezugszeichenliste
-
- 1
- Sensorvorrichtung
- 3a
- erster Sensor
- 3b
- zweiter Sensor
- 5
- Halterung
- 7
- Blickfenster
- 9a
- relevantes Objekt
- 9b
- nicht-relevantes Objekt
- 13
- Fahrzeug
- 15
- Galerie
- 17
- Bild
- 19
- Blickrichtung
- 20
- Linie
- 21
- Bildbereich
- 23
- Person
- 27
- Reaktion
- dt
- Zeitbereich
- t1, t2, t3
- Zeitpunkt
- SE
- Steuereinrichtung
- M
- Antrieb, insbesondere gerichteter Antrieb
- KI
- lernfähige Algorithmus
- KI'
- weiterer lernfähige Algorithmus
-
Zusammenfassend betrifft die Erfindung ein Verfahren zur Auswahl von Bildbereichen 21 in einem Bild 17, insbesondere zur Unterstützung eines Labeling-Verfahrens zur Bereitstellung von gelabelten Bildern 17 oder Bildbereiche 21 zum Anlernen eines lernfähigen Algorithmus KI. Für das Verfahren wird die jeweilige Blickrichtung 19 einer Person 23 mit einem ersten Sensor 3a ermittelt. Anhand der jeweiligen Blickrichtung 19 wird ein Bildbereich 21 aus dem Bild 17 ausgewählt, wobei der jeweilige Bildbereich 21 mit hoher Wahrscheinlichkeit, vorzugsweise größer als 70%, ein Objekt 9a, 9b, insbesondere ein relevantes Objekt 9b, umfasst. Die Bilder 17 und/oder die Bildbereiche 21 können in einem weiteren Schritt einem Computerprogramm zum Labeling von Bildern 17 bereitgestellt werden, wobei das Computerprogramm lediglich ein Nachprüfen der jeweiligen Relevanz der in den Bildern 21 und/oder den Bildbereichen 21 gezeigten Objekten 9a, 9b durchführen kann. Da die Auswahl der relevanten Objekte 9a bereits bei der Aufnahme der Bilder 17 mit Hilfe der Blickrichtung 19 der Person 21 erfolgt, ist das gewöhnlich aufwendige Labeln der Bilder 17 erheblich vereinfacht.
