-
Die vorliegende Erfindung betrifft die automatische Klassifikation von Bilddaten hinsichtlich ihres Inhalts, beispielsweise für das zumindest teilweise automatisierte Führen von Fahrzeugen.
-
Stand der Technik
-
Etwa 90 % der Informationen, die ein menschlicher Fahrer zum Führen eines Fahrzeugs im Straßenverkehr benötigt, sind visuelle Informationen. Für das zumindest teilweise automatisierte Führen von Fahrzeugen ist es daher unabdingbar, Bilddaten gleich welcher Modalität, die bei der Überwachung des Fahrzeugumfelds aufgenommen werden, inhaltlich zutreffend auszuwerten. Von besonderer Bedeutung für die Fahraufgabe ist eine Klassifikation der Bilddaten dahingehend, welche verkehrsrelevanten Objekte in ihnen enthalten sind, wie beispielsweise andere Verkehrsteilnehmer, Fahrbahnmarkierungen, Hindernisse und Verkehrszeichen.
-
Zur Bewältigung dieser Komplexität werden künstliche neuronale Netzwerke eingesetzt. Derartige neuronale Netze können beispielsweise aus mehreren hintereinandergeschalteten Schichten bestehen, in denen die Dimensionalität der Aufgabe durch die Anwendung von Faltungskernen und durch Downsampling deutlich reduziert wird. Derartige neuronale Netze zeichnen sich weiterhin dadurch aus, dass die Daten massiv parallel verarbeitet werden. Die
GB 2 454 857 B gibt ein Beispiel für ein Verfahren, bei dem ein Mikroskopbild mit Hilfe eines selbstlernenden neuronalen Netzes dahingehend klassifiziert wird, welche Objekte es enthält.
-
Für die sicherheitstechnische Bewertung neuronaler Netzwerke und anderer trainierbarer Klassifikatoren ist es wichtig, inwieweit deren Verhalten erklärbar und nachvollziehbar ist.
-
Offenbarung der Erfindung
-
Im Rahmen der Erfindung wurde ein Verfahren zum Trainieren eines Klassifikators für Bilddaten anhand von Lern-Bilddaten und zugehörigen Labels entwickelt. Der Begriff „Bilddaten“ umfasst neben statischen Bildern und Frames (Einzelbildern) aus Filmen oder Bildsequenzen insbesondere auch derartige Filme und Bildsequenzen. Dem kompletten Film, bzw. der kompletten Bildsequenz, wohnt eine zusätzliche Information hinsichtlich der dynamischen Veränderung der Bildinhalte inne. Diese dynamische Qualität fehlt den Einzelbildern. Dass diese dynamische Qualität wichtig ist, ist konsistent damit, dass der Mensch bewegte oder blinkende Bildinhalte gegenüber statischen Bildinhalten bevorzugt wahrnimmt.
-
Die Labels beinhalten jeweils eine Zuordnung zu einer oder mehreren Klassen einer vorgegebenen Klassifikation. Die Klassen können beispielsweise Objekte repräsentieren, die in den Lern-Bilddaten sichtbar sind. In Bilddaten von Verkehrssituationen können diese Objekte insbesondere Fußgänger, andere Fahrzeuge, Fahrbahnbegrenzungen, Verkehrszeichen und andere verkehrsrelevante Objekte sein.
-
Es werden für einige oder idealerweise für alle Datensätze von Lern-Bilddaten jeweils ortsaufgelöste Relevanzkarten bereitgestellt. Diese Relevanzkarten geben an, wie relevant welche räumlichen Bereiche der jeweiligen Lern-Bilddaten für die Beurteilung der in diesen Lern-Bilddaten dargestellten Situation sind. Ein Datensatz von Lern-Bilddaten kann beispielsweise ein statisches Bild oder ein Frame aus einem Film oder einer Bildsequenz sein. Ein Datensatz von Lern-Bilddaten kann aber auch ein Film oder eine Bildsequenz sein. So kann beispielsweise eine dynamische Veränderung in einem bestimmten räumlichen Gebiet im Verlauf eines Films oder einer Bildsequenz schon einen Anlass dafür setzen, dass dieses räumliche Gebiet als besonders relevant eingestuft wird.
-
Die Relevanz kann im einfachsten Fall binär angegeben werden (etwa 0 = nicht relevant, 1 = relevant), aber auch in beliebigen Abstufungen, die eine relative Priorisierung von räumlichen Bereichen in den Bilddaten zueinander ausdrücken können.
-
Aus Datensätzen von Lern-Bilddaten und zugehörigen Relevanzkarten werden Lern-Vorlagen ermittelt. In diesen Lern-Vorlagen sind die Informationen aus den Lern-Bilddaten umso stärker ausgeprägt, je höher die lokale Relevanz gemäß der Relevanzkarte ist. Zu diesem Zweck können beispielsweise in den Lern-Vorlagen räumliche Bereiche, deren lokale Relevanz unterhalb eines vorgegebenen Schwellwerts liegt, ausgeblendet, weichgezeichnet oder in sonstiger Weise unkenntlich gemacht werden.
-
Die Lern-Vorlagen werden dem Klassifikator zugeführt. Daraufhin bildet der Klassifikator die Lern-Vorlagen auf Zuordnungen zu einer oder mehreren Klassen ab. Parameter, die das Verhalten des Klassifikators charakterisieren, werden nun optimiert mit dem Ziel, dass diese Zuordnungen mit den Labels der Lern-Bilddaten, aus denen die Lern-Vorlagen hervorgegangen sind, in Einklang stehen.
-
Wenn der Klassifikator beispielsweise ein künstliches neuronales Netzwerk, KNN, beinhaltet oder ein KNN ist, können die trainierbaren Parameter beispielsweise Gewichte umfassen, mit denen Eingaben von Neuronen oder anderen Verarbeitungseinheiten gewichtet zu einer Aktivierung des jeweiligen Neurons, bzw. der jeweiligen Verarbeitungseinheit, verrechnet werden.
-
Die ortsaufgelöste Relevanzkarte kann aus einer beliebigen Quelle stammen. Sie kann beispielsweise zusammen mit den Labels als weitere Zusatzinformation zu den Lern-Bilddaten mitgeliefert werden. Die ortsaufgelöste Relevanzkarte kann aber auch beispielsweise aus einem weiteren trainierten KNN abgerufen werden. Das heißt, dieses weitere KNN kann speziell auf die Fragestellung trainiert sein, welche räumlichen Bereiche der Bilddaten in welcher Situation besonderer Aufmerksamkeit bedürfen, unabhängig davon, was genau in diesen räumlichen Bereichen der Bilddaten enthalten ist.
-
Es wurde erkannt, dass die Berücksichtigung der Relevanzkarte beim Training das Verhalten des Klassifikators deutlich besser nachvollziehbar und erklärbar macht. Analysen der „heat maps“ derjenigen Bildpixel, die für eine Zuordnung zu bestimmten Klassen (etwa Typen von Objekten) maßgeblich gewesen sind, haben in der Vergangenheit gezeigt, dass die Entscheidung für bestimmte Klassen vielfach auf der Grundlage von Bildpixeln erfolgte, die gar nicht zu den entsprechenden Objekten gehörten. Dieses Verhalten wird durch die Berücksichtigung der Relevanzkarte zumindest teilweise unterdrückt.
-
Der Effekt ist besonders ausgeprägt bei Klassifikatoren, die Bilddaten von Verkehrssituationen verarbeiten. Hier werden in der Regel große Raumwinkel des Umfelds eines Fahrzeugs erfasst. Es ist aber in jeder Situation meistens nur die Information aus einem kleinen Teil dieses Raumwinkels tatsächlich für die Bewältigung der Fahraufgabe relevant. Wäre dies nicht so, hätte ein Mensch, der immer nur in eine Richtung zur Zeit schauen kann, keine Chance, die Fahraufgabe zu meistern. Durch die Berücksichtigung der Relevanzkarte wird die Tendenz unterdrückt, dass eine Erkennung durch den Klassifikator sich auf Bildbereiche abseits des eigentlichen Verkehrsgeschehens „einschießt“.
-
Zugleich wird das Training auch effektiver und schneller, da der Klassifikator nicht mehr lernen muss, Wichtiges von Unwichtigem zu unterscheiden. Es kann also beispielsweise eine Arbeitsteilung geben zwischen dem KNN, das relevante Bildbereiche erkennt, und dem Klassifikator, der anschließend diese Bildbereiche auf ihren Gehalt an Objekten untersucht. Dies ist insgesamt einfacher zu trainieren als ein monolithischer Klassifikator, der beide Aufgaben übernimmt.
-
Die Erfindung bezieht sich auch auf ein Verfahren zum Klassifizieren von Bilddaten mit einem trainierten Klassifikator. Wie zuvor erläutert, können diese Bilddaten neben statischen Bildern insbesondere auch ganze Bildsequenzen oder Filme mit dynamischer Zusatzinformation umfassen.
-
Im Rahmen dieses Verfahrens wird eine ortsaufgelöste Relevanzkarte bereitgestellt, die angibt, wie relevant welche räumlichen Bereiche der Bilddaten für die Beurteilung der in diesen Bilddaten dargestellten Situation sind. Aus den Bilddaten und der ortsaufgelösten Relevanzkarte wird eine Vorlage ermittelt, in der die Informationen aus den Bilddaten lokal umso stärker ausgeprägter sind, je höher die lokale Relevanz gemäß der Relevanzkarte ist. Diese Vorlage wird dem Klassifikator zugeführt und von dem Klassifikator auf eine Zuordnung zu einer oder mehreren Klassen einer vorgegebenen Klassifikation abgebildet.
-
Analog zum Training können hierbei beispielsweise Bereiche, deren lokale Relevanz unterhalb eines vorgegebenen Schwellwerts liegt, ausgeblendet, weichgezeichnet oder in sonstiger Weise unkenntlich gemacht werden.
-
Die Berücksichtigung nur zuvor als relevant identifizierter Bildbereiche unterdrückt die bereits zuvor angesprochene Tendenz, die Klassifikation der Bilddaten an Objekten festzumachen, die gar nicht Teil der aktuell relevanten Verkehrssituation sind. Zugleich ermöglicht sie aber auch eine Verdichtung der Daten, die innerhalb des Fahrzeugs zu übertragen sind. Wenn beispielsweise mehrere Kameras im und am Fahrzeug verbaut sind, dann kann nahe an der jeweiligen Kamera die stark informationsreduzierte Vorlage erstellt werden. Diese Vorlage kann dann über ein Bussystem, das das ganze Fahrzeug versorgt, an einen zentralen Klassifikator weitergeleitet werden, der die Verkehrssituation als Ganzes bewertet. Für diese Übertragung wird dann weniger Bandbreite benötigt.
-
Die meisten heutigen Fahrzeuge sind mit einem CAN-Bus oder anderen Bussystem ausgestattet, an das viele weitere Fahrzeugsysteme angeschlossen sind. Ein solches Bussystem ermöglicht es allen angeschlossenen Teilnehmern, miteinander zu kommunizieren. Gegenüber der früheren Bäume dedizierter Kabel zwischen je zwei Teilnehmern, die miteinander kommunizieren, spart dies erheblichen Verkabelungsaufwand ein. Der Preis hierfür ist jedoch, dass sich die angeschlossenen Teilnehmer die Bandbreite des Bussystems teilen müssen. In der Regel kann immer nur ein Teilnehmer zur Zeit senden. Wenn nun das ganze Fahrzeugumfeld mit einer Mehrzahl von Sensoren (etwa hochauflösenden Kameras) überwacht wird, werden große Datenmengen erzeugt, die sich möglicherweise gar nicht mehr zur Gänze über das Bussystem übertragen lassen. Selbst ein „Highspeed“-CAN-Bus hat nur maximal 1 Mbit/s Bandbreite, was schon für einen Full-HD-Videodatenstrom zu wenig ist. Indem nun aber die Informationsmenge durch Bildung der Vorlage vor der Übertragung über das Bussystem deutlich reduziert wird und die Daten somit verlustbehaftet komprimiert werden, reicht die Bandbreite auch für den Transport der von mehreren Kameras gewonnenen und in gleicher Weise reduzierten Daten aus.
-
Auch beim Klassifizieren von Bilddaten mit dem Klassifikator kann, analog zum Trainieren des Klassifikators, die ortsaufgelöste Relevanzkarte zu mindestens einem Datensatz von Bilddaten aus einem trainierten KNN abgerufen werden.
-
Die Erfindung bezieht sich auch auf ein Verfahren zum Messen einer ortsaufgelösten Relevanzkarte für einen konkreten Datensatz von Bilddaten (bzw. Lern-Bilddaten). Diese ortsaufgelöste Relevanzkarte kann beispielsweise für das Training eines Klassifikators, zur Bildung einer vom Klassifikator zu verarbeitenden Vorlage oder für das Training eines KNN, das ortsaufgelöste Relevanzkarten zu Bilddaten ermittelt, verwendet werden.
-
Bei diesem Verfahren werden die Bilddaten mindestens einer Versuchsperson präsentiert. Die Versuchsperson erhält die Aufgabe, die aus ihrer Sicht relevanten Inhalte der Bilddaten wahrzunehmen und, wenn sie das getan hat, eine Eingabe zu tätigen. Während die Bilddaten präsentiert werden, wird überwacht, welchen räumlichen Bereichen der Bilddaten die Versuchsperson ihre Aufmerksamkeit zuwendet.
-
In Antwort auf die Eingabe von der Versuchsperson, dass sie die relevanten Inhalte der Bilddaten wahrgenommen hat, werden räumliche Bereiche dieser Bilddaten, denen die Versuchsperson zuvor ihre Aufmerksamkeit zugewendet hat, erfasst. Es wird also ermittelt, welche räumlichen Bereiche der Bilddaten den Ausschlag dafür gegeben haben, dass die Versuchsperson den Inhalt der Bilddaten erkannt hat.
-
Hierbei kann optional überprüft werden, ob die Versuchsperson den Inhalt der Bilddaten nicht nur erkannt zu haben glaubt, sondern auch tatsächlich richtig erkannt hat. Es kann also beispielsweise nicht nur eine Eingabe dahingehend angefordert werden, dass die Versuchsperson die relevanten Inhalte der Bilddaten wahrgenommen hat, sondern es kann auch abgefragt werden, was die Versuchsperson ihrer Meinung nach genau erkannt hat. Die Antwort auf diese Frage kann mit einem vorab bekannten Label dahingehend, welche Objekte tatsächlich in den Bilddaten enthalten sind, verglichen werden. Beispielsweise kann auf die Eingabe der Versuchsperson, dass sie die relevanten Inhalte der Bilddaten wahrgenommen hat, die Präsentation beendet (also etwa das Bild oder der Film ausgeblendet) werden, und es können mehrere Objektnamen präsentiert werden, aus denen die Versuchsperson die richtigen auswählen muss. Die Eingabe der Versuchsperson dahingehend, dass die relevanten Inhalte wahrgenommen wurden, kann dann beispielsweise verworfen werden, wenn bei der Nachfrage nicht das richtige Objekt oder nicht zumindest die richtige Objektklasse (etwa „Hund“ oder „Tier“ als Oberklasse von „Husky“) genannt wird.
-
Die lokale Relevanz derjenigen Bereiche, der die Versuchsperson ihre Aufmerksamkeit zugewendet hat, in der Relevanzkarte wird erhöht. Dies kann insbesondere beispielsweise auch im Zusammenspiel vieler Versuchspersonen erfolgen. Aus der Betrachtung der Bilddaten durch jede Versuchsperson kann beispielsweise durch einen Voting-Mechanismus die Information aggregiert werden, welche räumlichen Bereiche der Bilddaten im Mittel als relevant empfunden werden.
-
Welchen räumlichen Bereichen der Bilddaten die Versuchsperson ihre Aufmerksamkeit zuwendet, hängt nicht unbedingt allein von den Bilddaten selbst ab, sondern kann auch durch eine dieser Versuchsperson gestellte Aufgabe beeinflusst sein. So kann beispielsweise in einem Fahrzeug der Fahrer mit der Fahraufgabe beschäftigt sein, während der Beifahrer einen Parkplatz, einen Briefkasten oder ein bestimmtes Geschäft sucht. Wenn also beispielsweise eine Relevanzkarte für das zumindest teilweise automatisierte Führen des Fahrzeugs gemessen wird, sollte eher ein Fahrzeugführer als ein Beifahrer als Versuchsperson herangezogen werden.
-
In einer besonders vorteilhaften Ausgestaltung werden die Kopfhaltung, die Augenposition, und/oder die Augenbewegungen, der Versuchsperson registriert. Die Bereiche, denen die Versuchsperson ihre Aufmerksamkeit zuwendet, können dann aus der Kopfhaltung, der Augenposition und/oder den Augenbewegungen ausgewertet werden. Dies ist ein Indikator, der von der Versuchsperson kaum bewusst beeinflussbar ist. Zugleich steuert gerade ein Fahrer eines Fahrzeugs seine Auswahl dessen, was er vom Verkehrsgeschehen für wichtig erachtet, in der Regel über Kopfhaltung (etwa Schulterblick), Augenposition und/oder Augenbewegungen. Andere Bewegungen sind durch das angeschnallte Sitzen auf dem Fahrersitz eingeschränkt.
-
Alternativ oder auch in Kombination hierzu können in einer weiteren vorteilhaften Ausgestaltung verschiedene Teilbereiche der Bilddaten sukzessive für die Versuchsperson sichtbar werden. Diejenigen Teilbereiche der Bilddaten, die zum Zeitpunkt der Eingabe der Versuchsperson sichtbar sind, können dann als diejenigen Bereiche gewertet werden, denen die Versuchsperson ihre Aufmerksamkeit zuwendet. Dies erfordert keine spezielle Hardware für die Erkennung, worauf die Versuchsperson genau schaut.
-
Insbesondere kann beispielsweise ein und derselbe Datensatz von Bilddaten mehreren Versuchspersonen präsentiert werden. Es können dann beispielsweise diesen Versuchspersonen unterschiedliche Abfolgen sukzessive sichtbar werdender Teilbereiche der Bilddaten präsentiert werden. Dies kann beinhalten, dass die Reihenfolge der sukzessiv sichtbar werdenden Teilbereiche verändert wird, und/oder dass einigen Versuchspersonen Teilbereiche präsentiert werden, die anderen Versuchspersonen nicht präsentiert werden. Im Mittel über diese Versuchspersonen ergibt sich dann eine repräsentative Aussage dahingehend, welche Teilbereiche der Bilddaten beispielsweise für die Beurteilung von Verkehrssituationen relevant sind.
-
Die ortsaufgelöste Relevanzkarte sowie ein KNN, welches solche Relevanzkarten erzeugt, lassen sich darüber hinaus noch nutzen, um zu prüfen, ob ein Fahrzeugführer oder Maschinenbediener seine Aufmerksamkeit aktuell denjenigen Dingen zuwendet, die im Hinblick auf die Sicherheit gerade wichtig sind.
-
Daher bezieht sich die Erfindung auch auf ein Verfahren zur Überwachung und/oder Steuerung der Aufmerksamkeit eines Fahrzeugführers oder Maschinenbedieners. Bei diesem Verfahren werden Bilddaten der Situation, in der sich das geführte Fahrzeug bzw. die bediente Maschine befindet, mit mindestens einem Sensor erfasst. Zu diesen Bilddaten wird eine ortsaufgelöste Relevanzkarte aus einem trainierten künstlichen neuronalen Netzwerk, KNN, abgerufen. Diese ortsaufgelöste Relevanzkarte gibt an, wie relevant welche Bereiche der Bilddaten für die Beurteilung der in diesen Bilddaten dargestellten Situation sind.
-
Auf der Basis dieser Relevanzkarte wird eine Information und/oder Warnung an den Fahrzeugführer bzw. Maschinenbediener ausgegeben. Beispielsweise kann der Fahrzeugführer bzw. Maschinenbediener unabhängig von seinem aktuellen tatsächlichen Verhalten stets darüber informiert werden, welche Aspekte seiner aktuellen Situation aus sicherheitstechnischer Sicht gerade besonders wichtig sind. Sollte sich gar beim Abgleich mit dem tatsächlichen Verhalten des Fahrzeugführers bzw. Maschinenbedieners herausstellen, dass er seine Aufmerksamkeit etwas anderem zuwendet als den aktuell wichtigen Aspekten, kann er mit einer Warnung hierauf hingewiesen werden.
-
Hierhinter steckt die Überlegung, dass es beim Erlernen des Fahrens für einen menschlichen Fahrer eine der größten Herausforderungen ist, in der Informationsflut des Verkehrsgeschehens Wichtiges von Unwichtigem zu trennen. Immer wieder gibt es Situationen, in denen der Fahrschüler seine Aufmerksamkeit ganz einem Aspekt widmet und vom Fahrlehrer darauf hingewiesen werden muss, dass etwas anderes eigentlich wichtiger ist.
-
Darüber hinaus kann beispielsweise in Innenstädten Werbung in Geschäften oder am Straßenrand sehr viel Aufmerksamkeit binden. Die Werbung ist vielfach so aufgemacht, dass bestimmte „Aufhänger“, etwa ein günstiger Preis, in den Vordergrund gestellt und auch von einem vorbeifahrenden Fahrzeug aus zu lesen ist. Der Preis ist dann jedoch mit einem Stern versehen, der auf Bedingungen hinweist, und der Versuch, diese klein geschriebenen Bedingungen zu lesen, zieht möglicherweise sehr viel Aufmerksamkeit vom Verkehrsgeschehen ab.
-
Beispielsweise kann dem Fahrzeugführer oder Maschinenbediener eine Überlagerung der Situation mit einem Hinweis auf mindestens einen räumlichen Bereich der Bilddaten, dessen lokale Relevanz ausweislich der Relevanzkarte einen vorgegebenen Schwellwert überschreitet, präsentiert werden. Zu diesem Zweck kann beispielsweise in einem Head-Up-Display auf einer Windschutzscheibe oder in einer vom Fahrzeugführer bzw. Maschinenbediener getragenen Datenbrille durch Einblenden einer Umrandung oder eines ähnlichen Hinweises der aktuell besonders relevante Bereich der Situation hervorgehoben werden.
-
In einer weiteren besonders vorteilhaften Ausgestaltung werden die Kopfhaltung, die Augenposition, und/oder die Augenbewegungen, des Fahrzeugführers bzw. Maschinenbedieners registriert. Aus der Kopfhaltung, der Augenposition, und/oder den Augenbewegungen, wird ausgewertet, welchen Teil der Situation der Fahrzeugführer bzw. Maschinenbediener vorwiegend beobachtet.
-
Es wird geprüft, inwieweit dieser Teil der Situation im Einklang steht mit mindestens einem räumlichen Bereich der Bilddaten, dessen lokale Relevanz ausweislich der Relevanzkarte einen vorgegebenen Schwellwert überschreitet. In Antwort auf die Feststellung, dass der vorwiegend beobachtete Teil der Situation nicht im Einklang zu dem als besonders relevant erkannten räumlichen Bereich der Bilddaten steht, wird eine für den Fahrzeugführer bzw. Maschinenbediener wahrnehmbare optische, akustische und/oder haptische Warneinrichtung angesteuert.
-
Neben dem beschriebenen Beispiel der Werbung gibt es viele weitere Situationen, in denen gerade Ungewohntes und Unerwartetes plötzlich Aufmerksamkeit bindet. So kann beispielsweise beim Bedienen einer Stanzmaschine plötzlich ein Geldschein ins Blickfeld geraten, der auf dem Boden liegt, weil ihn ein Kollege verloren hat. Der Bediener fixiert dann zunächst diesen Geldschein, statt den Arbeitsbereich der Maschine zu beobachten und insbesondere darauf zu achten, dass beide Hände außerhalb der Gefahrenzone sind. Dies kann durch den Vergleich mit der Relevanzkarte, in der speziell diese Gefahrenzone als besonders relevant eingestuft ist, erkannt werden.
-
Die Verfahren können insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer zu der zuvor beschrieben Vorrichtung aufwerten, und/oder dazu veranlassen, eines der zuvor beschriebenen Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.
-
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
-
Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
-
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
-
Figurenliste
-
Es zeigt:
- 1 Ausführungsbeispiel des Verfahrens 100 zum Trainieren eines Klassifikators 1;
- 2 Ausführungsbeispiel des Verfahrens 200 zum Klassifizieren von Bilddaten 2;
- 3 Beispielhafte Erzeugung einer Vorlage 23 für die Klassifikation aus Bilddaten 2;
- 4 Ausführungsbeispiel des Verfahrens 300 zur Messung einer Relevanzkarte 12, 22;
- 5 Ausführungsbeispiel des Verfahrens 400 zur Überwachung und/oder Steuerung der Aufmerksamkeit eines Fahrzeugführers oder Maschinenbedieners 40.
-
1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100 zum Trainieren eines Klassifikators 1 für Bilddaten 2. In Schritt 110 werden für Lern-Bilddaten 11 jeweils ortsaufgelöste Relevanzkarten 12 bereitgestellt, wobei diese Relevanzkarten 12 gemäß Block 111 beispielsweise aus einem entsprechend trainierten KNN abgerufen werden können. In Schritt 120 werden aus Lern-Bilddaten 11 und zugehörigen Relevanzkarten 12 Lern-Vorlagen 13 ermittelt, in denen die Informationen aus den Lern-Bilddaten 11 lokal umso stärker ausgeprägter sind, je höher die lokale Relevanz gemäß der Relevanzkarte 12 ist. Hierbei können insbesondere gemäß Block 121 räumliche Bereiche, deren lokale Relevanz unterhalb eines vorgegebenen Schwellwerts liegt, ausgeblendet, weichgezeichnet oder in sonstiger Weise unkenntlich gemacht werden.
-
In Schritt 130 werden die Lern-Vorlagen 13 dem Klassifikator 1 zugeführt und auf Zuordnungen zu einer oder mehreren Klassen 3a-3c abgebildet. In Schritt 140 werden Parameter 15, die das Verhalten des Klassifikators 1 charakterisieren, optimiert mit dem Ziel, dass die vom Klassifikator 1 gelieferten Klassen 3a-3c mit den Labels 14 der Lern-Bilddaten 11, aus denen die Lern-Vorlagen 13 hervorgegangen sind, in Einklang stehen. Diese Optimierung kann bis zu einem beliebigen Abbruchkriterium fortgesetzt werden. Der fertig trainierte Zustand der Parameter 15 ist mit dem Bezugszeichen 15* bezeichnet.
-
2 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 200 zum Klassifizieren von Bilddaten 2. In Schritt 205 können die Bilddaten 2 optional mit mindestens einem von einem Fahrzeug getragenen Sensor aufgenommen werden. In Schritt 210 wird für die Bilddaten 2 eine ortsaufgelöste Referenzkarte 22 bereitgestellt, wobei diese insbesondere beispielsweise gemäß Block 211 aus einem KNN abgerufen werden kann. In Schritt 220 wird analog zu Schritt 120 eine Vorlage 23 ermittelt, in der die Information aus den Bilddaten 2 umso stärker ausgeprägt ist, je höher die lokale Relevanz gemäß der Relevanzkarte 22 ist.
-
Die Vorlage 23 wird in Schritt 230 dem Klassifikator 1 zugeführt, wobei gemäß Block 231 insbesondere beispielsweise nur die gegenüber den Bilddaten 2 stark datenreduzierte Vorlage 23 über ein Bussystem des Fahrzeugs mit dem Sensor übermittelt werden kann, nicht jedoch die Bilddaten 2 selbst. In Schritt 240 wird die Vorlage 23 vom dem Klassifikator 1 auf die gesuchte Zuordnung zu Klassen 3a-3c der vorgegebenen Klassifikation abgebildet.
-
3 zeigt beispielhaft, wie Bilddaten 2 in eine Vorlage 23 umgewandelt werden können. Die Bilddaten 2, die hier als statisches Bild vorliegen, zeigen eine Verkehrssituation mit einer Straße 25, einem entgegenkommenden Fahrzeug 26 und einem Verkehrszeichen 27. Zusätzlich ist eine Reklametafel 28 am linken Straßenrand sichtbar. Die Relevanzkarte 22 bewertet die Straße 25, das Fahrzeug 26 sowie den rechten Fahrbahnrand, wo zu beachtende Verkehrszeichen wie das Zeichen 27 stehen, als relevant. Dementsprechend ist dieser Bereich in der Vorlage 23 für die Klassifikation unverändert, während die Details der Reklametafel 28 ausgeblendet sind.
-
4 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 300 zur Messung einer Relevanzkarte 12, 22 für Bilddaten 2, 11. In Schritt 310 werden die Bilddaten 2, 11 mindestens einer Versuchsperson 4 präsentiert. Währenddessen wird überwacht, welchen räumlichen Bereichen 2a, 11a der Bilddaten 2, 11 die Versuchsperson 4 ihre Aufmerksamkeit zuwendet.
-
Auf die Eingabe 41 von der Versuchsperson 4 hin, dass sie die relevanten Inhalte der Bilddaten 2, 11 wahrgenommen hat, werden in Schritt 320 räumliche Bereiche 2a, 11a, denen die Versuchsperson 4 zuvor ihre Aufmerksamkeit zugewendet hat, erfasst. In Schritt 330 wird die lokale Relevanz dieser Bereiche 2a, 11a in der Relevanzkarte 12, 22 erhöht.
-
Innerhalb des Kastens 310 sind beispielhaft zwei Möglichkeiten eingezeichnet, wie die Aufmerksamkeitszuwendung zu Bereichen 2a, 11a festgestellt werden kann. Diese Möglichkeiten können einzeln oder auch in Kombination genutzt werden.
-
Gemäß Block 311 können die Kopfhaltung 42a, die Augenposition 42b, und/oder die Augenbewegungen 42c, der Versuchsperson 4 registriert werden. Gemäß Block 312 können dann die Bereiche 2a, 11a der Bilddaten 2, 11, denen die Versuchsperson 4 ihre Aufmerksamkeit zuwendet, aus der Kopfhaltung 42a, der Augenposition 42b und/oder den Augenbewegungen 42c ausgewertet werden.
-
Gemäß Block 313 können verschiedene Teilbereiche der Bilddaten 2, 11 sukzessive für die Versuchsperson 4 sichtbar gemacht werden, bis die Versuchsperson 4 die Bilddaten 2, 11 erkennt und die Eingabe 41 tätigt. Hierbei kann insbesondere gemäß Block 313a ein und derselbe Datensatz von Bilddaten 2, 11 mehreren Versuchspersonen 4 präsentiert werden. Diesen Versuchspersonen 4 können unterschiedliche Abfolgen sukzessive sichtbar werdender Teilbereiche der Bilddaten 2, 11 präsentiert werden.
-
Gemäß Block 314 können diejenigen Teilbereiche der Bilddaten 2, 11, die zum Zeitpunkt der Eingabe 41 der Versuchsperson 4 sichtbar sind, als diejenigen Bereiche 2a, 11a gewertet werden, denen die Versuchsperson 4 ihre Aufmerksamkeit zuwendet.
-
In Schritt 330 wird die lokale Relevanz der ermittelten Bereiche 2a, 11a in der Relevanzkarte 12, 22 erhöht, wobei insbesondere beispielsweise ein Voting-Mechanismus über viele Versuchspersonen 4 zum Einsatz kommen kann.
-
5 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 400 zur Überwachung und/oder Steuerung der Aufmerksamkeit eines Fahrzeugführers oder Maschinenbedieners 40. In Schritt 410 werden Bilddaten 2 der Situation, in der sich das geführte Fahrzeug bzw. die bediente Maschine befindet, mit mindestens einem Sensor erfasst. In Schritt 420 wird zu diesen Bilddaten 2 eine ortsaufgelöste Relevanzkarte 22 aus einem trainierten künstlichen neuronalen Netzwerk, KNN, abgerufen. In Schritt 430 wird auf der Basis dieser Relevanzkarte 22 wird eine Information und/oder Warnung 6 an den Fahrzeugführer bzw. Maschinenbediener 40 ausgegeben.
-
Innerhalb des Kastens 430 sind zwei Möglichkeiten angegeben, wie die Information und/oder Warnung 6 generiert werden kann. Diese Möglichkeiten können einzeln oder auch in Kombination genutzt werden.
-
Gemäß Block 431 kann dem Fahrzeugführer oder Maschinenbediener 40 eine Überlagerung der Situation mit einem Hinweis auf mindestens einen Bildbereich, dessen lokale Relevanz ausweislich der Relevanzkarte einen vorgegebenen Schwellwert überschreitet, präsentiert werden.
-
Gemäß Block 432 können die Kopfhaltung 42a, die Augenposition 42b, und/oder die Augenbewegungen 42c, des Fahrzeugführers bzw. Maschinenbedieners 40 registriert werden. Hieraus kann in Block 433 ausgewertet werden, welchen Teil 7 der Situation der Fahrzeugführer bzw. Maschinenbediener 40 vorwiegend beobachtet. In Block 434 kann geprüft werden, inwieweit dieser Teil 7 der Situation im Einklang steht mit mindestens einem räumlichen Bereich der Bilddaten, dessen lokale Relevanz ausweislich der Relevanzkarte 22 einen vorgegebenen Schwellwert überschreitet. Wenn der Teil 7 der Situation nicht mit dem besagten räumlichen Bereich der Bilddaten in Einklang steht (Wahrheitswert 0), kann eine für den Fahrzeugführer bzw. Maschinenbediener 40 wahrnehmbare optische, akustische und/oder haptische Warneinrichtung angesteuert werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
