DE102021101363A1 - Bildbasiertes Verfahren zum Vereinfachen einer fahrzeugexternen Kontrollübernahme über ein Kraftfahrzeug, Assistenzeinrichtung und Kraftfahrzeug - Google Patents

Bildbasiertes Verfahren zum Vereinfachen einer fahrzeugexternen Kontrollübernahme über ein Kraftfahrzeug, Assistenzeinrichtung und Kraftfahrzeug Download PDF

Info

Publication number
DE102021101363A1
DE102021101363A1 DE102021101363.1A DE102021101363A DE102021101363A1 DE 102021101363 A1 DE102021101363 A1 DE 102021101363A1 DE 102021101363 A DE102021101363 A DE 102021101363A DE 102021101363 A1 DE102021101363 A1 DE 102021101363A1
Authority
DE
Germany
Prior art keywords
motor vehicle
image
vehicle
errors
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021101363.1A
Other languages
English (en)
Inventor
Christopher Kuhn
Gaetano Graf
Zhenxin Zhang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102021101363.1A priority Critical patent/DE102021101363A1/de
Priority to CN202280009333.3A priority patent/CN116783564A/zh
Priority to US18/273,589 priority patent/US20240103548A1/en
Priority to PCT/EP2022/050353 priority patent/WO2022157025A1/de
Publication of DE102021101363A1 publication Critical patent/DE102021101363A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/80—Arrangements for reacting to or preventing system or operator failure
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244—Optic
    • G05D1/2247—Optic providing the operator with simple or augmented images from one or more cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/10—Land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/30—Radio signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Vehicle Engines Or Engines For Specific Uses (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Vereinfachen einer Kontrollübernahme über ein Kraftfahrzeug (12) durch eine fahrzeugexterne Bedienperson (56). Die Erfindung betrifft weiter eine entsprechende Assistenzeinrichtung (42) sowie ein damit ausgestattetes Kraftfahrzeug (12). In dem Verfahren werden von dem Kraftfahrzeug (12) aus Bilder (10) von dessen Umgebung erfasst und semantisch segmentiert. Basierend auf jeweils wenigstens einem solchen Bild (10) werden Fehler eines entsprechenden Segmentierungsmodells vorhergesagt. Bei einer entsprechenden Fehlervorhersage, die eine Anforderung (54) für die Kontrollübernahme auslöst, wird automatisch eine bildbasierte Visualisierung (36) erzeugt, in der genau ein zu der Fehlervorhersage korrespondierender Bereich (38) visuell hervorgehoben ist. Die Anforderung (54) und die Visualisierung (36) werden dann an die fahrzeugexterne Bedienperson (56) gesendet.

Description

  • Die vorliegende Erfindung betrifft einen bildbasiertes Verfahren zum Vereinfachen einer Kontrollübernahme über ein Kraftfahrzeug durch eine fahrzeugexterne Bedienperson. Die Erfindung betrifft weiter eine für dieses Verfahren eingerichtete Assistenzeinrichtung sowie ein damit ausgestattetes Kraftfahrzeug.
  • Obwohl die Entwicklung autonomer bzw. automatisierter Kraftfahrzeuge beständig weiter fortschreitet, sind Fehler bei heutzutage verfügbaren Systemen noch immer unvermeidbar. Ein Ansatz, mit dieser Problematik umzugehen, besteht darin, dass im Falle eines Fehlers, wenn das jeweilige Kraftfahrzeug also eine bestimmte Situation nicht vollständig autonom oder automatisch bewältigen kann, eine fahrzeugexterne Bedienperson, auch als Teleoperator bezeichnet, die Kontrolle über das jeweilige Kraftfahrzeug, also dessen Steuerung in Fernsteuerung übernimmt. Auch dabei gibt es jedoch unterschiedliche Herausforderungen. Beispielsweise ist ein Erkennen und Verstehen einer jeweiligen Situation und Umgebung des Kraftfahrzeugs für eine fahrzeugexterne Bedienperson eine schwierige Aufgabe, die eine signifikante Zeitdauer erfordern kann, bevor die Bedienperson das jeweilige Kraftfahrzeug sicher durch die jeweilige Situation steuern kann.
  • Ein solches Verfahren für eine Intervention während eines Betriebs eines Fahrzeugs, das autonome Fahrfähigkeiten hat, ist in der WO 2018 / 232 032 A1 beschrieben. In dem dortigen Verfahren wird bestimmt, dass eine entsprechende Intervention angemessen ist.
  • Basierend darauf wird es einer Person ermöglicht, Informationen für die Intervention bereitzustellen. Schließlich wird die Intervention veranlasst. Dazu kann beispielsweise ein Teleoperationssystem mit dem jeweiligen Fahrzeug interagieren, um verschiedene Arten von Ereignissen zu handhaben, beispielsweise solche Ereignisse die zu Risiken, wie Kollisionen oder Verkehrsstaus führen können.
  • Als weiterer Ansatz ist in der JP 2018 538 647 A ein Fernsteuerungssystem sowie ein Verfahren zur Korrektur einer Trajektorie eines autonomen unbemannten Fahrzeugs beschrieben. Darin werden anhand einer empfangenen Steuermeldung des Fahrzeugs Daten, die ein mit dem Fahrzeug assoziiertes Ereignis identifizieren, detektiert und das Ereignis identifiziert. Weiter werden ein oder mehrere in Antwort auf diese Daten zu implementierenden Maßnahmen identifiziert, für die dann korrespondierende Ränge berechnet werden. Die Maßnahmen werden dann simuliert, um eine Strategie zu generieren. Mit wenigstens einem Subset der Maßnahmen assoziierte Informationen werden zur Darstellung auf einem Anzeigegerät eines entfernten Operators bereitgestellt. Eine aus dem dargestellten Subset von Maßnahmen ausgewählte Maßnahme wird dann an das Fahrzeug übermittelt.
  • Aufgabe der vorliegenden Erfindung ist es, eine besonders einfache und schnelle Übernahme der Kontrolle über ein Kraftfahrzeug durch eine fahrzeugexterne Bedienperson zu ermöglichen.
  • Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Mögliche Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in den Figuren angegeben
  • Das erfindungsgemäße Verfahren dient zum Vereinfachen einer Kontrollübernahme über ein Kraftfahrzeug durch eine fahrzeugexterne Bedienperson. Mit anderen Worten soll es der fahrzeugexternen Bedienperson, also einem Teleoperator, erleichtert werden, die Steuerung bzw. Fernsteuerung des Kraftfahrzeugs zu übernehmen. Da zum Zeitpunkt dieser Kontrollübernahme die fahrzeugexterne Bedienperson nicht mit der jeweiligen Situation des Kraftfahrzeugs, also dessen Umgebung und Fahrzustand, vertraut ist, und entsprechende Daten nicht unmittelbar, sondern beispielsweise nur über ein Anzeigegerät aufnehmen kann, kann die Übernahme der Kontrolle über das Kraftfahrzeug eine signifikante Herausforderung darstellen und eine signifikante Zeit beanspruchen. Um dies zu vereinfachen, werden in einem Verfahrensschritt des erfindungsgemäßen Verfahrens in einem bedingt automatisierten Betrieb des Kraftfahrzeugs Bilder bzw. jeweils wenigstens ein Bild oder entsprechende Bilddaten von einer jeweiligen Umgebung des Kraftfahrzeugs erfasst. Dieses wenigstens eine Bild wird dann mittels eines vorgegebenen trainierten Segmentierungsmodells semantisch segmentiert. Das Segmentierungsmodell kann beispielsweise ein, insbesondere tiefes, also mehrschichtiges, künstliches neuronales Netz sein oder umfassen, beispielsweise ein tiefes faltendes neuronales Netz (englisch: deep convolutional neural network, deep CNN). Das Segmentierungsmodell kann beispielsweise Teil einer entsprechenden Datenverarbeitungseinrichtung des jeweiligen Kraftfahrzeugs sein. Mit anderen Worten kann das semantische Segmentieren des wenigstens einen Bildes der jeweiligen Umgebung insbesondere in dem Kraftfahrzeug selbst, also durch eine Einrichtung des Kraftfahrzeugs selbst durchgeführt werden. Dies ermöglicht eine besonders zeitnahe, also latenzarme Durchführung der semantischen Segmentierung.
  • Ein bedingt automatisierter Betrieb des Kraftfahrzeugs kann im vorliegenden Sinne beispielsweise der Autonomiestufe SAE J3016 Level 3 oder Level 4 entsprechen. In dem bedingt automatisierten Betrieb kann das Kraftfahrzeug sich also zeitweise autonom bewegen, bei einer nicht autonom zuverlässig zu bewältigenden Situation jedoch die Kontrolle über das Kraftfahrzeug, also dessen Steuerung an eine menschliche Bedienperson abgeben. Letzteres wird auch als Disengagement bezeichnet.
  • In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens werden basierend auf jeweils wenigstens einem der aufgenommenen Bilder, insbesondere pixelweise, also pixelgenau, Fehler des Segmentierungsmodells bei dem semantischen Segmentieren wenigstens eines der Bilder prädiziert. Dazu kann beispielsweise ein vorgegebenes entsprechend trainierten Fehlervorhersagemodell eingesetzt werden. Letztlich kann jedoch eine zumindest nahezu beliebige Fehlervorhersagemethode angewendet werden, die auf einem visuellen Input basiert, also Bilder oder Bilddaten als Eingangsdaten verarbeitet. Es könnte also auch für diese Fehlervorhersage ein entsprechend trainiertes, insbesondere mehrschichtiges, künstliches neuronales Netz eingesetzt werden. Auch die Fehlervorhersage kann wie im Zusammenhang mit der semantischen Segmentierung beschrieben in dem jeweiligen Kraftfahrzeug, also durch eine Einrichtung des Kraftfahrzeugs erfolgen.
  • In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird im Falle einer entsprechenden Fehlervorhersage, die gemäß einem vorgegebenen Kriterium ein automatisches Ausgeben einer Anforderung für die Kontrollübernahme durch die fahrzeugexterne Bedienperson auslöst, automatisch eine bildbasierte Visualisierung erzeugt, in der genau der zu der jeweiligen Fehlervorhersage korrespondierende Bereich visuell hervorgehoben ist. Mit anderen Worten wird die Visualisierung also erzeugt, wenn zumindest eine vorgegebene Bedingung erfüllt ist, beispielsweise bezüglich einer Art und/oder eine Schwere des jeweiligen vorhergesagten Fehlers bzw. wenn zumindest eine vorgegebene Anzahl von Fehlern vorhergesagt wurde oder wenn die Fehlervorhersage einen gewissen vorgegebenen Umfang erreicht oder überschreitet.
  • Der in der Visualisierung hervorgehobene, also gekennzeichnete Bereich kann dabei ein zusammenhängender Bereich sein oder mehrere, gegebenenfalls disjunkte, Teilbereiche umfassen. Der hervorgehobene, zu der jeweiligen Fehlervorhersage korrespondierende Bereich ist dabei derjenige Bereich, der zu der Fehlervorhersage bzw. zu dem vorhergesagten Fehler oder den vorhergesagten Fehlern geführt hat bzw. ein entsprechender Bild- oder Datenbereich einer aus dem jeweiligen Bild abgeleiteten Darstellung, in dem der Fehler bzw. die Fehler aufgetreten oder verortet sind.
  • Ist die Fehlervorhersage pixelgenau, so kann dementsprechend auch der dazu korrespondierende Bereich, auch als Fehlerbereich bezeichnet, pixelgenau visuell hervorgehoben sein. Zum Hervorheben des Fehlerbereiches kann dieser beispielsweise in einer Signalfarbe oder einer wenigstens einen vorgegebenen Kontrast bezüglich eines übriger Bildbereiche aufweisenden Farbe oder Schattierung eingefärbt oder dargestellt werden, mit einer, insbesondere eingefärbten, Umrandung versehen werden und/oder dergleichen mehr. Zudem kann der übrige Bereich des jeweiligen Bildes bzw. der jeweiligen Visualisierung beispielsweise abgedunkelt, farblich entsättigt, in seiner Intensität reduziert und/oder anderweitig angepasst werden, um den Fehlerbereich relativ hervorzuheben.
  • Durch diese visuelle Hervorhebung des Fehlerbereiches ist dieser besonders einfach und schnell erkennbar, wobei gleichzeitig keine anderen Bild- oder Darstellungsbereiche verdeckt werden. Letzteres kann beispielsweise bei herkömmlichen Hinweisen durch ein eingeblendetes Hinweis- oder Warnsymbol oder dergleichen der Fall sein. Demgegenüber ermöglicht es die vorliegende Erfindung gleichzeitig, den Fehlerbereich hervorzuheben und sämtliche Details ebenfalls erkennbar zu lassen bzw. zu halten. Die Visualisierung kann beispielsweise eine bildliche Darstellung sein, die in ihren Dimensionen den aufgenommenen Bildern entsprechen kann.
  • In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens werden die Anforderung und die Visualisierung an die fahrzeugexterne Bedienperson gesendet. Die Visualisierung kann also beispielsweise gemeinsam mit der Anforderung zur Übernahme der Kontrolle über das Kraftfahrzeug an die oder eine fahrzeugexterne Bedienperson bzw. eine entsprechende Vermittlungs- oder Empfangseinrichtung gesendet bzw. übermittelt werden.
  • Da die Fehler des Segmentierungsmodells basierend auf oder anhand von räumlichen Merkmalen der Bilder bzw. in den Bildern abgebildeten räumlichen Merkmalen vorhergesagt werden, wird vorliegend die räumliche Natur der Fehlervorhersage verwendet, um der fahrzeugexternen Bedienperson zu visualisieren, aus oder in welchem räumlichen Bereich bzw. Bildbereich die Fehler stammen oder resultieren. Die fahrzeugexterne Bedienperson, im Folgenden auch kurz als Bedienperson bezeichnet, kann somit direkt besonders einfach und schnell funktions- oder sicherheitskritische Bereiche oder Merkmale erkennen und identifizieren, ohne zunächst das gesamte Bild zu erfassen und nach möglichen Problemursachen, die zu der Anforderung für die Kontrollübernahme geführt haben, abzusuchen. Die Bedienperson kann sich somit direkt auf die besonders anspruchsvollen, also für das jeweilige Kraftfahrzeug bzw. dessen bedingt automatisierten Tests oder Teil autonomes Steuersystem problematischen Teile der Umgebung bzw. der Fahreraufgabe fokussieren und dementsprechend besonders schnell korrekte Maßnahmen einleiten, beispielsweise um einen Unfall oder einem Anhalten des Kraftfahrzeugs zu vermeiden.
  • Es wird vorliegend also vorgeschlagen, ein Ergebnis oder einen Output der Fehlervorhersage selbst zum visuellen Hervorheben kritischer Bereiche der Umgebung für die Bedienperson zu verwenden. Somit wird die Bedienperson also nicht nur durch die Anforderung zur Kontrollübernahme darauf hingewiesen, dass das Kraftfahrzeug mit der jeweiligen Situation im Allgemeinen überfordert ist, sondern was bzw. wo genau die jeweilige Problemursache aus der Perspektive des Kraftfahrzeugs ist.
  • In der vorliegenden Erfindung können dabei insbesondere nur solche Bereiche visuell hervorgehoben werden, die gemäß der Fehlervorhersage tatsächlich zu einem Fehler geführt haben bzw. zu einem Fehler führen werden, anstatt allgemein basierend auf der semantischen Klassifikation generell beispielsweise sämtliche Bereiche einer bestimmten Klasse visuell hervorzuheben. Die vorliegend vorgesehene Visualisierung bzw. die hervorgehobenen Fehlerbereiche sind also direkt mit der Ursache dafür verknüpft, dass das Kraftfahrzeug die jeweilige Anforderung für die Kontrollübernahme ausgesendet hat, und mit dem korrespondierenden räumlichen Bereich oder Merkmal. Dies ermöglicht es der Bedienperson, die sichere Kontrolle über das Kraftfahrzeug in der jeweiligen Situation schneller und einfacher zu übernehmen als dies mit herkömmlichen Methoden typischerweise der Fall ist. Dies kann zu einer verbesserten Sicherheit im Straßenverkehr führen oder beitragen.
  • Da in der vorliegenden Erfindung die Art der vorhergesagten Fehler nicht eingeschränkt ist, kann zudem jegliche Art von Bereich als Fehlerbereich identifiziert und dementsprechend visuell hervorgehoben werden. Die Hervorhebung ist also hier beispielsweise nicht auf bestimmte einzelne Objekte oder Objektarten, wie beispielsweise andere Verkehrsteilnehmer oder dergleichen, beschränkt. Dies kann beispielsweise durch ein entsprechendes, insbesondere bezogen auf das Segmentierungsmodell introspektives, Training eines im Rahmen der Fehlervorhersage verwendeten Modells erreicht werden. Hierdurch kann die Kontrollübernahme in einer Vielzahl unterschiedlicher Situationen vereinfacht werden.
  • Mit der vorliegenden Erfindung wird nicht nur bestimmt, ob das jeweils aktuelle Bild von dem Kraftfahrzeug bzw. dessen für den bedingt automatisierten bzw. teilautonomen Betrieb verantwortliches Assistenz- oder Steuersystem korrekt verstanden wurde, sondern es wird vorgeschlagen, die bildbasierte Fehlerdetektion prädiktiv einzusetzen. Dies kann eine sicherheitsrelevante Ergänzung bzw. Anpassung existierender Methoden darstellen, bei denen typischerweise die Umgebung des Kraftfahrzeugs neutral, beispielsweise in Form eines unmittelbaren Videostroms, an den Teleoperator übertragen wird.
  • In einer möglichen Ausgestaltung der vorliegenden Erfindung werden die Fehler des Segmentierungsmodells pixelweise vorhergesagt. Darauf basierend wird dann für das jeweilige Bild eine Anzahl der vorhergesagten Fehler und/oder ein durchschnittlicher Fehler bestimmt. Als das vorgegebene Kriterium für das Ausgeben der Anfrage zur Kontrollübernahme wird dann überprüft, ob die Anzahl der Fehler und/oder der durchschnittliche Fehler größer als ein vorgegebener Fehlerschwellenwert ist. Der durchschnittliche Fehler kann beispielsweise als durchschnittliche Fehlerwahrscheinlichkeit, Konfidenz oder Schweregrad über alle Pixel des jeweiligen Bildes bzw. der jeweiligen semantischen Segmentierung hinweg bestimmt werden. Durch einen relativ niedrigen Fehlerschwellenwert kann in potenziell kritischen Situationen besonders frühzeitig die Übernahme der Kontrolle durch den Teleoperator veranlasst werden, was zu einer weiter verbesserten Sicherheit führen kann. Ein relativ großer Fehlerschwellenwert kann hingegen dazu führen, dass die Kontrolle über das Kraftfahrzeug zuverlässiger nur in tatsächlich kritischen Situationen an den Teleoperator abgegeben wird. In jedem Fall können durch einen von null verschiedenen Fehlerschwellenwert vernachlässigbare Fehler, die aller Voraussicht nach nicht zu einer tatsächlich sicherheitskritischen Situation oder einem Unfall des Kraftfahrzeugs führen, herausgefiltert werden. Dadurch kann Bandbreite und Aufwand eingespart und eine Belastung des Teleoperators reduziert werden. Somit kann es praktikabel ermöglicht werden, eine Vielzahl entsprechender Kraftfahrzeuge zu betreiben, ohne dass eine zumindest annähernd gleich große Anzahl von Teleoperatoren einsatzbereit sein muss. So kann beispielsweise eine Fehlklassifikation eines einzelnen Pixels, eine Fehlklassifikation eines Teils einer Bebauung neben einer jeweiligen befahrenen Straße oder dergleichen in der Praxis für einen sicheren autonomen Betrieb des Kraftfahrzeugs letztlich irrelevant sein.
  • In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden die Fehler des Segmentierungsmodells pixelweise vorhergesagt, wobei eine Größe eines zusammenhängenden Bereiches von Fehlerpixeln, also als fehlerhaft klassifiziert vorhergesagter Pixel, bestimmt wird. Als das vorgegebene Kriterium für das Ausgeben der Anfrage zur Kontrollübernahme wird dann überprüft, ob die Größe des zusammenhängenden Bereiches wenigstens einem vorgegebenen Größenschwellenwert entspricht. Sofern es mehrere zusammenhängende Bereiche von Fehlerpixeln gibt, kann dies für jeden einzelnen der Bereiche durchgeführt werden oder zumindest so lange, bis ein Bereich von Fehlerpixeln gefunden wurde, dessen Größe wenigstens dem vorgegebenen Größenschwellenwert entspricht. Mit anderen Worten kann also vorgesehen sein, dass die Anfrage zur Kontrollübernahme durch die fahrzeugexterne Bedienperson nur dann ausgelöst, also ausgegeben bzw. abgesendet wird, wenn es wenigstens einen zusammenhängenden Bereich von Fehlerpixeln gibt, der ausreichend groß ist, um das entsprechende vorgegebene Kriterium zu erfüllen, also etwa größer als der Größenschwellenwert. Der Größenschwellenwert kann dabei als absolute bzw. in Pixeln gemessene Fläche oder als prozentualer Anteil an einer Gesamtgröße oder Gesamtanzahl von Pixeln des jeweiligen Bildes bzw. der jeweiligen semantischen Segmentierung vorgegeben sein. Es wird hier nicht oder nicht nur die Anzahl der vorhergesagten Fehler und/oder deren Wahrscheinlichkeit oder schwere berücksichtigt, sondern auch deren räumliche Verteilung. Dadurch kann berücksichtigt werden, dass ein relativ kleiner Bereich von Fehlerpixeln mit einer unterhalb des vorgegebenen Größenschwellenwerts liegenden Größe gegebenenfalls für den Teleoperator ohnehin nicht erkennbar wäre und/oder voraussichtlich ohnehin nicht sicherheitskritisch oder sicherheitsrelevant ist. Hingegen kann ein korrektes autonomes Verhalten des Kraftfahrzeugs umso unwahrscheinlicher sein, je größer ein vorhergesagter zusammenhängender Bereich von Fehlerpixeln ist. Durch die hier vorgeschlagene Ausgestaltung kann das erfindungsgemäße Verfahren praktikabel, also mit beherrschbarem Aufwand bezüglich der Einsatzbereitschaft einer ausreichenden Anzahl fahrzeugexterner Bedienpersonen angewendet werden. Um die Sicherheit weiter zu verbessern bzw. Auswirkungen kritischer Situationen, also sogenannter Disengagements der entsprechend betriebenen Kraftfahrzeuge zu reduzieren, kann es zudem vorgesehen sein, bei ausgelasteter Kapazität der fahrzeugexternen Bedienperson oder Bedienpersonen eine Anfrage zur Kontrollübernahme, die auf einem Bereich von Fehlerpixeln ab einer vorgegebenen Größe beruht, gegenüber anderen Anfragen, die auf Bereichen von Fehlerpixeln kleinerer Größe basieren, zu priorisieren., Dazu kann die entsprechende Anfrage beispielsweise mit einem Prioritätsflag versehen werden.
  • In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird mittels eines vorgegebenen Rekonstruktionsmodells aus der jeweiligen semantischen Segmentierung das dieser jeweils zugrunde liegende erfasste Bild durch Erzeugen eines entsprechenden Rekonstruktionsbildes approximiert bzw. rekonstruiert Die jeweilige Visualisierung wird dann basierend auf dem jeweiligen Rekonstruktionsbild erzeugt. Das Rekonstruktionsmodell kann hier beispielsweise ein entsprechend trainierten künstliches neuronales Netz sein oder umfassen. Dieses kann gemäß den durch die semantische Segmentierung gegebenen Klassifikationen einzelner Bereiche das Rekonstruktionsbild mit entsprechenden Objekten füllen, also aus entsprechenden Objekten aufbauen. Fehler des Segmentierungsmodells bei der semantischen Segmentierung des jeweils zugrunde liegenden Bildes führen dann zu entsprechenden Diskrepanzen oder Differenzen zwischen dem jeweiligen zugrunde liegenden Bild und dem auf dessen semantischer Segmentierung basierend erzeugten Rekonstruktionsbild. Diese Diskrepanzen können dann in der Visualisierung visuell hervorgehoben werden. Dies ermöglicht ein besonders effektives automatisches Hervorheben der Fehlerbereiche in einer ansonsten zumindest nahezu mit der Realität übereinstimmenden Darstellung. Dadurch wird eine besonders effektive und sichere Steuerung des Kraftfahrzeugs durch den Teleoperator ermöglicht. Zudem beruhen die Fehlervorhersage bzw. die hervorgehobenen Fehlerbereiche hier auf der tatsächlichen Interpretation der jeweiligen Situation durch das Segmentierungsmodell, sodass beispielsweise keine gegebenenfalls unzutreffenden Annahmen über dessen Fähigkeiten oder Situationsverständnis getroffen werden müssen. Dies kann eine besonders robuste, zuverlässige und genaue Visualisierung der Fehlerbereiche ermöglichen und somit zur Sicherheit im Straßenverkehr beitragen.
  • In einer möglichen Weiterbildung der vorliegenden Erfindung umfasst das Rekonstruktionsmodell erzeugende gegnerische Netzwerke, auch als GANs (englisch: generative adversarial networks) bezeichnet, oder wird durch diese gebildet. Die Verwendung derartiger GANs zum Erzeugen des Rekonstruktionsbildes ermöglicht eine zumindest nahezu fotorealistische Approximation des jeweiligen originalen erfassten Bildes. Dadurch kann beispielsweise ein Erzeugen einer besonders einfach verständlichen und der realen Umgebung möglichst ähnlichen Visualisierung ermöglicht werden. Dies kann wiederum dem Teleoperator ein besonders einfaches und schnelles Verständnis der jeweiligen Situation sowie eine entsprechend besonders einfache und schnelle Übernahme der Kontrolle über das jeweilige Kraftfahrzeug ermöglichen. Zudem kann das so erzeugte Rekonstruktionsbild beispielsweise besonders einfach, gut und robust mit dem jeweiligen zugrunde liegenden erfassten Bild verglichen werden, um besonders robust und zuverlässig entsprechende Diskrepanzen, also Fehler des Segmentierungsmodells zu detektieren.
  • In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird zum Vorhersagen der Fehler jeweils das Rekonstruktionsbild mit dem jeweiligen zugrunde liegenden erfassten Bild verglichen. Die Fehler werden dann anhand dabei detektierter Differenzen vorhergesagt, also detektiert bzw. sind durch diese Differenzen gegeben. Dabei können beispielsweise Pixel-, Intensitäts- und/oder Farbwerte verglichen werden. Dabei kann ein Differenzschwellenwert vorgegeben sein, sodass detektierte Differenzen nur dann als Fehler bestimmt werden, wenn die detektierten Differenzen wenigstens dem vorgegebenen Differenzschwellenwert entsprechen. Ebenso kann ein anderes Kriterium vorgegeben sein und überprüft werden, beispielsweise hinsichtlich der Anzahl von Pixeln der Diskrepanzen bzw. entsprechender Diskrepanzbereiche, deren Größe und/oder dergleichen mehr.
  • Das jeweilige Rekonstruktionsbild kann beispielsweise bildwert- oder pixelwertbasiert von dem jeweiligen zugrunde liegenden Bild subtrahiert werden oder umgekehrt. Es kann dann beispielsweise eine durchschnittliche Differenz der Bild- oder Pixelwerte bestimmt und mit dem vorgegebenen Differenzschwellenwert verglichen werden. Ebenso können aber einzelne ausreichend große Differenzen zu einer Fehlervorhersage bzw. zu einem Auslösen der Ausgabe der Anforderung zur Übernahme der Kontrolle über das Kraftfahrzeug führen. Dafür kann gegebenenfalls ein zweiter Differenzschwellenwert vorgegeben sein. Dadurch kann sichergestellt werden, dass signifikante Abweichungen, also entsprechend signifikante Fehlklassifikationen in jedem Fall zu einer Abgabe der Kontrolle über das Kraftfahrzeug an die Bedienperson führen, auch wenn diese Fehlklassifikationen nur einen relativ geringen Anteil des jeweiligen Bildes ausmachen oder betreffen.
  • Durch das Vorhersagen oder Detektieren der Fehler anhand des Vergleichs des Rekonstruktionsbildes mit dem jeweils zugrunde liegenden Bild kann die Fehlervorhersage besonders aufwandsarm und dementsprechend schnell durchgeführt werden, wodurch letztlich im Fehlerfall der Bedienperson entsprechend zusätzliche Zeit zur Übernahme der Kontrolle über das Kraftfahrzeug verschafft werden kann. Zudem kann fahrzeugseitig Rechenaufwand eingespart werden, da beispielsweise kein separates, typischerweise hinsichtlich benötigter Hardware- oder Berechnungsressourcen relativ anspruchsvolles künstliches neuronales Netz für die Fehlervorhersage betrieben werden muss.
  • In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird die Visualisierung in Form einer Heatmap erzeugt. Darin können beispielsweise detektierte oder vorhergesagte Fehler bzw. die entsprechenden Fehlerbereiche intensiver, farbiger, heller, leuchtender oder andersfarbig dargestellt werden als übrige Bereiche, die als von dem Segmentierungsmodell korrekt klassifiziert prädiziert wurden. Verschiedene Bereiche können dabei beispielsweise gemäß einer jeweiligen Fehlerwahrscheinlichkeit oder Konfidenz, gemäß einer Differenz zwischen den jeweiligen Pixel oder Bereichen des an anderer Stelle genannten Rekonstruktionsbildes und des zugrundeliegenden Bildes und/oder dergleichen mehr angepasst, also beispielsweise eingefärbt oder aufgehellt oder abgedunkelt werden. Dabei kann eine kontinuierliche oder abgestufte Anpassung oder Einfärbung vorgesehen sein. Dies ermöglicht es, die Aufmerksamkeit oder den Fokus der Bedienperson besonders einfach und zuverlässig automatisch gemäß der Relevanz auf bestimmte Bildbereiche zu lenken. Um diesen Effekt zu unterstützen, kann beispielsweise vorgesehen sein, dass sämtliche Bereiche, für die eine unterhalb eines vorgegebenen Wahrscheinlichkeitsschwellenwertes liegende Fehlerwahrscheinlichkeit oder eine unterhalb des vorgegebenen Differenzschwellenwertes liegende Abweichung zwischen dem Rekonstruktionsbild und dem zugrundeliegenden Bild ermittelt wurde, einheitlich dargestellt werden. Für diese Bereiche kann beispielsweise eine monochrome bzw. schwarz-weiß-Darstellung oder eine Darstellung in Graustufen verwendet werden, wohingegen die Fehlerbereiche farbig dargestellt werden können. Dadurch kann die Aufmerksamkeit oder der Fokus der Bedienperson besonders zuverlässig und effektiv auf die Fehlerbereiche gelenkt bzw. konzentriert werden, die für das sichere Führen des Kraftfahrzeugs in der jeweiligen Situation besonders relevant sein können.
  • In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird bestimmt, welche Funktionalität oder Funktionalitäten, also welche hochrangige Aufgabe (englisch: high-level task) von den vorhergesagten oder detektieren Fehlern betroffen sind. Dies, also eine entsprechende Angabe, wird dann mit der Anforderung an die fahrzeugexterne Bedienperson gesendet. Mit anderen Worten wird also mit oder in der Anforderung an die fahrzeugexterne Bedienperson angegeben, welche hochrangige Aufgabe bei der autonomen Steuerung des Kraftfahrzeugs zu dem Fehler geführt hat, also nicht korrekt ausgeführt werden konnte. Dies kann der Bedienperson eine verbesserte Einschätzung der jeweiligen Situation ermöglichen, da es ein zusätzliches Indiz dafür darstellen kann, welches Problem, welches Objekt oder welcher Umstand zu dem des Disengagement des Kraftfahrzeugs geführt hat und somit von der Bedienperson berücksichtigt bzw. gehandhabt werden muss. Beispiele für derartige hochrangige Aufgaben oder Funktionalitäten können beispielsweise die Querführung des Kraftfahrzeugs, ein Erkennen eines Fahrbahn- oder Fahrstreifenverlaufs, eine Verkehrszeichenerkennung, eine Objekterkennung und/oder dergleichen mehr sein oder umfassen. Dadurch kann die Bedienperson beispielsweise darüber informiert werden, ob sie ihre Aufmerksamkeit primär auf das Lenken des Kraftfahrzeugs entlang eines ungewöhnlichen Straßenverlaufs, auf ein Ausweichmanöver oder auf das Einstellen einer angemessenen oder zulässigen Längsgeschwindigkeit des Kraftfahrzeugs fokussieren soll. Dies kann das Einleiten entsprechender Maßnahmen durch die Bedienperson weiter vereinfachen und beschleunigen und so zur weiter verbesserten Sicherheit und zu einem optimierten Verkehrsfluss beitragen.
  • Ein weiterer Aspekt der vorliegenden Erfindung ist eine Assistenzeinrichtung für ein Kraftfahrzeug. Die erfindungsgemäße Assistenzeinrichtung weist eine Eingangsschnittstelle zum Erfassen von Bildern oder entsprechenden Bilddaten, eine computerlesbaren Datenspeichereinrichtung, eine Prozessoreinrichtung und eine Ausgangsschnittstelle zum Ausgeben einer Anforderung einer Kontrollübernahme durch eine fahrzeugexterne Bedienperson und einer unterstützenden Visualisierung auf. Die erfindungsgemäße Assistenzeinrichtung ist dabei zum, insbesondere automatischen, Ausführen mindestens einer Variante des erfindungsgemäßen Verfahrens eingerichtet. Dazu kann in der Datenspeichereinrichtung beispielsweise ein entsprechendes Betriebs- oder Computerprogramm hinterlegt sein, das die Verfahrensschritte, Maßnahmen und Abläufe des erfindungsgemäßen Verfahrens repräsentiert, also codiert oder implementiert, und durch die Prozessoreinrichtung ausführbar ist, um das entsprechende Verfahren auszuführen bzw. dessen Ausführung zu veranlassen oder zu bewirken. Beispielsweise können in der Datenspeichereinrichtung also die genannten Modelle hinterlegt sein. Die erfindungsgemäße Assistenzeinrichtung kann insbesondere die entsprechende im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Einrichtung sein oder umfassen oder ein Teil davon sein.
  • Ein weiterer Aspekt der vorliegenden Erfindung ist ein Kraftfahrzeug, das eine Kamera zum Aufnehmen von Bildern einer jeweiligen Umgebung des Kraftfahrzeugs, eine damit erfundene erfindungsgemäße Assistenzeinrichtung und eine Kommunikationseinrichtung zum kabellosen Senden der Anforderung zur Kontrollübernahme und der Visualisierung sowie zum kabellosen Empfangen von Steuersignalen für eine Steuerung des Kraftfahrzeugs aufweist. Die Kommunikationseinrichtung dabei eine eigenständige Einrichtung des Kraftfahrzeugs oder ganz oder teilweise Teil der Assistenzeinrichtung, also etwa ganz oder teilweise in diese integriert sein. Das erfindungsgemäße Kraftfahrzeug ist also zum Durchführen des erfindungsgemäßen Verfahrens eingerichtet. Dementsprechend kann das erfindungsgemäße Kraftfahrzeug insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren und/oder im Zusammenhang mit der erfindungsgemäßen Assistenzeinrichtung genannte Kraftfahrzeug sein.
  • Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
  • Die Zeichnung zeigt in:
    • 1 eine schematische Übersicht mehrerer Bildverarbeitungsergebnisse zum Veranschaulichen eines Verfahrens zum Vereinfachen einer fahrzeugexternen Übernahme einer Fahrzeugkontrolle; und
    • 2 eine schematische Darstellung eines für das Verfahren eingerichteten Kraftfahrzeugs und einer fahrzeugexternen Kontrollstelle.
  • Es wird derzeit die zunehmende Automatisierung von Fahrzeugen angestrebt, wobei jedoch derzeit noch kein in jeder Situation vollständig sicherer autonomer Betrieb möglich ist. Somit ergibt sich als ein mögliches Szenario, dass ein Fahrzeug zeitweise autonom unterwegs ist, in Einzelsituationen, die von dem Fahrzeug nicht autonom bewältigt werden können, jedoch die Kontrolle über das Fahrzeug durch eine, insbesondere fahrzeugexterne, Bedienperson übernommen wird. Dabei besteht jedoch die Problematik, dass eine derartige Kontrollübernahme eine signifikante Zeit, beispielsweise bis zu 30 Sekunden, in Anspruch nehmen kann. Zudem kann es für den fahrzeugexternen Teleoperator, dem beispielsweise mehrere aus unterschiedlichen Perspektiven aufgenommene Ansichten einer Umgebung des jeweiligen Fahrzeugs bereitgestellt werden, schwierig sein, die jeweilige Umgebung und Fahrsituation zu erfassen und schnellstmöglich angemessen zu reagieren, also das jeweilige Fahrzeug sicher zu steuern.
  • Um diesen Schwierigkeiten zu begegnen, wird vorliegend ein Verfahren vorgeschlagen, zu dessen Veranschaulichung 1 schematisch eine Übersicht mehrerer dabei anfallender Bildverarbeitungsergebnisse zeigt. Zu deren Erläuterung wird hier auch auf 2 verwiesen, in der schematisch ein entsprechend eingerichtetes Kraftfahrzeug 12 dargestellt ist.
  • In einem bedingt automatisierten Betrieb des Kraftfahrzeugs 12 werden von diesem aus Bilder 10 der Umgebung des Kraftfahrzeugs 12 aufgenommen, von denen hier beispielhaft und schematisch eines dargestellt ist. Dazu kann das Kraftfahrzeug 12 mit wenigstens einer Kamera 40 ausgestattet sein. In dem hier dargestellten Bild 10 ist beispielhaft eine Verkehrsszene entlang einer Straße 14, auf der sich das Kraftfahrzeug 12 bewegt, abgebildet. Darin wird die Straße 14 seitlich von Bebauung 16 begrenzt und durch eine Brücke 18 überspannt. Daneben ist bereichsweise auch der Himmel 20 abgebildet. Weiter ist hier beispielhaft repräsentativ für andere Verkehrsteilnehmer ein Fremdfahrzeug 22 dargestellt. In Fahrtrichtung vor dem Kraftfahrzeug 12 befindet sich ein Hindernis, vorliegend in der Form mehrerer Leitkegel 24, die einen von dem Kraftfahrzeug 12 befahrenen Fahrstreifen der Straße 14 blockieren.
  • Das Bild 10 wird an eine Assistenzeinrichtung 42 des Kraftfahrzeugs 12 übermittelt und von dieser über eine Eingangsschnittstelle 44 erfasst. Zum Verarbeiten des Bildes 10 umfasst die Assistenzeinrichtung 42 einen Datenspeicher 46 sowie einen Prozessor 48, beispielsweise einen Mikrochip, Mikroprozessor, Mikrocontroller oder dergleichen. Damit wird aus dem Bild 10 eine semantische Segmentierung 26 erzeugt. In dieser semantischen Segmentierung 26 sind verschiedene Bereiche und Objekte entsprechend einem aktuellen Verständnis eines dazu verwendeten Segmentierungsmodells, das beispielsweise in dem Datenspeicher 46 hinterlegt sein kann, klassifiziert. Vorliegend hat das Segmentierungsmodell dabei zumindest einigen Bereichen der in dem Bild 10 erkennbaren Fronthaube des Kraftfahrzeugs 12 sowie dem Fremdfahrzeug 22 aber auch - fälschlicherweise - dem Hinden 24, also den Leitkegeln eine Fahrzeugklassifikation 28 zugewiesen. Sowohl der tatsächlichen Bebauung 16 als auch - ebenfalls fälschlicherweise - Teilen der Brücke 18 wurde eine Gebäudeklassifikation 30 zugewiesen. Sowohl dem Himmel 20 als auch - ebenfalls fälschlicherweise - anderen Teilen der Brücke 18 wurde eine Himmelsklassifikation 32 zugewiesen. Dies bedeutet, dass das Segmentierungsmodell mehrere Fehler bei dem semantischen Segmentieren des Bildes 10 gemacht hat.
  • Mittels eines, beispielsweise ebenfalls in dem Datenspeicher 46 hinterlegten, Rekonstruktionsmodells wird anhand der semantischen Segmentierung 26 ein Rekonstruktionsbildes 34 erzeugt. Dieses Rekonstruktionsbild 34 stellt eine möglichst realistische Approximation oder Rekonstruktion des der jeweiligen semantischen Segmentierung 26 zugrundeliegenden Bildes 10 dar.
  • Die Assistenzeinrichtung 42 bildet dann eine Differenz zwischen dem ursprünglichen Bild 10 und dem Rekonstruktionsbild 34. Dabei werden also das Bild 10 und das Rekonstruktionsbild 34 miteinander verglichen, wobei eine durchschnittliche Abweichung voneinander berechnet werden kann. Anhand der Differenz oder Abweichung zwischen dem Bild 10 und dem Rekonstruktionsbild 34 können Anomalien detektiert werden, wie in diesem Fall etwa Bereiche des Hindernisses 24 und der Brücke 18.
  • Werden dabei keinerlei signifikante Anomalien detektiert, lässt dies darauf schließen, dass das Assistenzsystem 42 die jeweilige Situation korrekt interpretiert. Dementsprechend kann basierend auf dieser Interpretation, also insbesondere basierend auf der semantischen Segmentierung 26 das Kraftfahrzeug 12 bzw. zumindest eine Fahrzeugeinrichtung 50 des Kraftfahrzeugs 12 automatisch oder autonom gesteuert werden.
  • Sind die detektierten Anomalien hingegen ausreichend groß, erfüllen also beispielsweise ein vorgegebenes Schwellenwertkriterium, so kann durch die Assistenzeinrichtung 42 eine Anforderung für eine Kontrollübernahme durch eine Bedienperson erzeugt werden. Diese Anforderung kann beispielsweise über eine Ausgangsschnittstelle 52 der Assistenzeinrichtung 42 ausgegeben werden, beispielsweise in Form eines hier schematisch angedeuteten kabellos ausgesendeten Anforderungssignals 54. Diese Anforderungssignal 24 kann an einen fahrzeugexternen Teleoperator 56 gesendet werden. Dieser kann daraufhin ein hier ebenfalls schematisch angedeutetes Steuersignalen 58 an das Kraftfahrzeug 12 senden, um dieses kabellosen fernzusteuern.
  • Um dem Teleoperator 56 ein Erfassen der jeweiligen Situation, in der sich das Kraftfahrzeug 12 befindet, zu erleichtern, wird anhand der, insbesondere pixelgenau, detektierten Anomalien bzw. Segmentierungsfehler zudem eine Visualisierung 36 erzeugt. Darin sind - zumindest wahrscheinlich oder vermutlich - inkorrekte Klassifikationen, also zu den Anomalien korrespondierende Fehlerbereiche 38 visuell hervorgehoben. Diese Visualisierung 36 kann als Teil des Anforderungssignals 54 ebenfalls an den Teleoperator 56 gesendet werden. Durch die Visualisierung 36 mit den hervorgehobenen Fehlerbereichen 38 kann der Teleoperator 56 intuitiv verständlich darauf hingewiesen werden, wo eine Ursache für die jeweilige Anforderung zur Kontrollübernahme liegt. Dadurch kann der Teleoperator 56 besonders schnell und effektiv die für eine sichere Führung des Kraftfahrzeugs 12 relevantesten Bereiche erkennen und entsprechend schnell reagieren, ohne dass er zunächst das gesamte Bild 10 nach möglichen Problemstellen absuchen muss.
  • Insgesamt zeigen die beschriebenen Beispiele damit wie ein Detektieren und Visualisieren von aus Sicht des jeweiligen Fahrzeugs für dessen autonomen Betrieb von Fahrzeugen problematischen Bereichen zu einem verbesserten Situationserfassen und Situationsverständnis einer fahrzeugexternen Bedienperson beitragen können.
  • Bezugszeichenliste
    • 10
    Bild
    12
    Kraftfahrzeug
    14
    Straße
    16
    Bebauung
    18
    Brücke
    20
    Himmel
    22
    Fremdfahrzeug
    24
    Hindernis
    26
    Segmentierung
    28
    Fahrzeugklassifikation
    30
    Gebäudeklassifikation
    32
    Himmelsklassifikation
    34
    Rekonstruktionsbild
    36
    Visualisierung
    38
    Fehlerbereich
    40
    Kamera
    42
    Assistenzeinrichtung
    44
    Eingangsschnittstelle
    46
    Datenspeicher
    48
    Prozessor
    50
    Fahrzeugeinrichtung
    52
    Ausgangsschnittstelle
    54
    Anforderungssignal
    56
    Teleoperator
    58
    Steuersignal
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2018538647 A [0005]

Claims (10)

  1. Verfahren zum Vereinfachen einer Kontrollübernahme über ein Kraftfahrzeug (12) durch eine fahrzeugexterne Bedienperson (56), in dem - in einem bedingt automatisierten Betrieb des Kraftfahrzeugs (12) Bilder (10) von dessen jeweiliger Umgebung erfasst und mittels eines vorgegebenen trainierten Segmentierungsmodells semantisch segmentiert werden, - basierend auf jeweils wenigstens einem der Bilder (10) Fehler des Segmentierungsmodells vorhergesagt werden, - bei einer entsprechenden Fehlervorhersage, die gemäß einem vorgegebenen Kriterium ein automatisches Ausgeben einer Anforderung (54) für die Kontrollübernahme durch die fahrzeugexterne Bedienperson (56) auslöst, automatisch eine bildbasierte Visualisierung (36) erzeugt wird, in der genau der zu der Fehlervorhersage korrespondierende Bereich (38) visuell hervorgehoben ist, und - die Anforderung (54) und die Visualisierung (36) an die fahrzeugexterne Bedienperson (56) gesendet werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Fehler des Segmentierungsmodells pixelweise vorhergesagt werden, darauf basierend für das jeweilige Bild (10) eine Anzahl der vorhergesagten Fehler und/oder ein durchschnittlicher Fehler bestimmt wird und als das vorgegebene Kriterium überprüft wird, ob die Anzahl der Fehler und/oder der durchschnittliche Fehler größer als ein vorgegebener Fehlerschwellenwert ist.
  3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Fehler des Segmentierungsmodells pixelweise vorhergesagt werden, eine Größe eines zusammenhängenden Bereiches von Fehlerpixeln bestimmt wird und als das vorgegebene Kriterium überprüft wird, ob die Größe wenigstens einem vorgegebenen Größenschwellenwert entspricht.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels eines vorgegebenen Rekonstruktionsmodells aus der semantischen Segmentierung (26) das dieser jeweils zugrunde liegende Bild (10) durch Erzeugen eines entsprechenden Rekonstruktionsbildes (34) approximiert wird und die jeweilige Visualisierung (36) basierend auf dem Rekonstruktionsbild (34) erzeugt wird.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das Rekonstruktionsmodell erzeugende gegnerische Netzwerke umfasst.
  6. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass zum Vorhersagen der Fehler jeweils das Rekonstruktionsbild (34) mit dem jeweiligen zugrunde liegenden erfassten Bild (10) verglichen wird und die Fehler anhand dabei detektierter Differenzen vorhergesagt werden.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Visualisierung (36) in Form einer Heatmap erzeugt wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bestimmt wird, welche Funktionalität von den Fehlern betroffen sind, und dies mit der Anforderung an die fahrzeugexterne Bedienperson (56) gesendet wird.
  9. Assistenzeinrichtung (42) für ein Kraftfahrzeug (12), aufweisend eine Eingangsschnittstelle (44) zum Erfassen von Bildern (10), eine Datenspeichereinrichtung (46), eine Prozessoreinrichtung (48) und eine Ausgangsschnittstelle (52) zum Ausgeben einer Anforderung (54) einer Kontrollübernahme durch eine fahrzeugexterne Bedienperson (56) und einer unterstützenden Visualisierung (36), wobei die Assistenzeinrichtung (42) zum Ausführen eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist.
  10. Kraftfahrzeug (12), aufweisend eine Kamera (40) zum Aufnehmen von Bildern (10) einer jeweiligen Umgebung des Kraftfahrzeugs (12), eine damit verbundene Assistenzeinrichtung (42) nach Anspruch 9 und eine Kommunikationseinrichtung (42, 52) zum kabellosen Senden der Anforderung (54) zur Kontrollübernahme und der Visualisierung (36) sowie zum kabellosen Empfangen von Steuersignalen (58) für eine Steuerung des Kraftfahrzeugs (12).
DE102021101363.1A 2021-01-22 2021-01-22 Bildbasiertes Verfahren zum Vereinfachen einer fahrzeugexternen Kontrollübernahme über ein Kraftfahrzeug, Assistenzeinrichtung und Kraftfahrzeug Pending DE102021101363A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102021101363.1A DE102021101363A1 (de) 2021-01-22 2021-01-22 Bildbasiertes Verfahren zum Vereinfachen einer fahrzeugexternen Kontrollübernahme über ein Kraftfahrzeug, Assistenzeinrichtung und Kraftfahrzeug
CN202280009333.3A CN116783564A (zh) 2021-01-22 2022-01-10 用于简化在车辆外部对机动车辆接管控制的基于图像的方法、辅助装置和机动车辆
US18/273,589 US20240103548A1 (en) 2021-01-22 2022-01-10 Image-Based Method for Simplifying a Vehicle-External Takeover of Control of a Motor Vehicle, Assistance Device, and Motor Vehicle
PCT/EP2022/050353 WO2022157025A1 (de) 2021-01-22 2022-01-10 Bildbasiertes verfahren zum vereinfachen einer fahrzeugexternen kontrollübernahme über ein kraftfahrzeug, assistenzeinrichtung und kraftfahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021101363.1A DE102021101363A1 (de) 2021-01-22 2021-01-22 Bildbasiertes Verfahren zum Vereinfachen einer fahrzeugexternen Kontrollübernahme über ein Kraftfahrzeug, Assistenzeinrichtung und Kraftfahrzeug

Publications (1)

Publication Number Publication Date
DE102021101363A1 true DE102021101363A1 (de) 2022-07-28

Family

ID=80050845

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021101363.1A Pending DE102021101363A1 (de) 2021-01-22 2021-01-22 Bildbasiertes Verfahren zum Vereinfachen einer fahrzeugexternen Kontrollübernahme über ein Kraftfahrzeug, Assistenzeinrichtung und Kraftfahrzeug

Country Status (4)

Country Link
US (1) US20240103548A1 (de)
CN (1) CN116783564A (de)
DE (1) DE102021101363A1 (de)
WO (1) WO2022157025A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11915533B1 (en) * 2023-01-20 2024-02-27 Embark Trucks Inc. Systems and methods for distributed visualization generaton

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014015075A1 (de) 2014-10-11 2016-04-14 Audi Ag Verfahren zum Betrieb eines automatisiert geführten, fahrerlosen Kraftfahrzeugs und Überwachungssystem
US20170323179A1 (en) 2016-05-06 2017-11-09 Uber Technologies, Inc. Object detection for an autonomous vehicle
US20180136651A1 (en) 2015-11-04 2018-05-17 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
WO2018232032A1 (en) 2017-06-16 2018-12-20 nuTonomy Inc. Intervention in operation of a vehicle having autonomous driving capabilities
JP2018538647A (ja) 2015-11-04 2018-12-27 ズークス インコーポレイテッド 自律車両の軌道修正のための遠隔操作システムおよび方法
DE102017213204A1 (de) 2017-08-01 2019-02-07 Continental Automotive Gmbh Verfahren und System zum Fernsteuern eines Fahrzeugs
DE102018116515A1 (de) 2018-07-09 2020-01-09 Valeo Schalter Und Sensoren Gmbh Bildsensordaten-basierte Distanzbestimmung und Rangieren eines Fahrzeugs
DE102019201990A1 (de) 2019-02-14 2020-08-20 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung einer Störung in einem Bild

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019105489A1 (de) * 2019-03-05 2020-09-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung und Computerprogramm zum Bereitstellen von Information in Bezug auf ein automatisiert fahrendes Fahrzeug

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014015075A1 (de) 2014-10-11 2016-04-14 Audi Ag Verfahren zum Betrieb eines automatisiert geführten, fahrerlosen Kraftfahrzeugs und Überwachungssystem
US20180136651A1 (en) 2015-11-04 2018-05-17 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
JP2018538647A (ja) 2015-11-04 2018-12-27 ズークス インコーポレイテッド 自律車両の軌道修正のための遠隔操作システムおよび方法
US20170323179A1 (en) 2016-05-06 2017-11-09 Uber Technologies, Inc. Object detection for an autonomous vehicle
WO2018232032A1 (en) 2017-06-16 2018-12-20 nuTonomy Inc. Intervention in operation of a vehicle having autonomous driving capabilities
DE102017213204A1 (de) 2017-08-01 2019-02-07 Continental Automotive Gmbh Verfahren und System zum Fernsteuern eines Fahrzeugs
DE102018116515A1 (de) 2018-07-09 2020-01-09 Valeo Schalter Und Sensoren Gmbh Bildsensordaten-basierte Distanzbestimmung und Rangieren eines Fahrzeugs
DE102019201990A1 (de) 2019-02-14 2020-08-20 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung einer Störung in einem Bild

Also Published As

Publication number Publication date
US20240103548A1 (en) 2024-03-28
WO2022157025A1 (de) 2022-07-28
CN116783564A (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
AT521607B1 (de) Verfahren und Vorrichtung zum Testen eines Fahrerassistenzsystem
DE102017107264A1 (de) Sichtbasierte regenerkennung unter verwendung des tiefen lernens
DE102018200134B3 (de) Verfahren zum Erfassen von Trainingsdaten für ein Fahrerassistenzsystem, Kraftfahrzeug und Servereinrichtung
DE102016218277B4 (de) Verfahren zur Funktionsprüfung eines Fahrassistenzsystems sowie Kontrolleinheit und Referenzeinrichtung für ein Fahrassistenzsystem
WO2016150590A1 (de) Verfahren und vorrichtung zum überwachen einer von einem fahrzeug abzufahrenden soll-trajektorie auf kollisionsfreiheit
DE102018133457B4 (de) Verfahren und System zum Bereitstellen von Umgebungsdaten
DE102019204943A1 (de) Verfahren und Vorrichtung zum teleoperierten Fahren eines Fahrzeuges
DE102019105739A1 (de) Verfahren zum zumindest teilautomatisierten Führen eines Kraftfahrzeugs
WO2020048718A1 (de) Konzept zum überwachen und planen einer bewegung eines fortbewegungsmittels
WO2020048669A1 (de) Verfahren zum bestimmen einer spurwechselangabe eines fahrzeugs, ein computerlesbares speichermedium und ein fahrzeug
WO2022157025A1 (de) Bildbasiertes verfahren zum vereinfachen einer fahrzeugexternen kontrollübernahme über ein kraftfahrzeug, assistenzeinrichtung und kraftfahrzeug
DE102021111325A1 (de) Verfahren und Assistenzeinrichtung zum Unterstützen eines Fahrbetriebs eines Kraftfahrzeugs und Kraftfahrzeug
DE102016101149A1 (de) Verfahren zum Erkennen von Rauch in einem Umgebungsbereich eines Kraftfahrzeugs mit Hilfe einer Kamera des Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
EP3968213A1 (de) Verfahren und vorrichtung zum ermitteln eines gleisgebundenen schienenpfades in einer gleisanlage
DE102019129904A1 (de) Automatische Fahrkompetenzanalyse
DE102016004028A1 (de) Verfahren zum Betrieb eines Fahrzeugs
WO2022106414A2 (de) Verfahren und system zur annotation von sensordaten
DE102021208148A1 (de) Verfahren zum Überwachen der Beobachtung einer Fahrsituation
DE102021213180A1 (de) Verfahren zur automatischen Steuerung wenigstens einer Fahrzeugfunktion eines Fahrzeugs und Benachrichtigungssystem für ein Fahrzeug
DE102017206396A1 (de) Steuerverfahren, Steuereinheit, Umfelderfassungssystem und mobile und/oder stationäre Einrichtung
DE102020133626A1 (de) Verfahren zum Erkennen von für ein neuronales Netz schwierig korrekt zu klassifizierenden Szenen, Assistenzeinrichtung und Kraftfahrzeug
DE102020006036A1 (de) Verfahren zum Erzeugen einer Freigabe für eine Nutzung eines Seitenstreifens mittels eines Überwachungssystems, sowie Überwachungssystem
EP4029763B1 (de) Verfahren zum betreiben eines kraftfahrzeugs sowie kraftfahrzeug
DE102022205084B3 (de) Verfahren, Computerprogramm und Vorrichtung zur Umfeldwahrnehmung im Fahrzeug sowie entsprechendes Fahrzeug
DE102021200252A1 (de) Verfahren zum Steuern einer Verkehrssituation

Legal Events

Date Code Title Description
R163 Identified publications notified