WO2019037907A1 - Verfahren und vorrichtung zur ermittlung einer wahrscheinlichkeit, mit der sich ein objekt in einem sichtfeld eines fahrers eines fahrzeugs befindet - Google Patents

Verfahren und vorrichtung zur ermittlung einer wahrscheinlichkeit, mit der sich ein objekt in einem sichtfeld eines fahrers eines fahrzeugs befindet Download PDF

Info

Publication number
WO2019037907A1
WO2019037907A1 PCT/EP2018/062678 EP2018062678W WO2019037907A1 WO 2019037907 A1 WO2019037907 A1 WO 2019037907A1 EP 2018062678 W EP2018062678 W EP 2018062678W WO 2019037907 A1 WO2019037907 A1 WO 2019037907A1
Authority
WO
WIPO (PCT)
Prior art keywords
determined
field
view
driver
probability
Prior art date
Application number
PCT/EP2018/062678
Other languages
English (en)
French (fr)
Inventor
Moritz Blume
Florian Bade
Martin BUCHNER
Julia Niemann
Michael Wolfram
Joris Wolters
Carsten Isert
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Priority to CN201880047125.6A priority Critical patent/CN110891841B/zh
Publication of WO2019037907A1 publication Critical patent/WO2019037907A1/de
Priority to US16/796,684 priority patent/US11935262B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the invention relates to a method for determining a probability with which an object in a
  • the invention further relates to a device for
  • the invention further relates to a computer program and a computer program product for determining a probability with which an object is located in the field of view of a driver of a vehicle.
  • Field of view of a driver of a vehicle is located.
  • the object underlying the invention is to
  • the invention is characterized according to a first aspect by a method for determining a probability with which an object is located in a field of view of a driver of a vehicle.
  • the invention is characterized in a second aspect by a device for
  • the device Determining a probability with which an object is located in the field of view of a driver of a vehicle.
  • the device is designed to carry out the method or an embodiment of the method.
  • a two-dimensional image is determined, such that the two-dimensional image the
  • the two-dimensional image has a set of pixels, each comprising at least a portion of one or more of the detected objects of the
  • data representing at least one determined field of view of the driver is provided.
  • the at least one detected field of view in this case depends on at least one
  • predetermined detection variable which is detected in the vehicle with a predetermined detection sensor determined.
  • Probability determines, with which the at least one object in the field of vision of the driver, which also acts as a real or actual field of vision of the driver
  • Various methods can be used for the rendering, for example raycasting and / or screening et cetera.
  • Raycasting refers to a method in which a
  • Rast für, also called scan conversion refers to the conversion of a vector graphic into a raster graphic.
  • the objects of the three-dimensional scene include, for example, a traffic sign and / or a traffic light and / or a vehicle and / or a person and / or a
  • the imaging or the rendering has the advantage that even hidden objects can be taken into account.
  • probabilistic statement with which probability the at least one object lies in the field of view of the driver Preferably, for all objects that are known to the vehicle, the probability with which the respective
  • the field of view of the driver corresponds, in contrast to the determined field of vision of the driver, the real or actual field of vision of the driver.
  • the determined field of view may be of the real field of view due to
  • Detection tolerances and / or model tolerances differ.
  • the field of view may include one or more fields of view.
  • the field of view may include a central field of view area and / or a peripheral field of view area.
  • a central field of view a central location of a retina is used to fix an object.
  • a peripheral field of view are the fields of view.
  • the curved plane comprises or is at least a part of a surface of a ball, wherein a Zyklopauge the driver forms a center of the ball.
  • a Zyklopauge the driver forms a center of the ball.
  • the diameter of the ball plays a minor role, as long as the diameter is sufficiently small, d. H. the ball is so small that it does not cover the objects that are on the
  • an area is determined in the two-dimensional image that corresponds to the at least one
  • the at least one determined object is located at least partially in the at least one determined field of vision of the driver.
  • the determined field of view of the driver is stored for example in a bitmap.
  • the two-dimensional image is placed over the bitmap accordingly.
  • the data represent a first determined field of view and at least one further determined field of view of the driver. In this case, a position of the first field of view deviates from a position of the respective field of view
  • the first determined field of view and the respective further determined field of view are each assigned a weighting factor, and the probability with which the at least one object is located in the "actual" field of view of the driver becomes dependent on the
  • the first and the at least one further field of view is determined such that its position is determined in each case.
  • the first determined field of view and the at least one further determined field of view may overlap.
  • the field of view to be determined in each case can be determined in particular as a function of a detected head pose and / or a detected line of sight and / or a detected position of the driver. Due to specific anatomical and physiological features, errors may occur during the detection of the detected head pose and / or the detected viewing direction and / or the detected position of the driver.
  • the first field of view determined corresponds to a first detected and / or determined viewing direction of the driver and the at least one further ascertained
  • the weighting factors preferably indicate how often the case occurs that the first determined field of view corresponds to the "real field of vision" of the driver, compared to the case where the at least one further field of view corresponds to the "real field of vision” of the driver.
  • the determined first field of view and the at least one further determined field of view can each be stored in a bitmap.
  • the probabilistic assignment can be done by multiple, weighted superimposition of the bitmaps.
  • At least a part of the pixels has a tuple of object identifiers.
  • transparent and / or hidden objects can be very easily taken into account in the two-dimensional image with the aid of the tuples.
  • the set of pixels comprises first pixels, each comprising at least a part of at least two of the determined objects of the three-dimensional scene
  • the at least a part of the determined objects of the three-dimensional scene can each one
  • the first pixels may each comprise a tuple having at least two object identifiers associated with different objects.
  • the two-dimensional image depending on a masking and / or translucency of at least one of the detected objects of the three-dimensional scene determined.
  • An occlusion and / or translucency, in particular a transparency of objects can be
  • a transparent windscreen can in each case be taken into account in a pixel description of the objects by assigning an object identifier to the windshield.
  • An object that is visible through the windshield can thus be described by a pixel having at least two object identifiers.
  • the tuple allows to consider at the same time an order of the objects.
  • the set of pixels has second pixels which are at least part of an object
  • the second pixels may represent at least a part of a translucent or transparent object.
  • the first pixels and the second pixels may be identical pixels.
  • a visibility of at least one of the determined objects of the three-dimensional scene is determined as a function of the probability with which the at least one of the determined objects is located in the field of vision of the driver.
  • visibility of objects with increasing deviation from a visual axis of the driver drops.
  • the determined field of view A plurality of visual field areas and a probability with which the at least one object is located in a specific field of view of the driver is determined. A division of the determined field of view into different fields of view makes it possible to differentiate the visibility and / or the visual perception of the driver more strongly.
  • each determined field of view represents a determined peripheral field of view and the
  • the probability with which the at least one object is located in an "actual" peripheral field of view of the driver is determined.
  • Perception probability of the driver determined for at least one of the detected objects of the three-dimensional scene, depending on the probability with which the at least one of the detected objects is in the field of view of the driver.
  • Perception probability depending on the visibility of the object can be determined.
  • the perception probability with which the object can be detected by the user Driver was perceived to be determined.
  • the perception probability can depend in particular on a given model that is based on a
  • Attention can only be focused on one or a few objects at a given time.
  • the periphery is preferred to the net skin center in information processing. If, for example, an object or a movement suddenly appears in the periphery, the central perception in favor of the information from the periphery is suppressed and the
  • Probability and / or the determined visibility and / or the determined perception probability for a given driver assistance function provided and the driver assistance function is performed depending on the determined probability and / or the determined visibility and / or the detected probability of perception.
  • Driver assistance functions are provided, such as
  • driver assistance functions for a partially automated driving in which the human driver monitors the driving environment, but the driver is supported in certain driving situations by one or more driver assistance systems.
  • the invention is characterized by a computer program, wherein the computer program is designed, the method for determining a
  • Field of view of a driver of a vehicle is located, or perform an optional embodiment of the method.
  • the invention is characterized by a computer program product comprising executable program code, wherein the program code when executed by a data processing device, the method for determining a probability with which an object is in the field of view of a driver of a vehicle, or executes optional embodiment of the method.
  • the computer program product comprises a medium which can be read by the data processing device and on which the program code is stored.
  • FIG. 2 shows an exemplary traffic scene
  • Figure 3 is an intermediate image
  • FIG. 4 shows a two-dimensional image
  • FIG. 1 shows a flow diagram of a program for
  • the program may consist of a device for determining a probability with which an object 0 in a
  • the device has a particular for this purpose
  • Computing unit a program and data storage and, for example, one or more communication interfaces.
  • Computing unit and / or the communication interfaces can be formed in a unit and / or distributed over several units.
  • the program is started in a step S1 in which variables can be initialized if necessary.
  • Vehicle one or more objects 0 of the three-dimensional scene determined.
  • all objects 0 of the three-dimensional scene are determined.
  • Detecting objects can be 0, but not necessarily one
  • object recognition in which, for example, an object is recognized as a vehicle and another object as a traffic light.
  • the raw data R of the three-dimensional scene become
  • the three-dimensional image is typically defined by at least one
  • Image capture device for example, a camera, the vehicle won.
  • the image capture device is
  • the raw data R can include a virtual spatial model that defines at least object 0 and the position and viewing direction of a viewer.
  • the virtual model is preferably designed to detect three-dimensional image data comprising a distance information or depth information.
  • the raw data R can include a virtual spatial model that defines at least object 0 and the position and viewing direction of a viewer.
  • the virtual model is preferably designed to detect three-dimensional image data comprising a distance information or depth information.
  • the raw data R can include a virtual spatial model that defines at least object 0 and the position and viewing direction of a viewer.
  • the virtual model is preferably designed to detect three-dimensional image data comprising a distance information or depth information.
  • a two-dimensional image is determined depending on the provided raw data R of the three-dimensional scene, such that the two-dimensional image images the determined objects 0 of the three-dimensional scene on a surface of a sphere, wherein the two-dimensional image Image has a set of pixels P, each representing at least a part of one or more of the detected objects 0 of the three-dimensional scene.
  • a Cyclops eye of the driver forms the center of the sphere, on the surface of which the detected objects are imaged.
  • the set of pixels P includes, for example, first pixels, each comprising at least a portion of at least two of the
  • the two-dimensional image is dependent on a concealment and / or translucency of at least one of the determined objects 0 of
  • Image capture device is preferably arranged in an interior of the vehicle.
  • the objects 0 outside the vehicle are preferably arranged in an interior of the vehicle.
  • the windscreen may have a different translucency
  • At least a part of the pixels P therefore has, for example, a tuple with at least two object identifiers which are assigned to different objects 0.
  • step S9 data FOV, which represent at least one determined field of vision of the driver,
  • a line of sight of the driver depends on a determined eye vector or a detected nose vector by means of a
  • eye tracking devices are a camera sensor that has a three-dimensional viewing direction of a user outputs.
  • the field of vision of the driver can be determined.
  • a detected Kopfpose and / or a detected head position of the driver can be used for this purpose.
  • a step Sil for at least one of the determined objects 0, the probability with which the at least one determined object 0 is located in the "actual" field of view of the driver is determined, depending on the
  • an area is preferably determined in the two-dimensional image which corresponds to the ascertained field of view of the driver and depending on a position of the object 0 with respect to the determined area, it is determined whether at least one of
  • the data FOV representing the at least one detected field of view for example, in a bitmap
  • Eye-tracking devices mainly use head models. Such a head model is usually based on specific
  • anatomical or physiological features such as the corners of the eyes, the corners of the mouth, the tip of the nose, whose relation to one another is generally different over different types of head.
  • errors may occur that affect the field of view to be determined.
  • a position of the detected field of vision generally differs from the position of the "real" one.
  • a first field of view and at least one further field of view are determined that of the first
  • Field of view deviates within a predetermined tolerance range.
  • the first and the at least one more field of vision will be
  • the first field of view determined has a weighting factor of 70.
  • the further field of view determined for example, a weighting factor 15, since it is assumed that the detected line of sight, on the basis of which the further field of view determined was determined, is more likely to be the actual one
  • Viewing direction of the driver deviates than in the first determined field of view. Can the object only one, for
  • the likelihood that the object lies in the driver's actual field of view is smaller than if the object can be assigned to the first field of view or even to two fields of view.
  • a visibility S and / or a perception probability Z of the at least one object 0 is determined, depending on the determined probability.
  • the determined probability and / or the determined visibility S and / or the determined perception probability Z are provided for a predefined driver assistance function.
  • step S17 the program is ended.
  • FIG. 2 shows an exemplary traffic scene 1.
  • Traffic scene 1 for example, with a
  • Image capture device for example, with a 3D camera, the vehicle detected.
  • a 2D camera can also be used and the depth information is detected, for example, by means of other sensor devices, for example by means of a radar device and / or a lidar device.
  • the traffic scene 1 is detected, for example, by an image capture device located inside the
  • Example is the image capture device such as
  • Traffic scene 1 includes several objects 0: a
  • oncoming vehicle 24 a preceding vehicle 26, a crossing vehicle 28, a traffic light 30, a plurality of pylons 32, and a dog 34.
  • FIG. 3 shows an intermediate image 5 which is the rendered one
  • Traffic scene 1 are shown simplified.
  • the objects are displayed as cuboids. This simplified
  • the pixels P of the two-dimensional image each have tuples with two
  • the windshield also represents the windshield.
  • hidden objects are not listed in the pixel P tuple.
  • FIG. 4 shows the rendered second-dimensional image with an assignment of the objects 0 to the spherical surface.
  • Figure 4 thus shows the rendered second dimensional image with a
  • the driver's direction of view is directed by way of example to the vehicle in front.
  • the oncoming vehicle is predominantly in one
  • the dog lies in a range of about 60 ° and is therefore perceptible only by peripheral vision. It turns out that the Attention of the driver (still) not directed to the dog.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Bei dem Verfahren werden abhängig von bereitgestellten Rohdaten (R) einer dreidimensionalen Szene, die eine vorgegebene Umgebung innerhalb und/oder außerhalb des Fahrzeugs repräsentiert, ein oder mehrere Objekte (O) der dreidimensionalen Szene ermittelt. Abhängig von den bereitgestellten Rohdaten (R) der dreidimensionalen Szene wird ein zweidimensionales Bild ermittelt, derart, dass das zweidimensionale Bild die ermittelten Objekte (O) der dreidimensionalen Szene auf eine gekrümmte Ebene abbildet, wobei das zweidimensionale Bild eine Menge an Pixel (P) aufweist, die jeweils zumindest einen Teil eines oder mehrerer der ermittelten Objekte (O) der dreidimensionalen Szene repräsentieren. Des Weiteren werden Daten (FOV), die zumindest ein ermitteltes Sichtfeld des Fahrers repräsentieren, bereitgestellt. Für zumindest eines der ermittelten Objekte (O) wird die Wahrscheinlichkeit, mit der sich das zumindest eine Objekt (O) in dem Sichtfeld des Fahrers befindet, ermittelt, abhängig von den bereitgestellten Daten (FOV) und dem zweidimensionalen Bild.

Description

Beschreibung
Verfahren und Vorrichtung zur Ermittlung einer
Wahrscheinlichkeit, mit der sich ein Objekt in einem
Sichtfeld eines Fahrers eines Fahrzeugs befindet
Die Erfindung betrifft ein Verfahren zur Ermittlung einer Wahrscheinlichkeit, mit der sich ein Objekt in einem
Sichtfeld eines Fahrers eines Fahrzeugs befindet. Die
Erfindung betrifft des Weiteren eine Vorrichtung zur
Ermittlung einer Wahrscheinlichkeit, mit der sich ein Objekt in einem Sichtfeld eines Fahrers eines Fahrzeugs befindet. Die Erfindung betrifft des Weiteren ein Computerprogramm sowie ein Computerprogrammprodukt zur Ermittlung einer
Wahrscheinlichkeit, mit der sich ein Objekt in einem
Sichtfeld eines Fahrers eines Fahrzeugs befindet.
Während frühe Fahrerassistenzsysteme wie ein
Antiblockiersystem und ein Elektronisches Stabilitätsprogramm auf eine direkte Unterstützung der Fahrzeugsteuerung
beschränkt waren, existieren mittlerweile eine Vielzahl von Fahrerassistenzsystemen, die den Fahrer aktiv auf bestehende Gefahren hinweisen. Durch die Verbesserung der
Umfelderfassung kann das Fahrerassistenzsystem deutlich mehr potenzielle Konfliktsituationen erkennen und vorhersagen und den Fahrer frühzeitig auf sich anbahnende Gefahrensituationen hinzuweisen. Ein Übermaß an Hinweisen und Warnungen kann jedoch zu einer kognitiven Überlastung des Fahrers führen und diesen sogar von der eigentlichen Fahraufgabe ablenken.
Darüber hinaus ist anzunehmen, dass sich der Fahrer bei einer Vielzahl unnötiger Warnungen von diesen gestört oder sogar in seiner Fahrkompetenz angegriffen fühlt und das System in der Folge abschaltet. Daher kann es vorteilhaft sein, auf die Ausgabe von Warnungen gezielt zu verzichten, wenn eine adäquate Fahrerreaktion auch ohne diese zu erwarten ist.
Moderne Fahrerassistenzsysteme für teilautomatisiertes oder hochautomatisiertes Fahren nutzen daher zunehmend eine
Einschätzung eines Situationsbewusstseins des Fahrers.
Solch eine Einschätzung des Situationsbewusstseins basiert häufig auf einer Einschätzung, worauf der Fahrer seine
Aufmerksamkeit richtet. Da der Fahrer in dem Fahrzeug während einer Fahrt von vielen visuellen Reizen umgeben ist, kann es situationsbedingt wichtig sein, abschätzen zu können, ob ein bestimmtes Objekt für den Fahrer sichtbar ist und/oder ob das bestimmte Objekt wahrgenommen werden kann von dem Fahrer.
Die Aufgabe, die der Erfindung zugrunde liegt, ist, ein
Verfahren und eine Vorrichtung bereitzustellen, das
beziehungsweise die es ermöglicht, eine Wahrscheinlichkeit, mit der sich ein Objekt in einem Sichtfeld eines Fahrers Fahrzeug befindet, zuverlässig zu ermitteln.
Die Aufgabe wird gelöst durch die Merkmale der unabhängigen Patentansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet.
Die Erfindung zeichnet sich gemäß einem ersten Aspekt aus durch ein Verfahren zur Ermittlung einer Wahrscheinlichkeit, mit der sich ein Objekt in einem Sichtfeld eines Fahrers eines Fahrzeugs befindet. Die Erfindung zeichnet sich gemäß einem zweiten Aspekt aus durch eine Vorrichtung zur
Ermittlung einer Wahrscheinlichkeit, mit der sich ein Objekt in einem Sichtfeld eines Fahrers eines Fahrzeugs befindet. Die Vorrichtung ist dazu ausgebildet, das Verfahren oder eine Ausgestaltung des Verfahrens durchzuführen.
Bei dem Verfahren werden abhängig von bereitgestellten
Rohdaten einer dreidimensionalen Szene, die eine vorgegebene Umgebung innerhalb und/oder außerhalb des Fahrzeugs
repräsentiert, ein oder mehrere Objekte der dreidimensionalen Szene ermittelt. Abhängig von den bereitgestellten Rohdaten der dreidimensionalen Szene wird ein zweidimensionales Bild ermittelt, derart, dass das zweidimensionale Bild die
ermittelten Objekte der dreidimensionalen Szene auf eine gekrümmte Ebene abbildet, wobei das zweidimensionale Bild eine Menge an Pixel aufweist, die jeweils zumindest einen Teil eines oder mehrerer der ermittelten Objekte der
dreidimensionalen Szene repräsentieren. Des Weiteren werden Daten, die zumindest ein ermitteltes Sichtfeld des Fahrers repräsentieren, bereitgestellt. Das zumindest eine ermittelte Sichtfeld wird hierbei abhängig von zumindest einer
vorgegebenen Erfassungsgröße, die im Fahrzeug mit einer vorgegebenen Erfassungssensorik erfasst wird, ermittelt. Für zumindest eines der ermittelten Objekte wird die
Wahrscheinlichkeit ermittelt, mit der sich das zumindest eine Objekte in dem Sichtfeld des Fahrers, das auch als reales beziehungsweise tatsächliches Sichtfeld des Fahrers
bezeichnet werden kann, befindet, abhängig von den
bereitgestellten Daten und dem zweidimensionalen Bild.
Für das Rendering können verschiedene Methoden, zum Beispiel Raycasting und/oder Rastern et cetera eingesetzt werden.
Raycasting bezeichnet eine Methode, bei dem eine
Rückverfolgung von möglichen Sehstrahlen erfolgt. Rasterung, auch Scankonvertierung genannt, bezeichnet die Umwandlung einer Vektor- in eine Rastergrafik. Die Objekte der dreidimensionalen Szene umfassen beispielsweise ein Verkehrsschild und/oder eine Ampel und/oder ein Fahrzeug und/oder ein Person und/oder ein
Bedienelement im Fahrzeug und so weiter.
Das Abbilden beziehungsweise das Rendering hat den Vorteil, dass auch verdeckte Objekte berücksichtigt werden können.
Ferner ermöglicht das erfindungsgemäße Verfahren eine
probabilistische Aussage, mit welcher Wahrscheinlichkeit das zumindest eine Objekt in dem Sichtfeld des Fahrers liegt. Vorzugsweise wird für alle Objekte, die dem Fahrzeug bekannt sind, die Wahrscheinlichkeit mit der sich das jeweilige
Objekt in dem Sichtfeld des Fahrers befindet, ermittelt.
Das Sichtfeld des Fahrers entspricht, im Unterschied zu dem ermittelten Sichtfeld des Fahrers, dem realen beziehungsweise tatsächlichen Sichtfeld des Fahrers. Das ermittelte Sichtfeld kann von dem realen Sichtfeld aufgrund von
Erfassungstoleranzen und/oder Modelltoleranzen abweichen.
Das Sichtfeld kann einen oder mehrere Sichtfeldbereiche umfassen. Insbesondere kann das Sichtfeld einen zentralen Sichtfeldbereich und/oder einen peripheren Sichtfeldbereich umfassen. Bei dem zentralen Sichtfeldbereich wird eine zentrale Stelle einer Netzhaut zum Fixieren eines Objekts benutzt. Bei dem peripheren Sichtfeldbereich werden zur
Wahrnehmung extrafoveale Areale genutzt.
Vorteilhafterweise können so zum Beispiel mit größerer
Genauigkeit Aussagen darüber getroffen werden, welche Objekte vom Fahrer fokussiert werden und/oder wo seine visuelle
Aufmerksamkeit liegt. Insbesondere kann so eine erhöhte Qualität für Aussagen gewährleistet werden, ob der Fahrer bezogen auf eine Fahrsituation angemessen aufmerksam ist.
In einer vorteilhaften Ausgestaltung gemäß dem ersten und zweiten Aspekt umfasst oder ist die gekrümmte Ebene zumindest ein Teil einer Oberfläche einer Kugel, wobei ein Zyklopauge des Fahrers ein Zentrum der Kugel bildet. Hierbei wird zumindest ein Teil der ermittelten Objekte der
dreidimensionalen Szene auf die Oberfläche der Kugel
abgebildet beziehungsweise gerendert . Hierbei spielt der Durchmesser der Kugel eine untergeordnete Rolle, solange der Durchmesser ausreichend klein ist, d. h. die Kugel so klein ist, dass sie die Objekte nicht umfasst, die auf der
Oberfläche abgebildet werden sollen.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten und zweiten Aspekt wird ein Bereich ermittelt in dem zweidimensionalen Bild, der zu dem zumindest einen
ermittelten Sichtfeld des Fahrers korrespondiert. Des
Weiteren wird abhängig von einer Lage des Objekts in Bezug auf den ermittelten Bereich ermittelt, ob sich das zumindest eine ermittelten Objekte zumindest zum Teil in dem zumindest einen ermittelten Sichtfeld des Fahrers befindet.
Dies ermöglicht vorteilhafterweise eine einfache Zuordnung des zumindest einen Objekts zu dem zumindest einen
ermittelten Sichtfeld des Fahrers. Das zumindest eine
ermittelte Sichtfeld des Fahrers wird beispielsweise in einer Bitmap gespeichert. Um das zumindest eine Objekt dem
zumindest einen ermittelten Sichtfeld des Fahrers zuzuordnen, wird das zweidimensionale Bild entsprechend über das Bitmap gelegt . In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten und zweiten Aspekt repräsentieren die Daten ein erstes ermitteltes Sichtfeld und zumindest ein weiteres ermitteltes Sichtfeld des Fahrers. Hierbei weicht eine Lage des ersten ermittelten Sichtfeldes von einer Lage des jeweiligen
weiteren ermittelten Sichtfeldes in einem vorgegebenen
Toleranzbereich ab. Dem ersten ermittelten Sichtfeld und dem jeweiligen weiteren ermittelten Sichtfeld werden jeweils ein Gewichtungsfaktor zugeordnet und die Wahrscheinlichkeit, mit der sich das zumindest eine Objekt in dem „tatsächlichen" Sichtfeld des Fahrers befindet, wird abhängig von den
jeweiligen Gewichtungsfaktoren ermittelt.
Insbesondere wird das erste und das zumindest eine weitere Sichtfeld derart ermittelt, dass jeweils seine Lage ermittelt wird. Das erste ermittelte Sichtfeld und das zumindest eine weitere ermittelte Sichtfeld können überlappen.
Das jeweils zu ermittelnde Sichtfeld kann insbesondere abhängig von einer erfassten Kopfpose und/einer erfassten Blickrichtung und/oder einer erfassten Position des Fahrers ermittelt werden. Aufgrund von spezifischen anatomischen und physiologischen Merkmalen kann es bei der Erfassung der erfassten Kopfpose und/oder der erfassten Blickrichtung und/oder der erfassten Position des Fahrers zu Fehlern kommen .
Beispielsweise korrespondiert das erste ermittelte Sichtfeld mit einer ersten erfassten und/oder ermittelten Blickrichtung des Fahrers und das zumindest eine weitere ermittelte
Sichtfeld korrespondiert mit einer weiteren erfassten
und/oder ermittelten Blickrichtung des Fahrers.
Beispielsweise wird eine Hypothese aufgestellt, welche Blickrichtung die wahrscheinlichste ist und dementsprechend wird dem jeweiligen ermittelten Sichtfeld der
Gewichtungsfaktor zugeordnet.
Die Gewichtungsfaktoren geben vorzugsweise an, wie häufig der Fall eintritt, dass das erste ermittelte Sichtfeld dem „realen Sichtfeld" des Fahrers entspricht, im Vergleich zu dem Fall, dass das zumindest eine weitere Sichtfeld dem „realen Sichtfeld" des Fahrers entspricht. Das ermittelte erste Sichtfeld und das zumindest eine weitere ermittelte Sichtfeld können jeweils in einer Bitmap gespeichert werden. Die probabilistische Zuordnung kann durch mehrfaches, gewichtetes Übereinanderlegen der Bitmaps erfolgen.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten und zweiten Aspekt weist zumindest ein Teil der Pixel ein Tupel von Objektidentifikatoren auf. Insbesondere können mit Hilfe der Tupel transparente und/oder verdeckte Objekte sehr einfach in dem zweidimensionalen Bild berücksichtigt werden .
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten und zweiten Aspekt umfasst die Menge der Pixel erste Pixel, die jeweils zumindest einen Teil von zumindest zwei der ermittelten Objekte der dreidimensionalen Szene
repräsentieren. Dem zumindest einen Teil der ermittelten Objekte der dreidimensionalen Szene kann jeweils ein
Objektidentifikator zugeordnet sein. Die ersten Pixel können jeweils ein Tupel mit mindestens zwei Objektidentifikatoren umfassen, die verschiedenen Objekten zugeordnet sind.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten und zweiten Aspekt wird das zweidimensionale Bild abhängig von einer Verdeckung und/oder Transluzenz von zumindest einem der ermittelten Objekte der dreidimensionalen Szene ermittelt. Eine Verdeckung und/oder Transluzenz, insbesondere eine Transparenz von Objekten kann
berücksichtigt werden. Insbesondere kann eine transparente Windschutzscheibe jeweils bei einer Pixelbeschreibung der Objekte berücksichtigt werden, indem der Windschutzscheibe ein Objektidentifikator zugeordnet wird. Ein Objekt, das durch die Windschutzscheibe hindurch sichtbar ist, kann somit durch ein Pixel mit mindestens zwei Objektidentifikatoren beschrieben werden. Das Tupel ermöglicht, gleichzeitig noch eine Reihenfolge der Objekte zu berücksichtigen.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten und zweiten Aspekt weist die Menge an Pixel zweite Pixel auf, die zumindest einen Teil eines Objekts
repräsentieren, der von einem anderen Objekt verdeckt wird. Alternativ oder zusätzlich können die zweiten Pixel zumindest einen Teil eines transluzenten oder transparenten Objekts repräsentieren. Die ersten Pixel und die zweiten Pixel können identische Pixel sein.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten und zweiten Aspekt wird eine Sichtbarkeit zumindest eines der ermittelten Objekte der dreidimensionalen Szene abhängig von der Wahrscheinlichkeit, mit der sich das zumindest eine der ermittelten Objekte in dem Sichtfeld des Fahrers befindet, ermittelt. Hierbei wird angenommen, dass eine Sichtbarkeit von Objekten mit zunehmender Abweichung von einer Sichtachse des Fahrers abfällt.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten und zweiten Aspekt weist das ermittelte Sichtfeld mehrere Sichtfeldbereiche auf und eine Wahrscheinlichkeit, mit der sich das zumindest eine Objekt in einem bestimmten Sichtfeldbereich des Fahrers befindet, wird ermittelt. Eine Aufteilung des ermittelten Sichtfeldes in unterschiedliche Sichtfeldbereiche ermöglicht, die Sichtbarkeit und/oder die visuelle Wahrnehmung des Fahrers stärker zu differenzieren.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten und zweiten Aspekt repräsentiert das jeweils
ermittelte Sichtfeld einen ermittelten zentralen
Sichtfeldbereich und die Wahrscheinlichkeit, mit der sich das zumindest eine Objekt in einem „tatsächlichen" zentralen Sichtfeldbereich des Fahrers befindet, wird ermittelt.
Alternativ repräsentiert das jeweils ermittelte Sichtfeld einen ermittelten peripheren Sichtfeldbereich und die
Wahrscheinlichkeit, mit der sich das zumindest eine Objekt in einem „tatsächlichen" peripheren Sichtfeldbereich des Fahrers befindet, wird ermittelt.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten und zweiten Aspekt wird eine
Wahrnehmungswahrscheinlichkeit des Fahrers ermittelt für zumindest eines der ermittelten Objekte der dreidimensionalen Szene, abhängig von der Wahrscheinlichkeit, mit der sich das zumindest eine der ermittelten Objekte in dem Sichtfeld des Fahrers befindet. Ergänzend kann die
Wahrnehmungswahrscheinlichkeit abhängig von der Sichtbarkeit des Objekts ermittelt werden.
Wurde zum Beispiel eine Augenbewegung des Fahrers erkannt, kann abhängig von der Augenbewegung, dem entsprechenden ermittelten Sichtfeld und der Sichtbarkeit eines Objekts die Wahrnehmungswahrscheinlichkeit, mit der das Objekt von dem Fahrer wahrgenommen wurde, ermittelt werden. Die Wahrnehmungswahrscheinlichkeit kann hierbei insbesondere abhängig von einem vorgegebenen Modell, das auf einer
ob ektbasierten visuellen Aufmerksamkeit basiert, ermittelt werden. Die Theorie der ob ektbezogenen Aufmerksamkeit basiert auf der Annahme, dass Aufmerksamkeit nicht auf einen abstrakten Ort, sondern auf ein bestimmtes Objekt an einem bestimmten Ort ausgerichtet wird beziehungsweise dass
Aufmerksamkeit nur auf ein oder einige wenige Objekte zu einer gegebenen Zeit gerichtet werden kann.
Die Peripherie wird gegenüber dem Net zhaut Zentrum bei der Informationsverarbeitung bevorzugt behandelt. Taucht zum Beispiel in der Peripherie plötzlich ein Objekt oder eine Bewegung auf, wird die zentrale Wahrnehmung zugunsten der Informationen aus der Peripherie unterdrückt und die
Aufmerksamkeit wird auf das neue Detail gelenkt. Dabei erfolgt reflektorisch eine Neuorientierung von Kopf und Augen (mit Hilfe der Augenbewegungen) auf das zu analysierende Objekt. Danach kann die bessere räumliche Auflösungsfähigkeit des zentralen Sehens zur Analyse der Situation genutzt werden. Dem peripheren Sehen kommt somit die Funktion der Detektion zu.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten und zweiten Aspekt werden die ermittelte
Wahrscheinlichkeit und/oder die ermittelte Sichtbarkeit und/oder die ermittelte Wahrnehmungswahrscheinlichkeit für eine vorgegebene Fahrerassistenzfunktion bereitgestellt und die Fahrerassistenzfunktion wird abhängig von der ermittelten Wahrscheinlichkeit und/oder der ermittelten Sichtbarkeit und/oder der ermittelten Wahrnehmungswahrscheinlichkeit durchgeführt. Hierdurch kann die Wahrscheinlichkeit und/oder die ermittelte Sichtbarkeit und/oder die ermittelte
Wahrnehmungswahrscheinlichkeit für beliebige
Fahrassistenzfunktionen bereitgestellt werden, wie
beispielsweise bei Fahrerassistenzfunktionen für einen teilautomatisierten Fahrbetrieb, bei dem der menschliche Fahrer die Fahrumgebung überwacht, der Fahrer jedoch in bestimmten Fahrsituationen unterstützt wird durch ein oder mehrere Fahrerassistenzsysteme.
Gemäß eines dritten Aspekts zeichnet sich die Erfindung aus durch ein Computerprogramm, wobei das Computerprogramm ausgebildet ist, das Verfahren zur Ermittlung einer
Wahrscheinlichkeit, mit der sich ein Objekt in einem
Sichtfeld eines Fahrers eines Fahrzeugs befindet, oder eine optionale Ausgestaltung des Verfahrens durchzuführen.
Gemäß eines vierten Aspekts zeichnet sich die Erfindung aus durch ein Computerprogrammprodukt, das einen ausführbaren Programmcode umfasst, wobei der Programmcode bei Ausführung durch eine Datenverarbeitungsvorrichtung das Verfahren zur Ermittlung einer Wahrscheinlichkeit, mit der sich ein Objekt in einem Sichtfeld eines Fahrers eines Fahrzeugs befindet, oder eine optionale Ausgestaltung des Verfahrens ausführt.
Das Computerprogrammprodukt umfasst insbesondere ein von der Datenverarbeitungsvorrichtung lesbares Medium, auf dem der Programmcode gespeichert ist.
Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen näher erläutert. Es zeigen: Figur 1 ein Ablaufdiagram zur Ermittlung einer Wahrscheinlichkeit, mit der sich ein Objekt in einem
Sichtfeld eines Fahrers eines Fahrzeugs befindet,
Figur 2 eine beispielhafte Verkehrsszene,
Figur 3 ein Zwischenbild und
Figur 4 ein zweidimensionales Bild.
Die Figur 1 zeigt ein Ablaufdiagram eines Programms zur
Ermittlung einer Wahrscheinlichkeit, mit der sich ein Objekt 0 in einem Sichtfeld eines Fahrers eines Fahrzeugs befindet. Das Programm kann von einer Vorrichtung zur Ermittlung einer Wahrscheinlichkeit, mit der sich ein Objekt 0 in einem
Sichtfeld eines Fahrers eines Fahrzeugs befindet,
abgearbeitet werden.
Die Vorrichtung weist hierfür insbesondere eine
Recheneinheit, einen Programm- und Datenspeicher sowie beispielsweise eine oder mehrere Kommunikationsschnittstellen auf. Der Programm- und Datenspeicher und/oder die
Recheneinheit und/oder die Kommunikationsschnittstellen können in einer Baueinheit und/oder verteilt auf mehrere Baueinheiten ausgebildet sein.
Auf dem Programm- und Datenspeicher der Vorrichtung ist hierfür insbesondere das Programm zur Ermittlung einer
Wahrscheinlichkeit, mit der sich ein Objekt 0 in einem
Sichtfeld eines Fahrers eines Fahrzeugs befindet,
gespeichert . Das Programm wird in einem Schritt Sl gestartet, in dem gegebenenfalls Variablen initialisiert werden können.
In einem Schritt S3 werden abhängig von bereitgestellten Rohdaten R einer dreidimensionalen Szene, die eine
vorgegebene Umgebung innerhalb und/oder außerhalb des
Fahrzeugs repräsentiert, ein oder mehrere Objekte 0 der dreidimensionalen Szene ermittelt. Vorzugsweise werden sämtliche Objekte 0 der dreidimensionalen Szene ermittelt. Das Ermitteln der Objekte 0 kann, muss aber nicht eine
Objekterkennung umfassen, bei der beispielsweise ein Objekt als Fahrzeug erkannt wird und ein anderes Objekt als Ampel.
Die Rohdaten R der dreidimensionalen Szene werden
beispielsweise auf Basis eines erfassten dreidimensionalen Bildes ermittelt und bereitgestellt. Das dreidimensionale Bild wird typischerweise durch zumindest eine
Bilderfassungsvorrichtung, zum Beispiel eine Kamera, des Fahrzeugs gewonnen. Die Bilderfassungsvorrichtung ist
vorzugsweise ausgebildet, dreidimensionale Bilddaten zu erfassen, die eine Entfernungsinformation beziehungsweise Tiefeninformation umfassen. Die Rohdaten R können dabei ein virtuelles räumliches Modell umfassen, das zumindest Objekt 0 sowie die Position und Blickrichtung eines Betrachters definiert. Zusätzlich kann das virtuelle Modell
Materialeigenschaften der Objekte und Lichtquellen
definieren .
In einem Schritt S7 wird abhängig von den bereitgestellten Rohdaten R der dreidimensionalen Szene ein zweidimensionales Bild ermittelt, derart, dass das zweidimensionale Bild die ermittelten Objekte 0 der dreidimensionalen Szene auf einer Oberfläche einer Kugel abbildet, wobei das zweidimensionale Bild eine Menge an Pixel P aufweist, die jeweils zumindest einen Teil eines oder mehrerer der ermittelten Objekte 0 der dreidimensionalen Szene repräsentieren. Vorzugsweise bildet ein Zyklopauge des Fahrers das Zentrum der Kugel, auf dessen Oberfläche die ermittelten Objekte abgebildet werden.
Die Menge der Pixel P umfasst beispielsweise erste Pixel, die jeweils zumindest einen Teil von zumindest zwei der
ermittelten Objekte 0 der dreidimensionalen Szene
repräsentieren. Vorzugsweise wird das zweidimensionale Bild abhängig von einer Verdeckung und/oder Transluzenz von zumindest einem der ermittelten Objekte 0 der
dreidimensionalen Szene ermittelt. Die
Bilderfassungseinrichtung ist vorzugsweise in einem Innenraum des Fahrzeugs angeordnet. Die Objekte 0 außerhalb des
Fahrzeugs sind daher nur durch die Windschutzscheibe
sichtbar. Je nach Bereich der Windschutzscheibe kann die Windschutzscheibe eine unterschiedliche Transluzenz
aufweisen .
Zumindest ein Teil der Pixel P weist daher beispielsweise ein Tupel mit mindestens zwei Objektidentifikatoren auf, die verschiedenen Objekten 0 zugeordnet sind.
In einem Schritt S9 werden Daten FOV, die zumindest ein ermitteltes Sichtfeld des Fahrers repräsentieren,
bereitgestellt .
Hierzu wird beispielsweise eine Blickrichtung des Fahrers beispielsweise abhängig von einem ermittelten Blickvektor oder einem ermittelten Nasenvektor mittels einer
Innenraumkamera ermittelt. Bei heutigen
Blickerfassungsvorrichtungen (Englisch „Eyetracking" ) handelt es sich beispielsweise um einen Kamerasensor, der eine dreidimensionale Blickrichtung eines Benutzers ausgibt.
Zusätzlich kann beispielsweise eine Kopfposition des
Benutzers ausgegeben werden.
Abhängig von der Blickrichtung des Fahrers kann das Sichtfeld des Fahrers ermittelt werden. Zusätzlich kann hierzu auch eine erfasste Kopfpose und/oder eine erfasste Kopfposition des Fahrers genutzt werden.
In einem Schritt Sil wird für zumindest eines der ermittelten Objekte 0 die Wahrscheinlichkeit, mit der sich das zumindest eine ermittelte Objekt 0 in dem „tatsächlichen" Sichtfeld des Fahrers befindet, ermittelt, abhängig von den
bereitgestellten Daten FOV und dem zweidimensionalen Bild.
Zur Ermittlung der Wahrscheinlichkeit wird vorzugsweise ein Bereich ermittelt in dem zweidimensionalen Bild, der zu dem ermittelten Sichtfeld des Fahrers korrespondiert und abhängig von einer Lage des Objekts 0 in Bezug auf den ermittelten Bereich wird ermittelt, ob sich zumindest eines der
ermittelten Objekte 0 in dem ermittelten Sichtfeld des
Fahrers befindet.
Die Daten FOV, die das zumindest eine ermittelte Sichtfeld repräsentieren, werden beispielsweise in einer Bitmap
gespeichert. Um die Objekte 0 dem zumindest einen ermittelten Sichtfeld zuzuordnen, werden beispielsweise das
zweidimensionale Bild und das Bitmap überlagert und die
Bereiche ermittelt in dem weiteren Bitmap, die von den
Objekten 0 überlagert werden.
Auch bei hoher Präzision des Kamerasensors kann ein Vektor, der die Blickrichtung des Fahrers beschreibt, aufgrund der individuellen Augenanatomie (zum Beispiel Lage der Fovea) nicht exakt bestimmt werden. Die Augengeometrie kann vom Kamerasensor nicht erfasst werden. Berücksichtigt man die Augengeometrie nicht, ist die Blickrichtungsmessung also ungenau .
Blickerfassungsvorrichtungen nutzen überwiegend Kopfmodelle. Ein solches Kopfmodell beruht meist auf spezifischen
anatomischen oder physiologischen Merkmalen wie Augen-, Mundwinkeln, Nasenspitze, deren Relation zueinander über verschiedene Kopftypen hinweg generell unterschiedlich ist. Bei Bestimmung der Blickrichtung und/oder Kopfpose können daher Fehler auftreten, die das zu ermittelnde Sichtfeld beeinträchtigen .
Aufgrund der möglichen Erfassungs- und Ermittlungsfehler der Blickerfassungsvorrichtung weicht eine Lage des ermittelten Sichtfelds im Allgemeinen von der Lage des „realen"
Sichtfelds beziehungsweise des „tatsächlichen" Sichtfeldes des Fahrers ab.
Vorzugsweise werden daher ein erstes Sichtfeld und zumindest ein weiteres Sichtfeld ermittelt, das von dem ersten
Sichtfeld in einem vorgegebenen Toleranzbereich abweicht. Das erste und das zumindest eine weitere Sichtfeld werden
beispielsweise in einer Bitmap gespeichert. Eine
probabilistische Zuordnung der Objekte zu dem „tatsächlichen" Sichtfeld des Fahrers erfolgt beispielsweise durch
mehrfaches, gewichtetes Übereinanderlegen der Bitmaps .
Beispielsweise weist das erste ermittelte Sichtfeld einen Gewichtungsfaktor 70 auf. Das weitere ermittelte Sichtfeld weist beispielsweise einen Gewichtungsfaktor 15 auf, da unterstellt wird, dass die erfasste Blickrichtung, auf Basis derer das weitere ermittelte Sichtfeld ermittelt wurde, mit höherer Wahrscheinlichkeit von der tatsächlichen
Blickrichtung des Fahrers abweicht als bei dem ersten ermittelten Sichtfeld. Kann das Objekt nur einem, zum
Beispiel dem zumindest einen weiteren ermittelten Sichtfeld zugeordnet werden, ist die Wahrscheinlichkeit kleiner, dass das Objekt in dem tatsächlichen Sichtfeld des Fahrers liegt, als wenn das Objekt dem ersten ermittelten Sichtfeld oder sogar beiden Sichtfeldern zugeordnet werden kann.
In einem optionalen Schritt S13 wird eine Sichtbarkeit S und/oder eine Wahrnehmungswahrscheinlichkeit Z des zumindest einen Objekts 0 ermittelt, abhängig von der ermittelten Wahrscheinlichkeit .
In einem weiteren optionalen Schritt S15 wird die ermittelte Wahrscheinlichkeit und/oder die ermittelte Sichtbarkeit S und/oder die ermittelte Wahrnehmungswahrscheinlichkeit Z für eine vorgegebene Fahrerassistenzfunktion bereitgestellt.
In einem weiteren Schritt S17 wird das Programm beendet.
Figur 2 zeigt eine beispielhafte Verkehrsszene 1. Die
Verkehrsszene 1 wird beispielsweise mit einer
Bilderfassungsvorrichtung, zum Beispiel mit einer 3D-Kamera, des Fahrzeugs erfasst. Alternativ kann auch eine 2D-Kamera genutzt werden und die Tiefeninformation wird beispielsweise mittels anderer Sensorvorrichtungen erfasst, zum Beispiel mittels einer Radarvorrichtung und/oder einer Lidar- Vorrichtung . Die Verkehrsszene 1 wird beispielsweise von einer Bilderfassungsvorrichtung erfasst, die im Innern des
Fahrzeugs angeordnet ist. In dem in Figur 2 gezeigten
Beispiel ist die Bilderfassungsvorrichtung derart
ausgerichtet, dass ein Teil eines Armaturenbretts 22 und eine Fronthaube 20 des Fahrzeugs zu erkennen ist. Die
Verkehrsszene 1 umfasst mehrere Objekte 0: ein
entgegenkommendes Fahrzeug 24, ein vorausfahrendes Fahrzeug 26, ein querendes Fahrzeug 28, eine Ampel 30, mehrere Pylonen 32 und einen Hund 34.
Figur 3 zeigt ein Zwischenbild 5, das das gerenderte
zweidimensionale Bild aufweist. Die Objekte 0 der
Verkehrsszene 1 werden vereinfacht dargestellt.
Beispielsweise werden in der dreidimensionalen Szene die Objekte als Quader dargestellt. Diese vereinfachte
Darstellung wird dann in das zweidimensionale Bild
transformiert. Die Pixel P des zweidimensionalen Bildes weisen beispielsweise jeweils Tupel mit zwei
Objektidentifikatoren auf. Ein Großteil der Pixel P
repräsentiert beispielsweise auch die Windschutzscheibe.
Verdeckte Objekte werden beispielsweise in den Tupel der Pixel P nicht aufgelistet.
Figur 4 zeigt das gerenderte zweitdimensionale Bild mit einer Zuordnung der Objekte 0 zu der Kugeloberfläche. Figur 4 zeigt somit das gerenderte zweitdimensionale Bild mit einem
überlagerten Sichtfeld. Die Blickrichtung des Fahrers ist beispielhaft auf das vorausfahrende Fahrzeug gerichtet. Das entgegenkommende Fahrzeug liegt überwiegend in einem
Sichtfeldbereich von 30° bis 45°. Der Hund liegt in einem Bereich von zirka 60° und ist daher nur durch peripheres Sehen wahrnehmbar. Es zeigt sich somit, dass die Aufmerksamkeit des Fahrers (noch) nicht auf den Hund gerichtet ist.
Bezugs zeichenliste
1 Verkehrsszene
5 Zwischenbild
7 zweidimensionales Bild
20 Fronthaube
22 Armaturenbrett
24 entgegenkommendes Fahrzeug
26 vorausfahrendes Fahrzeug
28 querendes Fahrzeug
30 Ampel
32 Pylone
34 Hund
FOV Daten, die repräsentativ sind für ein ermitteltes Sichtfeld
0 Objekt
P Pixel
R Rohdaten
S Sichtbarkeit
W Wahrscheinlichkeit
Z Wahrnehmungswahrscheinlichkeit

Claims

Patentansprüche
1. Verfahren zur Ermittlung einer Wahrscheinlichkeit, mit der sich ein Objekt (0) in einem Sichtfeld eines Fahrers eines Fahrzeugs befindet, bei dem
- abhängig von bereitgestellten Rohdaten (R) einer
dreidimensionalen Szene, die eine vorgegebene Umgebung innerhalb und/oder außerhalb des Fahrzeugs repräsentiert, ein oder mehrere Objekte (0) der dreidimensionalen Szene
ermittelt werden,
- abhängig von den bereitgestellten Rohdaten (R) der
dreidimensionalen Szene ein zweidimensionales Bild ermittelt wird, derart, dass das zweidimensionale Bild die ermittelten Objekte (0) der dreidimensionalen Szene auf eine gekrümmte Ebene abbildet, wobei das zweidimensionale Bild eine Menge an Pixel (P) aufweist, die jeweils zumindest einen Teil eines oder mehrerer der ermittelten Objekte (0) der
dreidimensionalen Szene repräsentieren,
- Daten (F0V) bereitgestellt werden, die zumindest ein ermitteltes Sichtfeld des Fahrers repräsentieren, wobei das zumindest eine ermittelte Sichtfeld abhängig von zumindest einer vorgegebenen Erfassungsgröße, die im Fahrzeug mit einer vorgegebenen Erfassungssensorik erfasst wird, ermittelt wird,
- für zumindest eines der ermittelten Objekte (0) die
Wahrscheinlichkeit, mit der sich das zumindest eine
ermittelte Objekt (0) in dem Sichtfeld des Fahrers befindet, ermittelt wird, abhängig von den bereitgestellten Daten (FOV) und dem zweidimensionalen Bild.
2. Verfahren nach Anspruch 1,
bei dem die gekrümmte Ebene zumindest ein Teil einer
Oberfläche einer Kugel umfasst, wobei ein Zyklopauge des Fahrers ein Zentrum der Kugel bildet.
3. Verfahren nach Anspruch 1 oder 2,
bei dem
- ein Bereich ermittelt wird in dem zweidimensionalen Bild, der zu dem zumindest einen ermittelten Sichtfeld des Fahrers korrespondiert, und
- abhängig von einer Lage des Objekts (0) in Bezug auf den ermittelten Bereich ermittelt wird, ob sich das zumindest eine ermittelten Objekte (0) zumindest zum Teil in dem zumindest einen ermittelten Sichtfeld des Fahrers befindet.
4. Verfahren nach einem der vorstehenden Ansprüche, bei dem
- die Daten (FOV) ein erstes ermitteltes Sichtfeld und zumindest ein weiteres ermitteltes Sichtfeld des Fahrers repräsentieren, wobei eine Lage des ersten ermittelten
Sichtfeldes von einer Lage des jeweiligen weiteren
ermittelten Sichtfeldes in einem vorgegebenen Toleranzbereich abweicht ,
- dem ersten ermittelten Sichtfeld und dem jeweiligen weiteren ermittelten Sichtfeld jeweils ein Gewichtungsfaktor zugeordnet wird und die Wahrscheinlichkeit, mit der sich das zumindest eine Objekt (0) in dem Sichtfeld des Fahrers befindet, ermittelt wird abhängig von den jeweiligen
Gewichtungsfaktoren .
5. Verfahren nach einem der vorstehenden Ansprüche, bei dem zumindest ein Teil der Pixel (P) ein Tupel von
Objektidentifikatoren aufweist.
6. Verfahren nach einem der vorstehenden Ansprüche, wobei die Menge der Pixel (P) erste Pixel umfasst, die jeweils zumindest einen Teil von zumindest zwei der ermittelten Objekte (0) der dreidimensionalen Szene
repräsentieren .
7. Verfahren nach einem der vorstehenden Ansprüche, bei dem das zweidimensionale Bild abhängig von einer
Verdeckung und/oder Transluzenz von zumindest einem der ermittelten Objekte (0) der dreidimensionalen Szene ermittelt wird .
8. Verfahren nach einem der vorstehenden Ansprüche, bei dem eine Sichtbarkeit (S) zumindest eines der ermittelten Objekte (0) der dreidimensionalen Szene abhängig von der Wahrscheinlichkeit, mit der sich das zumindest eine der ermittelten Objekte (0) in dem Sichtfeld des Fahrers
befindet, ermittelt wird.
9. Verfahren nach einem der vorstehenden Ansprüche, bei dem das ermittelte Sichtfeld mehrere Sichtfeldbereiche aufweist und eine Wahrscheinlichkeit, mit der sich das zumindest eine Objekt (0) in einem bestimmten
Sichtfeldbereich des Fahrers befindet, ermittelt wird.
10. Verfahren nach einem der vorstehenden Ansprüche, bei dem
- das jeweils ermittelte Sichtfeld einen zentralen
Sichtfeldbereich aufweist oder den ermittelten zentralen Sichtfeldbereich repräsentiert und die Wahrscheinlichkeit, mit der sich das zumindest eine Objekt (0) in einem zentralen Sichtfeldbereich des Fahrers befindet, ermittelt wird oder
- das jeweils ermittelte Sichtfeld einen ermittelten
peripheren Sichtfeldbereich aufweist oder den ermittelten peripheren Sichtfeldbereich repräsentiert und die
Wahrscheinlichkeit, mit der sich das zumindest eine Objekt (0) in einem peripheren Sichtfeldbereich des Fahrers
befindet, ermittelt wird.
11. Verfahren nach einem der vorstehenden Ansprüche,
bei dem eine Wahrnehmungswahrscheinlichkeit (Z) des Fahrers ermittelt wird für zumindest eines der ermittelten Objekte (0) der dreidimensionalen Szene, abhängig von der
Wahrscheinlichkeit, mit der sich das zumindest eine der ermittelten Objekte (0) in dem Sichtfeld des Fahrers
befindet .
12. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die ermittelte Wahrscheinlichkeit und/oder die ermittelte Sichtbarkeit (S) und/oder die ermittelte
Wahrnehmungswahrscheinlichkeit (Z) für eine vorgegebene
Fahrerassistenzfunktion bereitgestellt wird und die
Fahrerassistenzfunktion abhängig von der ermittelten
Wahrscheinlichkeit und/oder der ermittelten Sichtbarkeit (S) und/oder der ermittelten Wahrnehmungswahrscheinlichkeit (Z) durchgeführt wird.
13. Vorrichtung zur Ermittlung der Wahrscheinlichkeit, mit der sich ein Objekt (0) in einem Sichtfeld eines Fahrers eines Fahrzeuges befindet, wobei die Vorrichtung dazu
ausgebildet ist, ein Verfahren nach einem der Ansprüche 1 bis 12 durchzuführen.
14. Computerprogramm zur Ermittlung der Wahrscheinlichkeit, mit der sich ein Objekt (0) in einem Sichtfeld eines Fahrers eines Fahrzeuges befindet, wobei das Computerprogramm
ausgebildet ist, ein Verfahren nach einem der Ansprüche 1 bis 12 bei seiner Ausführung auf einer
Datenverarbeitungsvorrichtung durchzuführen .
15. Computerprogrammprodukt umfassend ausführbaren
Programmcode, wobei der Programmcode bei Ausführung durch eine Datenverarbeitungsvorrichtung das Verfahren nach einem der Ansprüche 1 bis 12 ausführt.
PCT/EP2018/062678 2017-08-21 2018-05-16 Verfahren und vorrichtung zur ermittlung einer wahrscheinlichkeit, mit der sich ein objekt in einem sichtfeld eines fahrers eines fahrzeugs befindet WO2019037907A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201880047125.6A CN110891841B (zh) 2017-08-21 2018-05-16 用于查明目标处于车辆驾驶员视野中的概率的方法和设备
US16/796,684 US11935262B2 (en) 2017-08-21 2020-02-20 Method and device for determining a probability with which an object will be located in a field of view of a driver of a vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017214545.5 2017-08-21
DE102017214545.5A DE102017214545A1 (de) 2017-08-21 2017-08-21 Verfahren und Vorrichtung zur Ermittlung einer Wahrscheinlichkeit, mit der sich ein Objekt in einem Sichtfeld eines Fahrers eines Fahrzeugs befindet

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/796,684 Continuation US11935262B2 (en) 2017-08-21 2020-02-20 Method and device for determining a probability with which an object will be located in a field of view of a driver of a vehicle

Publications (1)

Publication Number Publication Date
WO2019037907A1 true WO2019037907A1 (de) 2019-02-28

Family

ID=62486551

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/062678 WO2019037907A1 (de) 2017-08-21 2018-05-16 Verfahren und vorrichtung zur ermittlung einer wahrscheinlichkeit, mit der sich ein objekt in einem sichtfeld eines fahrers eines fahrzeugs befindet

Country Status (4)

Country Link
US (1) US11935262B2 (de)
CN (1) CN110891841B (de)
DE (1) DE102017214545A1 (de)
WO (1) WO2019037907A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017214545A1 (de) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Ermittlung einer Wahrscheinlichkeit, mit der sich ein Objekt in einem Sichtfeld eines Fahrers eines Fahrzeugs befindet
US11505181B2 (en) * 2019-01-04 2022-11-22 Toyota Motor Engineering & Manufacturing North America, Inc. System, method, and computer-readable storage medium for vehicle collision avoidance on the highway
KR20210129874A (ko) * 2020-04-21 2021-10-29 한국전자통신연구원 촬영 영상 데이터의 분석을 위한 모델 학습 장치 및 방법, 그리고 이를 적용한 지능형 영상 촬영 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237776A (ja) * 2008-03-26 2009-10-15 Mazda Motor Corp 車両用運転支援装置
DE102009022278A1 (de) * 2009-05-22 2010-01-21 Daimler Ag Verfahren zur Ermittlung eines hindernisfreien Raums
JP2011198247A (ja) * 2010-03-23 2011-10-06 Toyota Motor Corp 運転支援装置
WO2013034182A1 (en) * 2011-09-08 2013-03-14 Valeo Schalter Und Sensoren Gmbh Method for creating a vehicle surroundings map, driver assistance device, and vehicle having a driver assistance device
US20150046058A1 (en) * 2012-03-15 2015-02-12 Toyota Jidosha Kabushiki Kaisha Driving assist device
EP3109114A1 (de) * 2014-01-15 2016-12-28 National University of Defense Technology Verfahren und vorrichtung zur erkennung des sicheren fahrzustandes eines fahrers

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009002979A1 (de) * 2009-05-11 2010-11-18 Robert Bosch Gmbh Projektionsanzeigevorrichtung für Fahrzeuge
US10793067B2 (en) * 2011-07-26 2020-10-06 Magna Electronics Inc. Imaging system for vehicle
US20140070934A1 (en) 2012-09-07 2014-03-13 GM Global Technology Operations LLC Methods and systems for monitoring driver object detection
DE102013206739A1 (de) * 2013-04-16 2014-10-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Bestimmung, ob ein Insasse eines Fahrzeugs relevante Objekte im Umfeld des Fahrzeugs bemerkt
US9164511B1 (en) * 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
JP6232994B2 (ja) * 2013-12-16 2017-11-22 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
DE102014008687A1 (de) * 2014-06-12 2015-12-17 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Verfahren zur Darstellung von Fahrzeugumfeldinformationen eines Kraftfahrzeuges
US10121082B2 (en) * 2015-10-07 2018-11-06 Honda Motor Co., Ltd. System and method for providing laser camera fusion for identifying and tracking a traffic participant
DE102016211227A1 (de) * 2016-06-23 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
US10740658B2 (en) * 2016-09-08 2020-08-11 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
US10430671B2 (en) * 2017-04-22 2019-10-01 Honda Motor Co., Ltd. System and method for remapping surface areas of a vehicle environment
US11615566B2 (en) * 2017-05-10 2023-03-28 Fotonation Limited Multi-camera vehicle vision system and method
DE102017214545A1 (de) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Ermittlung einer Wahrscheinlichkeit, mit der sich ein Objekt in einem Sichtfeld eines Fahrers eines Fahrzeugs befindet
JP6968676B2 (ja) * 2017-12-06 2021-11-17 矢崎総業株式会社 車両用表示装置
US11037303B2 (en) * 2019-01-31 2021-06-15 Sony Corporation Optical flow based detection and tracking of multiple moving objects in successive frames
US11480684B2 (en) * 2020-06-18 2022-10-25 Meta Platforms Technologies, Llc Time of flight depth system including an illumination source with addressable illumination blocks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237776A (ja) * 2008-03-26 2009-10-15 Mazda Motor Corp 車両用運転支援装置
DE102009022278A1 (de) * 2009-05-22 2010-01-21 Daimler Ag Verfahren zur Ermittlung eines hindernisfreien Raums
JP2011198247A (ja) * 2010-03-23 2011-10-06 Toyota Motor Corp 運転支援装置
WO2013034182A1 (en) * 2011-09-08 2013-03-14 Valeo Schalter Und Sensoren Gmbh Method for creating a vehicle surroundings map, driver assistance device, and vehicle having a driver assistance device
US20150046058A1 (en) * 2012-03-15 2015-02-12 Toyota Jidosha Kabushiki Kaisha Driving assist device
EP3109114A1 (de) * 2014-01-15 2016-12-28 National University of Defense Technology Verfahren und vorrichtung zur erkennung des sicheren fahrzustandes eines fahrers

Also Published As

Publication number Publication date
US20200193629A1 (en) 2020-06-18
CN110891841B (zh) 2023-05-12
US11935262B2 (en) 2024-03-19
CN110891841A (zh) 2020-03-17
DE102017214545A1 (de) 2019-02-21

Similar Documents

Publication Publication Date Title
EP2986225B1 (de) Verfahren zur bestimmung, ob ein insasse eines fahrzeugs relevante objekte im umfeld des fahrzeugs bemerkt
DE102012214852A1 (de) Verfahren zum Ergänzen einer, einem Objekt zugeordneten Objektinformation und Verfahren zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs
AT505338A1 (de) Verfahren zur wahrnehmungsmessung
DE10030813A1 (de) Aufmerksamkeitssteuerung für Bediener einer technischen Einrichtung
EP3394708A1 (de) Verfahren zum betreiben eines virtual-reality-systems und virtual-reality-system
EP1617371A2 (de) Verfahren zur Kennzeichnung von Bildinformationen in der Darstellung eines mit einer fahrzeugseitigen Bildaufnahmeeinrichtung aufgenommenen Nachtsichtbildes und zugehöriges Nachtsichtsystem
DE102021114620A1 (de) Präsentation von dynamischer bedrohungsinformation basierend auf bedrohungs- und trajektorienvorhersage
WO2019037907A1 (de) Verfahren und vorrichtung zur ermittlung einer wahrscheinlichkeit, mit der sich ein objekt in einem sichtfeld eines fahrers eines fahrzeugs befindet
DE102014201036A1 (de) Bildbasierte Klassifikation des Fahrerzustands und/oder des Fahrerverhaltens
DE102015206477A1 (de) Verfahren zur Darstellung einer Fahrzeugumgebung eines Fahrzeuges
DE102014226185A1 (de) Verfahren zum Bestimmen einer Blickrichtung einer Person
DE102020126953B3 (de) System und Verfahren zum Erfassen einer räumlichen Orientierung einer tragbaren Vorrichtung
DE102016223908A1 (de) Projektionsanzeigesystem sowie Verfahren zum Betreiben eines Projektionsanzeigesystems
DE102017214505A1 (de) Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
DE102017208806B3 (de) Externe Darstellung von Bildaufnahmen eines Fahrzeuginnenraums in einer VR-Brille
DE102018201768A1 (de) Verfahren zum Anzeigen von Informationen in einem Head-Up-Display eines Fahrzeugs, Anzeigesystem für ein Fahrzeug und Fahrzeug mit einem Anzeigesystem
EP2956812B1 (de) Verfahren und vorrichtung zum betreiben einer head-up-displayeinheit
EP3765941A1 (de) Verfahren und vorrichtung zum bereitstellen von informationen durch ein augmented-reality-gerät, verfahren und vorrichtung zum bereitstellen von informationen zur steuerung einer anzeige eines augmented-reality-gerätes, verfahren und vorrichtung zur steuerung einer anzeige eines augmented-reality-gerätes, computerlesbares speichermedium mit instruktionen zur durchführung der verfahren
DE102017221317A1 (de) Verfahren und Vorrichtung zum Betreiben einer Datenbrille in einem Kraftfahrzeug
DE10046859B4 (de) System zur Blickrichtungsdetektion aus Bilddaten
DE102018218746B4 (de) Verfahren zur Vermeidung einer Sichtfeldstörung für eine Bedienperson eines Objektes, Vorrichtung zur Durchführung des Verfahrens sowie Fahrzeug und Computerprogramm
DE102007001738B4 (de) Verfahren und Computerprogrammprodukt zur Blickerfassung
EP3304169B1 (de) Verfahren zum betreiben einer datenbrilleneinrichtung und datenbrilleneinrichtung
DE102016225082A1 (de) Verfahren und Vorrichtung zum Betreiben einer Datenbrille
DE102013210588A1 (de) Anzeigensystem mit Datenbrille

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18728322

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18728322

Country of ref document: EP

Kind code of ref document: A1