EP2771843A1 - Vorrichtung und verfahren zum detektieren von objekten in einem strom von sensordaten - Google Patents

Vorrichtung und verfahren zum detektieren von objekten in einem strom von sensordaten

Info

Publication number
EP2771843A1
EP2771843A1 EP12759389.5A EP12759389A EP2771843A1 EP 2771843 A1 EP2771843 A1 EP 2771843A1 EP 12759389 A EP12759389 A EP 12759389A EP 2771843 A1 EP2771843 A1 EP 2771843A1
Authority
EP
European Patent Office
Prior art keywords
sensor
sensor data
vehicle
data
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP12759389.5A
Other languages
English (en)
French (fr)
Inventor
Stefan Nordbruch
Thomas Kropf
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2771843A1 publication Critical patent/EP2771843A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • the invention relates to an apparatus and method for detecting objects in a stream of sensor data.
  • the invention further relates to a corresponding system for detecting objects in a stream of sensor data as well as a vehicle system.
  • the invention further relates to a computer program.
  • the object underlying the invention can be seen in providing an improved apparatus and method for detecting objects in a stream of sensor data.
  • the object underlying the invention can also be seen in providing a corresponding system for detecting objects in a stream of sensor data.
  • the object underlying the invention can also be seen to provide a corresponding vehicle system.
  • an apparatus for detecting objects in a stream of sensor data is provided.
  • the sensor data are formed by means of an environmental sensor of a vehicle and correspond to a vehicle environment sensed by means of the environmental sensor.
  • the device comprises a position determination device for determining a vehicle position. Furthermore, an investigator is provided which can determine which object is arranged in the direction of travel according to the determined vehicle position of the vehicle on a route of the vehicle. Furthermore, the device comprises a filter for filtering the sensor data corresponding to the detected object to detect the object in the sensor data.
  • a method of detecting objects in a stream of sensor data is provided.
  • the sensor data are formed by means of an environmental sensor of a vehicle and correspond to a vehicle environment sensed by means of the environmental sensor. Further, a vehicle position is determined. It is further determined which object is arranged in the direction of travel according to the determined vehicle position of the vehicle on a route of the vehicle. Subsequently, the sensor data are filtered according to the detected object in order to detect the object in the sensor data.
  • a system for detecting objects in a stream of sensor data is provided.
  • the sensor data are formed by means of an environmental sensor of a vehicle and correspond to one by means of the
  • the Environment sensor sensory detected vehicle environment includes the Device for detecting objects in a stream of sensor data and a server comprising a database.
  • the database stores object data with assigned position data, the object data corresponding to objects.
  • a vehicle system in yet another aspect, includes an environmental sensor for sensory sensing a vehicle environment and the apparatus for detecting objects in a stream of sensor data or the system for detecting objects in a stream of sensor data.
  • a computer program comprising program code for performing the method of detecting objects in a stream of sensor data when the computer program is executed on a computer.
  • the invention thus encompasses, in particular, the idea of sensory detection of a vehicle environment by means of an environment sensor and of forming corresponding sensor data. Since the sensory detection is usually carried out continuously or continuously, a stream of sensor data is formed in this respect.
  • a vehicle position is determined.
  • a navigation system can be provided.
  • a global positioning system (GPS) sensor is provided for determining the vehicle position.
  • GPS global positioning system
  • Object in the direction of travel will appear after the specific vehicle position or on which object the vehicle moves in the direction of travel.
  • it is determined which is the spatially closest object with respect to the specific vehicle position in the direction of travel of the vehicle.
  • the sensor data are then filtered accordingly to detect or recognize the object in the sensor data.
  • the corresponding object detection is advantageously pre-parameterized insofar as it is known which object has to be searched in the sensor data. The corresponding object detection analysis is thus triggered by known data, here corresponding to the detected object.
  • Sensor data in the sense of the present invention includes in particular information about the vehicle environment.
  • Such information may, for example, relate to physical objects.
  • a physical object may be, for example, a traffic sign, a signal system or a boundary post of the road.
  • the sensor data include physical characteristics of the road, such as a road width, a lane width, curve radii, and / or departures.
  • the sensor data includes dimensions and / or positions of the physical objects, in particular the relative positions to each other. This means, for example, that a width, a height and / or a length of the physical object are detected.
  • the respective position and dimensions are also stored in the sensor data.
  • Sensor data may also include, in particular, information about current conditions, such as, for example, that there is a construction site with altered road properties at the corresponding position.
  • sensor data may also include lane data that includes information about a lane line color, for example.
  • Sensor data in the sense of the present invention include images and / or videos in particular.
  • the sensor data is assigned in particular a corresponding position.
  • a vehicle position is determined at the time of sensory detection of the vehicle surroundings, so that the specific vehicle position can be assigned to the detected vehicle environment and thus to the corresponding sensor data.
  • the core of the present invention is thus in particular that the physical data is searched for in the sensor data.
  • a detection analysis is carried out with regard to the physical objects in the sensor data, so that detected objects can be classified advantageously.
  • a recognized object can be classified, for example, as a traffic sign, a signaling system, an information sign, a boundary post, a construction site, a bridge, an infrastructure, a building, a tree or as a barrier of a railroad crossing.
  • the environmental sensor may be a video sensor, a radar sensor, an ultrasonic sensor or a lidar sensor.
  • the environmental sensor may preferably be comprised by an environmental sensor system for sensory detection of the vehicle environment.
  • the environmental sensor system may also have further environmental sensors, which may preferably be identical or different.
  • the environmental sensor system may comprise a video camera, preferably a 3D video camera, an environment camera system for image capturing a 360 ° environment of the vehicle, a time-of-flight sensor, and / or a photonic mixer detector, also known as "photonic mixing device” (PMD) sensor
  • a PMD sensor may be used as an image sensor in a TOF camera, where TOF stands for "time of flight” and is based on the light transit time method.
  • the video camera may in particular be a stereo video camera.
  • it can be provided that the sensor data of a respective sensor are fused together so that objects are searched in the fused sensor data and then classified.
  • the investigator includes an interrogator for querying a database based on the determined vehicle position.
  • Object data which correspond to objects are stored in the database, with position data being assigned to the object data.
  • the database is queried, the query being carried out in particular based on the determined vehicle position.
  • the vehicle position is sent to the database so that it then can return according to object data, wherein the returned object data objects or an object correspond, which or which are arranged in the direction of travel after the particular vehicle position on the route or is.
  • the database is thus asked the question, which object is arranged in the direction of travel according to the specific vehicle position. In particular, it queries what the next object is relative to the particular vehicle position.
  • the database responds accordingly and sends the data back to the interrogator.
  • the interrogator is set up to send the sensor data corresponding to the detected object to the database.
  • the sensor data corresponding to the detected object is sent to the database.
  • an updating of the database is made possible in an advantageous manner.
  • the database is updated accordingly.
  • the database is located external to the vehicle.
  • external in particular, an area outside the vehicle is designated.
  • the database is arranged internally in the vehicle. With internally a particular area in and / or on the vehicle is designated.
  • a communication between the investigator and the external database or an external server comprising the external database is performed, for example, by means of a C2I method.
  • C2I stands for the English expression "car to infrastructure”.
  • a C2l communication method refers to a communication method from a vehicle to an infrastructure or a physical object, which is not a vehicle, such as a signaling system or a base station.
  • a communication can also be carried out by means of a mobile radio communication method.
  • a mobile radio communication method may be the "long-term-evolution" (LTE) communication method.
  • LTE long-term-evolution
  • a communication between the investigator and the database or the server comprising the database is carried out by means of wireless communication methods.
  • the WLAN communication method and / or bluetooth may be used for communication between the investigator and the database.
  • it can be provided in the case of an internal database that it is updated by means of a storage medium, in particular a CD ROM or a USB stick, on which the corresponding object data are stored.
  • several databases can be provided. This means in particular that several databases can be queried to determine which object is arranged in the direction of travel according to the vehicle position on the route.
  • the several databases can be formed in particular as internal or external databases. Preferably both internal and external databases can be formed.
  • a time determination device for determining a point in time at which the determined object can be detected by means of the environmental sensor, wherein the filter is set up to filter the sensor data according to the time.
  • a time is determined at which the determined object can be detected by means of the environment sensor, wherein the sensor data are filtered according to the time. In particular, it is therefore detected when the object reaches sensor range, so that the object can be detected by means of the sensor.
  • a further position determining device for determining a relative position of the detected object with respect to the surroundings sensor, wherein the filter is set up to determine the sensor data according to the relative position.
  • a relative position of the determined object with respect to the environmental sensor is determined.
  • the sensor data are filtered in particular according to the relative position. For example, it is determined whether the object is up, down, left or right relative to the environmental sensor.
  • relative to the environment sensor is meant in particular relative to a sensor axis.
  • a corresponding sensor image which can be formed by means of the sensor data, so the object is located in a top right area.
  • An appropriate search for the object can thus concentrate in an advantageous manner only on this upper right area.
  • An appropriate calculation effort can thus be significantly reduced in an advantageous manner.
  • the objects which are arranged on the driving route themselves emit both their position and preferably also their corresponding object type, in particular send to the investigator, so that he advantageously obtains knowledge of which objects where located on the route.
  • the filtering of the sensor data is carried out externally of the vehicle. This means, in particular, that the calculation with respect to the object detection is carried out externally. A corresponding result can then be communicated to the vehicle or sent to the vehicle. Thus, by doing the calculation externally, the vehicle does not need to have a high-performance computer.
  • a communication between the vehicle and a corresponding external computer or server can be carried out in particular by means of one of the aforementioned communication methods.
  • an internal calculation regarding object detection in the vehicle may be performed.
  • a combination of internal and external calculation can be provided. This means, in particular, that filtering is carried out both internally and externally. As a result, corresponding results can be compared with one another in an advantageous manner, so that possible errors can be detected in the event of a deviation so that, for example, a further calculation can be carried out.
  • 1 shows a device for detecting objects in a stream of sensor data
  • FIG. 2 is a flowchart of a method for detecting objects in a stream of sensor data
  • Fig. 3 shows a system for detecting objects in a stream of sensor data
  • FIG. 4 shows a vehicle system
  • Fig. 5 two sensor images
  • Fig. 6 several sensor images and Fig. 7 shows two sensor images.
  • the sensor data 105 are formed and correspond by means of an environment sensor (not shown) of a vehicle (not shown) a sensed by the environment sensor vehicle environment.
  • the device 101 further comprises a position determination device 107, by means of which a vehicle position can be determined.
  • the device 101 further comprises an investigator 109, which can determine which object is arranged in the direction of travel after the determined vehicle position on a route of the vehicle.
  • a filter 1 1 1 is formed, which filters the sensor data 105 corresponding to the detected object in order to detect the object in the sensor data 105.
  • the investigator 109 determines which objects are exactly or what objects are in the sensor data 105.
  • a corresponding filtering can be performed more efficiently and effectively.
  • a corresponding filtering can be carried out considerably faster.
  • FIG. 2 shows a flow diagram of a method for detecting objects in a stream of sensor data.
  • the sensor data are formed by means of an environment sensor of a vehicle, which correspond to a vehicle environment sensed by means of the environmental sensor.
  • a vehicle position is determined.
  • the sensor data corresponding to the detected object is filtered to detect the object in the sensor data.
  • Fig. 3 shows a system 301 for detecting objects in a stream of sensor data.
  • the system 301 comprises the device 101 according to FIG. 1.
  • the system 301 includes a server 303 with a database 305.
  • the database 305 stores object data corresponding to objects.
  • the object data are assigned position data.
  • the apparatus 101 may advantageously interrogate the database 305 based on the determined vehicle position in order to gain knowledge of which object will come next in the direction of travel to the determined vehicle position.
  • the device 101 makes a corresponding request to the database 305.
  • FIG. 4 shows a vehicle system 401.
  • the vehicle system 401 comprises an environment sensor 403 and the device 101 according to FIG. 1.
  • the vehicle system 401 comprises the system 301 according to FIG. 3 instead of the device 101.
  • the sensor images 501 a and 501 b correspond to a video image taken by a video camera through a windshield of a vehicle.
  • a traffic sign 503 can be seen, indicating that the maximum speed allowed on this stretch is 80km per hour.
  • a search area 505 for detecting the traffic sign 503 comprises the entire sensor image 501 a.
  • the traffic sign 503 must be searched.
  • a corresponding calculation effort is considerable.
  • such a calculation is also very time consuming.
  • This information can be queried from a database, for example. If this information is known, and in particular it can be provided that it is already sufficient that it is only known what the next object is, then the search area 505 can be reduced in size. This is shown in the right sensor image 501 b.
  • the corresponding sensor data, which form the Sen sorsent 501 b, thus no longer need to be completely searched, it is sufficient to search only a small part of the sensor data.
  • a corresponding calculation effort is considerably reduced in comparison with the right-hand sensor image 501 a, and can be carried out considerably faster.
  • FIG. 6 shows schematically a plurality of sensor images 601, 603, 605, 607 recorded in succession. Since it is known by means of a database query what the next object is, when the next object will arrive and where the next object will be, and only in particular sufficient may be to know what the next object is, a corresponding search area 609 can be made smaller. In particular, if it is known when the next object is coming, it can merely be provided that the sensor image 607 is searched in accordance with the search area 609. The temporally previous sensor images 601, 603 and 605 need not be searched, since it can be ruled out that the searched object is located in these sensor images.
  • FIG. 7 shows two further sensor images 701 and 703.
  • a traffic sign to be detected or recognized is symbolically identified here by reference numeral 705.
  • the traffic sign 705 is a traffic sign indicating that a maximum permitted speed on the road section is 50 km / h.
  • a corresponding search area for the sensor image 701 is identified by reference numeral 707.
  • a corresponding search area for the sensor image 703 is identified by reference numeral 709.
  • the search area 709 is greater than the search area 707. That is to say, in particular, that a larger area in the sensor image 703 is searched in comparison to the sensor image 701 to detect the traffic sign 705 in the corresponding sensor data.
  • a search area is increased, so far advantageously created a security buffer, which can take into account in particular inaccuracies.
  • inaccuracies may be, for example, inaccurate sensor data resulting from a lack of quality of a sensor.
  • a sensor quality or sensor quality can be taken into account so far, in particular, advantageously with a corresponding filtering.
  • the search range is automatically increased compared to a sensor with a high quality factor, that is, in particular sensor data with high quality or in a high quality supplies.
  • characteristic features of the physical objects are stored in the database, which can advantageously facilitate an analysis of the search area for the object.
  • characteristic features may be a color and / or a size specification of the object.
  • additional data about the objects are stored in the database, which can advantageously facilitate an analysis of the search area for the object.
  • This additional data may include, for example, the information that the object is dirty or that the object is partially destroyed.
  • quality information is integrated in the database for the objects and the corresponding object data.
  • the database has stored the information as to how good the object data is.
  • the information is stored by means of which sensor the object data was recorded.
  • a bad sensor may for example be a sensor of a smartphone
  • a good sensor may for example be a sensor of a stereo camera.
  • the aforementioned embodiments relating to the sensor images are not limited to sensor images of a video camera, but are generally valid for other sensors.
  • the aforementioned embodiments are generally valid for any environment sensors which can sense an environment sensory.
  • the sensor data corresponding to the detected object is sent to the database, so that preferably it can advantageously update itself accordingly.
  • the transmitted sensor data has a higher quality than the stored object data, an update is very useful.
  • a higher quality can mean, for example, that the sensor data were recorded by means of a better, in particular higher resolution, sensor than the object data.
  • an update of the additional data is carried out by means of the transmitted sensor data.
  • the stored additional data may include the information that the object is dirty and / or damaged.
  • the sensor data which are usually more up-to-date than the saved additional data, the object is not dirty or damaged.
  • the database can now store this more up-to-date information about the corresponding object data.
  • the stored additional data may include the information that the object is clean and / or undamaged.
  • the object is however dirty or damaged.
  • the database can be updated in an advantageous manner.
  • a first analysis also called short analysis, is carried out in the sensor data according to the objects to be searched.
  • the short analysis in particular, the entire image can be searched.
  • the objects may, for example, be traffic signs or, in particular, speed signs.
  • Characteristics of the speed traffic signs here for example a red ring performed. In this step, however, no detailed analysis is carried out to detect, for example, that the possible traffic sign indicates that the maximum permissible speed is 70 km / h or 100 km / h.
  • This detailed analysis on the corresponding search area is carried out if, according to the invention, a corresponding search area can be defined, since according to a database query the object to be searched is known and in particular when and / or preferably where the object to be searched will appear in the sensor data. Furthermore, a corresponding detailed analysis can also be carried out if, according to the short analysis, the object was found in the search area.
  • a corresponding search area can be one-or two- or multi-dimensional.
  • the invention particularly includes the idea of triggering an object detection analysis by means of known data from a database.
  • the object detection is pre-parameterized.
  • it is thus determined what the next object is and / or when the next object will come and / or where the next object will be.
  • by means of a database query can be determined what the next object will be relative to a current vehicle position in the direction of travel.
  • a corresponding search area can be defined in the sensor data or the sensor images.
  • object position data and / or route data and / or road data for example a road course such as in particular a straight or curved course, and / or a current vehicle position and / or an instantaneous speed and / or a sensor acquisition frequency can be used to calculate when and where the object will appear in the sensor data.
  • further data for the calculation can additionally be integrated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung (101) zum Detektieren von Objekten (103a, 103b, 103c, 103d, 103e) in einem Strom von Sensordaten (105), wobei die Sensordaten (105) mittels eines Umfeldsensors (403) eines Fahrzeugs gebildet werden und einem mittels des Umfeldsensors (403) sensorisch erfassten Fahrzeugumfeld entsprechen, umfassend: - eine Positionsbestimmungseinrichtung (107) zum Bestimmen einer Fahrzeugposition, - einen Ermittler (109) zum Ermitteln, welches Objekt in Fahrtrichtung nach der bestimmten Fahrzeugposition an einer Fahrstrecke des Fahrzeugs angeordnet ist, und - einen Filter (111) zum Filtern der Sensordaten (105) entsprechend dem ermittelten Objekt, um das Objekt in den Sensordaten (105) zu detektieren. Die Erfindung betrifft ferner ein entsprechendes Verfahren, ein entsprechendes System sowie ein Fahrzeugsystem und ein Computerprogramm.

Description

Beschreibung
Titel
Vorrichtung und Verfahren zum Detektieren von Objekten in einem Strom von Sensordaten
Die Erfindung betrifft eine Vorrichtung und ein Verfahren zum Detektieren von Objekten in einem Strom von Sensordaten. Die Erfindung betrifft ferner ein entsprechendes System zum Detektieren von Objekten in einem Strom von Sensordaten sowie ein Fahrzeugsystem. Die Erfindung betrifft ferner ein Computerprogramm.
Stand der Technik Die Offenlegungsschrift US 2007/0154067 A1 zeigt ein Bildanalyseverfahren, um
Verkehrszeichen in Bildern zu erkennen. Das Ergebnis der Analyse, also die erkannten Verkehrszeichen zusammen mit einer zugeordneten Position, wird in eine Datenbank geschrieben.
Offenbarung der Erfindung
Die der Erfindung zugrunde liegende Aufgabe kann darin gesehen werden, eine verbesserte Vorrichtung und ein verbessertes Verfahren zum Detektieren von Objekten in einem Strom von Sensordaten anzugeben.
Die der Erfindung zugrunde liegende Aufgabe kann ferner darin gesehen werden, ein entsprechendes System zum Detektieren von Objekten in einem Strom von Sensordaten anzugeben. Die der Erfindung zugrunde liegende Aufgabe kann auch darin gesehen werden, ein entsprechendes Fahrzeugsystem bereitzustellen.
Des Weiteren kann die der Erfindung zugrundeliegende Aufgabe auch darin ge- sehen werden, ein entsprechendes Computerprogramm bereitzustellen.
Diese Aufgaben werden mittels des jeweiligen Gegenstands nach den unabhängigen Ansprüchen gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand von jeweils abhängigen Unteransprüchen.
Nach einem Aspekt wird eine Vorrichtung zum Detektieren von Objekten in einem Strom von Sensordaten bereitgestellt. Hierbei werden die Sensordaten mittels eines Umfeldsensors eines Fahrzeugs gebildet und entsprechen einem mittels des Umfeldsensors sensorisch erfassten Fahrzeugumfeld.
Die Vorrichtung umfasst eine Positionsbestimmungseinrichtung zum Bestimmen einer Fahrzeugposition. Ferner ist ein Ermittler vorgesehen, welcher ermitteln kann, welches Objekt in Fahrtrichtung nach der bestimmten Fahrzeugposition des Fahrzeugs an einer Fahrstrecke des Fahrzeugs angeordnet ist. Des Weite- ren umfasst die Vorrichtung einen Filter zum Filtern der Sensordaten entsprechend dem ermittelten Objekt, um das Objekt in den Sensordaten zu detektieren.
Gemäß einem anderen Aspekt wird ein Verfahren zum Detektieren von Objekten in einem Strom von Sensordaten bereitgestellt. Die Sensordaten werden mittels eines Umfeldsensors eines Fahrzeugs gebildet und entsprechen einem mittels des Umfeldsensors sensorisch erfassten Fahrzeugumfelds. Ferner wird eine Fahrzeugposition bestimmt. Es wird des Weiteren ermittelt, welches Objekt in Fahrtrichtung nach der bestimmten Fahrzeugposition des Fahrzeugs an einer Fahrstrecke des Fahrzeugs angeordnet ist. Anschließend werden die Sensorda- ten entsprechend dem ermittelten Objekt gefiltert, um das Objekt in den Sensordaten zu detektieren.
Gemäß einem anderen Aspekt wird ein System zum Detektieren von Objekten in einem Strom von Sensordaten bereitgestellt. Die Sensordaten werden mittels ei- nes Umfeldsensors eines Fahrzeugs gebildet und entsprechen einem mittels des
Umfeldsensors sensorisch erfassten Fahrzeugumfeld. Das System umfasst die Vorrichtung zum Detektieren von Objekten in einem Strom von Sensordaten und einen Server, welcher eine Datenbank umfasst. In der Datenbank sind Objektdaten mit zugeordneten Positionsdaten gespeichert, wobei die Objektdaten Objekten entsprechen.
Nach noch einem Aspekt wird ein Fahrzeugsystem bereitgestellt, welches einen Umfeldsensor zum sensorischen Erfassen eines Fahrzeugumfelds umfasst und die Vorrichtung zum Detektieren von Objekten in einem Strom von Sensordaten oder das System zum Detektieren von Objekten in einem Strom von Sensorda- ten.
Nach noch einem weiteren Aspekt wird ein Computerprogramm bereitgestellt, welches Programmcode zur Ausführung des Verfahrens zum Detektieren von Objekten in einem Strom von Sensordaten umfasst, wenn das Computerpro- gramm auf einem Computer ausgeführt wird.
Die Erfindung umfasst also insbesondere den Gedanken, ein Fahrzeugumfeld mittels eines Umfeldsensors sensorisch zu erfassen und entsprechende Sensordaten zu bilden. Da das sensorische Erfassen in der Regel fortlaufend bzw. kon- tinuierlich durchgeführt wird, wird insofern ein Strom von Sensordaten gebildet.
Es wird eine Fahrzeugposition bestimmt. Zum Bestimmen der Fahrzeugposition kann insbesondere ein Navigationssystem vorgesehen sein. Vorzugsweise ist zum Bestimmen der Fahrzeugposition ein global positioning System (GPS)- Sensor vorgesehen.
Es wird anschließend ermittelt, welches Objekt an einer Fahrstrecke des Fahrzeugs in Fahrtrichtung nach der bestimmten Fahrzeugposition angeordnet ist. Das heißt also insbesondere, dass ermittelt wird, was für ein Objekt bzw. was für ein Objekttyp in Fahrtrichtung nach der bestimmten Fahrzeugposition angeordnet ist. Das heißt also insbesondere, dass nach dem Ermitteln bekannt ist, welches
Objekt in Fahrtrichtung nach der bestimmten Fahrzeugposition erscheinen wird bzw. auf welches Objekt sich das Fahrzeug in Fahrtrichtung hinbewegt. Insbesondere kann vorgesehen sein, dass ermittelt wird, welches das räumlich nächste Objekt bezogen auf die bestimmte Fahrzeugposition in Fahrtrichtung des Fahrzeugs ist. Vorzugsweise kann ermittelt werden, welche Objekte, insbesondere die räumlich nächsten Objekte, relativ zur bestimmten Fahrzeugposition in Fahrtrichtung angeordnet sind. Basierend auf dem ermittelten Objekt, insbesondere auf der Kenntnis, um was für ein Objekt es sich handelt, werden dann die Sensordaten entsprechend gefiltert, um das Objekt in den Sensordaten zu detek- tieren bzw. zu erkennen.
Dadurch, dass nach der Ermittlung bekannt ist, welches Objekt sich in Fahrtrichtung nach der bestimmten Fahrzeugposition befindet, kann eine Filterung der Sensordaten, um das Objekt in den Sensordaten zu detektieren bzw. zu erkennen, viel effizienter und mit einer erheblich höheren Trefferquote im Vergleich zum Stand der Technik durchgeführt werden. Die entsprechende Objektdetektion wird insofern in vorteilhafter Weise vorparametrisiert, insofern bekannt ist, nach welchem Objekt in den Sensordaten gesucht werden muss. Die entsprechende Objektdetektionsanalyse wird also durch bekannte Daten, hier entsprechend dem ermittelten Objekt, getriggert.
Sensordaten im Sinne der vorliegenden Erfindung umfassen insbesondere Informationen über das Fahrzeugumfeld. Solche Informationen können beispielsweise physische Objekte betreffen. Ein physisches Objekt kann beispielsweise ein Verkehrszeichen, eine Signalanlage oder ein Begrenzungspfosten der Straße sein. Insbesondere umfassen die Sensordaten physische Merkmale bzw. Eigenschaften der Straße wie beispielsweise eine Straßenbreite, eine Fahrbahnbreite, Kurvenradien und/oder Abfahrten. Allgemein umfassen die Sensordaten Abmessungen und/oder Positionen der physischen Objekte, insbesondere der relativen Positionen zueinander. Das heißt also beispielsweise, dass eine Breite, eine Höhe und/oder eine Länge des physischen Objekts erfasst werden. Insbesondere sind bei stationären physischen Objekten auch die jeweilige Position und Abmessungen in den Sensordaten gespeichert. Sensordaten können insbesondere auch Informationen über aktuelle Gegebenheiten umfassen, wie beispielsweise, dass sich an der entsprechenden Position eine Baustelle mit veränderten Stra- ßeneigenschaften befindet. Sensordaten können insbesondere auch Fahrbahnspurdaten umfassen, welche beispielsweise die Information über eine Fahrbahnlinienfarbe umfassen. Sensordaten im Sinne der vorliegenden Erfindung umfassen insbesondere Bilder und/oder Videos. Den Sensordaten ist insbesondere eine entsprechende Position zugeordnet. Vorzugsweise wird eine Fahrzeugpositi- on zum Zeitpunkt des sensorischen Erfassens des Fahrzeugumfelds bestimmt, so dass die bestimmte Fahrzeugposition dem erfassten Fahrzeugumfeld und damit den entsprechenden Sensordaten zugeordnet werden kann.
Kern der vorliegenden Erfindung ist also insbesondere, dass in den Sensordaten nach den physischen Objekten gesucht wird. Es wird also insbesondere eine De- tektionsanalyse hinsichtlich der physischen Objekte in den Sensordaten durchgeführt, so dass erkannte Objekte in vorteilhafter Weise klassifiziert werden können. Das heißt also insbesondere, dass ein erkanntes Objekt beispielsweise als ein Verkehrszeichen, eine Signalanlage, ein Hinweisschild, ein Begrenzungs- pfosten, eine Baustelle, eine Brücke, eine Infrastruktur, ein Gebäude, ein Baum oder als eine Schranke eines Bahnübergangs klassifiziert werden kann.
Gemäß einer Ausführungsform kann der Umfeldsensor ein Videosensor, ein Radarsensor, ein Ultraschallsensor oder ein Lidarsensor sein. Vorzugsweise kann der Umfeldsensor von einem Umfeldsensorsystem zum sensorischen Erfassen des Fahrzeugumfelds umfasst sein. Das Umfeldsensorsystem kann noch weitere Umfeldsensoren aufweisen, welche vorzugsweise gleich oder unterschiedlich gebildet sein können. Insbesondere kann das Umfeldsensorsystem eine Videokamera, vorzugsweise eine 3D-Videokamera, ein Umfeldkamerasystem zum bildlichen Erfassen eines 360°-Umfelds des Fahrzeugs, einen Flugzeitsensor und/oder einen Fotomischdetektor, auf Englisch auch„photonic mixing device" (PMD)-Sensor genannt, umfassen. Ein PMD-Sensor kann insbesondere als ein Bildsensor in einer TOF-Kamera verwendet werden, wobei TOF für„time of flight" steht, und auf Lichtlaufzeitverfahren basiert. Bei der Videokamera kann es sich insbesondere um eine Stereo-Videokamera handeln. Vorzugsweise kann vorgesehen sein, dass die Sensordaten eines jeweiligen Sensors miteinander fusioniert werden, so dass in den fusionierten Sensordaten nach Objekten gesucht wird und dann klassifiziert werden. Nach einer Ausführungsform umfasst der Ermittler einen Abfrager zum Abfragen einer Datenbank basierend auf der bestimmten Fahrzeugposition. In der Datenbank sind Objektdaten, welche Objekten entsprechen, gespeichert, wobei den Objektdaten Positionsdaten zugeordnet sind. Das heißt also insbesondere, dass die Datenbank abgefragt wird, wobei die Abfrage insbesondere basierend auf der bestimmten Fahrzeugposition durchgeführt wird. Das heißt also insbesondere, dass die Fahrzeugposition an die Datenbank gesendet wird, so dass diese dann entsprechend Objektdaten zurücksenden kann, wobei die zurückgesendeten Objektdaten Objekten bzw. einem Objekt entsprechen, welches bzw. welche in Fahrtrichtung nach der bestimmten Fahrzeugposition an der Fahrstrecke angeordnet sind bzw. ist. Der Datenbank wird insofern die Frage gestellt, welches Objekt in Fahrtrichtung nach der bestimmten Fahrzeugposition angeordnet ist. Insbesondere wird abgefragt, was das nächste Objekt relativ zu der bestimmten Fahrzeugposition ist. Die Datenbank antwortet dann entsprechend und sendet die Daten zurück an den Abfrager.
In einer weiteren Ausführungsform kann vorgesehen sein, dass der Abfrager eingerichtet ist, die dem detektierten Objekt entsprechenden Sensordaten an die Datenbank zu senden. Das heißt also insbesondere, dass die dem detektierten Objekt entsprechenden Sensordaten an die Datenbank gesendet werden. Dadurch ist beispielsweise in vorteilhafter Weise eine Aktualisierung der Datenbank ermöglicht. Es wird also insbesondere nach der Detektionsanalyse die Datenbank entsprechend aktualisiert.
Gemäß einer Ausführungsform ist die Datenbank extern von dem Fahrzeug angeordnet. Mit extern ist insbesondere ein Bereich außerhalb des Fahrzeugs bezeichnet.
In einer anderen Ausführungsform kann vorgesehen sein, dass die Datenbank intern in dem Fahrzeug angeordnet ist. Mit intern ist insbesondere ein Bereich im und/oder an dem Fahrzeug bezeichnet.
Gemäß einer Ausführungsform kann vorgesehen sein, dass eine Kommunikation zwischen dem Ermittler und der externen Datenbank bzw. einem externen Server umfassend die externe Datenbank beispielsweise mittels eines C2l-Verfahrens durchgeführt wird. Hier steht die Abkürzung„C2I" für den englischen Ausdruck „car to infrastructure". Ein C2l-Kommunikationsverfahren bezeichnet insofern ein Kommunikationsverfahren von einem Fahrzeug zu einer Infrastruktur bzw. zu einem physischen Objekt, was kein Fahrzeug ist, wie beispielsweise eine Signalanlage oder eine Basisstation. Vorzugsweise kann eine Kommunikation auch mittels eines Mobilfunkkommunikationsverfahrens durchgeführt werden. Insbesondere kann es sich bei einem solchen Mobilfunkkommunikationsverfahren um das„long-term-evolution" (LTE)-Kommunikationsverfahren handeln. In einer weiteren Ausführungsform kann vorgesehen sein, dass eine Kommunikation zwischen dem Ermittler und der Datenbank bzw. dem Server umfassend die Datenbank, unabhängig davon, ob es sich um eine interne oder externe Da- tenbank handelt, mittels drahtloser Kommunikationsverfahren durchgeführt wird.
Beispielsweise kann das WLAN-Kommunikationsverfahren und/oder bluetooth für eine Kommunikation zwischen dem Ermittler und der Datenbank verwendet werden. In einer anderen Ausführungsform kann bei einer internen Datenbank vorgesehen sein, dass diese mittels eines Speichermediums, insbesondere einer CD- ROM oder eines USB-Sticks, auf welchem die entsprechenden Objektdaten gespeichert sind, aktualisiert wird. In einer weiteren Ausführungsform können auch mehrere Datenbanken vorgesehen sein. Das heißt also insbesondere, dass mehrere Datenbanken abgefragt werden können, um zu ermitteln, welches Objekt in Fahrtrichtung nach der Fahrzeugposition an der Fahrstrecke angeordnet ist. Die mehreren Datenbanken können insbesondere als interne oder externe Datenbanken gebildet sein. Vor- zugsweise können sowohl interne als auch externe Datenbanken gebildet sein.
Dadurch wird in vorteilhafter Weise eine Redundanz geschaffen, da bei Ausfall einer Datenbank zumindest noch eine weitere Datenbank zwecks Abfrage zur Verfügung steht. Gemäß einer weiteren Ausführungsform ist eine Zeitbestimmungseinrichtung zum Bestimmen eines Zeitpunkts vorgesehen, zu dem das ermittelte Objekt mittels des Umfeldsensors erfassbar ist, wobei der Filter eingerichtet ist, die Sensordaten entsprechend dem Zeitpunkt zu filtern. Das heißt also insbesondere, dass ein Zeitpunkt bestimmt wird, zu dem das ermittelte Objekt mittels des Umfeldsensors erfassbar ist, wobei die Sensordaten entsprechend dem Zeitpunkt gefiltert werden. Es wird also insbesondere erfasst, wann das Objekt in Sensorreichweite gelangt, so dass das Objekt mittels des Sensors erfasst werden kann. Wenn beispielsweise ermittelt wurde, dass sich das Objekt in einer Entfernung von beispielsweise drei Kilometern relativ zu der bestimmten Fahr- zeugposition befindet, so kann dann basierend auf der Fahrzeuggeschwindigkeit berechnet werden, wann das Objekt in die Sensorreichweite gelangt. Hierfür ist insbesondere die Sensorreichweite bekannt. Dadurch wird in vorteilhafter Weise eine noch effizientere und effektivere Filterung der Sensordaten ermöglicht, insofern nun bekannt ist, wann das Objekt kommt. Es muss also nicht mehr in vorteilhafter Weise in Sensordaten nach dem Objekt gesucht werden, in welchen sich das Objekt gar nicht befinden kann, da es noch gar nicht mittels des
Umfeldsensors erfassbar ist. Ein entsprechender Rechenaufwand wird so in vorteilhafter Weise erheblich vermindert.
In einer anderen Ausführungsform kann vorgesehen sein, dass eine weitere Positionsbestimmungseinrichtung zum Bestimmen einer relativen Position des ermittelten Objekts in Bezug zu dem Umfeldsensor vorgesehen ist, wobei der Filter eingerichtet ist, die Sensordaten entsprechend der relativen Position zu bestimmen. Das heißt also insbesondere, dass eine relative Position des ermittelten Objekts in Bezug zu dem Umfeldsensor bestimmt wird. Die Sensordaten werden insbesondere entsprechend der relativen Position gefiltert. Es wird also beispielsweise bestimmt, ob sich das Objekt relativ zu dem Umfeldsensor oben, unten, links oder rechts befindet. Mit relativ zu dem Umfeldsensor ist insbesondere relativ zu einer Sensorachse gemeint. Somit kann eine Filterung der Sensordaten in vorteilhafter Weise besonders effizient und effektiv durchgeführt werden, insofern bekannt ist, wo sich das Objekt befinden wird. So kann sich beispielsweise das Objekt relativ zu dem Umfeldsensor rechts oberhalb befinden. In einem entsprechenden Sensorbild, welches mittels der Sensordaten gebildet werden kann, befindet sich also das Objekt in einem rechten oberen Bereich. Eine entsprechende Suche nach dem Objekt kann sich insofern in vorteilhafter Weise nur auf diesen rechten oberen Bereich konzentrieren. Die anderen Bereiche des Sensorbilds, also die entsprechenden Sensordaten, müssen nicht mehr nach dem Objekt durchsucht werden. Ein entsprechender Berechnungsaufwand kann somit in vorteilhafter Weise erheblich reduziert werden.
Nach einer weiteren Ausführungsform kann vorgesehen sein, dass die Objekte, welche an der Fahrstrecke angeordnet sind, selber sowohl ihre Position und vorzugsweise auch ihren entsprechenden Objekttyp aussenden, insbesondere an den Ermittler senden, so dass dieser in vorteilhafter Weise Kenntnis darüber erlangt, welche Objekte sich wo an der Fahrstrecke befinden. Gemäß einer anderen Ausführungsform kann vorgesehen sein, dass die Filterung der Sensordaten extern von dem Fahrzeug durchgeführt wird. Das heißt also insbesondere, dass die Berechnung bezüglich der Objektdetektion extern durchgeführt wird. Ein entsprechendes Ergebnis kann dann dem Fahrzeug mitgeteilt werden bzw. an das Fahrzeug gesendet werden. Dadurch also, dass die Berechnung extern durchgeführt wird, muss das Fahrzeug nicht über einen entsprechend leistungsmäßig hoch ausgelegten Computer verfügen. Eine Kommunikation zwischen dem Fahrzeug und einem entsprechenden externen Computer bzw. Server kann insbesondere mittels einer der vorgenannten Kommunikationsverfahren durchgeführt werden. Vorzugsweise kann eine interne Berechnung bezüglich der Objektdetektion in dem Fahrzeug durchgeführt werden. Vorzugsweise kann eine Kombination von interner und externer Berechnung vorgesehen sein. Das heißt also insbesondere, dass eine Filterung sowohl intern als auch extern durchgeführt wird. Dadurch können insbesondere in vorteilhafter Weise entsprechende Ergebnisse miteinander verglichen werden, so dass bei einer Abweichung mögliche Fehler erkannt werden können, so dass beispielsweise eine nochmalige Berechnung durchgeführt werden kann.
Die Erfindung wird im Folgenden anhand von bevorzugten Ausführungsbeispielen näher erläutert. Hierbei zeigen:
Fig. 1 eine Vorrichtung zum Detektieren von Objekten in einem Strom von Sensordaten;
Fig. 2 ein Ablaufdiagramm eines Verfahrens zum Detektieren von Objekten in einem Strom von Sensordaten;
Fig. 3 ein System zum Detektieren von Objekten in einem Strom von Sensordaten;
Fig. 4 ein Fahrzeugsystem; Fig. 5 zwei Sensorbilder;
Fig. 6 mehrere Sensorbilder und Fig. 7 zwei Sensorbilder.
Im Folgenden werden für gleiche Merkmale gleiche Bezugszeichen verwendet.
Fig. 1 zeigt eine Vorrichtung 101 zum Detektieren von Objekten 103a, 103b, 103c, 103d und 103e in einem Strom, insbesondere einem zeitlichen Strom, von Sensordaten 105. Hierbei werden die Sensordaten 105 mittels eines nicht gezeigten Umfeldsensors eines nicht gezeigten Fahrzeugs gebildet und entsprechen einem mittels des Umfeldsensors sensorisch erfassten Fahrzeugumfeld.
Die Vorrichtung 101 umfasst ferner eine Positionsbestimmungseinrichtung 107, mittels welcher eine Fahrzeugposition bestimmt werden kann. Die Vorrichtung 101 umfasst des Weiteren einen Ermittler 109, welcher ermitteln kann, welches Objekt in Fahrtrichtung nach der bestimmten Fahrzeugposition an einer Fahrstrecke des Fahrzeugs angeordnet ist. Ferner ist ein Filter 1 1 1 gebildet, welcher die Sensordaten 105 entsprechend dem ermittelten Objekt filtert, um das Objekt in den Sensordaten 105 zu detektieren.
Das heißt also insbesondere, dass der Ermittler 109 ermittelt, welche Objekte genau bzw. was für Objekte sich in den Sensordaten 105 befinden. Dadurch also, dass bekannt ist, welche Objekte in den Sensordaten enthalten sind, kann eine entsprechende Filterung effizienter und effektiver durchgeführt werden. Insbesondere kann eine entsprechende Filterung erheblich schneller durchgeführt werden.
Fig. 2 zeigt ein Ablaufdiagramm eines Verfahrens zum Detektieren von Objekten in einem Strom von Sensordaten. Gemäß einem Schritt 201 werden die Sensordaten mittels eines Umfeldsensors eines Fahrzeugs gebildet, welche einem mittels des Umfeldsensors sensorisch erfassten Fahrzeugumfeld entsprechen. In einem Schritt 203 wird eine Fahrzeugposition bestimmt. Gemäß einem Schritt 205 wird ermittelt, welches Objekt in Fahrtrichtung nach der bestimmten Fahrzeugposition an einer Fahrstrecke des Fahrzeugs angeordnet ist. In einem Schritt 207 werden die Sensordaten entsprechend dem ermittelten Objekt gefiltert, um das Objekt in den Sensordaten zu detektieren. Fig. 3 zeigt ein System 301 zum Detektieren von Objekten in einem Strom von Sensordaten. Das System 301 umfasst die Vorrichtung 101 gemäß Fig. 1 . Ferner umfasst das System 301 einen Server 303 mit einer Datenbank 305. In der Datenbank 305 sind Objektdaten gespeichert, welche Objekten entsprechen. Ferner sind den Objektdaten Positionsdaten zugeordnet. Die Vorrichtung 101 kann insofern in vorteilhafter Weise die Datenbank 305 basierend auf der bestimmten Fahrzeugposition abfragen, um Kenntnis darüber zu erlangen, welches Objekt als nächstes in Fahrtrichtung nach der bestimmten Fahrzeugposition kommt. Die Vorrichtung 101 stellt insofern insbesondere eine entsprechende Anfrage an die Datenbank 305.
Fig. 4 zeigt ein Fahrzeugsystem 401. Das Fahrzeugsystem 401 umfasst einen Umfeldsensor 403 sowie die Vorrichtung 101 gemäß Fig. 1 . In einer nicht gezeigten Ausführungsform kann vorgesehen sein, dass das Fahrzeugsystem 401 anstelle der Vorrichtung 101 das System 301 gemäß Fig. 3 umfasst.
Fig. 5 zeigt zwei Sensorbilder 501 a und 501 b. Hierbei entsprechen die Sensorbilder 501 a und 501 b einem Videobild, welches mittels einer Videokamera durch eine Frontscheibe eines Fahrzeugs aufgenommen wurde. In einem rechten oberen Bereich in den Sensorbildern 501 a und 501 b ist ein Verkehrszeichen 503 zu erkennen, welches anzeigt, dass die zulässige Höchstgeschwindigkeit auf diesem Streckenabschnitt 80km pro Stunde beträgt.
Gemäß dem linken Sensorbild 501 a umfasst ein Suchbereich 505 zur Detektion des Verkehrszeichens 503 das gesamte Sensorbild 501 a. Das heißt also insbesondere, dass in den gesamten Sensordaten, welche das Sensorbild 501 a bilden, nach dem Verkehrszeichen 503 gesucht werden muss. Ein entsprechender Berechnungsaufwand ist erheblich. Ferner ist eine solche Berechnung auch sehr zeitaufwändig. Allerdings ist es in der Regel notwendig, den Suchbereich 505 auf das gesamte Sensorbild 501 auszudehnen, da keine spezifischen Informationen betreffend des Verkehrszeichens 503 bzw. allgemein betreffend der zu erkennenden physischen Objekte vorliegen. Das heißt also insbesondere, dass nicht bekannt ist, was das nächste Objekt ist, wann das nächste Objekt kommt und wo sich das nächste Objekt befinden wird. Diese Informationen, das heißt also was das nächste Objekt ist und insbesondere wann das nächste Objekt kommt und vorzugsweise wo sich das nächste Objekt befinden wird, können beispielsweise aus einer Datenbank abgefragt werden. Wenn diese Informationen bekannt sind, wobei insbesondere vorgesehen sein kann, dass es bereits ausreichend ist, dass nur bekannt ist, was das nächste Objekt ist, so kann der Suchbereich 505 verkleinert werden. Dies ist im rechten Sensorbild 501 b gezeigt. Die entsprechenden Sensordaten, welche das Sen sorbild 501 b bilden, müssen somit nicht mehr komplett durchsucht werden, es reicht aus, nur einen kleinen Teil der Sensordaten zu durchsuchen. Ein entsprechender Berechnungsaufwand ist insofern im Vergleich zum rechten Sensorbild 501 a in vorteilhafter Weise erheblich reduziert und kann erheblich schneller durchgeführt werden.
Fig. 6 zeigt schematisch mehrere zeitlich hintereinander aufgenommene Sensorbilder 601 , 603, 605, 607. Da mittels einer Datenbankabfrage bekannt ist, was das nächste Objekt ist, wann das nächste Objekt kommt und wo sich das nächste Objekt befinden wird, wobei es lediglich insbesondere ausreichend sein kann zu wissen, was das nächste Objekt ist, kann ein entsprechender Suchbereich 609 verkleinert werden. Insbesondere wenn bekannt ist, wann das nächste Objekt kommt, kann lediglich vorgesehen sein, dass Sensorbild 607 entsprechend dem Suchbereich 609 zu durchsuchen. Die zeitlich vorherigen Sensorbilder 601 , 603 und 605 müssen nicht durchsucht werden, da hier ausgeschlossen werden kann, dass sich in diesen Sensorbildern das gesuchte Objekt befindet.
Fig. 7 zeigt zwei weitere Sensorbilder 701 und 703. Ein zu detektierendes bzw. zu erkennendes Verkehrszeichen ist hier mittels des Bezugszeichens 705 symbolisch gekennzeichnet. Bei dem Verkehrszeichen 705 handelt es sich um ein Verkehrszeichen, welches anzeigt, dass eine zulässige Höchstgeschwindigkeit auf dem Streckenabschnitt 50 km/h beträgt. Ein entsprechender Suchbereich für das Sensorbild 701 ist mittels des Bezugszeichens 707 gekennzeichnet. Ein entsprechender Suchbereich für das Sensorbild 703 ist mittels des Bezugszeichens 709 gekennzeichnet.
Wie Fig. 7 deutlich zeigt, ist der Suchbereich 709 größer als der Suchbereich 707. Das heißt also insbesondere, dass ein größerer Bereich in dem Sensorbild 703 durchsucht wird im Vergleich zu dem Sensorbild 701 , um das Verkehrszeichen 705 in den entsprechenden Sensordaten zu detektieren.
Dadurch, dass ein Suchbereich vergrößert wird, ist insofern in vorteilhafter Weise ein Sicherheitspuffer geschaffen, welcher insbesondere Ungenauigkeiten berücksichtigen kann. Bei solchen Ungenauigkeiten kann es sich beispielsweise um ungenaue Sensordaten handeln, welche aus einer mangelnden Qualität eines Sensors resultieren. Somit kann insofern insbesondere in vorteilhafter Weise bei einer entsprechenden Filterung auch eine Sensorqualität bzw. Sensorgüte be- rücksichtigt werden. Das heißt insbesondere, dass bei einem Sensor mit einem geringen Gütefaktor, welche also insbesondere Sensordaten mit geringer Güte bzw. in einer geringen Qualität liefert, der Suchbereich automatisch vergrößert wird im Vergleich zu einem Sensor mit einem hohen Gütefaktor, welcher also insbesondere Sensordaten mit hoher Güte bzw. in einer hohen Qualität liefert.
In einer weiteren nicht gezeigten Ausführungsform kann vorgesehen sein, dass in der Datenbank charakteristische Merkmale der physischen Objekte gespeichert sind, die in vorteilhafter Weise eine Analyse des Suchbereichs nach dem Objekt erleichtern können. Beispielsweise kann es sich bei solchen charakteristi- sehen Merkmalen um eine Farbe und/oder eine Größenangabe des Objekts handeln.
In einer weiteren nicht gezeigten Ausführungsform sind in der Datenbank Zusatzdaten über die Objekte gespeichert, die in vorteilhafter Weise eine Analyse des Suchbereichs nach dem Objekt erleichtern können. Diese Zusatzdaten können beispielsweise die Information umfassen, dass das Objekt verdreckt ist oder dass das Objekt teilweise zerstört ist.
In einer anderen nicht gezeigten Ausführungsform sind in der Datenbank für die Objekte und die entsprechenden Objektdaten Qualitätsangaben integriert. Das heißt also insbesondere, dass die Datenbank die Information abgespeichert hat, wie gut die Objektdaten sind. Das heißt also insbesondere, dass die Information abgespeichert ist, mittels welchen Sensors die Objektdaten aufgenommen wurden. Ein schlechter Sensor kann beispielsweise ein Sensor eines Smartphones sein, ein guter Sensor kann beispielsweise ein Sensor einer Stereokamera sein. Die vorgenannten Ausführungen betreffend der Sensorbilder sollen sich nicht nur auf Sensorbilder einer Videokamera beschränken, sondern sind allgemein für weitere Sensoren gültig. Die vorgenannten Ausführungen sind allgemeingültig für beliebige Umfeldsensoren, welche ein Umfeld sensorisch erfassen können.
Vorzugsweise werden die dem detektierten Objekt entsprechenden Sensordaten an die Datenbank gesendet, so dass vorzugsweise diese in vorteilhafter Weise sich entsprechend aktualisieren kann. Insbesondere wenn die gesendeten Sensordaten eine höhere Qualität aufweisen als die abgespeicherten Objektdaten, ist eine Aktualisierung sehr sinnvoll. Eine höhere Qualität kann beispielsweise bedeuten, dass die Sensordaten mittels eines besseren, insbesondere höher auflösenden, Sensors aufgenommen wurden als die Objektdaten. Insbesondere kann vorgesehen sein, dass mittels der gesendeten Sensordaten eine Aktualisierung der Zusatzdaten durchgeführt wird. Beispielsweise können die abgespeicherten Zusatzdaten die Information umfassen, dass das Objekt verdreckt und/oder beschädigt ist. Gemäß den Sensordaten, welche in der Regel aktueller sind als die abgespeicherten Zusatzdaten, ist das Objekt aber nicht verdreckt bzw. nicht beschädigt. Die Datenbank kann nun diese aktuellere Information zu den entsprechenden Objektdaten abspeichern. Beispielsweise können die abgespeicherten Zusatzdaten die Information umfassen, dass das Objekt sauber und/oder unbeschädigt ist. Gemäß den Sensordaten, ist das Objekt aber verdreckt bzw. beschädigt. Die Datenbank kann insofern in vorteilhafter Weise aktualisiert werden.
In einer weiteren Ausführungsform kann vorgesehen sein, dass eine erste Analy- se, auch Kurzanalyse genannt, in den Sensordaten nach den zu suchenden Objekten durchgeführt wird. Bei der Kurzanalyse kann insbesondere das gesamte Bild durchsucht werden. Bei den Objekten kann es sich beispielsweise um Verkehrszeichen oder insbesondere speziell um Geschwindigkeitszeichen handeln. Mittels der Kurzanalyse wird also am Beispiel„Verkehrszeichen- Geschwindigkeit" grob das Sensorbild nach entsprechenden charakteristischen
Merkmalen der Geschwindigkeitsverkehrszeichen, hier beispielsweise ein roter Ring, durchgeführt. Es wird in diesem Schritt aber noch keine Detailanalyse durchgeführt um beispielsweise zu erkennen, dass das mögliche Verkehrszeichen anzeigt, dass die zulässige Höchstgeschwindigkeit 70km/h oder 100km/h beträgt. Diese Detailanalyse auf den entsprechenden Suchbereich wird durchgeführt, wenn gemäß der Erfindung ein entsprechender Suchbereich festgelegt werden kann, da gemäß einer Datenbankabfrage das zu suchende Objekt bekannt ist und insbesondere wann und/oder vorzugsweise wo das zu suchende Objekt in den Sensordaten erscheinen wird. Ferner kann eine entsprechende Detailanalyse auch durchgeführt werden, wenn gemäß der Kurzanalyse das Objekt im Suchbereich gefunden wurde.
In einer anderen nicht gezeigten Ausführungsform kann vorgesehen sein, dass ein entsprechender Suchbereich ein- oder zwei- oder mehrdimensional sein kann.
Zusammenfassend umfasst also die Erfindung insbesondere den Gedanken, eine Objektdetektionsanalyse durch bekannte Daten aus einer Datenbank zu trig- gern. Das heißt also insbesondere, dass die Objektdetektion vorparametrisiert wird. Insbesondere wird also ermittelt, was das nächste Objekt ist und/oder wann das nächste Objekt kommt und/oder wo sich das nächste Objekt befinden wird. Insbesondere mittels einer Datenbankabfrage kann ermittelt werden, was das nächste Objekt relativ zu einer momentanen Fahrzeugposition in Fahrtrichtung sein wird. Insbesondere mittels der Information, wann das nächste Objekt kommt und insbesondere mittels der Information, wo sich das nächste Objekt befinden wird, kann ein entsprechender Suchbereich in den Sensordaten bzw. den Sensorbildern festgelegt werden. Insbesondere können hierfür Objektpositionsdaten und/oder Routendaten und/oder Straßendaten, beispielsweise ein Straßenverlauf wie insbesondere ein gerade oder kurviger Verlauf, und/oder eine momentane Fahrzeugposition und/oder eine momentane Geschwindigkeit und/oder eine Sensoraufnahmefrequenz verwendet werden, um zu berechnen, wann und wo das Objekt in den Sensordaten erscheinen wird. Vorzugsweise können noch weitere Daten für die Berechnung zusätzlich integriert werden.
Mittels der Erfindung ist es also in vorteilhafter Weise ermöglicht, dass eine De- tektionsrate erheblich gesteigert werden kann, da insbesondere eine Rechenleistung durch die Vorparametrisierung und somit der Kenntnis, welches Objekt sich wann und wo befindet, optimal verwendet werden kann. Ferner ist auch eine Reduktion von Kosten in vorteilhafter Weise ermöglicht.

Claims

Ansprüche
1 . Vorrichtung (101 ) zum Detektieren von Objekten (103a, 103b, 103c, 103d, 103e) in einem Strom von Sensordaten (105), wobei die Sensordaten (105) mittels eines Umfeldsensors (403) eines Fahrzeugs gebildet werden und einem mittels des Umfeldsensors (403) sensorisch erfassten Fahrzeugumfeld entsprechen, umfassend:
- eine Positionsbestimmungseinrichtung (107) zum Bestimmen einer Fahrzeugposition,
- einen Ermittler (109) zum Ermitteln, welches Objekt in Fahrtrichtung nach der bestimmten Fahrzeugposition an einer Fahrstrecke des Fahrzeugs angeordnet ist, und
- einen Filter (1 1 1 ) zum Filtern der Sensordaten (105) entsprechend dem ermittelten Objekt, um das Objekt in den Sensordaten (105) zu detektieren.
2. Vorrichtung (101 ) nach Anspruch 1 , wobei der Ermittler (109) einen Abfrager zum Abfragen einer Datenbank (305) basierend auf der bestimmten Fahrzeugposition umfasst, in der Objekte entsprechende Objektdaten mit zugeordneten Positionsdaten gespeichert sind.
3. Vorrichtung nach Anspruch 2, wobei der Abfrager eingerichtet ist, die dem detektierten Objekt entsprechenden Sensordaten an die Datenbank zu senden.
4. Vorrichtung (101 ) nach einem der vorherigen Ansprüche, wobei eine Zeitbestimmungseinrichtung zum Bestimmen eines Zeitpunkts vorgesehen ist, zu dem das ermittelte Objekt mittels des Umfeldsensors (403) erfassbar ist, wobei der Filter (1 1 1 ) eingerichtet ist, die Sensordaten (105) entsprechend dem Zeitpunkt zu filtern. Vorrichtung (101 ) nach einem der vorherigen Ansprüche, wobei eine weitere Positionsbestimmungseinrichtung zum Bestimmen einer relativen Position des ermittelten Objekts in Bezug zu dem Umfeldsensor (403) vorgesehen ist und der Filter (1 1 1 ) eingerichtet ist, die Sensordaten (105) entsprechend der relativen Position zu filtern.
. Verfahren zum Detektieren von Objekten (103a, 103b, 103c, 103d, 103e) in einem Strom von Sensordaten (105), wobei die Sensordaten (105) mittels eines Umfeldsensors (403) eines Fahrzeugs gebildet werden und einem mittels des Umfeldsensors (403) sensorisch erfassten Fahrzeugumfeld entsprechen, umfassend ferner die folgenden Schritte:
- Bestimmen (203) einer Fahrzeugposition,
- Ermitteln (205), welches Objekt in Fahrtrichtung nach der bestimmten Fahrzeugposition an einer Fahrstrecke des Fahrzeugs angeordnet ist,
- Filtern (207) der Sensordaten (105) entsprechend dem ermittelten Objekt, um das Objekt in den Sensordaten (105) zu detektieren.
Verfahren nach Anspruch 6, wobei der Schritt des Ermitteins ein Abfragen einer Datenbank (305) basierend auf der bestimmten Fahrzeugposition um- fasst, in der Objekte entsprechende Objektdaten mit zugeordneten Positionsdaten gespeichert sind.
Verfahren nach Anspruch 7, wobei die dem detektierten Objekt entsprechenden Sensordaten an die Datenbank gesendet werden.
Verfahren nach einem der Ansprüche 6 bis 8, wobei ein Zeitpunkt bestimmt wird, zu dem das ermittelte Objekt mittels des Umfeldsensors (403) erfassbar ist, und die Sensordaten (105) entsprechend dem Zeitpunkt gefiltert werden.
0. Verfahren nach einem der Ansprüche 6 bis 9, wobei eine relative Position des ermittelten Objekts in Bezug zu dem Umfeldsensor (403) bestimmt wird und die Sensordaten (105) entsprechend der relativen Position gefiltert werden.
1 1 . System (301 ) zum Detektieren von Objekten (103a, 103b, 103c, 103d, 103e) in einem Strom von Sensordaten (105), wobei die Sensordaten (105) mittels eines Umfeldsensors (403) eines Fahrzeugs gebildet werden und einem mittels des Umfeldsensors (403) sensorisch erfassten Fahrzeugumfeld entsprechen, umfassend eine Vorrichtung nach einem der Ansprüche 1 bis 5 und einen Server (303) umfassend eine Datenbank (305), in der Objekte entsprechende Objektdaten mit zugeordneten Positionsdaten gespeichert sind.
12. Fahrzeugsystem (401 ), umfassend einen Umfeldsensor (403) zum sensorischen Erfassen eines Fahrzeugumfelds und eine Vorrichtung nach einem der Ansprüche 1 bis 5 oder das System (301 ) nach Anspruch 1 1.
13. Computerprogramm, umfassend Programmcode zur Ausführung des Verfahrens nach einem der Ansprüche 6 bis 10, wenn das Computerprogramm auf einem Computer ausgeführt wird.
EP12759389.5A 2011-10-24 2012-08-28 Vorrichtung und verfahren zum detektieren von objekten in einem strom von sensordaten Withdrawn EP2771843A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011085060A DE102011085060A1 (de) 2011-10-24 2011-10-24 Vorrichtung und Verfahren zum Detektieren von Objekten in einem Strom von Sensordaten
PCT/EP2012/066647 WO2013060505A1 (de) 2011-10-24 2012-08-28 Vorrichtung und verfahren zum detektieren von objekten in einem strom von sensordaten

Publications (1)

Publication Number Publication Date
EP2771843A1 true EP2771843A1 (de) 2014-09-03

Family

ID=46851948

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12759389.5A Withdrawn EP2771843A1 (de) 2011-10-24 2012-08-28 Vorrichtung und verfahren zum detektieren von objekten in einem strom von sensordaten

Country Status (5)

Country Link
US (1) US20140350852A1 (de)
EP (1) EP2771843A1 (de)
CN (1) CN103890784A (de)
DE (1) DE102011085060A1 (de)
WO (1) WO2013060505A1 (de)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014205180A1 (de) * 2014-03-20 2015-09-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
US10024667B2 (en) * 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
DE102014221888A1 (de) * 2014-10-28 2016-04-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Lokalisierung eines Fahrzeugs in seinem Umfeld
DE102015210015A1 (de) * 2015-06-01 2016-12-01 Robert Bosch Gmbh Verfahren und Vorrichtung zur Positionsbestimmung eines Fahrzeugs
DE102016205867A1 (de) * 2016-04-08 2017-10-12 Robert Bosch Gmbh Verfahren zur Bestimmung einer Pose eines wenigstens teilautomatisiert fahrenden Fahrzeugs mittels verschiedener Landmarkentypen
CN110226187A (zh) * 2017-01-02 2019-09-10 威斯通全球技术公司 采用车辆传感器信息检索数据
DE102018219984B3 (de) * 2018-11-22 2020-03-26 Volkswagen Aktiengesellschaft Verfahren und System zum Unterstützen eines automatisiert fahrenden Fahrzeugs
JP7044694B2 (ja) * 2018-12-27 2022-03-30 ヤンマーパワーテクノロジー株式会社 作業車両用の障害物検知システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2013060505A1 *

Also Published As

Publication number Publication date
CN103890784A (zh) 2014-06-25
WO2013060505A1 (de) 2013-05-02
DE102011085060A1 (de) 2013-04-25
US20140350852A1 (en) 2014-11-27

Similar Documents

Publication Publication Date Title
WO2013060505A1 (de) Vorrichtung und verfahren zum detektieren von objekten in einem strom von sensordaten
DE112020002175T5 (de) Systeme und verfahren zur fahrzeugnavigation
DE112020004931T5 (de) Systeme und verfahren zur bestimmung der verkehrssicherheit
EP3292423B1 (de) Diagnoseverfahren für einen sichtsensor eines fahrzeugs und fahrzeug mit einem sichtsensor
DE112020003897T5 (de) Systeme und verfahren zur überwachung von fahrspurüberlastung
EP2562735A1 (de) Verfahren und Vorrichtung zur Analysierung eines von einem Fahrzeug zu befahrenden Streckenabschnitts
EP2764505B1 (de) Anzeigeverfahren und anzeigesystem für ein fahrzeug
EP2936470B1 (de) Verfahren und system zum lernen von verkehrsereignissen sowie verwendung des systems
EP3616181A1 (de) Verfahren zum automatischen erstellen und aktualisieren eines datensatzes für ein autonomes fahrzeug
DE102013211696A1 (de) Verfahren zum Vervollständigen und/oder Aktualisieren einer digitalen Straßenkarte, Vorrichtung für ein Kraftfahrzeug und Kraftfahrzeug
DE102012024873A1 (de) Verfahren und Steuervorrichtung zum Bereitstellen eines vorausliegenden Straßenverlaufs
DE102014009627A1 (de) Verfahren zur Meldung einer freien Parklücke für ein Fahrzeug
DE102016122338A1 (de) Informations-verarbeitungseinrichtung, informations-verarbeitungsverfahren, steuerungsvorrichtung für ein fahrzeug und steuerungsverfahren für ein fahrzeug
DE102015218964A1 (de) Verfahren und System zum Ermitteln von Verkehrsteilnehmern mit Interaktionspotential
DE102017222183A1 (de) Verfahren und System zum Überwachen mehrerer Umgebungssensoren eines Kraftfahrzeugs
EP3769042A1 (de) System zur erzeugung von konfidenzwerten im backend
DE112020005275T5 (de) Systeme und verfahren zur selektiven verzögerung eines fahrzeugs
EP3631779A1 (de) Verfahren, vorrichtungen und computerlesbares speichermedium mit instruktionen zum ermitteln von geltenden verkehrsregeln für ein kraftfahrzeug
WO2020043246A1 (de) Lokalisierungsvorrichtung zur visuellen lokalisierung eines fahrzeugs
DE102017214293B4 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zum Verarbeiten von Daten in einem Kraftfahrzeug für einen Versand an ein Backend
EP3410158A1 (de) Verfahren, vorrichtungen und computerlesbares speichermedium mit instruktionen zur ortsbestimmung eines durch ein kraftfahrzeug erfassten datums
DE102023103171A1 (de) VERFAHREN UND VORRICHTUNG ZUM BESTIMMEN DER POSITION EINES FUßGÄNGERS
DE102013204843A1 (de) Einparkassistent mit kooperativer Halteverbotserkennung
DE102017209370B4 (de) Verfahren zur Ermittlung einer Überholinformation
EP3781906A1 (de) Verfahren und vorrichtung zum bestimmen einer hochgenauen position eines fahrzeugs

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20140526

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20160301