WO2022002604A1 - Vermeidung von fehldetektionen einer objekterkennung - Google Patents

Vermeidung von fehldetektionen einer objekterkennung Download PDF

Info

Publication number
WO2022002604A1
WO2022002604A1 PCT/EP2021/066350 EP2021066350W WO2022002604A1 WO 2022002604 A1 WO2022002604 A1 WO 2022002604A1 EP 2021066350 W EP2021066350 W EP 2021066350W WO 2022002604 A1 WO2022002604 A1 WO 2022002604A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
image
recognition
designed
determined
Prior art date
Application number
PCT/EP2021/066350
Other languages
English (en)
French (fr)
Inventor
Steffen Rose
Luiz Ricardo Douat
Martin Voss
Michael Erz
Peter Seitz
Elisa Rothacker-Feder
Mirja Wolf
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2022002604A1 publication Critical patent/WO2022002604A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations

Definitions

  • the method relates to object recognition in a monitoring area.
  • the method provides for the recording of a first and a second image for stereo image processing.
  • the entering object is recognized based on the first and second image.
  • the method for object segmentation and object recognition is known from the document DE 10 2012 021 617 A1, in which an environment is recorded and identified in a generated image of the environment in an obstacle-free space, the area outside this space being segmented.
  • the method provides for the search for objects in the segmented area, space rich in obstacles.
  • a method for object recognition having the features of claim 1 is proposed. Furthermore, a computer program, a machine-readable storage medium and a control device are proposed. Preferred and / or advantageous embodiments of the invention emerge from the subclaims, the description and the attached figures.
  • a method for recognizing an object also called object recognition.
  • the method is designed, for example, to be executed on a computer, a control device or a camera.
  • the method is specifically designed for use in autonomous driving, for example in a car, agricultural vehicle or aircraft.
  • the method can in particular form a machine-learning method which can be trained using a neural network, for example.
  • Object recognition means, for example, the recognition of a definable type of object, e.g. human, animal, car.
  • object recognition is understood to be the recognition of an object as the foreground, so that an image, a scene and / or the monitored area is divided into the foreground and the background.
  • the monitoring area is in particular an area monitored by cameras, images and / or video.
  • the monitoring area is preferably the environment around a vehicle, for example a car, agricultural vehicle or aircraft.
  • the monitoring area can also be designed as a danger area, for example a production plant or machine.
  • the objects that appear are, for example, people, animals or factual objects.
  • the method provides for the recording of a first image and a second image.
  • the recording of the images can also precede the method, so that the method provides for the acquisition of the first and second images, for example from a camera.
  • the first image and the second image are recorded at the same time.
  • the first and second images are recorded, for example, with a stereo camera.
  • the first and the second image represent a recording of the monitoring area.
  • the monitoring area is preferably recorded as a color recording, alternatively as a gray recording or a black and white recording.
  • the first image and the second image are recorded with a camera of the vehicle, for example a front camera or a rear camera.
  • the first images and the second images are designed to be able to be processed together in stereoscopic image processing.
  • the first image and the second image are recorded at an image rate of at least 20 Hz, in particular at least 30 Hz.
  • the method provides for the determination and / or determination of a disparity map.
  • the determination and / or determination of the disparity map takes place based on and / or with the first and the second image.
  • a depth map of the monitoring area can be determined and / or ascertained.
  • the disparity map describes depth and / or distance relationships of objects in the surveillance area, for example relative to one another and / or relative to the camera.
  • the depth map and / or the disparity map is to be understood in particular as a distance recording.
  • a monitoring area clearance is determined based on the disparity map.
  • the monitoring area free space is, for example, an object-free section, an obstacle-free section, a flat and / or a planar section of the monitoring area.
  • the free space to be monitored is a section without objects in the foreground, for example only from the background.
  • a free road without obstacles such as other vehicles, hard shoulders and, for example, in the application of agricultural machinery, free arable, corridor and / or field sections are to be understood as the monitoring area clearance.
  • the surveillance area clearance is to be understood as a subset of the surveillance area, in particular as a subset of the first image of the second image and / or the disparity map.
  • Stipulation areas are, for example, segments of the disparity map, in particular of the surveillance area clearance, the segments in particular having the same width.
  • the segments of a pixel area in particular have the same and / or similar slope with respect to an image plane.
  • the segments, in particular called pixels are vertically oriented segments.
  • Stixels are based in particular on the consideration that objects are arranged vertically on flat surfaces, so that objects should preferably be segmented in the vertical direction. A plurality of stixels are combined to form a stixel area, these stixel areas representing free sections, obstacle-free sections, in particular streets, edge strips, corridors and / or field areas.
  • Sections of the monitoring area with an obstacle for example a vehicle driving ahead, a road obstacle, a tree and / or a house, which in particular are not Representing free spaces, in particular, are not part of sticky areas.
  • an obstacle for example a vehicle driving ahead, a road obstacle, a tree and / or a house
  • a plurality of definition areas can be ascertained and / or determined.
  • these can be arranged contiguously and / or incoherently.
  • the segmentation into stixel areas and / or the determination of stixels is based in particular on the publications DE 102009009047A1, DE 102012 000 459A1 and DE 10 2011 111 440A1.
  • the method provides for the evaluation of the first and / or the second image for existing objects.
  • an object recognition algorithm is applied to the first image and / or the second image, in particular common object recognition algorithms of the prior art being applicable.
  • the object recognition algorithm is designed for object recognition in image recordings, in particular 2D images.
  • the object recognition can be designed for specific, in particular definable, object types, for example person recognition.
  • Object areas are determined based on the object recognition. Object areas are in particular sections of the first and / or the second image at which a recognized object is located. In particular, an object recognition area is a flat section of the first and / or second image.
  • the method provides that the object area or areas are compared with the reference area or areas and / or checked for plausibility.
  • the method provides that object areas, in particular the associated object, are assessed as a relevant object based on a comparison of the object area with the reference areas. For example, a comparison is made as to whether the object area coincides with a stixel area, in particular whether the image section of an object area coincides with an image section of a stixel area.
  • the detection areas are used in particular for the verification and / or falsification of a classic object recognition.
  • the method is based on the consideration that the pure use of object areas often leads to false positive recognition of objects in the Monitoring area leads. For example, the casting of shadows causes problems in the early detection of objects, for example because of incorrect assessment as an entering object.
  • the method makes use of the consideration that shadows, that is to say false positive detections, are to be expected in the open space of the monitored area, whereas real objects, due to their spatial extent, are not to be expected in the open spaces of the monitored area.
  • the at least one design area or areas are designed as a section of the first image and / or of the second image.
  • a fixation area is, for example, a section of the first image and / or the second image which depicts an obstacle-free area of the surveillance area and / or shows a background of the first and / or second image.
  • a stixe area in particular comprises at least one stixel.
  • a stixel preferably comprises a plurality of pixels of the first image and / or the second image, in particular at least three pixels and in particular at least 5 pixels. The minimum number of pixels is preferably required in the vertical direction.
  • Stixels are designed, for example, as vertical rectangles and / or sections of the first image and / or of the second image.
  • pixels in particular pixels that are adjacent in the horizontal direction, collectively form the pixel area.
  • Foreground objects have a vertical extent, so that the foreground (object) and background (free space) can be divided particularly well by vertical image sections.
  • the depths and / or distances to the recording camera in vertical image sections are often the same as in a horizontal direction.
  • sections of the first image and / or of the second image are understood as object areas.
  • the object areas include a plurality of pixels of the first image and / or of the second image.
  • the object areas are in particular sections, preferably contiguous sections, of the first image and / or the second image that show and / or depict the object.
  • an object area has to include a minimum number of pixels, for example at least three, preferably at least five and in particular at least 10 pixels.
  • an overlap is provided between the object space and the clipboard and / or clipboard areas definitely.
  • the overlap is embodied, for example, as an overlapping number of pixels, this describing the number of pixels in the object area which coincide with the pixels in the pixel area and / or the pixel areas.
  • the overlap can also be embodied as a percentage, for example how many percent of an object area, for example an area, fall into one or more clip areas.
  • An object is rated as a relevant object, for example, the object area of which falls within one or more Stixei areas to a maximum of 50 percent, in particular a maximum of 30 percent.
  • a relevant object is understood to be an object whose overlap of the object area and the stix area and / or the stix area is less than a threshold value, the threshold value being embodied, for example, as a number of pixels or a percentage.
  • An image registration is preferably carried out on the first image and / or the second image.
  • one of the images is established as a reference image for this purpose, the other image being transformed so that image areas of the first and second image, which show the same object and / or section of the monitored area, lie on top of one another.
  • the image registration can comprise a translation, rotation, shear, stretching and / or compression as a transformation.
  • the image registration can include rectification of one of the images. This refinement is based on the consideration that the cameras for recording the first and second images have different perspectives of the surveillance area, so that one of the images has to be transformed to the other so that the same sections of the images show the same sections of the surveillance area.
  • the object recognition is designed in particular as a person recognition.
  • the object recognition can be designed to recognize people based on personal characteristics, preferably the object recognition can be trained and / or machine-learned.
  • the person identification can form a personalized person identification, for example “Find Mr. XY”, whereby the clothing and / or the face of the person is known, for example.
  • the object recognition can form a recognition of moving objects, for example at a minimum speed, in particular the recognition of vehicles, animals and people. This refinement is based on the consideration of providing specific, robust object recognition.
  • a flatness is determined for the and / or for the fixation areas.
  • the flatness describes, for example, how the section of the monitoring area is, in particular which slopes are present.
  • Free sections for example free roads, are essentially flat and have only a slight gradient, whereas real, extensive objects have a gradient with respect to the ground and are not shown flat.
  • the classification as a relevant or non-relevant object is based in particular on the determined flatness. For example, a maximum slope can be specified, and if the maximum slope of a pixel area is exceeded, it can be excluded from the comparison with the object area or areas.
  • the object area can, for example, be defined by a bounding box.
  • the bounding box is preferably designed as a rectangular section of the first image and / or the second image.
  • the bounding box for example, forms the smallest rectangle that can be circumscribed to the object.
  • the object area and / or the stylus area is preferably output and / or saved as a text file.
  • the text file can include, for example, position, location, center of gravity, size and / or shape of the respective area.
  • the comparison and / or the classification of the object takes place based on and / or by means of the text file. This refinement is based on the consideration of providing a particularly data-saving method.
  • the object detection is based in particular on at least one sensitivity parameter, an object recognition feature and / or a minimum size, these preferably being preset, adjustable and / or machine-learnable. Furthermore, it can be provided that the segmentation of the pixel area and / or determination of the monitoring area clearance is based on determination and / or
  • the open space to be monitored preferably forms, describes and / or is based on an open area, in particular a subsurface, ground, road and / or field.
  • the disparity map is examined for changes in height and / or depth that are not caused by perspective, such areas with changes in depth and / or height not caused by perspective being excluded as monitoring area clearances.
  • sections of the disparity map and / or the monitoring area are evaluated as monitoring area clearances that have the purely perspective (alignment-shaped) changes in height and depth.
  • the method and / or method steps of the method include machine learning.
  • object determination, object classification, determination of monitoring area clearances, segmentation into definition areas, definition of threshold values and / or parameters can be machine-learned and / or trained, for example by using a neural network.
  • the computer program is designed to be executed on a computer, a navigation device, a control device and / or an on-board computer.
  • the computer program is designed to carry out and / or carry out the method as described above when it is carried out.
  • Another subject matter of the invention is a machine-readable one
  • Storage medium for example CD or DVD.
  • the machine-readable medium for example CD or DVD.
  • the storage medium comprises the computer program as previously described.
  • a further subject matter of the invention is a control device, the control device being designed to carry out the method as described above.
  • the control device can, for example, form part of a vehicle, for example a car, agricultural vehicle or aircraft.
  • the control device is part of a device for autonomous driving.
  • the control device can drive the autonomously
  • Controlling the vehicle for example braking and / or accelerating, in particular output a warning to a driver, for example if an object appearing and / or entering from the side is detected in the monitoring area.
  • Figure 1 is a schematic representation of a motor vehicle with a control device
  • FIG. 2 shows an example of an image with a stencil area
  • FIG. 3 the image from FIG. 1 with the object area
  • FIG. 4 shows a schematic sequence of an exemplary embodiment of the method.
  • Figure 1 shows an example of an arrangement of a motor vehicle 1 with a control device 2.
  • the motor vehicle 1 is designed as an agricultural vehicle which is used, for example, for field cultivation.
  • the motor vehicle 1 is a means of locomotion and moves forward in the direction of travel 3.
  • the control device 2 is designed, for example, as an alarm device for the driver, alternatively and / or additionally as a braking system for braking when people 4 and / or objects appear in front of the motor vehicle 1.
  • the control device 2 is provided with images 6 by a camera arrangement 5.
  • the camera arrangement 5 is arranged in a front area of the motor vehicle 1.
  • the camera arrangement 5 is designed to record a monitoring area 7 and to output it as images 6.
  • the camera arrangement 5 records first and second images 6 of the surveillance area 7.
  • the monitoring area 7 is formed as a section in the direction of travel 3 in front of the motor vehicle 1.
  • the person 4 is arranged as the object in the monitored area 7 captured by the camera arrangement 5, with a shadow 8 of the person 4 and a shadow 9 of the motor vehicle 1 also being displayed in the image 6.
  • FIG. 2 shows an example of a first image 6 recorded by the camera arrangement 5 from FIG. 1.
  • the camera arrangement 5 from FIG. 1 also recorded a second image of the monitoring area 5, the first and second images 6 being recorded so that they can be evaluated together stereoscopically are.
  • the first image 6 shows the shadow 8 of the person 4 and the shadow 9 of the motor vehicle 1.
  • the control device 2 which is designed to use the method for object recognition, has carried out a stereoscopic evaluation based on the first and second image 6 and determined a disparity map . Based on the disparity map, distances to image planes, distances between objects and / or distances from object to camera arrangement can be determined. In particular, slopes and / or a flatness of the recorded monitoring area sections can be determined based on the disparity map.
  • Monitoring area clearances 10 were determined based on the disparity map. These are areas of the monitored area 7 and / or of the first or second image 6 that do not have any obstacles.
  • the monitoring area clearance 10 extends here onto a street in front of the motor vehicle.
  • a slope area 11 of the monitored area 5 has a slope and is not part of the open space 10 of the monitored area.
  • the monitoring area free space 10 is stixeled and / or segmented, the segments being referred to as stixels 12.
  • Stixels 12 are sections of the surrounding area 7 which belong to the monitoring area free space 10, the stixels 12 being vertically oriented and having the same width. Stixels 12 which have a similar gradient are combined to form a stixel area 13.
  • FIG. 3 shows a further first image 6 for the same monitoring area from FIG. 1, with the person 4 already being captured by the camera arrangement 5 and can be seen in image 6. Furthermore, the fixation area 13 has already been determined and drawn in.
  • Object recognition that is designed to recognize people in the image was applied to image 6. For example, based on a size, shape and / or other features.
  • Two object areas 14a, 14b were determined by the object recognition, the object area 14a belonging to the real person 4 and the object area 14b belonging to the shadow 8.
  • a probability measure was determined for both object areas that the object is a person. For the object area 14a this is, for example, 90 percent and for the object area 14b 97 percent.
  • a bounding box 15a, b was determined for both object areas 14a, b, which describes and / or delimits the object area. Without a further comparison, the object area 14b would be recognized as a false positive as a person.
  • an overlap of the object area 14a, b with the fixture area 13 is determined in each case.
  • the overlap for the object area 14a is, for example, 2 percent, the overlap for the object area 14b being, for example, 53 percent.
  • a threshold value of 40 percent is used, so that if there is an overlap of more than 40 percent, the object area is evaluated as a non-relevant object.
  • FIG. 4 shows an example of a sequence of the method for recognizing an entering object according to FIG. 3.
  • a first and a second image 6 are recorded by the camera arrangement 5. These images are registered in method step 200, with rectification being carried out so that image sections of the first and second image 6 each depict the same monitoring area sections.
  • a first second of the method provides for the determination of the fixing areas 13.
  • a disparity map is determined based on the registered images from method step 200.
  • preprocessing of the disparity map is carried out, with a median filter being used, for example, outliers (eg depth / distance) being determined and possibly excluded, image areas being excluded or other filters being used.
  • the processed disparity map from method step 400 is segmented, the pixels 12 being determined.
  • the pixels 12 from step 500 are filtered and checked in method step 600, for example pixels with fewer than 5 pixels, in particular in the vertical direction, being discarded.
  • the remaining pixels 12 are combined to form pixel areas 13 in method step 700.
  • object recognition is applied to the first and / or second image in method step 800.
  • object recognition is applied to the first and / or second image in method step 800.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Verfahren zur Objekterkennung, wobei ein erstes Bild 6 und ein zweites Bild des Überwachungsbereichs (7) zur Stereobildverarbeitung aufgenommen wird, wobei basierend auf dem ersten Bild (6) und dem zweiten Bild eine Disparitätskarte des Überwachungsbereichs (7) ermittelt wird, wobei basierend auf der Disparitätskarte ein Überwachungsbereichfreiraum (10) bestimmt wird, wobei der Überwachungsbereichfreiraum (10) in mindestens einen Stixelbereich (13) segmentiert wird, wobei auf das erste Bild (6) und/oder das zweiten Bild eine Objekterkennung angewendet wird, wobei durch die Objekterkennung mindestens ein Objekt im Überwachungsbereich (7) erkannt wird und ein Objektbereich (14) bestimmt wird, wobei der Objektbereich (14) mit dem mindestens einen Stixelbereich (13) abgeglichen wird, wobei basierend auf dem Abgleich das zu dem Objektbereich (14) gehörende Objekt als relevantes oder nichtrelevantes Objekt eingestuft wird.

Description

Beschreibung
Titel
VERMEIDUNG VON FEHLDETEKTIONEN EINER OBJEKTERKENNUNG
Stand der Technik
Das Verfahren betrifft eine Objekterkennung in einem Überwachungsbereich. Das Verfahren sieht die Aufnahme eines ersten und eines zweiten Bildes zur Stereobildverarbeitung vor. Die Erkennung des eintretenden Objekts erfolgt basierend auf dem ersten und zweiten Bild.
Aus der Druckschrift DE 10 2012 021 617 Al ist das Verfahren zur Objektsegmentierung und Objekterkennung bekannt, bei dem eine Umgebung erfasst wird und in einem erzeugten Bild der Umgebung in hindernisfreier Raum identifiziert wird, wobei der Bereich außerhalb dieses Raums segmentiert wird. Das Verfahren sieht die Suche nach Objekten im segmentierten Bereich, hindernisreichen Raum, vor.
Offenbarung der Erfindung
Es wird ein Verfahren zur Objekterkennung mit den Merkmalen des Anspruchs 1 vorgeschlagen. Ferner werden ein Computerprogramm, ein maschinenlesbares Speichermedium und eine Steuereinrichtung vorgeschlagen. Bevorzugte und/oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der Beschreibung und den beigefügten Figuren.
Es wird ein Verfahren zur Erkennung eines Objekts, auch Objekterkennung genannt, vorgeschlagen. Das Verfahren ist beispielsweise zur Ausführung auf einem Computer, einer Steuereinrichtung oder einer Kamera ausgebildet. Im Speziellen ist das Verfahren zum Einsatz im autonomen Fahren, beispielsweise eines PKWs, landwirtschaftlichen Fahrzeuges oder Fluggerätes, ausgebildet. Das Verfahren kann insbesondere ein maschinenlernendes Verfahren bilden, welches beispielsweise unter Verwendung eines neuronalen Netzes trainierbar ist.
Das Verfahren sieht die Erkennung eines Objektes in einem Überwachungsbereich vor. Objekterkennung bedeutet hierbei beispielsweise das Erkennen einer bestimmbaren Objektart, z.B. Mensch, Tier, Auto. Insbesondere wird als Objekterkennung das Erkennen eines Objekts als Vordergrund verstanden, so dass ein Bild, eine Szene und/oder der Überwachungsbereich in Vordergrund und Hintergrund zerfällt.
Der Überwachungsbereich ist insbesondere ein kamera-, bildtechnisch und/oder videotechnisch überwachter Bereich. Vorzugsweise ist der Überwachungsbereich die Umgebung um ein Fahrzeug, beispielsweise PKW, landwirtschaftliches Fahrzeug oder Fluggerät. Der Überwachungsbereich kann ferner als ein Gefahrenbereich, beispielsweise einer Produktionsanlage bzw. Maschine, ausgebildet sein. Die erscheinenden Objekte sind beispielsweise Personen, Tiere oder sachliche Objekte.
Das Verfahren sieht die Aufnahme eines ersten Bildes und eines zweiten Bildes vor. Die Aufnahme der Bilder kann dem Verfahren auch vorgelagert sein, sodass das Verfahren die Übernahme des ersten und des zweiten Bildes, beispielsweise von einer Kamera, vorsieht. Das erste Bild und das zweite Bild werden insbesondere zeitgleich aufgenommen. Die Aufnahme des ersten und des zweiten Bildes erfolgt beispielsweise mit einer Stereokamera. Das erste und das zweite Bild stellen eine Aufnahme des Überwachungsbereichs dar. Insbesondere erfolgt die Aufnahme des Überwachungsbereichs vorzugsweise als Farbaufnahme, alternativ als Grauaufnahme oder Schwarz-Weiß-Aufnahme. Im Speziellen erfolgt die Aufnahme des ersten Bildes und des zweiten Bildes mit einer Kamera des Fahrzeugs, beispielsweise einer Frontkamera oder einer Rückkamera. Die ersten Bilder und die zweiten Bilder sind ausgebildet, gemeinsam in einer stereoskopischen Bildverarbeitung verarbeitet werden zu können. Besonders bevorzugt ist es, dass die Aufnahme des ersten Bildes und des zweiten Bildes mit einer Bildrate von mindestens 20 Hz, im Speziellen mindestens 30 Hz, erfolgt. Das Verfahren sieht die Ermittlung und/oder Bestimmung einer Disparitätskarte vor. Die Ermittlung und/oder Bestimmung der Disparitätskarte erfolgt basierend und/oder mit dem ersten und dem zweiten Bild. Im Speziellen kann statt und/oder ergänzend zu der Disparitätskarte eine Tiefenkarte des Überwachungsbereichs bestimmt und/oder ermittelt werden. Die Disparitätskarte beschreibt Tiefen- und/oder Abstandsverhältnisse von Objekten im Überwachungsbereich, beispielsweise relativ zueinander und/oder relativ zur Kamera. Die Tiefenkarte und/oder die Disparitätskarte ist insbesondere als eine Entfernungsaufnahme zu verstehen.
Basierend auf der Disparitätskarte wird ein Überwachungsbereichsfreiraum bestimmt. Der Überwachungsbereichsfreiraum ist beispielsweise ein objektfreier Abschnitt, ein hindernisfreier Abschnitt, ein flacher und/oder ein ebener Abschnitt des Überwachungsbereichs. Im Speziellen ist der Überwachungsbereichsfreiraum ein Abschnitt ohne Objekte im Vordergrund, beispielsweise nur aus Hintergrund. Beispielsweise ist als Überwachungsbereichsfreiraum eine freie Straße ohne Hindernisse, wie weitere Fahrzeuge, zu verstehen, Seitenstreifen, sowie beispielsweise im Anwendungsfall von Landmaschinen freie Acker-, Flur- und/oder Feldabschnitte. Der Überwachungsbereichsfreiraum ist als eine Teilmenge des Überwachungsbereichs, im Speziellen als eine Teilmenge des ersten Bildes des zweiten Bildes und/oder der Disparitätskarte aufzufassen.
Das Verfahren sieht eine Segmentierung in Stixeibereiche vor. Stixeibereiche sind beispielsweise Segmente der Disparitätskarte, im Speziellen des Überwachungsbereichsfreiraum, wobei die Segmente insbesondere eine gleiche Breite aufweisen. Die Segmente eines Stixelbereichs weisen insbesondere eine gleiche und/oder ähnliche Steigung bezüglich einer Bildebene auf. Insbesondere sind die Segmente, insbesondere Stixel genannt, vertikal ausgerichtete Segmente. Stixel basieren insbesondere auf der Überlegung, dass auf ebenen Flächen Objekte vertikal angeordnet sind, sodass eine Segmentierung von Objekten bevorzugt in vertikaler Richtung zu erfolgen hat. Mehrere Stixel werden zu einem Stixeibereich zusammengefasst, wobei diese Stixeibereiche freie Abschnitte, hindernisfreie Abschnitte, insbesondere Straßen, Randstreifen, Flur und/oder Feldbereiche darstellen. Abschnitte des Überwachungsbereichs mit einem Hindernis, beispielsweise einem vorausfahrenden Fahrzeug, einem Straßenhindernis, einem Baum und/oder einem Haus, welche insbesondere keine Freiräume darstellen, sind im Speziellen nicht Teil von Stixeibereichen. Basierend auf der Disparitätskarte, insbesondere auf dem ersten und dem zweiten Bild können insbesondere eine Mehrzahl an Stixeibereichen ermittelt und/oder bestimmt werden. Bei einer Mehrzahl an Stixeibereichen können diese zusammenhängend und/oder unzusammenhängend angeordnet sein.
Die Segmentierung in Stixeibereiche und/oder die Bestimmung von Stixel ist insbesondere angelehnt an die Druckschriften DE 102009009047A1, DE 102012 000 459A1 sowie DE 10 2011 111 440A1.
Das Verfahren sieht die Auswertung des ersten und/oder des zweiten Bildes auf vorhandene Objekte vor. Dabei wird beispielsweise ein Objekterkennungsalgorithmus auf das erste Bild und/oder das zweite Bild angewendet, wobei insbesondere gängige Objekterkennungsalgorithmen des Stands der Technik anwendbar sind. Der Objekterkennungsalgorithmus ist zur Objekterkennung in Bildaufnahmen, insbesondere 2D-Bildern, ausgebildet. Die Objekterkennung kann auf spezifische, insbesondere festlegbare, Objektarten, zum Beispiel Personenerkennung, ausgebildet sein. Basierend auf der Objekterkennung werden Objektbereiche bestimmt. Objektbereiche sind insbesondere Abschnitte des ersten und/oder des zweiten Bildes, an denen sich ein erkanntes Objekt befindet. Insbesondere ist ein Objekterkennungsbereich ein flächiger Abschnitt des ersten und/oder zweiten Bildes.
Das Verfahren sieht vor, dass der oder die Objektbereiche mit dem oder den Stixeibereichen verglichen und/oder auf Plausibilität überprüft wird. Das Verfahren sieht vor, dass Objektbereiche, insbesondere das zugehörige Objekt, als ein relevantes Objekt basierend auf einem Abgleich des Objektbereichs mit den Stixeibereichen bewertet. Beispielsweise wird dabei abgeglichen, ob der Objektbereich mit einem Stixeibereich zusammenfällt, insbesondere ob der Bildabschnitt eines Objektbereichs mit einem Bildabschnitt eines Stixelbereichs zusammenfällt. Die Stixeibereiche werden gemäß dem Verfahren insbesondere zur Verifikation und/oder Falsifikation einer klassischen Objekterkennung herangezogen.
Dem Verfahren liegt die Überlegung zu Grunde, dass die reine Verwendung von Objektbereichen häufig zu falsch positiven Erkennung von Objekten im Überwachungsbereich führt. Beispielsweise bereitet Schattenwurf Probleme bei der Objektfrüherkennung, zum Beispiel wegen fälschlicher Bewertung als eintretendes Objekt. Insbesondere nutzt das Verfahren die Überlegung, dass Schatten, also falsch positive Detektionen, im Überwachungsbereichfreiraum zu erwarten sind, wohingegen reale Objekte aufgrund ihrer räumlichen Ausdehnung gerade nicht in Überwachungsbereichfreiräumen zu erwarten sind.
Insbesondere ist der mindestens eine Stixeibereich oder sind Stixeibereiche als Abschnitt des ersten Bildes und/oder des zweiten Bildes ausgebildet. Ein Stixeibereich ist beispielsweise ein Abschnitt des ersten Bildes und/oder des zweiten Bildes der einen hindernissfreien Bereich des Überwachungsbereichs abbildet und/oder einen Hintergrund des ersten und/oder zweiten Bildes zeigt. Ein Stixeibereich umfasst insbesondere mindestens einen Stixel. Ein Stixel umfasst vorzugsweise eine Mehrzahl an Pixel des ersten Bildes und/oder des zweiten Bildes, insbesondere mindestens drei Pixel und im Speziellen mindestens 5 Pixel. Die Mindestanzahl an Pixel ist vorzugsweise in vertikale Richtung gefordert. Stixel sind beispielsweise als vertikale Rechtecke und/oder Abschnitte des ersten Bildes und/oder des zweiten Bildes ausgebildet. Im Speziellen bilden mehrere Stixel, insbesondere in horizontale Richtung benachbarte Stixel, zusammengefasst den Stixeibereich. Dies basiert auf der Überlegung, dass vordergründige Objekte eine vertikale Ausdehnung aufweisen, sodass Vordergrund (Objekt) und Hintergrund (Freiraum) durch vertikale Bildabschnitte besonders gut zu unterteilen sind. Insbesondere sind Tiefen und/oder Abstände zur Aufnahmekamera in vertikalen Bildabschnitten häufig gleich als in eine horizontale Richtung.
Als Objektbereiche werden insbesondere Abschnitte des ersten Bildes und/oder des zweiten Bildes verstanden. Insbesondere umfassen die Objektbereiche eine Mehrzahl an Pixeln des ersten Bildes und/oder des zweiten Bildes. Die Objektbereiche sind insbesondere Abschnitte, vorzugsweise zusammenhängende Abschnitte, des ersten Bildes und/oder des zweiten Bildes, die das Objekt zeigen und/oder abbilden. Insbesondere wird hat ein Objektbereich eine Mindestpixelzahl zu umfassen, beispielsweise mindestens drei, vorzugsweise mindestens fünf und im Speziellen mindestens 10 Pixel.
Zum Abgleich von Objektbereich und Stixeibereich wird beispielsweise ein Überlapp zwischen dem Objektbereich mit dem und/oder den Stixeibereichen bestimmt. Der Überlapp ist beispielsweise als eine Überlapppixelzahl ausgebildet, wobei diese die Anzahl der Pixel des Objektbereichs beschreibt, die mit den Pixeln des Stixelbereichs und/oder den Stixeibereichen zusammenfallen. Der Überlappt kann ferner als ein Prozentsatz ausgebildet sein, beispielsweise wieviel Prozent eines Objektbereichs, z.B. Fläche, in einen oder mehrere Stixeibereiche fallen. Als ein relevantes Objekt wird zum Beispiel ein Objekt bewertet, dessen Objektbereich zu höchstens 50 Prozent, im Speziellen höchstens 30 Prozent, in einen oder mehrere Stixeibereiche fällt. Insbesondere wird als relevantes Objekt ein Objekt verstanden dessen Überlapp von Objektbereich und Stixeibereich und/oder Stixeibereichen kleiner als ein Schwellwert ist, wobei der Schwellwert beispielsweise als eine Pixelanzahl oder ein Prozentsatz ausgebildet ist.
Vorzugsweise wird auf das erste Bild und/oder das zweite Bild eine Bildregistrierung vorgenommen. Beispielsweise wird hierzu eines der Bilder als Referenzbild festgelegt, wobei das andere Bild transformiert wird, dass Bildbereiche von ersten und zweiten Bild, die ein gleiches Objekt und/oder Abschnitt des Überwachungsbereichs zeigen, aufeinanderliegen. Die Bildregistrierung kann eine Translation, Rotation, Scherung, Streckung und/oder Stauchung als Transformation umfassen. Insbesondere kann die Bildregistrierung eine Rektifizierung eines der Bilder umfassen. Dieser Ausgestaltung liegt die Überlegung zu Grunde, dass die Kameras zur Aufnahme des ersten und des zweiten Bildes unterschiedliche Perspektiven auf den Überwachungsbereich haben, sodass eines der Bilder zum anderen transformiert werden muss, damit gleiche Abschnitte der Bilder gleiche Abschnitte des Überwachungsbereichs zeigen.
Die Objekterkennung ist insbesondere als eine Personenerkennung ausgebildet. Die Objekterkennung kann zur Erkennung von Personen basierend auf Personenmerkmalen ausgebildet sein, vorzugsweise ist die Objekterkennung trainierbar und/oder maschinengelernt. Im Speziellen kann die Personenerkennung eine personifizierte Personenerkennung bilden, beispielsweise „Finde Herrn XY“, wobei bekannt zum Beispiel die Kleidung und/oder das Gesicht der Person bekannt ist. Alternativ kann die Objekterkennung eine Erkennung von bewegenden Objekten bilden, beispielsweise mit einer Mindestgeschwindigkeit, im Speziellen die Erkennung von Fahrzeugen, Tieren und Menschen. Dieser Ausgestaltung liegt die Überlegung zu Grunde eine spezifische, robuste Objekterkennung bereitzustellen.
Vorzugsweise wird für den und/oder für die Stixeibereiche eine Flachheit bestimmt. Die Flachheit beschreibt beispielsweise wie eben der Abschnitt des Überwachungsbereichs ist, insbesondere welche Steigungen vorliegen. Freie Abschnitte, beispielsweise freie Straßen, sind im wesentlichen Flach und weißen nur eine geringe Steigung auf, wohingegen reale, ausgedehnte Objekte bezüglich dem Untergrund eine Steigung aufweisen und nicht eben dargestellt sind. Die Einstufung als relevantes oder nichtrelevantes Objekt erfolgt insbesondere basierend auf der bestimmten Flachheit. Beispielsweise kann eine maximale Steigung festgelegt sein, wobei bei Überschreiten der maximalen Steigung eines Stixelbereiches, dieser ausgeschlossen werden kann vom Abgleich mit dem oder den Objektbereichen.
Der Objektbereich kann beispielsweise durch eine Boundingbox festgelegt werden. Die Boundingbox ist vorzugsweise als ein rechteckiger Abschnitt des ersten Bildes und/oder des zweiten Bildes ausgebildet. Die Boundingbox bildet beispielsweise das kleinste Rechteck, das dem Objekt umschrieben werden kann.
Der Objektbereich und/oder der Stixeibereich wird vorzugsweise als eine Textdatei ausgegeben und/oder gespeichert. Die Textdatei kann dabei beispielsweise Position, Lage, Schwerpunkt, Größe und/oder Form des jeweiligen Bereichs umfassen. Insbesondere erfolgt der Abgleich und/oder die Einstufung des Objekts basierend auf und/oder mittels der Textdatei. Dieser Ausgestaltung liegt die Überlegung zu Grunde, ein besonders datensparendes Verfahren bereitzustellen.
Die Objektdetektion basiert insbesondere auf mindestens einem Sensitivitätsparameter, einem Objekterkennungsmerkmal und/oder einer Mindestgröße, wobei diese vorzugsweise voreingestellt sind, einstellbar und/oder maschinenlernbar ausgebildet sind. Ferner kann es vorgesehen sein, dass die Segmentierung des Stixelbereichs und/oder Bestimmung des Überwachungsbereichsfreiraum auf Bestimmungs- und/oder
Segementierungsparametern basiert, wobei diese voreingestellt, einstellbar und/oder maschinengelernt ausgebildet sein können. Vorzugsweise bildet, beschreibt und/oder basiert der Überwachungsbereichfreiraum auf einer Freifläche, insbesondere einem Untergrund, Boden, Straße und/oder Feld. Beispielsweise wird die Disparitätskarte auf Höhen- und/oder Tiefenänderungen, die nicht durch die Perspektive verursacht sind, untersucht werden, wobei solche Bereiche mit nicht perspektivisch verursachten Tiefen- und/oder Höhenänderungen als Überwachungbereichfreiräumen ausgeschlossen werden. Im Speziellen werden Abschnitte der Disparitätskarte und/oder des Überwachungsbereiches als Überwachungsbereichfreiräume bewertet, die die rein perspektivische (Fluchtlinienförmige) Höhen- unter Tiefenänderungen aufweisen.
Besonders bevorzugt ist es, dass das Verfahren und/oder Verfahrensschritte des Verfahrens ein maschinelles Lernen umfassen. Beispielsweise kann die Objektbestimmung, Objektklassifizierung, die Bestimmung von Überwachungsbereichfreiräumen, die Segmentierung in Stixeibereiche, die Festlegung von Schwellwerten und/oder Parametern maschinengelernt und/oder trainiert werden, beispielsweise durch Verwendung eines neuronalen Netzes.
Einen weiteren Gegenstand der Erfindung bildet ein Computerprogramm, insbesondere mit Programmcodemitteln. Das Computerprogramm ist zur Ausführung auf einem Computer, einem Navigationsgerät, einer Steuereinrichtung und/oder einem Bordcomputer ausgebildet. Das Computerprogramm ist ausgebildet, bei Ausführung das Verfahren wie vorher beschrieben durchzuführen und/oder auszuführen.
Einen weiteren Gegenstand der Erfindung bildet ein maschinenlesbares
Speichermedium, beispielsweise CD oder DVD. Das maschinenlesbare
Speichermedium umfasst das Computerprogramm wie vorher beschrieben.
Einen weiteren Gegenstand der Erfindung bildet eine Steuereinrichtung, wobei die Steuereinrichtung ausgebildet ist, das Verfahren wie vorher beschrieben auszuführen. Die Steuereinrichtung kann beispielsweise Teil eines Fahrzeugs, beispielsweise PKW, landwirtschaftlichen Fahrzeugs oder Fluggeräts bilden. Insbesondere ist die Steuereinrichtung Teil einer Einrichtung zum autonomen Fahren. Beispielsweise kann die Steuereinrichtung das autonom fahrende
Fahrzeug steuern, beispielsweise bremsen und/oder beschleunigen, im Speziellen eine Warnung an einen Fahrer ausgeben, beispielsweise, wenn ein seitlich erscheinendes und/oder eintretendes Objekt im Überwachungsbereich detektiert wird.
Weitere Vorteile, Wirkungen und Ausgestaltungen ergeben sich aus den beigefügten Figuren und deren Beschreibung. Dabei zeigen:
Figur 1 eine schematische Darstellung eines Kraftfahrzeugs mit einer Steuereinrichtung;
Figur 2 ein Beispiel für ein Bild mit Stixeibereich;
Figur 3 Bild aus Figur 1 mit Objektbereich;
Figur 4 schematischer Ablauf eines Ausführungsbeispiels des Verfahrens.
Figur 1 zeigt beispielhaft eine Anordnung eines Kraftfahrzeuges 1 mit einer Steuereinrichtung 2. Das Kraftfahrzeug 1 ist als landwirtschaftliches Fahrzeug ausgebildet, welches beispielsweise zur Feldbearbeitung eingesetzt wird. Das Kraftfahrzeug 1 ist ein Fortbewegungsmittel und bewegt sich in Fahrtrichtung 3 vor. Die Steuereinrichtung 2 ist beispielsweise als eine Alarmierungseinrichtung für den Fahrer ausgebildet, alternativ und/oder ergänzend als ein Bremssystem zum Bremsen bei Erscheinen von Personen 4 und/oder Objekten vor dem Kraftfahrzeug 1. Der Steuereinrichtung 2 sind von einer Kameraanordnung 5 Bilder 6 bereitgestellt.
Die Kameraanordnung 5 ist in einem Frontbereich des Kraftfahrzeug 1 angeordnet. Die Kameraanordnung 5 ist ausgebildet, einen Überwachungsbereich 7 aufzunehmen und als Bilder 6 auszugeben. Die Kameraanordnung 5 nimmt von dem Überwachungsbereich 7 erste und zweite Bilder 6 auf. Der Überwachungsbereich 7 ist ein Abschnitt in Fahrtrichtung 3 vor dem Kraftfahrzeug 1 ausgebildet. In dem von der Kameraanordnung 5 erfassten Überwachungsbereichs 7 ist als Objekt die Person 4 angeordnet, wobei zusätzlich ein Schatten 8 der Person 4 und ein Schatten 9 des Kraftfahrzeugs 1 im Bild 6 abgebildet wird. Figur 2 zeigt beispielhaft ein erstes Bild 6, aufgenommen von der Kameraanordnung 5 aus Figur 1. Die Kameraanordnung 5 aus Figur 1 hat von dem Überwachungsbereich 5 auch ein zweites Bild aufgenommen, wobei erstes und zweites Bild 6 so aufgenommen sind, dass dieses zusammen stereoskopisch auswertbar sind. Das erste Bild 6 zeigt den Schatten 8 der Person 4 und den Schatten 9 des Kraftfahrzeugs 1. Die Steuereinrichtung 2, die ausgebildet ist, das Verfahren zu Objekterkennung anzuwenden, hat basierend auf dem ersten und zweiten Bild 6 eine stereoskopische Auswertung durchgeführt und eine Disparitätskarte bestimmt. Basierend auf der Disparitätskarte sind Abstände zu Bildebenen, Abstände zwischen Objekten und/oder Abstände von Objekt zu Kameraanordnung bestimmbar. Insbesondere sind basierend auf der Disparitätskarte Steigungen und/oder eine Flachheit der aufgenommenen Überwachungsbereichabschnitte bestimmbar.
Basierend auf der Disparitätskarte wurden Überwachungsbereichfreiräume 10 bestimmt. Diese sind Bereiche des Überwachungsbereichs 7 und/oder des ersten bzw. des zweiten Bildes 6, die keine Hindernisse aufweisen. Der Überwachungsbereichfreiraum 10 erstreckt sich hier auf eine Straße vor dem Kraftfahrzeug. Ein Böschungsbereich 11 des Überwachungsbereichs 5 weist eine Steigung auf und ist nicht teil des Überwachungsbereichfreiraum 10.
Basierend auf der stereoskopischen Auswertung, insbesondere der Disparitätskarte wird der Überwachungbereichfreifraum 10, insbesondere im Bild 6, stixeliert und/oder segementiert, wobei die Segmente als Stixel 12 bezeichnet werden. Stixel 12 sind Abschnitte des Umgebungsbereichs 7, die zu dem Überwachungbereichsfreiraum 10 zählen, wobei die Stixel 12 vertikal orientiert sind und eine gleiche Breite aufweisen. Stixel 12 welche eine ähnliche Steigung aufweisen, werden zu einem Stixeibereich 13 zusammengefasst.
Figur 3 zeigt ein weiteres erstes Bild 6, zum gleichen Überwachungsbereich aus Figur 1, wobei hier die Person 4 schon von der Kameraanordnung 5 erfasst wird und im Bild 6 zu sehen ist. Ferner sind der Stixeibereich 13 bereits ermittelt und eingezeichnet.
Auf das Bild 6 wurde eine Objekterkennung angewendet, die ausgebildet ist, Personen im Bild zu erkennen. Beispielsweise basierend auf einer Größe, Form und/oder weiteren Merkmalen. Durch die Objekterkennung wurden zwei Objektbereiche 14a, 14b bestimmt, wobei der Objektbereich 14a zu der realen Person 4 gehört und der Objektberiech 14b zu dem Schatten 8 gehört. Für beide Objektbereiche wurde jeweils ein Wahrscheinlichkeitsmaß bestimmt, dass es sich bei dem Objekt um eine Person handelt. Für den Objektbereich 14a beträgt diese beispielsweise 90 Prozent und für den Objektbereich 14b 97 Prozent. Ferner wurde für beide Objektbereiche 14a, b jeweils eine Bounding Box 15a, b bestimmt, die den Objektbereich beschreibt und/oder begrenzt. Ohne einen weiteren Abgleich, würde der Objektbereich 14b als falsch positiv als Person erkannt.
Zum Abgleich, ob es sich um eine Person als Objekt bei den Objektbereichen 14a, b handelt, wird jeweils ein Überlapp von Objektbereich 14a, b mit dem Stixeibereich 13 bestimmt. Der Überlapp beträgt für den Objektbereich 14a beispielsweise 2 Prozent, wobei der Überlapp für den Objektbereich 14b beispielsweise 53 Prozent beträgt. Zur Bewertung als relevantes Objekt, hier reale Person, und nichtrelevantes Objekt, hier Fehldetektion, wird ein Schwellwert von 40 Prozent angewendet, sodass bei einem Überlapp von mehr als 40 Prozent, der Objektbereich als nichtrelevante Objekt bewertet wird. Durch Anwendung des Verfahrens wird damit das Objekt 4, des Objektbereichs 14a als relevantes Objekt (Person) bewertet, wobei das Objekt 8, des Objektbereichs 14b als nichtrelevantes Objekt korrekt bewertet wird.
Figur 4 zeigt beispielhaft einen Ablauf des Verfahrens zur Erkennung eines eintretenden Objektes gemäß Figur 3. Im Verfahrensschritt 100 wird ein erstes und ein zweites Bild 6 von der Kameraanordnung 5 aufgenommen. Diese Bilder werden im Verfahrensschritt 200 Registriert, wobei eine Rectifikation durchgeführt wird, sodass Bildabschnitte von ersten und zweiten Bild 6 jeweils gleiche Überwachungsbereichabschnitte abbilden.
Ein erster Zweit des Verfahrens sieht die Bestimmung der Stixeibereiche 13 vor. Hierzu wird im Verfahrensschritt 300 eine Disparitätskarte basierend auf den registrierten Bildern aus Verfahrensschritt 200 bestimmt. Im Verfahrensschritt 400 wird eine Vorverarbeitung der Disparitätskarte durchgeführt, wobei beispielsweise ein Medianfilter angewendet wird, Ausreiser (z.B. Tiefe/Abstand) bestimmt und ggf. ausgeschlossen werden, Bildbereiche ausgeschlossen werden oder anderweite Filter angewendet werden. Im Verfahrensschritt 500 wird die verarbeitete Disparitätskarte aus Verfahrensschritt 400 segmentiert, wobei die Stixel 12 bestimmt werden. Die Stixel 12 aus Schritt 500 werden im Verfahrensschritt 600 gefiltert und überprüft, wobei beispielsweise Stixel mit weniger als 5 Pixel, insbesondere in vertikale Richtung, verworfen werden. Die übriggebliebenen Stixel 12 werden im Verfahrensschritt 700 zu Stixeibereichen 13 zusammengefasst.
In einem zweiten Zweig des Verfahrensablaufs wird im Verfahrensschritt 800 eine Objekterkennung auf das erste und/oder zweite Bild angewendet. Hierbei werden
Objekte, insbesondere Personen in den Bildern gesucht und detektiert. Für die gefundenen Objekte, hier Personen, werden im Verfahrensschritt 900 Bounding Boxen 15 bestimmt. Die Objekte bzw. Objektbereiche 14 werden im Verfahrensschritt 1000 auf
Plausibilität überprüft, wobei hier ein Abgleich mit den Stixeibereichen 13 erfolgt. Liegen zu große Teile eines Objektbereichs in den Stixeibereichen 13, werden diese als nichtrelevantes Objekt bewertet und/oder verworfen.

Claims

Ansprüche
1. Verfahren zur Objekterkennung, wobei ein erstes Bild (6) und ein zweites Bild des Überwachungsbereichs (7) zur Stereobildverarbeitung aufgenommen wird, wobei basierend auf dem ersten Bild (6) und dem zweiten Bild eine Disparitätskarte des Überwachungsbereichs (7) ermittelt wird, wobei basierend auf der Disparitätskarte ein Überwachungsbereichfreiraum (10) bestimmt wird, wobei der Überwachungsbereichfreiraum (10) in mindestens einen Stixeibereich (13) segmentiert wird, wobei auf das erste Bild (6) und/oder das zweiten Bild eine Objekterkennung angewendet wird, wobei durch die Objekterkennung mindestens ein Objekt im Überwachungsbereich (7) erkannt wird und ein Objektbereich (14) bestimmt wird, wobei der Objektbereich (14) mit dem mindestens einen Stixeibereich (13) abgeglichen wird, wobei basierend auf dem Abgleich das zu dem Objektbereich (14) gehörende Objekt als relevantes oder nichtrelevantes Objekt eingestuft wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der mindestens eine Stixeibereich (13) als ein Abschnitt des ersten und/oder zweiten Bildes (6) ausgebildet ist, wobei der Abschnitt mindestens eine Mindestzahl an Bildpixel umfasst.
3. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Objektbereich (14) als ein Abschnitt des ersten und/oder zweiten Bildes (6) ausgebildet ist.
4. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass zum Abgleich ein Überlapp zwischen Objektbereich (14) und dem Stixeibereich (13) ermittelt wird, wobei bei Überschreiten eines Schwellwerts durch den Überlapp das zum Objektbereich (14) gehörige Objekt als nichtrelevantes Objekt eingestuft wird.
5. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass zur Bestimmung der Dispritätskarte auf das zweite Bild eine Bildregistrierung zum ersten Bild (6) angewendet wird.
6. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Objekterkennung als eine Personenerkennung ausgebildet ist.
7. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass für den Stixeibereich (13) eine Flachheit des zugehörigen Überwachungsbereichsabschnittes (10) bestimmt wird, wobei die Einstufung als relevantes oder nichtrelevantes Objekt auf der Flachheit basiert.
8. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Objektbereich (14) durch eine Boundingbox (15) festgelegt und/oder begrenzt wird.
9. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Objektbereich (14) und/oder der Stixeibereich (13) als Textdatei ausgegeben und/oder abgeglichen wird.
10. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Objektdetektion auf einem festlegbaren Sensitivitätsparameter basiert.
11. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Überwachungsbereichfreiraum (10) einen Untergrund beschreibt.
12. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Verfahren, insbesondere das Segmentieren und/oder die Objekterkennung, ein maschinelles Lernen umfasst.
13. Computerprogramm zur Ausführung auf einem Computer, wobei das Computerprogramm ausgebildet ist, bei Ausführung das Verfahren nach einem der vorherigen Ansprüche durchzuführen.
14. Maschinenlesbares Speichermedium, wobei auf dem Speichermedium das
Computerprogramm nach Anspruch 13 gespeichert ist.
15. Steuerungseinrichtung, wobei die Steuereinrichtung ausgebildet ist, das Verfahren nach einem der Ansprüche 1 bis 12 auszuführen.
PCT/EP2021/066350 2020-06-30 2021-06-17 Vermeidung von fehldetektionen einer objekterkennung WO2022002604A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020208066.6A DE102020208066B3 (de) 2020-06-30 2020-06-30 Verfahren Objekterkennung Computerprogramm, Speichermedium und Steuereinrichtung
DE102020208066.6 2020-06-30

Publications (1)

Publication Number Publication Date
WO2022002604A1 true WO2022002604A1 (de) 2022-01-06

Family

ID=76695705

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/066350 WO2022002604A1 (de) 2020-06-30 2021-06-17 Vermeidung von fehldetektionen einer objekterkennung

Country Status (2)

Country Link
DE (1) DE102020208066B3 (de)
WO (1) WO2022002604A1 (de)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2265779A (en) * 1992-03-23 1993-10-06 Fuji Heavy Ind Ltd Obstacle warning system for vehicle
DE19926559A1 (de) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
EP1655620A1 (de) * 2004-10-29 2006-05-10 Deere & Company Hinderniserkennung durch Stereovision
DE102009009047A1 (de) 2009-02-16 2010-08-19 Daimler Ag Verfahren zur Objektdetektion
DE102011111440A1 (de) 2011-08-30 2012-06-28 Daimler Ag Verfahren zur Umgebungsrepräsentation
DE102012000459A1 (de) 2012-01-13 2012-07-12 Daimler Ag Verfahren zur Objektdetektion
DE102012021617A1 (de) 2012-11-06 2013-05-16 Daimler Ag Verfahren zur Objektdetektion
DE102016218853A1 (de) * 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Validierung von Objekten aus Bildern einer Kamera

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2265779A (en) * 1992-03-23 1993-10-06 Fuji Heavy Ind Ltd Obstacle warning system for vehicle
DE19926559A1 (de) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
EP1655620A1 (de) * 2004-10-29 2006-05-10 Deere & Company Hinderniserkennung durch Stereovision
DE102009009047A1 (de) 2009-02-16 2010-08-19 Daimler Ag Verfahren zur Objektdetektion
DE102011111440A1 (de) 2011-08-30 2012-06-28 Daimler Ag Verfahren zur Umgebungsrepräsentation
DE102012000459A1 (de) 2012-01-13 2012-07-12 Daimler Ag Verfahren zur Objektdetektion
DE102012021617A1 (de) 2012-11-06 2013-05-16 Daimler Ag Verfahren zur Objektdetektion
DE102016218853A1 (de) * 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Validierung von Objekten aus Bildern einer Kamera

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BADINO HERNÁN ET AL: "The Stixel World - A Compact Medium Level Representation of the 3D-World", 9 September 2009, ICIAP: INTERNATIONAL CONFERENCE ON IMAGE ANALYSIS AND PROCESSING, 17TH INTERNATIONAL CONFERENCE, NAPLES, ITALY, SEPTEMBER 9-13, 2013. PROCEEDINGS; [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], SPRINGER, BERLIN, HEIDELBERG, PAGE(S) 51 - 60, ISBN: 978-3-642-17318-9, XP047380367 *

Also Published As

Publication number Publication date
DE102020208066B3 (de) 2021-12-23

Similar Documents

Publication Publication Date Title
DE102011086512B4 (de) Nebeldetektion
DE102013205950B4 (de) Verfahren zum Detektieren von Straßenrändern
DE102013205952B4 (de) Rekonfigurierbares System und Verfahren zur Detektion eines freien Pfads
DE102009050502A1 (de) Detektion eines freien Pfads unter Verwendung eines hierarchischen Ansatzes
DE102009048699A1 (de) Pixelbasierte Detektion einer nicht vorhandenen Struktur eines freien Pfads
DE102007019491B4 (de) Fahrzeugumgebungs-Überwachungsvorrichtung, Fahrzeug, Fahrzeugumgebungs-Überwachungsverfahren und Fahrzeugumgebungs-Überwachungsprogramm
DE102017203276B4 (de) Verfahren und Vorrichtung zur Ermittlung einer Trajektorie in Off-road-Szenarien
DE102013205854B4 (de) Verfahren zum Detektieren eines freien Pfads mittels temporärer Koherenz
DE102009048892A1 (de) Pixelbasierte strukturreiche Detektion eines freien Pfads
DE112009000949T5 (de) Detektion eines freien Fahrpfads für ein Fahrzeug
DE102014207802B3 (de) Verfahren und System zum proaktiven Erkennen einer Aktion eines Verkehrsteilnehmers
DE102011111440A1 (de) Verfahren zur Umgebungsrepräsentation
DE102014112797A1 (de) Fahrzeugaußenumgebungerkennungsvorrichtung
DE102017106535A1 (de) Strassenoberflächenzustand-Erkennung mit Multi-Scale Fusion
DE102012000459A1 (de) Verfahren zur Objektdetektion
DE102018121008A1 (de) Kreuzverkehrserfassung unter verwendung von kameras
DE102013012930A1 (de) Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug
DE102016014783A1 (de) Verfahren zur Detektion von Objekten
DE102019123483B4 (de) Verfahren sowie Kraftfahrzeug-Steuereinheit zum Erfassen einer Umgebung eines Kraftfahrzeugs durch Fusionieren von Sensordaten auf Punktwolkenebene
DE102019209473A1 (de) Verfahren und Vorrichtung zur schnellen Erfassung von sich wiederholenden Strukturen in dem Bild einer Straßenszene
DE102020208066B3 (de) Verfahren Objekterkennung Computerprogramm, Speichermedium und Steuereinrichtung
DE102018112171A1 (de) Verfahren zum Beurteilen von Objekten in einer Umgebung eines Kraftfahrzeugs anhand einer dreidimensionalen Fusionskarte, Steuereinrichtung; Fahrerassistenzsystem, Computerprogrammprodukt
DE102021107904A1 (de) Verfahren und System zur Bestimmung der Bodenebene mit einem künstlichen neuronalen Netz
DE102016124123A1 (de) Verfahren zum Erzeugen eines Clusters von Bildbereichen zum Erfassen eines Zielobjekts in einem Bild, Computerprogrammprodukt, Kamerasystem und Kraftfahrzeug
DE102020208068A1 (de) Verfahren zur Erkennung eines in einem Überwachungsbereich erscheinenden Objekts, Computerprogramm, Speichermedium und Steuereinrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21735869

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21735869

Country of ref document: EP

Kind code of ref document: A1