WO2018108215A1 - Vorrichtung zur bereitstellung einer verbesserten hinderniserkennung - Google Patents

Vorrichtung zur bereitstellung einer verbesserten hinderniserkennung Download PDF

Info

Publication number
WO2018108215A1
WO2018108215A1 PCT/DE2017/200129 DE2017200129W WO2018108215A1 WO 2018108215 A1 WO2018108215 A1 WO 2018108215A1 DE 2017200129 W DE2017200129 W DE 2017200129W WO 2018108215 A1 WO2018108215 A1 WO 2018108215A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
image features
processing unit
overlap
Prior art date
Application number
PCT/DE2017/200129
Other languages
English (en)
French (fr)
Inventor
Sudhan Dhana Sekaran
Jörg Schrepfer
Johannes PETZOLD
Markus Friebe
Georg Arbeiter
Peerayut Khongsab
Original Assignee
Conti Temic Microelectronic Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic Gmbh filed Critical Conti Temic Microelectronic Gmbh
Priority to EP17829121.7A priority Critical patent/EP3555808A1/de
Priority to US16/468,093 priority patent/US10824884B2/en
Priority to DE112017005010.3T priority patent/DE112017005010A5/de
Publication of WO2018108215A1 publication Critical patent/WO2018108215A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to a device for
  • Providing enhanced obstacle detection a system for providing improved obstacle detection, a method for providing improved obstacle detection, and a computer program element.
  • a driver assistance system is used in a vehicle to assist a driver in making driving maneuvers, particularly during parking maneuvers.
  • a conventional driver assistance system may include an environmental image system having cameras adapted to capture camera images of the vehicle
  • Capture vehicle environment to create an environmental image The generated environmental image can be displayed to the driver on a display during a driving maneuver.
  • a top view may consist of several
  • the environmental imaging system may include multiple cameras, where adjacent cameras may have an overlapping field of view, FOV.
  • Conventional environmental image systems lead to a bad one
  • Obstacle detection of obstacles in the overlapping areas and in areas that extend into the overlapping areas are poorly visible through an environmental imaging system. This can lead to inadequate safety functions of the driver assistance system with that of the
  • an apparatus for providing improved obstacle detection, comprising:
  • the first camera is configured to capture first vehicle image data, and the first camera is configured to display the first vehicle image data to the first vehicle image data
  • the second camera is configured to second
  • Vehicle image data to capture and the second camera is configured to provide the second vehicle image data to the processing unit.
  • the first vehicle image data and the second vehicle image data extend over a ground plane and wherein the region of image overlap extends over an overlap region of the ground plane.
  • the processing unit is configured to extract first image features from the first
  • Extract vehicle image data and is configured to extract second image features from the second vehicle image data.
  • the processing unit is also configured to project the first image features onto the ground plane and is configured to project the second image features to the ground plane.
  • the processing unit is configured to generate at least one environmental image, either comprising (a) at least a portion of the first vehicle image data associated with the overlap region, or (b) at least a portion of the second vehicle image data associated with the overlap region. The generation is based in part on the determination of first image features whose projections lie in the overlapping region of the ground plane, and second image features whose projections in the overlap region of the
  • an overlapping area of an environmental image may use images from one of two cameras, each of which overlaps taking into account the projections of an object seen by each camera, which are in the overlap area. This allows the
  • Overlap area camera images are selected which can be better combined with the individual camera images from each camera to provide representative images of obstacles.
  • images having more projected features in an image overlap area may be prioritized.
  • Overlap area whose projections are in the overlap area, and objects that are outside of the overlap area but whose projections are in the overlap area can also be considered.
  • the processing unit is configured to determine a number of first image features whose projections are in the overlap region of the ground plane and is configured to determine a number of second image features whose projections are in the overlap region of the ground plane.
  • the processing unit is configured to generate the at least one environmental image having at least a portion of the first vehicle image data corresponding to the first vehicle image data
  • Overlap area are assigned when the number of first image features whose projections are in the overlapping area, is greater than the number of the second
  • the processing unit is also configured to generate the at least one environmental image having at least a portion of the second vehicle image data corresponding to the at least one environmental image
  • Overlap area are assigned, if the number of second image features whose projections are in the overlapping area, is greater than the number of the first
  • Image features whose projections lie in the overlap area are whose projections lie in the overlap area.
  • the image for the overlap area is determined according to which image more recognizable image features whose projections of the
  • Image features lie in the overlapping area has.
  • the extraction of the first image features comprises a determination of binary data
  • the extraction of the second image features comprises a determination of binary data.
  • the feature extraction method results in a binary image that may, for example, have ones where features were detected and zeros where no features were detected. This simplifies the determination of the number of features whose projections lie in the overlap area, which only requires one summation procedure.
  • the first image features are projected along vectors that extend from the first camera through the first image features to the ground plane
  • the second image features are projected along vectors that extend from the second camera through the second image features to the ground plane.
  • the at least one environmental image includes the first vehicle image data outside the overlap region and includes the second
  • Vehicle image data outside the overlap area Vehicle image data outside the overlap area.
  • the environmental image uses the appropriate image for the overlap area and non-overlapping images to provide an environmental image for improved obstacle detection about a vehicle.
  • the generation of the at least one environmental image is based in part on first image features located in the overlap region and on second image features located in the overlap region.
  • Overlap area are as well as a feature that lies in the overlap area and whose projections to the ground level but outside the overlap area. In this way, tall objects at the side away from the overlapping area can be suitably taken into account when the images for displaying the image are displayed
  • Overlap area can be selected.
  • the processing unit is configured to determine a number of first image features in the overlap area and is configured to Number of second image features in the overlap area to determine.
  • the processing unit is also configured to generate the at least one environmental image comprising at least a portion of the first vehicle image data associated with the overlap region when the number of first image features whose projections are in the overlap region is equal to the number of first image features in the overlap region to be added is larger than the number of second image features whose projections are in the overlap area, to which number of second image features in the overlapping area are added.
  • the processing unit is also configured to generate the at least one environmental image comprising at least a portion of the second vehicle image data associated with the overlap region when the number of second image features whose projections are in the overlap region is equal to the number of second image features in the overlap region Overlap area is added, is greater than the number of first image features whose projections are in the overlap area, are added to the number of first image features in the overlap area.
  • a vehicle configured to provide improved obstacle detection, comprising:
  • the display unit is configured to display at least one environment image.
  • a method of providing improved obstacle detection comprising:
  • Vehicle image data and at least a portion of the second vehicle image data and wherein the first vehicle image data and the second vehicle image data extend over a ground plane and wherein the region of image overlap extends over an overlapping region of the ground plane; Providing the second vehicle image data to the processing unit
  • Processing unit either comprising (i-a) at least a portion of the first
  • Vehicle image data associated with the overlap area or (i-b) at least a portion of the second vehicle image data associated with the overlap area, the generation based in part on a determination of first
  • step g) includes determining, by the processing unit, a number of first image features whose projections in the
  • step h) comprises determining, by the processing unit, a number of second image features whose projections are in the overlap region of the ground plane; And step i-a) occurs when the number of first image features whose projections are in the overlap region is greater than the number of second image features whose projections are in the overlap region; And step i-b) occurs when the number of second image features whose projections are in the overlap region is greater than the number of first image features whose projections are in the overlap region.
  • Computer program element control device as described above, in which the computer program element is executed by a processing unit, and which is adapted to carry out the method steps described above.
  • a computer readable medium having stored the computer program element described above.
  • Fig. 1 shows a schematic structure of an example of a device for providing an improved obstacle detection
  • Fig. 2 shows a schematic structure of an example of a system for providing improved obstacle detection
  • Fig. 3 shows a method for providing an improved
  • Fig. 4 shows the classification of regions around a vehicle into different sectors
  • Fig. 5 shows a schematic structure of an example of the projections of an image feature on the ground plane
  • Fig. 6 shows a schematic structure of an example of a system for providing improved obstacle detection
  • Fig. 7 shows a schematic structure of an example of a system for providing improved obstacle detection.
  • FIG. 1 shows an example of an apparatus 10 for providing improved obstacle detection.
  • the apparatus includes a first camera 20, a second camera 30, and a processing unit 40.
  • the first camera 20 is configured to acquire first vehicle image data, and the first camera 20 is configured, the first
  • the second camera 30 is configured to acquire second vehicle image data, and the second camera 30 is configured to supply the second vehicle image data to the processing unit 40.
  • Provision of image data may be via wired or wireless communication.
  • There is a region of image overlap that includes at least a portion of the first vehicle image data and at least a portion of the second vehicle image data.
  • the first vehicle image data and the second vehicle image data extend over a ground plane and the region of image overlap extends over an overlapping region of the ground plane.
  • the processing unit 40 is configured to extract first image features from the first vehicle image data and is configured to extract second image features from the second vehicle image data.
  • the processing unit 40 is also configured to project the first image features onto the ground plane and is configured to project the second image features onto the ground plane.
  • Processing unit 40 is configured to generate at least one environmental image, either comprising (a) at least a portion of the first vehicle image data associated with the overlap region, or (b) at least a portion of the second
  • Vehicle image data associated with the overlap area is based in part on the determination of first image features whose projections lie in the overlap region of the ground plane, and on second image features whose projections lie in the overlap region of the ground plane.
  • the processing unit is configured to generate at least one environmental image in real time.
  • the first and second cameras are mounted on different sides of a chassis of a vehicle.
  • the apparatus further includes a third camera 50 and a fourth camera 60 configured to capture third vehicle image data and fourth vehicle image data.
  • a second region of image overlap that includes at least a portion of the first vehicle image data and at least a portion of the third
  • Vehicle image data has. There is a third region of image overlap that includes at least a portion of the second vehicle image data and at least a portion of the fourth vehicle image data. There is a fourth area of image overlap that includes at least a portion of the third vehicle image data and at least a portion of the fourth vehicle image data.
  • each of the cameras has a field of view which is greater than 180
  • a radar sensor is used in conjunction with the first camera to determine the distance of objects imaged in the field of view of the camera.
  • a radar sensor is used with the second camera to determine the distance of objects imaged in the field of view of the camera.
  • lidar and / or ultrasonic sensors may be used alternatively or in addition to the radar sensors to determine the distances of objects imaged in the fields of view of the cameras.
  • the processing unit 40 is configured to determine a number of first image features whose projections in the
  • Overlap area of the ground plane is configured to determine a number of second image features whose projections lie in the overlapping area of the ground plane.
  • the processing unit 40 is also configured to have at least one
  • the processing unit 40 is also configured to generate at least one environmental image having at least a portion of the second vehicle image data associated with the overlap region when the number of second image features whose projections are in the overlap region is greater than the number of the first
  • Image features whose projections lie in the overlap area are whose projections lie in the overlap area.
  • an edge detection algorithm is used to capture first and second image features.
  • the extraction for determining the first image features comprises binary data
  • the extraction for determining the second image features comprises binary data
  • the first image features are projected along vectors extending from the first camera 20 through the first image features to the ground plane
  • the second image features are projected along vectors extending from the second camera 30 through the second image features to the ground plane
  • the at least one environmental image includes the first vehicle image data outside the overlap region and includes the second vehicle image data outside the overlap region.
  • the processing unit is configured to determine a number of first image features in the overlap region and is configured to determine a number of second image features in the overlap region.
  • the processing unit is also configured, at least one
  • the processing unit is configured to generate at least one environmental image having at least a portion of the second vehicle image data associated with the overlap region when the number of second image features whose projections are in the overlap region to the number of second image features in the overlap region is added, is larger than the number of first image features whose projections are in the overlap area, to which the number of the first image features in the overlap area are added.
  • FIG. 2 shows an example of a vehicle 100 configured to provide improved obstacle detection.
  • the vehicle 100 has a device
  • the vehicle 100 also includes a display unit 110.
  • the display unit 110 is configured to display the at least one environmental image.
  • FIG. 3 shows a method 200 for providing an improved
  • the method 200 includes:
  • a detection step 210 which is also referred to as step a) acquiring first vehicle image data with a first camera 20;
  • a providing step 220 also referred to as step b) providing the first vehicle image data to a processing unit 40 by the first camera;
  • a detection step 230 also referred to as step c)
  • step 240 which is also referred to as step d), providing the second vehicle image data to the processing unit by the second camera;
  • step e extracting the first image features from the first vehicle image data by the
  • step f extracting the second image features from the second vehicle image data by the processing unit;
  • a projection step 270 which is also referred to as step g)
  • a projection step 280 also referred to as step h
  • step h projecting the second image features onto the ground plane by the processing unit
  • step i In a generation step 290, which is also referred to as step i),
  • Generating at least one environmental image by the processing unit either comprising (i-a) at least a portion of the first vehicle image data corresponding to
  • Overlapping area are assigned, or (i-b) at least a part of the second vehicle image data, which are assigned to the overlapping area, wherein the
  • step g) comprises determining 272 by the processing unit a number of first image features whose projections lie in the overlap region of the ground plane.
  • step h) comprises determining 282 by the processing unit a number of second image features whose projections lie in the overlap region of the ground plane.
  • step ia) applies if the number of first image features whose projections are in the
  • Overlap range is greater than the number of second image features whose projections are in the overlap area.
  • step i-b) applies if the number of second image features whose projections are in the overlap region is greater than the number of first image features whose projections in the
  • step e) includes determining 252 binary data
  • step f) includes determining 262 binary data
  • step g) includes projecting 274 of first
  • step h) includes projecting 284 second image features along vectors that extend from the second camera 30 through the second image features to the ground plane.
  • step i) includes generating the at least one environmental image based in part on the first image features that appear in the
  • Overlap area are located.
  • the method includes determining a number of first image features in the overlap region and determining a number of second image features in the overlap region. In this example, if the number of first image features whose projections are in the overlap area are added to the number of first image features in the overlapping area, step ia) is greater than the number of second image features whose projections are in the overlap area the number of second image features in
  • step i-b) occurs when the
  • Number of second image features whose projections are in the overlap area, added to the number of second image features in the overlap area, is greater than the number of first image features whose projections in the overlap area be added to the number of first image features in the overlap area.
  • the top view is made up of several
  • the nodes in the fence data are represented in world coordinates.
  • the various areas of the plan view are divided into sectors as shown in FIG.
  • Each node or feature, such as a detected edge, in the fence data is categorized into one of the sectors with respect to its position in world coordinates.
  • image features such as edges are captured or extracted and classified into the regions in which they are located.
  • Fig. 5 is shown.
  • Nodes in the overlapping area have two starting points in the fence process.
  • step ii is used for the projected points repeated. This is the output of the fence process for adaptive
  • each overlapping sector has two sets of parent nodes.
  • the camera that creates more output nodes in the overlapping area gets a higher priority. For example, if the output of the fence process in the front-right overlapping sector has more projected nodes from the front camera, the front camera image data in the overlapping area is prioritized higher.
  • FIG. 6 shows a detailed example of an environmental image system 100 as described in FIG. 2.
  • the system 100 includes at least one camera pair formed by two overlapping field of view cameras FOV 20, 30 adapted to produce camera images CI having an overlap area OA, as shown in FIG.
  • the camera pair is directed forward, but could be aligned with their optical axes at right angles to each other, as shown in FIG.
  • the field of view FOV of each camera 20, 30 may be more than 180 degrees.
  • the cameras 20, 30 may be provided with so-called fisheye lenses mounted on a chassis of a vehicle.
  • the cameras 20, 30 are connected to a processing unit 40, which may comprise at least one microprocessor.
  • the processing unit 40 is configured to calculate the surrounding images including overlapping areas OAs with respect to each camera.
  • the processing unit extracts features from the images and projects them to the ground plane as shown in FIG. Depending on whether the number of ground plane projected features seen by the camera 20 that are in an overlap area OA is greater than that seen by the camera 30
  • the number of ground plane projected features located in the overlap area OA when merging the environment image, is given priority to either the camera image CI captured by the camera 20 or 30, depending on which has the larger assigned number of projected features in the OA.
  • the images may be temporarily stored in a buffer memory of the processing unit 40.
  • the processing unit may be part of the
  • Feature extraction process to produce a binary image in which features such as edges in represent an image as ones and other parts of the image are represented as zeros.
  • Camera image CI1 and the second camera 30 of the camera pair a second camera image CI2.
  • the processing unit 40 calculates images of a plan view for the
  • the processing unit 40 includes an edge detector or feature detector capable of calculating edges or features for all images that may be provided as two binary images BI, if desired.
  • the processing unit 40 includes a projector that projects detected or extracted features from the images from the position of the camera through the feature onto the ground plane, as shown in FIG. 5.
  • the processing unit then sums the number of features projected onto the ground plane by each camera and uses that information to prioritize the images of the particular camera used for composing the image for the overlap area.
  • the number of customized cameras for capturing the camera images CI may vary.
  • FIG. 7 shows in detail a vehicle with a detailed example of an environmental image system 100 as described in FIGS. 2 and 6.
  • the vehicle VEH with the surrounding image system 100 includes, in the illustrated example, four cameras 20, 30, 50, 60 positioned on different sides of the vehicle chassis. In the illustrated example, each camera has a FOV of more than 180 degrees.
  • the illustrated vehicle VEH may be any type of vehicle, such as a car, bus, or truck, that performs a driving maneuver that may be assisted by a driver assistance system having an integrated environmental imaging system 100, as shown in FIGS. 2, 6 is shown.
  • the four vehicle cameras 20, 30, 50, 60 are at different
  • Figs. 4 and 7. Side of the vehicle chassis mounted so that four different overlapping areas OAs are visible to the vehicle cameras, as shown in Figs. 4 and 7.
  • Figs. 4 and 7. For example, in the front left corner of the vehicle chassis, there is an overlapping area OA12 of the camera images CI which receive the front camera 20 and the left camera 30 of the surrounding image system 1 of the vehicle VEH.
  • Fig.7 includes the
  • Overlap area OA12 an obstacle.
  • the obstacle in the illustrated example is a wall of a garage into which the driver of the vehicle VEH wishes to maneuver the vehicle VEH.
  • the wall is within the overlap area and extends out of the overlap area.
  • the processing unit determines the image to be prioritized by one of the cameras 20 or 30 for the
  • a computer program or a computer program element is provided, which is characterized in that it is configured to execute the method steps of the method according to one of the preceding embodiments on a suitable system.
  • the computer program element can therefore be stored on a computer unit, which could also be part of an embodiment.
  • This computing unit may be configured to perform the steps of the above
  • the computing unit may be configured to control the components of the apparatus and / or the system described above.
  • the computing unit may be configured to automatically operate and / or execute the commands of a user.
  • a computer program can be loaded into a memory of a data processor.
  • the data processor may thus be configured to perform the method according to one of the preceding embodiments.
  • a computer readable medium such as a CD-ROM
  • the computer readable medium having a computer program element stored thereon.
  • the computer program element was replaced by the previous one

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die vorliegende Erfindung betrifft eine Vorrichtung zur Bereitstellung einer verbesserten Hinderniserkennung. Dabei ist ein Erfassen (210) erster Fahrzeugbilddaten mit einer ersten Kamera (20) enthalten. Die erste Kamera liefert (220) die ersten Fahrzeugbilddaten zu einer Verarbeitungseinheit (40). Weiterhin ist ein Erfassen (230) zweiter Fahrzeugbilddaten mit einer zweiten Kamera (30) enthalten. Es existiert ein Bereich einer Bildüberlappung, wenigstens einen Teil der ersten Fahrzeugbilddaten und wenigstens einen Teil der zweiten Fahrzeugbilddaten aufweist. Die ersten Fahrzeugbilddaten und die zweiten Fahrzeugbilddaten erstrecken sich über eine Grundebene und der Bereich der Bildüberlappung erstreckt sich über einen Überlappungsbereich der Grundebene. Die zweite Kamera liefert (240) die zweiten Fahrzeugbilddaten an die Verarbeitungseinheit. Die Verarbeitungseinheit extrahiert (250) erste Bildmerkmale aus den ersten Fahrzeugbilddaten und die Verarbeitungseinheit extrahiert (260) zweite Bildmerkmale aus den zweiten Fahrzeugbilddaten. Die Verarbeitungseinheit projiziert (270) die ersten Bildmerkmale auf die Grundebene und die Verarbeitungseinheit projiziert (280) die zweiten Bildmerkmale auf die Grundebene. Die Verarbeitungseinheit erzeugt (290) wenigstens ein Umgebungsbild, entweder aufweisend (a) wenigstens einen Teil der ersten Fahrzeugbilddaten, welche dem Überlappungsbereich zugeordnet sind, oder (b) wenigstens einen Teil der zweiten Fahrzeugbilddaten, welche dem Überlappungsbereich zugeordnet sind. Die Erzeugung beruht teilweise auf der Bestimmung von ersten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen, und von zweiten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen.

Description

VORRICHTUNG ZUR BEREITSTELLUNG EINER VERBESSERTEN
HINDERNISERKENNUNG
TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf eine Vorrichtung zur
Bereitstellung einer verbesserten Hinderniserkennung, auf ein System zum Bereitstellen einer verbesserten Hinderniserkennung, auf ein Verfahren zur Bereitstellung einer verbesserten Hinderniserkennung, sowie auf ein Computerprogrammelement.
TECHNISCHER HINTERGRUND
Der allgemeine Hintergrund dieser Erfindung ist das Gebiet der
Fahrerassistenzsysteme. Ein Fahrerassistenzsystem wird in einem Fahrzeug verwendet, um einen Fahrer bei der Durchführung von Fahrmanövern zu unterstützen, insbesondere bei Parkmanövern. Ein herkömmliches Fahrerassistenzsystem kann ein Umgebungsbildsystem aufweisen, welches Kameras hat, die angepasst sind, um Kamerabilder der
Fahrzeugumgebung zu erfassen, um ein Umgebungsbild zu erzeugen. Das erzeugte Umgebungsbild kann während eines Fahrmanövers dem Fahrer auf einem Display angezeigt werden. Mit einem Umgebungsbildsystem kann eine Draufsicht aus mehreren
Kamerabildern erzeugt werden. Das Umgebungsbildsystem kann mehrere Kameras umfassen, wobei benachbarte Kameras ein überlappendes Sichtfeld, FOV, aufweisen können. Herkömmliche Umgebungsbildsysteme führen zu einer schlechten
Hinderniserkennung von Hindernissen in den Überlappungsbereichen und in Bereichen, welche sich in die Überlappungsbereiche erstrecken. Wenn sich Hindernisse in einem Überlappungsbereich befinden und/oder sich in einen Überlappungsbereich hinein erstrecken, sind diese durch ein Umgebungsbildsystem nur schlecht sichtbar. Dies kann zu unzureichenden Sicherheitsfunktionen des Fahrerassistenzsystems mit der vom
Umgebungsbildsystem erzeugten Draufsicht führen.
ZUSAMMENFASSUNG DER ERFINDUNG
Es wäre vorteilhaft eine verbesserte Vorrichtung zur Hinderniserkennung bereitszustellen.
Die Aufgabe der vorliegenden Erfindung wird mit dem Gegenstand der unabhängigen Ansprüche gelöst, wobei weitere Ausführungsformen in den abhängigen Ansprüchen enthalten sind. Es sollte angemerkt werden, dass die folgenden beschriebenen Aspekte und Beispiele der Erfindung auch für die Vorrichtung zum Bereitstellen einer verbesserten Hinderniserkennung, des Systems zum Bereitstellen einer verbesserten Hinderniserkennung, des Verfahrens zum Bereitstellen einer verbesserten
Hinderniserkennung und für das Computerprogrammelement gelten.
Gemäß einem ersten Aspekt wird eine Vorrichtung bereitgestellt, um eine verbesserte Hinderniserkennung bereitzustellen, aufweisend:
eine erste Kamera;
eine zweite Kamera; und
- eine Verarbeitungseinheit.
Die erste Kamera ist konfiguriert, um erste Fahrzeugbilddaten zu erfassen, und die erste Kamera ist konfiguriert, um die ersten Fahrzeugbilddaten an die
Verarbeitungseinheit zu liefern. Die zweite Kamera ist konfiguriert, um zweite
Fahrzeugbilddaten zu erfassen, und die zweite Kamera ist konfiguriert, um die zweiten Fahrzeugbilddaten an die Verarbeitungseinheit zu liefern. Es existiert ein Bereich einer Bildüberlappung, der wenigstens einen Teil der ersten Fahrzeugbilddaten und wenigstens einen Teil der zweiten Fahrzeugbilddaten aufweist. Die ersten Fahrzeugbilddaten und die zweiten Fahrzeugbilddaten erstrecken sich über eine Grundebene und wobei sich der Bereich der Bildüberlappung über einen Überlappungsbereich der Grundebene erstreckt. Die Verarbeitungseinheit ist konfiguriert, um erste Bildmerkmale aus den ersten
Fahrzeugbilddaten zu extrahieren und ist konfiguriert, um zweite Bildmerkmale aus den zweiten Fahrzeugbilddaten zu extrahieren. Die Verarbeitungseinheit ist auch konfiguriert, um die ersten Bildmerkmale auf die Grundebene zu projizieren und ist konfiguriert, um die zweiten Bildmerkmale auf die Grundebene zu projizieren. Die Verarbeitungseinheit ist konfiguriert wenigstens ein Umgebungsbild zu erzeugen, entweder aufweisend (a) wenigstens einen Teil der ersten Fahrzeugbilddaten, welche dem Überlappungsbereich zugeordnet sind, oder (b) wenigstens einen Teil der zweiten Fahrzeugbilddaten, welche dem Überlappungsbereich zugeordnet sind. Die Erzeugung beruht teilweise auf der Bestimmung von ersten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen, und zweiten Bildmerkmalen, deren Projektionen im Überlappungsbereich der
Grundebene liegen.
Mit anderen Worten kann ein Überlappungsbereich eines Umgebungsbildes Bilder von einer von zwei Kameras verwenden, die jeweils diesen Überlappungsbereich sehen, unter Berücksichtigung der von jeder Kamera gesehenen Projektionen eines Objektes, welche in den Überlappungsbereich liegen. Dies ermöglicht, dass die
Kamerabilder für den Überlappungsbereich ausgewählt werden, welche besser mit den individuellen Kamerabildern von jeder Kamera zusammensetzt werden können, um repräsentative Abbildungen von Hindernissen zu liefern.
Anders Ausgedrückt können Bilder, die mehr projizierte Merkmale in einem Bildüberlappungsbereich aufweisen, priorisiert werden.
Auf diese Weise werden Objekte und Hindernisse um ein Auto herum sichtbarer gemacht, und zwar in einem Fahrzeugabbildungssystem mit einem
Umgebungsbild oder einer Draufsicht.
Somit können Merkmale berücksichtigt werden, die innerhalb des
Überlappungsbereichs liegen, deren Projektionen im Überlappungsbereich liegen, und Objekte, die sich außerhalb des Überlappungsbereichs befinden, deren Projektionen jedoch im Überlappungsbereich liegen, können ebenfalls berücksichtigt werden.
In einem Beispiel ist die Verarbeitungseinheit konfiguriert, um eine Anzahl von ersten Bildmerkmalen zu bestimmen, deren Projektionen im Überlappungsbereich der Grundebene liegen und ist konfiguriert, um eine Anzahl von zweiten Bildmerkmalen zu bestimmen, deren Projektionen im Überlappungsbereich der Grundebene liegen. Die Verarbeitungseinheit ist konfiguriert, um das wenigstens eine Umgebungsbild zu erzeugen, dass wenigstens einen Teil der ersten Fahrzeugbilddaten aufweist, welche dem
Überlappungsbereich zugeordnet sind, wenn die Anzahl der ersten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen, größer ist als die Anzahl der zweiten
Bildmerkmale, deren Projektionen im Überlappungsbereich liegen. Die
Verarbeitungseinheit ist auch konfiguriert, um das wenigstens eine Umgebungsbild zu erzeugen, dass wenigstens einen Teil der zweiten Fahrzeugbilddaten aufweist, welche dem
Überlappungsbereich zugeordnet sind, wenn die Anzahl der zweiten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen, größer ist als die Anzahl der ersten
Bildmerkmale, deren Projektionen im Überlappungsbereich liegen.
Mit anderen Worten wird das Bild für den Überlappungsbereich danach bestimmt, welches Bild mehr erkennbare Bildmerkmale, dessen Projektionen der
Bildmerkmale im Überlappungsbereich liegen, aufweist. In einem Beispiel umfasst die Extraktion der ersten Bildmerkmale eine Bestimmung von binären Daten, und die Extraktion der zweiten Bildmerkmale umfasst eine Bestimmung von binären Daten.
Mit anderen Worten führt das Merkmalsextraktionsverfahren zu einem binären Bild, das beispielsweise Einsen haben kann, wo Merkmale detektiert wurden, und Nullen, wo keine Merkmale detektiert wurden. Dies vereinfacht die Bestimmung der Anzahl von Merkmalen, deren Projektionen im Überlappungsbereich liegen, was nur einen Summationsvorgang erfordert.
In einem Beispiel werden die ersten Bildmerkmale entlang Vektoren projiziert, die sich von der ersten Kamera durch die ersten Bildmerkmale zu der Grundebene erstrecken, und die zweiten Bildmerkmale werden entlang Vektoren projiziert, die sich von der zweiten Kamera durch die zweiten Bildmerkmale zu der Grundebene erstrecken.
In einem Beispiel umfasst das wenigstens eine Umgebungsbild die ersten Fahrzeugbilddaten außerhalb des Überlappungsbereichs und umfasst die zweiten
Fahrzeugbilddaten außerhalb des Überlappungsbereichs.
Somit verwendet das Umgebungsbild das geeignete Bild für den Überlappungsbereich und die nicht überlappenden Bilder, um ein Umgebungsbild zur verbesserten Hinderniserkennung um ein Fahrzeug herum bereitzustellen.
In einem Beispiel basiert die Erzeugung des wenigstens einen Umgebungsbildes teilweise auf ersten Bildmerkmalen, die sich im Überlappungsbereich befinden, und auf zweiten Bildmerkmalen, die sich im Überlappungsbereich befinden.
Mit anderen Worten beruhen die für den Überlappungsbereich zu
verwendenden geeigneten Bilddaten nicht nur auf Merkmalen, deren Projektionen im Überlappungsbereich liegen, sondern auch auf Merkmalen, deren Weltkoordinaten innerhalb des Überlappungsbereichs liegen. Somit kann ein Merkmal berücksichtigt werden, das außerhalb des Überlappungsbereichs liegt und dessen Projektionen im
Überlappungsbereich liegen, ebenso wie ein Merkmal, das im Überlappungsbereich liegt und dessen Projektionen zur Grundebene jedoch außerhalb des Überlappungsbereiches liegen. Auf diese Weise können hohe Objekte an der dem Überlappungsbereichs entfernten Seite in geeigneter Weise berücksichtigt werden, wenn die Bilder zum Darstellen des
Überlappungsbereichs ausgewählt werden.
In einem Beispiel ist die Verarbeitungseinheit konfiguriert, eine Anzahl von ersten Bildmerkmalen im Überlappungsbereich zu bestimmen und ist konfiguriert, eine Anzahl von zweiten Bildmerkmalen im Überlappungsbereich zu bestimmen. Die
Verarbeitungseinheit ist auch konfiguriert, das wenigstens eine Umgebungsbild zu erzeugen, das wenigstens einen Teil der ersten Fahrzeugbilddaten umfasst, welche dem Überlappungsbereich zugeordnet sind, wenn die Anzahl der ersten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Zahl von ersten Bildmerkmalen in dem Überlappungsbereich hinzugefügt werden, größer ist als die Anzahl der zweiten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Anzahl von zweiten Bildmerkmalen im Überlappungsbereich hinzugefügt werden. Die
Verarbeitungseinheit ist auch konfiguriert, um das wenigstens eine Umgebungsbild zu erzeugen, das wenigstens einen Teil der zweiten Fahrzeugbilddaten umfasst, welche dem Überlappungsbereich zugeordnet sind, wenn die Anzahl der zweiten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Zahl der zweiten Bildmerkmale in dem Überlappungsbereich hinzugefügt werden, größer ist als die Anzahl der ersten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Anzahl von ersten Bildmerkmalen im Überlappungsbereich hinzugefügt werden.
Gemäß einem zweiten Aspekt wird ein Fahrzeug bereitgestellt, das konfiguriert ist, um eine verbesserten Hinderniserkennung zu schaffen, aufweisend:
- eine Vorrichtung zur Bereitstellung einer verbesserten Hinderniserkennung gemäß dem ersten Aspekt; und
- eine Anzeigeeinheit.
Die Anzeigeeinheit ist konfiguriert, um wenigstens ein Umgebungsbild anzuzeigen.
Gemäß einem dritten Aspekt wird ein Verfahren zum Bereitstellen einer verbesserten Hinderniserkennung bereitgestellt, aufweisend:
a) Erfassen erster Fahrzeugbilddaten mit einer ersten Kamera;
b) Bereitstellen der ersten Fahrzeugbilddaten an eine Verarbeitungseinheit durch die erste Kamera;
c) Erfassen von zweiten Fahrzeugbilddaten mit einer zweiten Kamera, wobei ein Bereich einer Bildüberlappung existiert, der wenigstens einen Teil der ersten
Fahrzeugbilddaten und wenigstens einen Teil der zweiten Fahrzeugbilddaten aufweist, und wobei die ersten Fahrzeugbilddaten und die zweiten Fahrzeugbilddaten sich über eine Grundebene erstrecken und wobei sich der Bereich der Bildüberlappung über einen Überlappungsbereich der Grundebene erstreckt; Bereitstellen der zweiten Fahrzeugbilddaten an die Verarbeitungseinheit
Extrahieren der ersten Bildmerkmale aus den ersten Fahrzeugbilddaten durch f) Extrahieren der zweiten Bildmerkmale aus den zweiten Fahrzeugbilddaten durch die Verarbeitungseinheit;
g) Projizieren der ersten Bildmerkmale auf die Grundebene durch die
Verarbeitungseinheit;
h) Projizieren der zweiten Bildmerkmale auf die Grundebene durch die Verarbeitungseinheit; und
i) Erzeugung von wenigstens einem Umgebungsbild durch die
Verarbeitungseinheit, entweder aufweisend (i-a) wenigstens einen Teil der ersten
Fahrzeugbilddaten, welche dem Überlappungsbereich zugeordnet sind, oder (i-b) wenigstens ein Teil der zweiten Fahrzeugbilddaten, welche dem Überlappungsbereich zugeordnet sind, wobei die Erzeugung teilweise auf einer Bestimmung von ersten
Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen und zweiten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen, beruht.
In einem Beispiel umfasst Schritt g) das Bestimmen, durch die Verarbeitungseinheit, einer Anzahl von ersten Bildmerkmalen, deren Projektionen im
Überlappungsbereich der Grundebene liegen; Und Schritt h) umfasst das Bestimmen, durch die Verarbeitungseinheit, einer Anzahl von zweiten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen; Und Schritt i-a) erfolgt, wenn die Anzahl der ersten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen, größer ist als die Anzahl der zweiten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen; Und Schritt i-b) erfolgt, wenn die Anzahl der zweiten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen, größer ist als die Anzahl der ersten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen.
Gemäß einem anderen Aspekt wird eine
Computerprogrammelement-Steuerungsvorrichtung, wie zuvor beschrieben, bereitgestellt, in welchem das Computerprogrammelement durch eine Verarbeitungseinheit ausgeführt wird, und das geeignet ist, die zuvor beschriebenen Verfahrensschritte auszuführen. Es ist auch ein computerlesbares Medium vorgesehen, dass das zuvor beschriebene Computerprogrammelement gespeichert hat.
Vorteilhafterweise gelten die Vorteile, die durch einen der vorstehenden Aspekte bereitgestellt werden, gleichermaßen für alle anderen Aspekte und umgekehrt.
Die obigen Aspekte und Beispiele werden anhand der nachfolgenden
Ausführungsbeispiele erläutert.
KURZE BESCHREIBUNG DER FIGUREN
Im Folgenden werden Ausführungsformen unter Bezugnahme auf die folgenden Zeichnungen beschrieben:
Fig. 1 zeigt einen schematischen Aufbau eines Beispiels einer Vorrichtung zur Bereitstellung einer verbesserten Hinderniserkennung;
Fig. 2 zeigt einen schematischen Aufbau eines Beispiels eines Systems zur Bereitstellung einer verbesserten Hinderniserkennung;
Fig. 3 zeigt ein Verfahren zur Bereitstellung einer verbesserten
Hinderniserkennung;
Fig. 4 zeigt die Klassifizierung von Regionen um ein Fahrzeug in verschiedene Sektoren;
Fig. 5 zeigt einen schematischen Aufbau eines Beispiels der Projektionen eines Bildmerkmals auf die Grundebene; und
Fig. 6 zeigt einen schematischen Aufbau eines Beispiels eines Systems zur Bereitstellung einer verbesserten Hinderniserkennung; und
Fig. 7 zeigt einen schematischen Aufbau eines Beispiels eines Systems zur Bereitstellung einer verbesserten Hinderniserkennung.
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Fig. 1 zeigt ein Beispiel einer Vorrichtung 10 zur Bereitstellung einer verbesserten Hinderniserkennung. Die Vorrichtung umfasst eine erste Kamera 20, eine zweite Kamera 30 und eine Verarbeitungseinheit 40. Die erste Kamera 20 ist konfiguriert erste Fahrzeugbilddaten zu erfassen, und die erste Kamera 20 ist konfiguriert, die ersten
Fahrzeugbilddaten an die Verarbeitungseinheit zu liefern. Die zweite Kamera 30 ist konfiguriert, zweite Fahrzeugbilddaten zu erfassen, und die zweite Kamera 30 ist konfiguriert, die zweiten Fahrzeugbilddaten an die Verarbeitungseinheit 40 zu liefern. Diese Bereitstellung von Bilddaten kann über drahtgebundene oder drahtlose Kommunikation erfolgen. Es existiert ein Bereich einer Bildüberlappung, der wenigstens einen Teil der ersten Fahrzeugbilddaten und wenigstens einen Teil der zweiten Fahrzeugbilddaten aufweist. Die ersten Fahrzeugbilddaten und die zweiten Fahrzeugbilddaten erstrecken sich über eine Grundebene und der Bereich der Bildüberlappung erstreckt sich über einen Überlappungsbereich der Grundebene. Die Verarbeitungseinheit 40 ist konfiguriert, erste Bildmerkmale aus den ersten Fahrzeugbilddaten zu extrahieren und ist konfiguriert, zweite Bildmerkmale aus den zweiten Fahrzeugbilddaten zu extrahieren. Die Verarbeitungseinheit 40 ist auch konfiguriert, die ersten Bildmerkmale auf die Grundebene zu projizieren und ist konfiguriert, die zweiten Bildmerkmale auf die Grundebene zu projizieren. Die
Verarbeitungseinheit 40 ist konfiguriert, wenigstens ein Umgebungsbild zu erzeugen, entweder aufweisend (a) wenigstens einen Teil der ersten Fahrzeugbilddaten, welche dem Überlappungsbereich zugeordnet sind, oder (b) wenigstens einen Teil der zweiten
Fahrzeugbilddaten, welche dem Überlappungsbereich zugeordnet sind. Die Erzeugung beruht teilweise auf der Bestimmung von ersten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen, und auf zweiten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen.
In einem Beispiel ist die Verarbeitungseinheit konfiguriert, wenigstens ein Umgebungsbild in Echtzeit zu erzeugen.
In einem Beispiel sind die erste und zweite Kamera an verschiedenen Seiten eines Chassis eines Fahrzeugs angebracht.
In einem Beispiel umfasst die Vorrichtung ferner eine dritte Kamera 50 und eine vierte Kamera 60, die konfiguriert sind, um dritte Fahrzeugbilddaten und vierte Fahrzeugbilddaten zu erfassen. Es existiert ein zweiter Bereich einer Bildüberlappung, der wenigstens einen Teil der ersten Fahrzeugbilddaten und wenigstens einen Teil der dritten
Fahrzeugbilddaten aufweist. Es existiert ein dritter Bereich einer Bildüberlappung, der wenigstens einen Teil der zweiten Fahrzeugbilddaten und wenigstens einen Teil der vierten Fahrzeugbilddaten aufweist. Es existiert ein vierter Bereich der Bildüberlappung, der wenigstens einen Teil der dritten Fahrzeugbilddaten und wenigstens einen Teil der vierten Fahrzeugbilddaten aufweist.
In einem Beispiel hat jede der Kameras ein Sichtfeld, welches größer als 180
Grad ist. In einem Beispiel wird ein Radarsensor zusammen mit der ersten Kamera verwendet, um die Entfernung von Objekten, die im Sichtfeld der Kamera abgebildet sind, zu bestimmen. In einem Beispiel wird ein Radarsensor zusammen mit der zweiten Kamera verwendet, um die Entfernung von Objekten, die im Sichtfeld der Kamera abgebildet sind, zu bestimmen. In den Beispielen können Lidar- und / oder Ultraschallsensoren alternativ oder zusätzlich zu den Radarsensoren verwendet werden, um die Entfernungen von Objekten zu bestimmen, die im Sichtfeldern der Kameras abgebildet sind.
Gemäß einem Beispiel ist die Verarbeitungseinheit 40 konfiguriert, eine Anzahl von ersten Bildmerkmalen zu bestimmen, deren Projektionen im
Überlappungsbereich der Grundebene liegen, und ist konfiguriert, eine Anzahl von zweiten Bildmerkmalen zu bestimmen, deren Projektionen im Überlappungsbereich der Grundebene liegen. Die Verarbeitungseinheit 40 ist auch konfiguriert, wenigstens das eine
Umgebungsbild zu erzeugen, das wenigstens einen Teil der ersten Fahrzeugbilddaten aufweist, die dem Überlappungsbereich zugeordnet sind, wenn die Anzahl der ersten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen, größer ist als die Anzahl von zweiten Bildmerkmalen, deren Projektionen im Überlappungsbereich liegen. Die Verarbeitungseinheit 40 ist auch konfiguriert, wenigstens das eine Umgebungsbild zu erzeugen, das wenigstens einen Teil der zweiten Fahrzeugbilddaten aufweist, die dem Überlappungsbereich zugeordnet sind, wenn die Anzahl der zweiten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen, größer ist als die Anzahl der ersten
Bildmerkmale, deren Projektionen im Überlappungsbereich liegen.
In einem Beispiel wird ein Kantenerfassungsalgorithmus verwendet, um erste und zweite Bildmerkmale zu erfassen.
Gemäß einem Beispiel weist das Extrahieren zur Bestimmung der ersten Bildmerkmale binären Daten auf, und das Extrahieren zur Bestimmung der zweiten Bildmerkmale weist binären Daten auf.
Gemäß einem Beispiel werden die ersten Bildmerkmale entlang Vektoren projiziert, die sich von der ersten Kamera 20 durch die ersten Bildmerkmale zu der Grundebene erstrecken und die zweiten Bildmerkmale werden entlang Vektoren projiziert, die sich von der zweiten Kamera 30 durch die zweiten Bildmerkmale zu der Grundebene erstrecken. Gemäß einem Beispiel umfasst das wenigstens eine Umgebungsbild die ersten Fahrzeugbilddaten außerhalb des Überlappungsbereichs und umfasst die zweiten Fahrzeugbilddaten außerhalb des Überlappungsbereichs.
Gemäß einem Beispiel basiert die Erzeugung des wenigstens einen
Umgebungsbildes teilweise auf ersten Bildmerkmalen, welche sich im Überlappungsbereich befinden, und auf zweiten Bildmerkmalen, welche sich im Überlappungsbereich befinden.
Gemäß einem Beispiel ist die Verarbeitungseinheit konfiguriert, um eine Anzahl von ersten Bildmerkmalen im Überlappungsbereich zu bestimmen und ist konfiguriert, um eine Anzahl von zweiten Bildmerkmalen im Überlappungsbereich zu bestimmen. Die Verarbeitungseinheit ist auch konfiguriert, wenigstens das eine
Umgebungsbild zu erzeugen, welches wenigstens einen Teil der ersten Fahrzeugbilddaten aufweist, welche dem Überlappungsbereich zugeordnet sind, wenn die Anzahl der ersten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Anzahl der ersten Bildmerkmale in dem Überlappungsbereich hinzugefügt werden, größer ist als die Anzahl der zweiten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Anzahl der zweiten Bildmerkmale in dem Überlappungsbereich hinzugefügt werden. Die Verarbeitungseinheit ist konfiguriert, wenigstens das eine Umgebungsbild zu erzeugen, welches wenigstens einen Teil der zweiten Fahrzeugbilddaten aufweist, welche dem Überlappungsbereich zugeordnet sind, wenn die Anzahl der zweiten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Anzahl der zweiten Bildmerkmale in dem Überlappungsbereich hinzugefügt werden, größer ist als die Anzahl der ersten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Anzahl der ersten Bildmerkmale in dem Überlappungsbereich hinzugefügt werden.
Fig. 2 zeigt ein Beispiel eines Fahrzeugs 100, das konfiguriert ist, eine verbesserte Hinderniserkennung bereitzustellen. Das Fahrzeug 100 weist eine Vorrichtung
10 zum Bereitstellen einer verbesserten Hinderniserkennung auf, wie sie unter Bezugnahme auf Fig. 1 beschrieben ist. Das Fahrzeug 100 umfasst auch eine Anzeigeeinheit 110. Die Anzeigeeinheit 110 ist konfiguriert, um das wenigstens eine Umgebungsbild anzuzeigen.
Fig. 3 zeigt ein Verfahren 200 zur Bereitstellung einer verbesserten
Hinderniserkennung in seinen grundlegenden Schritten. Das Verfahren 200 weist auf:
In einem Erfassungsschritt 210, der auch als Schritt a) bezeichnet wird, Erfassen erster Fahrzeugbilddaten mit einer ersten Kamera 20; In einem Bereitstellungsschritt 220, der auch als Schritt b) bezeichnet wird, Bereitstellen der ersten Fahrzeugbilddaten an eine Verarbeitungseinheit 40 durch die erste Kamera;
In einem Erfassungsschritt 230, der auch als Schritt c) bezeichnet wird, Erfassen zweiter Fahrzeugbilddaten mit einer zweiten Kamera 30, wobei ein Bereich einer Bildüberlappung existiert, der wenigstens einen Teil der ersten Fahrzeugbilddaten und wenigstens einen Teil des zweiten Fahrzeugbilddaten aufweist und wobei sich die ersten Fahrzeugbilddaten und die zweiten Fahrzeugbilddaten über eine Grundebene erstrecken und wobei sich der Bereich der Bildüberlappung über einen Überlappungsbereich der
Grundebene erstreckt;
In einem Bereitstellungs schritt 240, der auch als Schritt d) bezeichnet wird, Bereitstellen der zweiten Fahrzeugbilddaten an die Verarbeitungseinheit durch die zweite Kamera;
In einem Extraktionsschritt 250, der auch als Schritt e) bezeichnet wird, Extrahieren der ersten Bildmerkmale aus den ersten Fahrzeugbilddaten durch die
Verarbeitungseinheit;
In einem Extraktionsschritt 260, der auch als Schritt f) bezeichnet wird, Extrahieren der zweiten Bildmerkmale aus den zweiten Fahrzeugbilddaten durch die Verarbeitungseinheit;
In einem Projektionsschritt 270, der auch als Schritt g) bezeichnet wird,
Projizieren der ersten Bildmerkmale auf die Grundebene durch die Verarbeitungseinheit;
In einem Projektionsschritt 280, der auch als Schritt h) bezeichnet wird, Projizieren der zweiten Bildmerkmale auf die Grundebene durch die Verarbeitungseinheit; und
In einem Erzeugungsschritt 290, der auch als Schritt i) bezeichnet wird,
Erzeugung wenigstens eines Umgebungsbilds durch die Verarbeitungseinheit, entweder aufweisend (i-a) wenigstens einen Teil der ersten Fahrzeugbilddaten, welche dem
Überlappungsbereich zugeordnet sind, oder (i-b) wenigstens einen Teil der zweiten Fahrzeugbilddaten, welche dem Überlappungsbereich zugeordnet sind, wobei die
Erzeugung teilweise auf einer Bestimmung von ersten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen und zweiten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen, beruht. Gemäß einem Beispiel umfasst Schritt g) das Ermitteln 272 durch die Verarbeitungseinheit eine Anzahl von ersten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen. In diesem Beispiel umfasst Schritt h) das Ermitteln 282 durch die Verarbeitungseinheit eine Anzahl von zweiten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen. In diesem Beispiel gilt Schritt i-a), wenn die Anzahl der ersten Bildmerkmale, deren Projektionen im
Überlappungsbereich liegen, größer ist als die Anzahl der zweiten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen. In diesem Beispiel gilt Schritt i-b), wenn die Anzahl der zweiten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen, größer ist als die Anzahl der ersten Bildmerkmale, deren Projektionen im
Überlappungsbereich liegen.
In einem Beispiel umfasst Schritt e) das Bestimmen 252 von binären Daten, und Schritt f) umfasst das Bestimmen 262 von binären Daten.
In einem Beispiel umfasst Schritt g) das Projizieren 274 von ersten
Bildmerkmalen entlang von Vektoren, die sich von der ersten Kamera 20 durch die ersten Bildmerkmale zu der Grundebene erstrecken. In diesem Beispiel umfasst der Schritt h) das Projizieren 284 von zweiten Bildmerkmalen entlang von Vektoren, die sich von der zweiten Kamera 30 durch die zweiten Bildmerkmale zu der Grundebene erstrecken.
In einem Beispiel umfasst Schritt i) das Erzeugen des wenigstens einen Umgebungsbildes teilweise basierend auf den ersten Bildmerkmalen, die sich im
Überlappungsbereich befinden, und auf den zweiten Bildmerkmalen, die sich im
Überlappungsbereich befinden.
In einem Beispiel weist das Verfahren das Bestimmen einer Anzahl von ersten Bildmerkmalen im Überlappungsbereich und das Bestimmen einer Anzahl von zweiten Bildmerkmalen im Überlappungsbereich auf. In diesem Beispiel erfolgt Schritt i-a), wenn die Anzahl der ersten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Anzahl der ersten Bildmerkmale im Überlappungsbereich hinzugefügt werden, größer ist als die Anzahl der zweiten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Anzahl der zweiten Bildmerkmale im
Überlappungsbereich hinzugefügt werden. In diesem Beispiel erfolgt Schritt i-b), wenn die
Anzahl der zweiten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen, zu der Anzahl der zweiten Bildmerkmale im Überlappungsbereich hinzugefügt werden, größer ist als die Anzahl der ersten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Anzahl der ersten Bildmerkmale im Überlappungsbereich hinzugefügt werden.
Beispiele der Vorrichtung, des Systems und des Verfahrens zur Bereitstellung einer verbesserten Hinderniserkennung werden nun in Verbindung mit den Fig. 4-7 beschrieben.
In einem Umgebungsbildsystem wird die Draufsicht aus mehreren
Kamerabildern erzeugt. Aufgrund der überlappenden Bereiche zwischen jedem Paar von Kameras kann die Draufsicht von einer der beiden Kameras in diesen Bereichen zusammengefügt werden, was zu einer Hindernis-Unsichtbarkeit führen kann. Somit kann der derzeitige Stand der Technik in dem kamerabasierten Fahrerassistenzsystem zu unzureichende Sicherheit führen. Die gegenwärtig beschriebene Vorrichtung, das System und das Verfahren zum Bereitstellen einer verbesserten Hinderniserkennung adressiert dieses Problem durch Priorisieren der Bilder von einer der beiden Kameras in Bezug auf den Überlappungsbereich, aus welchem die Draufsicht zusammengefügt wird.
Ein detaillierter Arbeitsablauf des Betriebs, des Betriebs der Vorrichtung und des Systems und zur Bereitstellung einer verbesserten Hinderniserkennung wird nun in Verbindung mit den Fig. 4-5 beschrieben.
i. Die Knoten in den fence-Daten sind in Weltkoordinaten dargestellt. Die verschiedenen Bereiche der Draufsicht werden in Sektoren unterteilt, wie in Fig. 4 gezeigt ist.
ii. Jeder Knoten oder jedes Merkmal, wie eine erkannte Kante, in den fence-Daten wird in einen der Sektoren in Bezug auf seine Position in Weltkoordinaten kategorisiert. Mit anderen Worten, Bildmerkmale wie Kanten werden erfasst oder extrahiert und werden in die Regionen, in denen sie sich befinden, klassifiziert.
iii. Die Knoten in Sektoren - vorne, hinten, rechts und links werden in Bezug auf die
vordere, hintere, rechte und linke Kameraposition zu der Grundebene projiziert, wie in
Fig. 5 gezeigt.
iv. Die Knoten in den überlappenden Sektoren werden zweimal mit Bezug auf zwei
Kameras der überlappenden Bereiche zur Grundebene projiziert. Beispielsweise wird der Knoten in dem vorderen rechten Überlappungsbereich zweimal bezüglich der rechten und der vorderen Kamera auf die Grundebene projiziert. Somit ergibt jeder
Knoten im überlappenden Bereich zwei Ausgangspunkte in dem fence-Prozess.
v. Alle projizierten Punkte werden wiederum in einen der Sektoren bezüglich ihrer
Position in Weltkoordinaten kategorisiert (d.h. Schritt ii wird für die projizierten Punkte wiederholt). Dies ist die Ausgabe des fence-Prozesses für adaptive
Überlappungsbereiche,
vi. Also hat jeder überlappende Sektor zwei Sätze von Ausgangsknoten. Die Kamera, die mehr Ausgangsknoten im überlappenden Bereich erzeugt, erhält eine höhere Priorität. Zum Beispiel - Wenn die Ausgabe des fence-Prozesses im vorderen rechten überlappenden Sektor mehr projizierte Knoten von der vorderen Kamera aufweist, werden die vorderen Kamerabilddaten im überlappenden Bereich höher priorisiert.
Beispiele für detaillierte Beispiele von Systemen zur Bereitstellung einer verbesserten Hinderniserkennung werden nun mit Bezug auf die Fig. 6-7 beschrieben.
Fig. 6 zeigt ein detailliertes Beispiel eines Umgebungsbildsystems 100, wie in Fig. 2 beschrieben. Das System 100 umfasst wenigstens ein Kamerapaar, das durch zwei Kameras 20, 30 mit überlappenden Sichtfeldern FOV gebildet wird, die angepasst sind, um Kamerabilder CI mit einem Überlappungsbereich OA zu erzeugen, wie in Fig. 6 dargestellt. In diesem Beispiel ist das Kamerapaar nach vorne gerichtet, könnten jedoch mit ihren optischen Achsen rechtwinklig zueinander ausgerichtet sein, wie in Fig. 7 gezeigt ist. Das Sichtfeld FOV jeder Kamera 20, 30 kann mehr als 180 Grad betragen. Die Kameras 20, 30 können mit sogenannte Fischaugen-Linsen versehen sein, die an einem Chassis eines Fahrzeugs angebracht sind.
Die Kameras 20, 30 sind mit einer Verarbeitungseinheit 40 verbunden, die wenigstens einen Mikroprozessor aufweisen kann. Die Verarbeitungseinheit 40 ist konfiguriert, die Umgebungsbilder einschließlich überlappender Bereiche OAs in Bezug auf jede Kamera zu berechnen. Die Verarbeitungseinheit extrahiert Merkmale aus den Bildern und projiziert diese auf die Grundebene, wie in Fig. 5 gezeigt. Je nachdem, ob die von der Kamera 20 gesehene Anzahl von auf die Grundebene projizierten Merkmalen, die sich in einem Überlappungsbereich OA befinden, größer ist als die von der Kamera 30 gesehene
Anzahl von auf die Grundebene projizierten Merkmale, die sich im Überlappungsbereich OA befinden, wird beim Zusammenfügen des Umgebungsbildes entweder dem durch Kamera 20 oder 30 aufgenommenen Kamerabild CI Priorität eingeräumt, abhängig davon welches die größere zugeordnete Anzahl von projizierten Merkmalen in der OA aufweist. Die Bilder können vorübergehend in einem Pufferspeicher der Verarbeitungseinheit 40 gespeichert werden. Die Verarbeitungseinheit kann als Teil des
Merkmalsextraktionsprozesses ein binäres Bild erzeugen, in dem Merkmale wie Kanten in einem Bild als Einsen dargestellt werden und andere Teile des Bildes als Nullen dargestellt werden.
In Fig. 6 erzeugt die erste Kamera 20 des Kamerapaares ein erstes
Kamerabild CI1 und die zweite Kamera 30 des Kamerapaares ein zweites Kamerabild CI2. Die Verarbeitungseinheit 40 berechnet Bilder einer Draufsicht für die
Überlappungsbereiche in Bezug auf jede Kamera. Die Verarbeitungseinheit 40 umfasst einen Kantendetektor oder Merkmalsdetektor, der geeignet ist, Kanten oder Merkmale für alle Bilder zu berechnen, die gegebenenfalls als zwei binäre Bilder BI bereitgestellt werden können. Die Verarbeitungseinheit 40 umfasst einen Projektor, der detektierte oder extrahierte Merkmale aus den Bildern von der Position der Kamera durch das Merkmal auf die Grundebene projiziert, wie in Fig. 5 gezeigt. Die Verarbeitungseinheit summiert anschließend die Anzahl der Merkmale, die von jeder Kamera auf die Grundebene projiziert wurden, und verwendet diese Informationen, um die Bilder der jeweiligen Kamera zu priorisieren, welche für das Zusammenfügen des Bildes für den Überlappungsbereich verwendet werden. Die Anzahl der angepassten Kameras zur Erfassung der Kamerabilder CI kann variieren.
Fig. 7 zeigt im Detail ein Fahrzeug mit einem detaillierten Beispiel eines Umgebungsbildsystems 100, wie es in Fig. 2 und Fig. 6 beschrieben ist. Das Fahrzeug VEH mit dem Umgebungsbildsystem 100, beinhaltet in dem dargestellten Beispiel vier Kameras 20, 30, 50, 60, die an verschiedenen Seiten des Fahrzeugchassis positioniert sind. In dem dargestellten Beispiel umfasst jede Kamera ein Sichtfeld FOV von mehr als 180 Grad. Das dargestellte Fahrzeug VEH kann jede Art von Fahrzeug sein, wie ein Auto, ein Bus oder ein Lastkraftwagen, der ein Fahrmanöver durchführt, welches durch ein Fahrerassistenzsystem unterstützt werden kann, das ein integriertes Umgebungsbildsystem 100 aufweist, wie es in den Fig. 2, 6 dargestellt ist. Die vier Fahrzeugkameras 20, 30, 50, 60 sind an verschiedenen
Seiten des Fahrzeugchassis montiert, sodass vier verschiedene Überlappungsbereiche OAs für die Fahrzeugkameras sichtbar sind, wie in den Fig. 4 und 7 gezeigt. Zum Beispiel, befindet sich in der vorderen linken Ecke des Fahrzeugchassis ein Überlappungsbereich OA12 der Kamerabilder CI, welche die Frontkamera 20 und die linken Kamera 30 des Umgebungsbildsystems 1 des Fahrzeugs VEH aufnehmen. In Fig.7 umfasst der
Überlappungsbereich OA12 ein Hindernis. Das Hindernis ist in dem dargestellten Beispiel eine Wand einer Garage, in die der Fahrer des Fahrzeugs VEH das Fahrzeug VEH manövrieren möchte. Die Wand ist innerhalb des Überlappungsbereichs und erstreckt sich aus dem Überlappungsbereich heraus. Die Verarbeitungseinheit, wie oben beschrieben, bestimmt das zu priorisierende Bild, von einer der Kameras 20 oder 30 für das
Zusammenfügen des Umgebungsbildes, basierend auf der Anzahl von Merkmalen, die auf die Grundebene projiziert werden, die sich im Überlappungsbereich für jede Kamera befinden. Auf diese Weise wird eine bessere Bildgebung für Objekte bereitgestellt, die innerhalb des Überlappungsbereichs sind und sich in den Überlappungsbereich hinein erstrecken und die Sichtbarkeit von Objekten und Hindernissen für das Umgebungsbild wird verbessert.
In einer anderen beispielhaften Ausführungsform ist ein Computerprogramm oder ein Computerprogrammelement vorgesehen, dass dadurch gekennzeichnet ist, dass es konfiguriert ist, die Verfahrensschritte des Verfahrens gemäß einer der vorhergehenden Ausführungsformen auf einem geeigneten System auszuführen.
Das Computerprogrammelement kann daher auf einer Rechnereinheit gespeichert sein, die auch Teil einer Ausführungsform sein könnte. Diese Rechnereinheit kann konfiguriert sein, um die Durchführung der Schritte des oben beschriebenen
Verfahrens auszuführen oder zu veranlassen. Darüber hinaus kann die Recheneinheit konfiguriert sein, die Komponenten der oben beschriebenen Vorrichtung und / oder des Systems zu steuern. Die Recheneinheit kann konfiguriert sein, dass sie automatisch arbeitet und / oder die Befehle eines Benutzers ausführt. Ein Computerprogramm kann in einen Arbeitsspeicher eines Datenprozessors geladen werden. Der Datenprozessor kann somit ausgestaltet sein, das Verfahren gemäß einer der vorhergehenden Ausführungsformen durchzuführen.
Gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung wird ein computerlesbares Medium, wie beispielsweise eine CD-ROM, bereitgestellt, wobei das computerlesbare Medium ein Computerprogrammelement aufweist, das auf diesem gespeichert ist. Das Computerprogrammelement wurde durch den vorhergehenden
Abschnitt beschrieben.
Es ist zu beachten, dass Ausführungsformen der Erfindung unter Bezugnahme auf verschiedene Gegenstände beschrieben werden. Insbesondere werden einige Ausführungsformen unter Bezugnahme auf Verfahrensansprüche beschrieben, während andere Aus führungs formen unter Bezugnahme auf Vorrichtungsansprüche beschrieben werden. Der Fachmann wird jedoch aus der vorhergehenden und aus der nachfolgenden Beschreibung entnehmen, dass, außer etwas Anderes ist angegeben, zusätzlich zu einer beliebigen Kombination von Merkmalen eines Gegenstands, auch eine beliebige Kombination von Merkmalen verschiedener Gegenstände durch diese Anmeldung offenbart ist. Es können jedoch durch die Kombination aller Merkmale synergetische Effekte auftreten, die mehr sind als die einfache Summe ihrer Merkmale.
Während die Erfindung in den Zeichnungen und der vorgehenden
Beschreibung detailliert dargestellt und beschrieben wurde, ist eine solche Darstellung und Beschreibung als veranschaulichend oder beispielhaft und nicht einschränkend zu betrachten. Die Erfindung ist nicht auf die offenbarten Ausführungsformen beschränkt. Andere Variationen der offenbarten Ausführungsformen können von Fachleuten beim Verwenden einer beanspruchten Erfindung aus einem Studium der Zeichnungen, der Offenbarung und der abhängigen Ansprüche verstanden und bewirkt werden.
In den Ansprüchen schließt das Wort "aufweisend" andere Elemente oder Schritte nicht aus, und der unbestimmte Artikel "ein" oder "eine" schließt eine Mehrzahl nicht aus. Ein einzelner Prozessor oder eine andere Einheit kann die Funktionen von mehreren in den Ansprüchen wiedergegebenen Punkten erfüllen. Die bloße Tatsache, dass gewisse Maßnahmen in gegenseitig verschiedenen abhängigen Ansprüchen wiedergegeben werden, zeigt nicht, dass eine Kombination dieser Maßnahmen nicht vorteilhaft genutzt werden kann. Alle Bezugszeichen in den Ansprüchen sollten nicht als den Umfang einschränkend ausgelegt werden.

Claims

Patentansprüche
1. Vorrichtung (10) zur Bereitstellung einer verbesserten Hinderniserkennung, aufweisend:
eine erste Kamera (20);
eine zweite Kamera (30); und
eine Verarbeitungseinheit (40);
wobei die erste Kamera konfiguriert ist, erste Fahrzeugbilddaten zu erfassen, und die erste Kamera ist konfiguriert, die ersten Fahrzeugbilddaten an die
Verarbeitungseinheit zu liefern;
wobei die zweite Kamera konfiguriert ist, zweite Fahrzeugbilddaten zu erfassen, und die zweite Kamera ist konfiguriert, die zweiten Fahrzeugbilddaten an die Verarbeitungseinheit zu liefern;
wobei ein Bereich einer Bildüberlappung existiert, der wenigstens einen Teil der ersten Fahrzeugbilddaten und wenigstens einen Teil der zweiten Fahrzeugbilddaten aufweist;
wobei sich die ersten Fahrzeugbilddaten und die zweiten Fahrzeugbilddaten über eine Grundebene erstrecken und wobei sich der Bereich der Bildüberlappung über einen Überlappungsbereich der Grundebene erstreckt;
wobei die Verarbeitungseinheit konfiguriert ist, um erste Bildmerkmale aus den ersten Fahrzeugbilddaten zu extrahieren, und konfiguriert ist, um zweite Bildmerkmale aus den zweiten Fahrzeugbilddaten zu extrahieren;
wobei die Verarbeitungseinheit konfiguriert ist, die ersten Bildmerkmale auf die Grundebene zu projizieren, und konfiguriert ist, die zweiten Bildmerkmale auf die Grundebene projiziert; und
wobei die Verarbeitungseinheit konfiguriert ist, wenigstens ein Umgebungsbild zu erzeugen, entweder aufweisend (a) wenigstens einen Teil der ersten Fahrzeugbilddaten, welche dem Überlappungsbereich zugeordnet sind oder (b) wenigstens einen Teil der zweiten Fahrzeugbilddaten, welche dem Überlappungsbereich zugeordnet sind, wobei die Erzeugung teilweise auf einer Bestimmung von ersten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen und von zweiten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen, beruht.
2. Vorrichtung gemäß Anspruch 1, wobei die Verarbeitungseinheit (40) konfiguriert ist, eine Anzahl von ersten Bildmerkmalen zu bestimmen, deren Projektionen im Überlappungsbereich der Grundebene liegen und konfiguriert ist, eine Anzahl von zweiten Bildmerkmalen zu bestimmen, deren Projektionen im Überlappungsbereich der Grundebene liegen;
wobei die Verarbeitungseinheit konfiguriert ist, wenigstens das eine
Umgebungsbild zu erzeugen, welches wenigstens einen Teil der ersten Fahrzeugbilddaten aufweist, welche dem Überlappungsbereich zugeordnet sind, wenn die Anzahl der ersten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen, größer ist als die Anzahl von zweiten Bildmerkmalen, deren Projektionen im Überlappungsbereich liegen; und
wobei die Verarbeitungseinheit konfiguriert ist, wenigstens das eine
Umgebungsbild zu erzeugen, welches wenigstens einen Teil der zweiten Fahrzeugbilddaten aufweist, welche dem Überlappungsbereich zugeordnet sind, wenn die Anzahl der zweiten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen, größer ist als die Anzahl der ersten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen.
3. Vorrichtung gemäß einem der Ansprüche 1 bis 2, wobei die Extraktion der ersten Bildmerkmale eine Bestimmung von binären Daten aufweist, und wobei die
Extraktion der zweiten Bildmerkmale eine Bestimmung von binären Daten aufweist.
4. Vorrichtung gemäß einem der Ansprüche 1 bis 3, wobei die ersten
Bildmerkmale entlang Vektoren projiziert werden, die sich von der ersten Kamera (20) durch die ersten Bildmerkmale zu der Grundebene erstrecken und wobei die zweiten Bildmerkmale entlang von Vektoren projiziert werden, die sich von der zweiten Kamera
(30) durch die zweiten Bildmerkmale zur Grundebene erstrecken.
5. Vorrichtung gemäß einem der Ansprüche 1 bis 4, wobei wenigstens das eine Umgebungsbild die ersten Fahrzeugbilddaten außerhalb des Überlappungsbereichs aufweist und die zweiten Fahrzeugbilddaten außerhalb des Überlappungsbereichs aufweist.
6. Vorrichtung gemäß einem der Ansprüche 1 bis 5, wobei die Erzeugung wenigstens des einen Umgebungsbildes teilweise auf ersten Bildmerkmalen, die in dem Überlappungsbereich sind und auf zweiten Bildmerkmalen, die in dem
Überlappungsbereich sind, beruht.
7. Vorrichtung gemäß Anspruch 6, wobei die Verarbeitungseinheit konfiguriert ist, eine Anzahl von ersten Bildmerkmalen im Überlappungsbereich zu bestimmen und konfiguriert ist, eine Anzahl von zweiten Bildmerkmalen im Überlappungsbereich zu bestimmen;
wobei die Verarbeitungseinheit konfiguriert ist, wenigstens das eine
Umgebungsbild zu erzeugen, welches wenigstens einen Teil der ersten Fahrzeugbilddaten aufweist, welche dem Überlappungsbereich zugeordnet sind, wenn die Anzahl der ersten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Anzahl der ersten Bildmerkmale in dem Überlappungsbereich hinzugefügt werden, größer ist als die Anzahl der zweiten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Anzahl der zweiten Bildmerkmale in dem Überlappungsbereich hinzugefügt werden; und
wobei die Verarbeitungseinheit konfiguriert ist, wenigstens das eine
Umgebungsbild zu erzeugen, welches wenigstens einen Teil der zweiten Fahrzeugbilddaten aufweist, welche dem Überlappungsbereich zugeordnet sind, wenn die Anzahl der zweiten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zur der Anzahl der zweiten Bildmerkmale in dem Überlappungsbereich hinzugefügt werden, größer ist als die Anzahl der ersten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Anzahl der ersten Bildmerkmalen in dem Überlappungsbereich hinzugefügt werden.
8. Fahrzeug (100), das konfiguriert ist, eine verbesserte Hinderniserkennung bereitzustellen, aufweisend:
- eine Vorrichtung (10) zum Bereitstellen einer verbesserten Hinderniserkennung gemäß einem der vorhergehenden Ansprüche; und
- eine Anzeigeeinheit (1 10);
wobei die Anzeigeeinheit konfiguriert ist, wenigstens das eine Umgebungsbild anzuzeigen.
Verfahren zur verbesserten Hinderniserkennung, aufweisend:
Erfassen (210) erster Fahrzeugbilddaten mit einer ersten Kamera (20); b) Bereitstellen (220) der ersten Fahrzeugbilddaten an eine
Verarbeitungseinheit (40) durch die erste Kamera;
c) Erfassen (230) zweiter Fahrzeugbilddaten mit einer zweiten Kamera (30), wobei ein Bereich einer Bildüberlappung vorhanden ist, der wenigstens einen Teil der ersten Fahrzeugbilddaten und wenigstens einen Teil der zweiten Fahrzeugbilddaten aufweist, und wobei die ersten Fahrzeugbilddaten und die zweiten Fahrzeugbilddaten sich über eine Grundebene erstrecken und wobei sich der Bereich der Bildüberlappung über einen Überlappungsbereich der Grundebene erstreckt;
d) Bereitstellen (240) der zweiten Fahrzeugbilddaten an die
Verarbeitungseinheit durch die zweite Kamera;
e) Extrahieren (250) der ersten Bildmerkmale aus den ersten Fahrzeugbilddaten durch die Verarbeitungseinheit;
f) Extrahieren (260) der zweiten Bildmerkmale aus den zweiten
Fahrzeugbilddaten durch die Verarbeitungseinheit;
g) Projizieren (270) der ersten Bildmerkmale auf die Grundebene durch die
Verarbeitungseinheit;
h) Projizieren (280) der zweiten Bildmerkmale auf die Grundebene durch die Verarbeitungseinheit; und
i) Erzeugen (290) wenigstens eines Umgebungsbildes durch die
Verarbeitungseinheit, entweder aufweisend (i-a) wenigstens einen Teil der ersten
Fahrzeugbilddaten, welche dem Überlappungsbereich zugeordnet sind, oder (i-b) wenigstens einen Teil der zweiten Fahrzeugbilddaten, welche dem Überlappungsbereich zugeordnet sind, wobei die Erzeugung teilweise auf einer Bestimmung von ersten
Bildmerkmalen beruht, deren Projektionen im Überlappungsbereich der Grundebene liegen und auf zweiten Bildmerkmalen beruht, deren Projektionen im Überlappungsbereich der
Grundebene liegen.
10. Verfahren gemäß Anspruch 9, wobei Schritt g) aufweist, das Erfassen (272) einer Anzahl von ersten Bildmerkmalen durch die Verarbeitungseinheit, deren Projektionen im Überlappungsbereich der Grundebene liegen; und Schritt h) aufweist, das Bestimmen
(282) einer Anzahl von zweiten Bildmerkmalen durch die Verarbeitungseinheit, deren Projektionen im Überlappungsbereich der Grundebene liegen; und wobei Schritt i-a) erfolgt, wenn die Anzahl der ersten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen, größer ist als die Anzahl der zweiten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen; und wobei der Schritt i-b) erfolgt, wenn die Anzahl der zweiten Bildmerkmale, deren Projektionen im
Überlappungsbereich liegen, größer ist als die Anzahl der ersten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen.
1 1. Computerprogrammelement zur Steuerung einer Vorrichtung gemäß einem der Ansprüche 1 bis 7 und / oder eines Fahrzeugs gemäß Anspruch 8, das bei Ausführung durch einen Prozessor ausgeführt ist, das Verfahren gemäß einem der Ansprüche 9 oder 10 durchzuführen.
PCT/DE2017/200129 2016-12-15 2017-12-06 Vorrichtung zur bereitstellung einer verbesserten hinderniserkennung WO2018108215A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17829121.7A EP3555808A1 (de) 2016-12-15 2017-12-06 Vorrichtung zur bereitstellung einer verbesserten hinderniserkennung
US16/468,093 US10824884B2 (en) 2016-12-15 2017-12-06 Device for providing improved obstacle identification
DE112017005010.3T DE112017005010A5 (de) 2016-12-15 2017-12-06 Vorrichtung zur bereitstellung einer verbesserten hinderniserkennung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016225073.6 2016-12-15
DE102016225073.6A DE102016225073A1 (de) 2016-12-15 2016-12-15 Vorrichtung zur bereitstellung einer verbesserten hinderniserkennung

Publications (1)

Publication Number Publication Date
WO2018108215A1 true WO2018108215A1 (de) 2018-06-21

Family

ID=60971881

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2017/200129 WO2018108215A1 (de) 2016-12-15 2017-12-06 Vorrichtung zur bereitstellung einer verbesserten hinderniserkennung

Country Status (4)

Country Link
US (1) US10824884B2 (de)
EP (1) EP3555808A1 (de)
DE (2) DE102016225073A1 (de)
WO (1) WO2018108215A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11011063B2 (en) * 2018-11-16 2021-05-18 Toyota Motor North America, Inc. Distributed data collection and processing among vehicle convoy members

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080043113A1 (en) * 2006-08-21 2008-02-21 Sanyo Electric Co., Ltd. Image processor and visual field support device
EP2437494A1 (de) * 2009-05-25 2012-04-04 Panasonic Corporation Vorrichtung zur überwachung der umgebung rund um ein fahrzeug
WO2015146230A1 (ja) * 2014-03-27 2015-10-01 クラリオン株式会社 映像表示装置および映像表示システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4297501B2 (ja) * 2004-08-11 2009-07-15 国立大学法人東京工業大学 移動体周辺監視装置
JP4328692B2 (ja) * 2004-08-11 2009-09-09 国立大学法人東京工業大学 物体検出装置
DE102006003538B3 (de) 2006-01-24 2007-07-19 Daimlerchrysler Ag Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
US20100020170A1 (en) * 2008-07-24 2010-01-28 Higgins-Luthman Michael J Vehicle Imaging System
DE102012215026A1 (de) 2012-08-23 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
US10179543B2 (en) * 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
US10127463B2 (en) * 2014-11-21 2018-11-13 Magna Electronics Inc. Vehicle vision system with multiple cameras
DE102015204213B4 (de) * 2015-03-10 2023-07-06 Robert Bosch Gmbh Verfahren zum Zusammensetzen von zwei Bildern einer Fahrzeugumgebung eines Fahrzeuges und entsprechende Vorrichtung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080043113A1 (en) * 2006-08-21 2008-02-21 Sanyo Electric Co., Ltd. Image processor and visual field support device
EP2437494A1 (de) * 2009-05-25 2012-04-04 Panasonic Corporation Vorrichtung zur überwachung der umgebung rund um ein fahrzeug
WO2015146230A1 (ja) * 2014-03-27 2015-10-01 クラリオン株式会社 映像表示装置および映像表示システム
US20170006234A1 (en) * 2014-03-27 2017-01-05 Clarion Co., Ltd. Image display device and image display system

Also Published As

Publication number Publication date
DE102016225073A1 (de) 2018-06-21
EP3555808A1 (de) 2019-10-23
US20200074191A1 (en) 2020-03-05
US10824884B2 (en) 2020-11-03
DE112017005010A5 (de) 2019-07-04

Similar Documents

Publication Publication Date Title
EP3328686B1 (de) Verfahren und vorrichtung zum anzeigen einer umgebungsszene eines fahrzeuggespanns
DE102014222617B4 (de) Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem
EP3292510B1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnreflexionen
DE102013205882A1 (de) Verfahren und Vorrichtung zum Führen eines Fahrzeugs im Umfeld eines Objekts
DE102015105248A1 (de) Erzeugen eines bildes von der umgebung eines gelenkfahrzeugs
EP3281178A1 (de) Verfahren zur darstellung einer fahrzeugumgebung eines fahrzeuges
DE112016001150T5 (de) Schätzung extrinsischer kameraparameter anhand von bildlinien
EP3308361B1 (de) Verfahren zur erzeugung eines virtuellen bildes einer fahrzeugumgebung
EP2888715B1 (de) Verfahren und vorrichtung zum betreiben eines fahrzeugs
EP3117399B1 (de) Verfahren zum zusammenfügen von einzelbildern, die von einem kamerasystem aus unterschiedlichen positionen aufgenommen wurden, zu einem gemeinsamen bild
EP2562681B1 (de) Objektverfolgungsverfahren für ein Kamerabasiertes Fahrerassistenzsystem
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
DE102016124747A1 (de) Erkennen eines erhabenen Objekts anhand perspektivischer Bilder
DE102019132996A1 (de) Schätzen einer dreidimensionalen Position eines Objekts
EP2996327B1 (de) Surround-view-system für fahrzeuge mit anbaugeräten
DE102008050809A1 (de) Lichtstreifendetektionsverfahren zur Innennavigation und Parkassistenzvorrichtung unter Verwendung desselben
WO2018108215A1 (de) Vorrichtung zur bereitstellung einer verbesserten hinderniserkennung
DE102014007565A1 (de) Verfahren zum Ermitteln einer jeweiligen Grenze zumindest eines Objekts, Sensorvorrichtung, Fahrerassistenzeinrichtung und Kraftfahrzeug
DE102014201409A1 (de) Parkplatz - trackinggerät und verfahren desselben
EP3476696A1 (de) Verfahren zum ermitteln von objektgrenzen eines objekts in einem aussenbereich eines kraftfahrzeugs sowie steuervorrichtung und kraftfahrzeug
DE102017104957A1 (de) Verfahren zum Bestimmen einer Bewegung von zueinander korrespondierenden Bildpunkten in einer Bildsequenz aus einem Umgebungsbereich eines Kraftfahrzeugs, Auswerteeinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102020003465A1 (de) Verfahren zur Detektion von Objekten in monokularen RGB-Bildern
EP3465608B1 (de) Verfahren und vorrichtung zum bestimmen eines übergangs zwischen zwei anzeigebildern, und fahrzeug
DE102020107949A1 (de) Sichtfeldunterstützungsbild-Erzeugungsvorrichtung und Bildumwandlungsverfahren
DE102022112318B3 (de) Verfahren zur Ermittlung einer Ausdehnungsinformation eines Zielobjekts, Kraftfahrzeug, Computerprogramm und elektronisch lesbarer Datenträger

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17829121

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112017005010

Country of ref document: DE

ENP Entry into the national phase

Ref document number: 2017829121

Country of ref document: EP

Effective date: 20190715