WO2017198429A1 - Ermittlung von fahrzeugumgebungsdaten - Google Patents

Ermittlung von fahrzeugumgebungsdaten Download PDF

Info

Publication number
WO2017198429A1
WO2017198429A1 PCT/EP2017/059878 EP2017059878W WO2017198429A1 WO 2017198429 A1 WO2017198429 A1 WO 2017198429A1 EP 2017059878 W EP2017059878 W EP 2017059878W WO 2017198429 A1 WO2017198429 A1 WO 2017198429A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
data
environment
background data
peripheral
Prior art date
Application number
PCT/EP2017/059878
Other languages
English (en)
French (fr)
Inventor
Alexander Augst
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2017198429A1 publication Critical patent/WO2017198429A1/de
Priority to US16/193,981 priority Critical patent/US20190100141A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Definitions

  • the present invention relates to a method for determining data representing a part of the environment below a vehicle.
  • environmental data are to be determined which represent an area of the surroundings of the vehicle that is currently under the vehicle.
  • Numerous camera systems for vehicles are known from the prior art. These include in particular a rear-view camera or laterally mounted cameras. Different images can be generated from the raw data of the cameras, for example a view of the rear area of the vehicle or a bird's-eye view of a virtual view.
  • a camera is known from the prior art, which detects a terrain under the vehicle.
  • such cameras have the disadvantage that they are not or only partially operational due to contamination during operation of the vehicle.
  • a camera below the vehicle has a very unfavorable detection angle and thus a very unfavorable detection perspective of a three-dimensional structure of the terrain. For these reasons, an image of such a camera is hardly usable.
  • the problem is solved by the features of the independent claims.
  • the dependent claims have preferred developments of the invention to the content.
  • Environment data of a vehicle having the following steps. First, a collection of environmental data takes place.
  • the environment data represent at least a part of the environment of the vehicle.
  • the detection of environmental data is advantageously carried out by means of at least one environment sensor of the vehicle. Due to the environmental sensor of the vehicle is at least a certain part of
  • the Environment at least partially cacheable.
  • the environment data may include sequential measurements or a continuous data stream.
  • the positions of specific pixels from the environment data are assigned to specific position information.
  • a position information can be assigned to each pixel or groups of pixels from the surrounding data, or only certain pixels can be provided with position information, so that position information can be determined for each other pixel by means of extrapolation.
  • pixel groups of 10x10 pixels to 20x30 pixels can be determined, each of which is assigned to a position value.
  • the position parameter is a position-dependent variable, which changes in particular in the case of local movements of the vehicle in accordance with the change in position, for example during forward travel, reverse travel, transverse movement, rotation of the vehicle.
  • the position parameter may represent an absolute, in particular global position and / or a relative, in particular local, position of the vehicle.
  • the positional parameter may relate in particular to the position of one or more relate to several specific parts of the vehicle relative to its surroundings.
  • the position parameter may refer to the current and / or near future, for example, 0.3 to 30 seconds relating position of the vehicle.
  • the position parameter preferably represents a vehicle position in
  • a positional parameter may be, for example, a vector, a concatenation of the vectors and / or in a, in particular local coordinate system, e.g. in a cylindrical
  • Position parameters one or more, in particular relative, angle values.
  • the vehicle background data from the environment data can be determined such that the position information of the environment data with the current position of the vehicle
  • the tolerance value preferably ensures that the
  • the vehicle background data may be a summary of a plurality of such data representing an area of the surroundings of the vehicle that is at least partially covered by the vehicle.
  • vehicle background data provision is made of the vehicle background data and / or output of the vehicle background data, in particular for display on a display device. Furthermore, the determined vehicle background data for further processing in the vehicle, for example for a
  • Vehicle function which includes a situation interpretation provided. Furthermore, the determined vehicle background data can be provided to a computing unit outside the vehicle, in particular to a backend or to a mobile application device of the user.
  • User equipment includes in particular a display device for output a representation depending on the provided vehicle background data.
  • a mobile user device can be, for example, a smartphone, tablet, so-called data glasses or analogous developments of such devices.
  • One or more described steps of the method are preferably carried out cyclically, in particular several times per second, wherein data representing an image sequence representing the vehicle background data is provided and / or output.
  • Vehicle background data and / or output the vehicle background data depending on the current position information of the vehicle may be dependent on the change in the position information.
  • the method in particular for parking operations, maneuvering or for driving on uneven terrain parts
  • Off road area can be applied with at least one wheel.
  • Uneven terrain parts may also be parts of an unpaved
  • a determination of a movement parameter also takes place.
  • the motion parameter represents a movement of the vehicle. It is provided in particular that the movement parameter is a resulting movement of the vehicle,
  • the motion parameters may be recorded odometric data. This includes in particular a history of several maneuvering movements of the vehicle.
  • the recorded odometric data are advantageously determined from wheel sensors and / or steering wheel sensors.
  • the motion parameters turn off
  • a predicted future movement of the vehicle is detected as a movement parameter.
  • the movement parameter can in particular be a history of one or more complex movements, eg maneuvering movements of the
  • the movement parameter or the underlying odometric data are advantageously determined from wheel sensors and / or steering wheel sensors and / or steering angle sensors.
  • a mathematical vehicle model e.g. a specially developed Ackermann model can be considered.
  • at least one rotation of the vehicle about at least one vertical axis or two vertical axes especially in vehicles that have a
  • determining the motion parameter may include reading out motion data from a, e.g. for this purpose and / or for a different purpose created data interface.
  • the movement parameter is a variable that depends on the movement of the vehicle.
  • the movement parameter may relate in particular to the movement of one or more specific parts of the vehicle relative to its surroundings.
  • the movement parameter may be an absolute movement of the vehicle and / or a relative, in particular local, movement of the vehicle.
  • Motion parameters a vehicle movement in relation to a specific part of the environment.
  • a motion parameter can be expressed, for example, as a vector, a concatenation of the vectors and / or in an especially local coordinate system, for example in a cylindrical coordinate system.
  • the movement parameter represents the movement of at least two wheels of the vehicle, wherein the movement of the wheels can be detected in particular by means of wheel sensors.
  • a determination of environment data for a first environment area is carried out from the acquired environment data.
  • the first environment region represents a section from the environment of the vehicle, which will be due to the movement data with a predefined probability value in future under the vehicle.
  • the movement data is preferably extrapolated, whereby areas can be extracted from the environment data, each one
  • Probability value can be assigned, with which the vehicle is run over this area. If the probability value exceeds a defined limit, the corresponding range becomes the first
  • the vehicle background data are then determined from the rideover data.
  • the environment data for the first area of the environment are also called transit data below.
  • the method may include determining a probability value that represents the probability that a certain part of the environment will in future be covered by the vehicle.
  • a variable can be determined which indicates that a certain surrounding area has one, a certain value
  • Movement parameter and / or a position parameter of the vehicle is determined that a certain environmental area with a, exceeding a certain value, future probability of the
  • Vehicle can be the position of the vehicle contour.
  • the overlap relates to a part of the environment of the contour of the vehicle, or is limited by a projection of the vehicle contour on the terrain.
  • Vehicle background data is provided for data representing an area of the environment of the vehicle that is currently under the vehicle.
  • no underbody camera of the vehicle is needed to visualize the area under the vehicle can. Therefore, a driver of the vehicle can be displayed a high-quality image of the environment below his vehicle, which facilitates in particular parking operations or driving on uneven plugs.
  • the method comprises the following steps.
  • peripheral data is determined, wherein the
  • Peripheral data represents a section of the environment that is currently not under the vehicle.
  • the peripheral data is such data representing an environment and / or obstacles beside, in front of or behind the vehicle.
  • the peripheral data are obtained in real time and thus need not be cached.
  • the peripheral data are preferably data that has been or will be detected by means of an environmental sensor system of the vehicle.
  • the environment sensor is advantageously an imaging sensor or a
  • the peripheral data can also be from the
  • peripheral data and vehicle background data Will the When combined data is displayed on a display device, the driver of the vehicle is provided with a comprehensive picture of the surroundings of his vehicle. This image includes not only a representation of the area below the vehicle but also a representation of detected obstacles next to, in front of and behind his vehicle. Should the peripheral data have been detected by means of imaging sensors, then the driver of the vehicle can be shown a complete picture of the environment, as if the vehicle were not present.
  • the merging of the peripheral data and the vehicle background data comprises a temporal and / or spatial merging. It is particularly advantageous that the merging, in particular a determination of a geometric relation between
  • Transformation of the peripheral data and / or the vehicle background data based on the geometric relation includes.
  • Merging comprises in particular a comparison of
  • Acquisition time can thus determine peripheral data and environment data that are synchronized in time.
  • the geometric relation is advantageously determined as a function of the movement data.
  • environmental data and peripheral data can be recorded at different vehicle speeds. For this reason, the peripheral data and the
  • Vehicle background data determined from the environmental data based on the geometric relation, geometrically transformed to spatially map the peripheral data and the vehicle background data
  • the geometric relation is preferably one
  • Mapping function between the 3D data from the environment and data to be 2D subfloor data or corresponding 2D image data. Furthermore it can Geometric relation is a mapping function from 2D data to 2D data, 3D data to 3D data, or 2D to 3D data.
  • the geometric relation can give different results depending on a local position of a region. That the mapping function may map a different geometric relation depending on a position of the mapped terrain area. This geometric relation or the mapping function can be a rule for changing the mapping function
  • selected parts of the stored environment data are read out from a memory of the vehicle, the parts of the environment data to be read being selected depending on the detected motion data, applying a mapping function wherein sub-floor data relating to a particular vehicle position is determined, and providing the sub-floor data (with respect to a particular vehicle position) and / or outputting the underbody data on one
  • the temporal merging comprises, in particular, a comparison of acquisition times of the peripheral data and the environment data from which the subfloor data has been determined. On the basis of the detection time, it is thus possible to determine peripheral data and environment data which are synchronized in time.
  • the method may comprise a step for determining and / or detecting a temporal mapping function, which represents determining the pixel values of the subfloor data for a specific frame of the display from one or more pixel values of the surrounding data from one or more further time intervals.
  • the merging of the peripheral data and the vehicle background data particularly advantageously comprises a recognition and / or Identifying and / or associating textures and / or immovable objects in the peripheral data and / or vehicle background data.
  • the peripheral data and vehicle background data are homogenized on the basis of the textures and / or immovable objects.
  • a relative speed of the textures and / or immovable objects in the peripheral data and the vehicle background data is determined for this purpose. Since such a relative speed in both the peripheral data and in the
  • Vehicle background data must be identical, a rule can be derived for homogenizing the peripheral data and vehicle background data.
  • the peripheral data and the vehicle background data are to be homogenized in such a way that textures and / or immovable objects in both the peripheral data and the vehicle background data are always present at the same location and move at the same relative speed.
  • the vehicle background data are output together with wheel information, in particular with a current orientation and / or a current position and / or a predicted position of the wheel of the vehicle, in particular based on the movement data.
  • the at least one wheel is in particular a front wheel or a rear wheel of the vehicle.
  • the position and / or orientation of the illustrated wheel in particular a trajectory of the wheel, which is advantageously predicted from the motion data by extrapolation, represented. In this way, the driver of the vehicle is in particular a relation between the wheels of his
  • a display of the vehicle background data and / or the merged vehicle background data and peripheral data on a display device takes place when a predefined event occurs.
  • the predefined event is, in particular, driving on an uneven track and / or approaching an obstacle and / or a
  • Exceeding predefined vertical dynamic influences on the Vehicle In the case of the predefined event, it is helpful for the driver of the vehicle to obtain additional information about the environment below his vehicle. Thus, the display of the vehicle background data or the merged vehicle background data and peripheral data only takes place if this can also provide useful information. Without the predefined event, the display of the vehicle ground data or the merged vehicle ground data and peripheral data is redundant information that does not provide added value to the driver of the vehicle while requiring many resources.
  • representing the vehicle background data is controlled, in particular depending: is represented by the perspective relationship in which another part of the representation, and / or a recognized danger spot with respect to a part of the vehicle, in particular with respect to at least one wheel of the vehicle.
  • a model image of the own vehicle (in a matching perspective) is inserted in the image.
  • the images for the first part of the terrain can also be subjected to an analogous procedure, so to speak, "retrospectively”.
  • the adaptation of the perspective relationship can preferably be carried out in the method depending on the position in the environment and / or on the vehicle, which is affected by the determined risk. In this case, one can strive for improved (early) perception of a potential danger by the driver by adapting the corresponding perspective ratio in one or more steps. Particular preference is given to a stepwise, in particular continuously variable
  • the perspective of the images from the first part of the terrain or also the perspective of other parts of the representation may be varied, e.g. a perspective to a better one
  • the images of the vehicle underbody data and / or the images of the peripheral data is adapted at least in a border region of the two display parts, in particular such that the border region of the display of
  • the geometric transformation e.g. Scaling, plugging, stretching, deforming, e.g. trapezoidal, stitching, as well as a change in the virtual perspective include.
  • the environmental image representing a vehicle occupied area of the environment and an area of the environment outside of the area occupied by the vehicle within a representation
  • Display device shown in a "matching" scale and / or perspective relationship.
  • a part of the surroundings of the vehicle which is located outside the area occupied by the vehicle in the vicinity of the contour of the vehicle is generated from the vehicle background data, wherein an adaptation of geometrical and / or perspective parameters of the vehicle background data and / or Peripheral data is done that the Textures of the vehicle background data are displayed matching the textures of the peripheral data. In doing so, an essentially "textures-genuine" transition is to be created.
  • the representation also comprises at least one graphic representing the dimensions of the vehicle, in particular a contour of the vehicle, at least symbolically, the graphic preferably defining the boundary between the parts of the display to the vehicle background data and the parts of the displays for represents the peripheral data.
  • the representation of the vehicle background data comprises a less reliable (as a rule outdated by a few seconds) information in comparison to the representation of the peripheral data.
  • the environment data are advantageously generated by means of at least one camera and / or by means of at least one sensor for scanning the surroundings of the vehicle.
  • the at least one camera is advantageously an SD camera system.
  • the environment data are combined from the data of the camera and the at least one sensor for scanning the environment.
  • the at least one sensor is advantageously a distance sensor, in particular an infrared sensor, a laser sensor, or an ultrasonic sensor.
  • the environmental data When acquiring the environmental data, it is advantageously provided that a continuous acquisition takes place. In an alternative embodiment, detection need not necessarily be continuous. In this way, several environmental data can be captured that represent individual areas of the environment. It is provided that the multiple environment data are merged according to their spatial position information. Should the multiple environment data represent overlapping areas, that is, should the environment data at least partially represent the same area of the environment of the vehicle, it is advantageously provided that the most recent data is always stored while the older data is deleted.
  • the position information may in particular be a
  • the position information advantageously comprises at least two distance information or at least one distance information and at least one angle information. Through this information, every point in the environment of the vehicle is clearly describable.
  • positions of the vehicle which are predicted for a near future.
  • the predicted positions of the vehicle can advantageously be determined on the basis of the motion parameter. In this way, a, in particular technical, delayed output of a presentation of the vehicle background data on a display device of the vehicle can be compensated.
  • Allocation of environmental data to the vehicle allows.
  • an area below the vehicle can be displayed very accurately.
  • the movement parameter is extracted from the determined positions of the vehicle.
  • no additional sensors for determining the movement data of the vehicle are needed.
  • the movement parameter is a resulting movement of the vehicle, in particular of a plurality of successive movements of the vehicle.
  • the motion parameter may be from the recorded odometric data, e.g. a history of several shunting movements of the vehicle, e.g. be determined during a maneuvering of several Rangiermann. That the current odometrical data and the odometric data recorded in the near past can be taken into account in the procedure.
  • the odometric data e.g. from wheel sensors,
  • Steering wheel sensors are determined. Movement data can also be determined depending on the operating procedures of the vehicle (steering wheel sensor forward, back). Movement parameters may also be particularly dependent on the sensory detection of the vehicle environment done, for example, also depending on the data of the same camera. Depending on a movement of the objects or textures in the sensor data, a relative
  • Movement of the vehicle can be determined. Particular preference is also given to the movement data predicted for the near future. Thus, the (technically caused) slightly delayed output of the display on the display device of the vehicle can be compensated. Also, the (technically caused) slightly delayed output of the display on the display device of the vehicle can be compensated. Also, the (technically caused) slightly delayed output of the display on the display device of the vehicle can be compensated. Also, the (technically caused) slightly delayed output of the display on the display device of the vehicle can be compensated. Also, the
  • Selection of the vehicle background data is determined depending on the predicted motion parameter (e.g., for the next few seconds). Also, motion parameters may e.g. depending on (precisely determined)
  • Coordinates or coordinate change and / or orientation of the vehicle or change the orientation of the vehicle can be determined.
  • Ambient image representing a first part of the environment currently occupied by the vehicle and a second part of the environment currently outside the area occupied by the vehicle, preferably being output within a display.
  • the driver in the end result
  • Results much better orientation, objective and subjective
  • vehicle background data are determined from images of a camera and / or a sensor for detecting or measuring objects or the terrain relief.
  • the first data may comprise at least camera images AND further sensory, in particular interpreted, information on objects or terrain relief.
  • the method can be applied to these together or separately. This can result in a presentation that offers different or complementary information to the driver.
  • the invention relates to a computer program product.
  • Computer program product includes a machine-readable code with
  • control unit can be used in particular in a vehicle.
  • the invention relates to a device for a vehicle, wherein the device comprises at least one control device, which is in particular designed to run the computer program product described above.
  • the device is advantageously set up before
  • the device and the computer program product have the same or analogous advantages of the described method.
  • the invention relates to a vehicle which comprises a device as described above or is set up to operate such a device.
  • the vehicle may also be a watercraft, underwater vehicle or aerospace vehicle, the method being applied analogously.
  • FIG. 1 shows a first schematic illustration of a vehicle according to a
  • FIG. 1 is a second schematic illustration of the vehicle according to the embodiment of the invention in carrying out the method according to the embodiment of the invention.
  • FIG. 1 shows a vehicle 1 according to an embodiment of the invention.
  • the vehicle 1 comprises a device 2 comprising a control unit.
  • the device 2 the method according to an embodiment of the invention can be executed.
  • the device 2 in this example, the control unit is connected to a camera 3, so that data between the camera 3 and the control unit are interchangeable.
  • the device 2 is connected to wheel sensors, not shown, of the vehicle 1.
  • the control unit is enabled to provide multiple motion parameters, which in this example
  • the device 2 allows environment data 4 of the vehicle 1 to detect, which is done by means of the camera 3.
  • the camera 3 may in particular be an infrared camera, a time-of-flight camera, or an imaging camera.
  • a laser scanner, an ultrasonic sensor system or a radar sensor system can be used in particular.
  • the environment data 4 can be generated either by the camera 3 alone or by combining data from the camera 3 with data from other sensors, as mentioned above. Should the
  • Environment data are composed of data from multiple sensors, this depends in particular on a degree of agreement between the terrain parts represented by the respective data, the data quality of the data sections, the detection perspective of each environment by the corresponding sensor and the age of the respective data.
  • the environment data 4 are detected by the camera 3 in the exemplary embodiment shown. From the environment data 4 override data are determined.
  • the override data correspond to surrounding data for a first surrounding area 5 from the surroundings of the vehicle 1, the vehicle 1 being the first
  • the vehicle performs a straight-ahead, so that it can be assumed that areas in front of the vehicle 1 will lie under the vehicle 1 in the future. In this way, the crossing data from the environment data 4 are determined. The remaining environment data 4 need not be cached and can thus be deleted. Only the transit data are advantageously in the control unit. 2
  • no override data is determined and instead the environment data 4
  • Position information is assigned to the crossing data.
  • Positional information is, in particular, information that is relative to the vehicle or relative to a reference point of the environment.
  • each pixel position within an image of the camera 3 is assigned a relative to the vehicle 1 position of the region of the environment represented by the respective pixel.
  • the control unit 2 is also set up, a current position of the
  • the movement data are extracted from the determined positions of the vehicle.
  • no additional sensors for determining the movement data of the vehicle are needed.
  • the movement data are recorded odometric data.
  • the movement data are advantageously determined as a function of operating processes of the vehicle 1 by a driver.
  • the movement data are advantageously determined based on a steering wheel sensor in a direction of movement of the vehicle.
  • the movement data are determined by sensory detection of the surroundings of the vehicle 1.
  • the movement data can be determined analogously to the surrounding data, advantageously from the data of the camera 3. Particularly preferred are also predicted for a near future
  • the movement data depends on precisely determined coordinates or coordinate changes and / or an orientation of the vehicle or a change in the orientation of the
  • FIG. 2 shows how current vehicle background data 6 of the vehicle 1 is determined.
  • vehicle ground data 6 are determined from the override data, this being done on the basis of the position information and the current position of the vehicle 1.
  • vehicle background data can be obtained from the rideover data, i. determine from the environment data for the first environment area, such that the position information of the first environment area 5 with the current position of the vehicle 1 within a predefined tolerance value match.
  • the tolerance value in particular represents a dimension of the vehicle 1, so that the vehicle background data 6 represent at least a region of the surroundings of the vehicle 1 over which the vehicle 1 is currently located.
  • FIG. 1 is a summary of all such data representing an area of the surroundings of the vehicle 1 completely covered by the vehicle 1.
  • the vehicle background data 6 are advantageously connected to a
  • a suitable geometric transformation takes place in order to show the driver the vehicle background data 6 from a suitable perspective, in particular from a bird's-eye view.
  • Allocation of environmental data to the vehicle allows.
  • an area below the vehicle can be displayed very accurately.
  • the image of the camera 3 is used to display the vehicle background data 6, this image is converted, in particular, into a suitable perspective.
  • a model image of the vehicle 1 is inserted into the display in a representation that fits the perspective.
  • the conversion of the perspective is preferably carried out by geometric transformations, in particular scaling, stretching, stretching, deforming, advantageously trapezoidal, stitching, as well as changing the virtual perspective.
  • the display of the vehicle background data 6 is advantageously carried out only when a predefined event occurs.
  • the predefined event is driving on an uneven road, approaching an obstacle or terrain curvature, overshooting predefined vertical dynamic influences on the vehicle, or detecting a driver's operating action corresponding to a predefined one
  • Such an operating pattern may in particular be the preparation of a parking maneuver, a maneuvering maneuver or a turning maneuver. Only when the predefined event occurs is the vehicle background data 6 displayed on the display device, so that the driver of the vehicle is provided with an image of the environment below his vehicle only if this is also required. This avoids unnecessary information that would be annoying to the driver. At the same time, it ensures that the information is available when it is of great help to the driver.
  • a tire position and / or an orientation of the tires of the vehicle 1 can preferably be displayed on the display device.
  • either front wheels and / or rear wheels can be represented.
  • peripheral data 7 of the vehicle 1 are preferably acquired.
  • the peripheral data 7 can be detected by means of the camera 3.
  • the peripheral data 7 can advantageously be obtained from the environment data 4.
  • the peripheral data 7 represent an area of the surroundings of the vehicle 1 that is currently not below the
  • Vehicle 1 is located.
  • the peripheral data are acquired in real time so that they always represent areas that are currently in front of and / or next to and / or behind the vehicle 1.
  • the peripheral data 7 can be detected with the same and / or with different sensors as the environment data 4.
  • the merging of the peripheral data 7 and the vehicle background data 6 obtained from the environment data 4 takes place
  • the merged data are shown in particular on the display device to the driver of the vehicle 1.
  • the merged data can be provided to a user's mobile user device (set up for this purpose) and outputted (displayed) to the display or output device of the mobile user device (not shown here).
  • the merged data may be provided to a vehicle function including, for example, situation interpretation.
  • the driver has a comprehensive picture of the environment available, which also visualizes areas next to the vehicle 1 and areas next to the vehicle 1.
  • a geometric relation between the peripheral data 7 and the vehicle background data 6 is determined.
  • this geometric relation is in particular a geometric
  • the merged vehicle background data 6 and peripheral data 7 are preferably output in a representation.
  • a driver of the vehicle 1 can in particular see a dangerous curb for the vehicle in several sections on different paths.
  • the driver of the vehicle 1 sees the curb in a first way directly through the windshield. If a side camera of the vehicle 1 is present, the curb is in a second way by a current image of
  • the curb is represented in a third way by the merged vehicle background data 6 and peripheral data 7. This results in an improved orientation for the driver of the vehicle 1 and thus an improved objective and subjective safety. This allows an improved parking of the vehicle 1 in a parking space without imminent danger of collision with a curb.
  • the vehicle background data 6 are environment data 4 which were acquired when the areas of the environment represented by the surroundings data were located in front of and / or next to and / or behind the vehicle 1 and were classified as relevant on the basis of the movement data.
  • border areas 8 are determined from the surroundings data 4 by the transit data and / or the vehicle background data 6, which advantageously overlap with the peripheral data 7. It is provided that the boundary data 8 when merging
  • Vehicle background data 6 and peripheral data 7 such with the
  • Peripheral data 7 are superimposed that a uniform display can be done.
  • the boundary data 8 serves as a transition zone between
  • the environment data 4 are detected by several sensors at the same time.
  • the environment data 4 are detected by the camera 3.
  • the environment data 4 are additionally detected by distance sensors (not shown) of the vehicle 1.
  • Vehicle both graphically displayed as well as spatially measured.
  • the driver of the vehicle 1 can display additional information.
  • the driver of the vehicle 1 is thus an orientation aid available, which is an aid for the operation of the vehicle 1 in particular when maneuvering the vehicle 1 and when driving on uneven roads.
  • the driver By displaying the area below the vehicle 1, the driver is better able to recognize and avoid imminent collisions of the vehicle 1 with an obstacle. Thus, both the objective and the subjective safety of the vehicle 1 is increased.
  • the method can be carried out in a very favorable manner, since only a small part of the recorded environment data, namely the transit data, has to be stored for the representation of the area below the vehicle.
  • the resulting display visible to the driver or user can be automatically integrated in a three-dimensional, so-called top view or surround view or other driver assistance systems.
  • the method can also provide a basis for displaying augmented graphics in the
  • the driver is shown the current position and / or orientation of his own tires within the image.
  • these are augmented or integrated into the representation (in the virtual video) at the corresponding locations.
  • the tires can be at least partially partially transparent (partially transparent) or represented as contours, so that they do not hide as much as possible payload of the presentation.
  • A1 Method for displaying a terrain area under a vehicle for the driver of a vehicle, in which:
  • the data of the environmental sensor (eg front sensors, eg camera) of the vehicle for a specific part of the environment are first, eg
  • the data for the first part of the representation can preferably be camera images or an already completely assembled environment image which is generated in a manner known per se (with the cameras in the currently known arrangement on the vehicle). In this method, this is to the
  • Position information linked i. assigned to certain areas of the terrain in the vicinity of the vehicle.
  • the first data in the second step of the method
  • the positions of specific pixels in the image are assigned to specific position values (relative to the vehicle). The positions of the pixels for
  • the first data can thereby be generated from data of different vehicle sensors (for example front camera of the vehicle, lateral mirror cameras, etc.), in particular combined.
  • vehicle sensors for example front camera of the vehicle, lateral mirror cameras, etc.
  • the first data can thus be composed of data from different sensors, depending on: degree of agreement between the terrain parts represented in the respective data and the probable future positions or movement data of the vehicle, data quality of the vehicle Data sections, acquisition perspective of the respective terrain part, - age of the respective data or data sections, etc.
  • the first data can be obtained from data from perceptive sensors: camera, infrared camera, TOF sensor (time-of-flight), laser scanner, ultrasonic sensor, radar sensor.
  • perceptive sensors camera, infrared camera, TOF sensor (time-of-flight), laser scanner, ultrasonic sensor, radar sensor.
  • Method according to aspect A1 also comprising assigning the first data that have been determined at different times to each other or to a position information in the environment of the vehicle.
  • a continuous image sequence does not necessarily have to be recorded. It can e.g. multiple frames from one or more cameras are selected and stitched to each other and / or to specific coordinate points. It results almost a carpet of pictures, which is "rolled out” a few seconds later when driving the first part of the terrain there.
  • Image areas are transferred to the assigned data (selectively).
  • the position information is an absolute and / or relative position of specific points of the first terrain part in the surroundings of the vehicle.
  • this may be position information about the following type of information for one or more locations of the terrain part:
  • Position information and its association with a plurality of the data portions of the first data are also predicted for the near future
  • the (technically caused) slightly delayed output of the display on the display device of the vehicle can be compensated.
  • the selection of the first data may depend on the predicted position data (e.g., for the next
  • Terrain part that is not currently occupied by the vehicle at present or in the near future, and merging the first and second data depending on the position of the vehicle in relation to the first terrain part and the second terrain part.
  • the data for a second part of the representation may include the environmental image outside the vehicle-occupied area of data from at least two sensors, e.g. Be cameras. These may e.g. correspond to the known top view representation; These do not have to be delayed or delayed
  • Merge at least one environmental image from the area occupied by the vehicle and an area not occupied by the vehicle.
  • the relative positions can be determined in particular by means of wheel sensors of the vehicle and / or an environmental sensing sensor of the vehicle.
  • the data for the resulting movement relate in particular to the time interval between the generation and outputting of the first data.
  • A6. Method according to one of the preceding aspects, wherein data is generated on a second part of the representation, representing a second terrain part in the environment of the vehicle that is not occupied by the vehicle, and merging of the first and the second data, depending on the position and / or movement, in particular of
  • Relative movement of textures or immovable objects in the first data and / or in the second data are determined.
  • the frames from the first data representing the first part of the environment can be retrieved depending on the times at which a match of the position or movement of textures of the environment with the second data representing the second part of
  • such a, in particular variable temporal offset between the first data and the second data, in particular between the individual images from the first data can be generated, that a relative movement of a stationary object or a standing texture in the display in the first part of the representation and in second part of the representation takes place to each other.
  • the second data need not necessarily be displayed; These can also serve only for orientation and a temporal assignment of the images from the first data!
  • the first predetermined condition may be dependent on the data of a navigation system and / or the vehicle sensor system, in particular
  • Inertialsensorik camera sensors or vertical dynamics sensors are determined. Also, an operating element can be read.
  • the second predetermined condition may be determined depending on the sensory detection of terrain curvature.
  • the two predetermined conditions are quite important in this invention, because in many other use cases, generating such a display would be a rather annoying, redundant information that also eats the computational resources.
  • the terrain curvatures may e.g. Curbs, potholes, vaults (also waves), immovable objects lying on the site, etc.
  • An essential feature of the result is a representation of data from a near past and a graphic (e.g.
  • Rear tire e.g. with respect to a terrain artifact, e.g. Curb stands AND as a probable spatial relation in a given
  • a method of displaying a terrain area under a vehicle comprising: generating data on a first portion of the representation to a first terrain portion that will be under the vehicle in the near future; Generating data on a second part of the representation representing a second terrain part in the vicinity of the vehicle that is not occupied by the vehicle; a combination of displaying a portion of the data and presenting the second data on a display such that the first terrain portion and the second terrain portion are displayed in a predefined spatial relationship at multiple points in time.
  • Data on a first part of the representation is generated at a first terrain part that will be under the vehicle in the near future;
  • the outputting of the first data may have a, in particular predefined, time offset for outputting the second data.
  • the merging may be based on the display times and / or on the geometric adaptation of the first part of the image and the second part of the image to each other. Say: that at least one
  • Merging may include associating the image edges of the substantially contiguous first portion of the representation and a second portion of the representation
  • Representation include. This can also be configured in a similar manner to a "stitching" of two individual photos when producing a panoramic image.
  • a combination of an environmental image representing a vehicle-occupied area of the environment and an area of the environment outside the vehicle-occupied area is preferably output (displayed) within a display device;
  • the displayed representation preferably comprises at least one graphic which represents one or more dimensions of the vehicle, in this example a symbolic contour of the vehicle as a line.
  • this graphic separates the parts of the display that represent the first terrain part and the second terrain part.
  • dimensions of the vehicle may be represented as a spatially-appearing entity mating with one or more shapes of the vehicle.
  • the driver can clearly distinguish which obstacles under the vehicle floor and which are not allowed.
  • the two predetermined conditions are quite important in this invention, because in many other use cases, generating such a display would be a rather annoying, redundant information that also eats the computational resources.
  • Vertical dynamics sensors and / or inertial sensors of the vehicle detect a relatively strong influence, e.g. a significantly changed (uneven) force on at least one wheel of the vehicle and / or a rolling or pitching of the vehicle.
  • Predetermined Condition 4 Recognizing an operator action of the driver, in particular an operating pattern, in which, in particular, an intended parking or maneuvering, or turning maneuver can be assumed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Mechanical Engineering (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Ermittlung von Daten, die eine Umgebung unterhalb eines Fahrzeugs (1) repräsentieren, gekennzeichnet durch die Schritte: Erfassen von Umfelddaten (4), die zumindest einen Teil der Umgebung des Fahrzeugs (1) repräsentieren, Zuordnen von Positionsinformationen zu den Umfelddaten (4), Bestimmen eines Positionsparameters des Fahrzeugs (1), Bestimmen von Fahrzeuguntergrunddaten (6) aus den Umfelddaten (4), deren Positionsinformationen mit dem Positionsparameter des Fahrzeugs (1) übereinstimmen, sodass die Fahrzeuguntergrunddaten (6) einen Bereich der Umgebung des Fahrzeugs (1) repräsentieren, über dem sich das Fahrzeug (1) aktuell befindet, und Bereitstellen der Fahrzeuguntergrunddaten (6) und/oder Ausgeben der Fahrzeuguntergrunddaten (6).

Description

ERMITTLUNG VON FAHRZEUGUMGEBUNGSDATEN
Beschreibung
Die vorliegende Erfindung betrifft ein Verfahren zur Ermittlung von Daten, die einen Teil der Umgebung unterhalb eines Fahrzeugs repräsentieren.
Insbesondere sollen Umfelddaten ermittelt werden, die einen Bereich der Umgebung des Fahrzeugs repräsentieren, der aktuell unter dem Fahrzeug liegt.
Aus dem Stand der Technik sind zahlreiche Kamerasysteme für Fahrzeuge bekannt. Diese umfassen insbesondere eine Rückfahrkamera oder seitlich angebrachte Kameras. Aus den Rohdaten der Kameras können unterschiedliche Bilder erzeugt werden, beispielsweise eine Ansicht des rückwärtigen Bereichs des Fahrzeugs oder eine virtuelle Ansicht aus der Vogelperspektive.
Ebenso ist aus dem Stand der Technik eine Kamera bekannt, die ein Gelände unter dem Fahrzeug erfasst. Allerdings haben solche Kameras den Nachteil, dass diese aufgrund von Verschmutzungen während des Betriebs des Fahrzeugs nicht oder nur beschränkt einsatzfähig sind.
Abgesehen von der Verschmutzungsproblematik weist eine Kamera unterhalb des Fahrzeugs einen sehr ungünstigen Erfassungswinkel und somit eine sehr ungünstige Erfassungsperspektive eines dreidimensionalen Gebildes des Geländes auf. Aus diesen Gründen ist ein Bild einer solchen Kamera kaum verwertbar.
Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zur Ermittlung von eine Umgebung eines Fahrzeugs repräsentierenden Daten bereitzustellen, das bei einfacher und kostengünstiger Anwendung eine verbesserte Ermittlung von Umfelddaten eines Fahrzeugs, insbesondere von Umfelddaten, die Bereiche unterhalb des Fahrzeugs repräsentieren ermöglicht. Gelöst wird die Aufgabe durch die Merkmale der unabhängigen Ansprüche. Die abhängigen Ansprüche haben bevorzugte Weiterbildungen der Erfindung zum Inhalt.
Somit wird die Aufgabe gelöst durch ein Verfahren zur Darstellung von
Umfelddaten eines Fahrzeugs, das die folgenden Schritte aufweist. Zunächst erfolgt ein Erfassen von Umfelddaten. Die Umfelddaten repräsentieren zumindest einen Teil der Umgebung des Fahrzeugs. Das Erfassen von Umfelddaten erfolgt vorteilhafterweise mittels zumindest einer Umfeldsensorik des Fahrzeugs. Durch die Umfeldsensorik des Fahrzeugs ist zumindest ein bestimmter Teil der
Umgebung zumindest abschnittsweise zwischenspeicherbar. Dabei können die Umfelddaten sequentielle Messungen oder einen kontinuierlichen Datenstrom umfassen.
Anschließend erfolgt ein Zuordnen von Positionsinformationen zu den
Umfelddaten. Bevorzugt werden den Umfelddaten abschnittsweise
Positionswerte zugeordnet. Besonders bevorzugt werden die Positionen bestimmter Pixel aus den Umfelddaten bestimmten Positionsinformationen zugeordnet. Dabei kann entweder jedem Pixel oder Pixelgruppen aus den Umfelddaten eine Positionsinformation zugeordnet werden, oder es können nur bestimmte Pixel mit Positionsinformationen versehen werden, sodass für jeden anderen Pixel eine Positionsinformation mittels Extrapolation ermittelt werden kann. Beispielsweise können Pixelgruppen von 10x10 Pixel bis 20x30 Pixel bestimmt werden, die jeweils zu einem Positionswert zugeordnet werden.
Als ein weiterer Schritt erfolgt ein Bestimmen einer aktuellen Position des Fahrzeuges.
Der Positionsparameter ist dabei eine positionsabhängige Größe, die sich insbesondere bei lokalen Bewegungen des Fahrzeugs entsprechend der Positionsveränderung, beispielsweise bei einer Vorwärtsfahrt, Rückwärtsfahrt, Querbewegung, Drehung des Fahrzeugs) verändert. Der Positionsparameter kann eine absolute, insbesondere globale Position und/oder eine relative, insbesondere lokale Position des Fahrzeugs repräsentieren.
Der Positionsparameter kann sich insbesondere auf die Position von einem oder mehreren bestimmten Teilen des Fahrzeugs gegenüber seiner Umgebung beziehen.
Der Positionsparameter kann sich auf die aktuelle und/oder auf die nahe Zukunft beispielsweise 0,3 - 30 Sekunden bezogene Position des Fahrzeugs beziehen.
Bevorzugt repräsentiert der Positionsparameter eine Fahrzeugposition in
Relation zu einem bestimmten Teil der Umgebung. Ein Positionsparameter kann beispielsweise als ein Vektor, eine Verkettung der Vektoren und/oder in einem, insbesondere lokalen Koordinatensystem, z.B. in einem zylindrischen
Koordinatensystem ausgedrückt werden. Bevorzugt umfasst der
Positionsparameter einen oder mehrere, insbesondere relative, Winkelwerte.
Weiterhin findet ein Bestimmen von Fahrzeuguntergrunddaten aus den
Umfelddaten statt. Mit der aktuellen Position des Fahrzeuges lassen sich die Fahrzeuguntergrunddaten aus den Umfelddaten derart bestimmen, dass die Positionsinformationen der Umfelddaten mit der aktuellen Position des
Fahrzeuges, insbesondere innerhalb eines vordefinierten Toleranzwertes, übereinstimmen. Der Toleranzwert stellt bevorzugt sicher, dass die
Fahrzeuguntergrunddaten mindestens einen Bereich der Umgebung des
Fahrzeuges repräsentieren, über dem sich das Fahrzeug aktuell befindet. Dabei können die Fahrzeuguntergrunddaten als eine Zusammenfassung mehrerer derartigen Daten sein, die einen Bereich aus der Umgebung des Fahrzeuges repräsentieren, der von dem Fahrzeug zumindest teilweise bedeckt wird.
Schließlich erfolgt ein Bereitstellen der Fahrzeuguntergrunddaten und/oder Ausgeben der Fahrzeuguntergrunddaten, insbesondere zur Anzeige auf einer Anzeigevorrichtung. Ferner können die ermittelten Fahrzeuguntergrunddaten für eine weitere Verarbeitung im Fahrzeug, beispielsweise für eine
Fahrzeugfunktion, die eine Situationsinterpretation umfasst bereitgestellt werden. Ferner können die ermittelten Fahrzeuguntergrunddaten an eine Recheneinheit außerhalb des Fahrzeugs, insbesondere an ein Backend oder an ein mobiles Anwendungsgerät des Benutzers bereitgestellt werden. Ein mobiles
Anwendergerät umfasst insbesondere eine Anzeigevorrichtung zur Ausgabe einer Darstellung abhängig von den bereitgestellten Fahrzeuguntergrunddaten. Ein mobiles Anwendergerät kann beispielsweise ein Smartphone, Tablet, sogenannte Datenbrille oder sinngemäße Weiterbildungen solcher Vorrichtungen sein.
Ein oder mehrere beschriebenen Schritte des Verfahrens werden bevorzugt zyklisch, insbesondere mehrere Male pro Sekunde durchgeführt, wobei Daten repräsentierend eine Bildfolge repräsentierend die Fahrzeuguntergrunddaten bereitgestellt und/oder ausgegeben werden.
Besonders bevorzugt erfolgt das Bereitstellen der (jeweiligen)
Fahrzeuguntergrunddaten und/oder Ausgeben der Fahrzeuguntergrunddaten abhängig von der aktuellen Positionsinformation des Fahrzeugs. Beispielsweise kann die Ausgabe eine Bildfolge auf einer Anzeigevorrichtung abhängig von der Veränderung der Positionsinformation erfolgen.
Besonders bevorzugt kann das Verfahren insbesondere für Einparkvorgänge, Rangiervorgänge oder für das Befahren von unebenen Geländeteilen
(sogenannter Off road- Bereich) mit zumindest einem Rad angewandt werden. Bevorzugt können unebene Geländeteile auch Teile eines unbefestigten
Straßenrands sein.
In einer vorteilhaften Ausführungsform der Erfindung erfolgt außerdem ein Ermitteln eines Bewegungsparameters. Der Bewegungsparameter repräsentiert eine Bewegung des Fahrzeugs. Dabei ist insbesondere vorgesehen, dass der Bewegungsparameter eine resultierende Bewegung des Fahrzeugs,
insbesondere von mehreren aufeinanderfolgenden Bewegungen des Fahrzeugs, umfasst. Vorteilhafterweise können die Bewegungsparameter aufgezeichnete odometrische Daten sein. Dies umfasst insbesondere eine Historie aus mehreren Rangierbewegungen des Fahrzeugs. Die aufgezeichneten odometrischen Daten werden vorteilhafterweise aus Radsensoren und/oder Lenkradsensoren ermittelt. In einer anderen Alternativ werden die Bewegungsparameter aus
Umfeldsensoren gewonnen. Dies erfolgt insbesondere dadurch, dass als ein Umfeldsensor eine 3D-Kamera zum Erfassen von Umfelddaten verwendet wird, die neben der räumlichen Repräsentation des Umfelds auch Daten über die Bewegung der 3D-Kamera und damit des Fahrzeugs liefert. Außerdem ist vorteilhafterweise vorgesehen, dass als Bewegungsparameter auch eine vorhergesagte zukünftige Bewegung des Fahrzeugs erfasst wird. Auf diese Weise stehen Bewegungsparameter nicht nur aus der Vergangenheit und der Gegenwart zur Verfügung, sondern ebenso prognostizierte Bewegungen in der Zukunft. Der Bewegungsparameter kann insbesondere eine Historie aus einer oder mehreren komplexen Bewegungen, z.B. Rangierbewegungen des
Fahrzeugs betreffen. Der Bewegungsparameter bzw. die zugrundeliegenden odometrischen Daten werden vorteilhafterweise aus Radsensoren und/oder Lenkradsensoren und/oder Lenkwinkelsensoren ermittelt. Beim Ermitteln des Bewegungsparameters kann ein mathematisches Fahrzeugmodell, z.B. ein speziell weiterentwickelten Ackermann-Modell berücksichtigt werden. Dabei kann zumindest eine Drehung des Fahrzeugs um zumindest eine vertikale Achse oder zwei vertikalen Achsen (insbesondere bei Fahrzeugen, die über eine
Hinterradlenkung verfügen) und/oder Neigen, Wanken berücksichtigt werden. Alternativ oder zusätzlich kann das Ermitteln des Bewegungsparameters ein Auslesen von Bewegungsdaten aus einer, z.B. für diesen Zweck und/oder für einen anderen Zweck geschaffenen Datenschnittstelle umfassen.
Der Bewegungsparameter ist dabei eine Größe die abhängig von der Bewegung des Fahrzeugs. Der Bewegungsparameter kann sich insbesondere auf die Bewegung von einem oder mehreren bestimmten Teilen des Fahrzeugs gegenüber seiner Umgebung beziehen. Der Bewegungsparameter kann dabei eine absolute Bewegung des Fahrzeugs und/oder eine relative, insbesondere lokale Bewegung des Fahrzeugs. Bevorzugt repräsentiert der
Bewegungsparameter eine Fahrzeugbewegung in Relation zu einem bestimmten Teil der Umgebung. Ein Bewegungsparameter kann beispielsweise als ein Vektor, eine Verkettung der Vektoren und/oder in einem, insbesondere lokalen Koordinatensystem, z.B. in einem zylindrischen Koordinatensystem ausgedrückt werden. Besonders bevorzugt repräsentiert der Bewegungsparameter die Bewegung von zumindest zwei Rädern des Fahrzeugs, wobei die Bewegung der Räder insbesondere mittels Radsensoren erfasst werden kann. Weiterhin ist bevorzugt vorgesehen, dass nach dem Erfassen der Umfelddaten sowie dem Erfassen der Bewegungsdaten ein Bestimmen von Umfelddaten für einen ersten Umfeldbereich aus den erfassten Umfelddaten erfolgt. Dabei ist vorgesehen, dass der erste Umfeldbereich einen Abschnitt aus der Umgebung des Fahrzeugs repräsentiert, der aufgrund der Bewegungsdaten mit einem vordefinierten Wahrscheinlichkeitswert zukünftig unter dem Fahrzeug liegen wird. Dazu werden die Bewegungsdaten vorzugsweise extrapoliert, wodurch aus den Umfelddaten Bereiche extrahierbar sind, denen jeweils ein
Wahrscheinlichkeitswert zugeordnet werden kann, mit dem das Fahrzeug diesen Bereich überfahren wird. Sollte der Wahrscheinlichkeitswert einen definierten Grenzwert überschreiten, so wird der entsprechende Bereich dem ersten
Umfeldbereich zugeordnet. Somit sind diejenigen Bereiche aus der Umgebung bekannt, über die das Fahrzeug mit zumindest dem vorgegebenen
Wahrscheinlichkeitswert zukünftig fahren wird. Die Fahrzeuguntergrunddaten werden anschließend aus den Überfahrdaten bestimmt. Die Umfelddaten für den ersten Umfeldbereich werden nachfolgend auch Überfahrdaten genannt.
Dabei kann das Verfahren das Ermitteln eines Wahrscheinlichkeitswerts umfassen, der die Wahrscheinlichkeit repräsentiert, dass ein bestimmter Teil der Umgebung zukünftig von dem Fahrzeug überdeckt wird. Alternativ oder zusätzlich kann eine Größe ermittelt werden, die darauf schließen lässt, dass ein bestimmter Umgebungsbereich mit einer, einen bestimmten Wert
übersteigenden, Wahrscheinlichkeit zukünftig von dem Fahrzeug überdeckt wird.
Dabei kann Verfahren umfassen, dass abhängig von einem
Bewegungsparameters und/oder eines Positionsparameters des Fahrzeugs ermittelt wird, dass ein bestimmter Umgebungsbereich mit einer, einen bestimmten Wert übersteigenden, Wahrscheinlichkeit zukünftig von dem
Fahrzeug überdeckt wird.
Maßgeblich für eine Überdeckung eines Teils der Umgebung durch das
Fahrzeug kann die Position der Fahrzeugkontur sein. Insbesondere betrifft die Überdeckung einen Teil der Umgebung der durch die Kontur des Fahrzeugs, bzw. durch eine Projektion der Fahrzeugkontur auf das Gelände eingegrenzt wird.
Durch das Bestimmen der Überfahrdaten erfolgt vorteilhafterweise eine
Verringerung des Aufwands, um das Verfahren auszuführen. So müssen lediglich solche Daten, nämlich die Überfahrdaten, zwischengespeichert werden, die einen Abschnitt aus der Umgebung des Fahrzeugs repräsentieren, über dem sich das Fahrzeug mit einem vordefinierten Wahrscheinlichkeitswert befinden wird. Andere Daten, die solche Bereiche, d.h. insbesondere den ersten Umfeldbereich, nicht repräsentieren, müssen nicht zwischengespeichert werden. Somit ist ein Aufwand zum Durchführen des Verfahrens verringert. Durch die
Fahrzeuguntergrunddaten sind Daten bereitgestellt, die einen Bereich aus der Umgebung des Fahrzeugs repräsentieren, der aktuell unterhalb des Fahrzeugs liegt. Somit ist keine Unterbodenkamera des Fahrzeugs benötigt, um den Bereich unter dem Fahrzeug visualisieren zu können. Daher kann einem Fahrer des Fahrzeugs ein hochwertiges Bild der Umgebung unterhalb seines Fahrzeugs angezeigt werden, was insbesondere Einparkvorgänge oder das Fahren auf unebenen Stecken erleichtert.
In einer bevorzugten Ausführungsform weist das Verfahren die folgenden Schritte auf. Zusätzlich erfolgt ein Bestimmen von Peripheriedaten, wobei die
Peripheriedaten einen Abschnitt aus der Umgebung repräsentieren, der aktuell nicht unter dem Fahrzeug liegt. Somit sind die Peripheriedaten solche Daten, die eine Umgebung und/oder Hindernisse neben, vor oder hinter dem Fahrzeug repräsentieren. Bevorzugt werden die Peripheriedaten in Echtzeit gewonnen und müssen somit nicht zwischengespeichert werden. Bei den Peripheriedaten handelt es sich bevorzugt um Daten, die mittels einer Umgebungssensorik des Fahrzeugs erfasst wurden oder werden. Bei der Umgebungssensorik handelt es sich vorteilhafterweise um eine bildgebende Sensorik oder um eine
Abstandssensorik. Alternativ können die Peripheriedaten auch aus den
Umfelddaten extrahiert werden. Nach dem Bestimmen der Peripheriedaten erfolgt vorteilhafterweise ein Zusammenführen der Peripheriedaten und der Fahrzeuguntergrunddaten. Schließlich erfolgt ein Ausgeben der
zusammengeführten Peripheriedaten und Fahrzeuguntergrunddaten. Werden die zusammengeführten Daten auf einer Anzeigevorrichtung angezeigt, so wird dem Fahrer des Fahrzeugs ein umfassendes Bild der Umgebung seines Fahrzeugs bereitgestellt. Dieses Bild umfasst neben einer Repräsentation des Bereichs unterhalb des Fahrzeugs auch eine Darstellung von erfassten Hindernissen neben, vor und hinter seinem Fahrzeug. Sollten die Peripheriedaten mittels bildgebender Sensoren erfasst worden sein, so kann dem Fahrer des Fahrzeugs ein vollständiges Bild der Umgebung gezeigt werden, so wie wenn das Fahrzeug nicht vorhanden wäre.
Besonders vorteilhaft umfasst das Zusammenführen der Peripheriedaten und der Fahrzeuguntergrunddaten ein zeitliches und/oder räumliches Zusammenführen. Dabei ist besonders vorteilhaft vorgesehen, dass das Zusammenführen, insbesondere ein Bestimmen einer geometrischen Relation zwischen
Peripheriedaten und Fahrzeuguntergrunddaten sowie eine geometrische
Transformation der Peripheriedaten und/oder der Fahrzeuguntergrunddaten, basierend auf der geometrischen Relation, umfasst. Das zeitliche
Zusammenführen umfasst insbesondere einen Vergleich von
Erfassungszeitpunkten der Peripheriedaten sowie der Umfelddaten, aus denen die Fahrzeuguntergrunddaten bestimmt worden sind. Anhand des
Erfassungszeitpunkts lassen sich somit Peripheriedaten und Umfelddaten bestimmen, die zeitlich synchronisiert sind. Die geometrische Relation wird vorteilhafterweise in Abhängigkeit der Bewegungsdaten ermittelt. So ist insbesondere zu beachten, dass Umfelddaten und Peripheriedaten mit unterschiedlicher Fahrzeugbewegungsgeschwindigkeit erfasst werden können. Aus diesem Grund müssen die Peripheriedaten und die
Fahrzeuguntergrunddaten, die aus den Umfelddaten bestimmt wurden, basierend auf der geometrischen Relation, geometrisch transformiert werden, um die Peripheriedaten und die Fahrzeuguntergrunddaten räumlich zu
synchronisieren.
Bei der geometrischen Relation handelt es sich dabei bevorzugt um eine
Abbildungsfunktion, zwischen den 3D-Daten aus der Umgebung und Daten 2D- Unterbodendaten oder entsprechender 2D-Abbildungsdaten sein. Ferner kann es sich bei der geometrischen Relation um eine Abbildungsfunktion von 2D-Daten zu 2D-Daten, 3D-Daten in 3D-Daten oder 2D in 3D-Daten handeln.
Die geometrische Relation kann dabei in Abhängigkeit von einer lokalen Position eines Bereichs unterschiedliches Ergebnis liefern. D.h. die Abbildungsfunktion kann in Abhängigkeit von einer Position der abgebildeten Geländebereichs eine unterschiedliche geometrische Relation abbilden. Diese geometrische Relation bzw. die Abbildungsfunktion kann eine Vorschrift zur Veränderung der
Pixelposition eines Teils der Umfelddaten zur Erzeugung eines Teils der Unterbodendaten repräsentieren.
Beispielsweise erfolgt im Verfahren ein Auslesen ausgewählter Teile der gespeicherten Umfelddaten aus einem Speicher des Fahrzeugs, wobei die auszulesenden Teile der Umfelddaten in Abhängigkeit von den ermittelten Bewegungsdaten gewählt werden, Anwenden einer Abbildungsfunktion wobei Unterbodendaten in Bezug auf einen bestimme Fahrzeugposition ermittelt werden und ein Bereitstellen der Unterbodendaten (in Bezug auf eine bestimmte Fahrzeugposition) und/oder Ausgeben der Unterbodendaten auf einer
Anzeigevorrichtung wenn die jeweilige Fahrzeugposition erreicht wird oder unmittelbar bevorsteht.
Das zeitliche Zusammenführen umfasst insbesondere einen Vergleich von Erfassungszeitpunkten der Peripheriedaten sowie der Umfelddaten, aus denen die Unterbodendaten bestimmt worden sind. Anhand des Erfassungszeitpunkts lassen sich somit Peripheriedaten und Umfelddaten bestimmen, die zeitlich synchronisiert sind.
Alternativ oder zusätzlich kann das Verfahren einen Schritt zum Ermitteln und/oder Erfassen einer zeitlichen Abbildungsfunktion umfassen, welche ein Ermitteln der Pixelwerte der Unterbodendaten für ein bestimmtes Frame der Anzeige aus einem oder mehreren Pixelwerte der Umfelddaten aus einem oder mehreren weiteren Zeitintervallen repräsentiert.
In einer Alternative umfasst das Zusammenführen der Peripheriedaten und der Fahrzeuguntergrunddaten besonders vorteilhaft ein Erkennen und/oder Identifizieren und/oder Zuordnen von Texturen und/oder unbeweglichen Objekten in den Peripheriedaten und/oder Fahrzeuguntergrunddaten. Anschließend erfolgt ein Homogenisieren der Peripheriedaten und Fahrzeuguntergrunddaten anhand der Texturen und/oder unbeweglichen Objekten. Vorteilhafterweise wird hierzu eine Relativgeschwindigkeit der Texturen und/oder unbeweglichen Objekte in den Peripheriedaten und den Fahrzeuguntergrunddaten ermittelt. Da eine solche Relativgeschwindigkeit sowohl in den Peripheriedaten als auch in den
Fahrzeuguntergrunddaten identisch sein muss, lässt sich eine Regel zum Homogenisieren der Peripheriedaten und Fahrzeuguntergrunddaten ableiten. Insbesondere sind die Peripheriedaten und die Fahrzeuguntergrunddaten derart zu homogenisieren, dass Texturen und/oder unbewegliche Objekte in sowohl den Peripheriedaten als auch den Fahrzeuguntergrunddaten an stets derselben Stelle vorhanden sind und sich mit derselben Relativgeschwindigkeit bewegen.
In einer weiteren bevorzugten Ausführungsform der Erfindung werden die Fahrzeuguntergrunddaten gemeinsam mit Radinformationen, insbesondere mit einer aktuellen Ausrichtung und/oder einer aktuellen Position und/oder einer, insbesondere anhand der Bewegungsdaten, vorausgesagten Position des Rads des Fahrzeugs, ausgegeben. Bei dem zumindest einen Rad handelt es sich insbesondere um ein Vorderrad oder um ein Hinterrad des Fahrzeugs. Durch die Position und/oder Ausrichtung des dargestellten Rads wird insbesondere eine Trajektorie des Rads, die vorteilhafterweise anhand der Bewegungsdaten durch Extrapolation vorhergesagt wird, repräsentiert. Auf diese Weise wird dem Fahrer des Fahrzeugs insbesondere eine Relation zwischen den Rädern seines
Fahrzeugs und Besonderheiten in der Umgebung des Fahrzeugs, wie insbesondere Parklinien und/oder Randsteinen oder und/oder Schlaglöchern, visualisiert.
Vorteilhafterweise erfolgt eine Anzeige der Fahrzeuguntergrunddaten und/oder der zusammengeführten Fahrzeuguntergrunddaten und Peripheriedaten auf einer Anzeigevorrichtung dann, wenn ein vordefiniertes Ereignis eintritt. Bei dem vordefinierten Ereignis handelt es sich insbesondere um ein Befahren einer unebenen Strecke und/oder ein Annähern an ein Hindernis und/oder ein
Überschreiten von vordefinierten vertikaldynamischen Einflüssen auf das Fahrzeug. In dem Fall des vordefinierten Ereignisses ist es für den Fahrer des Fahrzeugs hilfreich, zusätzliche Informationen zu dem Umfeld unterhalb seines Fahrzeugs zu erhalten. Somit erfolgt die Anzeige der Fahrzeuguntergrunddaten oder der zusammengeführten Fahrzeuguntergrunddaten und Peripheriedaten nur dann, wenn diese auch eine hilfreiche Information liefern kann. Ohne das vordefinierte Ereignis ist die Anzeige der Fahrzeuguntergrunddaten oder der zusammengeführten Fahrzeuguntergrunddaten und Peripheriedaten eine redundante Information, die dem Fahrer des Fahrzeugs keinen Mehrwert liefert und gleichzeitig viele Ressourcen benötigt.
Besonders bevorzugt ist vorgesehen, dass eine geometrische Transformation, insbesondere ein virtuelles perspektivischen Verhältnis, der Bilder
repräsentierend die Fahrzeuguntergrunddaten gesteuert wird, insbesondere abhängig: vom perspektivischen Verhältnis in dem einen anderen Teil der Darstellung repräsentiert wird, und/oder von einer erkannten Gefahrenstelle im Bezug auf einen Teil des Fahrzeugs, insbesondere im Bezug auf zumindest ein Rad des Fahrzeugs.
Z.B. werden nach Stand der Technik Bilder der Außenkameras in
unterschiedliche Perspektiven umgewandelt bzw. umgerechnet. Auch wird (nach derselben Erfindung) eine modellhafte Abbildung des eigenen Fahrzeugs (in einer dazu passenden Perspektive) in das Bild eingefügt. Im neuen Verfahren können auch die Bilder zum ersten Geländeteil (aus nahen Vergangenheit) quasi „nachträglich" einer analogen Prozedur unterzogen werden.
Die Anpassung des perspektivischen Verhältnisses kann im Verfahren bevorzugt erfolgen abhängig von der Position in der Umgebung und/oder am Fahrzeug, die von der ermittelten Gefahr betroffen ist. Dabei kann ein für eine verbesserte (frühzeitige) Wahrnehmung einer potentiellen Gefahr durch den Fahrer durch eine Anpassung des entsprechenden perspektivischen Verhältnisses in einem oder mehreren Schritten angestrebt bzw. erreicht werden. Besonders bevorzugt erfolgt eine schrittweise, insbesondere stufenlose
Anpassung des perspektivischen Verhältnisses. Dabei kann der Fahrer die Veränderung besser nachvollziehen.
Bei einer automatischen Gefahrenerkennung im Bezug auf ein Rad des
Fahrzeugs, z.B. ein welches gefährlich nahe oder unter einem gefährlichen scharfen Winkel zum Bordstein steht, kann die Perspektive der Bilder aus dem ersten Geländeteil oder auch die Perspektive weiterer Teile der Darstellung variiert werden, wobei z.B. eine Perspektive zu einer besseren
Gefahrenvermeidung gefunden wird.
Ebenso ist besonders bevorzugt vorgesehen, dass eine geometrische
Transformation, insbesondere ein virtuelles perspektivischen Verhältnis, der Bilder der Fahrzeugunterbodendaten und/oder der Bilder der Peripheriedaten zumindest in einem Grenzbereich der beiden Anzeigeteile angepasst wird, insbesondere derart, dass der Grenzbereich der Anzeige der
Fahrzeugunterbodendaten und der Anzeige der Peripheriedaten eine
übergangslose oder visuell nachvollziehbare Fortsetzung der Texturen der Umgebung darstellen.
Dabei kann die geometrische Transformation, z.B. Skalierung, Stecken, Dehnen, Verformen, z.B. trapezartig, Stitchen, sowie eine Veränderung der virtuellen Perspektive umfassen.
Insbesondere wird das Umgebungsbild, repräsentierend einen vom Fahrzeug besetzten Bereich der Umgebung und einen Bereich der Umgebung außerhalb des vom Fahrzeug besetzten Bereichs innerhalb einer Darstellung bzw.
Anzeigevorrichtung in einer„zueinander passenden" Skalierung und/oder perspektivischen Verhältnis dargestellt.
Weiterhin ist vorteilhafterweise vorgesehen, dass ein Teil der Umgebung des Fahrzeugs der sich außerhalb des vom Fahrzeug besetzten Bereichs in der Nähe der Kontur des Fahrzeugs befindet, aus den Fahrzeuguntergrunddaten erzeugt wird, wobei eine Anpassung geometrischer und/oder perspektivischer Parameter der Fahrzeuguntergrunddaten und/oder der Peripheriedaten erfolgt, dass die Texturen der Fahrzeuguntergrunddaten passend sind zu den Texturen der Peripheriedaten angezeigt wird. Dabei soll ein im Wesentlichen„texturen-echter" Übergang geschaffen werden.
Bevorzugt ist ebenso vorgesehen, dass die Darstellung auch umfasst zumindest eine Grafik, die die Abmessungen des Fahrzeugs, insbesondere eine Kontur des Fahrzeugs, zumindest symbolisch repräsentiert, wobei die Grafik bevorzugt die Grenze zwischen den Teilen der Anzeige zu den Fahrzeuguntergrunddaten und den Teilen der Anzeigen zum den Peripheriedaten repräsentiert. Somit kann der Fahrer klar unterscheiden, welche Hindernisse unter den Fahrzeugunterboden sind (sein sollten, dürfen) und welche nicht. Dabei kann auch betonnt werden, dass die Darstellung der Fahrzeuguntergrunddaten eine weniger verlässliche (da in der Regel um einige Sekunden veraltete) Information im Vergleich zu der Darstellung der Peripheriedaten umfasst.
Die Umfelddaten werden vorteilhafterweise mittels zumindest einer Kamera und/oder mittels zumindest eines Sensors zum Abtasten der Umgebung des Fahrzeugs generiert. Die zumindest eine Kamera ist vorteilhafterweise ein SD- Kamerasystem. Insbesondere ist vorgesehen, dass die Umfelddaten kombiniert aus den Daten der Kamera und dem zumindest einen Sensor zum Abtasten der Umgebung zusammengesetzt werden. Bei dem zumindest einen Sensor handelt es sich vorteilhafterweise um einen Abstandssensor, insbesondere um einen Infrarotsensor, einen Lasersensor, oder einen Ultraschallsensor.
Bei dem Erfassen der Umfelddaten ist vorteilhafterweise vorgesehen, dass ein kontinuierliches Erfassen erfolgt. In einer alternativen Ausführungsform muss ein Erfassen nicht notwendigerweise kontinuierlich erfolgen. So können mehrere Umfelddaten erfasst werden, die einzelne Bereiche aus der Umgebung repräsentieren. Dabei ist vorgesehen, dass die mehreren Umfelddaten gemäß ihrer räumlichen Positionsinformationen zusammengeführt werden. Sollten die mehreren Umfelddaten sich überschneidende Bereiche repräsentieren, das heißt sollten die Umfelddaten zumindest teilweise dasselbe Gebiet der Umgebung des Fahrzeuges repräsentieren, so ist vorteilhafterweise vorgesehen, dass stets die jüngsten Daten gespeichert werden, während die älteren Daten gelöscht werden. Bei den Positionsinformationen kann es sich insbesondere um eine
Positionsinformation relativ zu dem Fahrzeug handeln. Dabei umfasst die Positionsinformation vorteilhafterweise zumindest zwei Distanzinformationen oder zumindest eine Distanzinformation und zumindest eine Winkelinformation. Durch diese Informationen ist jeder Punkt in der Umgebung des Fahrzeuges eindeutig beschreibbar.
Besonders bevorzugt werden auch Positionen des Fahrzeuges berücksichtigt, die für eine nahe Zukunft vorausgesagt sind. Die vorausgesagten Positionen des Fahrzeuges lassen sich vorteilhafterweise anhand des Bewegungsparameteres ermitteln. Auf diese Weise kann eine, insbesondere technisch bedingte, verzögerte Ausgabe einer Darstellung der Fahrzeuguntergrunddaten auf einer Anzeigevorrichtung des Fahrzeuges ausgeglichen werden.
Durch die Verwendung der Positionsinformationen ist eine sehr genaue
Zuordnung der Umfelddaten zu dem Fahrzeug ermöglicht. Somit lässt sich ein Bereich unterhalb des Fahrzeuges sehr akkurat anzeigen. Weiterhin ist besonders vorteilhaft vorgesehen, dass der Bewegungsparameter aus den ermittelten Positionen des Fahrzeuges extrahiert wird. Somit sind keine zusätzlichen Sensoren zur Ermittlung der Bewegungsdaten des Fahrzeuges benötigt.
Außerdem ist bevorzugt vorgesehen, dass es sich bei dem Bewegungsparameter um eine resultierende Bewegung des Fahrzeugs, insbesondere von mehreren aufeinanderfolgenden Bewegungen des Fahrzeugs, handelt. Beispielsweise kann der Bewegungsparameter aus den aufgezeichneten odometrischen Daten handeln, z.B. eine Historie aus mehreren Rangierbewegungen des Fahrzeugs, z.B. bei einem Rangiervorgang aus mehreren Rangierzügen ermittelt werden. D.h. es können im Verfahren die aktuellen odometrischen Daten und die von der nahen Vergangenheit aufgezeichneten odometrischen Daten berücksichtigt werden. Dabei können die odometrischen Daten z.B. aus Radsensoren,
Lenkradsensoren, ermittelt werden. Bewegungsdaten können auch abhängig von den Bedienvorgängen des Fahrzeugs (Lenkradsensor vor, zurück) ermittelt werden. Besonders bevorzugt können Bewegungsparameter auch abhängig von der sensorischen Erfassung der Fahrzeugumgebung erfolgen, z.B. auch abhängig von den Daten derselben Kamera. Dabei kann abhängig von einer Bewegung der Objekte oder Texturen in den Sensordaten eine relative
Bewegung des Fahrzeugs ermittelt werden. Besonders bevorzugt werden auch für die nahe Zukunft vorausgesagten Bewegungsdaten berücksichtigt. Somit kann die (technisch bedingt) etwas verzögerte Ausgabe der Darstellung auf der Anzeigevorrichtung des Fahrzeugs ausgeglichen werden. Auch kann die
Auswahl der Fahrzeuguntergrunddaten abhängig von dem vorausgesagten Bewegungsparameter (z.B. für die nächsten Sekunden) ermittelt werden. Auch können Bewegungsparameter z.B. abhängig von (präzise bestimmten)
Koordinaten bzw. Koordinatenveränderung und/oder Ausrichtung des Fahrzeugs oder Veränderung der Ausrichtung des Fahrzeugs ermittelt werden.
Weiterhin ist bevorzugt vorgesehen, dass eine Kombination aus einem
Umgebungsbild, repräsentierend einen ersten Teil der Umgebung der vom Fahrzeug aktuell besetzt wird und einem zweiten Teil der Umgebung der aktuell außerhalb des vom Fahrzeug besetzten Bereichs ist, bevorzugt innerhalb einer Darstellung bzw. Anzeigevorrichtung ausgegeben werden. Beispielsweise kann der Fahrer (im Endergebnis) mehrere Teile eines gefährlichen Bordsteins direkt durch die Windschutzscheibe, durch ein aktuelles Bild einer Seitenkamera und durch die angepassten Daten für das im Verfahren erzeugte„Unterboden-Bild" sehen. Resultat: sehr viel bessere Orientierung, objektive und subjektive
Sicherheit, besseres Einparken.
Vorteilhafterweise ist vorgesehen, dass Fahrzeuguntergrunddaten aus Bildern einer Kamera und/oder eines Sensors zum Erkennen oder Vermessen von Objekten oder des Geländereliefs ermittelt werden. Besonders bevorzugt können die ersten Daten zumindest Kamerabilder UND eine weitere sensorisch erfasste, insbesondere interpretierte Information zu Objekten oder Geländerelief umfassen. Das Verfahren kann auf diese zusammen oder separat angewandt werden. Daraus kann eine Darstellung resultieren, die unterschiedliche bzw. sich ergänzende Informationen dem Fahrer anbietet. Des Weiteren betrifft die Erfindung ein Computerprogrammprodukt. Das
Computerprogrammprodukt umfasst einen maschinenlesbaren Code mit
Instruktionen, welche, wenn sie auf einem programmierbaren Prozessor eines Steuergeräts ausgeführt werden, den Prozessor veranlassen, die Schritte eines Verfahrens wie zuvor beschrieben durchzuführen. Das Steuergerät ist insbesondere in einem Fahrzeug einsetzbar.
Außerdem betrifft die Erfindung eine Vorrichtung für ein Fahrzeug, wobei die Vorrichtung zumindest ein Steuergerät umfasst, das insbesondere ausgebildet ist, das zuvor beschriebene Computerprogrammprodukt ablaufen zu lassen. Ebenso ist die Vorrichtung vorteilhafterweise eingerichtet, das zuvor
beschriebene Verfahren oder Teil des Verfahrens auszuführen.
Die Vorrichtung und das Computerprogrammprodukt weisen dieselben bzw. sinngemäßen Vorteile das beschriebene Verfahren innehat.
Schließlich betrifft die Erfindung ein Fahrzeug, das eine Vorrichtung, wie zuvor beschrieben, umfasst oder zum Betreiben einer solchen Vorrichtung eingerichtet ist.
Bei dem Fahrzeug im Rahmen dieser Beschreibung handelt es sich
insbesondere um ein Kraftfahrzeug (Personenkraftwagen, Lastkraftwagen, Transporter, sog.„Sattelschlepper",) oder ein Fahrzeuganhänger (Wohnmobil, Lastanhänger, Pferdeanhänger, Jachtanhänger). Daraus ergeben sich mehrere in diesem Dokument explizit und implizit beschriebene sowie weitere vom
Fachmann leicht nachvollziehbare Vorteile. Des Weiteren kann das Fahrzeug auch Wasserfahrzeug, Unterwasserfahrzeug oder Luft- bzw. Raumfahrzeug sein, wobei das Verfahren sinngemäß angewendet wird.
Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung und den Figuren. Es zeigen:
Figur 1 eine erste schematische Abbildung eines Fahrzeugs gemäß einem
Ausführungsbeispiel der Erfindung zum Ausführen des Verfahrens gemäß einem Ausführungsbeispiel der Erfindung, und Figur 2 eine zweite schematische Abbildung des Fahrzeugs gemäß dem Ausführungsbeispiel der Erfindung beim Ausführen des Verfahrens gemäß dem Ausführungsbeispiel der Erfindung.
Figur 1 zeigt ein Fahrzeug 1 gemäß einem Ausführungsbeispiel der Erfindung. Das Fahrzeug 1 umfasst eine Vorrichtung 2 umfassend ein Steuergerät. Mit der Vorrichtung 2 ist das Verfahren gemäß einem Ausführungsbeispiel der Erfindung ausführbar. Dazu ist die Vorrichtung 2, in diesem Beispiel das Steuergerät mit einer Kamera 3 verbunden, sodass Daten zwischen der Kamera 3 und dem Steuergerät austauschbar sind. Ebenso ist die Vorrichtung 2 mit nicht gezeigten Radsensoren des Fahrzeugs 1 verbunden. Auf diese Weise ist dem Steuergerät ermöglicht, mehrere Bewegungsparameter, die in diesem Beispiel
zusammenfassend als Bewegungsdaten bezeichnet sind, des Fahrzeugs 1 zu erfassen, die durch die Radsensoren ermittelt werden. Außerdem ist es der Vorrichtung 2 ermöglicht, Umfelddaten 4 des Fahrzeugs 1 zu erfassen, was mittels der Kamera 3 geschieht.
Bei der Kamera 3 kann es sich insbesondere um eine Infrarotkamera, eine Time- of-Flight-Kamera, oder um eine bildgebende Kamera handeln. Alternativ zu der Kamera 3 ist insbesondere ein Laserscanner, eine Ultraschallsensorik oder eine Radarsensorik verwendbar. Hierbei können die Umfelddaten 4 entweder von der Kamera 3 allein oder durch Kombination von Daten der Kamera 3 mit Daten von weiteren Sensoren, wie zuvor genannt, generiert werden. Sollten die
Umfelddaten aus Daten mehrerer Sensoren zusammengesetzt werden, so ist dies insbesondere abhängig von einem Übereinstimmungsgrad zwischen den von den jeweiligen Daten repräsentierten Geländeteilen, der Datenqualität der Datenabschnitte, der Erfassungsperspektive der jeweiligen Umgebung durch den entsprechenden Sensor sowie das Alter der jeweiligen Daten.
Die Umfelddaten 4 werden in dem gezeigten Ausführungsbeispiel von der Kamera 3 erfasst. Aus den Umgebungsdaten 4 werden Überfahrdaten bestimmt. Die Überfahrdaten entsprechen Umfelddaten für einen ersten Umfeldbereich 5 aus der Umgebung des Fahrzeugs 1 , wobei das Fahrzeug 1 den ersten
Umfeldbereich 5 mit einer vordefinierten Wahrscheinlichkeit aufgrund der Bewegungsdaten zukünftig überfahren wird. In dem in Figur 1 gezeigten
Ausführungsbeispiel führt das Fahrzeug eine Geradeausfahrt durch, sodass davon ausgegangen werden kann, dass Bereiche vor dem Fahrzeug 1 in Zukunft unter dem Fahrzeug 1 liegen werden. Auf diese Weise werden die Überfahrdaten aus den Umfelddaten 4 bestimmt. Die übrigen Umfelddaten 4 müssen nicht zwischengespeichert werden und können somit gelöscht werden. Lediglich die Überfahrdaten werden vorteilhafterweise in dem Steuergerät 2
zwischengespeichert. In einem alternativen Ausführungsbeispiel werden keine Überfahrdaten bestimmt und stattdessen die Umfelddaten 4
zwischengespeichert. Eine Bestimmung von Fahrzeuguntergrunddaten 6, wie nachfolgend beschrieben, erfolgt dann anhand der Umfelddaten 4.
Den Überfahrdaten werden Positionsinformationen zugeordnet. Bei den
Positionsinformationen handelt es sich insbesondere um solche Informationen, die relativ zu dem Fahrzeug oder relativ zu einem Referenzpunkt der Umgebung angegeben sind. Dabei wird jeder Pixelposition innerhalb eines Bildes der Kamera 3 eine zu dem Fahrzeug 1 relative Position des von dem jeweiligen Pixel repräsentierten Bereichs der Umgebung zugeordnet.
Das Steuergerät 2 ist außerdem eingerichtet, eine aktuelle Position des
Fahrzeugs 1 zu ermitteln. Die Bewegungsdaten werden aus den ermittelten Positionen des Fahrzeuges extrahiert. Somit sind keine zusätzlichen Sensoren zur Ermittlung der Bewegungsdaten des Fahrzeuges benötigt. In einer Alternative ist besonders vorteilhaft vorgesehen, dass die Bewegungsdaten aufgezeichnete odometrische Daten sind. In einem anderen Ausführungsbeispiel werden die Bewegungsdaten vorteilhafterweise in Abhängigkeit von Bedienvorgängen des Fahrzeugs 1 durch einen Fahrer ermittelt. Dazu werden die Bewegungsdaten vorteilhafterweise anhand eines Lenkradsensors in einer Bewegungsrichtung des Fahrzeugs ermittelt. In einer anderen Alternative werden die Bewegungsdaten durch sensorische Erfassung der Umgebung des Fahrzeugs 1 ermittelt. Somit können die Bewegungsdaten analog zu den Umfelddaten ermittelt werden, vorteilhafterweise aus den Daten der Kamera 3. Besonders bevorzugt werden auch für eine nahe Zukunft vorausgesagte
Bewegungsdaten berücksichtigt. Somit kann eine technisch bedingte verzögerte Ausgabe der bestimmten Fahrzeuguntergrunddaten ausgeglichen werden.
Schließlich ist bevorzugt vorgesehen, dass die Bewegungsdaten abhängig von präzise bestimmten Koordinaten oder Koordinatenveränderungen und/oder einer Ausrichtung des Fahrzeugs oder einer Veränderung der Ausrichtung des
Fahrzeugs ermittelt werden.
In Figur 2 ist gezeigt, wie aktuelle Fahrzeuguntergrunddaten 6 des Fahrzeugs 1 ermittelt werden. Dazu werden aus den Überfahrdaten Fahrzeuguntergrunddaten 6 bestimmt, wobei dies anhand der Positionsinformationen und der aktuellen Position des Fahrzeugs 1 geschieht. So lassen sich Fahrzeuguntergrunddaten aus den Überfahrdaten, d.h. aus den Umfelddaten für den ersten Umfeldbereich, derart bestimmen, dass die Positionsinformationen des ersten Umfeldbereichs 5 mit der aktuellen Position des Fahrzeuges 1 innerhalb eines vordefinierten Toleranzwertes übereinstimmen. Der Toleranzwert repräsentiert insbesondere eine Abmessung des Fahrzeugs 1 , sodass die Fahrzeuguntergrunddaten 6 mindestens einen Bereich der Umgebung des Fahrzeuges 1 repräsentieren, über dem sich das Fahrzeug 1 aktuell befindet. Somit sind die
Fahrzeuguntergrunddaten 1 eine Zusammenfassung aller solchen Daten, die einen Bereich aus der Umgebung des Fahrzeuges 1 repräsentieren, der von dem Fahrzeug 1 vollständig bedeckt wird.
Die Fahrzeuguntergrunddaten 6 werden vorteilhafterweise an eine
Anzeigevorrichtung des Fahrzeugs 1 ausgegeben, damit dem Fahrer die
Umgebung unterhalb seines Fahrzeugs angezeigt werden kann. Dabei findet insbesondere eine passende geometrische Transformation statt, um dem Fahrer die Fahrzeuguntergrunddaten 6 aus einer passenden Perspektive, insbesondere aus einer Vogelperspektive, zu zeigen.
Durch die Verwendung der Positionsinformationen ist eine sehr genaue
Zuordnung der Umfelddaten zu dem Fahrzeug ermöglicht. Somit lässt sich ein Bereich unterhalb des Fahrzeuges sehr akkurat anzeigen. Wird das Bild der Kamera 3 zur Darstellung der Fahrzeuguntergrunddaten 6 verwendet, so wird dieses Bild insbesondere in eine passende Perspektive umgerechnet. Außerdem ist bevorzugt vorgesehen, dass eine modellhafte Abbildung des Fahrzeugs 1 in einer zu der Perspektive passenden Darstellung in die Anzeige eingefügt wird. Das Umrechnen der Perspektive erfolgt bevorzugt durch geometrische Transformationen, wie insbesondere Skalierung, Strecken, Dehnen, Verformen, vorteilhafterweise trapezartig, Stitchen, sowie Veränderung der virtuellen Perspektive.
Die Anzeige der Fahrzeuguntergrunddaten 6 erfolgt vorteilhafterweise erst dann, wenn ein vordefiniertes Ereignis eintritt. Bei dem vordefinierten Ereignis handelt es sich insbesondere um das Befahren einer unebenen Strecke, das Annähern an ein Hindernis oder an eine Geländekrümmung, um ein Überschreiten von vordefinierten vertikaldynamischen Einflüssen auf das Fahrzeug, oder um das Erkennen einer Bedienungsaktion des Fahrers, die einem vordefinierten
Bedienungsmuster entspricht. Ein solches Bedienungsmuster kann insbesondere das Vorbereiten eines Parkmanövers, eines Rangiermanövers oder eines Wendemanövers sein. Nur wenn das vordefinierte Ereignis eintritt, werden die Fahrzeuguntergrunddaten 6 auf der Anzeigevorrichtung dargestellt, sodass dem Fahrer des Fahrzeugs nur dann eine Abbildung der Umgebung unterhalb seines Fahrzeugs bereitgestellt wird, wenn diese auch benötigt wird. Auf diese Weise werden überflüssige Informationen vermieden, die für den Fahrer störend wären. Gleichzeitig ist sichergestellt, dass die Informationen bereitstehen, wenn sie für den Fahrer eine wertvolle Hilfe sind.
Bevorzugt ist auf der Anzeigevorrichtung außerdem eine Reifenposition und/oder eine Ausrichtung der Reifen des Fahrzeugs 1 darstellbar. Dabei können wahlweise Vorderräder und/oder Hinterräder repräsentiert sein. Durch die Darstellung der Räder des Fahrzeugs 1 ist es dem Fahrer des Fahrzeugs 1 ermöglicht, die Gefahr einer Kollision zwischen Rädern und Hindernissen in der Umgebung abzuschätzen. Dies ist insbesondere bei einem Einparkvorgang an einem Randstein vorteilhaft. Besonders vorteilhaft ist außerdem vorgesehen, dass bei drohender Kollision zwischen Reifen und einem Hindernis ein Perspektivwechsel auf der Anzeige erfolgt, um dem Fahrer die drohende
Kollision besser anzuzeigen.
Bevorzugt werden zusätzlich zu den Umfelddaten 4 Peripheriedaten 7 des Fahrzeugs 1 erfasst. Dabei können die Peripheriedaten 7 mittels der Kamera 3 erfasst werden. Ebenso können die Peripheriedaten 7 vorteilhafterweise aus den Umfelddaten 4 gewonnen werden. Die Peripheriedaten 7 repräsentieren einen Bereich der Umgebung des Fahrzeugs 1 , der aktuell nicht unterhalb des
Fahrzeugs 1 liegt. Besonders bevorzugt werden die Peripheriedaten in Echtzeit erfasst, sodass diese stets Bereiche repräsentieren, die aktuell vor und/oder neben und/oder hinter dem Fahrzeug 1 liegen. Dabei können die Peripheriedaten 7 mit denselben und/oder mit unterschiedlichen Sensoren wie die Umfelddaten 4 erfasst werden.
Bevorzugt erfolgt ein Zusammenführen der Peripheriedaten 7 und der aus den Umfelddaten 4 gewonnenen Fahrzeuguntergrunddaten 6. Diese
zusammengeführten Daten werden insbesondere auf der Anzeigevorrichtung dem Fahrer des Fahrzeugs 1 dargestellt. Alternativ oder zusätzlich können die zusammengeführten Daten an ein (dazu eingerichtetes) mobiles Anwendergerät des Nutzers bereitgestellt werden und an der (hier nicht dargestellten) Anzeige bzw. Ausgabevorrichtung des mobilen Anwendergeräts ausgegeben (angezeigt) werden. Ferner können die zusammengeführten Daten für eine Fahrzeugfunktion bereitgestellt werden, die beispielsweise Situationsinterpretation umfasst. Somit steht dem Fahrer ein umfassendes Bild der Umgebung zur Verfügung, das neben Bereichen unterhalb des Fahrzeugs 1 auch Bereiche neben dem Fahrzeug 1 visualisiert.
Um die Fahrzeuguntergrunddaten 6 mit den Peripheriedaten 7
zusammenzuführen, wird insbesondere eine geometrische Relation zwischen den Peripheriedaten 7 und den Fahrzeuguntergrunddaten 6 bestimmt. Anhand dieser geometrischen Relation erfolgt insbesondere eine geometrische
Transformation von Fahrzeuguntergrunddaten 6 und Peripheriedaten 7. Bevorzugt werden die zusammengeführten Fahrzeuguntergrunddaten 6 und Peripheriedaten 7 in einer Darstellung ausgegeben. Somit kann ein Fahrer des Fahrzeugs 1 insbesondere einen für das Fahrzeug gefährlichen Bordstein in mehreren Teilabschnitten auf unterschiedlichen Wegen einsehen. So sieht der Fahrer des Fahrzeugs 1 den Bordstein auf eine erste Weise direkt durch die Windschutzscheibe. Sollte eine Seitenkamera des Fahrzeugs 1 vorhanden sein, so ist der Bordstein in einer zweiten Weise durch ein aktuelles Bild der
Seitenkamera sichtbar. Außerdem ist der Bordstein in einer dritten Weise durch die zusammengeführten Fahrzeuguntergrunddaten 6 und Peripheriedaten 7 darstellbar. Somit ergibt sich für den Fahrer des Fahrzeugs 1 eine verbesserte Orientierung und somit eine verbesserte objektive und subjektive Sicherheit. Dies ermöglicht ein verbessertes Einparken des Fahrzeugs 1 in eine Parklücke ohne drohende Gefahr einer Kollision mit einem Bordstein.
Sollte eine Anzeige erfolgen, bei der die kombinierten Fahrzeuguntergrunddaten 6 und Peripheriedaten 7 gezeigt werden, so wird vorteilhafterweise ebenfalls ein Umriss des Fahrzeugs 1 dargestellt. Somit kann der Fahrer des Fahrzeugs 1 klar unterscheiden, welche dargestellten Hindernisse unter dem Fahrzeugunterboden liegen und welche nicht. Ebenso kann in der Anzeige betont werden,
vorteilhafterweise durch eine verblasste Darstellung, dass die Informationen aus den Fahrzeuguntergrunddaten 6 weniger verlässlich sind, da diese Informationen von Daten stammen, die nicht in Echtzeit aufgenommen worden sind. Vielmehr handelt es sich bei den Fahrzeuguntergrunddaten 6 um Umfelddaten 4, die erfasst wurden, als die von den Umfelddaten repräsentierten Bereiche der Umgebung vor und/oder neben und/oder hinter dem Fahrzeug 1 lagen und aufgrund der Bewegungsdaten als zukünftig relevant eingestuft wurden.
Weiterhin ist bevorzugt vorgesehen, dass aus den Umfelddaten 4 Randbereiche 8 um die Überfahrdaten und/oder die Fahrzeuguntergrunddaten 6 bestimmt werden, die sich vorteilhafterweise mit den Peripheriedaten 7 überschneiden. Dabei ist vorgesehen, dass die Randdaten 8 beim Zusammenführen von
Fahrzeuguntergrunddaten 6 und Peripheriedaten 7 derart mit den
Peripheriedaten 7 überlagert werden, dass eine einheitliche Anzeige erfolgen kann. Auf diese Weise dienen die Randdaten 8 als Übergangszone zwischen den Fahrzeuguntergrunddaten 6 und den Peripheriedaten 7. Somit ist es ermöglicht, einen Übergang zwischen der Anzeige der Fahrzeuguntergrunddaten 6 und der Anzeige der Peripheriedaten 7 zu harmonisieren, wobei für den Fahrer des Fahrzeugs 1 der Eindruck eines homogenen Bildes entsteht.
Bevorzugt werden die Umfelddaten 4 von mehreren Sensoren gleichzeitig erfasst. In dem in Figur 1 gezeigten Ausführungsbeispiel werden die Umfelddaten 4 durch die Kamera 3 erfasst. Vorteilhafterweise ist vorgesehen, dass die Umfelddaten 4 zusätzlich von Abstandssensoren (nicht gezeigt) des Fahrzeugs 1 erfasst werden. Somit können einzelne Objekte aus der Umgebung des
Fahrzeugs sowohl grafisch dargestellt als auch räumlich vermessen werden. Somit lassen sich dem Fahrer des Fahrzeugs 1 ergänzende Informationen darstellen.
Dem Fahrer des Fahrzeugs 1 steht somit eine Orientierungshilfe zur Verfügung, die insbesondere beim Rangieren des Fahrzeugs 1 als auch beim Befahren unebener Straßen eine Hilfe für das Bedienen des Fahrzeugs 1 darstellt.
Durch die Darstellung des Bereichs unterhalb des Fahrzeugs 1 ist dem Fahrer eine bessere Erkennung und Vermeidung von bevorstehenden Kollisionen des Fahrzeugs 1 mit einem Hindernis ermöglicht. Somit wird sowohl die objektive als auch die subjektive Sicherheit des Fahrzeugs 1 erhöht. Gleichzeitig ist das Verfahren sehr günstig ausführbar, da für die Darstellung des Bereichs unterhalb des Fahrzeugs nur ein geringer Teil der erfassten Umfelddaten, nämlich die Überfahrdaten, gespeichert werden muss.
Weitere Aspekte der Erfindung werden nachfolgend beschrieben:
Es wird Ihnen als Fahrer ein Videobild zu dem Bereich unter Ihrem Fahrzeug gezeigt das wertig aussieht wie ein Kamerabild. So, als gebe es ein Fenster zum Unterboden. Dann können Sie in bestimmten Verkehrssituationen„durch den Unterboden" sehen wie in einem Aquarium-Boot. Die virtuelle Perspektive des Videobilds kann derart gewählt sein oder derart vom Nutzer eingestellt werden, dass diese ein„durchsichtiges Fahrzeug" anmutet, z.B. als wäre das Fahrzeug nicht da oder durchsichtig und der Beobachter würde den Geländebereich aus 1 - 3 Meter Höhe senkrecht oder unter einem bequemen (gewünschten) Winkel
Auch kann die resultierende für den Fahrer bzw. Nutzer sichtbare Darstellung automatisch in einer dreidimensionalen, sogenannten Top-View bzw. Surround- View oder andere Fahrerassistenzsysteme integriert werden. Das Verfahren kann eine Basis auch zur Darstellung augmentierter Grafiken in das
Unterbodenbild sein. Besonders bevorzugt werden dem Fahrer die aktuelle Position und/oder Ausrichtung seiner eigenen Reifen innerhalb des Bilds gezeigt. Diese werden in der Erfindung in die Darstellung (in das virtuelle Video) an den entsprechenden Stellen augmentiert bzw. integriert. Die Reifen können dabei zumindest teilweise teiltransparent (teil-durchsichtig) oder als Konturen dargestellt werden, sodass diese möglichst keine Nutzinformation der Darstellung nicht wesentlich verdecken.
Weitere Aspekte A1 bis A16 passender Fahrzeugfunktionen sind separat beschrieben. Diese sind zudem sinngemäß frei mit allen oben beschriebenen Merkmalen kombinierbar.
A1 . Verfahren zur Darstellung eines Geländebereichs unter einem Fahrzeug für den Fahrer eines Fahrzeugs, bei dem:
• die ersten Daten zu einem ersten Teil der Darstellung von einem ersten
Geländeteil erzeugt werden, der in den nahen Zukunft mit einer gewissen Wahrscheinlichkeit unter dem Fahrzeug sein wird;
• Zuordnen der ersten Daten zu bestimmten Teilen der Darstellung zu einer Positionsinformation in der Umgebung des Fahrzeugs,
• Ausgabe einer Darstellung der Daten zu einem ersten Geländeteil auf einer Anzeigevorrichtung abhängig von der relativen Position und/oder Bewegung des Fahrzeugs zu einer oder mehreren zugeordneten
Positionsinformationen; Die Daten der Umgebungssensorik (z.B. Frontsensorik, z.B. Kamera) des Fahrzeugs für einen bestimmten Teil der Umgebung werden erstmal, z.B.
Abschnittsweise zu einer Positionsinformation zugeordnet und (zusammen mit den entsprechenden Positionsinformationen zwischengespeichert.
Die Daten zum ersten Teil der Darstellung können dabei bevorzugt Kamerabilder oder ein bereits fertig zusammengesetztes Umgebungsbild sein, welches in einer an sich bekannter Art (mit den Kameras in der aktuell bekannten Anordnung am Fahrzeug) erzeugt wird. Bei diesem Verfahren wird dieses an die
Positionsinformation geknüpft, d.h. gewissen Bereichen des Geländes in der Umgebung des Fahrzeugs zugeordnet.
Beim Befahren dieser Geländebereiche erfolgt eine (passende) Rückzuordnung, sodass Teile der Umgebung der Fahrbahn, die unter das Fahrzeug kommen auf einer Anzeigevorrichtung wiedergegeben werden, derart, dass diese eine „richtige" Position und Bewegung relativ zum Fahrzeug aufweisen, so, als kämen diese frisch aus der Kamera. D.h. die ersten Daten können anhängig von der Position des Fahrzeugs auf den Bereich der sich (zumindest teilweise) unter dem Fahrzeug befindet gemappt (fortgesetzt, ausgestreckt).
Insbesondere können die ersten Daten (im zweiten Schritt des Verfahrens) abschnittsweise an die Positionswerte zugeordnet werden. Besonders bevorzugt werden die Positionen bestimmter Pixel im Bild zu bestimmten Positionswerten (relativ zum Fahrzeug) zugeordnet. Die Positionen der Pixel für
dazwischenliegende Werte können (im dritten Schritt des Verfahrens) mittels einer Interpolation ermittelt werden.
Die ersten Daten können dabei aus Daten unterschiedlicher Fahrzeugsensoren (z.B. Vorderkamera des Fahrzeugs, seitliche Spiegelkameras, etc.) erzeugt, insbesondere kombiniert wurden.
Die ersten Daten können derart aus Daten unterschiedlicher Sensoren zusammengesetzt werden, abhängig von: Übereinstimmungsgrad zwischen den in den jeweiligen Daten repräsentierten Geländeteilen und den voraussichtlichen künftigen Positionen oder Bewegungsdaten des Fahrzeugs, Datenqualität der Datenabschnitte, Erfassungs-Perspektive des jeweiligen Geländeteil,- Alter der jeweiligen Daten bzw. Datenabschnitte, etc.
Übrige zwischengespeicherte Daten können, z.B. beim Entfernen von der aktuellen Fahrzeugposition (Rangierstelle) gelöscht werden. Die ersten Daten können aus Daten perzeptiver Sensoren: Kamera, Infrarotkamera, TOF-Sensorik (Time-Of-Flight), Laser-Scanner, Ultraschallsensorik, Radarsensorik ermittelt werden.
A2. Verfahren nach Aspekt A1 , auch umfassend Zuordnen der ersten Daten die zu unterschiedlichen Zeitpunkten ermittelt worden sind zueinander oder zu einer Positionsinformation in der Umgebung des Fahrzeugs.
Bei dieser Variante des Verfahrens muss nicht notwendigerweise eine durchgehende Bildsequenz (Videosequenz) aufgezeichnet werden. Es können z.B. mehrere Einzelbilder aus einer oder mehreren Kameras ausgewählt und aneinander und/oder an bestimmte Koordinatenpunkten gesticht werden. Es ergibt sich quasi ein Teppich aus Bildern, der einige Sekunden später beim befahren des ersten Geländeteils dort„ausgerollt" wird.
Im Falle neuer oder veränderter Bildbereich können jeweils die neueren
Bildbereiche in die zugeordneten Daten (selektiv) übernommen werden.
A3. Verfahren nach einem der vorangegangenen Aspekte, bei dem es sich bei der Positionsinformation um eine absolute und/oder relative Position bestimmter Stellen des ersten Geländeteils in der Umgebung des Fahrzeugs handelt.
Insbesondere kann es sich dabei um eine Positionsinformation um folgende Art von Information für einen oder mehrere Stellen des Geländeteils handeln:
zumindest zwei Distanzinformationen, oder- zumindest eine Distanzinformation und zumindest eine Winkelinformation.
Besonders bevorzugt erfolgen dabei das Ermitteln einer Vielzahl der
Positionsinformationen und ihre Zuordnung zu einer Vielzahl der Datenabschnitte der ersten Daten. Besonders bevorzugt werden auch für die nahe Zukunft vorausgesagten
Positionen des Fahrzeugs berücksichtigt. Somit kann die (technisch bedingt) etwas verzögerte Ausgabe der Darstellung auf der Anzeigevorrichtung des Fahrzeugs ausgeglichen werden. Auch kann die Auswahl der ersten Daten abhängig von den vorausgesagten Positionsdaten (z.B. für die nächsten
Sekunden) ermittelt werden.
A4. Verfahren nach einem der vorangegangenen Aspekte, bei dem Daten zu einem zweiten Teil der Darstellung erzeugt werden zu einem zweiten
Geländeteil, der aktuell oder in der nahen Zukunft nicht vom Fahrzeug besetzt wird, und Zusammenführen von den ersten und zweiten Daten, abhängig von der Position des Fahrzeugs in Relation zu dem ersten Geländeteil und zu dem zweiten Geländeteil.
Die Daten zu einem zweiten Teil der Darstellung können das Umgebungsbild außerhalb des vom Fahrzeug besetzten Bereichs aus Daten zumindest zweier Sensoren, z.B. Kameras sein. Diese können z.B. der bekannten Top-View- Darstellung entsprechen; Diese müssen nicht zeitlich verzögert oder
zwischengespeichert werden. Diese können (sollten) möglichst in Echtzeit wiedergegebenen werden oder zur Anpassung des bestimmten zeitlichen Versatzes geringfügig zeitlich angepasst werden.
Bevorzugt wird dabei ein passendes„zeitliches und räumliches"
Zusammenführen zumindest eines Umgebungsbilds von dem vom Fahrzeug besetzten Bereich und eines vom Fahrzeug nicht besetzten Bereichs ausgeführt.
A5. Verfahren nach dem vorangegangenen Aspekt, bei dem eine oder mehrere relativen Positionen des Fahrzeugs zu einer oder mehreren zugeordneten Positionsinformationen abhängig von den, insbesondere resultierenden, Daten der Bewegung des Fahrzeugs ermittelt werden.
Hier können die relativen Positionen insbesondere mittels Radsensoren des Fahrzeugs und/oder einer umwelterfassender Sensorik des Fahrzeugs ermittelt werden. Die Daten zur resultierenden Bewegung beziehen sich insbesondere auf das Zeitintervall zwischen dem Erzeugen und Ausgeben der ersten Daten. A6. Verfahren nach einem der vorangegangenen Aspekte, bei dem Daten zu einem zweiten Teil der Darstellung erzeugt werden, repräsentierend einen zweiten Geländeteil in der Umgebung des Fahrzeugs, der nicht vom Fahrzeug besetzt wird, und Zusammenführen von den ersten und der zweiten Daten, abhängig von der Position und/oder Bewegung, insbesondere von
Relativbewegung von Texturen oder unbeweglicher Objekte in den ersten Daten und/oder in den zweiten Daten ermittelt werden.
Dabei können die Einzelbilder aus den ersten Daten, repräsentierend den ersten Teil der Umgebung abhängig von den Zeitpunkten abgerufen werden, zu welchen eine Übereinstimmung der Position oder Bewegung von Texturen der Umgebung mit den zweiten Daten, repräsentierend den zweiten Teil der
Umgebung festgestellt wird.
Dabei kann ein solcher, insbesondere variabler zeitlicher Versatz zwischen den ersten Daten und den zweiten Daten, insbesondere zwischen den einzelnen Bildern aus den ersten Daten erzeugt werden, dass eine Relativbewegung eines stehenden Objekts oder einer stehenden Textur in der Anzeige im ersten Teil der Darstellung und im zweiten Teil der Darstellung passend zueinander erfolgt.
Bei dieser Variante des Verfahrens müssen die zweiten Daten übrigens nicht unbedingt angezeigt werden; diese können auch ausschließlich zur Orientierung und einer zeitlichen Zuordnung der Bilder aus den ersten Daten dienen!
A7. Verfahren nach einem der vorangegangenen Aspekte, bei dem eine Anzeige des ersten Teils der Darstellung oder der gesamten Darstellung abhängig von den vorausbestimmten Bedingungen erfolgt, die insbesondere abhängig sind vom:
• Befahren einer Offroad-Strecke bzw. eines Off road- Bereichs der Umgebung die stattfindet oder kurz bevorsteht, und/oder
• einem erfolgten oder kurz bevorstehenden Annähern oder Überfahren einer Geländekrümmung, die ein vorausbestimmtes Maß überschreitet, und/oder • beim Erkennen vertikaldynamischer Einflüsse auf das Fahrzeug, die ein vorausbestimmtes Maß überschreiten oder einem vorausbestimmten Muster entsprechen.
Die erste vorausbestimmte Bedingung kann dabei anhängig von den Daten eines Navigationssystems und/oder der Fahrzeugsensorik, insbesondere
Inertialsensorik, Kamerasensorik oder Vertikaldynamik-Sensorik ermittelt werden. Auch kann ein Bedienelement ausgelesen werden.
Die zweite vorausbestimmte Bedingung kann abhängig von der sensorischen Erfassung einer Geländekrümmung ermittelt werden.
Die beiden vorausbestimmten Bedingungen sind in dieser Erfindung ziemlich wichtig, denn in vielen anderen Use-Cases wäre das Erzeugen einer solchen Anzeige ein eine eher störende, redundante Information die auch noch die Rechenressourcen frisst.
Die Geländekrümmungen können z.B. Bordsteine, Schlaglöcher, Wölbungen (auch Wellen), unbewegliche auf dem Gelände liegende Objekte etc. sein.
A8. Verfahren nach einem der vorangegangenen Aspekte, umfassend
Einblenden von einem oder mehreren grafischen Elementen, zumindest in den ersten Teil der Darstellung, repräsentierend zumindest eine aktuelle Ausrichtung und/oder eine vorausgesagte künftigen Reifenposition von den Vorderräder des Fahrzeugs, insbesondere repräsentierend eine vorausermittelte Trajektorie der des Fahrzeugs;
Ein wesentliches Merkmal des Resultats: Es wird eine Darstellung aus Daten, die aus einer nahen Vergangenheit stammen und einer Grafik, (z.B. eine
vorausermittelte Trajektorien) die sich auf die nahe Zukunft bezieht, innerhalb einer Anzeige und des aktuellen Zeitpunkts kombiniert. Dies erfolgt bevorzugt so, dass die zeitlichen und räumlichen Gegebenheiten zu mehreren Zeitpunkten in der nahen Zukunft minimale Abweichung von der dann gültigen Realität, insbesondere räumlichen Verhältnissen ergeben A9. Verfahren nach einem der vorangegangenen Aspekte, umfassend
Einblenden von einem oder mehreren grafischen Elementen, zumindest in den ersten Teil der Darstellung, repräsentierend zumindest eine aktuelle Ausrichtung und/oder eine vorausgesagte künftigen Reifenposition von den Hinterräder des Fahrzeugs, insbesondere repräsentierend eine vorausermittelte Trajektorie der Hinterräder des Fahrzeugs.
Dabei können Sie z.B. sehen in welcher räumlichen Relation sich Ihre
Hinterreifen, z.B. im Bezug auf einen Geländeartefakt, z.B. Bordstein steht UND wie eine voraussichtliche räumliche Relation bei einem bestimmten
Lenkeinschlag sein wird.
A10. Verfahren zur Darstellung eines Geländebereichs unter einem Fahrzeug, bei dem: Daten zu einem ersten Teil der Darstellung erzeugt werden zu einem ersten Geländeteil, der in den nahen Zukunft unter dem Fahrzeug sein wird; Daten zu einem zweiten Teil der Darstellung erzeugt werden, repräsentierend einen zweiten Geländeteil in der Umgebung des Fahrzeugs, der nicht vom Fahrzeug besetzt wird; eine Kombination aus einer Darstellung eines Teils der Daten und Darstellung der zweiten Daten auf einer Anzeige derart, dass das der erster Geländeteil und der zweiter Geländebereich sich in einer vordefinierten räumlichen Relation zu mehreren Zeitpunkten dargestellt werden.
Es folgt die Beschreibung eines Ausführungsbeispiels, mit beispielhaften Merkmalen, die mit weiteren oben beschriebenen Merkmalen kombinierbar sind:
Daten zu einem ersten Teil der Darstellung erzeugt werden zu einem ersten Geländeteil, der in der nahen Zukunft unter dem Fahrzeug sein wird;
Daten zu einem zweiten Teil der Darstellung erzeugt werden, repräsentierend einen zweiten Geländeteil in der Umgebung des Fahrzeugs, der nicht vom Fahrzeug besetzt wird;
Wenn vorausbestimmte Bedingungen erfüllt sind, dann erfolgt Folgendes: Zusammenführen von den ersten und zweiten Daten, abhängig von der geometrischen Relation zwischen dem ersten Geländebereich und dem zweiten Geländeteil,
Dabei kann das Ausgeben der ersten Daten einen, insbesondere vordefinierten, zeitlichen Versatz zum Ausgeben der zweiten Daten aufweisen.
Das Zusammenführen kann sich auf die Anzeigezeitpunkte und/oder auf die geometrische Anpassung des ersten Teils der Abbildung und des zweiten Teils der Abbildung zueinander ausgestaltet sein. Sprich: das zumindest eine
Umgebungsbilds von dem vom Fahrzeug besetzten Bereich und des eines vom Fahrzeug nicht besetzten Bereichs sehen in der Anzeige als eine Fortsetzung voneinander, welche insbesondere durch ein Trennelement getrennt werden können.
Das Zusammenführen kann ein Zuordnen der Bildränder des im Wesentlichen angrenzenden ersten Teils des Darstellung und eines zweiten Teils der
Darstellung umfassen. Dieses kann auch ähnlich einem„Stichen" zweier Einzelfotos beim Erzeugen eines Panoramabildes ausgestaltet sein.
Eine Kombination aus einem Umgebungsbild, repräsentierend einen vom Fahrzeug besetzten Bereich der Umgebung und einen Bereich der Umgebung außerhalb des vom Fahrzeug besetzten Bereichs wird, bevorzugt innerhalb einer Darstellung bzw. Anzeigevorrichtung ausgegeben (angezeigt);
Ferner umfasst die angezeigte Darstellung bevorzugt zumindest eine Grafik die eine oder Mehrere Abmessungen des Fahrzeugs repräsentiert, in diesem Beispiel eine symbolische Kontur des Fahrzeugs als eine Linie. Insbesondere trennt diese Grafik die Teile der Anzeige, die den ersten Geländeteil und den zweiten Geländeteil repräsentieren.
Alternativ können Abmessungen des Fahrzeugs als ein räumlich anmutendes Gebilde passend zu einer oder mehreren Formen des Fahrzeugs repräsentiert werden. Somit kann der Fahrer klar unterscheiden, welche Hindernisse unter den Fahrzeugunterboden dürfen und welche nicht.
Es folgen die Beispiele der vorausbestimmten Bedingungen:
Vorausbestimmte Bedingungen 1 :
Mit Mitteln des Fahrzeugs ermittelt wird, dass ein das Befahren einer Offroad- Strecke stattfindet oder bevorsteht;
Dies kann anhängig von den Daten eines Navigationssystems und/oder der Fahrzeugsensorik, insbesondere Inertialsensorik, Kamerasensorik oder Vertikaldynamik-Sensorik ermittelt werden, auch kann ein Bedienelement ausgelesen werden.
Vorausbestimmte Bedingung 2:
Mit Mitteln des Fahrzeugs ermittelt wird, dass ein Überfahren einer
Geländekrümmung die ein vorausbestimmtes Maß überschreitet in der nahen Zukunft bevorsteht.
Die beiden vorausbestimmten Bedingungen sind in dieser Erfindung ziemlich wichtig, denn in vielen anderen Use-Cases wäre das Erzeugen einer solchen Anzeige ein eine eher störende, redundante Information die auch noch die Rechenressourcen frisst.
Vorausbestimmte Bedingung 3:
Vertikaldynamiksensoren und/oder Inertialsensoren des Fahrzeugs erfassen bzw. erkennen einen verhältnismäßig starken Einfluss, z.B. eine deutlich veränderte (ungleichmäßige) Krafteinwirkung auf zumindest ein Rad des Fahrzeugs und/oder ein die Wanken oder Nicken des Fahrzeugs.
Vorausbestimmte Bedingung 4: Erkennen eines Bedienungsaktion des Fahrers, insbesondere eines Bedienungs- Musters, bei dem insbesondere von einem beabsichtigten Park- oder Rangier, oder Wendemanöver ausgegangen werden kann.
Dabei ergeben sich unter Anderem folgende Vorteile:
• Orientierung und Unterstützung beim Einparken und Rangieren.
• Unterstützung beim Befahren von Offroad-Strecken ohne aufwändige
Aufrüstung des Fahrwerks des Fahrzeugs. Verbesserung der subjektiven und subjektiven Sicherheit
• Felgenschutz, Reifenschutz, Unterbodenschutz.
• Das Ausgeben bzw. Bereitstellen der Bilder bzw. Bildfolgen kann auch
automatisch situationsabhängig aktivierbar bzw. verfügbar gemacht werden;
• Reduktion der für das Verfahren benötigter Hardwareressourcen.
Bezugszeichenliste:
1 Fahrzeug
2 Vorrichtung
3 Kamera
Umgebungsdaten
5 erster Umfeldbereich
6 Fahrzeuguntergrunddaten
7 Peripheriedaten
8 Randdaten

Claims

Patentansprüche:
1 . Verfahren zur Ermittlung von Daten, die eine Umgebung unterhalb eines Fahrzeugs (1 ) repräsentieren, gekennzeichnet durch die Schritte:
• Erfassen von Umfelddaten (4), die zumindest einen Teil der
Umgebung des Fahrzeugs (1 ) repräsentieren,
• Zuordnen von Positionsinformationen zu den Umfelddaten (4),
• Bestimmen eines Positionsparameters des Fahrzeugs (1 ),
• Bestimmen von Fahrzeuguntergrunddaten (6) aus den Umfelddaten (4), deren Positionsinformationen mit dem Positionsparameter des Fahrzeugs (1 ) übereinstimmen, sodass die Fahrzeuguntergrunddaten (6) einen Bereich der Umgebung des Fahrzeugs (1 ) repräsentieren, über dem sich das Fahrzeug (1 ) aktuell befindet, und
• Bereitstellen der Fahrzeuguntergrunddaten (6) und/oder Ausgeben der Fahrzeuguntergrunddaten (6).
2. Verfahren nach Anspruch 1 , gekennzeichnet durch die Schritte:
• Erfassen eines Bewegungsparameters, der eine Bewegung des Fahrzeugs (1 ) repräsentiert,
• Bestimmen von Umfelddaten für einen ersten Umfeldbereich (5) aus den Umfelddaten (4), wobei der erster Umfeldbereich (5) einen Abschnitt aus der Umgebung des Fahrzeugs (1 ) repräsentiert, der aufgrund des Bewegungsparameters mit einer vordefinierten
Wahrscheinlichkeit zukünftig von dem Fahrzeug (1 ) überdeckt wird, wobei die Fahrzeuguntergrunddaten (6) zumindest teilweise aus den Umfelddaten für einen ersten Umfeldbereich (5) bestimmt werden.
3. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch die Schritte: • Bestimmen von Peripheriedaten (7), wobei die Peripheriedaten (7) einen Abschnitt aus der Umgebung repräsentieren, der aktuell nicht unter dem Fahrzeug (1 ) liegt,
• Zusammenführen der Peripheriedaten (7) und der
Fahrzeuguntergrunddaten (6), und
• Ausgeben der zusammengeführten Peripheriedaten (7) und
Fahrzeuguntergrunddaten (6).
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das
Zusammenführen der Peripheriedaten (7) und der
Fahrzeuguntergrunddaten (6) ein zeitliches und/oder räumliches
Zusammenführen umfasst, wobei das räumliche Zusammenführen insbesondere ein Bestimmen einer geometrischen Relation zwischen Peripheriedaten (7) und Fahrzeuguntergrunddaten (6), und eine geometrische Transformation der Peripheriedaten (7) und/oder der Fahrzeuguntergrunddaten (6) basierend auf der geometrischen Relation umfasst.
5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass
Zusammenführen der Peripheriedaten (7) und der
Fahrzeuguntergrunddaten (6) ein Erkennen und/oder Identifizieren und/oder Zuordnen von Texturen und/oder unbeweglichen Objekten in den Peripheriedaten (7) und/oder Fahrzeuguntergrunddaten (6) und ein Homogenisieren von Peripheriedaten (7) und Fahrzeuguntergrunddaten (6) anhand der Texturen und/oder der unbeweglichen Objekte umfasst.
6. Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass eine geometrische Transformation, insbesondere ein virtuelles perspektivischen Verhältnis, der Bilder der Fahrzeugunterbodendaten (6) und/oder der Bilder der Peripheriedaten (7) zumindest in einem
Grenzbereich der beiden Anzeigeteile angepasst wird, insbesondere derart, dass der Grenzbereich der Anzeige der Fahrzeugunterbodendaten (6) und der Anzeige der Peripheriedaten (7) eine im Wesentlichen übergangslose oder visuell nachvollziehbare Fortsetzung der Texturen der Umgebung darstellen.
7. Verfahren nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass eine geometrische Transformation, insbesondere ein virtuelles perspektivischen Verhältnis, der Bilder repräsentierend die
Fahrzeuguntergrunddaten (6) angepasst wird, insbesondere abhängig:
• vom perspektivischen Verhältnis in dem ein anderer Teil der
Darstellung repräsentiert wird, und/oder
• von einer erkannten Gefahrenstelle im Bezug auf einen Teil des Fahrzeugs, insbesondere im Bezug auf zumindest ein Rad des Fahrzeugs.
8. Verfahren nach einem der Ansprüche 3 bis 7, dadurch gekennzeichnet, dass eine geometrische Transformation, insbesondere ein virtuelles perspektivischen Verhältnis, der Bilder der Fahrzeugunterbodendaten (6) und/oder der Bilder der Peripheriedaten zumindest in einem Grenzbereich der beiden Anzeigeteile angepasst wird, insbesondere derart, dass der Grenzbereich der Anzeige der Fahrzeugunterbodendaten (6) und der Anzeige der Peripheriedaten (7) eine übergangslose oder visuell nachvollziehbare Fortsetzung der Texturen der Umgebung darstellen.
9. Verfahren nach einem der Ansprüche 3 bis 8, dadurch gekennzeichnet, dass ein Teil der Umgebung des Fahrzeugs (1 ) der sich außerhalb des vom Fahrzeug (1 ) überdeckten Teils der Umgebung in der Nähe der Kontur des Fahrzeugs (1 ) befindet, aus den Fahrzeuguntergrunddaten (6) der Darstellung erzeugt wird, wobei eine Anpassung geometrischer und/oder perspektivischer Parameter der Fahrzeuguntergrunddaten (6) und/oder der Peripheriedaten (7) erfolgt, so dass die Texturen der Fahrzeuguntergrunddaten (6) passend zu den Texturen der
Peripheriedaten angezeigt und/oder bereitgestellt werden.
10. Verfahren nach einem der der Ansprüche 3 bis 9, dadurch
gekennzeichnet, dass die Darstellung auch zumindest eine Grafik umfasst, die die Abmessungen des Fahrzeugs (1 ), insbesondere eine Kontur des Fahrzeugs (1 ), zumindest symbolisch repräsentiert, wobei die Grafik bevorzugt die Grenze zwischen den Teilen der Anzeige zu den Fahrzeuguntergrunddaten (6) und den Teilen der Anzeigen zum den Peripheriedaten (7) repräsentiert.
1 1 . Verfahren nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass Radinformationen, insbesondere eine aktuellen Ausrichtung und/oder eine aktuellen Position und/oder eine
vorausgesagten Position zumindest eines Rads des Fahrzeugs (1 ), gemeinsam mit den Fahrzeuguntergrunddaten (6) ausgegeben werden.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass die Fahrzeuguntergrunddaten (6) auf einer Anzeigevorrichtung angezeigt werden, wenn ein vordefiniertes Ereignis, wie insbesondere ein Befahren einer unebenen Strecke und/oder ein Annähern an ein Hindernis und/oder ein Überschreiten von vordefinierten vertikaldynamischen Einflüssen, eintritt oder für die nahe Zukunft ermittelt wird.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass die Fahrzeuguntergrunddaten (6), die
Peripheriedaten (7) und/oder homogenisierte Peripheriedaten drahtlos an ein mobiles Anwendergerät des Nutzers bereitgestellt werden und ein Bildinhalt auf einem mobilen Anwendergerät abhängig von den übermittelten Daten generiert wird.
14. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der
Positionsparameter und/oder Bewegungsparameter eine resultierende Bewegung und/oder eine resultierende Position des Fahrzeugs (1 ), insbesondere von mehreren aufeinanderfolgenden Bewegungen des Fahrzeugs (1 ), handelt.
15. Verfahren nach einem der vorangegangenen Ansprüche, dadurch
gekennzeichnet, dass eine Kombination aus einem Umgebungsbild, repräsentierend einen ersten Teil der Umgebung, der vom Fahrzeug aktuell überdeckt wird, und eines zweiten Teil der Umgebung, der aktuell außerhalb des vom Fahrzeug überdeckten Teils der Umgebung ist, bevorzugt innerhalb einer Darstellung und/oder Anzeigevorrichtung, ausgegeben werden.
16. Computerprogrammprodukt umfassend Instruktionen, welche, wenn Sie auf einem programmierbaren Prozessor eines Steuergeräts ausgeführt werden, den Prozessor veranlassen, die Schritte eines Verfahrens nach einem der vorhergehenden Ansprüche durchzuführen.
17. Vorrichtung (2) für ein Fahrzeug (1 ) zum Ermitteln von
Fahrzeuguntergrunddaten die zumindest einen Geländeteil unterhalb eines Fahrzeugs (1 ) repräsentieren, ausgestaltet zum
Erfassen von Umfelddaten (4), die zumindest einen Teil der Umgebung des Fahrzeugs (1 ) repräsentieren, ferner ausgestaltet zum Bestimmen eines Positionsparameters des Fahrzeugs (1 ), ferner ausgestaltet zum Bestimmen von Fahrzeuguntergrunddaten (6) aus den Umfelddaten (4), deren Positionsinformationen mit der aktuellen Position des Fahrzeugs (1 ) übereinstimmen, sodass die Fahrzeuguntergrunddaten (6) einen Bereich der Umgebung des Fahrzeugs (1 ) repräsentieren, über dem sich das Fahrzeug (1 ) aktuell befindet, ferner ausgestaltet zum Bereitstellen der Fahrzeuguntergrunddaten (6) und/oder Ausgeben der
Fahrzeuguntergrunddaten (6).
PCT/EP2017/059878 2016-05-17 2017-04-26 Ermittlung von fahrzeugumgebungsdaten WO2017198429A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/193,981 US20190100141A1 (en) 2016-05-17 2018-11-16 Ascertainment of Vehicle Environment Data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016208369.4 2016-05-17
DE102016208369.4A DE102016208369A1 (de) 2016-05-17 2016-05-17 Verfahren zur Ermittlung von Daten, die einen Teil der Umgebung unterhalb des Fahrzeugs repräsentieren

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/193,981 Continuation US20190100141A1 (en) 2016-05-17 2018-11-16 Ascertainment of Vehicle Environment Data

Publications (1)

Publication Number Publication Date
WO2017198429A1 true WO2017198429A1 (de) 2017-11-23

Family

ID=58640866

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/059878 WO2017198429A1 (de) 2016-05-17 2017-04-26 Ermittlung von fahrzeugumgebungsdaten

Country Status (3)

Country Link
US (1) US20190100141A1 (de)
DE (1) DE102016208369A1 (de)
WO (1) WO2017198429A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107878330A (zh) * 2017-12-06 2018-04-06 湖北航天技术研究院特种车辆技术中心 一种车辆底盘透视方法以及车辆底盘透视装置
CN110667474A (zh) * 2018-07-02 2020-01-10 北京四维图新科技股份有限公司 通用障碍物检测方法、装置与自动驾驶***

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019212124B4 (de) 2019-08-13 2023-09-14 Audi Ag Kraftfahrzeug und Verfahren zum Betrieb eines Kraftfahrzeugs
DE102022104134B4 (de) 2022-02-22 2023-09-21 Holoride Gmbh Verfahren und Prozessorschaltung und Computerprogramm zum Steuern einer Datenbrille zur routenadaptiven Wiedergabe einer Abfolge von vorgegebenen Ereignissen in einer virtuellen Umgebung während einer Fahrt eines Kraftfahrzeugs sowie zugehörige Datenbrille

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005001570A (ja) * 2003-06-12 2005-01-06 Equos Research Co Ltd 駐車支援装置
US20060271278A1 (en) * 2005-05-26 2006-11-30 Aisin Aw Co., Ltd. Parking assist systems, methods, and programs
JP2007096496A (ja) * 2005-09-27 2007-04-12 Clarion Co Ltd 車両周囲表示システム
DE102011079703A1 (de) * 2011-07-25 2013-01-31 Robert Bosch Gmbh Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs
EP2660104A2 (de) * 2010-12-30 2013-11-06 Wise Automotive Corporation Vorrichtung und verfahren zur anzeige eines toten winkels
DE102014204872A1 (de) * 2014-03-17 2015-09-17 Volkswagen Aktiengesellschaft Anzeigen von Umgebungsinformationen in einem Fahrzeug
EP2963922A1 (de) * 2013-02-28 2016-01-06 Aisin Seiki Kabushiki Kaisha Programm und vorrichtung zur steuerung eines fahrzeugs
DE102015212370A1 (de) * 2015-07-02 2017-01-05 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen einer Darstellung einer Fahrzeugumgebung eines Fahrzeuges

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008034606A1 (de) * 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung der Umgebung eines Fahrzeugs auf einer mobilen Einheit
DE102010051206A1 (de) * 2010-11-12 2012-05-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
DE102013019371A1 (de) * 2013-11-19 2015-05-21 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems zum Schutz eines Kraftfahrzeugs vor Beschädigungen bei einem Rangiervorgang und Kraftfahrzeug
KR20150113589A (ko) * 2014-03-31 2015-10-08 팅크웨어(주) 전자 장치 및 그의 제어 방법
DE102014006547A1 (de) * 2014-05-06 2015-11-12 Audi Ag Fahrerassistenzsystem für ein Kraftfahrzeug und Verfahren zum Ausgeben einer Warnung
DE102014009591A1 (de) * 2014-06-27 2015-12-31 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs und Kraftfahrzeug

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005001570A (ja) * 2003-06-12 2005-01-06 Equos Research Co Ltd 駐車支援装置
US20060271278A1 (en) * 2005-05-26 2006-11-30 Aisin Aw Co., Ltd. Parking assist systems, methods, and programs
JP2007096496A (ja) * 2005-09-27 2007-04-12 Clarion Co Ltd 車両周囲表示システム
EP2660104A2 (de) * 2010-12-30 2013-11-06 Wise Automotive Corporation Vorrichtung und verfahren zur anzeige eines toten winkels
DE102011079703A1 (de) * 2011-07-25 2013-01-31 Robert Bosch Gmbh Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs
EP2963922A1 (de) * 2013-02-28 2016-01-06 Aisin Seiki Kabushiki Kaisha Programm und vorrichtung zur steuerung eines fahrzeugs
DE102014204872A1 (de) * 2014-03-17 2015-09-17 Volkswagen Aktiengesellschaft Anzeigen von Umgebungsinformationen in einem Fahrzeug
DE102015212370A1 (de) * 2015-07-02 2017-01-05 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen einer Darstellung einer Fahrzeugumgebung eines Fahrzeuges

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107878330A (zh) * 2017-12-06 2018-04-06 湖北航天技术研究院特种车辆技术中心 一种车辆底盘透视方法以及车辆底盘透视装置
CN110667474A (zh) * 2018-07-02 2020-01-10 北京四维图新科技股份有限公司 通用障碍物检测方法、装置与自动驾驶***

Also Published As

Publication number Publication date
DE102016208369A1 (de) 2017-12-07
US20190100141A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
DE102009005505B4 (de) Verfahren und Vorrichtung zur Erzeugung eines Abbildes der Umgebung eines Kraftfahrzeugs
EP3328686B1 (de) Verfahren und vorrichtung zum anzeigen einer umgebungsszene eines fahrzeuggespanns
DE102014107158B4 (de) Verbesserte Top-Down-Bilderzeugung in einem Frontbordstein-Visualisierungssystem
DE102014107155B4 (de) Verbessertes Frontbordstein-Visualisierungssystem
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
DE102014107156B4 (de) System und Verfahren zum Bereitstellen einer verbesserten perspektivischen Bilderzeugung in einem Frontbordstein-Visualisierungssystem
DE102017111530A1 (de) Systeme und Verfahren für ein Zugfahrzeug und einen Anhänger mit Rundumsichtbildgeräten
EP2637898A1 (de) Verfahren zum erzeugen eines bilds einer fahrzeugumgebung und abbildungsvorrichtung
EP1480187A2 (de) Kamerabasierte Positionserkenung für ein Strassenfahrzeug
DE19947766A1 (de) Einrichtung zur Überwachung der Umgebung eines einparkenden Fahrzeugs
WO2016005232A1 (de) Zusammenfügen von teilbildern zu einem abbild einer umgebung eines fortbewegungsmittels
DE102013205882A1 (de) Verfahren und Vorrichtung zum Führen eines Fahrzeugs im Umfeld eines Objekts
WO2017198429A1 (de) Ermittlung von fahrzeugumgebungsdaten
WO2010037643A1 (de) Verfahren zum betreiben einer fahrerassistenzeinrichtung
DE102017108254B4 (de) Rundumsichtkamerasystem zur Objekterkennung und -verfolgung und Verfahren zum Ausstatten eines Fahrzeugs mit einem Rundumsichtkamerasystem
DE102010051204A1 (de) Verfahren zum Darstellen eines Hindernisses und Abbildungsvorrichtung
WO2012003942A2 (de) Verfahren und vorrichtung zur fahrerunterstützung beim fahren und/oder rangieren eines fahrzeugs
DE102018108751B4 (de) Verfahren, System und Vorrichtung zum Erhalten von 3D-Information von Objekten
DE102021132949A1 (de) Umgebungsbild-Anzeigevorrichtung und Anzeigesteuerverfahren
DE102015202863A1 (de) Verfahren und Vorrichtung zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges
DE102016208370A1 (de) Verfahren zum Ermitteln von Daten, die eine Umgebung unterhalb eines Fahrzeugs repräsentieren
DE102013010233B4 (de) Verfahren zum Anzeigen von Umgebungsinformationen in einem Fahrzeug und Anzeigesystem für ein Fahrzeug
EP3704631A2 (de) Verfahren zur ermittlung einer entfernung zwischen einem kraftfahrzeug und einem objekt
DE102016208368A1 (de) Verfahren, Vorrichtung und ein mobiles Anwendergerät zum Erzeugen einer Fahrerinformation im Zusammenhang mit zumindest einem Geländeartefakt
EP3817967A1 (de) Verfahren zur unterstützung bei einem rangiermanöver eines gespanns aus zugfahrzeug und anhänger, system und gespann

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17720082

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17720082

Country of ref document: EP

Kind code of ref document: A1