WO2023104617A1 - Verfahren zum vermessen einer umgebung eines kraftfahrzeugs - Google Patents

Verfahren zum vermessen einer umgebung eines kraftfahrzeugs Download PDF

Info

Publication number
WO2023104617A1
WO2023104617A1 PCT/EP2022/083997 EP2022083997W WO2023104617A1 WO 2023104617 A1 WO2023104617 A1 WO 2023104617A1 EP 2022083997 W EP2022083997 W EP 2022083997W WO 2023104617 A1 WO2023104617 A1 WO 2023104617A1
Authority
WO
WIPO (PCT)
Prior art keywords
ultrasonic
motor vehicle
point
classification
echo signal
Prior art date
Application number
PCT/EP2022/083997
Other languages
English (en)
French (fr)
Inventor
Henrik Starkloff
Andreas Walz
Mohamed Elamir Mohamed
Michael Hallek
Original Assignee
Valeo Schalter Und Sensoren Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter Und Sensoren Gmbh filed Critical Valeo Schalter Und Sensoren Gmbh
Priority to CN202280080839.3A priority Critical patent/CN118355291A/zh
Priority to KR1020247018839A priority patent/KR20240097930A/ko
Publication of WO2023104617A1 publication Critical patent/WO2023104617A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G01S15/10—Systems for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G01S15/876—Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • G01S15/878—Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector wherein transceivers are operated, either sequentially or simultaneously, both in bi-static and in mono-static mode, e.g. cross-echo mode
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/527—Extracting wanted echo signals
    • G01S7/5273—Extracting wanted echo signals using digital techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/46—Indirect determination of position data
    • G01S2015/465—Indirect determination of position data by Trilateration, i.e. two transducers determine separately the distance to a target, whereby with the knowledge of the baseline length, i.e. the distance between the transducers, the position data of the target is determined

Definitions

  • the present invention relates to ultrasonic measuring technology in motor vehicles and, in particular, to a method for measuring an area surrounding a motor vehicle with one or more ultrasonic transceivers.
  • Motor vehicles are equipped with ultrasonic transceivers, which emit ultrasonic transmission signals into the surroundings of the motor vehicle and receive ultrasonic reception signals from the surroundings of the motor vehicle.
  • a distance to the object in the vicinity of the motor vehicle is determined on the basis of a signal propagation time between the transmission of an ultrasonic transmission signal and the occurrence of an ultrasonic echo in the ultrasonic reception signal, which is due to a reflection of the ultrasonic transmission signal on an object in the vicinity of a motor vehicle.
  • Possible positions of the object, or more precisely of the reflection point form an ellipse whose focal points form the positions of the transmitting and the receiving ultrasonic transceiver and whose semimajor axis corresponds to the determined distance.
  • the actual position of the reflection point is then determined by trilateration or the like using a number of ellipses obtained at different measurement positions.
  • trilateration and the like the problem arises that an object that is essentially point-shaped when viewed in two dimensions, such as a post, is essentially located at the intersection of the ellipses determined from different measurement positions, since in this case the reflections in the multiple measurements are all in the take place essentially at the same point.
  • an extended object such as a wall is usually arranged along a tangent to the ellipses obtained at the various measurement positions, since in this case the multiple reflections usually occur at different points of the extended object.
  • the object of the invention is to further improve the measurement of an environment of a motor vehicle by means of ultrasound.
  • a method for measuring the surroundings of a motor vehicle which has a number of ultrasonic transceivers.
  • the method comprises: a) controlling the number of ultrasonic transceivers for emitting ultrasonic transmit signals into the area surrounding the motor vehicle and receiving ultrasonic received signals from the area surrounding the motor vehicle; b) identifying a plurality of ultrasound echoes in the received ultrasound signals received and acquiring a respective echo signal representation for each of the identified ultrasound echoes; c) determining a classification of each of the plurality of echo signal representations as a reflection of the ultrasonic transmission signal on a punctiform object or as a reflection of the ultrasonic transmission signal on a linear object; and d) generating a number of object features, which indicate a respective object in the area surrounding the motor vehicle, based on the plurality of ultrasonic echoes, taking into account the classifications of the plurality of echo signal representations.
  • the proposed method is based on the idea that, based on a signal form of an individual echo signal (a section of the ultrasonic received signal arranged around an ultrasonic echo), conclusions can be drawn as to whether the ultrasonic echo is due to a reflection of the ultrasonic transmitted signal on an essentially punctiform object or on a reflection of the ultrasonic transmission signal is due to an extended object.
  • This can be caused, for example, by differences in the geometry, in the surface texture and the like, more typically in a two-dimensional view. be approximately point-like objects, such as posts, corners of buildings and the like, on the one hand, and line-like objects, such as extended walls and walls and the like, on the other hand.
  • the object features which at least indicate a position of the respective object in the area surrounding the motor vehicle include, to be determined correctly either on the basis of tangents to or on the basis of intersections of the particular ellipses.
  • an accuracy of the surroundings measurement can be advantageously improved.
  • An ultrasonic transmission signal can in particular be an impulse applied to a carrier frequency.
  • a received ultrasound signal can be received and preferably recorded over a predefined period of time after the transmission of the ultrasound signal.
  • the ultrasonic transmission signal is transmitted with one of the ultrasonic transceivers.
  • the associated ultrasound reception signal can be received with the same or with a different one of the ultrasound transceivers. That is, a transmitting and a receiving ultrasonic transceiver can be identical or different in a respective measurement. Several measurements can be carried out one after the other or, for example using different carrier frequencies, also simultaneously with different ultrasonic transceivers.
  • the motor vehicle is equipped with only a single ultrasonic transceiver. In this case, at least two measurements are carried out while the motor vehicle is moving, so that the ultrasonic transceiver is arranged at different positions relative to a stationary object in the vicinity of the motor vehicle for the different measurements.
  • the motor vehicle preferably has several, for example four, eight or twelve, ultrasonic transceivers on each side of the vehicle. In this case, at least two measurements can also be carried out when the motor vehicle is stationary using different ultrasonic transceivers.
  • An ultrasonic echo is to be understood in particular as a reflection of the ultrasonic transmission signal on an object in the vicinity of the motor vehicle.
  • the ultrasonic echo can be identified in the measured ultrasonic received signal or in a recording thereof based on the occurrence of an amplitude maximum, for example using a threshold filter.
  • further and complex signal analysis techniques can also be used for identification, which, in addition to an amplitude, also take into account a signal form of a peak at the amplitude maximum and the like.
  • the result of the identification can be a point in time at which the ultrasonic echo occurs or a transit time of the ultrasonic transmission signal between the transmission of the ultrasonic transmission signal by the transmitting ultrasonic transceiver and the receipt of the ultrasonic echo by the receiving ultrasonic transceiver. If further steps of the method take place "based on an ultrasonic echo", this also means in particular "based on the temporal occurrence of the ultrasonic echo in the associated ultrasonic received signal” and/or “based on a signal propagation time of the ultrasonic transmitted signal until the ultrasonic echo occurs" and/or "by a measured distance".
  • an "echo signal representation” is a digital representation of a portion of the
  • the echo signal representation can include a number of sampled values of the received ultrasound signal and/or an amplitude envelope of the received ultrasound signal. "Capturing" the echo signal representation is in particular the generation of the digital representation using the ultrasonic received signal.
  • the identification of the ultrasound echo can also already take place on a digital representation of the ultrasound received signal; in this case, “capturing” the echo signal representation can be understood to mean the provision of a corresponding section of the digital representation of the received ultrasound signal.
  • point and line refer to an idealized shape of the actual object when viewed two-dimensionally in a horizontal plane. This means that the object actually located in the environment does not actually have to be point-shaped or line-shaped. Rather, classification as a "point object” or as a “line object” means that the actual object is described by a two-dimensional point object feature or by a two-dimensional line object feature for the purposes of the method and is thus described with sufficient accuracy.
  • Point-like objects are objects for which the ultrasonic transmission signal is reflected at essentially the same point of the object in the case of different measurements that are carried out with ultrasonic transceivers at different positions.
  • substantially the same means anything that is within an acceptable range
  • Line-shaped objects are walls, walls, and the like.
  • objects are classified as “lines” that can be described by two two-dimensional coordinates, or by one one-dimensional coordinate, a length specification and an angle specification, or the like.
  • linear objects are objects for which the ultrasonic transmission signal is reflected at different points of the object in different measurements that are carried out at different positions of the ultrasonic transceivers involved.
  • the term “object in the area surrounding the motor vehicle” is also based on the representations of the area formed by the object features and not on the object that is actually present.
  • a single object that is actually present such as a building positioned diagonally to the motor vehicle, could be used in the proposed method as a first line-shaped object (first wall), a point-shaped object (corner of the building) and a second line-shaped object (second wall on the other side of the corner) are described.
  • a non-rectilinear object could be approximated by several linear objects.
  • the classification can be done using heuristic databases, by comparison with reference signal representations, by identifying characteristic signal shapes and/or using a neural network, with artificial intelligence and the like.
  • An object feature can be understood as a data set that includes a number of data elements with information about at least one position and preferably further information about the location and orientation of a respective object in the area surrounding the motor vehicle.
  • an object feature is a data record that enables the reconstruction of a two-dimensional representation of a punctiform or linear object on a two-dimensional map of the area surrounding the motor vehicle.
  • a map of the measured surroundings of the motor vehicle can thus be interpreted as a two-dimensional plot of all specific object features.
  • a map determined in this way can be used, for example, to determine whether and to what extent a door of the motor vehicle can be opened. Thanks to the improved accuracy of the proposed method, door damage can be avoided more reliably.
  • the position and the like of a respective object in the area surrounding the motor vehicle can be determined by trilateration or the like of a plurality of measurements.
  • a respective "measurement” includes in particular an identified ultrasonic echo, the associated echo signal representation, and preferably topological parameters of an associated measurement arrangement consisting of a transmitting and a receiving ultrasonic transceiver, with which the ultrasonic echo was generated and measured.
  • the classification of the echo signal representation can be taken into account here, for example, when selecting the measurements used for the trilateration or the like and/or when selecting a suitable trilateration technique, for example intersection point formation or tangent fitting. In this way, the object features can advantageously be determined particularly precisely.
  • the respective echo signal representation includes a number of samplings of an envelope curve of the corresponding ultrasonic received signal before and after a temporal occurrence of the corresponding ultrasonic echo.
  • Such a data-reduced echo signal representation of the respective ultrasonic echo advantageously transports enough information to enable the echo signal representation to be classified as an ultrasonic echo of a punctiform or line-shaped object, while on the other hand it saves enough data to efficiently enable classification using neural networks and the like.
  • the envelope is in particular an amplitude envelope.
  • the number of scans of the envelope curve before the ultrasonic reception signal is preferably 50, particularly preferably 25 and particularly preferably 10.
  • the number of samplings of the envelope curve after the ultrasonic reception signal is preferably 100, particularly preferably 50 and particularly preferably 20.
  • a sampling rate can be suitably selected in this case, so that the echo signal representation essentially includes the entire ultrasonic echo from the moment the envelope curve rises until the envelope curve decays below a predefined threshold value.
  • step c) takes place using a classification device trained by means of machine learning, which is provided with at least the respective echo signal representation as input data and whose output data represent the classification.
  • the inventors have recognized that by using a classification device trained using machine learning, it is possible to classify echo signal representations as ultrasonic echoes from punctiform or linear objects, which is superior to the human eye and thus to a knowledge-based approach based on heuristic databases and the like.
  • one or more topological parameters of a measurement arrangement consisting of a transmitting one of the number of ultrasonic transceivers and a receiving one of the ultrasonic transceivers, using which the respective echo signal representation was recorded, are also provided as input data for the classification device.
  • the respective topological parameter comprises an installation height of the transmitting and/or the receiving ultrasonic transceiver, an elevation angle of a measuring axis of the transmitting and/or the receiving ultrasonic transceiver and an azimuth angle enclosed by the measuring axes of the transmitting and the receiving ultrasonic transceiver.
  • the input data for the classification device include the parameters mentioned, particularly precise classifications can result.
  • a measuring axis of a respective ultrasonic transceiver is in particular the axis along which a transmitted signal lobe has a maximum.
  • An elevation angle is to be understood in particular as the angle that is enclosed by the measuring axis projected onto a vertical plane to a roadway on which the motor vehicle is standing or driving, with the roadway.
  • An azimuth angle is to be understood in particular as meaning that angle which the two measurement axes projected onto the roadway enclose.
  • the classification device comprises an artificial neural network trained by supervised machine learning.
  • the monitored machine learning can take place using reference measurements, in which a plurality of predefined reference objects of known geometry are arranged in an otherwise object-free or otherwise predefined environment of the motor vehicle and associated reference echo signal representations are recorded.
  • the monitored machine learning can also be based on simulation results.
  • the artificial neural network comprises an input neuron layer, a number of hidden convolutional neuron layers, a number of hidden densely connected multilayer perceptron layers and an output
  • neuron layer Such a structure of the neural network delivers particularly good results if the input data of the neural network includes a respective echo signal representation on the one hand and the topological parameters of the associated measurement arrangement on the other.
  • the convolutional neuron layers are advantageous in identifying similarities based on the echo signal representations comprising a plurality of continuously adjacent samples, while the multilayer perceptron layers can particularly advantageously take into account the disjoint topological parameters.
  • the neural network can correspond to an hourglass model, in which the input neuron layer and the output neuron layer have more neurons than the intervening hidden layers.
  • a total number of neurons of the neural network can be from 1000 to 10000, particularly preferably from 2000 to 5000, very particularly preferably from 2000 to 3000.
  • step d) comprises: selecting a first ultrasound echo and one or more further ultrasound echoes from the plurality of identified ultrasound echoes; determining a locus of possible reflection points for each of the selected ultrasonic returns; Determining an intersection of the determined loci and/or determining a tangent to the determined loci; validating the determined intersection point and/or the determined tangent; and generating a point feature based on the validated intersection and/or a line feature based on the validated tangent.
  • the classification of at least the echo signal representation for the first ultrasonic echo is made when a decision is made as to whether an intersection point or a tangent is determined and/or when a decision is made as to whether a point object feature or a line object feature is generated and/or when a Decision as to which one or which several further ultrasonic echoes are selected is taken into account.
  • a decision is made as to whether an intersection point or a tangent is determined and/or when a decision is made as to whether a point object feature or a line object feature is generated and/or when a Decision as to which one or which several further ultrasonic echoes are selected is taken into account.
  • the selection of the measurements (ultrasonic echoes and associated echo signal representations, topological parameters and the like) on the basis of which an attempt is to be made to construct an object feature can be based on spatial criteria - selection of measurements with neighboring ultrasonic transceivers - or temporal criteria - selection of only the most recent measurements - or a combination of these.
  • the locus of possible reflection points for a given ultrasonic echo can be a circle whose center is the position of the ultrasonic transceiver, whose radius is given by the measured distance is, or more precisely a semicircle section of this circle outside the motor vehicle.
  • the locus of possible reflection points can be an ellipse whose focal points are the positions of the two ultrasonic transceivers and whose semimajor axis is given by the measured distance , or more precisely a semi-ellipse section of this ellipse outside the motor vehicle.
  • the point of intersection and/or the tangent can be determined by fitting, for example using the least squares method or the like. Because, in a general case where more than two measurements are selected, there may not exist an exact intersection of more than two ellipses and there may not exist a tangent drawn exactly to more than two ellipses. Thus, when determining the locus curve, in addition to the coordinates of the point of intersection or the tangent, a measurement uncertainty can result from the adjustment, which can serve as a measure of the accuracy of the adjustment or the measurement. The intersection point and/or the tangent can thus be validated, for example, based on the measurement uncertainty determined when determining the intersection point and/or the tangent.
  • the respective measurement uncertainties can, for example, be compared with a threshold value that must not be exceeded.
  • Other types of validation are conceivable, for example plausibility checks. If, for example, multiple executions of step d) result in object features that contradict one another, the contradictory object features cannot be validated, for example.
  • Heuristic databases can also be used for validation in order to compare the determined object features with combinations of object features that are known to be plausible or implausible.
  • the validation does not necessarily take place before a respective object feature is generated.
  • a number of object feature hypotheses can also initially be generated by repeatedly selecting and determining loci and points of intersection and/or tangents without validating them. Validation can only take place after several object feature hypotheses have been generated. The individual object feature hypotheses can then either be discarded or confirmed or accepted as generated object features.
  • a point-object feature is in particular a data set that includes an x-coordinate, a y-coordinate and an indication of a measurement uncertainty.
  • the measurement uncertainty can also be understood as an indication of an "extension” of the "point”, or in other words the radius of a circle around the position determined by the x and y coordinates.
  • the point-object feature can thus enable the reconstruction of a two-dimensional circle that indicates or delimits a position of the point-like object.
  • a line feature is, in particular, a data record that contains an x-coordinate, a y-coordinate (beginning of the line), an angle (direction of the line) and a length. would be (length of the line).
  • a line object feature can, for example, also have two x-coordinates and two y-coordinates (beginning and end of the line).
  • the line feature can include a measurement uncertainty, which can be understood as a "thickness" of the "line", or in other words, a distance between two lines parallel to the line.
  • the line object feature can thus allow the reconstruction of a two-dimensional bar (length: distance between the reflection points 16, 17; thickness: measurement uncertainty) or a two-dimensional ellipse (major semi-axis: half the distance between the reflection points 16, 17; minor semi-axis: half the measurement uncertainty) that indicates or delimits a position of the linear object.
  • the generation of erroneous object features can advantageously be further contained. Further possibilities as to how the classification of the echo signal representation of the first ultrasonic echo and preferably also of the further echo signal representations can advantageously be taken into account are discussed in more detail on the basis of the following embodiments.
  • both the intersection and the tangent are determined and, if only the intersection is successfully validated, the point feature is created; if only the tangent is successfully validated, the line feature is created; and if both the intersection and the tangent are successfully validated, generating either the point object feature or the line object feature depending on the classification of at least the echo signal representation for the first ultrasonic echo.
  • the decision of whether to generate a line feature based on the tangent or an intersection based on the tangent can be made using computational validation techniques.
  • the classification thus needs advantageously to be performed and taken into account only when a computational validation technique does not provide an unambiguous result, and in this case can advantageously bring about a decision for the correct type of object feature.
  • step d) depending on the classification of at least the echo signal representation for the first ultrasonic echo, either the intersection point is determined and, if the intersection point is successfully validated, the point object feature is generated, or the tangent is determined and, if the tangent is successfully validated, the line feature is created.
  • only those ultrasound echoes are selected as the one or more further ultrasound echoes whose echo signal representations have the same classification as the echo signal representation of the first ultrasound echo.
  • Intersections and tangents are thus advantageously only constructed and validated if this makes sense based on the classification of the echo signals. Calculation effort can be reduced and the quality of the measurement can be improved.
  • the method also includes e) controlling an operating process of the motor vehicle as a function of the generated object features.
  • the operating process is not restricted and can denote any partially or fully automatic operating process that depends directly or indirectly on the presence and position of objects in the area surrounding the motor vehicle.
  • the proposed method is carried out when the motor vehicle is stationary.
  • a method for training a classification device for use in the method of the first aspect when using the classification device comprises: arranging a punctiform or linear object in a real or simulated environment of a motor vehicle; Determination of ultrasonic received signals, each of which includes a number of ultrasonic echoes that have arisen through reflection of a respective transmitted ultrasonic signal on the object in the vicinity of the motor vehicle; identifying a plurality of ultrasound echoes in the received ultrasound signals received and acquiring a respective echo signal representation for each of the identified ultrasound echoes; Performing supervised machine learning with the classification device using at least one respective echo signal representation as training input data and using a classification as a reflection on a point-like object or a reflection on a line-like object, according to the kind of the arranged object, as training output data.
  • the step of determining the ultrasonic received signals can be carried out, for example, by controlling a plurality of ultrasonic transceivers in the motor vehicle to emit ultrasonic transmitted signals into the real environment of the motor vehicle and receiving ultrasonic received signals from the real environment.
  • the real environment can be specially prepared and, apart from the arranged object, cannot have any further objects within a measuring range of the ultrasonic transceiver.
  • the real environment can also be an acoustic absorber chamber.
  • the step of determining the ultrasonic received signals can take place by simulating the propagation of ultrasonic transmitted signals in the simulated environment of the motor vehicle and the reception of the ultrasonic received signals.
  • a classification device for use in the method of the first aspect using the classification device trained according to the method of the second aspect.
  • the classification device can be embodied in hardware or in software and can comprise a neural network, for example.
  • a motor vehicle having a plurality of ultrasonic transceivers and the classifying device of the third aspect.
  • the motor vehicle can also include a control unit that is set up to carry out the method of the first aspect.
  • the motor vehicle may be an automobile, truck, motorcycle, electric bicycle, and the like.
  • a computer program product which comprises instructions which, when executed by a control unit of a motor vehicle of the fourth aspect, cause the control unit to carry out the method of the first aspect.
  • 1 shows an exemplary motor vehicle with multiple ultrasonic transceivers; 2 illustrates details of a control unit of the example motor vehicle;
  • FIG. 3 illustrates steps of a method according to a first embodiment
  • Figure 7 illustrates a point object feature
  • Figure 8 illustrates a line object feature
  • FIG. 11 illustrates steps of a method according to a third embodiment
  • FIG. 1 shows an exemplary motor vehicle 1 with a plurality of ultrasonic transceivers 2 and a control unit 3 .
  • the plurality of ultrasonic transceivers 2 are arranged along one side of the motor vehicle 1 and are connected to the control unit 3 via a communication line 4 .
  • the control unit 3 comprises a control device 5 and a classification device 6.
  • the control device 5 is set up to carry out the method described below.
  • the control device 5 carries out processing steps, sends control signals to the ultrasonic transceivers 2 and receives measurement signals from them, as described in detail below.
  • the classification device 6 is used for the classification of echo signal representations, which will be described later.
  • the control unit 3 (control device 5, classification device 6) is implemented by one or more control units or ECUs of the motor vehicle 1, for example.
  • FIG. 3 illustrates steps of a method for measuring an environment of motor vehicle 1 according to a first exemplary embodiment. Reference is made to FIGS. 1 to 3 .
  • step S1 the control device 5 controls the ultrasonic transceivers 2 and thereby causes them to emit an ultrasonic transmission signal into the lateral surroundings of the motor vehicle 1 in each case.
  • each of the ultrasonic transceivers 2 is caused to emit a control signal at a different carrier frequency.
  • the ultrasonic transceivers 2 can be controlled at different times.
  • the control device 5 receives an ultrasonic reception signal from each of the ultrasonic transceivers 2 .
  • Each of the ultrasonic transceivers 2 delivers to the control device 5 an ultrasonic received signal that essentially only contains ultrasound with that carrier frequency with which the same ultrasonic transceiver 2 previously transmitted the ultrasonic transmitted signal.
  • Fig. 4 shows a plot of an ultrasonic reception signal 7 supplied by one of the ultrasonic transceivers 2. More precisely, in Fig.
  • the amplitude envelope of the ultrasound received signal 7 is plotted.
  • the time t since the transmission of the ultrasonic transmission signal is plotted on the horizontal axis, and the amplitude A is plotted on the vertical axis.
  • the reverberation has subsided.
  • the peak has subsided again.
  • step S2 the control device 5 identifies the maximum in the ultrasonic received signal 7 at t3 as an ultrasonic echo 8, which was created by reflection of the transmitted ultrasonic signal on an object in the vicinity of the motor vehicle 1.
  • the control device 5 detects a number of scans of the envelope of the ultrasound received signal 7 in the area of the ultrasound echo 8, more precisely from time t2 to time t4 as an echo signal representation 9 of the ultrasound echo 8. For example, 10 scans before and 20 scans after the maximum are detected.
  • a distance to a point on the object in the vicinity of the motor vehicle 1, from which the ultrasonic echo was reflected is determined.
  • the position of objects in the area surrounding motor vehicle 1 is to be determined by trilateration using a number of such measurements, which are carried out from different positions, as described below.
  • 5 and 6 illustrate measurements on a punctiform object 10 and on a linear object 11 in an area surrounding motor vehicle 1.
  • FIGS. 5 and 6 show a schematic projection of motor vehicle 1 and objects 10 and 11, respectively a two-dimensional road plane when viewed in the vertical direction z from above.
  • a first ultrasonic transceiver 2a has determined a distance a from the object 10, 11 in the manner described above by identifying an ultrasonic echo 8 (FIG. 4).
  • a point 16, 17 of the object 10, 11 at which the ultrasonic echo 8 (FIG. 4) was reflected is located on a circle 12 whose center is the position of the ultrasonic transceiver 2a and whose radius is the measured distance a.
  • the circle 12 is an example of a locus of possible reflection points 16, 17.
  • a second ultrasonic transceiver 2b has determined a distance b from the object 10, 11.
  • a circle 13 with the second ultrasound transceiver 2b as the center and the distance b as the radius forms another locus of possible reflection points 16, 17 of the ultrasound transmission signal emitted by the ultrasound transceiver 2b.
  • the object is the punctiform object 10 shown in FIG. 5 - such as a post or the like -
  • the reflection points 16, 17 at which the circles 12, 13 touch the punctiform object 10 are close to one another and close at the point of intersection 14 of the circles 12 and 13.
  • the point of intersection 14 therefore represents a good approximation for the position of the object 10, which is in the form of a point to a first approximation.
  • the object is the extended, line-shaped object 11 shown in FIG. 6—such as a wall or the like—but otherwise the same distances a and b were determined, as shown in FIG Reflection points 16, 17, at which the circles 12, 13 touch the line-shaped object 11, not even approximately together, but are far apart.
  • the point of intersection 14 of the circles 12 and 13 does not represent a good approximation for the position of the line-shaped object 11. Rather, the position of the line-shaped object 11 in this Case better described by a line on a tangent 15 to the loci 12, 13.
  • Typical linear objects 10, whose position is better approximated by the tangent 15 to several loci 12, 13, are walls, walls, hedges and the like, and also each have a characteristic surface structure that differs from the surface structure of the punctiform objects.
  • the surface structure of a particular type of object affects the amplitude and the specific signal form of the ultrasonic echo 8 in the received ultrasonic signal 7 .
  • the amplitude and signal form can be read from the echo signal representation 9 recorded in step S3.
  • step S4 the control device 5 therefore uses the classification device 6 in order to classify the recorded echo signal representations 9 .
  • the classification device 6 receives at least one respective echo signal representation 9 as an input and provides a classification as an output that indicates whether the echo signal representation 9 contains an ultrasonic echo 8 that was reflected from a point-shaped object 10, or contains an ultrasonic echo 8 that was reflected from a line-shaped object 1 1 was reflected.
  • the classification device 6 can determine the classification by comparison with previously stored reference echo signal representations and/or by means of artificial intelligence or the like.
  • step S5 the control device 5 creates a number of object features 18, 19 (FIGS. She 5 and 6, calculates points of intersection 14 and/or tangents 15 and takes into account the classification determined in step S4 when deciding whether, based on a respective point of intersection 14, a point-object feature 18 (FIG. 7) or based on a respective tangent 15 a line object feature 19 (FIG. 8) is created.
  • object features 18, 19 FIGS. She 5 and 6
  • FIG. 7 illustrates a point-object feature 18 that indicates the point-like object 10.
  • the point-object feature 19 includes the x-coordinate 20 and the y-coordinate 21 of the point of intersection 14 of the loci 12, 13 as well as a measurement uncertainty 22 of the coordinates 20, 21.
  • the measurement uncertainty 22 is determined, for example, as the least square of an adjustment of the point of intersection 14 in a case where more than two loci 12, 13 do not intersect exactly at a single intersection 14.
  • the point-object feature 18 thus allows the reconstruction of a circle with the coordinates 20, 21 of the point of intersection 14 and a radius determined by the measurement uncertainty 22 in a two-dimensional map of the area surrounding the motor vehicle 1. As can be seen in Fig.
  • a circle are slightly closer to the motor vehicle 1 around the intersection 14 than the actual punctiform object 10. However, it is never further away from the motor vehicle 1 than the actual punctiform object 10.
  • the circle that can be reconstructed from the point-object feature 18 is therefore a conservative one Estimation of the position of the point object 10.
  • FIG. 8 illustrates a line object feature 19 which indicates the line-shaped object 11.
  • the line object feature 20 includes the x-coordinate 23 and the y-coordinate 24 of the first reflection point 16 at which the tangent 15 touches the locus 12, and also includes an angle specification 25 and a length specification 26.
  • the angle specification 25 and the length specification 26 are set in such a way that a line from the first reflection point 16 to the second reflection point 17 can be reconstructed from the line object feature 19 .
  • the line object feature includes a measurement uncertainty 27.
  • the measurement uncertainty 27 is determined, for example, as the square error of an adjustment of the tangent 15 in a case with more as two loci 12, 13, in which the tangent 15 is adapted to the plurality of loci 12, 13 with the least possible error square.
  • a bar or an ellipse can thus be constructed from the line object feature 19 which extends from the first to the second reflection point 16 to the second reflection point 17 and has a thickness determined by the measurement uncertainty 27 . Due to the consideration of the measurement uncertainty 27, the line object feature 19 also represents a conservative estimate of the position of the extended or linear object 10.
  • the corners 28 , 29 of the linear object 11 are not covered by the two-dimensional feature (bar or ellipse) that can be reconstructed from the line object feature 19 .
  • these corners would be detected as separate punctiform objects in a measurement actually carried out with a sufficient number of ultrasonic transceivers 2, so that at the location of the corners 28, 29 further circles would be reconstructed from further point object features and overall a sufficiently exact representation of the object 1 1 arises from several object features.
  • one ultrasonic transceiver 2a, 2b emits an ultrasonic transmission signal and the ultrasonic reception signal with the associated ultrasonic echo received therein.
  • a measurement arrangement to include a first of the ultrasonic transceivers 2 and a second ultrasonic transceiver 2 that differs therefrom.
  • the first ultrasound transceiver 2 transmits an ultrasound transmission signal
  • the second ultrasound transceiver 4 which is different therefrom, receives an ultrasound reception signal which contains the associated ultrasound echo 8 of the transmitted ultrasound transmission signal.
  • a locus curve 12, 13 of possible reflection points results as an ellipse with the positions of the two ultrasonic transceivers 2 involved as the focal point, whose large semi-axis is equal to the specific "distance" (here more correctly as "half the distance of the ultrasonic signal from transmission to reception” to denote) a, b is.
  • a, b is.
  • Netes permuting of the ultrasonic transceivers 2 which can be done sequentially or simultaneously in frequency multiplex, with a number n ultrasonic transceivers 2, a total of n*(n-1) different measurement arrangements are formed from one transmitting and one associated receiving ultrasonic transceiver 2.
  • more locus curves can be determined and, correspondingly, more object features can also be generated in the area surrounding motor vehicle 1 for more precise measurement.
  • FIG. 9 illustrates the step of classifying an echo signal representation 9 with an exemplary classification device 6 according to an advantageous development of the first exemplary embodiment.
  • the classification device 6 in Fig. 9 comprises an artificial neural network, which is trained by means of monitored machine learning and is thus set up to classify the echo signal representation 9 based on an input data vector 30, which comprises at least the echo signal representation 9, and as an output data vector 31, in each case either to output a classification 32 as a reflection on a punctiform object or a classification 33 as a reflection on a linear object.
  • the input data vector 30 preferably also includes at least three topological parameters 34-36 that specify the measurement arrangement with which the echo signal representation 9 was recorded.
  • the first topological parameter 34 preferably includes an installation height of the transmitting and/or the receiving ultrasonic transceiver 2 ( FIG. 1 ) of the measuring arrangement.
  • the second topological parameter 36 preferably includes an elevation angle of a measurement axis of the transmitting and/or the receiving ultrasonic transceiver 2 ( FIG. 1 ).
  • the third topological parameter 37 preferably comprises an azimuth angle enclosed by the measurement axes of the transmitting and the receiving ultrasonic transceiver 2 ( FIG. 1 ). In this way, the topology of the measurement arrangement can also be advantageously taken into account during classification.
  • the artificial neural network of the classification device 6 preferably comprises, in addition to an input neuron layer to which the input data vector 31 is input and an output neuron layer which outputs the classification 32 or 33, at least three hidden, convolutional neuron layers and at least three hidden, densely connected multilayer perceptron layers.
  • the layers may correspond to an hourglass model, in which intermediate hidden layers have fewer neurons than outer layers. Good results have been obtained with a total number of neurons in the low four-digit range, e.g. B. from 2000 to 3000 achieved.
  • FIG. 10 illustrates steps of a method according to a second embodiment.
  • the second exemplary embodiment is based on the method of the first exemplary embodiment, with the proviso that not just two but a large number of measurements are carried out with a large number of different measuring arrangements.
  • Sub-steps S11-S16 of a specific embodiment of step S4 (FIG. 3) of determining the object features 18, 19 (FIGS. 7, 8) are described on the basis of the second exemplary embodiment. Referring particularly to Fig. 10 and Figs. 4-6.
  • a first measurement and one or more further measurements are selected from the plurality of measurements.
  • a measurement in this case includes an ultrasonic echo 8 and the associated echo signal representation 9.
  • a set of measurements is selected in this way that was recorded or updated in a most recent measurement run.
  • step S12 a locus curve 12, 13 of possible reflection points 16, 17 is determined for each selected measurement in the manner described for the first exemplary embodiment.
  • step S13 in the manner described with reference to FIG. 5, an intersection 14 of the loci 12, 13 of all selected measurements, which is adapted as best as possible, and an associated measurement uncertainty of the intersection 14 are determined.
  • step S14 a tangent 15 is adapted to the loci 12, 13 of all selected measurements in the manner described with reference to FIG. 6, and an associated measurement uncertainty of the tangent 15 is determined.
  • step S15 the tangents 15 and points of intersection 14 determined are validated at least on the basis of the measurement uncertainties determined. Further heuristic considerations can be included in the validation.
  • step S15 branches to step S161.
  • step S161 a point object feature 18 (FIG. 7) is generated based on the intersection point 14 and the measurement uncertainty of the intersection point 14.
  • step S15 branches to step S162.
  • step S162 a line object feature 19 (FIG. 8) is generated based on the tangent 15, the reflection points 16, 17 and the measurement uncertainty of the tangent 15.
  • step S163 recourse is made to the classifications 32, 33 of the echo signal display 9 of the selected measurements. In this case, only the classification 32, 33 of the echo signal representation 9 of the first selected ultrasonic echo 8 can be taken into account, or that classification 32, 33 which occurs most frequently among the selected measurements can be taken into account. If the classification 32, 33, which is taken into account in this way, a classification 32 as a reflection on a is a point object, a point object feature 18 (FIG. 7) is performed. If the classification 32, 33 taken into account is a classification 33 as a reflection on a linear object, a line object feature 19 (FIG. 8) is generated.
  • the classifications 32, 33 determined by the classification device 6 are used to decide ambiguous cases if the validation in step S15 alone does not indicate whether a point object feature 18 or a line object feature 19 is to be generated.
  • FIGS. 11 and 12 illustrate steps of a method according to a third embodiment.
  • the third embodiment is based on the method of the first embodiment in the same manner as the second embodiment.
  • Sub-steps S11-S16 of a further possible embodiment of step S4 (FIG. 3) of determining the object features are described on the basis of the third exemplary embodiment.
  • step S11 a first measurement and one or more further measurements are selected from the plurality of measurements.
  • further measurements are selected from the same or earlier measurement runs, which were acquired by means of ultrasonic transceivers 2 which are in close proximity to the ultrasonic transceiver 2 with which the first selected measurement was acquired.
  • step S11 only measurements are selected whose respective echo signal representation 9 has a classification 32 as a reflection on a point-like object.
  • step S12 a locus curve 12, 13 of possible reflection points 16, 17 is determined for each selected measurement in the manner described for the first exemplary embodiment.
  • step S13 in the manner described with reference to FIG. 5, an intersection 14 of the loci 12, 13 of all selected measurements, which is adapted as best as possible, and a measurement uncertainty of the intersection 14 are determined.
  • step S15 the point of intersection 14 determined is validated at least on the basis of the measurement uncertainties determined. If the intersection point 14 was successfully validated in step S15, the process continues with step S16. Otherwise no feature is generated.
  • step S16 a point object feature 18 (FIG. 7) is generated based on the intersection point 14 and the measurement uncertainty of the intersection point 14.
  • FIG. 7 a point object feature 18 (FIG. 7) is generated based on the intersection point 14 and the measurement uncertainty of the intersection point 14.
  • Step S14 The second section of the method of the third exemplary embodiment from FIG. 12 corresponds to the first section from FIG Step S13 Step S14 is executed, in which a tangent 15 is adapted to the loci 12, 13 and a measurement uncertainty of the tangent 15 is determined, that in step S15 the tangent 15 is validated, and that if the validation is successful in step S16, a line -Object feature 19 (Fig. 8) based on the tangent 15, the reflection points 16, 17 and the measurement uncertainty of the tangent 14 is generated.
  • the classification 32, 33 of each echo signal representation 9 is taken into account from the start.
  • Point object features 18 are generated only from measurements classified as reflections on point objects, and line object features 19 are generated only from measurements classified as reflections on line objects. The accuracy can be further improved.
  • FIG. 13 illustrates an example method for training a classifier 6, and FIG. 14 illustrates steps of the example method for training.
  • a reference object which can be a punctiform object 10 or a linear object 11, is arranged in the surroundings of the motor vehicle 1. The arrangement can take place physically, or a simulated reference object 10, 11 can be arranged in a simulated environment of the motor vehicle 1.
  • step S22 received ultrasonic signals 7 are determined, each of which includes one or more ultrasonic echoes 8 that were created by reflection of an emitted ultrasonic transmit signal on reference object 10, 11 in the vicinity of motor vehicle 1.
  • the ultrasonic reception signals 7 can be measured in the same way as described for the first exemplary embodiment of the measurement method. As an alternative to this, the propagation of the ultrasonic transmission signals, their reflections on the reference object 10, 11 and the respective resulting ultrasonic reception signal 7 can be simulated.
  • step S23 ultrasonic echoes 8 are identified in each of the ultrasonic received signals 7 determined in step S22 and the associated echo signal representations 9 are recorded in the same way as described with reference to the first exemplary embodiment of the measurement method.
  • step S24 the artificial neural network of the classification device 6 is trained using monitored machine learning.
  • the artificial neural network of the classification device 6 is provided with a respective echo signal representation 9 and preferably also the associated topological parameters 34-36 as training input data 37, and the classification device 6 is provided with training output data 38 in accordance with whether the reference object is a punctiform object 10 or a linear object 11, either the classification 32 as a reflection on a punctiform object or the classification 33 as a reflection on a linear object is provided.
  • a supervised machine learning step is then performed on the training input data 37 and the training output data 38 .
  • Steps S21 to S24 are repeated many times with different reference objects, different measurement arrangements and so on until the artificial neural network of the classification device 6 is sufficiently trained.
  • a map of the surroundings of the motor vehicle 1 can be created, which consists of circles (points with radii that correspond to measurement inaccuracy) and bars (lines with a thickness that corresponds to measurement inaccuracy or ellipses with a minor axis, which corresponds to half the measurement uncertainty).
  • This map of the surroundings of motor vehicle 1 can then be used to determine whether and to what extent a door (not shown) of the motor vehicle can be opened, whether it is safe for moving motor vehicle 1 to change lanes, whether parking maneuvers for motor vehicle 1 are possible,
  • the parking process of the motor vehicle 1 can be controlled partially or fully automatically using the map created in this way, and the like.
  • the above-mentioned operating processes of the motor vehicle can thus be controlled as a function of the object features 18, 19 generated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

Vorgeschlagen wird ein Verfahren zum Vermessen einer Umgebung eines Kraftfahrzeugs (1), das eine Anzahl Ultraschallsendeempfänger (2) aufweist. Das Verfahren umfasst: a) Ansteuern (S1) der Anzahl Ultraschallsendeempfänger (2) zum Aussenden von Ultraschall-Sendesignalen in die Umgebung des Kraftfahrzeugs (1) und Empfangen von Ultraschall-Empfangssignalen (7) aus der Umgebung des Kraftfahrzeugs (1); b) Identifizieren (S2) mehrerer Ultraschallechos (8) in den empfangenen Ultraschall-Empfangssignalen (7) und Erfassen einer jeweiligen Echosignaldarstellung (9) für jedes der identifizieren Ultraschallechos (8); c) Bestimmen (S3) einer Klassifizierung (32, 33) jeder der mehreren Echosignaldarstellungen (9) als Reflexion des Ultraschall-Sendesignals an einem punktförmigen Objekt (10) oder als Reflexion des Ultraschall-Sendesignals an einem linienförmigen Objekt (11); und d) Erzeugen (S4) einer Anzahl von Objektmerkmalen (18, 19), die ein jeweiliges Objekt (10, 11) in der Umgebung des Kraftfahrzeugs (1) angeben, anhand der mehreren Ultraschallechos (8) unter Berücksichtigung der Klassifizierungen (32, 33) der mehreren Echosignaldarstellungen (9).

Description

VERFAHREN ZUM VERMESSEN EINER UMGEBUNG EINES KRAFTFAHRZEUGS
Die vorliegende Erfindung betrifft Ultraschall-Messtechnik in Kraftfahrzeugen und im Speziellen ein Verfahren zum Vermessen einer Umgebung eines Kraftfahrzeugs mit einem oder mehreren Ultraschallsendeempfängern.
Kraftfahrzeuge werden mit Ultraschallsendeempfängern ausgestattet, die Ultraschall-Sendesignale in eine Umgebung des Kraftfahrzeugs aussenden und Ultraschall-Empfangssignale aus der Umgebung des Kraftfahrzeugs empfangen. Anhand einer Signallaufzeit zwischen Aussenden eines Ultraschall-Sendesignals und Auftreten eines Ultraschallechos in dem Ultraschall-Empfangssignal, das auf eine Reflexion des Ultraschall-Sendesignals an einem Objekt in der Umgebung eines Kraftfahrzeugs zurückgeht, wird ein Abstand zu dem Objekt in der Umgebung des Kraftfahrzeugs ermittelt. Mögliche Positionen des Objekts, oder genauer des Reflexionspunkts, bilden eine Ellipse, deren Brennpunkte die Positionen des sendenden und des empfangenden Ultraschallsendeempfängers bilden und deren große Halbachse dem ermittelten Abstand entspricht. Die tatsächliche Position des Reflexionspunkts wird sodann durch Trilateration oder dergleichen anhand mehrerer an verschiedenen Messpositionen gewonnen Ellipsen bestimmt. Bei der Trilateration und dergleichen stellt sich das Problem, dass ein bei zweidimensionaler Betrachtung im Wesentlichen punktförmiges Objekt, wie ein Pfosten, im Wesentlichen am Schnittpunkt der von verschiedenen Messpositionen aus bestimmten Ellipsen angeordnet ist, da in diesem Fall die Reflexionen bei den mehreren Messungen alle im Wesentlichen an demselben Punkt erfolgen. Ein ausgedehntes Objekt, wie eine Mauer, ist dagegen in der Regel entlang einer Tangente an die an den verschiedenen Messpositionen gewonnenen Ellipsen angeordnet, da in diesem Fall die mehreren Reflexionen in der Regel an unterschiedlichen Punkten des ausgedehnten Objekts erfolgen. Oft ist es nicht möglich, anhand des sich ergebenden Bildes der mehreren Ellipsen zu erkennen, ob Reflexionen an demselben Punkt eines punktförmigen oder Reflexionen an unterschiedlichen Punkten eines ausgedehnten Objekts vorliegen. Somit können die Positionen einiger Reflexionspunkte nicht hinreichend exakt bestimmt werden. Insbesondere bei parkendem Kraftfahrzeug ist zur Steuerung beispielsweise eines Türöffnungsassistenten eine sehr exakte Bestimmung der Lage der Objekte in der Umgebung des Kraftfahrzeugs notwendig, um eine Beschädigung einer Fahrzeugtür beim Öffnen zu vermeiden.
Vor diesem Hintergrund liegt der Erfindung als Aufgabe zugrunde, die Vermessung einer Umgebung eines Kraftfahrzeugs mittels Ultraschalls weiter zu verbessern.
Gemäß einem ersten Aspekt wird ein Verfahren zum Vermessen einer Umgebung eines Kraftfahrzeugs vorgeschlagen, das eine Anzahl Ultraschallsendeempfänger aufweist. Das Verfahren umfasst: a) Ansteuern der Anzahl Ultraschallsendeempfänger zum Aussenden von Ultraschall-Sendesignalen in die Umgebung des Kraftfahrzeugs und Empfangen von Ultraschall-Empfangssignalen aus der Umgebung des Kraftfahrzeugs; b) Identifizieren mehrerer Ultraschallechos in den empfangenen Ultraschall-Empfangssignalen und Erfassen einer jeweiligen Echosignaldarstellung für jedes der identifizieren Ultraschallechos; c) Bestimmen einer Klassifizierung jeder der mehreren Echosignaldarstellungen als Reflexion des Ultraschall-Sendesignals an einem punktförmigen Objekt oder als Reflexion des Ultraschall-Sendesignals an einem linienförmigen Objekt; und d) Erzeugen einer Anzahl von Objektmerkmalen, die ein jeweiliges Objekt in der Umgebung des Kraftfahrzeugs angeben, anhand der mehreren Ultraschallechos unter Berücksichtigung der Klassifizierungen der mehreren Echosignaldarstellungen.
Das vorgeschlagene Verfahren beruht auf dem Gedanken, dass anhand einer Signalform eines einzelnen Echosignals (eines um ein Ultraschallecho angeordneten Abschnitts des Ultraschall-Empfangssignals) Rückschlüsse darüber möglich sind, ob das Ultraschallecho auf eine Reflexion des Ultraschall-Sendesignals an einem im wesentlichen punktförmigen Objekt oder auf eine Reflexion des Ultraschall-Sendesignals an einem ausgedehnten Objekt zurückgeht. Ursache hierfür können beispielsweise Unterschiede in der Geometrie, in der Oberflächenbeschaffenheit und dergleichen typischer bei zweidimensionaler Betrachtung nähe- rungsweise punktförmiger Objekte, wie Pfosten, Ecken von Gebäuden und dergleichen, einerseits und linienförmiger Objekte, wie ausgedehnten Wänden und Mauern und dergleichen, andererseits sein.
Durch die vorgeschlagene Vorklassifizierung der jeweiligen Echosignalverläufe - und somit der zugehörigen Ultraschallechos - als Reflexionen entweder an punktförmigen oder an linienförmigen Objekten wird es im weiteren Verlauf des Verfahrens vorteilhaft möglich, die Objektmerkmale, welche mindestens eine Angabe einer Position des jeweiligen Objektes in der Umgebung des Kraftfahrzeugs umfassen, korrekt entweder anhand von Tangenten an die oder aber anhand von Schnittpunkten der bestimmten Ellipsen zu bestimmen. Somit kann eine Genauigkeit der Umgebungsvermessung vorteilhaft verbessert werden.
Eine "Anzahl" ist vorliegend gleichbedeutend mit "eins oder mehrere".
Ein Ultraschall-Sendesignal kann insbesondere ein auf eine Trägerfrequenz aufgeprägter Impuls sein. Ein Ultraschall-Empfangssignal kann insbesondere über einen vordefinierten Zeitraum nach Aussenden des Ultraschall-Sendesignals empfangen und vorzugsweise aufgezeichnet werden.
Bei einer jeweiligen Messung wird das Ultraschall-Sendesignal mit einem der Ultraschallsendeempfänger gesendet. Das zugehörige Ultraschall-Empfangssignal kann mit einem selben oder mit einem anderen der Ultraschallsendeempfänger empfangen werden. Das heißt, ein sendender und ein empfangender Ultraschallsendeempfänger können bei einer jeweiligen Messung identisch oder verschieden sein. Mehrere Messungen können nacheinander oder, beispielsweise unter Verwendung unterschiedlicher Trägerfrequenzen, auch gleichzeitig mit unterschiedlichen der Ultraschallsendeempfänger durchgeführt werden.
Um eine Position eines Objekts in der Umgebung des Kraftfahrzeugs bestimmen zu können, genügt es, wenn mindestens zwei Messungen durchgeführt werden, wobei mindestens einer von dem sendenden Ultraschallsendeempfänger und dem empfangenden Ultraschallsendeempfänger bei unterschiedlichen Messungen an unterschiedlichen Positionen angeordnet sind. Es ist denkbar, dass das Kraftfahrzeug mit nur einem einzelnen Ultraschallsendeempfänger ausgestattet ist. In diesem Fall werden mindestens zwei Messungen bei fahrendem Kraftfahrzeug ausgeführt, so dass der Ultraschallsendeempfänger bei den unterschiedlichen Messungen an unterschiedlichen Positionen relativ zu einem ortsfesten Objekt in der Umgebung des Kraftfahrzeugs angeordnet ist. Vorzugsweise weist das Kraftfahrzeug jedoch mehrere, beispielsweise vier, acht oder zwölf Ultraschallsendeempfänger je Fahrzeugseite auf. In diesem Fall können mindestens zwei Messungen auch bei stehendem Kraftfahrzeug unter Verwendung unterschiedlicher der Ultraschallsendeempfänger durchgeführt werden.
Unter einem Ultraschallecho ist insbesondere eine Reflexion des Ultraschall-Sendesignals an einem Objekt in der Umgebung des Kraftfahrzeugs zu verstehen. Das Ultraschallecho kann in dem gemessen Ultraschall-Empfangssignal oder in einer Aufzeichnung davon anhand des Auftretens eines Amplitudenmaximus, beispielsweise unter Verwendung eines Schwellwertfilters, identifiziert werden. Es können zur Identifizierung jedoch auch weitere und komplexe Signalanalysetechniken zum Einsatz kommen, die neben einer Amplitude auch eine Signalform eines Peaks bei dem Amplitudenmaximum und dergleichen berücksichtigen.
Ergebnis des Identifizierens kann ein Zeitpunkt des Auftretens des Ultraschallechos bzw. eine Laufzeit des Ultraschall-Sendesignals zwischen dem Aussenden des Ultraschall-Sendesignals durch den sendenden Ultraschallsendeempfänger und dem Empfangen des Ultraschallechos durch den empfangenden Ultraschallsendeempfänger sein. Insofern weitere Schritte des Verfahrens "anhand eines Ultraschallechos" erfolgen, bedeutet dies insbesondere auch "anhand des zeitlichen Auftretens des Ultraschallechos in dem zugehörigen Ultraschall-Empfangssignal" und/oder "anhand einer Signallaufzeit des Ultraschall-Sendesignals bis zum Auftreten des Ultraschallechos" und/oder "anhand eines gemessenen Abstands".
Eine "Echosignaldarstellung" ist insbesondere eine digitale Darstellung eines Abschnitts des
Ultraschall-Empfangssignals in einem vorbestimmten Bereich, in dem das Ultraschallecho in dem Ultraschall-Empfangssignal auftritt. Beispielsweise kann die Echosignaldarstellung eine Anzahl von Abtastwerten des Ultraschall-Empfangssignals und/oder einer Amplitudenhüllkurve des Ultraschall-Empfangssignals umfassen. "Erfassen" der Echosignaldarstellung ist insbesondere das Erzeugen der digitalen Darstellung anhand des Ultraschall-Empfangssignals. In einigen Ausführungsformen kann auch das Identifizieren des Ultraschallechos bereits an einer digitalen Darstellung des Ultraschall-Empfangssignals erfolge; in diesem Fall kann unter "Erfassen" der Echosignaldarstellung das Bereitstellen eines entsprechenden Abschnitts der digitalen Darstellung des Ultraschall-Empfangssignals verstanden werden.
Die Begriffe "punktförmig" und "linienförmig" beziehen sich auf eine idealisierte Gestalt des tatsächlichen Objekts bei zweidimensionaler Betrachtung in einer horizontalen Ebene. Das heißt, das tatsächlich in der Umgebung befindliche Objekt braucht nicht tatsächlich punktförmig oder linienförmig zu sein. Vielmehr bedeutet eine Klassifizierung als "punktförmiges Objekt" oder als "linienförmiges Objekt", dass das tatsächliche Objekt durch ein zweidimensionales Punkt-Objektmerkmal oder durch ein zweidimensionales Linien-Objektmerkmal für die Zwecke des Verfahrens beschrieben wird und dadurch hinreichend exakt beschreiben ist.
Beispiele für Objekte, die als punktförmig klassifiziert werden, sind Pfosten, Laternenpfähle, Straßenschilder und dergleichen. Ein weiteres Beispiel für ein als punktförmig zu klassifizierendes Objekt ist eine Ecke eines Gebäudes. Anders ausgedrückt werden Objekte als "punktförmig" klassifiziert, die im Wesentlichen durch eine einzelne zweidimensionale Koordinate beschreibbar sind. Noch anders ausgedrückt handelt es sich bei "punktförmigen Objekten" um Objekte, bei denen sich bei unterschiedlichen Messungen, die mit Ultraschallsendeempfängern an unterschiedlichen Positionen durchgeführt werden, das Ultraschall-Sendesignal an im Wesentlichen demselben Punkt des Objekts reflektiert wird. Unter "im Wesentlichen derselbe" sind hierbei alle Punkte zu verstehen, die innerhalb einer akzeptablen
Messunsicherheit als derselbe Punkt identifizierbar sind. Beispiele für Objekte, die als linienförmig klassifiziert werden, sind Wände, Mauern, und dergleichen. Anders ausgedrückt werden Objekte als "Linien" klassifiziert, die durch zwei zweidimensionale Koordinaten, oder durch eine eindimensionale Koordinate, eine Längenangabe und eine Winkelangabe, oder dergleichen beschreibbar sind. Noch anders ausgedrückt handelt es sich bei "linienförmigen Objekten" um Objekte, bei denen sich bei unterschiedlichen Messungen, die an unterschiedlichen Positionen der beteiligten Ultraschallsendeempfänger durchgeführt werden, das Ultraschall-Sendesignal an verschiedenen Punkten des Objekts reflektiert wird.
Es sei ferner angemerkt, dass sich auch der Begriff "Objekt in der Umgebung des Kraftfahrzeugs" an den durch die Objektmerkmale gebildeten Darstellungen der Umgebung orientiert und nicht an dem tatsächlich vorhandenen Objekt. So könnte ein einzelnes tatsächlich vorhandenes Objekt, wie beispielsweise ein diagonal zu dem Kraftfahrzeug positioniertes Gebäude, im Rahmen des vorgeschlagenen Verfahrens als ein erstes linienförmiges Objekt (erste Wand), ein punktförmiges Objekt (Ecke des Gebäudes) und ein zweites linienförmiges Objekt (zweite Wand auf der anderen Seite der Ecke) beschrieben werden. Ein nicht geradliniges Objekt könnte durch mehrere linienförmige Objekte angenähert werden.
Das Klassifizieren kann anhand von heuristischen Datenbanken, durch Vergleich mit Referenz-Signaldarstellungen, durch Identifizieren charakteristischer Signalformen und/oder unter Verwendung eines neuronalen Netzes, mit künstlicher Intelligenz und dergleichen erfolgen.
Ein Objektmerkmal (auch "Feature"), kann als Datensatz aufgefasst werden, der eine Anzahl von Datenelementen mit Angaben mindestens zu einer Position und vorzugsweise weitere Angaben zur Lage und Ausrichtung eines jeweiligen Objekts in der Umgebung des Kraftfahrzeugs umfasst. Insbesondere ist ein Objektmerkmal ein Datensatz, der die Rekonstruktion einer zweidimensionalen Repräsentation eines punkt- oder linienförmigen Objekts auf einer zweidimensionalen Karte der Umgebung des Kraftfahrzeugs ermöglicht. Somit kann eine Karte der vermessenen Umgebung des Kraftfahrzeugs als eine zweidimensionale Auftragung aller bestimmten Objektmerkmale aufgefasst werden. Anhand einer solchermaßen bestimmten Karte kann beispielsweise bestimmt werden, ob und wie weit eine Tür des Kraftfahrzeugs geöffnet werden kann. Dank der verbesserten Genauigkeit des vorgeschlagenen Verfahrens können Türbeschädigungen zuverlässiger vermieden werden.
Im Rahmen des Erzeugens der Objektmerkmale in Schritt d) kann die Position und dergleichen eines jeweiligen Objekts in der Umgebung des Kraftfahrzeugs durch Trilateration oder dergleichen mehrerer Messungen bestimmt werden. Eine jeweilige "Messung" umfasst hierbei insbesondere ein identifiziertes Ultraschallecho, die zugehörige Echosignaldarstellung, und vorzugsweise topologische Parameter einer zugehörigen Messanordnung aus einem sendenden und einem empfangenden Ultraschallsendeempfänger, mit denen das Ultraschallecho erzeugt und gemessen wurde. Die Klassifizierung der Echosignaldarstellung kann hierbei beispielsweise bei der Auswahl der für die Trilateration oder dergleichen herangezogenen Messungen und/oder bei der Wahl einer geeigneten Trilaterationstechnik, beispielsweise Schnittpunktbildung oder Tangentenfitting, berücksichtigt werden. Auf diese Weise können die Objektmerkmale vorteilhafterweise besonders exakt bestimmt werden.
Gemäß einer Ausführungsform umfasst die jeweilige Echosignaldarstellung eine Anzahl von Abtastungen einer Hüllkurve des entsprechenden Ultraschall-Empfangssignals vor und nach einem zeitlichen Auftreten des entsprechenden Ultraschallechos.
Eine dergestalt datenreduzierte Echosignaldarstellung des jeweiligen Ultraschallechos transportiert vorteilhaft genügend Informationen, um die Klassifizierung der Echosignaldarstellung als Ultraschallecho eines punktförmigen oder linienförmigen Objekts zu ermöglichen, ist anderseits hinreichend datensparend, um die Klassifizierung unter Verwendung von neuronalen Netzen und dergleichen effizient zu ermöglichen. Die Hüllkurve ist insbesondere eine Amplitudenhüllkurve. Die Anzahl der Abtastungen der Hüllkurve vor dem Ultraschall-Empfangssignal beträgt vorzugsweise 50, besonders vorzugsweise 25 und ganz besonders vorzugsweise 10. Die Anzahl der Abtastungen der Hüllkurve nach dem Ultraschall-Empfangssignal beträgt vorzugsweise 100, besonders vorzugsweise 50 und ganz besonders vorzugsweise 20. Eine Abtastrate kann hierbei geeignet gewählt werden, so dass die Echosignaldarstellung im Wesentlichen das gesamte Ultraschallecho vom Moment des Anstiegs der Hüllkurve bis zum Abklingen der Hüllkurve unter einen vordefinierten Schwellwert umfasst.
Gemäß einer weiteren Ausführungsform erfolgt Schritt c) unter Verwendung einer mittels maschinellen Lernens trainierten Klassifizierungsvorrichtung, der mindestens die jeweilige Echosignaldarstellung als Eingabedaten bereitgestellt wird und deren Ausgabedaten die Klassifizierung darstellen.
Die Erfinder haben erkannt, dass durch Verwendung einer mittels maschinellen Lernens trainierten Klassifizierungsvorrichtung eine Klassifizierung von Echosignaldarstellungen als Ultraschallechos von punktförmigen oder linienförmigen Objekten möglich ist, die dem menschlichen Auge und damit einem wissensbasierten Ansatz auf Basis von heuristischen Datenbanken und dergleichen überlegen ist.
Gemäß einer weiteren Ausführungsform werden als Eingabedaten für die Klassifizierungsvorrichtung ferner ein oder mehrere topologische Parameter einer Messanordnung aus einem sendenden der Anzahl Ultraschallsendeempfänger und einem empfangenden der Ultraschallsendeempfänger, unter deren Verwendung die jeweilige Echosignaldarstellung erfasst wurde, bereitgestellt.
Die Erfinder haben erkannt, dass eine mittels maschinellen Lernens trainierte Klassifizierungsvorrichtung zuverlässigere Ergebnisse liefert, wenn sie die Topologie der verwendeten Messanordnung berücksichtigt, da diese einen Einfluss auf die in den Echosignaldarstellungen enthaltenen Signalformen haben kann. Gemäß einer weiteren Ausführungsform umfasst der jeweilige topologische Parameter eine Einbauhöhe des sendenden und/oder des empfangenen Ultraschallsendeempfängers, einen Höhenwinkel einer Messachse des sendenden und/oder des empfangenden Ultraschallsendeempfängers und einen von den Messachsen des sendenden und des empfangenden Ultraschallsendeempfängers eingeschlossenen Azimutwinkel.
Wenn die Eingabedaten für die Klassifizierungsvorrichtung die genannten Parameter umfassen, können sich besonders präzise Klassifizierungen ergeben.
Eine Messachse eines jeweiligen Ultraschallsendeempfängers ist insbesondere die Achse, entlang derer eine ausgesendete Signalkeule ein Maximum aufweist. Unter einem Höhenwinkel insbesondere der Winkel zu verstehen, der von der auf eine zu einer Fahrbahn, auf welcher das Kraftfahrzeug steht oder fährt, vertikale Ebene projizierten Messachse mit der Fahrbahn eingeschlossen wird. Unter einem Azimutwinkel ist insbesondere derjenige Winkel zu verstehen, den die beiden auf die Fahrbahn projizierten Messachsen einschließen.
Gemäß einer weiteren Ausführungsform umfasst die Klassifizierungsvorrichtung ein durch überwachtes maschinelles Lernen trainiertes, künstliches neuronales Netzwerk.
Das überwachte maschinelle Lernen kann anhand von Referenzmessungen erfolgen, bei denen eine Mehrzahl vordefinierter Referenzobjekte bekannter Geometrie in einer ansonsten objektfreien oder anderweitig vordefinierten Umgebung des Kraftfahrzeugs angeordnet werden und zugehörige Referenz-Echosignaldarstellungen erfasst werden. Das überwache maschinelle Lernen kann alternativ hierzu auch anhand von Simulationsergebnissen erfolgen.
Gemäß einer weiteren Ausführungsform umfasst das künstliche neuronale Netzwerk eine Eingangs-Neuronenschicht, eine Anzahl verborgener, faltender Neuronenschichten, eine Anzahl verborgener, dicht verbundener Mehrschichtperzeptronenschichten und eine Ausgangs-
Neuronenschicht umfasst. Eine derartige Struktur des neuronalen Netzwerks liefert besonders gute Ergebnisse, wenn die Eingabedaten des neuronalen Netzwerks einerseits eine jeweilige Echosignaldarstellung und andererseits die topologischen Parameter der zugehörigen Messanordnung umfassen. Die faltenden Neuronenschichten sind hierbei vorteilhaft bei der Identifizierung von Ähnlichkeiten anhand der eine Mehrzahl von kontinuierlich benachbarten Abtastungen umfassenden Echosignaldarstellungen, während die Mehrschichtperzeptronenschichten die disjunkten topologischen Parameter besonders vorteilhaft berücksichtigen können.
Das neuronale Netzwerk kann einem Stundenglasmodell entsprechen, bei dem die Ein- gangs-Neuronenschicht und die Ausgangs-Neuronenschicht mehr Neuronen aufweisen als die dazwischenliegenden verborgenen Schichten. Eine Gesamtzahl der Neuronen des neuronalen Netzwerks kann von 1000 bis 10000, besonders bevorzugt von 2000 bis 5000, ganz besonders bevorzugt von 2000 bis 3000 betragen.
Gemäß einer weiteren Ausführungsform umfasst Schritt d): Auswählen eines ersten Ultraschallechos und eines oder mehrerer weiterer Ultraschallechos aus den mehreren identifizierten Ultraschallechos; Bestimmen einer Ortskurve möglicher Reflexionspunkte für jedes der ausgewählten Ultraschallechos; Bestimmen eines Schnittpunkts der bestimmten Ortskurven und/oder Bestimmen einer Tangente an die bestimmten Ortskurven; Validieren des bestimmten Schnittpunkts und/oder der bestimmten Tangente; und Erzeugen eines Punkt-Objektmerkmals basierend auf dem validierten Schnittpunkt und/oder eines Linien-Objektmerk- mals basierend auf der validierten Tangente. Die Klassifizierung mindestens der Echosignaldarstellung für das erste Ultraschallecho wird bei einer Entscheidung, ob ein Schnittpunkt o- der eine Tangente bestimmt wird, und/oder bei einer Entscheidung, ob ein Punkt-Objektmerkmal oder ein Linien-Objektmerkmal erzeugt wird, und/oder bei einer Entscheidung, welches eine oder welche mehreren weiteren Ultraschallechos ausgewählt werden, berücksichtigt. Im Betrieb können eine Vielzahl von aktuellen und älteren Messungen vorliegen, die mit einer Vielzahl unterschiedlicher Messanordnungen erfasst wurden. Die Auswahl der Messungen (Ultraschallechos und zugehöriger Echosignaldarstellungen, topologischer Parameter und dergleichen), anhand derer versucht werden soll, ein Objektmerkmal zu konstruieren, kann anhand räumlicher Kriterien - Auswahl von Messungen mit benachbarten Ultraschallsendeempfängern - oder zeitlicher Kriterien - Auswahl nur der aktuellsten Messungen - oder einer Kombination davon erfolgen.
Wenn für ein gegebenes Ultraschallecho eine Messanordnung verwendet wurde, bei welcher der sendende Ultraschallsendeempfänger und der empfangende Ultraschallsendeempfänger identisch sind, kann die Ortskurve möglicher Reflexionspunkte für ein gegebenes Ultraschallecho ein Kreis sein, dessen Mittelpunkt die Position des Ultraschallsendeempfängers ist, dessen Radius durch den gemessenen Abstand gegeben ist, oder genauer ein Halbkreisabschnitt dieses Kreises außerhalb des Kraftfahrzeugs.
Wenn für ein gegebenes Ultraschallecho eine Messanordnung verwendet wurde, bei welcher der sendende Ultraschallsendeempfänger und der empfangende Ultraschallsendeempfänger nicht identisch sind, kann die Ortskurve möglicher Reflexionspunkte eine Ellipse sein, deren Brennpunkte die Positionen der beiden Ultraschallsendeempfänger sind und deren große Halbachse durch den gemessenen Abstand gegeben ist, oder genauer ein Halbellipsenabschnitt dieser Ellipse außerhalb des Kraftfahrzeugs.
Der Schnittpunkt und/oder die Tangente kann durch Anpassen (Fitting) bestimmt werden, beispielsweise nach der Methode der kleinsten Fehlerquadrate oder dergleichen. Denn in einem allgemeinen Fall, bei dem mehr als zwei Messungen ausgewählt wurden, existiert möglicherweise kein exakter Schnittpunkt der mehr als zwei Ellipsen und existiert möglicherweise keine Tangente exakt an mehr als zwei Ellipsen gelegt werden. Somit kann sich beim Bestimmen der Ortskurve neben den Koordinaten des Schnittpunkts oder der Tangente durch das Anpassen eine Messunsicherheit ergeben, die als Maß für die Genauigkeit der Anpassung bzw. der Messung dienen kann. Das Validieren des Schnittpunkts und/oder der Tangente kann somit beispielsweise anhand der beim Bestimmen des Schnittpunkts und/oder der Tangente bestimmten Messunsicherheit erfolgen. Die jeweiligen Messunsicherheiten können beispielsweise mit einem Schwellwert verglichen werden, der nicht überschritten werden darf. Denkbar sind jedoch andere Arten des Validierens, beispielsweise Plausibilitätsprüfungen. Ergeben sich beispielsweise bei mehrfachem Durchführen des Schritts d) Objektmerkmale, die einander widersprechen, können die widersprüchlichen Objektmerkmale beispielsweise nicht validiert werden. Auch können zum Validieren heuristische Datenbanken herangezogen werden, um die bestimmten Objektmerkmale mit als plausibel oder unplausibel bekannten Kombinationen von Objektmerkmalen zu vergleichen.
Das Validieren erfolgt nicht notwendigerweise vor dem Erzeugen eines jeweiligen Objektmerkmals. Es können auch zunächst durch wiederholtes Auswählen und Bestimmen von Ortskurven und Schnittpunkten und/oder Tangenten, ohne diese zu validieren, mehrere Objektmerkmals-Hypothesen erzeugt werden. Das Validieren kann erst erfolgen, nachdem mehrere Objektmerkmals-Hypothesen erzeugt wurden. Sodann können die einzelnen Objektmerkmals-Hypothesen jeweils entweder verworfen oder als erzeugte Objektmerkmale bestätigt bzw. übernommen werden.
Ein Punkt-Objektmerkmal ist insbesondere ein Datensatz, der eine x-Koordinate, eine y-Ko- ordinate und eine Angabe einer Messunsicherheit umfasst. Die Messunsicherheit kann auch als Angabe einer "Ausdehnung" des "Punkts" aufgefasst werden, oder anders ausgedrückt, als Radius eines Kreises um die durch die x- und y-Koordinaten bestimmten Position. Das Punkt-Objektmerkmal kann somit die Rekonstruktion eines zweidimensionalen Kreises ermöglichen, der eine Position des punktförmigen Objekts angibt bzw. eingrenzt.
Ein Linien-Objektmerkmal ist insbesondere ein Datensatz, der eine x-Koordinate, eine y-Ko- ordinate (Anfang der Linie), einen Winkelangabe (Richtung der Linie) und eine Längenan- gäbe (Länge der Linie) umfasst. Alternativ hierzu kann ein Linien-Objektmerkmal beispielsweise auch zwei x-Koordinaten und zwei y-Koordinaten (Anfang und Ende der Linie). Zusätzlich dazu kann das Linien-Objektmerkmal eine Messunsicherheit umfassen, die als eine "Dicke" der "Linie" verstanden werden kann, oder anders ausgedrückt, als einen Abstand zwischen zwei zu der Linie parallelen Linien. Das Linien-Objektmerkmal kann somit die Rekonstruktion eines zweidimensionalen Balkens (Länge: Abstand der Reflexionspunkte 16, 17; Dicke: Messunsicherheit) oder einer zweidimensionalen Ellipse (große Halbachse: halber Abstand der Reflexionspunkte 16, 17; kleine Halbachse: halbe Messunsicherheit) erlauben, die eine Position des linienförmigen Objekts angibt bzw. eingrenzt.
Wenn beim Schritt des Auswählens nur gleich klassifizierte Echosignaldarstellungen ausgewählt werden, kann vorteilhafterweise das Erzeugen fehlerhafter Objektmerkmale weiter eingedämmt werden. Weitere Möglichkeiten, wie die Klassifizierung der Echosignaldarstellung des ersten Ultraschallechos und vorzugsweise auch der weiteren Echosignaldarstellungen vorteilhaft berücksichtigt werden können, werden anhand der folgenden Ausführungsformen näher diskutiert.
Gemäß einer weiteren Ausführungsform werden in Schritt d) sowohl der Schnittpunkt als auch die Tangente bestimmt, und, falls nur der Schnittpunkt erfolgreich validiert wird, wird das Punkt-Objektmerkmal erstellt; falls nur die Tangente erfolgreich validiert wird, wird das Linien-Objektmerkmal erzeugt; und falls sowohl der Schnittpunkt als auch die Tangente erfolgreich validiert werden, wird abhängig von der Klassifizierung mindestens der Echosignaldarstellung für das erste Ultraschallecho entweder das Punkt-Objektmerkmal oder das Linien-Objektmerkmal erzeugt.
Demgemäß kann die Entscheidung, ob basierend auf der Tangente ein Linien-Objektmerkmal oder basierend auf der Tangente ein Schnittpunkt erzeugt werden soll, mittels rechnerischer Validierungstechniken erfolgen. Die Klassifizierung braucht somit vorteilhafterweise nur dann durchgeführt und berücksichtigt zu werden, wenn eine rechnerische Validierungstechnik kein eindeutiges Ergebnis liefert, und kann in diesem Fall vorteilhafterweise eine Entscheidung für die richtige Art von Objektmerkmal herbeiführen.
Gemäß einer weiteren Ausführungsform wird in Schritt d) abhängig von der Klassifizierung mindestens der Echosignaldarstellung für das erste Ultraschallecho entweder der Schnittpunkt bestimmt und, falls der Schnittpunkt erfolgreich validiert wird, das Punkt-Objektmerkmal erzeugt, oder es wird die Tangente bestimmt und, falls die Tangente erfolgreich validiert wird, das Linien-Objektmerkmal erzeugt.
Besonders vorzugsweise werden zudem als das eine oder die mehreren weiteren Ultraschallechos nur solche Ultraschallechos ausgewählt, deren Echosignaldarstellungen die gleiche Klassifizierung aufweisen wie die Echosignaldarstellung des ersten Ultraschallechos.
Somit werden vorteilhafterweise Schnittpunkte und Tangenten jeweils nur dann konstruiert und validiert, wenn dies gemäß der Klassifizierung der Echosignale sinnvoll ist. Ein Rechenaufwand kann vermindert sein und die Qualität der Vermessung kann verbessert werden.
Gemäß einer weiteren Ausführungsform umfasst das Verfahren ferner e) Steuern eines Betriebsvorgangs des Kraftfahrzeugs in Abhängigkeit der erzeugten Objektmerkmale.
Der Betriebsvorgang ist nicht eingeschränkt und kann jeden beliebigen teil- oder vollautomatischen Betriebsvorgang bezeichnen, der direkt oder indirekt von der Anwesenheit und Position von Objekten in der Umgebung des Kraftfahrzeugs abhängt.
Gemäß einer weiteren Ausführungsform wird das vorgeschlagene Verfahren bei stehendem Kraftfahrzeug ausgeführt.
Bei stehendem Kraftfahrzeug stehen Validierungstechniken, die beispielsweise auf der Fortbewegung des Kraftfahrzeugs und sich den daraus ergebenden Verschiebungen der Lagen der Objekte in der Umgebung des Kraftfahrzeugs beruhen, nicht zur Verfügung. Hier ist es daher besonders vorteilhaft, wie vorgeschlagen Punkt- oder linienförmige Objektmerkmale unter Berücksichtigung der Klassifikation einzelner Echosignaldarstellungen zu erzeugen.
Gemäß einem zweiten Aspekt wird ein Verfahren zum Trainieren einer Klassifizierungsvorrichtung zur Verwendung in dem Verfahren des ersten Aspekts bei Verwendung der Klassifizierungsvorrichtung vorgeschlagen. Das Verfahren zum Trainieren umfasst: Anordnen eines punktförmigen oder linienförmigen Objekts in einer realen oder simulierten Umgebung eines Kraftfahrzeugs; Bestimmen von Ultraschall-Empfangssignalen, die jeweils eine Anzahl Ultraschallechos umfassen, die durch Reflexion eines jeweiligen ausgesendeten Ultraschall-Sendesignals an dem Objekt in der Umgebung des Kraftfahrzeugs entstanden sind; Identifizieren mehrerer Ultraschallechos in den empfangenen Ultraschall-Empfangssignalen und Erfassen einer jeweiligen Echosignaldarstellung für jedes der identifizierten Ultraschallechos; Durchführen überwachten maschinellen Lernens mit der Klassifizierungsvorrichtung unter Verwenden mindestens einer jeweiligen Echosignaldarstellung als Trainings-Eingabedaten und Verwenden einer Klassifizierung als Reflexion an einem punktförmigen Objekt oder als Reflexion an einem linienförmigen Objekt, in Übereinstimmung mit der Art des angeordneten Objekts, als Trainings-Ausgabedaten.
Der Schritt des Bestimmens der Ultraschall-Empfangssignale kann beispielsweise durch Ansteuern mehrerer Ultraschallsendeempfänger des Kraftfahrzeugs zum Aussenden von Ultraschall-Sendesignalen in die reale Umgebung des Kraftfahrzeugs und Empfangen von Ultraschall-Empfangssignalen aus der realen Umgebung erfolgen. Die reale Umgebung kann hierbei speziell präpariert sein und kann abgesehen von dem angeordneten Objekt keine weiteren Objekte innerhalb eines Messbereichs der Ultraschallsendeempfänger aufweisen. Bei der realen Umgebung kann es sich auch um eine akustische Absorberkammer handeln.
Alternativ hierzu kann der Schritt des Bestimmens der Ultraschall-Empfangssignale erfolgen, indem die Ausbreitung von Ultraschall-Sendesignalen in der simulierten Umgebung des Kraftfahrzeugs und das Empfangen der Ultraschall-Empfangssignale simuliert werden. Gemäß einem dritten Aspekt wird eine Klassifizierungsvorrichtung zur Verwendung in dem Verfahren des ersten Aspekts bei Verwendung der Klassifizierungsvorrichtung vorgeschlagen, die nach dem Verfahren des zweiten Aspekts trainiert ist.
Die Klassifizierungsvorrichtung kann in Hardware oder in Software ausgeführt sein und beispielsweise ein neuronales Netz umfassen.
Gemäß einem vierten Aspekt wird ein Kraftfahrzeug mit einer Anzahl Ultraschallsendeempfänger und der Klassifizierungsvorrichtung des dritten Aspekts vorgeschlagen.
Das Kraftfahrzeug kann weiterhin eine Steuereinheit umfassen, die dazu eingerichtet ist, das Verfahren des ersten Aspekts durchzuführen. Das Kraftfahrzeug kann ein Automobil, ein Lastkraftwagen, ein Motorrad, ein Elektrofahrrad und dergleichen mehr sein.
Gemäß einem fünften Aspekt wird ein Computerprogrammprodukt vorgeschlagen, das Befehle umfasst, die bei Ausführung durch eine Steuereinheit eines Kraftfahrzeugs des vierten Aspekts bewirken, dass die Steuereinheit das Verfahren des ersten Aspekts durchführt.
Die für das vorgeschlagene Verfahren gemäß dem ersten Aspekt beschriebenen Merkmale, Vorteile und Ausführungsformen gelten entsprechend auch für das vorgeschlagene Trainingsverfahren des zweiten Aspekts, das vorgeschlagene Klassifizierungsvorrichtung des dritten Aspekts, das vorgeschlagene Kraftfahrzeug des vierten Aspekts und das vorgeschlagene Computerprogrammprodukt des sechsten Aspekts.
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmalen oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen. Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsbeispielen unter Bezugnahme auf die beigefügten Figuren näher erläutert.
Fig. 1 zeigt ein beispielhaftes Kraftfahrzeug mit mehreren Ultraschallsendeempfängern; Fig. 2 veranschaulicht Details einer Steuereinheit des beispielhaften Kraftfahrzeugs;
Fig. 3 veranschaulicht Schritte eines Verfahrens gemäß einem ersten Ausführungsbeispiel;
Fig. 4 zeigt eine Auftragung einer Hüllkurve eines Ultraschall-Empfangssignals;
Fig. 5 veranschaulicht Messungen an einem punktförmigen Objekt in der Umgebung eines Kraftfahrzeugs;
Fig. 6 veranschaulicht Messungen an einem linienförmigen Objekt in der Umgebung eines Kraftfahrzeugs;
Fig. 7 veranschaulicht ein Punkt-Objektmerkmal;
Fig. 8 veranschaulicht ein Linien-Objektmerkmal;
Fig. 9 veranschaulicht den Schritt des Klassifizierens einer Echosignaldarstellung mit einer beispielhaften Klassifizierungsvorrichtung;
Fig. 10 veranschaulicht Schritte eines Verfahrens gemäß einem zweiten Ausführungsbeispiel;
Fig. 11 veranschaulicht Schritte eines Verfahrens gemäß einem dritten Ausführungsbeispiel;
Fig. 12 veranschaulicht ein beispielhaftes Verfahren zum Trainieren einer Klassifizierungsvorrichtung;
Fig. 13 veranschaulicht ein beispielhaftes Trainingsverfahrens; und
Fig. 14 veranschaulicht Schritte des beispielhaften Trainingsverfahrens.
In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist. Fig. 1 zeigt ein beispielhaftes Kraftfahrzeug 1 mit mehreren Ultraschallsendeempfängern 2 und einer Steuereinheit 3. Die mehreren Ultraschallsendeempfänger 2 sind entlang einer Seite des Kraftfahrzeugs 1 angeordnet und über eine Kommunikationsleitung 4 mit der Steuereinheit 3 verbunden.
Fig. 2 veranschaulicht Details der Steuereinheit 3. Die Steuereinheit 3 umfasst eine Steuervorrichtung 5 und eine Klassifizierungsvorrichtung 6. Die Steuervorrichtung 5 ist dazu eingerichtet, das nachfolgend beschriebene Verfahren durchzuführen. Hierzu führt die Steuervorrichtung 5 Verarbeitungsschritte durch, sendet Ansteuersignale an die Ultraschallsendeempfänger 2 und empfängt Messignale von diesen, wie nachstehend im Detail beschreiben. Die Klassifizierungsvorrichtung 6 dient der später beschriebenen Klassifizierung von Echosignaldarstellungen. Die Steuereinheit 3 (Steuervorrichtung 5, Klassifizierungsvorrichtung 6) ist beispielsweise durch ein oder mehrere Steuergeräte oder ECUs des Kraftfahrzeugs 1 implementiert.
Fig. 3 veranschaulicht Schritte eines Verfahrens zum Vermessen einer Umgebung des Kraftfahrzeugs 1 gemäß einem ersten Ausführungsbeispiel. Es wird auf Fig. 1 bis Fig. 3 Bezug genommen.
In Schritt S1 steuert die Steuervorrichtung 5 die Ultraschallsendeempfänger 2 an und veranlasst diese dadurch, jeweils ein Ultraschall-Sendesignal in die seitliche Umgebung des Kraftfahrzeugs 1 auszusenden. Beispielsweise wird jeder der Ultraschallsendeempfänger 2 dazu veranlasst, ein Steuersignal mit einer anderen Trägerfrequenz auszusenden. Alternativ hierzu können die Ultraschallsendeempfänger 2 zeitlich versetzt angesteuert werden. Außerdem empfängt die Steuervorrichtung 5 von jedem der Ultraschallsendeempfänger 2 ein Ultraschall-Empfangssignal. Jeder der Ultraschallsendeempfänger 2 liefert herbei an die Steuervorrichtung 5 ein Ultraschall-Empfangssignal, dass im wesentlichen nur Ultraschall mit derjenigen Trägerfrequenz enthält, mit der derselbe der Ultraschallsendeempfänger 2 zuvor das Ultraschall-Sendesignal ausgesendet hat. Es wird auf Fig. 1 bis 4 Bezug genommen. Fig. 4 zeigt eine Auftragung eines von einem der Ultraschall-Sendeempfänger 2 gelieferten Ultraschall-Empfangssignals 7. Genauer ist in Fig.
4 die Amplitudenhüllkurve des Ultraschall-Empfangssignals 7 aufgetragen. Auf der horizontalen Achse ist die Zeit t seit Aussenden des Ultraschall-Sendesignals aufgetragen, und auf der vertikalen Achse ist die Amplitude A aufgetragen. Zu einem Zeitpunkt t0=0 wird eine hohe Amplitude gemessen; es handelt sich hierbei um ein Nachhallen des ausgesendeten Ultraschall-Sendesignals, das durch Nachschwingen einer Ultraschallmembran des Ultraschall-Sendeempfängers 2 und dergleichen entsteht. Zum Zeitpunkt t1 ist das Nachhallen abgeklungen. Zum Zeitpunkt t2 steigt die Amplitude wieder an, erreicht zum Zeitpunkt t3 ein Maximum und fällt danach wieder ab. Zum Zeitpunkt t4 ist der Peak wieder abgeklungen.
In Schritt S2 identifiziert die Steuervorrichtung 5 das Maximum in dem Ultraschall-Empfangssignal 7 bei t3 als ein Ultraschallecho 8, das durch Reflexion des ausgesendeten Ultraschall- Sendesignals an einem Objekt in der Umgebung des Kraftfahrzeugs 1 entstanden ist. Die Steuervorrichtung 5 erfasst eine Anzahl von Abtastungen der Hüllkurve des Ultraschall-Empfangssignals 7 im Bereich des Ultraschallechos 8, genauer vom Zeitpunkt t2 bis zum Zeitpunkt t4 als Echosignaldarstellung 9 des Ultraschallechos 8. Beispielsweise werden 10 Abtastungen vor und 20 Abtastungen nach dem Maximum erfasst.
Anhand des zeitlichen Auftretens des Maximums des Ultraschallechos 8 in dem Ultraschall- Empfangssignal 7 wird ein Abstand zu einem Punkt an dem Objekt in der Umgebung des Kraftfahrzeugs 1 , von dem das Ultraschallecho reflektiert wurde, bestimmt. Konkret ergibt sich in dem vorliegenden Beispiel, bei dem das Ultraschallecho von demselben Ultraschallempfänger 2 empfangen wird, der das Ultraschall-Sendesignal ausgesendet hat, der Abstand zu a = 0,5 * (t3 - tO) * c, mit der Schallgeschwindigkeit c in Luft.
Mit mehreren derartigen Messungen, die von unterschiedlichen Positionen ausgeführt werden, soll die Position von Objekten in der Umgebung des Kraftfahrzeugs 1 durch Trilateration bestimmt werden, wie nachfolgend beschrieben. Fig. 5 und Fig. 6 veranschaulichen Messungen an einem punktförmigen Objekt 10 bzw. an einem linienförmigen Objekt 11 in einer Umgebung des Kraftfahrzeugs 1. Fig. 5 und Fig. 6 zeigen eine schematische Projektion des Kraftfahrzeugs 1 und der Objekte 10 bzw. 11 auf eine zweidimensionale Fahrbahnebene bei Betrachtung in vertikaler Richtung z von oben.
Angenommen, ein erster Ultraschallsendeempfänger 2a habe auf die zuvor beschriebene Weise durch Identifizieren eines Ultraschallechos 8 (Fig. 4) einen Abstand a zu dem Objekt 10, 11 bestimmt. Ein Punkt 16, 17 des Objekts 10, 11 , an dem das Ultraschallecho 8 (Fig. 4) reflektiert wurde, befindet sich auf einem Kreis 12, dessen Mittelpunkt die Position des Ultraschallsendeempfängers 2a und dessen Radius der gemessene Abstand a ist. Der Kreis 12 ist ein Beispiel für eine Ortskurve möglicher Reflexionspunkte 16, 17. Angenommen, ein zweiter Ultraschallsendeempfänger 2b habe einen Abstand b zu dem Objekt 10, 11 bestimmt. Ein Kreis 13 mit dem zweiten Ultraschallsendeempfänger 2b als Mittelpunkt und dem Abstand b als Radius bildet eine weitere Ortskurve möglicher Reflexionspunkte 16, 17 des von Ultraschallsendeempfänger 2b ausgesendeten Ultraschall-Sendesignals.
Sofern es sich bei dem Objekt um das in Fig. 5 gezeigte punktförmige Objekt 10 - wie ein Pfosten oder dergleichen - handelt, so liegen die Reflexionspunkte 16, 17, an denen die Kreise 12, 13 das punktförmige Objekt 10 berühren, nahe beieinander und nahe bei dem Schnittpunkt 14 der Kreise 12 und 13. Der Schnittpunkt 14 stellt daher eine gute Annäherung für die Position des in erster Näherung punktförmigen Objekts 10 dar.
Sofern es sich dagegen bei dem Objekt um das in Fig. 6 gezeigte ausgedehnte, linienförmige Objekt 11 - wie eine Wand oder dergleichen - handelt, im Übrigen aber, wie in Fig. 6 gezeigt, dieselben Abstände a und b bestimmt wurden, so fallen die Reflexionspunkte 16, 17, an denen die Kreise 12, 13 das linienförmige Objekt 11 berühren, nicht und auch nicht näherungsweise zusammen, sondern sind weit voneinander entfernt. Der Schnittpunkt 14 der Kreise 12 und 13 stellt in diesem Fall keine gute Näherung für die Position des linienförmigen Objekts 11 dar. Vielmehr wird die Position des linienförmigen Objekts 11 in diesem Fall besser durch eine Line auf einer Tangente 15 an die Ortskurven 12, 13 beschrieben.
Es wird auf Fig. 2 bis 6 Bezug genommen. Es sei angemerkt, dass die gemessenen Abstände a und b in den Beispielen in Fig. 5 und Fig. 6 jeweils gleich sind und also keinen Hinweis darüber geben, ob sich das punktförmige Objekt 10 oder das linienförmige Objekt 11 in der Umgebung des Kraftfahrzeugs 1 befindet.
Typische punktförmige Objekte 10, d. h. Objekte, deren Position durch den Schnittpunkt 14 mehrerer Ortskurven 12, 13 gut angenähert wird, da alle denkbaren Reflexionspunkte 16, 17 nahe beisammen liegen, sind Pfosten, Laternen, Straßenschilder, Bäume, Ecken von Wän- dern und Mauern, und dergleichen. Diese weisen jeweils eine charakteristische Oberflächenstruktur auf. Typische linienförmige Objekte 10, deren Position besser durch die Tangente 15 an mehrere Ortskurven 12, 13 angenähert wird, sind Wände, Mauern, Hecken und dergleichen, und weisen ebenfalls jeweils eine charakteristische Oberflächenstruktur auf, die sich von der Oberflächenstruktur der punktförmigen Objekte unterscheidet. Die Oberflächenstruktur einer jeweiligen Art von Objekt wirkt sich auf die Amplitude und die spezifische Signalform des Ultraschallechos 8 in dem Ultraschall-Empfangssignal 7 aus. Amplitude und Signalform lassen sich aus der in Schritt S3 erfassten Echosignaldarstellung 9 ablesen.
In Schritt S4 benutzt die Steuervorrichtung 5 daher die Klassifizierungsvorrichtung 6, um die erfassten Echosignaldarstellungen 9 zu klassifizieren. Die Klassifizierungsvorrichtung 6 erhält mindestens eine jeweilige Echosignaldarstellung 9 als Eingabe und liefert als Ausgabe eine Klassifizierung, die angibt, ob die Echosignaldarstellung 9 ein Ultraschallecho 8 enthält, das an einem punktförmigen Objekt 10 reflektiert wurde, oder ein Ultraschallecho 8 enthält, das an einem linienförmigen Objekt 1 1 reflektiert wurde. Die Klassifizierungsvorrichtung 6 kann die Klassifizierung durch Vergleich mit vorab gespeicherten Referenz-Echosignaldarstellungen und/oder mittels künstlicher Intelligenz oder dergleichen bestimmen.
In Schritt S5 erstellt die Steuervorrichtung 5 eine Anzahl Objektmerkmale 18, 19 (Fig. 7, 8), die ein jeweiliges der Objekte 10, 1 1 in der Umgebung des Kraftfahrzeugs 1 angeben. Sie berechnet dazu, wie anhand von Fig. 5 und 6 beschrieben wurde, Schnittpunkte 14 und/oder Tangenten 15 und berücksichtigt die in Schritt S4 bestimmte Klassifizierung bei der Entscheidung, ob basierend auf einem jeweiligen Schnittpunkte 14 ein Punkt-Objektmerkmal 18 (Fig. 7) oder basierend auf einer jeweiligen Tangente 15 ein Linien-Objektmerkmal 19 (Fig. 8) erstellt wird.
Fig. 7 veranschaulicht ein Punkt-Objektmerkmal 18, welches das punktförmige Objekt 10 angibt. Es wird auf Fig. 5 und Fig. 7 Bezug genommen. Das Punkt-Objektmerkmal 19 umfasst die x-Koordinate 20 und die y-Koordinate 21 des Schnittpunkts 14 der Ortskurven 12, 13 sowie eine Messunsicherheit 22 der Koordinaten 20, 21. Die Messunsicherheit 22 bestimmt sich beispielsweise als das Fehlerquadrat einer Anpassung des Schnittpunkts 14 in einem Fall, in dem mehr als zwei Ortskurven 12, 13 sich nicht exakt in einem einzelnen Schnittpunkt 14 schneiden. Das Punkt-Objektmerkmal 18 erlaubt somit die Rekonstruktion eines Kreises mit den Koordinaten 20, 21 des Schnittpunkts 14, und einem durch die Messunsicherheit 22 bestimmten Radius in einer zweidimensionalen Karte der Umgebung des Kraftfahrzeugs 1. Wie man in Fig. 5 sieht, würde ein Kreis um den Schnittpunkt 14 geringfügig näher am Kraftfahrzeug 1 liegen als das tatsächliche punktförmige Objekt 10. Er liegt jedoch niemals weiter weg vom Kraftfahrzeug 1 als das tatsächliche punktförmige Objekt 10. Es handelt sich mithin bei dem aus dem Punkt-Objektmerkmal 18 rekonstruierbaren Kreis um eine konservative Schätzung der Position des punktförmigen Objekts 10.
Fig. 8 veranschaulicht ein Linien-Objektmerkmal 19, welches das linienförmige Objekt 11 angibt. Es wird weiter auf Fig. 6 und Fig. 8 Bezug genommen. Das Linien-Objektmerkmal 20 umfasst die x-Koordinate 23 und die y-Koordinate 24 des ersten Reflexionspunkts 16, an dem die Tangente 15 die Ortskurve 12 berührt, und umfasst ferner eine Winkelangabe 25 und eine Längenangabe 26. Die Winkelangabe 25 und die Längenangabe 26 sind so gesetzt, dass sich aus dem Linien-Objektmerkmal 19 eine Linie von dem ersten Reflexionspunkt 16 zu dem zweiten Reflexionspunkt 17 rekonstruieren lässt. Ferner umfasst das Linien-Objektmerkmal eine Messunsicherheit 27. Die Messunsicherheit 27 bestimmt sich beispielsweise als das Fehlerquadrat einer Anpassung der Tangente 15 in einem Fall mit mehr als zwei Ortskurven 12, 13, in dem die Tangente 15 mit geringstmöglichem Fehlerquadrat an die mehreren Ortskurven 12, 13 angepasst ist. Somit lassen sich aus dem Linien-Objekt- merkmal 19 ein Balken oder eine Ellipse konstruieren, der/die sich von dem ersten zu dem zweiten Reflexionspunkt 16 zu dem zweiten Reflexionspunkt 17 erstreckt und eine durch die Messunsicherheit 27 bestimmte Dicke aufweist. Aufgrund der Berücksichtigung der Messunsicherheit 27 stellt auch das Linien-Objektmerkmal 19 eine konservative Schätzung der Position des ausgedehnten bzw. linienförmigen Objekts 10 dar.
Es sei angemerkt, dass die Ecken 28, 29 des linienförmigen Objekts 11 zwar von dem aus dem Linien-Objektmerkmal 19 rekonstruierbaren zweidimensionalen Merkmal (Balken oder Ellipse) nicht erfasst sind. Diese Ecken würden jedoch bei einer real durchgeführten Messung mit hinreichend vielen Ultraschallsendeempfängern 2 als separate punktförmige Objekte erfasst werden, so dass an der Stelle der Ecken 28, 29 weitere Kreise aus weiteren Punkt-Objektmerkmalen rekonstruiert werden würden und insgesamt eine hinreichend exakte Repräsentation des Objekts 1 1 durch mehrere Objektmerkmale entsteht.
Unter Bezugnahme auf Fig. 1 , Fig. 4, Fig. 5, Fig. 6 sei angemerkt, dass vorstehend der Einfachheit halber zwar beschrieben wurde, dass jeweils ein selber Ultraschallsendeempfänger 2a, 2b ein Ultraschall-Sendesignal aussendet und das Ultraschall-Empfangssignal mit dem zugehörigen Ultraschallecho darin empfängt. Tatsächlich ist aber auch denkbar, dass eine Messanordnung einen ersten der Ultraschallsendeempfänger 2 und einen davon verschiedenen zweiten Ultraschallsendeempfänger 2 umfasst. Der erste Ultraschallsendeempfänger 2 sendet ein Ultraschall-Sendesignal, und der davon verschiedene zweite Ultraschallsendeempfänger 4 empfängt ein Ultraschall-Empfangssignal, welches das zugehörige Ultraschallecho 8 des gesendeten Ultraschall-Sendesignals enthält. In diesem Fall ergibt sich eine Ortskurve 12, 13 möglicher Reflexionspunkte als Ellipse mit den Positionen der beiden beteiligten Ultraschallsendeempfänger 2 als Brennpunkt, deren große Halbachse gleich dem bestimmten "Abstand" (hier korrekter als "halbe Wegstrecke des Ultraschallsignals vom Aussenden bis zum Empfangen" zu bezeichnen) a, b ist. Auf diese Weise können durch geeig- netes Permutieren der Ultraschallsendeempfänger 2, was zeitlich nacheinander oder gleichzeitig im Frequenzmultiplex erfolgen kann, mit einer Anzahl n Ultraschallsendeempfänger 2 insgesamt n*(n-1) unterschiedliche Messanordnungen aus je einem sendenden und einem zugehörigen empfangenden Ultraschallsendeempfänger 2 gebildet werden. Auf diese Weise können mehr Ortskurven bestimmt werden und entsprechend auch mehr Objektmerkmale in der Umgebung des Kraftfahrzeugs 1 erzeugt werden für eine genauere Vermessung.
Fig. 9 veranschaulicht den Schritt des Klassifizierens einer Echosignaldarstellung 9 mit einer beispielhaften Klassifizierungsvorrichtung 6 gemäß einer vorteilhaften Weiterbildung des ersten Ausführungsbeispiels.
Die Klassifizierungsvorrichtung 6 in Fig. 9 umfasst ein künstliches neuronales Netzwerk, das mittels überwachten maschinellen Lernens trainiert ist und dadurch dazu eingerichtet ist, basierend auf einem Eingabedatenvektor 30, der wenigstens die Echosignaldarstellung 9 umfasst, die Echosignaldarstellung 9 zu klassifizieren und als Ausgabedatenvektor 31 jeweils entweder eine Klassifizierung 32 als Reflexion an einem punktförmigen Objekt oder eine Klassifizierung 33 als Reflexion an einem linienförmigen Objekt auszugeben.
Vorzugsweise umfasst der Eingabedatenvektor 30 neben der Echosignaldarstellung 9 weiterhin mindestens drei topologische Parameter 34-36, die die Messanordnung spezifizieren, mit der die Echosignaldarstellung 9 erfasst wurde.
Vorzugsweise umfasst der erste topologische Parameter 34 eine Einbauhöhe des sendenden und/oder des empfangenen Ultraschallsendeempfängers 2 (Fig. 1 ) der Messanordnung. Der zweite topologische Parameter 36 umfasst vorzugsweise einen Höhenwinkel einer Messachse des sendenden und/oder des empfangenden Ultraschallsendeempfängers 2 (Fig. 1 ). Der dritte topologische Parameter 37 umfasst vorzugsweise einen von den Messachsen des sendenden und des empfangenden Ultraschallsendeempfängers 2 (Fig. 1 ) eingeschlossenen Azimutwinkel. Auf diese Weise kann beim Klassifizieren auch die Topologie der Messanordnung vorteilhaft berücksichtigt werden. Das künstliche neuronale Netzwerk der Klassifizierungsvorrichtung 6 umfasst vorzugsweise neben einer Eingangs-Neuronenschicht, an welche der Eingangsdatenvektor 31 eingegeben wird, und einer Ausgangs-Neuronenschicht, welche die Klassifizierung 32 oder 33 ausgibt, wenigstens drei verborgene, faltende Neuronenschichten und wenigstens drei verborgene, dicht verbundene Mehrschichtperzeptronenschichten. Die Schichten können einem Stundenglasmodell entsprechen, bei dem dazwischenliegende verborgene Schichten weniger Neuronen aufweisen als außenliegende Schichten. Gute Ergebnisse wurden mit einer Gesamtzahl an Neuronen in einem unteren vierstelligen Bereich, z. B. von 2000 bis 3000, erzielt.
Fig. 10 veranschaulicht Schritte eines Verfahrens gemäß einem zweiten Ausführungsbeispiel. Das zweite Ausführungsbeispiel beruht auf dem Verfahren des ersten Ausführungsbeispiels mit der Maßgabe, dass nicht nur zwei, sondern eine Vielzahl von Messungen mit einer Vielzahl unterschiedlicher Messanordnungen erfolgt sind. Anhand des zweiten Ausführungsbeispiels werden Teilschritte S11 -S16 einer konkreten Ausgestaltung des Schritts S4 (Fig. 3) des Bestimmens der Objektmerkmale 18, 19 (Fig. 7, 8) beschrieben. Es wird insbesondere auf Fig. 10 und Fig. 4 bis 6 Bezug genommen.
In (Teil-)Schritt S1 1 werden aus der Vielzahl von Messungen eine erste Messung und eine oder mehrere weitere Messungen ausgewählt. Eine Messung umfasst hierbei jeweils ein Ultraschallecho 8 und die zugehörige Echosignaldarstellung 9. Im vorliegenden Beispiel wird auf diese Weise ein Satz an Messungen ausgewählt, die in einem aktuellsten Messdurchgang erfasst bzw. aktualisiert wurden.
In Schritt S12 wird für jede ausgewählte Messung auf die für das erste Ausführungsbeispiel beschriebene Art eine Ortskurve 12, 13 möglicher Reflexionspunkte 16, 17 bestimmt.
In Schritt S13 wird auf die anhand von Fig. 5 beschriebene Art und Weise ein bestmöglich angepasster Schnittpunkt 14 der Ortskurven 12, 13 aller ausgewählten Messungen und eine zugehörige Messunsicherheit des Schnittpunkts 14 bestimmt. In Schritt S14 wird auf die anhand von Fig. 6 beschriebene Art und Weise eine Tangente 15 an die Ortskurven 12, 13 aller ausgewählten Messungen angepasst und eine zugehörige Messunsicherheit der Tangente 15 bestimmt.
In Schritt S15 werden die bestimmte Tangenten 15 und Schnittpunkte 14 mindestens anhand der bestimmten Messunsicherheiten validiert. Weitere heuristische Erwägungen können in die Validierung mit einfließen.
Wenn in Schritt S15 nur der Schnittpunkt 14 erfolgreich validiert wurde und die Tangente 15 nicht erfolgreich validiert wurde, verzweigt Schritt S15 zu Schritt S161. In Schritt S161 wird ein Punkt-Objektmerkmal 18 (Fig. 7) basierend auf dem Schnittpunkt 14 und der Messunsicherheit des Schnittpunkts 14 erzeugt.
Wenn in Schritt S15 nur die Tangente 15 erfolgreich validiert wurde und der Schnittpunkt nicht erfolgreich validiert wurde, verzweigt Schritt S15 zu Schritt S162. In Schritt S162 wird ein Linien-Objektmerkmal 19 (Fig. 8) basierend auf der Tangente 15, den Reflexionspunkten 16, 17 und der Messunsicherheit der T angente 15 erzeugt.
Falls weder die T angente 15 noch der Schnittpunkt 14 erfolgreich validiert wurde, endet der in Fig. 10 gezeigte Verarbeitungsfluss, ohne dass ein Objektmerkmal erzeugt wird.
Zusätzlich zu Fig. 10 und Fig. 4 bis 6 wird auch auf Fig. 9 Bezug genommen. Falls in Schritt S15 sowohl die Tangente 15 als auch der Schnittpunkt 14 erfolgreich validiert wurden, wird zu Schritt S163 verzweigt. In Schritt S163 erfolgt ein Rückgriff auf die Klassifizierungen 32, 33 der Echosignaldarstellung 9 der ausgewählten Messungen. Hierbei kann nur die Klassifizierung 32, 33 der Echosignaldarstellung 9 des ersten ausgewählten Ultraschallechos 8 berücksichtigt werden, oder es kann diejenige Klassifizierung 32, 33 berücksichtigt werden, die unter den ausgewählten Messungen am häufigsten vorkommt. Sofern die Klassifizierung 32, 33, die solchermaßen berücksichtigt wird, eine Klassifizierung 32 als Reflexion an einem punktförmigen Objekt ist, wird ein Punkt-Objektmerkmal 18 (Fig. 7) erfolgt. Sofern die berücksichtigte Klassifizierung 32, 33 eine Klassifizierung 33 als Reflexion an einem linienförmigen Objekt ist, wird ein Linien-Objektmerkmal 19 (Fig. 8) erzeugt.
Gemäß dem zweiten Ausführungsbeispiel werden die von der Klassifizierungsvorrichtung 6 bestimmten Klassifizierungen 32, 33 zur Entscheidung von uneindeutigen Fällen verwendet, wenn die Validierung in Schritt S15 allein keinen Hinweis darauf gibt, ob ein Punkt-Objektmerkmal 18 oder ein Linien-Objektmerkmal 19 zu erzeugen ist.
Fig. 11 und Fig. 12 veranschaulicht Schritte eines Verfahrens gemäß einem dritten Ausführungsbeispiel. Das dritte Ausführungsbeispiel beruht auf gleiche Weise wie das zweite Ausführungsbeispiel auf dem Verfahren des ersten Ausführungsbeispiels. Anhand des dritten Ausführungsbeispiels werden Teilschritte S1 1 -S16 einer weiteren mögliche Ausgestaltung des Schritts S4 (Fig. 3) des Bestimmens der Objektmerkmale beschrieben.
Es wird auf Fig. 1 1 , Fig. 9 und Fig. 4 bis 6 Bezug genommen und ein erster Abschnitt des Verfahrens des dritten Ausführungsbeispiels beschreiben. In Schritt S11 werden aus der Vielzahl von Messungen eine erste Messung und eine oder mehrere weitere Messungen ausgewählt. Im dritten Ausführungsbeispiel werden weitere Messungen ausgewählt aus demselben oder früheren Messdurchläufen ausgewählt, die mittels Ultraschallsendeempfängern 2 erfasst wurden, welche sich in räumlicher Nähe zu dem Ultraschallsendeempfänger 2 befinden, mit dem die erste ausgewählte Messung erfasst wurde. Als weitere Bedingung werden in dem ersten Abschnitt des Verfahrens in Schritt S11 nur Messungen ausgewählt, deren jeweilige Echosignaldarstellung 9 eine Klassifizierung 32 als Reflexion an einem punktförmigen Objekt aufweist.
In Schritt S12 wird für jede ausgewählte Messung auf die für das erste Ausführungsbeispiel beschriebene Art eine Ortskurve 12, 13 möglicher Reflexionspunkte 16, 17 bestimmt. In Schritt S13 wird auf die anhand von Fig. 5 beschriebene Art und Weise ein bestmöglich angepasster Schnittpunkt 14 der Ortskurven 12, 13 aller ausgewählten Messungen und eine Messunsicherheit des Schnittpunkts 14 bestimmt.
In Schritt S15 wird der bestimmte Schnittpunkt 14 mindestens anhand der bestimmten Messunsicherheiten validiert. Wenn die in Schritt S15 der Schnittpunkt 14 erfolgreich validiert wurde, wird mit Schritt S16 fortgefahren. Andernfalls wird kein Objektmerkmal erzeugt.
In Schritt S16 wird ein Punkt-Objektmerkmal 18 (Fig. 7) basierend auf dem Schnittpunkt 14 und der Messunsicherheit des Schnittpunkts 14 erzeugt.
Es wird auf Fig. 12, Fig. 9 und Fig. 4 bis 6 Bezug genommen. Der zweite Abschnitt des Verfahrens des dritten Ausführungsbeispiels aus Fig. 12 entspricht dem ersten Abschnitt aus Fig. 11 mit der Maßgabe, dass in Schritt S11 nur Messungen ausgewählt werden, deren Echosignaldarstellung 9 eine Klassifizierung 33 als Reflexion an einem linienförmigen Objekt aufweist, dass anstellte von Schritt S13 Schritt S14 ausgeführt wird, in dem eine Tangente 15 an die Ortskurven 12, 13 angepasst und eine Messunsicherheit der T angente 15 bestimmt wird, dass in Schritt S15 die T angente 15 validiert wird, und dass bei erfolgreicher Validierung in Schritt S16 ein Linien-Objektmerkmal 19 (Fig. 8) basierend auf der Tangente 15, den Reflexionspunkten 16, 17 und der Messunsicherheit der Tangente 14 erzeugt wird.
Gemäß dem dritten Ausführungsbeispiel wird die Klassifizierung 32, 33 jeder Echosignaldarstellung 9 von Anfang an berücksichtigt. Punkt-Objektmerkmale 18 werden nur anhand von als Reflexion als punktförmigen Objekten klassifizierten Messungen erzeugt, und Linien-Ob- jektmerkmale 19 werden nur anhand von als Reflexion an linienförmigen Objekten klassifizierten Messungen erzeugt. Die Genauigkeit kann weiter verbessert werden.
Fig. 13 veranschaulicht ein beispielhaftes Verfahren zum Trainieren einer Klassifizierungsvorrichtung 6, und Fig. 14 veranschaulicht Schritte des beispielhaften Verfahrens zum Trainieren. Es wird auf Fig. 13, 14, und Fig. 4 bis 6 Bezug genommen. In Schritt S21 wird ein Referenzobjekt, bei dem es sich um ein punktförmiges Objekt 10 oder ein linienförmiges Objekt 1 1 handeln kann, in einer Umgebung des Kraftfahrzeugs 1 angeordnet. Das Anordnen kann physikalisch erfolgen, oder es kann ein simuliertes Referenzobjekt 10, 1 1 in einer simulierten Umgebung des Kraftfahrzeugs 1 angeordnet werden.
In Schritt S22 werden Ultraschall-Empfangssignale 7 bestimmt, die jeweils ein oder mehrere Ultraschallechos 8 umfassen, die durch Reflexion eines ausgesendeten Ultraschall-Sendesignals an dem Referenzobjekt 10, 1 1 in der Umgebung des Kraftfahrzeugs 1 entstanden.
Die Ultraschall-Empfangssignale 7 können auf gleiche Weise, wie für das erste Ausführungsbeispiel des Vermessungsverfahrens beschrieben, gemessen werden. Alternativ hierzu können die Ausbreitung der Ultraschall-Sendesignale, deren Reflexionen an dem Referenzobjekt 10, 1 1 und das jeweilige resultierende Ultraschall-Empfangssignal 7 simuliert werden.
In Schritt S23 werden auf gleiche Weise, wie anhand des ersten Ausführungsbeispiels des Vermessungsverfahrens beschrieben, jein den in Schritt S22 bestimmten Ultraschall-Empfangssignalen 7 Ultraschallechos 8 identifiziert und die zugehörigen Echosignaldarstellungen 9 erfasst.
In Schritt S24 wird das künstliche neuronale Netzwerk der Klassifizierungsvorrichtung 6 mittels überwachten maschinellen Lernens trainiert. Das heißt, dem künstlichen neuronalen Netzwerk der Klassifizierungsvorrichtung 6 werden als Trainings-Eingabedaten 37 eine jeweilige Echosignaldarstellung 9 und vorzugsweise außerdem die zugehörigen topologischen Parameter 34-36 bereitgestellt, und als Trainings-Ausgangsdaten 38 werden der Klassifizierungsvorrichtung 6 in Übereinstimmung damit, ob das Referenzobjekt ein punktförmiges Objekt 10 oder ein linienförmiges Objekt 1 1 ist, entweder die Klassifizierung 32 als Reflexion an einem punktförmigen Objekt oder die Klassifizierung 33 als Reflexion an einem linienförmigen Objekt bereitgestellt. Sodann wird ein Schritt des überwachten maschinellen Lernens mit den Trainings-Eingabedaten 37 und den Trainings-Ausgabedaten 38 durchgeführt. Die Schritte S21 bis S24 werden mit verschiedenen Referenzobjekten, verschiedenen Messanordnungen und so weiter viele Male wiederholt, bis das künstliche neuronale Netzwerk der Klassifizierungsvorrichtung 6 ausreichend trainiert ist.
Obwohl die Erfindung anhand von Ausführungsbeispielen beschreiben wurde, ist sie im Rahmen des Schutzumfangs der beigefügten Ansprüche vielfältig modifizierbar.
Es wurden verschiedene Ausführungsbeispiele des Verfahrens zum Vermessen der Umgebung des Kraftfahrzeugs 1 beschrieben. Das jeweilige Verfahren kann bei fahrendem oder bei stehendem Kraftfahrzeug 1 ausgeführt werden.
Anhand der gemäß dem Verfahren erzeugten Objektmerkmale kann eine Karte der Umgebung des Kraftfahrzeugs 1 erstellt werden, die aus Kreisen (Punkten mit Radien, die einer Messungenauigkeit entsprechen) und Balken (Linien mit einer Dicke, die einer Messungenauigkeit entspricht oder Ellipsen mit einer kleinen Halbachse, die der halben Messungenauigkeit entspricht) besteht. Anhand dieser Karte der Umgebung des Kraftfahrzeugs 1 kann sodann bestimmt werden, ob und wie weit eine Tür (nicht gezeigt) des Kraftfahrzeugs geöffnet werden kann, ob ein Spurwechsel des fahrenden Kraftfahrzeugs 1 sicher erfolgen kann, ob ein Einparkvorgang des Kraftfahrzeugs 1 möglich ist, der Einparkvorgang des Kraftfahrzeugs 1 kann anhand der solchermaßen erstellen Karte teil- oder vollautomatisch gesteuert werden, und dergleichen mehr. Die genannten Betriebsvorgänge des Kraftfahrzeugs können somit in Abhängigkeit der erzeugten Objektmerkmale 18, 19 gesteuert werden.
BEZUGSZEICHENLISTE
I Kraftfahrzeug
2, 2a, 2b Ultraschallsendeempfänger
3 Steuereinheit
4 Kommunikationsleitung
5 Steuervorrichtung
6 Klassifizierungsvorrichtung
7 Ultraschall-Empfangssignal
8 Ultraschallecho
9 Echosignaldarstellung
10 punktförmiges Objekt
I I linienförmiges Objekt
12, 13 Ortskurven möglicher Reflexionspunkte
14 Schnittpunkt der Ortskurven
15 T angente an die Ortskurven
16, 17 Reflexionspunkte
18 Punkt-Objektmerkmal
19 Linien-Objektmerkmal
20, 21 x-, y-Koordinate des Punkt-Objektmerkmals
22 Messunsicherheit des Punkt-Objektmerkmals
23, 24 x-, y-Koordinate des Linien-Objektmerkmals
25 Winkelangabe des Linien-Objektmerkmals
26 Längenangabe des Linien-Objektmerkmals
27 Messunsicherheit des Linien-Objektmerkmals
28, 29 Ecken
30 Eingabedaten
31 Ausgabedaten
32 Klassifizierung als Reflexion an punktförmigem Objekt
33 Klassifizierung als Reflexion an linienförmigem Objekt 34-36 topologische Parameter
37 Trainings-Eingabedaten
38 Trainings-Ausgabedaten
S1-S163 Verfahrensschritte A Amplitude a, b Abstände t Zeit tO-t4 Zeitpunkte x, y Richtungen parallel zu einer Fahrbahnebene z vertikale Richtung

Claims

33 PATENTANSPRÜCHE
1 . Verfahren zum Vermessen einer Umgebung eines Kraftfahrzeugs (1 ), das eine Anzahl Ultraschallsendeempfänger (2) aufweist, wobei das Verfahren umfasst: a) Ansteuern (S1 ) der Anzahl Ultraschallsendeempfänger (2) zum Aussenden von Ultraschall-Sendesignalen in die Umgebung des Kraftfahrzeugs (1 ) und Empfangen von Ultraschall-Empfangssignalen (7) aus der Umgebung des Kraftfahrzeugs (1 ); b) Identifizieren (S2) mehrerer Ultraschallechos (8) in den empfangenen Ultraschall-Empfangssignalen (7) und Erfassen einer jeweiligen Echosignaldarstellung (9) für jedes der identifizieren Ultraschallechos (8); c) Bestimmen (S3) einer Klassifizierung (32, 33) jeder der mehreren Echosignaldarstellungen (9) als Reflexion des Ultraschall-Sendesignals an einem punktförmigen Objekt (10) oder als Reflexion des Ultraschall-Sendesignals an einem linienförmigen Objekt (1 1 ); und d) Erzeugen (S4) einer Anzahl von Objektmerkmalen (18, 19), die ein jeweiliges Objekt (10, 1 1 ) in der Umgebung des Kraftfahrzeugs (1 ) angeben, anhand der mehreren Ultraschallechos (8) unter Berücksichtigung der Klassifizierungen (32, 33) der mehreren Echosignaldarstellungen (9).
2. Verfahren nach Anspruch 1 , wobei die jeweilige Echosignaldarstellung (9) eine Anzahl von Abtastungen einer Hüllkurve des entsprechenden Ultraschall-Empfangssignals (7) vor und nach einem zeitlichen Auftreten des entsprechenden Ultraschallechos (8) umfasst.
3. Verfahren nach einem der vorhergehenden Ansprüche, wobei
Schritt c) unter Verwendung einer mittels maschinellen Lernens trainierten Klassifizierungsvorrichtung (6) erfolgt, der mindestens die jeweilige Echosignaldarstellung (9) als Eingabedaten (30) bereitgestellt wird und deren Ausgabedaten (31 ) die Klassifizierung (32, 33) darstellen.
4. Verfahren nach Anspruch 3, wobei 34 als Eingabedaten (30) für die Klassifizierungsvorrichtung (6) ferner ein oder mehrere topologische Parameter (34-36) einer Messanordnung aus einem sendenden der Anzahl Ultraschallsendeempfänger (2) und einem empfangenden der Anzahl Ultraschallsendeempfänger (2), unter deren Verwendung die jeweilige Echosignaldarstellung (9) erfasst wurde, bereitgestellt werden.
5. Verfahren nach Anspruch 4, wobei der jeweilige topologische Parameter (34-36) eine Einbauhöhe des sendenden und/oder des empfangenen Ultraschallsendeempfängers (2), einen Höhenwinkel einer Messachse des sendenden und/oder des empfangenden Ultraschallsendeempfängers (2) und einen von den Messachsen des sendenden und des empfangenden Ultraschallsendeempfängers (2) eingeschlossenen Azimutwinkel umfasst.
6. Verfahren nach einem der Ansprüche 3 bis 5, wobei die Klassifizierungsvorrichtung (6) ein durch überwachtes Lernen trainiertes, künstliches neuronales Netzwerk umfasst.
7. Verfahren nach Anspruch 6, wobei das künstliche neuronale Netzwerk eine Eingangs-Neuronenschicht, eine Anzahl verborgener, faltender Neuronenschichten, eine Anzahl verborgener, dicht verbundener Mehr- schichtperzeptronenschichten und eine Ausgangs-Neuronenschicht umfasst.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei Schritt d) umfasst:
Auswählen (S1 1 ) eines ersten Ultraschallechos (8) und eines oder mehrerer weiterer Ultraschallechos (8) aus den mehreren identifizierten Ultraschallechos (8);
Bestimmen (S12) einer Ortskurve (12, 13) möglicher Reflexionspunkte für jedes der ausgewählten Ultraschallechos (8);
Bestimmen (S13) eines Schnittpunkts (14) der bestimmten Ortskurven (12, 13) und/oder Bestimmen (S14) einer Tangente (15) an die bestimmten Ortskurven (12, 13); Validieren (S15) des bestimmten Schnittpunkts (14) und/oder der bestimmten Tangente (15); und
Erzeugen (S16) eines Punkt-Objektmerkmals (18) basierend auf dem validierten Schnittpunkt (14) und/oder eines Linien-Objektmerkmals (19) basierend auf der validierten Tangente (15), wobei die Klassifizierung (32, 33) mindestens der Echosignaldarstellung (9) für das erste Ultraschallecho (8) bei einer Entscheidung, ob ein Schnittpunkt (14) oder eine Tangente (15) bestimmt wird, und/oder bei einer Entscheidung, ob ein Punkt-Objektmerkmal (18) oder ein Linien-Objektmerkmal (19) erzeugt wird, und/oder bei einer Entscheidung, welches eine oder welche mehreren weiteren Ultraschallechos (8) ausgewählt werden, berücksichtigt wird.
9. Verfahren nach Anspruch 8, wobei in Schritt d): sowohl der Schnittpunkt (14) als auch die Tangente (15) bestimmt werden; falls nur der Schnittpunkt (14) erfolgreich validiert wird, das Punkt-Objektmerkmal (18) erstellt wird; falls nur die Tangente (15) erfolgreich validiert wird, das Linien-Objektmerkmal (19) erzeugt wird; und falls sowohl der Schnittpunkt (14) als auch die Tangente (15) erfolgreich validiert werden, abhängig von der Klassifizierung (32, 33) mindestens der Echosignaldarstellung (9) für das erste Ultraschallecho (8) entweder das Punkt-Objektmerkmal (18) oder das Linien-Objektmerkmal (19) erzeugt wird.
10. Verfahren nach Anspruch 8, wobei in Schritt d): abhängig von der Klassifizierung mindestens der Echosignaldarstellung (9) für das erste Ultraschallecho (8) entweder der Schnittpunkt (14) bestimmt und, falls der Schnittpunkt
(14) erfolgreich validiert wird, das Punkt-Objektmerkmal (18) erzeugt wird, oder die Tangente
(15) bestimmt wird und, falls die Tangente (15) erfolgreich validiert wird, das Linien-Objektmerkmal (19) erzeugt wird.
11 . Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend: e) Steuern eines Betriebsvorgangs des Kraftfahrzeugs (1 ) in Abhängigkeit der erzeugten Objektmerkmale (18, 19).
12. Verfahren zum Trainieren einer Klassifizierungsvorrichtung (6) zur Verwendung in dem Verfahren nach einem der Ansprüche 3 bis 11 , umfassend:
Anordnen (S21 ) eines punktförmigen oder linienförmigen Objekts (10, 11 ) in einer realen oder simulierten Umgebung eines Kraftfahrzeugs (1 );
Bestimmen (S22) von Ultraschall-Empfangssignalen (7), die jeweils eine Anzahl Ultraschallechos (8) umfassen, die durch Reflexion eines jeweiligen ausgesendeten Ultraschall- Sendesignals an dem Objekt (10, 1 1 ) in der Umgebung des Kraftfahrzeugs (1 ) entstanden sind;
Identifizieren (S23) mehrerer Ultraschallechos (8) in den Ultraschall-Empfangssignalen (7) und Erfassen einer jeweiligen Echosignaldarstellung (9) für jedes der identifizierten Ultraschallechos (8);
Durchführen (S24) überwachten maschinellen Lernens mit der Klassifizierungsvorrichtung (6) unter Verwenden mindestens einer jeweiligen Echosignaldarstellung (9) als Trainings-Eingabedaten (37) und Verwenden einer Klassifizierung (32) als Reflexion an einem punktförmigen Objekt oder (33) als Reflexion an einem linienförmigen Objekt (11 ), in Übereinstimmung mit der Art des angeordneten Objekts (10, 1 1 ), als Trainings-Ausgabedaten (38).
13. Klassifizierungsvorrichtung (6) zur Verwendung in dem Verfahren nach einem der Ansprüche 3 bis 1 1 , die nach dem Verfahren nach Anspruch 12 trainiert ist.
14. Kraftfahrzeug (1 ), umfassend eine Anzahl Ultraschallsendeempfänger (2) und die Klassifizierungsvorrichtung (6) nach Anspruch 13. 37
15. Computerprogrammprodukt, umfassend Befehle, die bei Ausführung durch eine Steuereinheit (3) eines Kraftfahrzeugs (1 ) nach Anspruch 14 bewirken, dass die Steuereinheit (3) das Verfahren nach einem der Ansprüche 1 bis 11 durchführt.
PCT/EP2022/083997 2021-12-06 2022-12-01 Verfahren zum vermessen einer umgebung eines kraftfahrzeugs WO2023104617A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280080839.3A CN118355291A (zh) 2021-12-06 2022-12-01 用于勘测机动车辆的周围环境的方法
KR1020247018839A KR20240097930A (ko) 2021-12-06 2022-12-01 자동차의 주변 환경을 측량하는 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021132024.0A DE102021132024A1 (de) 2021-12-06 2021-12-06 Verfahren zum vermessen einer umgebung eines kraftfahrzeugs
DE102021132024.0 2021-12-06

Publications (1)

Publication Number Publication Date
WO2023104617A1 true WO2023104617A1 (de) 2023-06-15

Family

ID=84387650

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/083997 WO2023104617A1 (de) 2021-12-06 2022-12-01 Verfahren zum vermessen einer umgebung eines kraftfahrzeugs

Country Status (4)

Country Link
KR (1) KR20240097930A (de)
CN (1) CN118355291A (de)
DE (1) DE102021132024A1 (de)
WO (1) WO2023104617A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013021837A1 (de) * 2013-12-21 2015-06-25 Valeo Schalter Und Sensoren Gmbh Verfahren zum Klassifizieren eines Objekts, Sensoreinrichtung und Kraftfahrzeug

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018103551B4 (de) 2018-02-16 2022-09-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Charakterisieren eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs anhand von zuvor gelernten Kurvenparametern, Sensorvorrichtung sowie Fahrerassistenzsystem

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013021837A1 (de) * 2013-12-21 2015-06-25 Valeo Schalter Und Sensoren Gmbh Verfahren zum Klassifizieren eines Objekts, Sensoreinrichtung und Kraftfahrzeug

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AIT OUFROUKH N ET AL: "Ultrasonic multi-transducer processing for pattern recognition", PROCEEDINGS OF IEEE SENSORS 2002. ORLANDO, FL, JUNE 12 - 14, 2002; [IEEE INTERNATIONAL CONFERENCE ON SENSORS], NEW YORK, NY : IEEE, US, vol. 2, 12 June 2002 (2002-06-12), pages 1329 - 1334, XP010605310, ISBN: 978-0-7803-7454-6 *

Also Published As

Publication number Publication date
KR20240097930A (ko) 2024-06-27
CN118355291A (zh) 2024-07-16
DE102021132024A1 (de) 2023-06-07

Similar Documents

Publication Publication Date Title
EP2823331B1 (de) Verfahren und vorrichtung zum erfassen von objekten in einer umgebung eines fahrzeugs
EP0909412B1 (de) Verfahren zur erstellung einer zellular strukturierten umgebungskarte von einer selbstbeweglichen mobilen einheit, welche sich mit hilfe mit auf wellenreflexion basierenden sensoren in der umgebung orientiert
EP3695244B1 (de) Verfahren und vorrichtung zum erzeugen eines inversen sensormodells und verfahren zum erkennen von hindernissen
EP1417509B1 (de) Echosignalüberwachungsvorrichtung und -verfahren
DE102017103275A1 (de) Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mithilfe eines Ultraschallsensors mit verbesserter Filterung von Bodenreflexionen, Steuergerät, Ultraschallsensorvorrichtung sowie Kraftfahrzeug
DE102010030289A1 (de) Radarsensor und Verfahren zum Betreiben eines Radarsensors
DE102017101476B3 (de) Lokalisieren eines Objekts in einer Umgebung eines Kraftfahrzeugs durch ein Ultraschallsensorsystem
DE10359212A1 (de) Hinderniserfassungssystem für ein Kraftfahrzeug
WO2021069137A1 (de) Verfahren und fahrerassistenzsystem zum klassifizieren von objekten in der umgebung eines fahrzeugs
DE102021100351A1 (de) Adaptive untersuchung für lidar-basiertes gruppieren
DE102016225494A1 (de) Verfahren und vorrichtung zum erfassen eines zielobjekts
DE102020205127A1 (de) Verfahren zum Generieren einer Objektrepräsentation mittels empfangener Ultraschallsignale
WO2021069130A1 (de) Verfahren und eine vorrichtung zur klassifizierung eines objektes, insbesondere im umfeld eines kraftfahrzeugs
WO2023104617A1 (de) Verfahren zum vermessen einer umgebung eines kraftfahrzeugs
EP3809316A1 (de) Vorhersage eines strassenverlaufs auf basis von radardaten
EP1456689A1 (de) Verfahren zur hinderniserkennung für ein kfz mit mindestens drei abstandssensoren zum erfassen der lateralen ausdehnund objekts
EP2749982A2 (de) Bezugsmodellerzeugung und Aktualisierung
WO2022129266A1 (de) Verfahren zur detektion zumindest eines objektes einer umgebung mittels reflexionssignalen eines radar-sensorsystems
DE102018202903A1 (de) Verfahren zur Auswertung von Messdaten eines Radar Messsystems mithilfe eines neuronalen Netzwerks
DE102014118624A1 (de) Verfahren zum simulativen Bestimmen einer Interaktion zwischen einem Sensor eines Kraftfahrzeugs und einem virtuellen Objekt in einem virtuellen Umgebungsbereich des Kraftfahrzeugs sowie Recheneinrichtung
DE102020210740A1 (de) Verfahren, Computerprogramm und Fahrerassistenzsystem zur Verarbeitung von Umfelddaten der Umgebung eines Fahrzeugs
DE102006051091B4 (de) Verfahren zur Objekterkennung von Fahrzeugen mittels Nahbereichsdetektion
DE102018130745A1 (de) Verfahren zur Steuerung eines autonomen Fahrzeugs
EP4176285B1 (de) Dopplerbasierte bestimmung der geschwindigkeitsrichtung
WO2024115439A1 (de) Verfahren zum betrieb eines lidar-systems und lidar-system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22817791

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 1020247018839

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2022817791

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022817791

Country of ref document: EP

Effective date: 20240708