WO2022223655A1 - Verfahren und vorrichtung zur erkennung einer dekalibrierung eines lidarsystems - Google Patents

Verfahren und vorrichtung zur erkennung einer dekalibrierung eines lidarsystems Download PDF

Info

Publication number
WO2022223655A1
WO2022223655A1 PCT/EP2022/060475 EP2022060475W WO2022223655A1 WO 2022223655 A1 WO2022223655 A1 WO 2022223655A1 EP 2022060475 W EP2022060475 W EP 2022060475W WO 2022223655 A1 WO2022223655 A1 WO 2022223655A1
Authority
WO
WIPO (PCT)
Prior art keywords
lidar system
determined
decalibration
curved
laser
Prior art date
Application number
PCT/EP2022/060475
Other languages
English (en)
French (fr)
Inventor
Chrysa Bozatzidou
Sebastian Kleinschmidt
Original Assignee
Daimler Truck AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Truck AG filed Critical Daimler Truck AG
Priority to CN202280030001.3A priority Critical patent/CN117178196A/zh
Priority to US18/556,526 priority patent/US20240210539A1/en
Publication of WO2022223655A1 publication Critical patent/WO2022223655A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Definitions

  • the invention relates to a method for detecting a decalibration of a lidar system.
  • the invention also relates to a device for detecting a decalibration of a lidar system.
  • DE 102020 007772 A1 discloses a method for in-service calibration of a vehicle lidar with the following method steps:
  • a vehicle with a lidar and a computing unit is described, the computing unit being set up to carry out the method.
  • the invention is based on the object of specifying a novel method and a novel device for detecting a decalibration of a lidar system.
  • the object is achieved according to the invention by a method which has the features specified in claim 1 and by a device which has the features specified in claim 6 .
  • the lidar system scans an environment, in particular an environment of the vehicle, with a plurality of laser receiver systems in a common field of vision. It is a flat surface located in the common field of vision with the
  • Point clouds are identified that are created by the reflection of a respective laser beam from the laser-receiver systems on the flat surface.
  • a virtual measuring surface for example a B-spline plane or a Bezier plane, is interpolated through the identified point cloud of the respective laser beam. It is determined whether the measurement areas determined for the respective laser beams essentially match one another and/or are curved. If it is determined that the measurement areas determined for the respective laser beams do not essentially match one another and/or that at least one of the measurement areas determined for the respective laser beams is curved, a decalibration of the lidar system is concluded, i. H. the decalibration of the lidar system is then recognized.
  • a device for detecting decalibration of a lidar system, in particular a lidar system of a vehicle, in particular for carrying out the above-mentioned method for detecting decalibration of the lidar system, in particular of the lidar system of a vehicle, the lidar system having a plurality of laser receiver systems which are designed and are set up for scanning an environment, in particular an environment of the vehicle, in a common field of view is designed and set up for scanning a located in the common field of view flat surface with the
  • Laser-receiver systems for identifying point clouds, which are caused by the reflection of a respective laser beam of the laser-receiver systems on the flat surface, for interpolating a virtual measuring surface, for example one B-spline plane or a Bezier plane, through the identified point cloud of the respective laser beam, to determine whether the measurement surfaces determined for the respective laser beams essentially match one another and/or are curved, and to conclude that the lidar system has been decalibrated, ie for detecting the decalibration of the lidar system, if it is determined that the measurement areas determined for the respective laser beams do not essentially correspond to one another and/or that at least one of the measurement areas determined for the respective laser beams is curved.
  • a virtual measuring surface for example one B-spline plane or a Bezier plane
  • the lidar system to be checked using the method or the device with regard to a possible decalibration is thus designed as such a lidar system with a plurality of laser-receiver systems that have a common field of vision.
  • the lidar system scans the surroundings, in particular the surroundings of the vehicle, with a plurality of laser receiver systems in a common field of view. It thus scans the surroundings, in particular the surroundings of the vehicle, with a plurality of laser beams in the common field of vision, with the respective laser beam being generated and emitted by the respective laser-receiver system and reflected radiation of the respective laser beam, in particular caused by objects reflecting the laser beam , is received by the receiver of the laser receiver system.
  • the respective laser-receiver system is thus a laser transmitter-receiver system.
  • the fields of view of the individual laser-receiver systems overlap at least in some areas, with an overlapping area in which the fields of view of the individual laser-receiver systems overlap forming the common field of view.
  • the lidar system includes at least two or more than two such laser receiver systems. Such a lidar system is also referred to as a multi-eye lidar system.
  • the lidar system thus scans the surroundings, in particular the surroundings of the vehicle, with a number of laser-receiver systems and thus with a number of laser beams, namely with the laser beam of the respective laser-receiver system, in the common field of view.
  • the flat surface located in the common field of vision is marked with the laser-receiver systems and thus with the several laser beams, namely with the laser beam of the respective laser-receiver system. scanned.
  • the point clouds are identified that result from the reflection of the respective laser beam on the flat surface.
  • a virtual measuring surface for example a B-spline plane or a Bezier plane, is interpolated through the identified point cloud of the respective laser beam, ie the respective virtual measuring surface is interpolated using all points of the respective identified point cloud.
  • the respective virtual measurement area thus advantageously runs through all points of the respective identified point cloud. It is determined whether the measurement areas determined for the respective laser beams essentially match one another and/or are curved. If the determination shows that the measurement areas do not essentially correspond to one another and/or that at least one of the measurement areas is curved, a decalibration of the lidar system is concluded.
  • the solution according to the invention makes it possible to ensure that the lidar system operates within specified parameter limits and deviates from assumed, in particular specified, models only within permissible limits. Only calibrated lidar systems, in particular multi-eye lidar systems, can ensure the safe operation of automated, in particular highly automated or autonomous, vehicles.
  • the solution according to the invention enables automatic detection of the decalibration of the lidar system outside of workshops and test facilities, d. H. for example in a vehicle located with a vehicle user, for example during normal ferry operation and/or before and/or after such normal ferry operation while the vehicle is stationary.
  • maintenance intervals of the lidar system can be extended and/or the lidar system does not have to be maintained, for example by a workshop, in order to detect such a decalibration of the lidar system.
  • an existing decalibration of the lidar system is recognized by means of the solution according to the invention, provision can be made, for example, for systems and functions based on the lidar system to be deactivated or only operated to a limited extent.
  • the vehicle user can be informed about the detected decalibration of the lidar system, for example by a corresponding optical, acoustic and/or haptic warning message, and/or maintenance of the lidar system can be initiated, for example automatic booking of a maintenance appointment in a workshop , or the vehicle user can choose a Such a booking of a maintenance appointment can be suggested by the vehicle, whereby he can be supported by the vehicle in this booking, for example, or can cause it to be carried out automatically.
  • a calibration of the lidar system can be carried out, for example, by adjusting the points to a common plane using a suitable model, i. H. in such a way that all points of all point clouds that result from the reflection of the respective laser beam of the laser-receiver systems on the flat surface in the common field of view of the laser-receiver systems and scanned by them in the common field of vision lie on a common plane .
  • a corresponding method for calibrating the lidar system, in particular the lidar system of a vehicle thus includes the method described here for detecting a decalibration of a lidar system, in particular a lidar system of a vehicle, and additionally, if decalibration of the lidar system is detected, its calibration in the manner described above, i. H. the points are fitted to a common plane, in particular in the manner described above, by using an appropriate model.
  • a corresponding device for calibrating the lidar system, in particular the lidar system of a vehicle, in particular for carrying out the method for calibrating the lidar system accordingly includes the device described here for detecting a decalibration of a lidar system, in particular a lidar system of a vehicle, and is additionally designed and set up for Calibration of the lidar system in the manner described above upon its detected decalibration, d. H. designed and arranged to adjust the points to a common plane, in particular in the manner described above, by using an appropriate model.
  • this respective Measuring surface determined, a tangential plane determined at the respective measuring surface.
  • a tangential plane of this respective measurement surface is thus determined at each of these points of the respective measurement surface, ie a plane lying tangentially on the respective measurement surface at the respective point of the respective measurement surface.
  • a curved respective measurement surface is inferred, ie it is determined that the respective measurement surface is curved if the tangential planes determined for the various points of the respective measurement surface do not essentially coincide with one another.
  • a decalibration of the lidar system is already inferred, ie such a decalibration of the lidar system is detected if at least one of the measurement surfaces is curved, ie if the tangential planes determined for the various points of this measurement surface are not essentially at least one of the measurement surfaces agree with each other.
  • the device for determining whether the respective measurement surface is curved is designed and set up to determine a tangential plane to the respective measurement surface at each point of the point cloud that determines this respective measurement surface, and to infer a curved respective one measuring surface, d. H. for determining that the respective measurement surface is curved if the tangent planes determined for the different points of the respective measurement surface do not substantially coincide with one another.
  • a decalibration of the lidar system is already deduced, i. H. such a decalibration of the lidar system is detected when at least one of the measurement surfaces is curved, i. H. if, for at least one of the measuring surfaces, the tangential planes determined for the various points of this measuring surface do not essentially correspond to one another.
  • the embodiment described for determining whether the respective measurement surface is curved is a simple, efficient and reliable way of determining this.
  • the flat surface is advantageously at least as large as the common field of view of the laser-receiver systems.
  • the flat surface is larger than the common field of view of the laser-receiver systems, ie it advantageously projects completely beyond the common field of view at the edge.
  • the flat surface, ie advantageously an object having the flat surface, and the lidar system are or are advantageously aligned with one another in such a way that the common viewing area lies completely on the flat surface.
  • a calibration target, a house wall or a traffic sign is used as the flat surface, or an object which has this flat surface.
  • a predetermined calibration target ie calibration target object
  • a flat surface By using a predetermined calibration target, ie calibration target object, as a flat surface, it can be ensured in a simple manner that a flat surface is actually scanned in the manner described above. This can be done in a workshop, for example, but also by a vehicle user during normal vehicle use, in that the vehicle user positions the calibration target in the shared field of view of the laser-receiver systems. A visit to the workshop or maintenance of the lidar system by special maintenance personnel is therefore not absolutely necessary.
  • any deviations are within specified tolerances. i.e. the measurement areas determined for the respective laser beams essentially agree with one another if the deviations determined lie within these specified tolerances. If this is the case, then the measurement areas determined for the respective laser beams are evaluated as at least substantially corresponding to one another. If deviations are determined that are not within these specified tolerances, i. H. exceed these specified tolerances, then the measuring surfaces determined for the respective laser beams are not evaluated as corresponding to one another, not even as substantially corresponding to one another.
  • 1 shows a schematic side view of a traffic situation with two vehicles
  • 2 shows a schematic of a scanning trajectory of a laser receiver system of a lidar system
  • FIG. 5 schematically shows a device for detecting decalibration of a lidar system, in particular a lidar system of a vehicle, in particular for carrying out a method for detecting decalibration of the lidar system, in particular of the lidar system of a vehicle.
  • a method and a device 1 for detecting a decalibration of a lidar system 2, in particular a lidar system 2 of a vehicle 3, are described below with reference to FIGS.
  • the method and the device 1 enable in particular the detection of an intrinsic decalibration, in particular of a multi-eye lidar system.
  • Lidar or LiDAR is an abbreviation for "Light Detection And Ranging” and means “optical distance measurement”.
  • Lidar is a measurement technique similar to radar that measures the distance, location and intensity of an object in the vicinity, i. H. in an environment of the lidar system 2. For example, it uses ultraviolet, infrared, and visible light rays. For this purpose, for example, light pulses can be used and a distance to an object can be calculated by measuring the transit time of the light. This measurement technique is called Amplitude Modulated (AM) LiDAR or Time-of-Flight (ToF) LiDAR.
  • AM Amplitude Modulated
  • ToF Time-of-Flight
  • a point cloud ie a LiDAR point cloud
  • points p are described by a distance d, a location x,y,z and an intensity I.
  • the lidar system 2 i. H. the lidar sensor, emits light pulses, which are reflected by objects on which they impinge, in the example shown here on another vehicle F and on a road surface FO.
  • Laser beams RLS reflected by the respective object are detected by the lidar system 2, d. H. from the lidar sensor.
  • lidar sensors i. H. Lidar systems 2
  • Lidar has clear advantages over other 3D sensors.
  • An advantage over a stereo camera is, for example, that data quality from the generated lidar is essentially unaffected by daylight and darkness.
  • the solution described below for detecting the decalibration of the lidar system 2 relates to a lidar system 2 designed as such a multi-eye lidar system.
  • H. at least two laser receiver systems 2.1, 2.2, so-called “Eyes”, combined to form a lidar system 2.
  • Scanning trajectories T1, T2 of the eyes, i. H. of the laser-receiver systems 2.1, 2.2 are variable, since the measuring method is based on swiveling mirrors, unlike the classic rotating LiDAR sensors.
  • FIG. 2 shows a schematic representation of the scanning trajectory T 1 of such a laser-receiver system 2.1 of the lidar system 2, here when scanning a flat surface EF.
  • the scanning trajectories T1, T2 of two or more eyes i. H.
  • Laser receiver systems 2.1, 2.2, in a combined system, ie lidar system 2 are also referred to as scan patterns.
  • Laser-receiver systems 2.1, 2.2 is shown schematically in FIG. 3, here also when scanning a flat surface EF.
  • the accuracy of the recorded point cloud from the lidar system 2 designed as a multi-eye lidar system must be ensured.
  • the scanning trajectories T1, T2 of the eyes i. H. the laser receiver systems 2.1, 2.2 are synchronized before use. Due to a structure necessary for this, the resulting scanning trajectory T1, T2 of the eyes, i. H. of the laser-receiver systems 2.1, 2.2, change over time, for example due to sensor-specific aging phenomena. A deviation must be determined for an interpretation of sensor data from the laser receiver systems 2.1, 2.2.
  • the solution described below relates to a technical method that enables the scanning trajectories T1, T2 to be checked without additional external sensors, and to a device 1 for carrying out this method.
  • the lidar system 2 to be checked using the method or the device 1 with regard to a possible decalibration is to be configured as a lidar system 2 with several, i. H. formed at least two laser receiver systems 2.1, 2.2, which have a common field of view GSB, also referred to as a multi-eye lidar system.
  • the lidar system 2 scans the surroundings, in particular the surroundings of the vehicle 3, with several, at least two, laser receiver systems 2.1, 2.2 in the common field of view GSB. It thus scans the surroundings, in particular the surroundings of the vehicle 3, with a plurality of laser beams in the common field of view GSB, with the respective laser beam being generated and emitted by the respective laser-receiver system 2.1, 2.2 and causing reflected radiation of the respective laser beam, in particular by objects reflecting the laser beam, is received by the receiver of the laser-receiver system 2.1, 2.2.
  • the respective laser-receiver system 2.1, 2.2 is therefore a laser transmitter-receiver system.
  • the fields of view of the individual laser-receiver systems 2.1, 2.2 overlap at least in certain areas, as shown in FIG.
  • scanning trajectories T1, T2 of two laser-receiver systems 2.1, 2.2 of the lidar system 2 designed as a multi-eye lidar system with the common field of view GSB, ie the area in which the fields of vision and thus the scanning trajectories T1, T2 of the lasers -Receiver systems 2.1, 2.2 overlap, shown schematically.
  • the overlapping area, in which the viewing areas of the individual laser-receiver systems 2.1, 2.2 overlap, thus forms the common viewing area GSB.
  • the lidar system 2 comprises at least two or more than two such laser receiver systems 2.1, 2.2.
  • the lidar system 2 scans the surroundings, in particular the surroundings of the vehicle 3, with several, i. H. at least two laser-receiver systems 2.1, 2.2 and thus with several, corresponding to at least two, laser beams, namely with the laser beam of the respective laser-receiver system 2.1, 2.2, in the common field of view GSB.
  • a flat surface EF located in the common field of view GSB for example a calibration target, a house wall or a traffic sign, is scanned with the laser receiver systems 2.1, 2.2 and thus with the multiple laser beams, namely with the Laser beam of the respective laser-receiver system 2.1, 2.2 sampled.
  • the point clouds are identified that are created by the reflection of the respective laser beam on the flat surface EF.
  • a virtual measuring surface for example a B-spline plane or a Bezier plane, is interpolated through the identified point cloud of the respective laser beam, ie the respective virtual measuring surface is determined using all points p 1,i , p 2,i of the respective identified point cloud interpolated.
  • the respective virtual measuring surface thus advantageously runs through all points p 1,i , p 2,i of the respective identified point cloud. It is determined whether the measurement areas determined for the respective laser beams essentially match one another and/or are curved. If the determination shows that the measurement areas do not essentially correspond to one another and/or that at least one of the measurement areas is curved, a decalibration of the lidar system 2 is concluded.
  • the flat surface EF is advantageously at least as large as the common field of view GSB of the laser-receiver systems 2.1, 2.2.
  • the flat surface EF is larger than the common field of view GSB Laser-receiver systems 2.1, 2.2, ie it advantageously projects completely beyond the common field of view GSB at the edge.
  • the flat surface EF, ie advantageously an object having the flat surface, and the lidar system 2 are or are advantageously aligned with one another in such a way that the common field of view GSB lies completely on the flat surface EF, as shown in FIG.
  • a tangential plane to the respective measurement surface is determined at each point p 1,i , p 2,i of the point cloud that determines this respective measurement surface to determine whether the respective measurement surface is curved.
  • a tangential plane of this respective measurement surface is thus determined at each of these points p 1,i , p 2,i of the respective measurement surface, ie a plane tangentially adjacent to the respective point p 1,i , p 2,i of the respective measurement surface .
  • a curved respective measurement surface is inferred, ie it is determined that the respective measurement surface is curved if the tangential planes determined for the various points p 1,i , p 2,i of the respective measurement surface do not essentially coincide with one another.
  • a decalibration of the lidar system 2 is already inferred, ie such a decalibration of the lidar system 2 is detected, if at least one of the measurement surfaces is curved, ie if at least one of the measurement surfaces for the various points p 1, i , p 2,i determined tangential planes of this measuring surface do not essentially agree with each other.
  • any deviations are within specified tolerances. i.e. the measurement areas determined for the respective laser beams essentially agree with one another if the deviations determined lie within these specified tolerances. If this is the case, then the measurement areas determined for the respective laser beams are evaluated as at least substantially corresponding to one another. If deviations are determined that are not within these specified tolerances, i. H. exceed these specified tolerances, then the measuring surfaces determined for the respective laser beams are not evaluated as corresponding to one another, not even as substantially corresponding to one another.
  • the lidar system 2 can be calibrated, for example, in that the points p 1,i , p 2,i are adjusted to a common plane using a suitable model are, ie in such a way that all points p 1,i , p 2,i of all point clouds, which are due to the reflection of the respective laser beam of the laser-receiver systems 2.1, 2.2 at the common field of view GSB of the laser-receiver systems 2.1 , 2.2 located and scanned by this flat surface EF arise in the common field of view GSB, lie on a common plane.
  • a corresponding method for calibrating the lidar system 2, in particular the lidar system 2 of a vehicle 3, thus includes the method described here for detecting a decalibration of the lidar system 2, in particular the lidar system 2 of the vehicle 3, and additionally, if decalibration of the lidar system 2 is detected, its calibration the way described above, ie the points p 1,i , p 2,i are adjusted, in particular in the way described above, to a common plane by using a suitable model.
  • Figure 5 shows an exemplary schematic representation of the device 1 for detecting the decalibration of the lidar system 2, in particular the lidar system 2 of the vehicle 3, in particular for carrying out the described method for detecting the decalibration of the lidar system 2, in particular the lidar system 2 of the vehicle 3.
  • the device 1 can also be designed and set up to calibrate the lidar system 2, in particular the lidar system 2 of the vehicle 3, in particular to carry out the method for calibrating the lidar system 2. It then includes the device 1 for detecting the decalibration of the lidar system 2, in particular the lidar system 2 of the vehicle 3, and is additionally designed and set up for calibrating the lidar system 2 in the manner described above when it is detected decalibration, i.e. designed and set up to the points p 1,i , p 2,i , in particular in the manner described above, to a common plane by using a suitable model.
  • the device 1 comprises the lidar system 2 with the plurality, i. H. at least two laser-receiver systems 2.1, 2.2 and advantageously a processing unit 4, in particular for carrying out and evaluating at least one or more of the method steps described above or all of the method steps described above.
  • the processing unit 4 can be a part of the lidar system 2, for example, ie it can, for example, an already existing processing unit 4 also for carrying out the method described here for detecting the decalibration of the lidar system 2, in particular the lidar system 2 of the vehicle 3, and for example, in addition to carrying out the method described for calibrating the lidar system 2.
  • the method described here for detecting the decalibration of the lidar system 2 and, for example, additionally the method described for calibrating the lidar system 2 can thus be implemented in the lidar system 2, for example.
  • the device 1 can also include the flat surface EF, for example the calibration target.
  • a flat surface EF thus for example an object with a flat side, i. H. with a surface without curvature, for example a calibration target or a facade of a building, d. H. a house wall, needed.
  • the flat surface EF is advantageously larger than the common field of view GSB of the laser-receiver systems 2.1, 2.2 of the lidar system 2, as shown in FIG.
  • the flat surface EF ie advantageously the object with the flat surface EF, and the lidar system 2 are aligned with one another in such a way that the common field of view GSB lies completely on the flat surface EF.
  • FIG. 4 shows the scanning trajectories T1, T2 of the two laser-receiver systems 2.1, 2.2 of the lidar system 2 with the respective points p 1,i and p 2,i .
  • the points p 1,i of the first scanning trajectory T1 which lie in the common field of view GSB, are each an element of a set P1 of all points p 1,i that belong to the first scanning trajectory T1, and each an element of a set P GSB of all points p 1,i , p 2,i , which are in the common viewing area GSB. If a respective point p 1,i of the first scanning trajectory T1 is not in the common field of view GSB, then it is only an element of the set P1.
  • the points p 2,i of the second scanning trajectory T2 which lie in the common field of view GSB, are each an element of a set P2 of all points p 2,i that belong to the second Scanning trajectory T2 belong, and one element of the set P GSB of all points p 1,i , p 2,i , which are in the common field of view GSB. If a respective point p 2,i of the second scanning trajectory T2 is not in the common field of view GSB, then it is only an element of the set P2.
  • An area E2 i. h a measurement surface E2, in space, describing curvatures, for example a B-spline surface or Bezier surface, is determined for the points p 2,i belonging to the set P2 and to the set P GSB , ie for all points p 2,i of the second scanning trajectory T2, which lie in the common viewing area GSB.
  • the respective tangential plane of the surface E1 is determined in each point p 1,i of the first scanning trajectory T1, which lies in the common viewing area GSB.
  • Case a The surface E1 has different tangential planes in the different points p 1,i of the first scanning trajectory T1, which lie in the common viewing area GSB. It is then recognized and reported, for example, that an, in particular intrinsic, decalibration of this laser receiver system 2.1 was observed, and thus the, in particular intrinsic, decalibration of the lidar system 2 is also recognized and reported, for example.
  • Case b The area E1 has the same tangential plane in the different points p 1,i of the first scanning trajectory T1, which lie in the common field of view GSB, and is therefore a plane, as expected for a non-decalibrated lidar system 2.
  • the respective tangential plane of the surface E2 is determined in each point p 2,i of the second scanning trajectory T2, which lies in the common viewing area GSB.
  • Case a The surface E2 has different tangential planes in the different points p 2,i of the second scanning trajectory T2, which lie in the common viewing area GSB. It is then recognized and reported, for example, that an, in particular intrinsic, decalibration of this laser-receiver system 2.2 was observed, and thus the, in particular intrinsic, decalibration of the lidar system 2 is also recognized and reported, for example.
  • Case b The area E2 has the same tangential plane in the different points p 2,i of the second scanning trajectory T2, which lie in the common field of view GSB, and is therefore a plane, as expected for a non-decalibrated lidar system 2.
  • the lidar system 2 is calibrated, in particular with regard to the laser-receiver systems 2.1, 2.2 intrinsically calibrated. If the areas E1 and E2 are not equal, then the laser receiver systems 2.1, 2.2 are decalibrated, in particular intrinsically, and the lidar system 2 is therefore also decalibrated, in particular intrinsically.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung einer Dekalibrierung eines Lidarsystems (2), insbesondere eines Lidarsystems (2) eines Fahrzeugs (3). Das Verfahren ist erfindungsgemäß dadurch gekennzeichnet, dass - das Lidarsystem (2) eine Umgebung mit mehreren Laser-Empfänger-Systemen (2.1, 2.2) in einem gemeinsamen Sichtbereich (GSB) abtastet, - eine sich im gemeinsamen Sichtbereich (GSB) befindende ebene Fläche (EF) mit den Laser-Empfänger-Systemen (2.1, 2.2) abgetastet wird, - Punktwolken identifiziert werden, die durch die Reflexion eines jeweiligen Laserstrahls der Laser-Empfänger-Systeme (2.1, 2.2) an der ebenen Fläche (EF) entstehen, - eine virtuelle Messfläche durch die identifizierte Punktwolke des jeweiligen Laserstrahls interpoliert wird, - ermittelt wird, ob die für die jeweiligen Laserstrahlen ermittelten Messflächen im Wesentlichen miteinander übereinstimmen und/oder gekrümmt sind, und - auf eine Dekalibrierung des Lidarsystems (2) geschlossen wird, wenn ermittelt wird, dass die für die jeweiligen Laserstrahlen ermittelten Messflächen nicht im Wesentlichen miteinander übereinstimmen und/oder dass mindestens eine der für die jeweiligen Laserstrahlen ermittelten Messflächen gekrümmt ist. Die Erfindung betrifft des Weiteren eine Vorrichtung (1) zur Erkennung einer Dekalibrierung eines Lidarsystems (2), insbesondere eines Lidarsystems (2) eines Fahrzeugs (3).

Description

Verfahren und Vorrichtung zur Erkennung einer Dekalibrierung eines Lidarsystems
Die Erfindung betrifft ein Verfahren zur Erkennung einer Dekalibrierung eines Lidarsystems.
Die Erfindung betrifft des Weiteren eine Vorrichtung zur Erkennung einer Dekalibrierung eines Lidarsystems.
Aus der DE 102020 007772 A1 ist ein Verfahren zur In-Betrieb-Kalibrierung eines Lidars eines Fahrzeugs mit den folgenden Verfahrensschritten bekannt:
- mehrmaliges Abtasten einer Fahrzeugumgebung mittels des Lidars zum Erzeugen von Punktewolken;
- Nachverfolgen einer Relativposition von den Punktewolken umfasster Abtastpunkte zum Lidar;
- Bestimmen einer Bewegungsrichtung der Abtastpunkte durch Auswerten einer Relativpositionsverschiebung der Abtastpunkte zwischen den Punktewolken;
- Bestimmen eines Schnittpunkts der Bewegungsrichtungen einer festgelegten Auswahl an Abtastpunkten zur Bestimmung eines Momentanfluchtpunkts;
- Vergleich einer Position des Momentanfluchtpunkts mit einer bekannten Position eines Referenzfluchtpunkts; und
- bei Feststellen einer Lageabweichung zwischen Momentanfluchtpunkt und Referenzfluchtpunkt: Verschieben eines Referenzkoordinatensystems oder eines Momentankoordinatensystems, um den Momentanfluchtpunkt mit dem Referenzfluchtpunkt zur Deckung zu bringen.
Des Weiteren wird ein Fahrzeug mit einem Lidar und einer Recheneinheit beschrieben, wobei die Recheneinheit dazu eingerichtet, das Verfahren auszuführen. Der Erfindung liegt die Aufgabe zugrunde, ein neuartiges Verfahren und eine neuartige Vorrichtung zur Erkennung einer Dekalibrierung eines Lidarsystems anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist, und durch eine Vorrichtung, welche die im Anspruch 6 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In einem erfindungsgemäßen Verfahren zur Erkennung einer Dekalibrierung eines Lidarsystems, insbesondere eines Lidarsystems eines Fahrzeugs, tastet das Lidarsystem eine Umgebung, insbesondere eine Umgebung des Fahrzeugs, mit mehreren Laser-Empfänger-Systemen in einem gemeinsamen Sichtbereich ab. Es wird eine sich im gemeinsamen Sichtbereich befindende ebene Fläche mit den
Laser-Empfänger-Systemen abgetastet. Es werden Punktwolken identifiziert, die durch die Reflexion eines jeweiligen Laserstrahls der Laser-Empfänger-Systeme an der ebenen Fläche entstehen. Es wird eine virtuelle Messfläche, beispielsweise eine B-Spline-Ebene oder eine Bezier-Ebene, durch die identifizierte Punktwolke des jeweiligen Laserstrahls interpoliert. Es wird ermittelt, ob die für die jeweiligen Laserstrahlen ermittelten Messflächen im Wesentlichen miteinander übereinstimmen und/oder gekrümmt sind. Wenn ermittelt wird, dass die für die jeweiligen Laserstrahlen ermittelten Messflächen nicht im Wesentlichen miteinander übereinstimmen und/oder dass mindestens eine der für die jeweiligen Laserstrahlen ermittelten Messflächen gekrümmt ist, wird auf eine Dekalibrierung des Lidarsystems geschlossen, d. h. es wird dann die Dekalibrierung des Lidarsystems erkannt..
Eine erfindungsgemäße Vorrichtung zur Erkennung einer Dekalibrierung eines Lidarsystems, insbesondere eines Lidarsystems eines Fahrzeugs, insbesondere zur Durchführung des oben erwähnten Verfahrens zur Erkennung der Dekalibrierung des Lidarsystems, insbesondere des Lidarsystems eines Fahrzeugs, wobei das Lidarsystem mehrere Laser-Empfänger-Systeme aufweist, welche ausgebildet und eingerichtet sind zur Abtastung einer Umgebung, insbesondere einer Umgebung des Fahrzeugs, in einem gemeinsamen Sichtbereich, ist ausgebildet und eingerichtet zum Abtasten einer sich im gemeinsamen Sichtbereich befindenden ebenen Fläche mit den
Laser-Empfänger-Systemen, zum Identifizieren von Punktwolken, die durch die Reflexion eines jeweiligen Laserstrahls der Laser-Empfänger-Systeme an der ebenen Fläche entstehen, zum Interpolieren einer virtuellen Messfläche, beispielsweise einer B-Spline-Ebene oder einer Bezier-Ebene, durch die identifizierte Punktwolke des jeweiligen Laserstrahls, zum Ermitteln, ob die für die jeweiligen Laserstrahlen ermittelten Messflächen im Wesentlichen miteinander übereinstimmen und/oder gekrümmt sind, und zum Schließen auf eine Dekalibrierung des Lidarsystems, d. h. zum Erkennen der Dekalibrierung des Lidarsystems, bei einer Ermittlung, dass die für die jeweiligen Laserstrahlen ermittelten Messflächen nicht im Wesentlichen miteinander übereinstimmen und/oder dass mindestens eine der für die jeweiligen Laserstrahlen ermittelten Messflächen gekrümmt ist.
Das mittels des Verfahrens bzw. der Vorrichtung hinsichtlich einer möglicherweise vorliegenden Dekalibrierung zu prüfende Lidarsystem ist somit als ein solches Lidarsystem mit mehreren Laser- Empfänger-Systemen ausgebildet, die einen gemeinsamen Sichtbereich aufweisen. Das Lidarsystem tastet, wie oben bereits erwähnt, die Umgebung, insbesondere die Umgebung des Fahrzeugs, mit mehreren Laser-Empfänger-Systemen in einem gemeinsamen Sichtbereich ab. Es tastet somit die Umgebung, insbesondere die Umgebung des Fahrzeugs, mit mehreren Laserstrahlen in dem gemeinsamen Sichtbereich ab, wobei der jeweilige Laserstrahl vom jeweiligen Laser-Empfänger-System erzeugt und abgestrahlt wird und reflektierte Strahlung des jeweiligen Laserstrahls, insbesondere verursacht durch den Laserstrahl reflektierende Objekte, vom Empfänger des Laser-Empfänger-Systems empfangen wird. Das jeweilige Laser-Empfänger-System ist somit ein Lasersender- Empfänger-System.
Um die beschriebene Abtastung im gemeinsamen Sichtbereich zu ermöglichen, überlappen Sichtbereiche der einzelnen Laser-Empfänger-Systeme zumindest bereichsweise, wobei ein Überlappungsbereich, in dem sich die Sichtbereiche der einzelnen Laser-Empfänger-Systeme überlappen, den gemeinsamen Sichtbereich bildet. Das Lidarsystem umfasst mindestens zwei oder mehr als zwei solche Laser-Empfänger-Systeme. Ein solches Lidarsystem wird auch als Multi-Eye-Lidar-System bezeichnet.
Das Lidarsystem tastet somit, wie beschrieben, die Umgebung, insbesondere die Umgebung des Fahrzeugs, mit mehreren Laser-Empfänger-Systemen und somit mit mehreren Laserstrahlen, nämlich mit dem Laserstrahl des jeweiligen Laser-Empfänger-Systems, im gemeinsamen Sichtbereich ab. Um eine mögliche Dekalibrierung zu erkennen, wird dabei die sich im gemeinsamen Sichtbereich befindende ebene Fläche mit den Laser-Empfänger-Systemen und somit mit den mehreren Laserstrahlen, nämlich mit dem Laserstrahl des jeweiligen Laser-Empfänger-Systems, abgetastet. Es werden die Punktwolken identifiziert, die durch die Reflexion des jeweiligen Laserstrahls an der ebenen Fläche entstehen. Es wird eine virtuelle Messfläche, beispielsweise eine B-Spline-Ebene oder eine Bezier-Ebene, durch die identifizierte Punktwolke des jeweiligen Laserstrahls interpoliert, d. h. die jeweilige virtuelle Messfläche wird mittels aller Punkte der jeweiligen identifizierten Punktwolke interpoliert. Die jeweilige virtuelle Messfläche verläuft somit vorteilhafterweise durch alle Punkte der jeweiligen identifizierten Punktwolke. Es wird ermittelt, ob die für die jeweiligen Laserstrahlen ermittelten Messflächen im Wesentlichen miteinander übereinstimmen und/oder gekrümmt sind. Wenn die Ermittlung ergibt, dass die Messflächen nicht im Wesentlichen miteinander übereinstimmen und/oder dass mindestens eine der Messflächen gekrümmt ist, wird auf eine Dekalibrierung des Lidarsystems geschlossen.
Durch die erfindungsgemäße Lösung kann sichergestellt werden, dass das Lidarsystem innerhalb vorgegebener Parametergrenzen operiert und nur in zulässigen Grenzen von angenommenen, insbesondere vorgegebenen, Modellen abweicht. Nur durch kalibrierte Lidarsysteme, insbesondere Multi-Eye-Lidar-Systeme, kann ein sicherer Betrieb von automatisierten, insbesondere hochautomatisierten oder autonomen, Fahrzeugen sichergestellt werden.
Die erfindungsgemäße Lösung ermöglicht insbesondere eine automatische Erkennung der Dekalibrierung des Lidarsystems auch außerhalb von Werkstätten und Testeinrichtungen, d. h. beispielsweise bei einem sich bei einem Fahrzeugnutzer befindenden Fahrzeug, beispielsweise während eines normalen Fährbetriebs und/oder vor und/oder nach einem solchen normalen Fährbetrieb während eines Stillstands des Fahrzeugs. Dadurch können beispielsweise Wartungsintervalle des Lidarsystems verlängert werden und/oder muss keine Wartung des Lidarsystems, beispielsweise durch eine Werkstatt, durchgeführt werden, um eine solche Dekalibrierung des Lidarsystems zu erkennen.
Wird mittels der erfindungsgemäßen Lösung eine vorliegende Dekalibrierung des Lidarsystems erkannt, kann beispielsweise vorgesehen sein, dass auf dem Lidarsystem basierende Systeme und Funktionen deaktiviert oder nur noch eingeschränkt betrieben werden. Alternativ oder zusätzlich kann beispielsweise der Fahrzeugnutzer über die erkannte Dekalibrierung des Lidarsystems informiert werden, beispielsweise durch eine entsprechende optische, akustische und/oder haptische Warnmeldung, und/oder es kann eine Wartung des Lidarsystem veranlasst werden, beispielsweise eine automatische Buchung eines Wartungstermins in einer Werkstatt, oder dem Fahrzeugnutzer kann eine solche Buchung eines Wartungstermins durch das Fahrzeug vorgeschlagen werden, wobei er bei dieser Buchung beispielsweise durch das Fahrzeug unterstützt werden kann oder veranlassen kann, dass sie automatisch durchgeführt wird.
Alternativ oder zusätzlich kann im Anschluss an eine erkannte Dekalibrierung des Lidarsystems beispielsweise eine Kalibrierung des Lidarsystems durchgeführt werden, indem die Punkte durch Verwendung eines geeigneten Modells an eine gemeinsame Ebene angeglichen werden, d. h. derart, dass alle Punkte aller Punktwolken, die durch die Reflexion des jeweiligen Laserstrahls der Laser-Empfänger-Systeme an der sich im gemeinsamen Sichtbereich der Laser-Empfänger-Systeme befindenden und von diesen abgetasteten ebenen Fläche im gemeinsamen Sichtbereich entstehen, auf einer gemeinsamen Ebene liegen. Ein entsprechendes Verfahren zur Kalibrierung des Lidarsystems, insbesondere des Lidarsystems eines Fahrzeugs, umfasst somit das hier beschriebene Verfahren zur Erkennung einer Dekalibrierung eines Lidarsystems, insbesondere eines Lidarsystems eines Fahrzeugs, und zusätzlich bei erkannter Dekalibrierung des Lidarsystems dessen Kalibrierung auf die oben beschriebene Weise, d. h. die Punkte werden, insbesondere auf die oben beschriebene Weise, durch Verwendung eines geeigneten Modells an eine gemeinsame Ebene angeglichen. Eine entsprechende Vorrichtung zur Kalibrierung des Lidarsystems, insbesondere des Lidarsystems eines Fahrzeugs, insbesondere zur Durchführung des Verfahrens zur Kalibrierung des Lidarsystems, umfasst entsprechend die hier beschriebene Vorrichtung zur Erkennung einer Dekalibrierung eines Lidarsystems, insbesondere eines Lidarsystems eines Fahrzeugs, und ist zusätzlich ausgebildet und eingerichtet zur Kalibrierung des Lidarsystems auf die oben beschriebene Weise bei dessen erkannter Dekalibrierung, d. h. dazu ausgebildet und eingerichtet, die Punkte, insbesondere auf die oben beschriebene Weise, durch Verwendung eines geeigneten Modells an eine gemeinsame Ebene anzugleichen. Durch diese Möglichkeit der Kalibrierung des Lidarsystems nach erkannter Dekalibrierung können Werkstattaufenthalte zur Wartung des Lidarsystems vermieden werden und das Lidarsystem kann, insbesondere automatisch auf die beschriebene Weise, sehr schnell wieder kalibriert und danach wieder uneingeschränkt verwendet werden. Dadurch werden Ausfallzeiten des Lidarsystems und daraus resultierende Einschränkungen von Systemen und Funktionen des Fahrzeugs auf ein Minimum reduziert und Störungen und Unannehmlichkeiten sowie ein höherer Aufwand für den Fahrzeugnutzer werden vermieden.
In einer möglichen Ausführungsform des Verfahrens wird für die Ermittlung, ob die jeweilige Messfläche gekrümmt ist, an jedem Punkt der Punktwolke, die diese jeweilige Messfläche bestimmt, eine Tangentialebene an die jeweilige Messfläche ermittelt. Es wird somit an jedem dieser Punkte der jeweiligen Messfläche eine Tangentialebene dieser jeweiligen Messfläche bestimmt, d. h. eine am jeweiligen Punkt der jeweiligen Messfläche an der jeweiligen Messfläche tangential anliegende Ebene. Es wird auf eine gekrümmte jeweilige Messfläche geschlossen, d. h. es wird ermittelt, dass die jeweilige Messfläche gekrümmt ist, wenn die für die verschiedenen Punkte der jeweiligen Messfläche ermittelten Tangentialebenen nicht im Wesentlichen miteinander übereinstimmen. Wie oben beschrieben, wird dabei bereits auf eine Dekalibrierung des Lidarsystems geschlossen, d. h. eine solche Dekalibrierung des Lidarsystems wird erkannt, wenn mindestens eine der Messflächen gekrümmt ist, d. h. wenn bei mindestens einer der Messflächen die für die verschiedenen Punkte dieser Messfläche ermittelten Tangentialebenen nicht im Wesentlichen miteinander übereinstimmen.
In einer möglichen Ausführungsform der Vorrichtung ist die Vorrichtung für die Ermittlung, ob die jeweilige Messfläche gekrümmt ist, ausgebildet und eingerichtet zum Ermitteln einer Tangentialebene an die jeweilige Messfläche an jedem Punkt der Punktwolke, die diese jeweilige Messfläche bestimmt, und zum Schließen auf eine gekrümmte jeweilige Messfläche, d. h. zum Ermitteln, dass die jeweilige Messfläche gekrümmt ist, wenn die für die verschiedenen Punkte der jeweiligen Messfläche ermittelten Tangentialebenen nicht im Wesentlichen miteinander übereinstimmen. Wie oben beschrieben, wird dabei bereits auf eine Dekalibrierung des Lidarsystems geschlossen, d. h. eine solche Dekalibrierung des Lidarsystems wird erkannt, wenn mindestens eine der Messflächen gekrümmt ist, d. h. wenn bei mindestens einer der Messflächen die für die verschiedenen Punkte dieser Messfläche ermittelten Tangentialebenen nicht im Wesentlichen miteinander übereinstimmen.
Die beschriebene Ausführungsform der Ermittlung, ob die jeweilige Messfläche gekrümmt ist, ist eine einfache, effiziente und sichere Möglichkeit dieser Ermittlung.
Die ebene Fläche ist vorteilhafterweise zumindest so groß wie der gemeinsame Sichtbereich der Laser-Empfänger-Systeme. Vorteilhafterweise ist die ebene Fläche größer als der gemeinsame Sichtbereich der Laser-Empfänger-Systeme, d. h. sie überragt den gemeinsamen Sichtbereich vorteilhafterweise randseitig vollständig. Die ebene Fläche, also vorteilhafterweise ein die ebene Fläche aufweisendes Objekt, und das Lidarsystem werden oder sind vorteilhafterweise derart zueinander ausgerichtet, dass der gemeinsame Sichtbereich vollständig auf der ebenen Fläche liegt. In einer möglichen Ausführungsform wird als ebene Fläche ein Kalibriertarget, eine Hauswand oder ein Verkehrszeichen verwendet, bzw. ein Objekt, welches diese ebene Fläche aufweist. Durch die Verwendung eines vorgegebenen Kalibriertargets, d. h. Kalibrierzielobjekts, als ebene Fläche kann auf einfache Weise sichergestellt werden, dass tatsächlich eine ebene Fläche auf die oben beschriebene Weise abgetastet wird. Dies kann beispielsweise in einer Werkstatt erfolgen, jedoch ebenso durch einen Fahrzeugnutzer während einer normalen Fahrzeugnutzung, indem der Fahrzeugnutzer das Kalibriertarget im gemeinsamen Sichtbereich der Laser-Empfänger-Systeme positioniert. Ein Werkstattaufenthalt oder eine Wartung des Lidarsystems durch spezielles Wartungspersonal ist hierfür somit nicht zwingend erforderlich. Die weiteren Möglichkeiten der Verwendung einer Hauswand oder eines Verkehrszeichens als ebene Fläche ermöglichen eine weitere Erleichterung der Durchführung, so dass die Erkennung der möglichen Dekalibrierung besonders einfach auch außerhalb von Werkstätten und ohne spezielles Wartungspersonal durchgeführt werden kann, beispielsweise durch einen Fahrzeugnutzer während einer normalen Fahrzeugnutzung oder auf besonders vorteilhafte Weise automatisch, so dass damit kein Aufwand für den Fahrzeugnutzer verbunden ist.
Unter der oben verwendeten Formulierung „im Wesentlichen miteinander übereinstimmen“ ist insbesondere zu verstehen, dass eventuelle Abweichungen innerhalb von vorgegebenen Toleranzen liegen. D. h. die für die jeweiligen Laserstrahlen ermittelten Messflächen stimmen im Wesentlichen miteinander überein, wenn ermittelte Abweichungen innerhalb dieser vorgegebenen Toleranzen liegen. Ist dies der Fall, dann werden die für die jeweiligen Laserstrahlen ermittelten Messflächen als, zumindest im Wesentlichen, miteinander übereinstimmend bewertet. Werden Abweichungen ermittelt, die nicht innerhalb dieser vorgegebenen Toleranzen liegen, d. h. diese vorgegebenen Toleranzen überschreiten, dann werden die für die jeweiligen Laserstrahlen ermittelten Messflächen nicht als miteinander übereinstimmend bewertet, auch nicht als im Wesentlichen miteinander übereinstimmend.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:
Fig. 1 schematisch eine Seitenansicht einer Verkehrssituation mit zwei Fahrzeugen, Fig. 2 schematisch eine Abtasttrajektorie eines Laser-Empfänger-Systems eines Lidarsystems,
Fig. 3 schematisch Abtasttrajektorien von zwei Laser-Empfänger-Systemen eines Multi-Eye-Lidarsystems,
Fig. 4 schematisch Abtasttrajektorien von zwei Laser-Empfänger-Systemen eines Multi-Eye-Lidarsystems mit einem gemeinsamen Sichtbereich, und
Fig. 5 schematisch eine Vorrichtung zur Erkennung einer Dekalibrierung eines Lidarsystems, insbesondere eines Lidarsystems eines Fahrzeugs, insbesondere zur Durchführung eines Verfahrens zur Erkennung der Dekalibrierung des Lidarsystems, insbesondere des Lidarsystems eines Fahrzeugs.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
Anhand der Figuren 1 bis 5 werden im Folgenden ein Verfahren und eine Vorrichtung 1 zur Erkennung einer Dekalibrierung eines Lidarsystems 2, insbesondere eines Lidarsystems 2 eines Fahrzeugs 3, beschrieben, wobei die Vorrichtung 1 vorteilhafterweise zur Durchführung des Verfahrens ausgebildet und eingerichtet ist. Das Verfahren und die Vorrichtung 1 ermöglichen insbesondere die Erkennung einer intrinsischen Dekalibrierung, insbesondere eines Multi-Eye-Lidar-Systems.
Lidar oder LiDAR steht als Abkürzung für „Light Detection And Ranging“ und bedeutet sinngemäß „optische Abstandsmessung“. Lidar ist ein ähnliches Messverfahren wie Radar, das Entfernung, Ortung und Intensität eines Objekts im Umfeld, d. h. in einer Umgebung des Lidarsystems 2, misst. Es verwendet beispielsweise Ultraviolett-, Infrarotstrahlen und Strahlen aus dem Bereich des sichtbaren Lichts. Hierzu können zum Beispiel Lichtimpulse eingesetzt und durch eine Laufzeitmessung des Lichtes eine Distanz zu einem Objekt berechnet werden. Diese Messtechnik wird Amplitude Modulated (AM)-LiDAR oder auch Time-of-Flight (ToF)-LiDAR genannt.
Um eine Messung mit einem ToF-LiDAR-Sensor, d. h. einem entsprechenden Lidarsystem 2, durchzuführen, werden, je nach LiDAR-Modell, ein oder mehrere Lichtimpulse ausgesendet. Diese empfängt der Sensor nach der Reflexion an einem vorhandenen Objekt wieder und fasst diese in einer LiDAR-Punktewolke, im Folgenden als Punktwolke bezeichnet, zusammen, wie in Figur 1 anhand einer Seitenansicht einer Verkehrssituation mit dem das Lidarsystem 2 umfassenden Fahrzeug 3 und einem weiteren Fahrzeug F beispielhaft schematisch dargestellt. Dabei ist eine Punktwolke, d. h. eine LiDAR-Punktewolke, eine endliche Menge von LiDAR-Punkten, im Folgenden kurz als Punkte p bezeichnet, die durch eine Entfernung d, eine Ortung x,y, z und eine Intensität I beschrieben werden.
Wie in Figur 1 gezeigt, sendet das Lidarsystem 2, d. h. der Lidarsensor, Lichtimpulse aus, welche an Objekten, auf die sie auftreffen, im hier dargestellten Beispiel am weiteren Fahrzeug F sowie an einer Fahrbahnoberfläche FO, reflektiert werden. Vom jeweiligen Objekt reflektierte Laserstrahlen RLS werden vom Lidarsystem 2, d. h. vom Lidarsensor, empfangen.
In den letzten Jahren ist die Bedeutung von Lidar-Sensoren, d. h. Lidarsystemen 2, als Kernmodalität für eine Realisierung von automatisiert, insbesondere hochautomatisiert oder autonom, fahrenden Systemen, d. h. Fahrzeugen 3, gestiegen. Lidar weist nämlich deutliche Vorteile zu anderen 3D-Sensoren auf. Ein Vorteil gegenüber einer Stereokamera ist beispielsweise, dass eine Datenqualität aus dem erzeugten Lidar von Tageslicht und Dunkelheit im Wesentlichen nicht beeinflusst wird.
Eine Erweiterung des Lidars ist das Multi-Eye-LiDAR-System, im Folgenden als Multi-Eye-Lidar-System bezeichnet. Die im Folgenden beschriebene Lösung zur Erkennung der Dekalibrierung des Lidarsystems 2 betrifft ein als ein solches Multi-Eye-Lidar-System ausgebildetes Lidarsystem 2. Bei dem Multi-Eye-Lidar-System werden mehrere, d. h. mindestens zwei, Laser-Empfänger-Systeme 2.1, 2.2, sogenannte „Eyes“, zu einem Lidarsystem 2 kombiniert. Abtasttrajektorien T1 , T2 der Eyes, d. h. der Laser-Empfänger-Systeme 2.1, 2.2, sind variabel, da das Messverfahren auf schwenkenden Spiegeln basiert, anders als bei den klassischen rotierenden LiDAR- Sensoren.
Figur 2 zeigt eine schematische Darstellung der Abtasttrajektorie T 1 eines solchen Laser-Empfänger-Systems 2.1 des Lidarsystems 2, hier beim Abtasten einer ebenen Fläche EF.
Die Abtasttrajektorien T1, T2 von zwei oder mehr Eyes, d. h.
Laser-Empfänger-Systemen 2.1, 2.2, in einem kombinierten System, d. h. Lidarsystem 2, werden auch als Scan-Pattern bezeichnet. Ein Beispiel für ein Scan-Pattern eines als Multi-Eye-Lidar-System ausgebildeten Lidarsystems 2 mit zwei
Laser-Empfänger-Systemen 2.1, 2.2 ist in Figur 3 schematisch dargestellt, hier ebenfalls beim Abtasten einer ebenen Fläche EF.
Um solch ein Lidarsystem 2 als eine verlässliche Kernmodalität in einem automatisiert, insbesondere hochautomatisiert oder autonom, fahrenden Fahrzeug 3 zu verwenden, muss eine Genauigkeit der erfassten Punktwolke aus dem als Multi-Eye-Lidar-System ausgebildeten Lidarsystem 2 sichergestellt werden. Hierfür müssen die Abtasttrajektorien T1, T2 der Eyes, d. h. der Laser- Empfänger-Systeme 2.1, 2.2, vor ihrer Verwendung synchronisiert werden. Aufgrund eines hierfür notwendigen Aufbaus kann sich die resultierende Abtasttrajektorie T1, T2 der Eyes, d. h. der Laser-Empfänger-Systeme 2.1, 2.2, beispielsweise durch sensorspezifische Alterungserscheinungen, über die Zeit verändern. Eine Abweichung muss für eine Interpretation von Sensordaten der Laser-Empfänger-Systeme 2.1, 2.2 festgestellt werden.
Die im Folgenden beschriebene Lösung betrifft ein technisches Verfahren, welches eine Überprüfung der Abtasttrajektorien T1, T2 ohne zusätzliche externe Sensoren ermöglicht, sowie eine Vorrichtung 1 zur Durchführung dieses Verfahrens.
Das mittels des Verfahrens bzw. der Vorrichtung 1 hinsichtlich einer möglicherweise vorliegenden Dekalibrierung zu prüfende Lidarsystem 2 ist, wie bereits erwähnt, als ein Lidarsystem 2 mit mehreren, d. h. mindestens zwei, Laser-Empfänger-Systemen 2.1, 2.2 ausgebildet, die einen gemeinsamen Sichtbereich GSB aufweisen, auch als Multi-Eye-Lidar-System bezeichnet.
Das Lidarsystem 2 tastet die Umgebung, insbesondere die Umgebung des Fahrzeugs 3, mit mehreren, mindestens zwei, Laser-Empfänger-Systemen 2.1, 2.2 im gemeinsamen Sichtbereich GSB ab. Es tastet somit die Umgebung, insbesondere die Umgebung des Fahrzeugs 3, mit mehreren Laserstrahlen in dem gemeinsamen Sichtbereich GSB ab, wobei der jeweilige Laserstrahl vom jeweiligen Laser-Empfänger-System 2.1, 2.2 erzeugt und abgestrahlt wird und reflektierte Strahlung des jeweiligen Laserstrahls, insbesondere verursacht durch den Laserstrahl reflektierende Objekte, vom Empfänger des Laser-Empfänger-Systems 2.1, 2.2 empfangen wird. Das jeweilige Laser-Empfänger-System 2.1, 2.2 ist somit ein Lasersender- Empfänger-System. Um die beschriebene Abtastung im gemeinsamen Sichtbereich GSB zu ermöglichen, überlappen Sichtbereiche der einzelnen Laser-Empfänger-Systeme 2.1, 2.2 zumindest bereichsweise, wie in Figur 4 gezeigt. Hier sind Abtasttrajektorien T1, T2 von zwei Laser-Empfänger-Systemen 2.1, 2.2 des als Multi-Eye-Lidarsystem ausgebildeten Lidarsystems 2 mit dem gemeinsamen Sichtbereich GSB, d. h. dem Bereich, in dem sich die Sichtbereiche und somit die Abtasttrajektorien T1 , T2 der Laser-Empfänger-Systeme 2.1, 2.2 überlappen, schematisch dargestellt. Der Überlappungsbereich, in dem sich die Sichtbereiche der einzelnen Laser-Empfänger-Systeme 2.1, 2.2 überlappen, bildet somit den gemeinsamen Sichtbereich GSB. Das Lidarsystem 2 umfasst, wie bereits erwähnt, mindestens zwei oder mehr als zwei solche Laser-Empfänger-Systeme 2.1, 2.2.
Das Lidarsystem 2 tastet somit, wie beschrieben, die Umgebung, insbesondere die Umgebung des Fahrzeugs 3, mit mehreren, d. h. mindestens zwei, Laser-Empfänger-Systemen 2.1, 2.2 und somit mit mehreren, entsprechend mindestens zwei, Laserstrahlen, nämlich mit dem Laserstrahl des jeweiligen Laser-Empfänger-Systems 2.1, 2.2, im gemeinsamen Sichtbereich GSB ab. Um eine mögliche Dekalibrierung zu erkennen, wird dabei eine sich im gemeinsamen Sichtbereich GSB befindende ebene Fläche EF, beispielsweise ein Kalibriertarget, eine Hauswand oder ein Verkehrszeichen, mit den Laser-Empfänger-Systemen 2.1, 2.2 und somit mit den mehreren Laserstrahlen, nämlich mit dem Laserstrahl des jeweiligen Laser-Empfänger-Systems 2.1, 2.2, abgetastet. Es werden die Punktwolken identifiziert, die durch die Reflexion des jeweiligen Laserstrahls an der ebenen Fläche EF entstehen.
Es wird eine virtuelle Messfläche, beispielsweise eine B-Spline-Ebene oder eine Bezier-Ebene, durch die identifizierte Punktwolke des jeweiligen Laserstrahls interpoliert, d. h. die jeweilige virtuelle Messfläche wird mittels aller Punkte p1,i, p2,i der jeweiligen identifizierten Punktwolke interpoliert. Die jeweilige virtuelle Messfläche verläuft somit vorteilhafterweise durch alle Punkte p1,i, p2,i der jeweiligen identifizierten Punktwolke. Es wird ermittelt, ob die für die jeweiligen Laserstrahlen ermittelten Messflächen im Wesentlichen miteinander übereinstimmen und/oder gekrümmt sind. Wenn die Ermittlung ergibt, dass die Messflächen nicht im Wesentlichen miteinander übereinstimmen und/oder dass mindestens eine der Messflächen gekrümmt ist, wird auf eine Dekalibrierung des Lidarsystems 2 geschlossen.
Die ebene Fläche EF ist vorteilhafterweise zumindest so groß wie der gemeinsame Sichtbereich GSB der Laser-Empfänger-Systeme 2.1, 2.2. Vorteilhafterweise ist die ebene Fläche EF größer als der gemeinsame Sichtbereich GSB der Laser-Empfänger-Systeme 2.1, 2.2, d. h. sie überragt den gemeinsamen Sichtbereich GSB vorteilhafterweise randseitig vollständig. Die ebene Fläche EF, also vorteilhafterweise ein die ebene Fläche aufweisendes Objekt, und das Lidarsystem 2 werden oder sind vorteilhafterweise derart zueinander ausgerichtet, dass der gemeinsame Sichtbereich GSB vollständig auf der ebenen Fläche EF liegt, wie in Figur 4 gezeigt.
In einer möglichen Ausführungsform wird für die Ermittlung, ob die jeweilige Messfläche gekrümmt ist, an jedem Punkt p1,i, p2,i der Punktwolke, die diese jeweilige Messfläche bestimmt, eine Tangentialebene an die jeweilige Messfläche ermittelt. Es wird somit an jedem dieser Punkte p1,i, p2,i der jeweiligen Messfläche eine Tangentialebene dieser jeweiligen Messfläche bestimmt, d. h. eine am jeweiligen Punkt p1,i, p2,i der jeweiligen Messfläche an der jeweiligen Messfläche tangential anliegende Ebene. Es wird auf eine gekrümmte jeweilige Messfläche geschlossen, d. h. es wird ermittelt, dass die jeweilige Messfläche gekrümmt ist, wenn die für die verschiedenen Punkte p1,i, p2,i der jeweiligen Messfläche ermittelten Tangentialebenen nicht im Wesentlichen miteinander übereinstimmen. Wie oben beschrieben, wird dabei bereits auf eine Dekalibrierung des Lidarsystems 2 geschlossen, d. h. eine solche Dekalibrierung des Lidarsystems 2 erkannt, wenn mindestens eine der Messflächen gekrümmt ist, d. h. wenn bei mindestens einer der Messflächen die für die verschiedenen Punkte p1,i, p2,i dieser Messfläche ermittelten Tangentialebenen nicht im Wesentlichen miteinander übereinstimmen.
Unter der oben verwendeten Formulierung „im Wesentlichen miteinander übereinstimmen“ ist insbesondere zu verstehen, dass eventuelle Abweichungen innerhalb von vorgegebenen Toleranzen liegen. D. h. die für die jeweiligen Laserstrahlen ermittelten Messflächen stimmen im Wesentlichen miteinander überein, wenn ermittelte Abweichungen innerhalb dieser vorgegebenen Toleranzen liegen. Ist dies der Fall, dann werden die für die jeweiligen Laserstrahlen ermittelten Messflächen als, zumindest im Wesentlichen, miteinander übereinstimmend bewertet. Werden Abweichungen ermittelt, die nicht innerhalb dieser vorgegebenen Toleranzen liegen, d. h. diese vorgegebenen Toleranzen überschreiten, dann werden die für die jeweiligen Laserstrahlen ermittelten Messflächen nicht als miteinander übereinstimmend bewertet, auch nicht als im Wesentlichen miteinander übereinstimmend.
Im Anschluss an eine erkannte Dekalibrierung des Lidarsystems 2 kann beispielsweise eine Kalibrierung des Lidarsystems 2 durchgeführt werden, indem die Punkte p1,i, p2,i durch Verwendung eines geeigneten Modells an eine gemeinsame Ebene angeglichen werden, d. h. derart, dass alle Punkte p1,i, p2,i aller Punktwolken, die durch die Reflexion des jeweiligen Laserstrahls der Laser-Empfänger-Systeme 2.1, 2.2 an der sich im gemeinsamen Sichtbereich GSB der Laser-Empfänger-Systeme 2.1, 2.2 befindenden und von diesen abgetasteten ebenen Fläche EF im gemeinsamen Sichtbereich GSB entstehen, auf einer gemeinsamen Ebene liegen. Ein entsprechendes Verfahren zur Kalibrierung des Lidarsystems 2, insbesondere des Lidarsystems 2 eines Fahrzeugs 3, umfasst somit das hier beschriebene Verfahren zur Erkennung einer Dekalibrierung des Lidarsystems 2, insbesondere des Lidarsystems 2 des Fahrzeugs 3, und zusätzlich bei erkannter Dekalibrierung des Lidarsystems 2 dessen Kalibrierung auf die oben beschriebene Weise, d. h. die Punkte p1,i, p2,i werden, insbesondere auf die oben beschriebene Weise, durch Verwendung eines geeigneten Modells an eine gemeinsame Ebene angeglichen.
Figur 5 zeigt eine beispielhafte schematische Darstellung der Vorrichtung 1 zur Erkennung der Dekalibrierung des Lidarsystems 2, insbesondere des Lidarsystems 2 des Fahrzeugs 3, insbesondere zur Durchführung des beschriebenen Verfahrens zur Erkennung der Dekalibrierung des Lidarsystems 2, insbesondere des Lidarsystems 2 des Fahrzeugs 3. Die Vorrichtung 1 kann des Weiteren auch zur Kalibrierung des Lidarsystems 2, insbesondere des Lidarsystems 2 des Fahrzeugs 3, insbesondere zur Durchführung des Verfahrens zur Kalibrierung des Lidarsystems 2, ausgebildet und eingerichtet sein. Sie umfasst dann entsprechend die Vorrichtung 1 zur Erkennung der Dekalibrierung des Lidarsystems 2, insbesondere des Lidarsystems 2 des Fahrzeugs 3, und ist zusätzlich ausgebildet und eingerichtet zur Kalibrierung des Lidarsystems 2 auf die oben beschriebene Weise bei dessen erkannter Dekalibrierung, d. h. dazu ausgebildet und eingerichtet, die Punkte p1,i, p2,i, insbesondere auf die oben beschriebene Weise, durch Verwendung eines geeigneten Modells an eine gemeinsame Ebene anzugleichen.
Die Vorrichtung 1 umfasst das Lidarsystem 2 mit den mehreren, d. h. mindestens zwei, Laser-Empfänger-Systemen 2.1, 2.2 und vorteilhafterweise eine Verarbeitungseinheit 4, insbesondere zur Durchführung und Auswertung mindestens eines oder mehrerer der oben beschriebenen Verfahrensschritte oder aller der oben beschriebenen Verfahrensschritte.
Die Verarbeitungseinheit 4 kann dabei beispielsweise ein Bestandteil des Lidarsystems 2 sein, d. h. es kann beispielsweise eine ohnehin vorhandene Verarbeitungseinheit 4 auch zur Durchführung des hier beschriebenen Verfahrens zur Erkennung der Dekalibrierung des Lidarsystems 2, insbesondere des Lidarsystems 2 des Fahrzeugs 3, und beispielsweise zusätzlich zur Durchführung des beschriebenen Verfahrens zur Kalibrierung des Lidarsystems 2, verwendet werden. Das hier beschriebene Verfahren zur Erkennung der Dekalibrierung des Lidarsystems 2 und beispielsweise zusätzlich das beschriebene Verfahren zur Kalibrierung des Lidarsystems 2 kann/können somit beispielsweise im Lidarsystem 2 implementiert sein.
Die Vorrichtung 1 kann in einer möglichen Ausführungsform zudem die ebene Fläche EF, beispielsweise das Kalibriertarget, umfassen.
Im Folgenden wird das Verfahren zur Erkennung der Dekalibrierung des als Multi-Eye-Lidar-System ausgebildeten Lidarsystems 2, insbesondere des Lidarsystems 2 des Fahrzeugs 3, anhand Figur 4 nochmals zusammengefasst beschrieben.
Es wird eine ebene Fläche EF, somit beispielsweise ein Objekt mit einer ebenen Seite, d. h. mit einer Oberfläche ohne Krümmung, zum Beispiel ein Kalibriertarget oder eine Fassade eines Gebäudes, d. h. eine Hauswand, benötigt. Die ebene Fläche EF ist vorteilhafterweise größer als der gemeinsame Sichtbereich GSB der Laser-Empfänger-Systeme 2.1, 2.2 des Lidarsystems 2, wie in Figur 4 gezeigt.
Die ebene Fläche EF, also vorteilhafterweise das Objekt mit der ebene Fläche EF, und das Lidarsystem 2 werden derart zueinander ausgerichtet, dass der gemeinsame Sichtbereich GSB vollständig auf der ebenen Fläche EF liegt.
Figur 4 zeigt die Abtasttrajektorien T1, T2 der beiden Laser-Empfänger-Systeme 2.1, 2.2 des Lidarsystems 2 mit den jeweiligen Punkten p1,i und p2,i. Dabei bezeichnet der Index „1“ die Zugehörigkeit zur ersten Abtasttrajektorie T 1 und der Index „2“ die Zugehörigkeit zur zweiten Abtasttrajektorie T2, und der Index „i“ ist der Laufindex (i = 1 bis n).
Die Punkte p1,i der ersten Abtasttrajektorie T1, die im gemeinsamen Sichtbereich GSB liegen, sind jeweils ein Element einer Menge P1 aller Punkte p1,i, die zur ersten Abtasttrajektorie T1 gehören, und jeweils ein Element einer Menge PGSB aller Punkte p1,i, p2,i, die im gemeinsamen Sichtbereich GSB liegen. Liegt ein jeweiliger Punkt p1,i der ersten Abtasttrajektorie T1 nicht im gemeinsamen Sichtbereich GSB, so ist er nur ein Element der Menge P1.
Die Punkte p2,i der zweiten Abtasttrajektorie T2, die im gemeinsamen Sichtbereich GSB liegen, sind jeweils ein Element einer Menge P2 aller Punkte p2,i, die zur zweiten Abtasttrajektorie T2 gehören, und jeweils ein Element der Menge PGSB aller Punkte p1,i, p2,i, die im gemeinsamen Sichtbereich GSB liegen. Liegt ein jeweiliger Punkt p2,i der zweiten Abtasttrajektorie T2 nicht im gemeinsamen Sichtbereich GSB, so ist er nur ein Element der Menge P2.
Es wird eine Fläche E1, d. h eine Messfläche E1, im Raum, die Krümmungen beschreibt, zum Beispiel eine B-Spline-Fläche oder Bezier-Fläche, für die Punkte p1,i, die zur Menge P1 und zur Menge PGSB gehören, bestimmt, d. h. für alle Punkte p1,i der ersten Abtasttrajektorie T1, die im gemeinsamen Sichtbereich GSB liegen.
Es wird eine Fläche E2, d. h eine Messfläche E2, im Raum, die Krümmungen beschreibt, zum Beispiel eine B-Spline-Fläche oder Bezier-Fläche, für die Punkte p2,i, die zur Menge P2 und zur Menge PGSB gehören, bestimmt, d. h. für alle Punkte p2,i der zweiten Abtasttrajektorie T2, die im gemeinsamen Sichtbereich GSB liegen.
Es wird die jeweilige Tangentialebene der Fläche E1 in jedem Punkt p1,i der ersten Abtasttrajektorie T1, der im gemeinsamen Sichtbereich GSB liegt, bestimmt.
Es gibt zwei mögliche Fälle:
Fall a: Die Fläche E1 hat unterschiedliche Tangentialebenen in den unterschiedlichen Punkten p1,i der ersten Abtasttrajektorie T1, die im gemeinsamen Sichtbereich GSB liegen. Dann wird erkannt und beispielsweise gemeldet, dass eine, insbesondere intrinsische, Dekalibrierung dieses Laser-Empfänger-Systems 2.1 beobachtet wurde, und somit wird auch die, insbesondere intrinsische, Dekalibrierung des Lidarsystems 2 erkannt und beispielsweise gemeldet.
Fall b: Die Fläche E1 hat die gleiche Tangentialebene in den unterschiedlichen Punkten p1,i der ersten Abtasttrajektorie T1, die im gemeinsamen Sichtbereich GSB liegen, und ist somit eine Ebene, wie bei einem nicht dekalibrierten Lidarsystem 2 erwartet.
Es wird die jeweilige Tangentialebene der Fläche E2 in jedem Punkt p2,i der zweiten Abtasttrajektorie T2, der im gemeinsamen Sichtbereich GSB liegt, bestimmt.
Es gibt zwei mögliche Fälle: Fall a: Die Fläche E2 hat unterschiedliche Tangentialebenen in den unterschiedlichen Punkten p2,i der zweiten Abtasttrajektorie T2, die im gemeinsamen Sichtbereich GSB liegen. Dann wird erkannt und beispielsweise gemeldet, dass eine, insbesondere intrinsische, Dekalibrierung dieses Laser-Empfänger-Systems 2.2 beobachtet wurde, und somit wird auch die, insbesondere intrinsische, Dekalibrierung des Lidarsystems 2 erkannt und beispielsweise gemeldet.
Fall b: Die Fläche E2 hat die gleiche Tangentialebene in den unterschiedlichen Punkten p2,i der zweiten Abtasttrajektorie T2, die im gemeinsamen Sichtbereich GSB liegen, und ist somit eine Ebene, wie bei einem nicht dekalibrierten Lidarsystem 2 erwartet.
Wenn der Fall b für beide Flächen E1 und E2 eintrifft, d. h. wenn sowohl ermittelt wird, dass die Fläche E1 die gleiche Tangentialebene in den unterschiedlichen Punkten p1,i der ersten Abtasttrajektorie T1, die im gemeinsamen Sichtbereich GSB liegen, hat und somit eine Ebene ist, als auch ermittelt wird, dass die Fläche E2 die gleiche Tangentialebene in den unterschiedlichen Punkten p2,i der zweiten Abtasttrajektorie T2, die im gemeinsamen Sichtbereich GSB liegen, hat und somit eine Ebene ist, werden die Flächen E1 und E2 auf Gleichheit geprüft. Sind die Flächen E1 und E2 gleich, vorteilhafterweise mit Berücksichtigung eines bekannten Rauschens des Lidarsystems 2, welches beispielsweise durch einen Hersteller des Lidarsystems 2 mitgeteilt wird, so ist das Lidarsystem 2, insbesondere bezüglich der Laser-Empfänger-Systeme 2.1, 2.2, kalibriert, insbesondere intrinsisch kalibriert. Sind die Flächen E1 und E2 ungleich, so sind die Laser-Empfänger-Systeme 2.1, 2.2, insbesondere intrinsisch, dekalibriert und damit ist auch das Lidarsystem 2, insbesondere intrinsisch, dekalibriert.

Claims

Patentansprüche
1. Verfahren zur Erkennung einer Dekalibrierung eines Lidarsystems (2), insbesondere eines Lidarsystems (2) eines Fahrzeugs (3), dadurch gekennzeichnet, dass
- das Lidarsystem (2) eine Umgebung mit mehreren
Laser-Empfänger-Systemen (2.1, 2.2) in einem gemeinsamen Sichtbereich (GSB) abtastet,
- eine sich im gemeinsamen Sichtbereich (GSB) befindende ebene Fläche (EF) mit den Laser-Empfänger-Systemen (2.1, 2.2) abgetastet wird,
- Punktwolken identifiziert werden, die durch die Reflexion eines jeweiligen Laserstrahls der Laser-Empfänger-Systeme (2.1, 2.2) an der ebenen Fläche (EF) entstehen,
- eine virtuelle Messfläche durch die identifizierte Punktwolke des jeweiligen Laserstrahls interpoliert wird,
- ermittelt wird, ob die für die jeweiligen Laserstrahlen ermittelten Messflächen im Wesentlichen miteinander übereinstimmen und/oder gekrümmt sind, und
- auf eine Dekalibrierung des Lidarsystems (2) geschlossen wird, wenn ermittelt wird, dass die für die jeweiligen Laserstrahlen ermittelten Messflächen nicht im Wesentlichen miteinander übereinstimmen und/oder dass mindestens eine der für die jeweiligen Laserstrahlen ermittelten Messflächen gekrümmt ist.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für die Ermittlung, ob die jeweilige Messfläche gekrümmt ist, an jedem Punkt (p1,i, p2,i) der Punktwolke, die diese jeweilige Messfläche bestimmt, eine Tangentialebene an die jeweilige Messfläche ermittelt wird, wobei auf eine gekrümmte jeweilige Messfläche geschlossen wird, wenn die für die verschiedenen Punkte (p1,i, p2,i) der jeweiligen Messfläche ermittelten Tangentialebenen nicht im Wesentlichen miteinander übereinstimmen.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Umgebung eine Umgebung des Fahrzeugs (3) abgetastet wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als ebene Fläche (EF) ein Kalibriertarget, eine Hauswand oder ein Verkehrszeichen verwendet wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als virtuelle Messfläche eine B-Spline-Ebene oder Bezier-Ebene interpoliert wird.
6. Vorrichtung (1) zur Erkennung einer Dekalibrierung eines Lidarsystems (2), insbesondere eines Lidarsystems (2) eines Fahrzeugs (3), dadurch gekennzeichnet, dass das Lidarsystem (2) mehrere Laser-Empfänger-Systeme (2.1, 2.2) aufweist, welche ausgebildet und eingerichtet sind zur Abtastung einer Umgebung in einem gemeinsamen Sichtbereich (GSB), wobei die Vorrichtung (1) ausgebildet und eingerichtet ist zum
- Abtasten einer sich im gemeinsamen Sichtbereich (GSB) befindenden ebenen Fläche (EF) mit den Laser-Empfänger-Systemen (2.1, 2.2),
- Identifizieren von Punktwolken, die durch die Reflexion eines jeweiligen Laserstrahls der Laser-Empfänger-Systeme (2.1, 2.2) an der ebenen Fläche (EF) entstehen,
- Interpolieren einer virtuellen Messfläche durch die identifizierte Punktwolke des jeweiligen Laserstrahls,
- Ermitteln, ob die für die jeweiligen Laserstrahlen ermittelten Messflächen im Wesentlichen miteinander übereinstimmen und/oder gekrümmt sind, und
- Schließen auf eine Dekalibrierung des Lidarsystems (2) bei einer Ermittlung, dass die für die jeweiligen Laserstrahlen ermittelten Messflächen nicht im Wesentlichen miteinander übereinstimmen und/oder dass mindestens eine der für die jeweiligen Laserstrahlen ermittelten Messflächen gekrümmt ist.
7. Vorrichtung (1) nach Anspruch 6, dadurch gekennzeichnet, dass die Vorrichtung (1) für die Ermittlung, ob die jeweilige Messfläche gekrümmt ist, ausgebildet und eingerichtet ist zum Ermitteln einer Tangentialebene an die jeweilige Messfläche an jedem Punkt (p1,i, p2,i) der Punktwolke, die diese jeweilige Messfläche bestimmt, und zum Schließen auf eine gekrümmte jeweilige Messfläche und somit auf eine Dekalibrierung des Lidarsystems (2), wenn die für die verschiedenen Punkte (p1,i, p2,i) der jeweiligen Messfläche ermittelten Tangentialebenen nicht im Wesentlichen miteinander übereinstimmen.
PCT/EP2022/060475 2021-04-23 2022-04-21 Verfahren und vorrichtung zur erkennung einer dekalibrierung eines lidarsystems WO2022223655A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280030001.3A CN117178196A (zh) 2021-04-23 2022-04-21 用于识别激光雷达***失准的方法和装置
US18/556,526 US20240210539A1 (en) 2021-04-23 2022-04-21 Method and Device for Recognizing a Decalibration of a Lidar System

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021002158.4A DE102021002158A1 (de) 2021-04-23 2021-04-23 Verfahren und Vorrichtung zur Erkennung einer Dekalibrierung eines Lidarsystems
DE102021002158.4 2021-04-23

Publications (1)

Publication Number Publication Date
WO2022223655A1 true WO2022223655A1 (de) 2022-10-27

Family

ID=81748358

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/060475 WO2022223655A1 (de) 2021-04-23 2022-04-21 Verfahren und vorrichtung zur erkennung einer dekalibrierung eines lidarsystems

Country Status (4)

Country Link
US (1) US20240210539A1 (de)
CN (1) CN117178196A (de)
DE (1) DE102021002158A1 (de)
WO (1) WO2022223655A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020007772A1 (de) 2020-12-18 2021-03-04 Daimler Ag Verfahren zur In-Betrieb-Kalibrierung eines Lidars und Fahrzeug
US20210103040A1 (en) * 2019-10-02 2021-04-08 Korea University Research And Business Foundation EXTRINSIC CALIBRATION METHOD OF MULTIPLE 3D LiDAR SENSORS FOR AUTONOMOUS NAVIGATION SYSTEM

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2306217B1 (de) 2009-09-30 2017-04-19 Sick Ag Umgebungserfassung
US20190004160A1 (en) 2017-06-30 2019-01-03 Delphi Technologies, Inc. Lidar sensor alignment system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210103040A1 (en) * 2019-10-02 2021-04-08 Korea University Research And Business Foundation EXTRINSIC CALIBRATION METHOD OF MULTIPLE 3D LiDAR SENSORS FOR AUTONOMOUS NAVIGATION SYSTEM
DE102020007772A1 (de) 2020-12-18 2021-03-04 Daimler Ag Verfahren zur In-Betrieb-Kalibrierung eines Lidars und Fahrzeug

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FLORY ET AL: "Fitting curves and surfaces to point clouds in the presence of obstacles", COMPUTER AIDED GEOMETRIC DESIGN, NORTH-HOLLAND, AMSTERDAM, NL, vol. 26, no. 2, 1 February 2009 (2009-02-01), pages 192 - 202, XP025880823, ISSN: 0167-8396, [retrieved on 20080430], DOI: 10.1016/J.CAGD.2008.04.003 *

Also Published As

Publication number Publication date
US20240210539A1 (en) 2024-06-27
DE102021002158A1 (de) 2022-10-27
CN117178196A (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
EP1731922B1 (de) Verfahren und Vorrichtung zum Bestimmen von Freiflächen in der Umgebung eines Kraftfahrzeuges
EP3497476A1 (de) Kraftfahrzeug und verfahren zur 360°-umfelderfassung
EP1664838B1 (de) Verfahren und computerprogramm zum erfassen der kontur eines hindernisses in der umgebung eines fahrzeugs
WO2012034612A1 (de) Umfeld-überwachungssystem für ein fahrzeug
DE102010012811B4 (de) Verfahren zur Messung von Geschwindigkeiten und Zuordnung der gemessenen Geschwindigkeiten zu angemessenen Fahrzeugen durch Erfassen und Zusammenführen von Objekt-Trackingdaten und Bild-Trackingdaten
EP2800982A1 (de) Verfahren und vorrichtung zur radunabhängigen geschwindigkeitsmessung bei einem fahrzeug
EP0970390A1 (de) Verfahren zur bestimmung des senkrechten abstandes zwischen einem objekt und einer sich örtlich verändernden einrichtung
EP2746803B1 (de) Verfahren und anordnung zur erfassung von verkehrsverstössen in einem ampelbereich durch heckanmessung mit einem radargerät
EP2126607A1 (de) Umfeldsensor zur detektion von objekten und betriebsverfahren hierfür
DE102017117162A1 (de) Sensor und Verfahren zur Erfassung und Abstandsbestimmung von Objekten
DE102016201057A1 (de) Lidar-vorrichtung, fahrzeug und verfahren zum erfassen eines objekts
DE102014115260B3 (de) Sicherheitssystem zur Absicherung der Umgebung eines Objekts
EP1766431A1 (de) Verfahren und vorrichtung zur kompensation von einbautoleranzen eines abstandssensors
DE102020000803A1 (de) Verfahren zum Plausibilisieren einer Detektion eines LIDAR-Systems eines Fahrzeugs, Vorrichtung eingerichtet zum Durchführen eines solchen Verfahrens, und Fahrzeug mit einer solchen Vorrichtung
EP2887093A1 (de) Verfahren zum Klassifizieren eines Objekts, Sensoreinrichtung und Kraftfahrzeug
WO2022223655A1 (de) Verfahren und vorrichtung zur erkennung einer dekalibrierung eines lidarsystems
DE102017101791B4 (de) Optoelektronische Sensoreinrichtung für ein Kraftfahrzeug und Kraftfahrzeug
EP2977786A1 (de) Entfernungsmessender sensor zur erfassung und abstandsbestimmungen von objekten
DE102021000359A1 (de) Verfahren zur Bestimmung von falsch-positiven Erkennungen eines Lidarsensors
DE202012105044U1 (de) Optoelektronischer Sensor zur Erfassung und Abstandsbestimmung von Objekten
DE102021002795A1 (de) Verfahren und Vorrichtung zur Erkennung einer Blockierung eines Lidarsystems, sowie Fahrzeug
DE102019210129A1 (de) Verfahren zum Überprüfen einer Kalibrierung mehrerer Sensoren und Kraftfahrzeug mit mehreren Sensoren
DE102018126497A1 (de) Verfahren zur Überprüfung einer Reichweite einer optischen Detektionsvorrichtung und optische Detektionsvorrichtung
EP3788406B1 (de) Verfahren zum bestimmen einer ausrichtung eines optoelektronischen sensors mittels abtastpunkten eines sensorbildes sowie optoelektronischer sensor
EP2287630B1 (de) Optoelektronische Erfassungsvorrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22724048

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18556526

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22724048

Country of ref document: EP

Kind code of ref document: A1