WO2023152350A1 - Verfahren und vorrichtung zum verarbeiten von daten - Google Patents

Verfahren und vorrichtung zum verarbeiten von daten Download PDF

Info

Publication number
WO2023152350A1
WO2023152350A1 PCT/EP2023/053417 EP2023053417W WO2023152350A1 WO 2023152350 A1 WO2023152350 A1 WO 2023152350A1 EP 2023053417 W EP2023053417 W EP 2023053417W WO 2023152350 A1 WO2023152350 A1 WO 2023152350A1
Authority
WO
WIPO (PCT)
Prior art keywords
partial data
detector
transformed
spatial
data set
Prior art date
Application number
PCT/EP2023/053417
Other languages
English (en)
French (fr)
Inventor
Florian Drews
Florian Faion
Lars Rosenbaum
Jasmine Richter
Claudius Glaeser
Fabian TIMM
Di FENG
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2023152350A1 publication Critical patent/WO2023152350A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning

Definitions

  • the disclosure relates to a method for processing first data associated with at least one spatial region.
  • the disclosure further relates to an apparatus for processing first data associated with at least one spatial region.
  • Exemplary embodiments relate to a method, for example a computer-implemented method, for processing first data associated with at least one spatial region, for example sensor data, comprising: dividing the first data into at least a first partial data set associated with a first part of the spatial region, and a second partial data set, which is associated with a second part of the spatial area, wherein the second part of the spatial area is at least partially different from the first part of the spatial area, transforming the second partial data set, for example based on a relationship between the second part of the spatial area and the first Part of the spatial region, with a transformed second partial data set being obtained, evaluating the first partial data set and the transformed second partial data set using a detector for object detection.
  • the evaluation of the first partial data set and the transformed second partial data set can be carried out, for example, using the same detector for object detection or the same instance of a detector for object detection, in which case, for example, the detector can already be trained.
  • the relationship between the second part of the spatial area and the first part of the spatial area can be, for example, an angular position of the second part of the spatial area in relation to the first part of the spatial area, for example in relation to a reference point, e.g. the center.
  • a respective part of the spatial area can be characterized by at least one angle or solid angle or angular range or solid angular range.
  • the transformation can be, for example, a rotation, e.g. such that a reference axis of a second part of the spatial area is mapped onto a reference axis of another, e.g. first, part of the spatial area.
  • the transformation can be, for example, mirroring, e.g. such that a reference axis of a second part of the spatial area is mapped onto a reference axis of another, e.g. first, part of the spatial area.
  • a different transformation than the transformations (rotation, mirroring) mentioned above by way of example can also be used for the transformation.
  • the detector for object detection can be trained using a conventional training method, for example, for e.g. the first part of the spatial area (or for example any part of the spatial area (e.g. the second part of the spatial area), with the arbitrary part of the spatial area being smaller, for example than the (entire) spatial area), and the detector trained in this way can, in further exemplary embodiments, be used, for example, both for the evaluation of the first partial data set and also for evaluating the transformed second partial data set, for example in particular without the detector being modified, for example further trained, for evaluating the transformed second partial data set, for example in relation to the evaluation of the first partial data set.
  • a conventional training method for example, for e.g. the first part of the spatial area (or for example any part of the spatial area (e.g. the second part of the spatial area), with the arbitrary part of the spatial area being smaller, for example than the (entire) spatial area
  • the detector trained in this way can, for example, both for the evaluation of the first partial data set and also for
  • the detector comprises at least one, e.g. artificial, e.g. deep, neural network, e.g. of the CNN (Convolutional Neural Network) type (convolution-based neural network), e.g. of the RPN (Region Proposal Network) type.
  • CNN Convolutional Neural Network
  • RPN Random Proposal Network
  • an RPN which is not based on CNN, for example, can also be provided for the detector.
  • the RPN is designed to determine, based on the first data, for example for fixed positions ("anchors"), e.g. in the area of a reference object, for example around a reference object such as a vehicle, whether an object is in located near the anchors.
  • the RPN is designed to determine a first parameter, e.g. an "objectness score", for at least one, for example several, for example all, anchors, which indicates the RPN's confidence in the presence of an object at the relevant position characterized.
  • the RPN also determines, for example estimates, its spatial extent, for example in the form of a bounding box ("bounding box").
  • the first data have at least one of the following elements: a) data from a LIDAR sensor device, for example characterizable by a cloud of points, b) data from a radar sensor device, c) data from an image sensor, for example digital image data.
  • a LIDAR sensor device for example characterizable by a cloud of points
  • a radar sensor device for example data from a radar sensor device
  • an image sensor for example digital image data.
  • another type of sensor device can also be used as an alternative or in addition to the types of sensor devices mentioned above by way of example Sensor type, for example, for an environment such as a vehicle, are used.
  • the method comprises: transforming a detection result associated with the transformed second partial data set, for example based on the relationship between the second part of the spatial area and the first part of the spatial area, with a transformed second detection result being obtained, for example.
  • a known transformation can be used for the data from, e.g., a second region, which maps it in such a way that it behaves like the data from, e.g., a first region.
  • the method has: aggregation of the transformed second detection result with a first detection result, which is associated with the first partial data set.
  • the method comprises: dividing the first data into n many partial data sets, with n>1, each of which is associated with an nth part of the spatial region, transforming a first number N1 of the n many partial data sets, where N1 many transformed partial data sets are obtained, evaluating a first partial data set of the n many partial data sets and at least one, for example all, transformed partial data sets of the N1 many transformed partial data sets by means of, for example the same, detector.
  • the method has at least one of the following elements: a) transforming detection results associated with the N1 many transformed partial data sets, with, for example, a transformed second detection result being obtained in each case, b) aggregating the transformed second detection results with a first Detection result associated with the first partial data set of the n many partial data sets.
  • the transformation includes a rotation, for example about a reference point, for example the center point, of a sensor device providing the first data.
  • a reference point for example the center point
  • the sensor device can be embodied as a LIDAR sensor device
  • the reference point can, for example, characterize a center point of the LIDAR sensor device.
  • At least one other known transformation can also be used as an alternative or in addition to the rotation.
  • the first data associated with the spatial area is associated with an angle of 360° (e.g. in a virtual plane parallel to a floor such as a road surface), with an nth part of the spatial area being associated with an angle of 360° / n is associated.
  • a division of the spatial area can be used, for example, when using a LIDAR sensor device for a vehicle, for example a motor vehicle, for example in order to obtain four parts of the spatial area, each of which is at least approximately 90°, for example around the vehicle .
  • an area surrounding the vehicle can be efficiently subdivided into a plurality of corresponding parts of the spatial area, with the partial data sets associated with a respective part of the spatial area being able to be processed efficiently based on the principle according to the embodiments.
  • the first data associated with the spatial area are associated with a total angle of x° (eg in a virtual plane parallel to a floor such as a road surface), with an nth part of the spatial area having an angle of (x/n)° is associated with x ⁇ > 360.
  • the spatial region can also have a be associated with angles other than 360°, for example with less than 360° or more than 360°, with eg the corresponding parts of the spatial area corresponding to respective portions of the (entire) spatial area of x°.
  • FIG. 1 For example a motor vehicle, with at least one device according to the embodiments.
  • FIG. 1 For exemplary embodiments, relate to a use of the method according to the embodiments and/or the device according to the embodiments and/or the vehicle according to the embodiments and/or the computer-readable storage medium according to the embodiments and/or the computer program according to the embodiments and/or the Data carrier signal according to the embodiments for at least one of the following elements: a) spatial compression, b) specialization of the detector, c) saving a capacity of the detector, d) reducing network parameters (e.g.
  • At least one deep neural network of the detector, for example reducing a number trainable network parameters, eg number of convolution kernels and/or number of network levels or layers of the detector, e) increasing the performance of the detector, f) controlling an overlap of partial data sets, for example with regard to mutually adjacent parts of the spatial area, g) using a detector, for example one that has already been trained, for a larger spatial area, for example as the spatial area for which the detector has already been trained, with the detector not being changed for use, for example, i.e. being left unchanged, for example, h) detection of objects, for example for at least one application in vehicles, for example driver assistance systems, i) detection of objects for robotics and/or cyber-physical systems, j) detection of objects for security technology.
  • a detector for example one that has already been trained, for a larger spatial area, for example as the spatial area for which the detector has already been trained, with the detector not being changed for use, for example, i.e. being left unchanged, for example, h
  • FIG. 1 schematically shows a simplified flow chart according to exemplary embodiments
  • FIG. 3 schematically shows a simplified block diagram according to further exemplary embodiments
  • FIG. 10 schematically shows aspects of a region proposal network according to further exemplary embodiments.
  • Exemplary embodiments relate to a method, for example a computer-implemented method, for processing first data DAT-1 (FIG. 1), for example sensor data, associated with at least one spatial region RB (FIG. 5). comprising: dividing 100 the first data DAT-1 into at least a first partial data set TD-1 associated with a first part RB-1 (Fig. 5) of the spatial region RB, and a second partial data set TD-2 associated with a second Part RB-2 of the spatial area RB is associated, the second part RB-2 of the spatial area RB being at least partially different from the first part RB-1 of the spatial area, transforming 102 (Fig. 1)
  • the second partial data set TD-2 for example based on a relationship between the second part RB-2 of the spatial area and the first part RB-1 of the spatial area RB, a transformed second partial data set TD-2' being obtained, evaluating 104 the first partial data set TD-1 and the transformed second partial data set TD- 2' by means of a detector DET for object detection.
  • a detector DET for object detection.
  • the evaluation 104 of the first partial data set TD-1 and the transformed second partial data set TD-2' can be carried out, for example, using the same detector DET for object detection or the same instance of a detector for object detection, with the detector DET already being trained, for example can.
  • the evaluation 104 leads, for example, to respective detection results DE-1, DE-2.
  • different partial data sets can be evaluated in chronological succession using the same detector DET.
  • different partial data sets can be evaluated at least partially overlapping in time or simultaneously by means of a number of instances of the detector DET, with the number of instances of the detector DET possibly requiring more computing time resources compared to a single instance or a single (same) detector DET, which evaluates the different partial data sets in chronological order.
  • the principle according to the embodiments can be understood or referred to as spatial compression, for example, because a (entire) spatial area RB is mapped onto a smaller part or sub-spatial area, e.g. with regard to the evaluation through the detector DET.
  • the relation between the second part RB-2 (Fig. 5) of the spatial area RB and the first part RB-1 of the spatial area RB can relate to an angular position of the second part RB-2 of the spatial area RB, for example act the first part RB-1 of the spatial area, for example opposite a reference point RP, e.g.
  • a respective part RB-1, RB-2 of the spatial region RB can be characterized in further exemplary embodiments by at least one angle or solid angle or angular range or solid angular range.
  • the spatial area RB shown as an example in FIG (e.g. in one plane) characterized by 360°.
  • the detector DET (Fig. 1, Fig. 5) for object detection can be trained by means of a e.g. conventional training method for e.g. the first part RB-1 (Fig. 5) of the spatial region RB (or for example any part of the spatial region RB (e.g. the second part RB-2 of the spatial region), where any part of the spatial region RB is e.g. smaller than the (entire) spatial region RB), and the detector trained in this way can be used in further exemplary embodiments, e.g.
  • the detector DET comprises at least one, e.g. artificial, e.g. dense, neural network, e.g. of the CNN (Convolutional Neural Network) type (convolution-based neural network), e.g. of the RPN (Region Proposal Network) type .
  • CNN Convolutional Neural Network
  • RPN Random Proposal Network
  • the Region Proposal Network RPN is designed based on the first data DAT-1 or based on the corresponding partial data sets TD-1, TD-2, .., for example for fixed positions ("Anchor"), for example in the area of a reference object, for example around a reference object such as a vehicle, seg the reference point RP according to FIG. 5, to determine whether an object is in the vicinity of the anchor.
  • the Region Proposal Network RPN is designed to determine, for at least one, for example several, for example all, anchors a first parameter, for example an “objectness score”, which gives the Region Proposal Network RPN confidence in the presence of an object at the relevant position.
  • the Region Proposal Network RPN also determines, for example estimates, its spatial extent, for example in the form of a delimiting box ("bounding box").
  • 10 shows a schematic example of the first data DAT-1, which can be fed to the detector configured as a region proposal network RPN, as well as a detection result DE, which the detector RPN determines therefrom and which can have information about detected objects 01, 02. for example in the form of the bounding boxes mentioned.
  • FIG. 5 the detector DET, RPN can execute the process shown schematically in FIG for example, the same detector DET, RPN can be used in each case.
  • the first data DAT-1 to have at least one of the following elements: a) data DAT-LID of a LIDAR sensor device, for example characterizable by a cloud of points, b) data DAT-RAD of a Radar sensor device, c) data DAT-BILD of an image sensor, for example digital image data.
  • FIG. 1 it is provided that the method has: transforming 106 a detection result DE-2 associated with the transformed second partial data set TD-2′, for example based on the relationship between the second part RB-2 of the spatial region RB and the first part RB-1 of the spatial region RB, a transformed second detection result DE-2' being obtained, for example.
  • transforming 106 - with respect to the second detection result DE-2 - the effect of transforming 102' can be compensated, for example "undone", so that after transforming 106, for example, the detection results DE-1, DE-2' each have the same Have relation to a reference, for example the first detection result DE-1.
  • the same detector DET, RPN for an evaluation of data associated with different parts RB-1, RB-2, -2, ... eg different angular ranges of the spatial area RB.
  • the detection results DE-1, DE-2' can be evaluated efficiently, for example in a comparable manner.
  • FIG. 1 it is provided that the method has: aggregation 108 of the transformed second detection result DE-2 ′ with a first detection result DE-1 , which is associated with the first partial data set TD-1 .
  • this advantageously enables an efficient joint evaluation (not shown) of the detection results DE-1, DE-2'.
  • TD-n' of the N1 many transformed sub-datasets by means of, for example, the same detector DET.
  • the method has at least one of the following elements: a) Transformation 116 of detection results DE-2, ... , DE-n associated with the N1 many transformed partial data sets (e.g. for Fig 5 DE-2, . . . , DE-4), where, for example, a transformed second detection result DE-2', . , DE-4') is obtained, b) aggregation 118 (Fig. 2) of the transformed second detection results DE-2', ..., DE-n' with a first detection result DE-1, which is associated with the first partial data set TD- 1 of the n many partial data sets is associated.
  • the transformation 106, 116 has a rotation 106a, 116a, for example about a reference point RP (FIG. 5), for example the center point, of a sensor device providing the first data DAT-1 10 (Fig. 8).
  • the sensor device 10 can be in the form of a LIDAR sensor device, and the reference point can, for example, characterize a center point of the LIDAR sensor device.
  • the first data DAT-1 associated with the spatial region RB is associated with an angle of 360° (e.g. in a virtual plane parallel to a floor such as a road surface), with an nth part of the spatial area is associated with an angle of 360° / n.
  • a division of the spatial region RB can be used, for example, when using a LIDAR sensor device 10 (Fig. 8) for a vehicle, for example a motor vehicle 15, for example by four parts RB-1 each having a size of at least approximately 90° , RB-2, RB-3, RB-4 (Fig.
  • the first data DAT associated with the spatial region RB are associated with a total angle of x° (e.g. in a virtual plane parallel to a floor such as a road surface), with an nth part of the spatial region RB is associated with an angle of (x/n)°, with x ⁇ >360.
  • the spatial region RB can also be associated with an angle other than 360°, for example with less than 360° or more than 360°, where, for example, the corresponding parts of the spatial area correspond to respective portions of the (entire) spatial area of x°.
  • FIG. 6 schematically shows two diagrams D1, D2 for comparing a detector performance of, for example, conventional detectors for object detection in the context of a LIDAR sensor device for a motor vehicle.
  • a first RPN-type detector has been trained for a full 360° field of view of an exemplary LIDAR sensor device 10 ("det360”), and a second RPN-type detector has been trained for a 90° angular range of the full field of view ( "det90").
  • Diagram D1 shows a detector performance according to the mean average precision (mAP) measure for an evaluation in a 90° angular range in which the second detector "det90" has been trained.
  • the hatching type assigned to the reference det90 indicates spatial areas in which the second detector det90 has a higher detector performance according to the mAP measure
  • the hatching type assigned to the reference det360 indicates spatial areas in which the first detector det360 has a higher detector performance according to the mAP measure. measures.
  • the second detector "det90” is better - with regard to the mAP measure - than the first detector det360, which indicates that the second detector det90 is better specialized on the restricted field of view.
  • Diagram D2 shows a representation comparable to diagram D1, but now for an evaluation in the entire field of view of 360°.
  • the specialized second detector det90 is also better in diagram D2 in the 90° front area FB than the first detector det360, but in the other areas AB, in particular "behind" (in Fig. 6 on the left from) the vehicle 15, a significantly weaker mAP, which is due to a lack of equivariance (both rotational equivariance and translational equivariance) of RPNs.
  • the third detector det4x90 is designed, for example, the partial data set TD-1 and evaluate transformed partial data sets TD-2', TD-3', TD-4', which are each associated with a corresponding part RB-1, RB-2, RB-3, RB-4 of the spatial region RB.
  • Diagram D3 shows the detector performance of the third detector det4x90 compared to the first detector det360
  • Diagram D4 shows the detector performance of the third detector det4x90 compared to the second detector det90.
  • the hatching type associated with the reference det4x90 indicates spatial areas in which the third detector det4x90 has a higher detector performance according to the mAP measure
  • the hatching type associated with the reference det360 (diagram D3) or det90 (diagram D4) indicates spatial areas in which the first detector det360 or the second detector det90 has a higher detector performance according to the mAP measure.
  • Diagram D3 shows that the third detector det4x90 has a larger mAP dimension in the entire 360° spatial area than the first detector, and that the third detector det4x90 is therefore better than the first detector det360 in the entire 360° spatial area.
  • Diagram D4 shows that the third detector det4x90 in the front area FB is comparable to the second detector det90 with regard to the mAP measure, but is significantly better than the second detector det90 in the other areas AB.
  • FIG. 3 relate to a device 200 for carrying out the method according to the embodiments.
  • the device 200 has: a computing device (“computer”) 202 having at least one computing core 202a, 202b, 202c, a memory device 204 assigned to the computing device 202 for at least temporarily storing at least one of the following elements: a) Data DAT (e.g. the first data DAT-1 or data TD-1, TD-2, ..., DE-1, DE-2, ..., DE-2', DE- 3', ...), b) Computer program PRG, for example for executing the method according to the embodiments.
  • a computing device (“computer”) 202 having at least one computing core 202a, 202b, 202c, a memory device 204 assigned to the computing device 202 for at least temporarily storing at least one of the following elements: a) Data DAT (e.g. the first data DAT-1 or data TD-1, TD-2, ..., DE-1, DE-2, ..., DE-2', DE- 3', ...), b) Computer program PRG, for example for executing the method according
  • the storage device 204 comprises a volatile memory (e.g. random access memory (RAM)) 204a, and/or a non-volatile (NVM) memory (e.g. flash EEPROM) 204b, or a combination thereof or with others not explicitly mentioned storage types.
  • RAM random access memory
  • NVM non-volatile memory
  • flash EEPROM flash EEPROM
  • the device 200 is designed to implement the function of the detector DET, for example for training and/or for evaluating an on at least one artificial deep neural network, e.g. of the Region Proposal Network type.
  • the data carrier signal DCS can be received via an optional data interface 206 of the device 200, for example.
  • the first data DAT-1 can be transmitted via the optional data interface 206, for example, can be received by at least one corresponding sensor device 10, 10a, 10b, 10c.
  • the optional block 10 symbolizes a LIDAR sensor device
  • the optional block 10a symbolizes a RADAR device
  • the optional block 10b symbolizes a digital image sensor device
  • the optional block 10c symbolizes another sensor device such as an environment sensor device, e.g. for a Vehicle.
  • FIG. 8 relate to a vehicle 15, for example a motor vehicle 15, with at least one device 200 according to the embodiments.
  • the vehicle 15 optionally has one or more sensor devices 10 which, for example, provide the first data DAT-1.
  • the lidar data DAT-1 to be processed in the form of a point cloud are partitioned, for example, into four parts TD-1, TD-2, TD-3, TD-4, see also Fig. 5, which (e.g. apart from the first partial data set TD-1) are each rotated "forwards" around the center point or reference point RP of the lidar sensor device, i.e. in the example according to FIG. 5 in the front area FB, e.g. corresponding to the first part RB-1 of the spatial area RB.
  • the rotating can be done similar to block 112 of FIG. 2, for example.
  • each point cloud partition that corresponds to a corresponding partial data set TD-1, TD-2, TD-3, TD-4 is written into its own batch, so that in this case the batch size is four.
  • a detector DET (Fig. 5) designed, for example, for a spatial area of 90° is then applied, for example directly, e.g. without any modification, to the rotated point clouds or the partial data sets TD-1, TD-2, TD-3, TD -4 applied, resulting in separate (possibly rotated, in the case of space regions RB-2, RB-3, RB-4) detection results DE-1, DE-2, DE-3, DE-4 for each part RB-1, RB-2, RB-3, RB-4 gives.
  • the previous rotation e.g. batchwise
  • the reversed detections DE-2', DE-3', DE-4' together with the not rotated detection result DE-1 of the front area FB into a single batch, ie for example a common detection result DE'", aggregated, for example concatenated.
  • no adaptation of the detector DET is provided, so that e.g. a conventional, e.g. trained, 90° detector of the RPN type can be used to record the various partial data sets TD-1, TD-2, ..., TD -n evaluate.
  • a conventional, e.g. trained, 90° detector of the RPN type can be used to record the various partial data sets TD-1, TD-2, ..., TD -n evaluate.
  • further exemplary embodiments only provide modules or computer programs for the described transformations, e.g. rotations, and reshaping operations (thus e.g. aggregation).
  • a conventional 90° detector for example, can be used on the basis of the principle according to the embodiments in such a way that efficient object detection is possible in a larger spatial area RB than the area (from here, for example, 90°) corresponds , for which the conventional 90° detector has been designed or trained.
  • input and output interfaces of the (based on the principle according to the embodiments) extended detector DET remain, e.g. unchanged.
  • labels can be assigned to the respective partitions or partial data sets TD-1, . . . , TD-n and, for example, likewise rotated accordingly.
  • the partitioning or division can also be carried out deviating from the exemplary embodiments mentioned above, i.e. in particular not on one Case of, for example, 4 partitions or parts RB-1, ..., RB-4 of the spatial area RB limited to 90°.
  • other divisions such as 2 ⁇ 180°, 3 ⁇ 120°, up to 360 ⁇ 1° or less (eg more than 360 partial areas with a corresponding ⁇ 1°) are also conceivable and induce eg more specialization of the detector.
  • the principle according to the embodiments can also be applied to data other than, for example, LIDAR data.
  • An example is e.g. a radial speed at measured radar locations. This depends, for example, on the speed of the vehicle 15 on which the radar sensor is attached.
  • An RPN e.g. as a detector for radar data would not be equivariant with respect to the changes in vehicle speed.
  • the radar data could be processed (e.g. compressed) in further exemplary embodiments, for example, so that they appear as if they had been recorded when the vehicle was stationary.
  • the principle according to the embodiments can also be applied to a camera image.
  • a left half of a camera image can be interpreted as a mirrored version of the right half, e.g., according to two partial data sets TD-1, TD-2.
  • a specialized detector can be trained, for example, on the right side of a camera image and then, for example, also be applied to the mirrored left half.
  • a detector capacity saved by the principle according to the embodiments, for example spatial compression can be used to reduce a number of parameters of a detector DET, for example with the same power.
  • FIG. 9 relate to a use 300 of the method according to the embodiments and/or the device 200 according to the embodiments and/or the vehicle 15 according to the embodiments and/or the computer-readable storage medium SM according to the embodiments and/or of the computer program PRG according to the embodiments and/or the data carrier signal DCS according to the embodiments for at least one of the following elements: a) spatial compression 301, b) specialization 302 of the detector DET, c) saving 303 a capacity of the detector DET, d) reducing 304 of network parameters (e.g.
  • At least one deep neural network RPN of the detector DET, for example reducing a number of trainable network parameters, e.g. number of convolution kernels and/or number of network levels or layers of the detector DET, e) increasing 305 the power of the detector DET, f) controlling 306 an overlap of partial data sets TD-1, TD-2, for example with respect to mutually adjacent parts RB-1, RB-2 of the spatial region RB, g) using 307 a detector DET, for example already trained, for a larger spatial region RB , for example as the spatial region RB for which the detector DET has already been trained, with the detector DET for example not being changed for use 307, i.e.
  • detection 308 of objects for example for at least one application in vehicles 15, for example driver assistance systems, i) detection 309 of objects for robotics and/or cyber-physical systems, j) detection 310 of objects for safety technology.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

Verfahren zum Verarbeiten von mit wenigstens einem Raumbereich assoziierten ersten Daten, aufweisend: Aufteilen der ersten Daten in wenigstens einen ersten Teildatensatz, der mit einem ersten Teil des Raumbereichs assoziiert ist, und einen zweiten Teildatensatz, der mit einem zweiten Teil des Raumbereichs assoziiert ist, wobei der zweite Teil des Raumbereichs zumindest bereichsweise verschieden ist von dem ersten Teil des Raumbereichs, Transformieren des zweiten Teildatensatzes, beispielsweise basierend auf einem Bezug zwischen dem zweiten Teil des Raumbereichs und dem ersten Teil des Raumbereichs, wobei ein transformierter zweiter Teildatensatz erhalten wird, Auswerten des ersten Teildatensatzes und des transformierten zweiten Teildatensatzes mittels eines Detektors zur Objektdetektion.

Description

Beschreibung
Titel
Verfahren und Vorrichtung zum Verarbeiten von Daten
Stand der Technik
Die Offenbarung bezieht sich auf ein Verfahren zum Verarbeiten von mit wenigstens einem Raumbereich assoziierten ersten Daten.
Die Offenbarung bezieht sich ferner auf eine Vorrichtung zum Verarbeiten von mit wenigstens einem Raumbereich assoziierten ersten Daten.
Offenbarung der Erfindung
Beispielhafte Ausführungsformen beziehen sich auf ein Verfahren, beispielsweise ein computerimplementiertes Verfahren, zum Verarbeiten von mit wenigstens einem Raumbereich assoziierten ersten Daten, beispielsweise Sensordaten, aufweisend: Aufteilen der ersten Daten in wenigstens einen ersten Teildatensatz, der mit einem ersten Teil des Raumbereichs assoziiert ist, und einen zweiten Teildatensatz, der mit einem zweiten Teil des Raumbereichs assoziiert ist, wobei der zweite Teil des Raumbereichs zumindest bereichsweise verschieden ist von dem ersten Teil des Raumbereichs, Transformieren des zweiten Teildatensatzes, beispielsweise basierend auf einem Bezug zwischen dem zweiten Teil des Raumbereichs und dem ersten Teil des Raumbereichs, wobei ein transformierter zweiter Teildatensatz erhalten wird, Auswerten des ersten Teildatensatzes und des transformierten zweiten Teildatensatzes mittels eines Detektors zur Objektdetektion. Auf diese Weise ist bei weiteren beispielhaften Ausführungsformen eine effiziente Auswertung des ersten Teildatensatzes und des transformierten zweiten Teildatensatzes möglich. Bei weiteren beispielhaften Ausführungsformen kann das Auswerten des ersten Teildatensatzes und des transformierten zweiten Teildatensatzes beispielsweise mittels desselben Detektors zur Objektdetektion bzw. einer selben Instanz eines Detektors zur Objektdetektion ausgeführt werden, wobei beispielsweise der Detektor bereits trainiert sein kann.
Bei weiteren beispielhaften Ausführungsformen kann es sich bei dem Bezug zwischen dem zweiten Teil des Raumbereichs und dem ersten Teil des Raumbereichs beispielsweise um eine Winkellage des zweiten Teils des Raumbereichs bezogen auf den ersten Teil des Raumbereichs, beispielsweise gegenüber einem Referenzpunkt, z.B. Mittelpunkt, handeln. Beispielsweise ist ein jeweiliger Teil des Raumbereichs bei weiteren beispielhaften Ausführungsformen jeweils durch wenigstens einen Winkel bzw. Raumwinkel bzw. Winkelbereich bzw. Raumwinkelbereich charakterisierbar.
Bei weiteren beispielhaften Ausführungsformen kann es sich bei dem Transformieren beispielsweise um ein Rotieren handeln, z.B. so, dass eine Referenzachse eines zweiten Teils des Raumbereichs auf eine Referenzachse eines anderen, z.B. ersten, Teils des Raumbereichs abgebildet wird.
Bei weiteren beispielhaften Ausführungsformen kann es sich bei dem Transformieren beispielsweise um ein Spiegeln handeln, z.B. so, dass eine Referenzachse eines zweiten Teils des Raumbereichs auf eine Referenzachse eines anderen, z.B. ersten, Teils des Raumbereichs abgebildet wird.
Bei weiteren beispielhaften Ausführungsformen kann für das Transformieren auch eine andere Transformation als die vorstehend beispielhaft genannten Transformationen (Rotieren, Spiegeln) verwendet werden.
Bei weiteren beispielhaften Ausführungsformen kann beispielsweise der Detektor für die Objektdetektion mittels eines z.B. konventionellen Trainingsverfahrens trainiert werden für z.B. den ersten Teil des Raumbereichs (oder beispielsweise einen beliebigen Teil des Raumbereichs (z.B. den zweiten Teil des Raumbereichs), wobei der beliebige Teil des Raumbereichs z.B. kleiner ist als der (gesamte) Raumbereich), und der auf diese Weise trainierte Detektor kann bei weiteren beispielhaften Ausführungsformen z.B. sowohl für das Auswerten des ersten Teildatensatzes als auch für das Auswerten des transformierten zweiten Teildatensatzes verwendet werden, beispielsweise insbesondere ohne dass der Detektor für das Auswerten des transformierten zweiten Teildatensatzes modifiziert, beispielsweise weiter trainiert, wird, z.B. bezogen auf das Auswerten des ersten Teildatensatzes.
Bei weiteren beispielhaften Ausführungsformen weist der Detektor wenigstens ein, beispielsweise künstliches, beispielsweise tiefes, neuronales Netzwerk, beispielsweise vom CNN (Convolutional Neural Network)-Typ (auf Faltungsoperationen basierendes neuronales Netz), auf, beispielsweise vom RPN (Region Proposal Network)-Typ.
Bei weiteren beispielhaften Ausführungsformen kann für den Detektor auch ein RPN vorgesehen sein, das beispielsweise nicht auf CNN basiert.
Bei weiteren beispielhaften Ausführungsformen ist das RPN dazu ausgebildet, basierend auf den ersten Daten, beispielsweise für festgelegte Positionen ("Anker"), z.B. im Bereich eines Referenzobjekts, beispielsweise rund um ein Referenzobjekt wie z.B. ein Fahrzeug, zu ermitteln, ob sich ein Objekt in der Nähe der Anker befindet. Bei weiteren beispielhaften Ausführungsformen ist das RPN dazu ausgebildet, für wenigstens einen, beispielsweise mehrere, beispielsweise alle, Anker eine erste Kenngröße, z.B. eine "Objectness-Score", zu ermitteln, die eine Zuversicht des RPN für das Vorhandensein eines Objekts an der betreffenden Position charakterisiert. Bei weiteren beispielhaften Ausführungsformen kann vorgesehen sein, dass, falls auf diese Weise ein Objekt in der Nähe eines Ankers detektiert wird, das RPN zusätzlich dessen räumliche Ausdehnung ermittelt, beispielsweise schätzt, beispielsweise in Form einer begrenzenden Box ("Bounding Box").
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass die ersten Daten wenigstens eines der folgenden Elemente aufweisen: a) Daten einer LIDAR-Sensoreinrichtung, beispielsweise charakterisierbar durch eine Punktewolke, b) Daten einer Radar-Sensoreinrichtung, c) Daten eines Bildsensors, beispielsweise digitale Bilddaten. Bei weiteren beispielhaften Ausführungsformen kann alternativ oder ergänzend zu den vorstehend beispielhaft genannten Typen von Sensoreinrichtungen auch ein anderer Sensortyp, z.B. für ein Umfeld beispielsweise eines Fahrzeugs, verwendet werden.
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass das Verfahren aufweist: Transformieren eines mit dem transformierten zweiten Teildatensatz assoziierten Detektionsergebnis, beispielsweise basierend auf dem Bezug zwischen dem zweiten Teil des Raumbereichs und dem ersten Teil des Raumbereichs, wobei beispielsweise ein transformiertes zweites Detektionsergebnis erhalten wird.
Mit anderen Worten kann bei weiteren beispielhaften Ausführungsformen eine bekannte Transformation für die Daten z.B. eines zweiten Gebiets verwendet werden, die sie derart abbildet, dass sie sich wie die Daten aus z.B. einem ersten Gebiet verhalten.
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass das Verfahren aufweist: Aggregieren des transformierten zweiten Detektionsergebnisses mit einem ersten Detektionsergebnis, das mit dem ersten Teildatensatz assoziiert ist.
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass das Verfahren aufweist: Aufteilen der ersten Daten in n viele Teildatensätze, mit n>1, die jeweils mit einem n-ten Teil des Raumbereichs assoziiert sind, Transformieren einer ersten Anzahl N1 der n vielen Teildatensätze, wobei N1 viele transformierte Teildatensätze erhalten werden, Auswerten eines ersten Teildatensatzes der n vielen Teildatensätze und wenigstens eines, beispielsweise aller, transformierten Teildatensätze der N1 vielen transformierten Teildatensätze mittels des, beispielsweise desselben, Detektors.
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass das Verfahren wenigstens eines der folgenden Elemente aufweist: a) Transformieren von mit den N1 vielen transformierten Teildatensätzen assoziierten Detektionsergebnissen, wobei beispielsweise jeweils ein transformiertes zweites Detektionsergebnis erhalten wird, b) Aggregieren der transformierten zweiten Detektionsergebnisse mit einem ersten Detektionsergebnis, das mit dem ersten Teildatensatz der n vielen Teildatensätze assoziiert ist. Dies ermöglicht beispielsweise eine effiziente Darstellung und ggf. Weiterverarbeitung der mit unterschiedlichen Teilen des Raumbereichs assoziierten Detektionsergebnisse.
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass das Transformieren ein Rotieren aufweist, beispielsweise um einen Referenzpunkt, beispielsweise Mittelpunkt, einer die ersten Daten bereitstellenden Sensoreinrichtung. Beispielsweise kann die Sensoreinrichtung wie vorstehend bereits beschrieben bei manchen Ausführungsformen als LIDAR- Sensoreinrichtung ausgebildet sein, und der Referenzpunkt kann beispielsweise einen Mittelpunkt der LIDAR-Sensoreinrichtung charakterisieren.
Bei weiteren beispielhaften Ausführungsformen kann alternativ oder ergänzend zu dem Rotieren auch wenigstens eine andere bekannte Transformation verwendet werden.
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass die mit dem Raumbereich assoziierten ersten Daten mit einem Winkel von 360° (z.B. in einer virtuellen Ebene parallel zu einem Boden wie beispielsweise einer Fahrbahnoberfläche) assoziiert sind, wobei ein n-ter Teil des Raumbereichs mit einem Winkel von 360° / n assoziiert ist. Bei weiteren beispielhaften Ausführungsformen kann eine derartige Aufteilung des Raumbereichs beispielsweise bei der Verwendung einer LIDAR-Sensoreinrichtung für ein Fahrzeug, beispielsweise Kraftfahrzeug, verwendet werden, beispielsweise um vier jeweils zumindest in etwa 90° große Teile des Raumbereichs, beispielsweise um das Fahrzeug herum, zu erhalten. Auf diese Weise kann z.B. ein Umfeld des Fahrzeugs effizient in mehrere entsprechende Teile des Raumbereichs untergliedert werden, wobei die mit einem jeweiligen Teil des Raumbereichs assoziierten Teildatensätze effizient basierend auf dem Prinzip gemäß den Ausführungsformen verarbeitbar sind.
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass die mit dem Raumbereich assoziierten ersten Daten mit einem Summenwinkel von x° (z.B. in einer virtuellen Ebene parallel zu einem Boden wie beispielsweise einer Fahrbahnoberfläche) assoziiert sind, wobei ein n-ter Teil des Raumbereichs mit einem Winkel von (x / n)° assoziiert ist, mit x <> 360. Mit anderen Worten kann bei weiteren beispielhaften Ausführungsformen der Raumbereich auch mit einem anderen Winkel als 360° assoziiert sein, beispielsweise mit weniger als 360° oder mehr als 360°, wobei z.B. die entsprechenden Teile des Raumbereichs jeweiligen Anteilen des (gesamten) Raumbereichs von x° entsprechen.
Weitere beispielhafte Ausführungsformen beziehen sich auf eine Vorrichtung zur Ausführung des Verfahrens gemäß den Ausführungsformen.
Weitere beispielhafte Ausführungsformen beziehen sich auf ein Fahrzeug, beispielsweise Kraftfahrzeug, mit wenigstens einer Vorrichtung gemäß den Ausführungsformen.
Weitere beispielhafte Ausführungsformen beziehen sich auf ein computerlesbares Speichermedium, umfassend Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, das Verfahren gemäß den Ausführungsformen auszuführen.
Weitere beispielhafte Ausführungsformen beziehen sich auf ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren gemäß den Ausführungsformen auszuführen.
Weitere beispielhafte Ausführungsformen beziehen sich auf ein Datenträgersignal, das das Computerprogramm gemäß den Ausführungsformen überträgt und/oder charakterisiert.
Weitere beispielhafte Ausführungsformen beziehen sich auf eine Verwendung des Verfahrens gemäß den Ausführungsformen und/oder der Vorrichtung gemäß den Ausführungsformen und/oder des Fahrzeugs gemäß den Ausführungsformen und/oder des computerlesbaren Speichermediums gemäß den Ausführungsformen und/oder des Computerprogramms gemäß den Ausführungsformen und/oder des Datenträgersignals gemäß den Ausführungsformen für wenigstens eines der folgenden Elemente: a) räumliche Kompression, b) Spezialisierung des Detektors, c) Einsparen einer Kapazität des Detektors, d) Reduzieren von Netzwerkparametern (z.B. wenigstens eines tiefen neuronalen Netzes) des Detektors, beispielsweise Reduktion einer Anzahl trainierbarer Netzwerkparameter, z.B. Anzahl von Faltungskernen und/oder Anzahl von Netzwerkebenen bzw. -schichten des Detektors, e) Erhöhen der Leistung des Detektors, f) Steuern eines Überlapps von Teildatensätzen, beispielsweise bezüglich zueinander benachbarten Teilen des Raumbereichs, g) Verwenden eines, beispielsweise bereits trainierten, Detektors, für einen größeren Raumbereich, beispielsweise als den Raumbereich, für den der Detektor bereits trainiert worden ist, wobei beispielsweise der Detektor für das Verwenden nicht verändert, also z.B. unverändert belassen, wird, h) Erkennung von Objekten, beispielsweise für wenigstens eine Anwendung in Fahrzeugen, beispielsweise Fahrerassistenzsystemen, i) Erkennung von Objekten für die Robotik und/oder cyberphysische Systeme, j) Erkennung von Objekten für die Sicherheitstechnik.
Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen der Erfindung, die in den Figuren der Zeichnung dargestellt sind. Dabei bilden alle beschriebenen oder dargestellten Merkmale für sich oder in beliebiger Kombination den Gegenstand der Erfindung, unabhängig von ihrer Zusammenfassung in den Ansprüchen oder deren Rückbeziehung sowie unabhängig von ihrer Formulierung bzw. Darstellung in der Beschreibung bzw. in der Zeichnung.
In der Zeichnung zeigt:
Fig. 1 schematisch ein vereinfachtes Flussdiagramm gemäß beispielhaften Ausführungsformen,
Fig. 2 schematisch ein vereinfachtes Flussdiagramm gemäß weiteren beispielhaften Ausführungsformen,
Fig. 3 schematisch ein vereinfachtes Blockdiagramm gemäß weiteren beispielhaften Ausführungsformen,
Fig. 4 schematisch ein vereinfachtes Blockdiagramm gemäß weiteren beispielhaften Ausführungsformen, Fig. 5 schematisch ein vereinfachtes Blockdiagramm gemäß weiteren beispielhaften Ausführungsformen,
Fig. 6 schematisch vereinfachte Diagramme gemäß weiteren beispielhaften Ausführungsformen,
Fig. 7 schematisch vereinfachte Diagramme gemäß weiteren beispielhaften Ausführungsformen,
Fig. 8 schematisch ein vereinfachtes Blockdiagramm gemäß weiteren beispielhaften Ausführungsformen,
Fig. 9 schematisch Aspekte von Verwendungen gemäß weiteren beispielhaften Ausführungsformen,
Fig. 10 schematisch Aspekte eines Region Proposal Networks gemäß weiteren beispielhaften Ausführungsformen.
Beispielhafte Ausführungsformen, vgl. Fig. 1 und 5, beziehen sich auf ein Verfahren, beispielsweise ein computerimplementiertes Verfahren, zum Verarbeiten von mit wenigstens einem Raumbereich RB (Fig. 5) assoziierten ersten Daten DAT-1 (Fig. 1), beispielsweise Sensordaten, aufweisend: Aufteilen 100 der ersten Daten DAT-1 in wenigstens einen ersten Teildatensatz TD-1 , der mit einem ersten Teil RB-1 (Fig. 5) des Raumbereichs RB assoziiert ist, und einen zweiten Teildatensatz TD-2, der mit einem zweiten Teil RB-2 des Raumbereichs RB assoziiert ist, wobei der zweite Teil RB-2 des Raumbereichs RB zumindest bereichsweise verschieden ist von dem ersten Teil RB-1 des Raumbereichs, Transformieren 102 (Fig. 1) des zweiten Teildatensatzes TD-2, beispielsweise basierend auf einem Bezug zwischen dem zweiten Teil RB-2 des Raumbereichs und dem ersten Teil RB-1 des Raumbereichs RB, wobei ein transformierter zweiter Teildatensatz TD-2' erhalten wird, Auswerten 104 des ersten Teildatensatzes TD-1 und des transformierten zweiten Teildatensatzes TD-2' mittels eines Detektors DET zur Objektdetektion. Auf diese Weise ist bei weiteren beispielhaften Ausführungsformen eine effiziente Auswertung 104 des ersten Teildatensatzes TD-1 und des transformierten zweiten Teildatensatzes TD-2' möglich. Bei weiteren beispielhaften Ausführungsformen kann das Auswerten 104 des ersten Teildatensatzes TD-1 und des transformierten zweiten Teildatensatzes TD-2' beispielsweise mittels desselben Detektors DET zur Objektdetektion bzw. einer selben Instanz eines Detektors zur Objektdetektion ausgeführt werden, wobei beispielsweise der Detektor DET bereits trainiert sein kann. Das Auswerten 104 führt z.B. auf jeweilige Detektionsergebnisse DE-1, DE-2.
Bei weiteren beispielhaften Ausführungsformen können beispielsweise unterschiedliche Teildatensätze zeitlich nacheinander mittels desselben Detektors DET ausgewertet werden. Bei weiteren beispielhaften Ausführungsformen können beispielsweise unterschiedliche Teildatensätze zeitlich zumindest teilweise überlappend bzw. gleichzeitig mittels mehrerer Instanzen des Detektors DET ausgewertet werden, wobei die mehreren Instanzen des Detektors DET ggf. mehr Rechenzeitressourcen benötigen gegenüber einer einzelnen Instanz bzw. einem einzigen (selben) Detektor DET, der die unterschiedlichen Teildatensätze zeitlich nacheinander auswertet.
Bei weiteren beispielhaften Ausführungsformen kann das Prinzip gemäß den Ausführungsformen z.B. als räumliche Kompression (englisch: spatial compression) aufgefasst bzw. bezeichnet werden, weil z.B. ein (gesamter) Raumbereich RB auf einem kleineren Teil bzw. Teilraumbereich abgebildet wird, z.B. in Bezug auf die Auswertung durch den Detektor DET.
Bei weiteren beispielhaften Ausführungsformen kann es sich bei dem Bezug zwischen dem zweiten Teil RB-2 (Fig. 5) des Raumbereichs RB und dem ersten Teil RB-1 des Raumbereichs RB beispielsweise um eine Winkellage des zweiten Teils RB-2 des Raumbereichs RB bezogen auf den ersten Teil RB-1 des Raumbereichs, beispielsweise gegenüber einem Referenzpunkt RP, z.B. Mittelpunkt, handeln. Beispielsweise ist ein jeweiliger Teil RB-1, RB-2 des Raumbereichs RB bei weiteren beispielhaften Ausführungsformen jeweils durch wenigstens einen Winkel bzw. Raumwinkel bzw. Winkelbereich bzw. Raumwinkelbereich charakterisierbar.
Bei dem beispielhaft abgebildeten Raumbereich RB der Fig. 5 handelt es sich beispielsweise um ein Umfeld des Referenzpunkts RP, das einen Winkelbereich (z.B. in einer Ebene) von 360° charakterisiert. Beispielhaft ist der Raumbereich RB vorliegend in n=4 jeweils z.B. etwa 90° charakterisierende Teilbereiche RB-1 , RB-2, RB-3, RB-4 aufgeteilt.
Bei weiteren beispielhaften Ausführungsformen kann beispielsweise der Detektor DET (Fig. 1 , Fig. 5) für die Objektdetektion mittels eines z.B. konventionellen Trainingsverfahrens trainiert werden für z.B. den ersten Teil RB-1 (Fig. 5) des Raumbereichs RB (oder beispielsweise einen beliebigen Teil des Raumbereichs RB (z.B. den zweiten Teil RB-2 des Raumbereichs), wobei der beliebige Teil des Raumbereichs RB z.B. kleiner ist als der (gesamte) Raumbereich RB), und der auf diese Weise trainierte Detektor kann bei weiteren beispielhaften Ausführungsformen z.B. sowohl für das Auswerten des ersten Teildatensatzes TD-1 als auch für das Auswerten des transformierten zweiten Teildatensatzes TD-2' verwendet werden, beispielsweise insbesondere ohne dass der Detektor für das Auswerten des transformierten zweiten Teildatensatzes modifiziert, beispielsweise weiter trainiert, wird, z.B. bezogen auf das Auswerten des ersten Teildatensatzes.
Bei weiteren beispielhaften Ausführungsformen weist der Detektor DET wenigstens ein, beispielsweise künstliches, beispielsweise dichtes, neuronales Netzwerk, beispielsweise vom CNN (Convolutional Neural Network)-Typ (auf Faltungsoperationen basierendes neuronales Netz), auf, beispielsweise vom RPN (Region Proposal Network)-Typ.
Bei weiteren beispielhaften Ausführungsformen, vgl. Fig. 10, ist das Region Proposal Network RPN dazu ausgebildet, basierend auf den ersten Daten DAT-1 bzw. basierend auf den entsprechenden Teildatensätzen TD-1 , TD-2, .., beispielsweise für festgelegte Positionen ("Anker"), z.B. im Bereich eines Referenzobjekts, beispielsweise rund um ein Referenzobjekt wie z.B. ein Fahrzeug, s. z.B. den Referenzpunkt RP gemäß Fig. 5, zu ermitteln, ob sich ein Objekt in der Nähe der Anker befindet. Bei weiteren beispielhaften Ausführungsformen ist das Region Proposal Network RPN dazu ausgebildet, für wenigstens einen, beispielsweise mehrere, beispielsweise alle, Anker eine erste Kenngröße, z.B. eine "Objectness-Score", zu ermitteln, die eine Zuversicht des Region Proposal Network RPN für das Vorhandensein eines Objekts an der betreffenden Position charakterisiert. Bei weiteren beispielhaften Ausführungsformen kann vorgesehen sein, dass, falls auf diese Weise ein Objekt in der Nähe eines Ankers detektiert wird, das Region Proposal Network RPN zusätzlich dessen räumliche Ausdehnung ermittelt, beispielsweise schätzt, beispielsweise in Form einer begrenzenden Box ("Bounding Box"). Fig. 10 zeigt hierzu beispielhaft schematisch die ersten Daten DAT-1 , die dem als Region Proposal Network RPN ausgebildeten Detektor zuführbar sind, sowie ein Detektionsergebnis DE, das der Detektor RPN daraus ermittelt, und das Informationen über detektierte Objekte 01, 02 aufweisen kann, beispielsweise in Form der genannten begrenzenden Boxen.
Bei weiteren beispielhaften Ausführungsformen, Fig. 5, kann der Detektor DET, RPN den schematisch in Fig. 10 abgebildeten Ablauf beispielhaft für mehrere (ggf. transformierte)Teildatensätze TD-1 , TD-2, TD-3, TD-4 ausführen, wobei beispielsweise jeweils derselbe Detektor DET, RPN verwendbar ist.
Bei weiteren beispielhaften Ausführungsformen, Fig. 4, ist vorgesehen, dass die ersten Daten DAT-1 wenigstens eines der folgenden Elemente aufweisen: a) Daten DAT-LID einer LIDAR-Sensoreinrichtung, beispielsweise charakterisierbar durch eine Punktewolke, b) Daten DAT-RAD einer Radar-Sensoreinrichtung, c) Daten DAT-BILD eines Bildsensors, beispielsweise digitale Bilddaten.
Bei weiteren beispielhaften Ausführungsformen, Fig. 1, ist vorgesehen, dass das Verfahren aufweist: Transformieren 106 eines mit dem transformierten zweiten Teildatensatz TD-2' assoziierten Detektionsergebnis DE-2, beispielsweise basierend auf dem Bezug zwischen dem zweiten Teil RB-2 des Raumbereichs RB und dem ersten Teil RB-1 des Raumbereichs RB, wobei beispielsweise ein transformiertes zweites Detektionsergebnis DE-2' erhalten wird. Durch das Transformieren 106 kann - bezüglich dem zweiten Detektionsergebnis DE-2 - gleichsam die Auswirkung des Transformierens 102' kompensiert, beispielsweise "rückgängig gemacht" werden, so dass nach dem Transformieren 106 z.B. die Detektionsergebnisse DE-1 , DE-2' jeweils einen selben Bezug zu einer Referenz, beispielsweise dem ersten Detektionsergebnis DE-1 , aufweisen. Dadurch ist es bei weiteren beispielhaften Ausführungsformen vorteilhaft möglich, denselben Detektor DET, RPN für eine Auswertung von mit unterschiedlichen Teilen RB-1, RB-2, ... des Raumbereichs RB assoziierte Daten zu verwenden, obwohl die jeweiligen Teildatensätze TD-1 , TD-2, ... z.B. unterschiedlichen Winkelbereichen des Raumbereichs RB entsprechen. Zudem können die Detektionsergebnisse DE-1 , DE-2' effizient z.B. jeweils in vergleichbarer Weise ausgewertet werden.
Bei weiteren beispielhaften Ausführungsformen, Fig. 1 , ist vorgesehen, dass das Verfahren aufweist: Aggregieren 108 des transformierten zweiten Detektionsergebnisses DE-2' mit einem ersten Detektionsergebnis DE-1 , das mit dem ersten Teildatensatz TD-1 assoziiert ist. Dies ermöglicht bei weiteren beispielhaften Ausführungsformen vorteilhaft eine effiziente gemeinsame Auswertung (nicht gezeigt) der Detektionsergebnisse DE-1 , DE-2'.
Bei weiteren beispielhaften Ausführungsformen, Fig. 2, 5, ist vorgesehen, dass das Verfahren aufweist: Aufteilen 110 der ersten Daten DAT-1 in n viele, mit n>1 (s. Fig. 5 für ein beispielhaftes Szenario mit n=4), Teildatensätze TD-1 , TD-2, ... , TD-n die jeweils mit einem n-ten Teil des Raumbereichs RB assoziiert sind, Transformieren 112 einer ersten Anzahl N1 der n vielen Teildatensätze TD-2, ... , TD-n, wobei N1 viele transformierte Teildatensätze TD-2', ... , TD-n' erhalten werden, Auswerten 114 eines ersten Teildatensatzes TD-1 der n vielen Teildatensätze und wenigstens eines, beispielsweise aller, transformierten Teildatensätze TD-2', ... , TD-n' der N1 vielen transformierten Teildatensätze mittels des, beispielsweise desselben, Detektors DET. Dies führt bei dem Beispiel von Fig. 5 mit n=4 zu den vier Detektionsergebnissen DE-1 , DE-2, DE-3, DE-4.
Bei weiteren beispielhaften Ausführungsformen, Fig. 2, ist vorgesehen, dass das Verfahren wenigstens eines der folgenden Elemente aufweist: a) Transformieren 116 von mit den N1 vielen transformierten Teildatensätzen assoziierten Detektionsergebnissen DE-2, ... , DE-n (z.B. für Fig. 5 DE-2, ... , DE-4), wobei beispielsweise jeweils ein transformiertes zweites Detektionsergebnis DE-2', ... , DE-n' (z.B. für Fig. 5 DE-2', DE-3', DE-4') erhalten wird, b) Aggregieren 118 (Fig. 2) der transformierten zweiten Detektionsergebnisse DE-2', ... , DE-n' mit einem ersten Detektionsergebnis DE-1 , das mit dem ersten Teildatensatz TD-1 der n vielen Teildatensätze assoziiert ist. Dies ermöglicht beispielsweise eine effiziente Darstellung und ggf. Weiterverarbeitung der mit unterschiedlichen Teilen RB-1 , RB-2, RB-3, RB-4 des Raumbereichs RB assoziierten Detektionsergebnisse, s. z.B. das Bezugszeichen DE" gemäß Fig. 5. Bei weiteren beispielhaften Ausführungsformen, Fig. 1, 2, ist vorgesehen, dass das Transformieren 106, 116 ein Rotieren 106a, 116a aufweist, beispielsweise um einen Referenzpunkt RP (Fig. 5), beispielsweise Mittelpunkt, einer die ersten Daten DAT-1 bereitstellenden Sensoreinrichtung 10 (Fig. 8). Beispielsweise kann die Sensoreinrichtung 10 wie vorstehend bereits beschrieben bei manchen Ausführungsformen als LIDAR-Sensoreinrichtung ausgebildet sein, und der Referenzpunkt kann beispielsweise einen Mittelpunkt der LIDAR- Sensoreinrichtung charakterisieren.
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass die mit dem Raumbereich RB assoziierten ersten Daten DAT-1 mit einem Winkel von 360° (z.B. in einer virtuellen Ebene parallel zu einem Boden wie beispielsweise einer Fahrbahnoberfläche) assoziiert sind, wobei ein n-ter Teil des Raumbereichs mit einem Winkel von 360° / n assoziiert ist. Dies ist beispielhaft für n=4 in Fig. 5 abgebildet. Bei weiteren beispielhaften Ausführungsformen kann eine derartige Aufteilung des Raumbereichs RB beispielsweise bei der Verwendung einer LIDAR-Sensoreinrichtung 10 (Fig. 8) für ein Fahrzeug, beispielsweise Kraftfahrzeug 15, verwendet werden, beispielsweise um vier jeweils zumindest in etwa 90° große Teile RB-1 , RB-2, RB-3, RB-4 (Fig. 5) des Raumbereichs RB, beispielsweise um das Fahrzeug 15 (Fig. 8) herum, zu erhalten. Auf diese Weise kann z.B. ein Umfeld U des Fahrzeugs 15 effizient in mehrere entsprechende Teile des Raumbereichs RB untergliedert werden, wobei die mit einem jeweiligen Teil des Raumbereichs assoziierten Teildatensätze TD-1 , TD-2, TD-3, TD-4 effizient basierend auf dem Prinzip gemäß den Ausführungsformen verarbeitbar sind.
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass die mit dem Raumbereich RB assoziierten ersten Daten DAT mit einem Summenwinkel von x° (z.B. in einer virtuellen Ebene parallel zu einem Boden wie beispielsweise einer Fahrbahnoberfläche) assoziiert sind, wobei ein n-ter Teil des Raumbereichs RB mit einem Winkel von (x / n)° assoziiert ist, mit x <> 360. Mit anderen Worten kann bei weiteren beispielhaften Ausführungsformen der Raumbereich RB auch mit einem anderen Winkel als 360° assoziiert sein, beispielsweise mit weniger als 360° oder mehr als 360°, wobei z.B. die entsprechenden Teile des Raumbereichs jeweiligen Anteilen des (gesamten) Raumbereichs von x° entsprechen. Fig. 6 zeigt schematisch zwei Diagramme D1 , D2 zum Vergleich einer Detektorleistung von, beispielsweise konventionellen, Detektoren zur Objektdetektion im Kontext einer LIDAR-Sensoreinrichtung für ein Kraftfahrzeug. Ein erster Detektor vom RPN-Typ ist für ein gesamtes 360° aufweisendes Sichtfeld einer beispielhaften LIDAR-Sensoreinrichtung 10 trainiert worden ("det360"), und ein zweiter Detektor vom RPN-Typ ist für einen Winkelbereich von 90° des gesamten Sichtfelds trainiert worden ("det90").
Diagramm D1 zeigt eine Detektorleistung gemäß dem mean Average Precision (mAP)-Maß für eine Auswertung in einem 90°-Winkelbereich, in dem der zweite Detektor "det90" trainiert worden ist. Der dem Bezugszeichen det90 zugeordnete Schraffurtyp gibt Raumbereiche an, in denen der zweite Detektor det90 eine höhere Detektorleistung gemäß dem mAP-Maß aufweist, und der dem Bezugszeichen det360 zugeordnete Schraffurtyp gibt Raumbereiche an, in denen der erste Detektor det360 eine höhere Detektorleistung gemäß dem mAP- Maß aufweist. In dem gesamten 90°-Winkelbereich des Diagramms D1 ist der zweite Detektor "det90" - bezüglich des mAP-Maßes - besser als der erste Detektor det360, was darauf hinweist, dass der zweite Detektor det90 sich auf das eingeschränkte Sichtfeld besser spezialisiert hat.
Diagramm D2 zeigt eine zu Diagramm D1 vergleichbare Darstellung, nun jedoch für eine Auswertung in dem gesamten Sichtfeld von 360°. Wie bereits aus Diagramm D1 ersichtlich, ist auch in dem Diagramm D2 der spezialisierte zweite Detektor det90 in dem 90°-Frontbereich FB besser als der erste Detektor det360, hat aber in den anderen Bereichen AB, insbesondere "hinter" (in Fig. 6 links von) dem Fahrzeug 15, eine deutlich schwächere mAP, was durch eine fehlende Äquivarianz (sowohl Rotationsäquivarianz als auch Translationsäquivarianz) von RPNs bedingt ist.
Fig. 7 zeigt schematisch zwei Diagramme D3, D4 zur Bewertung einer Detektorleistung eines basierend auf dem Prinzip gemäß den Ausführungsformen verwendeten dritten Detektors DET ("det4x90"), wie er für n=4 Teile RB-1, RB-2, RB-3, RB4 des Raumbereichs RB von 360° z.B. gemäß der schematischen Darstellung von Fig. 5 verwendbar ist. D.h., der dritte Detektor det4x90 ist z.B. dazu ausgebildet, den Teildatensatz TD-1 und transformierte Teildatensätze TD-2', TD-3', TD-4' auszuwerten, die jeweils mit einem entsprechenden Teil RB-1, RB-2, RB-3, RB-4 des Raumbereichs RB assoziiert sind.
Diagramm D3 zeigt die Detektorleistung des dritten Detektors det4x90 im Vergleich zu dem ersten Detektor det360, und Diagramm D4 zeigt die Detektorleistung des dritten Detektors det4x90 im Vergleich zu dem zweiten Detektor det90.
Der dem Bezugszeichen det4x90 zugeordnete Schraffurtyp gibt Raumbereiche an, in denen der dritte Detektor det4x90 eine höhere Detektorleistung gemäß dem mAP-Maß aufweist, und der dem Bezugszeichen det360 (Diagramm D3) bzw. det90 (Diagramm D4) zugeordnete Schraffurtyp gibt Raumbereiche an, in denen der erste Detektor det360 bzw. der zweite Detektor det90 eine höhere Detektorleistung gemäß dem mAP-Maß aufweist.
Aus Diagramm D3 ist zu erkennen, dass der dritte Detektor det4x90 im gesamten Raumbereich von 360° ein größeres mAP-Maß aufweist als der erste Detektor, mithin der dritte Detektor det4x90 in dem gesamten Raumbereich von 360° besser ist als der erste Detektor det360.
Aus Diagramm D4 ist zu erkennen, dass der dritte Detektor det4x90 in dem Frontbereich FB hinsichtlich des mAP-Maßes vergleichbar ist mit dem zweiten Detektor det90, in den anderen Bereichen AB jedoch deutlich besser als der zweite Detektor det90.
Weitere beispielhafte Ausführungsformen, Fig. 3, beziehen sich auf eine Vorrichtung 200 zur Ausführung des Verfahrens gemäß den Ausführungsformen.
Bei weiteren beispielhaften Ausführungsformen ist vorgesehen, dass die Vorrichtung 200 aufweist: eine wenigstens einen Rechenkern 202a, 202b, 202c aufweisende Recheneinrichtung ("Computer") 202, eine der Recheneinrichtung 202 zugeordnete Speichereinrichtung 204 zur zumindest zeitweisen Speicherung wenigstens eines der folgenden Elemente: a) Daten DAT (z.B. die ersten Daten DAT-1 bzw. daraus ableitbare Daten TD-1 , TD-2, ... , DE-1, DE-2, ... , DE-2', DE- 3', ...), b) Computerprogramm PRG, beispielsweise zur Ausführung des Verfahrens gemäß den Ausführungsformen.
Bei weiteren beispielhaften Ausführungsformen weist die Speichereinrichtung 204 einen flüchtigen Speicher (z.B. Arbeitsspeicher (RAM)) 204a auf, und/oder einen nichtflüchtigen (NVM-) Speicher (z.B. Flash-EEPROM) 204b, oder eine Kombination hieraus oder mit anderen, nicht explizit genannten Speichertypen.
Bei weiteren beispielhaften Ausführungsformen ist die Vorrichtung 200 zur Realisierung der Funktion des Detektors DET ausgebildet, beispielsweise zum Training und/oder zu Auswertung eines auf wenigstens einem künstlichen tiefen neuronalen Netz z.B. vom Region Proposal Network-Typ.
Weitere beispielhafte Ausführungsformen beziehen sich auf ein computerlesbares Speichermedium SM, umfassend Befehle PRG, die bei der Ausführung durch einen Computer 202 diesen veranlassen, das Verfahren gemäß den Ausführungsformen auszuführen.
Weitere beispielhafte Ausführungsformen beziehen sich auf ein Computerprogramm PRG, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer 202 diesen veranlassen, das Verfahren gemäß den Ausführungsformen auszuführen.
Weitere beispielhafte Ausführungsformen beziehen sich auf ein Datenträgersignal DCS, das das Computerprogramm PRG gemäß den Ausführungsformen überträgt und/oder charakterisiert.
Das Datenträgersignal DCS ist beispielsweise über eine optionale Datenschnittstelle 206 der Vorrichtung 200 empfangbar. Ebenfalls sind z.B. die ersten Daten DAT-1 über die optionale Datenschnittstelle 206 übertragbar, z.B. von wenigstens einer entsprechenden Sensoreinrichtung 10, 10a, 10b, 10c empfangbar. Beispielsweise symbolisiert der optionale Block 10 eine LIDAR- Sensoreinrichtung, der optionale Block 10a symbolisiert eine RADAR- Einrichtung, der optionale Block 10b symbolisiert eine, z.B. digitale, Bildsensoreinrichtung, und der optionale Block 10c symbolisiert eine sonstige Sensoreinrichtung wie z.B. eine Umfeldsensoreinrichtung, z.B. für ein Fahrzeug. Weitere beispielhafte Ausführungsformen, Fig. 8, beziehen sich auf ein Fahrzeug 15, beispielsweise Kraftfahrzeug 15, mit wenigstens einer Vorrichtung 200 gemäß den Ausführungsformen. Optional weist das Fahrzeug 15 ein oder mehrere Sensoreinrichtungen 10 auf, die z.B. die ersten Daten DAT-1 bereitstellen.
Nachfolgend ist eine beispielhafte Verarbeitung der ersten Daten DAT-1 der Sensoreinrichtung 10 des Kraftfahrzeugs 15 gemäß weiteren beispielhaften Ausführungsformen beschrieben. Es wird beispielhaft davon ausgegangen, dass die Sensoreinrichtung 10 als LIDAR-Sensoreinrichtung ausgebildet ist und die ersten Daten DAT-1 eine Punktewolke bilden.
Die zu verarbeitenden Lidar-Daten DAT-1 in Form einer Punktwolke werden z.B. in vier Teile TD-1 , TD-2, TD-3, TD-4 partitioniert, s. auch Fig. 5, die (z.B. bis auf den ersten Teildatensatz TD-1) jeweils um den Mittelpunkt bzw. Referenzpunkt RP der Lidar-Sensoreinrichtung "nach vorne" rotiert werden, also bei dem Beispiel gemäß Fig. 5 in den Frontbereich FB, z.B. entsprechend dem ersten Teil RB-1 des Raumbereichs RB. Das Rotieren kann beispielsweise ähnlich zu dem Block 112 gemäß Fig. 2 erfolgen. Beispielsweise wird jede Punktwolken- Partition, die mit einem entsprechenden Teildatensatz TD-1 , TD-2, TD-3, TD-4 korrespondiert, in einen eigenen Batch geschrieben, so dass sich in diesem Fall eine Batchgröße von vier ergibt.
Sodann wird ein z.B. für einen Raumbereich von 90° ausgebildeter Detektor DET (Fig. 5), beispielsweise direkt, z.B. ohne jegliche Modifikation, auf die rotierten Punktwolken bzw. die sie charakterisierenden Teildatensätze TD-1 , TD-2, TD-3, TD-4 angewendet, was separate (ggf. rotierte, im Falle der Raumbereiche RB-2, RB-3, RB-4) Detektionsergebnisse DE-1, DE-2, DE-3, DE-4 für jeden Teil RB-1, RB-2, RB-3, RB-4 ergibt.
Da die Detektionsergebnisse ("Detektionen"), z.B. wie schon die Punktwolken, (mit Ausnahme von DE-1) individuell rotiert in vier Batches vorliegen, wird beispielsweise die vorangehende Rotation, z.B. Batch-weise, wieder rückgängig gemacht, z.B. durch eine erneute (inverse) Rotation. Anschließend werden z.B. die zurückrotierten Detektionen DE-2', DE-3', DE-4' zusammen mit dem nicht rotierten Detektionsergebnis DE-1 des Frontbereichs FB in einen einzigen Batch, also z.B. ein gemeinsames Detektionsergebnis DE'", aggregiert, z.B. konkateniert.
Bei weiteren beispielhaften Ausführungsformen ist keinerlei Anpassung an dem Detektor DET vorgesehen, so dass z.B. ein konventioneller, z.B. trainierter, 90°- Detektor vom RPN-Typ verwendbar ist, um die verschiedenen Teildatensätze TD-1 , TD-2, ... , TD-n auszuwerten. Vorteilhaft werden bei weiteren beispielhaften Ausführungsformen z.B. lediglich Module bzw. Computerprogramme für die beschriebenen Transformationen, z.B. Rotationen, und Reshaping Operationen (also z.B. das Aggregieren) vorgesehen.
Mit anderen Worten kann bei weiteren beispielhaften Ausführungsformen ein z.B. konventioneller 90°-Detektor durch das Prinzip gemäß den Ausführungsformen so eingesetzt werden, dass eine effiziente Objektdetektion in einem größeren Raumbereich RB möglich ist, als es dem Bereich (von hier vorliegend beispielsweise 90°) entspricht, für den der konventionelle 90°-Detektor ausgelegt bzw. trainiert worden ist.
Bei weiteren beispielhaften Ausführungsformen bleiben Ein- und Ausgabeschnittstellen des (basierend auf dem Prinzip gemäß den Ausführungsformen) erweiterten Detektors DET, z.B. unverändert, erhalten. Darüber hinaus ist es bei weiteren beispielhaften Ausführungsformen möglich, den Ansatz z.B. des Transformierens schon während eines Trainings des Detektors anzuwenden. Dazu können beispielsweise Labels den jeweiligen Partitionen bzw. Teildatensätzen TD-1 , ... , TD-n zugeordnet werden und z.B. ebenfalls entsprechend rotiert werden.
Bei weiteren beispielhaften Ausführungsformen kann, z.B. bei einem radialsymmetrischen Messprinzip der Sensoreinrichtung 10, wie dies z.B. bei der LIDAR-Sensoreinrichtung 10 der Fall ist, die Partitionierung bzw. Aufteilung auch abweichend von den vorstehend beispielhaft genannten Ausführungsformen vorgenommen werden, ist also insbesondere nicht auf einen Fall von z.B. 4 Partitionen bzw. Teilen RB-1, ... , RB-4 des Raumbereichs RB je 90° beschränkt. Bei weiteren beispielhaften Ausführungsformen sind z.B. auch andere Aufteilungen wie beispielsweise 2x180°, 3x120°, bis hin zu 360x1° oder weniger (z.B. mehr als 360 Teilbereiche mit entsprechend < 1°) ebenfalls denkbar und induzieren z.B. jeweils mehr Spezialisierung des Detektors.
Bei weiteren beispielhaften Ausführungsformen ist auch denkbar, das Aufteilen so vorzunehmen, dass sich die Teile RB-1 , ... , RB-n überlappen.
Bei weiteren beispielhaften Ausführungsformen kann das Prinzip gemäß den Ausführungsformen, beispielsweise eine räumliche Kompression, auch bei anderen Daten als z.B. LIDAR-Daten angewendet werden. Ein Beispiel ist z.B. eine radiale Geschwindigkeit bei gemessenen Radar-Locations. Diese ist z.B. abhängig von der Geschwindigkeit des Fahrzeugs 15, auf dem der Radar-Sensor befestigt ist. Ein RPN z.B. als Detektor für Radar-Daten wäre nicht äquivariant bezüglich der Geschwindigkeitsänderungen des Fahrzeugs. Analog zur spatial compression gemäß beispielhaften Ausführungsformen könnten die Radar-Daten bei weiteren beispielhaften Ausführungsformen aber z.B. so aufbereitet (z.B. komprimiert) werden, dass sie so scheinen, als wären sie bei stehendem Fahrzeug aufgenommen worden.
Bei weiteren beispielhaften Ausführungsformen kann das Prinzip gemäß den Ausführungsformen, beispielsweise eine räumliche Kompression, auch auf ein Kamerabild angewendet werden. Z.B. kann bei weiteren beispielhaften Ausführungsformen eine linke Hälfte eines Kamerabildes als gespiegelte Version der rechten Hälfte interpretiert werden, z.B. gemäß zwei Teildatensätzen TD-1 , TD-2. Bei weiteren beispielhaften Ausführungsformen kann ein spezialisierter Detektor z.B. auf der rechten Seite eines Kamerabildes trainiert werden und dann z.B. ebenfalls auf die gespiegelte linke Hälfte angewendet werden.
Bei weiteren beispielhaften Ausführungsformen kann eine durch das Prinzip gemäß den Ausführungsformen, beispielsweise die spatial compression, eingesparte Detektorkapazität dazu verwendet werden, um eine Parameteranzahl eines Detektors DET, z.B. bei gleichbleibender Leistung, zu verringern. Weitere beispielhafte Ausführungsformen, Fig. 9, beziehen sich auf eine Verwendung 300 des Verfahrens gemäß den Ausführungsformen und/oder der Vorrichtung 200 gemäß den Ausführungsformen und/oder des Fahrzeugs 15 gemäß den Ausführungsformen und/oder des computerlesbaren Speichermediums SM gemäß den Ausführungsformen und/oder des Computerprogramms PRG gemäß den Ausführungsformen und/oder des Datenträgersignals DCS gemäß den Ausführungsformen für wenigstens eines der folgenden Elemente: a) räumliche Kompression 301, b) Spezialisierung 302 des Detektors DET, c) Einsparen 303 einer Kapazität des Detektors DET, d) Reduzieren 304 von Netzwerkparametern (z.B. wenigstens eines tiefen neuronalen Netzes) RPN des Detektors DET, beispielsweise Reduktion einer Anzahl trainierbarer Netzwerkparameter, z.B. Anzahl von Faltungskernen und/oder Anzahl von Netzwerkebenen bzw. -schichten des Detektors DET, e) Erhöhen 305 der Leistung des Detektors DET, f) Steuern 306 eines Überlapps von Teildatensätzen TD-1 , TD-2, beispielsweise bezüglich zueinander benachbarten Teilen RB-1 , RB-2 des Raumbereichs RB, g) Verwenden 307 eines, beispielsweise bereits trainierten, Detektors DET, für einen größeren Raumbereich RB, beispielsweise als den Raumbereich RB, für den der Detektor DET bereits trainiert worden ist, wobei beispielsweise der Detektor DET für das Verwenden 307 nicht verändert, also z.B. unverändert belassen, wird, insbesondere nicht weitertrainiert bzw. nachtrainiert wird, h) Erkennung 308 von Objekten, beispielsweise für wenigstens eine Anwendung in Fahrzeugen 15, beispielsweise Fahrerassistenzsystemen, i) Erkennung 309 von Objekten für die Robotik und/oder cyberphysische Systeme, j) Erkennung 310 von Objekten für die Sicherheitstechnik.

Claims

Ansprüche
1. Verfahren, beispielsweise computerimplementiertes Verfahren, zum Verarbeiten von mit wenigstens einem Raumbereich (RB) assoziierten ersten Daten (DAT-1), beispielsweise Sensordaten, aufweisend: Aufteilen (100) der ersten Daten (DAT-1) in wenigstens einen ersten Teildatensatz (TD-1), der mit einem ersten Teil (RB-1) des Raumbereichs (RB) assoziiert ist, und einen zweiten Teildatensatz (TD-2), der mit einem zweiten Teil (RB- 2) des Raumbereichs (RB) assoziiert ist, wobei der zweite Teil (RB-2) des Raumbereichs (RB) zumindest bereichsweise verschieden ist von dem ersten Teil (RB-1) des Raumbereichs (RB), Transformieren (102) des zweiten Teildatensatzes (TD-2), beispielsweise basierend auf einem Bezug zwischen dem zweiten Teil (RB-2) des Raumbereichs (RB) und dem ersten Teil (RB-1) des Raumbereichs (RB), wobei ein transformierter zweiter Teildatensatz (TD-21) erhalten wird, Auswerten (104) des ersten Teildatensatzes (TD-1) und des transformierten zweiten Teildatensatzes (TD-21) mittels eines Detektors (DET) zur Objektdetektion.
2. Verfahren nach Anspruch 1 , wobei der Detektor (DET) wenigstens ein, beispielsweise künstliches, neuronales Netzwerk, beispielsweise vom CNN (Convolutional Neural Network)-Typ, aufweist, beispielsweise vom RPN (Regional Proposal Network)-Typ.
3. Verfahren nach wenigstens einem der vorstehenden Ansprüche, wobei die ersten Daten (DAT-1) wenigstens eines der folgenden Elemente aufweisen: a) Daten (DAT-LID) einer LIDAR-Sensoreinrichtung (10a), beispielsweise charakterisierbar durch eine Punktewolke, b) Daten (DAT-RAD) einer Radar- Sensoreinrichtung (10b), c) Daten (DAT-BILD) eines Bildsensors (10c), beispielsweise digitale Bilddaten.
4. Verfahren nach wenigstens einem der vorstehenden Ansprüche, aufweisend: Transformieren (106) eines mit dem transformierten zweiten Teildatensatz (TD-21) assoziierten Detektionsergebnis (DE-2), beispielsweise basierend auf dem Bezug zwischen dem zweiten Teil (RB-2) des Raumbereichs (RB) und dem ersten Teil (RB-1) des Raumbereichs (RB), wobei beispielsweise ein transformiertes zweites Detektionsergebnis (DE-21) erhalten wird. Verfahren nach Anspruch 4, aufweisend: Aggregieren (108) des transformierten zweiten Detektionsergebnisses (DE-21) mit einem ersten Detektionsergebnis (DE-1), das mit dem ersten Teildatensatz (TD-1) assoziiert ist. Verfahren nach wenigstens einem der vorstehenden Ansprüche, aufweisend: Aufteilen (110) der ersten Daten (DAT-1) in n viele Teildatensätze (TD-1 , TD-2, ... , TD-n), mit n>1 , die jeweils mit einem n-ten Teil (RB-n) des Raumbereichs (RB) assoziiert sind, Transformieren (112) einer ersten Anzahl N1 (TD-2, ... , TD-n) der n vielen Teildatensätze (TD-1 , TD-2, ... , TD-n), wobei N1 viele transformierte Teildatensätze (TD-21, ... , TD- n') erhalten werden, Auswerten (114) eines ersten Teildatensatzes (TD-1) der n vielen Teildatensätze (TD-1 , TD-2, ... , TD-n) und wenigstens eines, beispielsweise aller, transformierten Teildatensätze (TD-21) der N1 vielen transformierten Teildatensätze (TD-21, ... , TD-n') mittels des Detektors (DET). Verfahren nach Anspruch 6, aufweisend wenigstens eines der folgenden Elemente: a) Transformieren (116) von mit den N1 vielen transformierten Teildatensätzen (TD-21, ... , TD-n') assoziierten Detektionsergebnissen (DE- 2, ... , DE-n), wobei beispielsweise jeweils ein transformiertes zweites Detektionsergebnis (DE-21, ... , DE-n') erhalten wird, b) Aggregieren (118) der transformierten zweiten Detektionsergebnisse (DE-21, ... , DE-n') mit einem ersten Detektionsergebnis (DE-1), das mit dem ersten Teildatensatz (TD-1) der n vielen Teildatensätze (TD-1 , TD-2, ... , TD-n) assoziiert ist. Verfahren nach wenigstens einem der vorstehenden Ansprüche, wobei das Transformieren (106; 116) ein Rotieren (106a; 116a) aufweist, beispielsweise um einen Referenzpunkt (RP), beispielsweise Mittelpunkt, einer die ersten Daten (DAT-1) bereitstellenden Sensoreinrichtung (10). 9. Verfahren nach wenigstens einem der vorstehenden Ansprüche, wobei die mit dem Raumbereich (RB) assoziierten ersten Daten (DAT-1) mit einem Winkel von 360° assoziiert sind, und wobei ein n-ter Teil (RB-n) des Raumbereichs (RB) mit einem Winkel von 360° / n assoziiert ist.
10. Vorrichtung (200) zur Ausführung des Verfahrens nach wenigstens einem der vorstehenden Ansprüche.
11. Fahrzeug (15), beispielsweise Kraftfahrzeug, mit wenigstens einer Vorrichtung (200) nach Anspruch 10.
12. Computerlesbares Speichermedium (SM), umfassend Befehle (PRG), die bei der Ausführung durch einen Computer (202) diesen veranlassen, das Verfahren nach wenigstens einem der Ansprüche 1 bis 9 auszuführen.
13. Computerprogramm (PRG), umfassend Befehle, die bei der Ausführung des Programms (PRG) durch einen Computer (202) diesen veranlassen, das Verfahren nach wenigstens einem der Ansprüche 1 bis 9 auszuführen.
14. Datenträgersignal (DCS), das das Computerprogramm (PRG) nach Anspruch 13 überträgt und/oder charakterisiert.
15. Verwendung des Verfahrens nach wenigstens einem der Ansprüche 1 bis 9 und/oder der Vorrichtung ( 200) nach Anspruch 10 und/oder des Fahrzeugs (15) nach Anspruch 11 und/oder des computerlesbaren Speichermediums (SM) nach Anspruch 12 und/oder des Computerprogramms (PRG) nach Anspruch 13 und/oder des Datenträgersignals (DCS) nach Anspruch 14 für wenigstens eines der folgenden Elemente: a) räumliche Kompression (301), b) Spezialisierung (302) des Detektors (DET), c) Einsparen (303) einer Kapazität des Detektors (DET), d) Reduzieren (304) von Netzwerkparametern des Detektors (DET), e) Erhöhen (305) der Leistung des Detektors (DET), f) Steuern (306) eines Überlapps von Teildatensätzen, beispielsweise bezüglich zueinander benachbarten Teilen des Raumbereichs (RB), g) Verwenden (307) eines, beispielsweise bereits trainierten, Detektors (DET), für einen größeren Raumbereich, beispielsweise als den Raumbereich, für den der Detektor (DET) bereits trainiert worden ist, wobei beispielsweise der Detektor (DET) für das Verwenden (306) nicht verändert, also z.B. unverändert belassen, wird, h) Erkennung (308) von Objekten, beispielsweise für wenigstens eine Anwendung in Fahrzeugen, beispielsweise Fahrerassistenzsystemen, i) Erkennung (309) von Objekten für die Robotik und/oder cyberphysische Systeme, j) Erkennung (310) von Objekten für die Sicherheitstechnik.
PCT/EP2023/053417 2022-02-14 2023-02-13 Verfahren und vorrichtung zum verarbeiten von daten WO2023152350A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022201508.8 2022-02-14
DE102022201508.8A DE102022201508A1 (de) 2022-02-14 2022-02-14 Verfahren und Vorrichtung zum Verarbeiten von Daten

Publications (1)

Publication Number Publication Date
WO2023152350A1 true WO2023152350A1 (de) 2023-08-17

Family

ID=85278140

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/053417 WO2023152350A1 (de) 2022-02-14 2023-02-13 Verfahren und vorrichtung zum verarbeiten von daten

Country Status (2)

Country Link
DE (1) DE102022201508A1 (de)
WO (1) WO2023152350A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2916540A1 (de) * 2012-10-31 2015-09-09 Clarion Co., Ltd. Bildverarbeitungssystem und bildverarbeitungsverfahren
DE112016003546T5 (de) * 2015-08-04 2018-04-19 Denso Corporation Vorrichtung zum Darstellen von Unterstützungsbildern für einen Fahrer und Verfahren dazu

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2916540A1 (de) * 2012-10-31 2015-09-09 Clarion Co., Ltd. Bildverarbeitungssystem und bildverarbeitungsverfahren
DE112016003546T5 (de) * 2015-08-04 2018-04-19 Denso Corporation Vorrichtung zum Darstellen von Unterstützungsbildern für einen Fahrer und Verfahren dazu

Also Published As

Publication number Publication date
DE102022201508A1 (de) 2023-08-17

Similar Documents

Publication Publication Date Title
AT520320B1 (de) Verfahren und eine Vorrichtung zum Erzeugen eines dynamischen Geschwindigkeitsprofils eines Kraftfahrzeugs
EP3140813B1 (de) Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
DE102020124572A1 (de) Ein verfahren zur unüberwachten automatischen ausrichtung von fahrzeugsensoren
DE102018128289A1 (de) Verfahren und vorrichtung für eine autonome systemleistung und zur einstufung
EP2302516A1 (de) Verfahren zur Ausführung von Tasks zur Berechnung eines zu simulierenden Signals in Echtzeit
EP3268713A1 (de) Verfahren zum erstellen eines modell-ensembles zur kalibrierung eines steuergerätes
DE102018220941A1 (de) Auswertung von Messgrößen mit KI-Modulen unter Berücksichtigung von Messunsicherheiten
EP2088486B1 (de) Verfahren zur Vermessung eines nichtlinearen dynamischen realen Systems mittels Versuchsplanung
AT523850B1 (de) Computergestütztes Verfahren und Vorrichtung zur wahrscheinlichkeitsbasierten Geschwindigkeitsprognose für Fahrzeuge
DE102017113319B4 (de) Steuerung von mehreren drehmoment-stellgliedern über wenigstens zwei steuergeräte einer antriebsstrang-anordnung
EP4139754A1 (de) Verfahren zum betreiben einer steuergeräteanordnung sowie entsprechende steuergeräteanordnung
WO2023152350A1 (de) Verfahren und vorrichtung zum verarbeiten von daten
DE102017201796A1 (de) Steuervorrichtung zum Ermitteln einer Eigenbewegung eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Bereitstellen der Steuervorrichtung
DE102014103137A1 (de) Verfahren zur Bestimmung und Korrektur von Oberflächendaten zur dimensionellen Messung mit einer Computertomografiesensorik
DE102019008369B4 (de) Verfahren zur Kalibrierung eines distanzmessenden Sensors eines Fahrzeugs
EP3811162B1 (de) Verfahren zur kalibrierung eines technischen systems
WO2020169416A1 (de) Quantisiertes training trainierbarer module
DE102020120840A1 (de) Computerimplementiertes Verfahren zur latenzarmen Erzeugung und Einspeisung von Sensordaten in ein Steuergerät oder in Steuergeräteverbünde
DE102008059609A1 (de) Verfahren zur Ermittlung von Kenngrößen der Verbrennung einer Verbrennungskraftmaschine
EP4006848A1 (de) Verfahren zum testen eines objekterkennungssystems
DE102022212819A1 (de) Verfahren zur Komprimierung von Sensordaten wenigstens eines Sensors eines Fahrzeuges
DE102023203910A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium zum unterstützen einer fahrzeugprüfung
DE202023102037U1 (de) Vorrichtung zum Optimieren eines Hyperparameterraumes mit mindestens zwei Hyperparametern eines Algorithmus des maschinellen Lernens
DE102023100606A1 (de) Objektmodellierung basierend auf einer Punktwolke
EP3905095A1 (de) Computer-implementiertes verfahren zur rechnerischen ermittlung und bereitstellung zumindest eines wertes zumindest eines parameters eines festkörpers

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23705496

Country of ref document: EP

Kind code of ref document: A1