WO2023110165A1 - Verfahren zum beladen eines transportmittels mit einem ladebehälter, umschlagvorrichtung - Google Patents

Verfahren zum beladen eines transportmittels mit einem ladebehälter, umschlagvorrichtung Download PDF

Info

Publication number
WO2023110165A1
WO2023110165A1 PCT/EP2022/059232 EP2022059232W WO2023110165A1 WO 2023110165 A1 WO2023110165 A1 WO 2023110165A1 EP 2022059232 W EP2022059232 W EP 2022059232W WO 2023110165 A1 WO2023110165 A1 WO 2023110165A1
Authority
WO
WIPO (PCT)
Prior art keywords
transport
loading
loading area
area
tpt
Prior art date
Application number
PCT/EP2022/059232
Other languages
English (en)
French (fr)
Inventor
Tommaso CINOTTI
Kevin HAYBACH
Florian MESER
Jörn RECHENBURG
Matthias Bachhuber
Jahanbaz KHAN
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Publication of WO2023110165A1 publication Critical patent/WO2023110165A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/04—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack
    • B66C13/08—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack for depositing loads in desired attitudes or positions
    • B66C13/085—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack for depositing loads in desired attitudes or positions electrical

Definitions

  • the invention relates to a method for detecting a loading surface of a means of transport for automated loading with a loading container.
  • TUL processes In logistics, handling or handling is one of the three main processes (TUL processes) alongside storage and transport.
  • Transhipment is a process in which goods change the means of transport, i.e. they are loaded from a truck to a ship or train, for example.
  • the terms loading and unloading are sometimes used synonymously with handling, sometimes they stand for loading.
  • a tractor with an empty trailer drives under the crane.
  • a loaded trailer drives under the crane.
  • a conventional handling system can therefore only be offered by the manufacturer if all the means of transport to be supported are known. Proceeding from the problems of the prior art, the object of the invention is to further develop a method and a handling device of the type defined at the outset in such a way that the disadvantages mentioned are avoided.
  • the invention designates containers as loading containers.
  • the invention relates to a method for detecting a loading surface of a means of transport for automated loading with a loading container.
  • the invention also relates to a method for loading a means of transport with a loading container, including the method for detecting a loading area of a means of transport, also with regard to all the developments mentioned.
  • the invention also relates to a method for generating instructions for a loading device or handling device, in particular a crane, for positioning a loading container on the loading area of a means of transport, including the method for loading a means of transport with a loading container, also with regard to all the developments mentioned.
  • skew Determination of a rotation of the truck around the hoist axis of the crane (so-called skew) so that the rotation of the load handling device can be adjusted.
  • the basic problem in this is the highly accurate and reliable determination of the rotation of the loading area.
  • the boundary conditions are that the density distribution of the underlying 3D point cloud is very non-uniform. This is inversely proportional to the distance of the laser used to create the point cloud.
  • the determination of the rotation must not take longer than 500 milliseconds so that the automated process of the crane is not disturbed and work can therefore be carried out without interrupting the process.
  • the following steps are processed according to the invention: a) defining a spatially fixed coordinate system whose first and second coordinate directions are essentially in a horizontal plane and whose third coordinate direction extends essentially vertically in the height direction, b) recording a surface geometry in the area a transshipment area, c) identifying an area of a means of transport, d) determining the location of a loading area of the means of transport, e) determining a spatial angular position of a loading area of the means of transport, f) identifying and classifying one or more specific loading areas of the means of transport , g) detecting fastening elements and/or guide elements and/or obstacles and/or loads on the loading area. h) Selection of a loading container that fits a specific loading area and the associated fastening elements of the means of transport, i) Loading the loading area of the means of transport with the selected loading container.
  • the surface geometry in the area of a transition area is recorded as a point cloud.
  • the handling device has a scanner, which is preferably designed as a laser scanner, by means of which the handling area is scanned point by point, so that this cloud of points can be made available to the processor of a control unit for further evaluation.
  • the outer areas of the starting point cloud can also be removed without a previous slice-like division, with this discretization having proven to be particularly useful.
  • the removal of the outer area of the point cloud essentially serves to speed up the process and to avoid interference.
  • these outer areas are initially not required for the purpose of identifying an area of a means of transport.
  • an optional variant of the invention provides that the specific discretization width is between 1 cm - 1 m, preferably 5 cm - 15 cm, particularly preferably 10 cm, so that details of the loading area can be seen.
  • the susceptibility of the method to failure can be reduced if the method includes the following steps:
  • the interval of valid height values for the third coordinate direction can expediently be between 20 cm and 700 cm.
  • the interval of valid height values for the third coordinate direction can be between 20cm - 500cm.
  • an advantageous variant of the method according to the invention provides the steps of a basic routine, with this basic routine in different variants or. by means of different parameterization for the purposes of the invention or. whose further training can be used flexibly:
  • the second horizontal coordinate direction is the profile direction, resulting in a height profile extending along the second horizontal coordinate direction, b.
  • the specific discretization width is between 1cm - 1m, preferably 5cm - 15cm, particularly preferably 10cm,
  • edges or ends of the means of transport are identified by means of a profile creation of the means of transport, in that the method comprises the following:
  • the first horizontal coordinate direction is the profile direction, resulting in a height profile extending along the first horizontal coordinate direction
  • the specific discretization width is between 1cm - 1m, preferably 5cm - 15cm, particularly preferably 10cm
  • the first horizontal coordinate direction is the profile direction, resulting in a height profile extending along the first horizontal coordinate direction
  • the specific discretization width is between 1cm - 1m, preferably 5cm - 15cm, particularly preferably 10cm
  • a vertical offset of the loading area can preferably be determined at least provisionally from the range of values of the third vertical coordinate directions of the estimated extent of the loading area.
  • an advantageous development of the invention provides additional steps:
  • the first horizontal coordinate direction is the profile direction, resulting in a height profile extending along the first horizontal coordinate direction
  • the specific discretization width is between 1cm - 1m, preferably 5cm - 15cm, particularly preferably 10cm
  • edge lines based on the edge points by multiple line segmentations for the respective groups.
  • line segmentation a line is laid through as many predefined surrounding volumes as possible of edge points, and these edge points are replaced by the respective line.
  • a means of transport coordinate system with a first essentially horizontal means of transport coordinate direction (usually and preferably the longitudinal axis of the vehicle) along the longitudinal axis of the means of transport, with a second essentially horizontal means of transport coordinate direction (usually and preferably the vehicle transverse axis) transverse to the first hori zontal transport means coordinate direction and a third essentially vertical third transport means coordinate direction perpendicular to the other transport means coordinate directions (usually and preferably the height direction),
  • the reference contour is arranged completely in the contour of the loading area and/or
  • a loaded means of transport is recognized by classifying a specific, already identified loading area of a means of transport as a loaded loading area if the points of the loading area in the vertical coordinate direction are in the range of an expected height one loading container roof lie.
  • loading container or Loading containers are fitted with four fastening elements or so-called twistlocks attached to a trailer. There is a twistlock on each lower corner of the loading container.
  • width of loading containers is standardized (https : / /de . Wikipedia . org/wiki/ ISO-Container ) and is even always the same for the most common loading containers .
  • a further advantageous variant of the invention for recognizing and distinguishing elements on the loading area is provided by an element recognition method that is applied to a point cloud of an unloaded means of transport, in particular of a predetermined type, generated by means of a scan or laser scan. to find elements (i.e. three-dimensional objects, fasteners, obstacles, guide elements) that are necessary for the determination of the exact loading area or loading area, ie. H. are relevant for determining an exact possible position of a loading container on the loading area of the means of transport. To do this, the following steps are carried out:
  • the point cloud itself has a non-uniform density of points, some of which are part of the structure under the transport.
  • a further variant of the invention which is advantageously developed solves these problems when identifying a plane Loading area in the scanned point cloud by performing the following steps: a) Discretization of the loading area, keeping only the highest point per voxel. As a result, the points are removed vertically under the loading area, which are not relevant in this context, b) Identifying the loading area as a plane using a segmentation based on the RANSAC method (RANSAC (English: random sample consensus ) is a method that is fundamentally familiar to the person skilled in the art in the literature ) .
  • RANSAC Random sample consensus
  • This sub-procedure for recognizing the elements consists of the following steps :
  • This second clustering is preferably based on a discrete representation of the points and relies primarily on z-spacing (instead of the three-dimensional spacing of the previous clustering); Most preferably and when possible, the original cluster is replaced with its own small partitions,
  • an advantageous further development of the invention for recognizing and distinguishing elements on the loading area is provided by an element recognition method for analyzing elements or three-dimensional objects in the point cloud generated by the scanner (laser scanner) on the already identified loading area, where the elements are located on or vertically above the loading area of a means of transport (see also "Identifying points vertically above the loading area”).
  • This gives preference to those elements that can be used to find the exact loading area of the trailer.
  • Elements, that are above the internal loading area of the trailer can thus be preferentially classified in one of the following classes:
  • these vertical wings are part of the trailer frame and are used to position the cargo box in the last centimeters of its descent.
  • the element recognition method is preferably divided into 3 steps.
  • all elements located on the loading platform vertically above the loading surface of a means of transport receive a preliminary classification based on height: an element is classified as a guiding element if it is between 15-50 cm high; Elements that are less than 15cm high are called pinball machines classified; Elements larger than 50cm are classified as obstacles.
  • the front and rear ends of the trailer are checked (surrounding area: the 3 m, 2 m or 1.5 m of the longitudinal extent arranged on one side of the longitudinal direction) and the elements arranged there are reclassified if necessary.
  • the third step involves an analysis and, if necessary, a reclassification of the remaining guide elements and flippers according to the following rules based on their relative position:
  • An advantageous refinement and development of the method according to the invention consists in distinguishing between unloaded loading areas and loaded means of transport.
  • Loading areas that have already been provisionally recognized by means of the procedural steps described above are based on the distance to the ground sorts into those whose height level is within a plausible range for a loadable loading area and those which are outside of a plausible range for a loadable loading area. Those that are inside are subjected to further processing steps, the others are discarded as such.
  • a "discretization + growing region clustering" is used to identify whether an area can be divided into smaller parts (the method of "growing region clustering" is basically known to the person skilled in the art and is based here on the assumption that the neighboring points within have similar height values in a region.
  • the procedure consists of comparing a point with its neighbors in terms of the third coordinate (COZ) or height.
  • Roof edges of a cargo container in the longitudinal direction can preferably be identified by means of a suitable partial method, which can include the following steps, for example: a) one side of the cargo container is identified by level segmentation (preferred: RANSAC (English: random sample consensus)), b) a roof edge is recognized as the mathematical intersection of this plane with the surface of the cargo vessel. c) if steps a) or b) are unsuccessful (e.g. because the quality of the point cloud is insufficient), a further step is carried out: c') the extreme points of the surface of the loading container in the direction of the roof edge (longitudinal direction of the means of transport or transverse to the longitudinal direction) are identified; the edge is then recognized as the secant of the extreme points.
  • the orientation of the container is calculated using the roof edges.
  • a further sub-method is used to detect whether there is a twin cargo container (see below: Sub-method for twin cargo containers), and if this is the case, the cargo container is divided into two smaller cargo containers according to the detected gap between the cargo containers.
  • the surface is stretched or compressed to the ISO standard length. This is done based on the local resolution of the point cloud, i.e. an edge with sparse points and missing information is more deformable than one well defined by an abundance of points.
  • Twin Cages are two Cages (usually 20-foot Cages each) placed one behind the other with a relatively small (less than 50cm, especially less than 30cm) spacing between them. As a rule, these loading containers are of the same length, so that this distance or this gap is in the middle of this twin combination.
  • a sub-method for detecting twin loading containers or double loading containers can preferably include the following steps:
  • steps 2-4 each with a different discretization basis - i.e. a different starting point at which the discretization starts, so that the steps of the discretization are each slightly shifted so that artefacts of the scan have no influence on the quality of the results.
  • FIG. 1 shows a schematic, three-dimensional representation of a transshipment location
  • FIG. 2 shows a schematic flow chart of the method according to the invention
  • Figure 17 Lines based on rising edge points in X direction
  • Figure 18 lines based on falling edge points in Y direction
  • Figure 20 lines based on edge points in X-direction and Y-direction
  • FIG. 21 method for classifying a loading area
  • Figure 26 points of elements above the loading area
  • Figure 27 Recognized elements on the loading area
  • Figure 31 set-down position detected by means of fasteners on the loading area
  • FIG. 34 reduction of a voxel to a vertical maximum value per voxel
  • FIG. 36 Means of transport with a recognized set-down position based on fastening elements.
  • Figure 1 shows a transhipment point or. Handling area TOA of a container terminal or . a handling device CTT with a crane CRN .
  • the handling device is used to load containers or Loading containers CNT by means of a crane CRN on loading platforms LDR or from loading platforms LDR.
  • the current technical trend is moving in the direction of fully automated cranes CRN with at least one control unit CTU, which work largely autonomously.
  • FIG. 1 shows that the handling device CTT scans the surface geometry of the means of transport TRT including the loading area LDR and/or the loading container CNT by means of a scanner SCN or of a scanning process.
  • a laser scanner is preferably used here, which has the desired accuracy and reliability and generates a so-called point cloud PCL, with the points EPT each defining coordinates of the surface of the scanned area.
  • FIG. 2 shows a schematic flow chart of the method according to the invention.
  • the loading of a means of transport TPC with a loading container CNT basically takes place in the following steps: a) Defining a spatially fixed coordinate system MCS ( Figure 1), the first and second coordinate directions COX, COY are essentially in a horizontal plane PLN and the third Coordinate direction COZ extends essentially vertically in the height direction HDR, b) Recording a surface geometry SGT in the area of the transhipment area TOA, c) Identifying an area of a means of transport TPT, d) Determining the location of a loading area LDR of the means of transport TPT, e) Determining a spatial angular position of a loading area of the means of transport TPT, f) identifying and classifying one or more specific loading areas LDR of the means of transport TPT, g) Recognition of fastening elements TWL and/or guide elements GDE and/or obstacles OBT and/or loads LOD on the loading area
  • FIG. 3 shows the recording of a surface geometry SGT of a means of transport TRT whose loading area LDR is not loaded with a loading container CNT.
  • the recording made using a laser scanner consists of a large number of points EPT, each of which is defined in the spatially fixed coordinate system MCS as values of three coordinate directions COX, COY, COZ, with the large number of points EPT also being referred to as point cloud PCL.
  • FIG. 4 shows an output of a method that generates a height profile HPR along a profile direction DZP consisting of profile points PPT.
  • FIG. 5 shows the height profile HPR consisting of the profile points PPT on the basis of the detail of a driver's cab of the means of transport TPT from FIGS.
  • a step-by-step procedure comprising :
  • a step-by-step procedure comprising :
  • the actual height profile HPR is created according to the basic routine shown below and includes the following steps:
  • This basic routine enables a flexible selection of the profile direction DZP, so that profiles both in 1 . horizontal coordinates towards COX as well as along the 2 . hori zontal coordinates in the direction of COY.
  • FIG. 5 shows details of a driver's cab of a means of transport TPT, the individual profile points PPT each being offset by a discretization width DCW. It is particularly expedient here if the discretization width DCW is between 1 cm and 1 m, preferably 5 cm and 15 cm, particularly preferably 10 cm, so that details of the loading area can be recognized from the resulting height profile HPR.
  • FIG. 6 illustrates the result of two sub-methods GLB, LCL of a method for identifying a loading area LDR of the means of transport TPT, which advantageously develops the invention.
  • a rougher analysis of the height profile of the means of transport TPT takes place, which can also be referred to as a global approach, rougher perspective or as the first sub-procedure GLP: - Execution of the basic routine defined above for the point cloud PCL, with the specifications: a. the first horizontal coordinate direction COX is the profile direction DZP, so that a height profile HPR extending along the first horizontal coordinate direction COX results, b. where the specific discretization width DCW is between 1cm - 1m, preferably 5cm - 15cm, particularly preferably 10cm,
  • VFS vertical offset from the range of values of the third vertical coordinate directions COZ of the estimate PLE of the extent of the loading area.
  • the second sub-method LCL (FIG. 6) for identifying a loading area of the means of transport TPT is carried out as a more detailed analysis of the height profile (local perspective) of the means of transport, so that the vertical angular position or Inclination or tilting of the loading area of the means of transport TPT is made possible.
  • LCL The second sub-method LCL (FIG. 6) for identifying a loading area of the means of transport TPT is carried out as a more detailed analysis of the height profile (local perspective) of the means of transport, so that the vertical angular position or Inclination or tilting of the loading area of the means of transport TPT is made possible.
  • the first horizontal coordinate direction COX is the profile direction DZP, resulting in a height profile HPR extending along the first horizontal coordinate direction COX, b.
  • the specific discretization width DCW is between 1cm - 1m, preferably 5cm - 15cm, particularly preferably 10cm,
  • the determination of the ends of a means of transport TPT in the first horizontal coordinate direction COX includes in detail:
  • VLM of the starting point cloud PCI each extending next to one another along the second horizontal coordinate directions COY, with a second discretization width DCW of at least 15 ft, preferably at least 20 ft,
  • the second horizontal coordinate direction COY is the profile direction DZP, so that a height profile HPR extending along the second horizontal coordinate direction COY results, b .
  • the specific discretization width DCW is between 1 cm - 1 cm, preferably 5 cm - 15 cm, particularly preferably 10 cm. Too narrow sections are sorted out by comparing the relative to the second horizontal coordinate directions COY widest length of the height profile HPR with a minimum value and discard the points EPT located in the respective volume VLM if the widest length is below the minimum value.
  • the portion of the starting point cloud PCI that has not been discarded is defined as a new point cloud PCL, which includes the means of transport TPT.
  • the first horizontal coordinate direction COX is the profile direction DZP, so that a height profile HPR extending along the first horizontal coordinate direction COX results,
  • DCW is between 1cm - 1m, preferably 5cm - 15cm, particularly preferably 10cm,
  • FIG. 8 shows a side view of a means of transport with a cabin CBN.
  • FIG. 9 shows this in a top view (bird's eye view).
  • the point cloud PCL is not always symmetrical with respect to the z. B. first coordinate direction COX or . the direction of travel, making a z. B. hori zontal angular position of the means of transport TPT or. of the loading area LDR is often incorrect according to conventional approaches is calculated .
  • an asymmetrical cabin CBN such as the means of transport TPT designed as terminal tractors—as is often the case in the two FIGS. 8, 9—many methods fail that only use a profile view or a vertical section, for example.
  • edges of the loading area LDR of the means of transport TPT are first identified from the cloud of points PCL.
  • FIG. 10 first shows the initial position of the point cloud PCL.
  • FIG. 11 shows the provision of a raster SGS consisting of individual raster elements SGM of the area ARA. Subsequently, those raster elements SGM that contain points EPT are selected, and raster elements SGM that include an edge of the means of transport TPT are determined as edge raster elements SGE.
  • the edge grid elements SGE are sorted according to the respective edge orientation, starting from the spatial coordinate system MCS, into groups of edge grid elements SGE containing edge points EPT, the groups comprising:
  • Figure 12 falling edge points EPT in the first horizontal coordinate direction COX
  • Figure 13 rising edge points EPT in the first horizontal coordinate direction COX
  • Figure 14 falling edge points EPT in the second horizontal coordinate direction COY
  • Figure 15 rising edge points EPT in the second horizontal coordinate direction COY .
  • FIG. 16 shows lines based on falling edge points in the X direction
  • FIG. 17 shows lines based on rising ones Edge points in the X direction
  • Figure 18 shows lines based on falling edge points in the Y direction
  • Figure 19 shows lines based on rising edge points in the Y direction.
  • FIG. 20 shows the overview of the recognized lines based on edge points in the X-direction and Y-direction.
  • the recognized edges of the loading area LDR can expediently be used to determine an inclined position of the loading area LDR using the following sub-method with the steps:
  • edge lines ELN into combined edge lines ELN, with those edge lines ELN being combined which enclose the same angle with respect to the first horizontal coordinate direction COX except for an angular deviation range,
  • edge lines ELN and/or aggregated edge lines ELN determining a figure of merit for the edge lines ELN and/or aggregated edge lines ELN, the figure of merit increasing or increasing proportionally with the number of edge points ERN replaced by the edge line ELN or the edge lines ELN underlying the aggregated edge line ELN ,
  • a longitudinal axis LAX of the means of transport TPT the direction of those edge lines ELN and/or combined edge lines ELN being defined as the direction of the longitudinal axis LAX, which have an angular deviation from the first horizontal coordinate direction COX that is less than 10° and their quality factor is highest compared to the others,
  • FIG. 21 illustrates an advantageously further developing method of the invention for classifying a loading area LDR, the procedure being as follows, for example:
  • Figure 21 shows examples of valid (VLD) and invalid (NVD) attempts to position the ISO loading container one after the other and then the valid attempts are summarized) of a virtual attempt to superimpose the reference contour at a reference contour position with the loading surface contour in this way that certain criteria are met, whereby the certain criteria (other reference contour positions are invalid (NVD)) are (it is also possible to use only a selection of these criteria):
  • the reference contour is arranged completely in the loading area contour
  • the loading area LDR of a means of transport TPT is classified as a loaded loading area LDR if the points of the loading area LDR in the vertical coordinate direction COZ are in the range of an expected height of a loading container roof (see also: FIG. 30, Point cloud of a half-loaded means of transport).
  • FIG. 22 shows the result of a method for detecting elements (fastening elements TWL and/or guide elements GDE and/or obstacles OBT and/or loads LOD) on a loading area LDR.
  • TWL fasteners are then recognized by :
  • FIG. 23 illustrates a method, which can advantageously develop the invention, for detecting double cargo containers or twin cargo containers DCT.
  • Twin cargo containers DCT are two cargo containers CNT (usually 20-foot cargo containers each) that are arranged one behind the other with a relatively small (e.g. 50cm or 30cm - i.e. small compared to the usual distance between means of transport) distance between them.
  • these loading containers CNT are of the same length, so that this distance or this gap is in the middle.
  • a sub-method for detecting twin loading containers or double loading containers can preferably include the following steps:
  • steps 2-4 each with a different discretization base - i.e. a different starting point at which the discretization starts, so that the steps of the discretization are slightly shifted so that artefacts of the scan have no influence on the quality of the result.
  • FIG. 24 shows a point cloud PCL of an internal means of transport TRT with marked elements ELM on a loading area LDR.
  • a further advantageous variant of the invention for recognizing and distinguishing between elements on the loading area is provided by an element recognition method that is based on a point cloud PCL generated by means of a scan or laser scan of an unloaded means of transport TPT, in particular of a predetermined type is applied to find elements (i.e. three-dimensional objects, fasteners, obstacles, guide elements) that are relevant for the determination of the exact loading area or loading area LDR, i.e. H. are relevant for determining an exact position of a loading container CNT on the loading area LDR of the means of transport TPT.
  • elements i.e. three-dimensional objects, fasteners, obstacles, guide elements
  • FIG. 28 Discretization of elements on the loading area
  • FIG. 29 Recognized cuboids of elements
  • the LDR bed plane is rotated from the horizontal position of an unknown roll, pitch and yaw angle, 4 .
  • the point cloud itself has a non-uniform density of points, some of which are part of the structure beneath the transport.
  • a further advantageously further developing variant of the invention solves these problems when identifying a flat loading area LDR in the scanned point cloud PCL by carrying out the following steps: c) Discretization of the loading area LDR, in which only the highest point HPV per voxel VXL is retained (see FIG. 34: reduction of a voxel VXL to a vertical maximum value per voxel VXL). As a result, the points are removed vertically under the loading area, which are not relevant in this context.
  • One effect of this step is to speed up the process without loss of accuracy.
  • the loading area is identified as a plane by means of segmentation based on the RANSAC method (RANSAC (English: random sample consensus); e.g.: https://en.wikipedia .org/wiki/Random_sample_consensus ) .
  • RANSAC Random sample consensus
  • This sub-procedure for recognizing the ELM elements consists of the following steps :
  • the list of cuboids GMD is the output of this process step, the geometric model of the elements on the truck bed. Recognized elements on the loading area are shown in FIG. 27 as an example.
  • An advantageous further development variant of the invention for recognizing and distinguishing between elements on the loading area LDR is provided by an element recognition method for analyzing elements or three-dimensional obj ects in the point cloud CLD generated by the scanner (laser scanner) on the already identified loading area LDR, the elements being on or are located vertically above the loading area LDR of a means of transport TPT (see also "Identifying points vertically above the loading area”).
  • an element recognition method for analyzing elements or three-dimensional obj ects in the point cloud CLD generated by the scanner (laser scanner) on the already identified loading area LDR, the elements being on or are located vertically above the loading area LDR of a means of transport TPT (see also "Identifying points vertically above the loading area”).
  • This means that those elements that can be used to find the exact loading area LDR of the trailer are preferably identified.
  • Elements, that lie above the internal loading area LDR of the trailer can thus be preferentially classified in one of the following classes:
  • the element recognition method partially shown as a result in FIGS. 26, 27 is preferably divided into 3 steps.
  • all elements located on the loading area LDR (see e.g. Figures 26, 27) vertically above the loading area LDR of a means of transport receive a preliminary classification based on the height: An element is classified as a guide element GDE if it is between is 15-50 cm high; Elements less than 15cm high are classified as pinball FLP; Elements larger than 50cm are classified as an OBT obstacle.
  • a second step the front and rear ends of the trailer are checked (the 3m or 2m or 1.5m of the longitudinal extent arranged at the end of the longitudinal direction) and the elements arranged there are reclassified if necessary. If an obstacle OBT is found in the front or rear end area, other elements in the environment (in the area across the obstacle OBT) of this obstacle OBT are reclassified as obstacles OBT.
  • This step deals with the numerous elements that a complex obstacle OBT, e.g. B. a driver's cab arise.
  • the third step includes an analysis and, if necessary, a reclassification of the remaining guide elements GDE and flipper FLP according to the following rules based on their relative position:
  • elements classified as guide elements GDE are classified as pinball ELP. While there are both guide elements and flippers ELP at the border, there are no guide elements in the central area.
  • all preliminary classifications and the reclassified ELM items are classified as final classifications.
  • An advantageous development of the invention provides that all possible positions in which a loading container CNT can be placed on a means of transport TPT or removed from it are determined on the basis of a list of known characteristics of the means of transport TPT.
  • Said development of the invention uses three different sub-methods in order to use these features for the purpose of loading, and then combines the results of these sub-methods.
  • the first sub-method partially illustrated in FIG. 30 evaluates whether a loading container CNT is already placed on a loading area LDR of the means of transport TPT. If a loading container LDR is already arranged on the means of transport TRT, the position of the loading container CNT applies as a valid position that is already occupied by a loading container CNT (the loading container CNT can be unloaded (can be picked)).
  • the second sub-method evaluates whether fastening elements TWL, in particular twistlocks, are arranged in pairs.
  • Each pair (one on the left, the other on the right side of the means of transport TPT) is compared with each other pair, with a search being made for a configuration that has a plausible length with regard to the distance in the longitudinal direction (longitudinal axis LAX) of the means of transport TPT for a standard charge container CNT has .
  • the third sub-method partially illustrated in FIGS. 31, 32, 33 uses existing guide elements GDE in order to estimate the position and inclination of the loading area LDR.
  • a virtual cuboid VQD is positioned in such a way that, starting from a horizontal position, it contains all the guide elements GDE in a minimally rotated manner.
  • This position of the cuboid VQD is particularly preferred and for reasons of efficiency as the basis for a new coordinate system (see also above: a transport means coordinate system TCS with a first essentially horizontal transport means coordinate direction TCX along the longitudinal axis LAX of the means of transport TPT, with a second im Essentially hori zontal means of transport coordinate direction TCY transverse to the first hori zontal means of transport coordinate direction TCX and a third essentially vertical to the other means of transport coordinate directions TCX, TCY perpendicular third means of transport coordinate directions TCZ) used, to which all the evaluations, calculations and position information relating to the means of transport TPT subsequently relate .
  • a transport means coordinate system TCS with a first essentially horizontal transport means coordinate direction TCX along the longitudinal axis LAX of the means of transport TPT, with a second im Essentially hori zontal means of transport coordinate direction TCY transverse to the first hori zontal means of transport coordinate direction TCX and
  • the minimum rectangle RCT in terms of horizontal extent is determined, which is enclosed by the guide elements, fastening elements and other elements on the loading area.
  • the maximum horizontal rectangle RCT that encloses the features that touch the minimum rectangle RCT is determined.
  • the obstacles OBT are taken into account by reducing both the maximum horizontal rectangle RCT and the minimum rectangle RCT to such an extent that there are no longer any obstacles OBT in the horizontal area of these two rectangles RCT.
  • the largest standard loading container CNT is determined, which fits into the maximum horizontal rectangle RCT with regard to the standing area (comparable to the illustration in FIG. 21).
  • the minimum horizontal rectangle is enlarged in such a way that the largest standard cargo container CNT can be enclosed by this rectangle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (PRC) zum Beladen eines Transportmittels (TPT) mit einem Ladebehälter (CNT). Zur Automatisierung des Umschlagvorgangs mittels einer Umschlagvorrichtung wird vorgeschlagen: a) Definieren eines räumlich festen Koordinatensystems (MCS), deren erste und zweite Koordinatenrichtungen (COX, COY) sich im Wesentlichen in einer horizontalen Ebene (PLN) befinden und deren dritte Koordinatenrichtung (COZ) sich im Wesentlich vertikal in Höhenrichtung (HDR) erstreckt, b) Aufnehmen einer Oberflächengeometrie (SGT) im Bereich eines Umschlagbereichs (TOA), c) Identifizieren eines Bereichs eines Transportmittels (TPT), d) Bestimmen des Ortes einer Ladefläche des Transportmittels (TPT), e) Bestimmen einer räumlichen Winkellage einer Ladefläche des Transportmittels (TPT), f) Identifizieren und Klassifizieren einer oder mehrerer bestimmter Ladeflächen (LDR) des Transportmittels (TPT), g) Erkennen von Befestigungselementen (TWL) und/oder von Führungselementen (GDE) und/oder von Hindernissen (OBT) und/oder Beladungen (LOD) an der Ladefläche (LDR), h) Auswahl eines Ladebehälter (CNT), der zu einer bestimmten Ladefläche (LDR) und den dazugehörigen Befestigungselementen (TWL) des Transportmittels (TRT) passt, i) Beladen der Ladefläche (LDR) des Transportmittels (TRT) mit dem ausgewählten Ladebehälter (CNT).

Description

Beschreibung
Verfahren zum Beladen eines Transportmittels mit einem Ladebehälter, Umschlagvorrichtung
Die Erfindung betri f ft ein Verfahren zum Detektieren einer Ladefläche eines Transportmittels zum automatisierten Beladen mit einem Ladebehälter .
Der Umschlag oder das Umschlagen ist in der Logistik neben dem Lagern und dem Transport einer der drei Hauptprozesse ( TUL-Prozesse ) . Der Umschlag ist ein Vorgang, bei dem Güter das Transportmittel wechseln, also beispielsweise von einem LKW auf ein Schi f f oder die Bahn verladen werden . Die Begri f fe des Beladens und Entladens werden teils synonym zum Umschlag gebraucht , teils stehen sie für das Verladen .
In Container-Terminals gehen die Kundenanforderungen beim Kauf oder Modernisierungen von Kranen immer mehr in Richtung „Vollautomatisierte Krane" . Diese sollen ohne die zusätzlichen Eingri f fe von Remote-Operatoren oder Kranfahrern arbeiten . In diesem Technikgebiet herrscht eine starke Konkurrenz zwischen den Anbietern . Entsprechende Automatisierungssysteme sind entscheidend für den wirtschaftlichen Erfolg von Umschlagvorrichtungen, insbesondere bei Großproj ekten . Gleichfalls gibt es einen sehr großen Bedarf an Sensorik-Systemen, die das automatische Aufnehmen und Absetzen von Ladebehältern auf LKW unterstützen .
Ein Beispiel für eine Ladesituationen ist :
- Eine Zugmaschine mit leerem Anhänger fährt unter den Kran . Für einen automatischen Container-Umschlag muss bekannt sein, wo sich eine freie Ladefläche des Anhängers befindet .
- Ein beladener Anhänger fährt unter den Kran . Für einen automatischen Ladebehälter-Umschlag muss bekannt sein, wo zu entladende Ladebehälter sich befinden . Des Weiteren muss bekannt sein, ob noch eine weitere Ladefläche neben dem bereits beladenem Anhänger frei ist , um ggf . einen weiteren Container auf dem Anhänger zu platzieren .
Bisherige Lösungen basieren auf dem expli ziten Bekanntsein der Trailer, die in einem Container-Terminal behandelt werden können . Das heißt , dass nur eine bestimmte Anzahl von Zugmaschinen und Container-Aufliegern, die dem Truck-Positionier- System vorab bekannt sein müssen, abgefertigt werden können . Dies erlaubt keine Behandlung von Straßen-Auf Hegern, da hier die Anzahl der Varianten hoch ist und j ede Variante sich maßgeblich unterscheiden kann . Zudem sind eine zeitintensive , manuelle Vermessung und Parametrierung bei der Inbetriebnahme dieser Auflieger notwendig, die von Kunden dann einer systemeigenen Datenbank hinzugefügt werden müssen . Dies bringt folgende Nachteile mit sich :
- herkömmliche Systeme sind unflexibel . Sobald eine neue Art von Anhänger unter den Kran fährt , kann diese nicht unterstützt werden,
- in der Regel können entsprechende Systeme nicht auf Basis eines Regelwerks arbeiten, das beschreibt , wie ein Anhänger aufgebaut sein muss , weil es keine entsprechende gültige Norm gibt . Daher kann mit einem System, das darauf basiert , dass Transportmittel vorher bekannt sind in der Praxis kein Erfolg beim autonomen Umschlagen erzielt werden,
- herkömmliche Systeme weisen einen hohen Aufwand bei der Inbetriebnahme auf , weil alle Anhänger zuerst vermessen und parametriert werden müssen, bevor das System mit diesen umgehen kann; gleiches gilt für die Wartung, weil der Kunde neuartige Transportmittel neu erfassen muss , um diese behandeln zu können,
- herkömmliche Systeme weisen eine hohe Störanfälligkeit auf , wenn ein neuer Anhängertyp einem alten Anhängertyp sehr ähnelt infolge der Verwechslungsgefahr,
- ein herkömmliches Umschlagsystem kann somit von dem Hersteller nur angeboten werden, wenn alle zu unterstützenden Transportmittel bekannt sind . Ausgehend von den Problemen des Standes der Technik hat es sich die Erfindung zur Aufgabe gemacht , ein Verfahren und eine Umschlagvorrichtung der eingangs definierter Art derart weiterzubilden, dass die erwähnten Nachteile vermieden werden .
Die Erfindung bezeichnet Container in der Folge als Ladebehälter .
Zur erfindungsgemäßen Lösung der Aufgabe wird ein Verfahren eingangs definierter Art mit den zusätzlichen Merkmalen des Kennzeichens des unabhängigen Anspruchs 1 vorgeschlagen . Daneben schlägt die Erfindung eine Umschlagsvorrichtung zur Durchführung des Verfahrens nach dem Vorrichtungsanspruch vor . Die j eweils abhängigen Unteransprüche beinhalten vorteilhafte Weiterbildungen der Erfindung .
Die Erfindung betri f ft ein Verfahren zum Detektieren einer Ladefläche eines Transportmittels zum automatisierten Beladen mit einem Ladebehälter .
Ebenso betri f ft die Erfindung ein Verfahren zum Beladen eines Transportmittels mit einem Ladebehälter umfassend das Verfahren zum Detektieren einer Ladefläche eines Transportmittels auch hinsichtlich aller erwähnten Weiterbildungen .
Daneben betri f ft die Erfindung auch ein Verfahren zur Erzeugung von Anweisungen für eine Verladevorrichtung oder Umschlagvorrichtung, insbesondere einen Kran, zur Positionierung eines Ladebehälters auf der Ladefläche eines Transportmittels umfassend das Verfahren zum Beladen eines Transportmittels mit einem Ladebehälter auch hinsichtlich aller erwähnten Weiterbildungen .
Einige von der Erfindung erkannten grundlegenden Problemstellungen liegen in :
- der Klassi fi zierung und Lokalisierung geeigneter Ladefläche , - der Lokalisierung geeigneter Merkmale auf der Ladefläche , die möglichen Positionen für einen Ladebehälter vorgeben,
- Ermitteln einer Rotation des Lkws um die Hubwerksachse des Krans ( sog . Skew) , damit die Rotation des Lastaufnahmemittels angepasst werden kann . Die grundlegende Problemstellung darin ist die hochgenaue und zuverlässige Ermittlung der Rotation der Ladefläche . Die Randbedingungen dabei sind, dass die Dichteverteilung der zugrunde liegenden 3D-Punktewolke sehr ungleichförmig ist . Diese ist antiproportional zum Abstand des Lasers , der zum Erzeugen der Punktewolke verwendet wird . Des Weiteren darf die Ermittlung der Rotation nicht länger als 500 Millisekunden dauern, damit der automatisierte Ablauf des Krans nicht gestört wird und somit ohne Prozessunterbrechung gearbeitet werden kann .
Grundsätzlich werden nach der Erfindung folgende Schritte abgearbeitet : a ) Definieren eines räumlich festen Koordinatensystems , deren erste und zweite Koordinatenrichtungen sich im Wesentlichen in einer hori zontalen Ebene befinden und deren dritte Koordinatenrichtung sich im Wesentlich vertikal in Höhenrichtung erstreckt , b ) Aufnehmen einer Oberflächengeometrie im Bereich eines Umschlagbereichs , c ) Identi fi zieren eines Bereichs eines Transportmittels , d) Bestimmen des Ortes einer Ladefläche des Transportmittels , e ) Bestimmen einer räumlichen Winkellage einer Ladefläche des Transportmittels , f ) Identi fi zieren und Klassi fi zieren einer oder mehrerer bestimmter Ladeflächen des Transportmittels , g) Erkennen von Befestigungselementen und/oder von Führungselementen und/oder von Hindernissen und/oder Beladungen an der Ladefläche . h) Auswahl eines Ladebehälters , der zu einer bestimmten Ladefläche und den dazugehörigen Befestigungselementen des Transportmittels passt , i ) Beladen der Ladefläche des Transportmittels mit dem ausgewählten Ladebehälter .
Besonders zweckmäßig erfolgt eine Aufnahme der Oberflächengeometrie im Bereich eines Umschlagsbereichs als Punktewolke . Hierzu weist die Umschlagvorrichtung einen Scanner auf , der bevorzugt als Laserscanner ausgebildet ist , mittels dessen der Umschlagbereich punktweise gescannt wird, sodass dem Prozessor einer Steuereinheit diese Punktewolke zur weiteren Auswertung zur Verfügung gestellt werden kann .
Eine vorteilhafte Weiterbildung der Erfindung sieht vor, dass zum Identi fi zieren eines Bereichs des Transportmittels das Verfahren die weiteren Schritte im Einzelnen j eweils optional umfasst :
- Eingeben der Punktewolke der Oberflächengeometrie als Ausgangs -Punktewolke ,
- Definieren von sich entlang der ersten hori zontalen Koordinatenrichtungen scheibenartig j eweils nebeneinander erstreckender Volumina der Ausgangs-Punktewolke mit einer bestimmten Diskretisierungsweite bezüglich der ersten horizontalen Koordinatenrichtungen,
- Reduktion der Ausgangs-Punktewolke um die Punkte einer Anzahl äußerer Volumina, so dass von der Gesamtbreite der Volumina 30%- 80% , bevorzugt 45% - 55% , besonders bevorzugt 50% verbleiben,
- Definieren der verbleibenden Volumina als neue Punktewolke .
Grundsätzlich können die Außenbereiche der Ausgangs-Punktewolke auch ohne eine vorherige scheibenartige Aufteilung entfernt werden, wobei sich diese Diskretisierung als besonders zweckmäßig erwiesen hat . Das Entfernen des äußeren Bereichs der Punktewolke dient hierbei im Wesentlichen der Beschleunigung und der Vermeidung von Störeinflüssen . Daneben zeigt sich, dass diese äußeren Bereiche zunächst zum Zwecke der Identi fi zierung eines Bereichs eines Transportmittels nicht erforderlich sind .
Hierbei sieht eine optionale Variante der Erfindung vor, dass die bestimmte Diskretisierungsweite zwischen 1cm - Im bevorzugt 5cm - 15cm, besonders bevorzugt 10cm beträgt , so dass Details der Ladefläche erkennbar sind .
Weiterhin kann die Störanfälligkeit des Verfahrens reduziert werden, wenn das Verfahren die weiteren Schritte umfasst :
- Definition eines Intervalls gültiger Höhenwerte für die dritte Koordinatenrichtung der Ausgangs-Punktewolke ,
- Verwerfen der Punkte in denj enigen Volumina, die ausschließlich Punkte mit Höhenwerten außerhalb des Intervalls gültiger Höhenwerte aufweisen,
- Definieren dieser verbleibenden Punkte als neue Punktewolke , die das Transportmittel beinhaltet .
Zweckmäßig kann das Intervall gültiger Höhenwerte für die dritte Koordinatenrichtung zwischen 20cm - 700cm betragen . Alternative kann das Intervall gültiger Höhenwerte für die dritte Koordinatenrichtung zwischen 20cm - 500cm betragen .
Nach diesen optionalen Schritten zur Verringerung der Störanfälligkeit sieht eine vorteilhafte Variante des Verfahrens nach der Erfindung die Schritte einer Basisroutine vor, wobei diese Basisroutine in verschiedenen Varianten bzw . mittels unterschiedlicher Parametrierung für die Zwecke der Erfindung bzw . deren Weiterbildungen flexibel verwendbar ist :
- Eingeben der Punktewolke der Oberflächengeometrie als Ausgangs -Punktewolke ,
- Auswählen einer hori zontalen Koordinatenrichtungen als Profilrichtung,
- Definieren von sich entlang der nicht ausgewählten anderen hori zontalen Koordinatenrichtungen scheibenartig sich j eweils nebeneinander erstreckender Volumina der Ausgangs- Punktewolke mit einer bestimmten Diskretisierungsweite bezüglich der Profilrichtung, - Erzeugen eines Höhenprofils in Profilrichtung aus Profilpunkten, wobei für j edes Volumen ein Profilpunkt definiert wird, wobei die Koordinate des Profilpunkts in Profilrichtung zugewiesen wird als Koordinatenwert der Profilrichtung j eweils an einer bestimmten Position der Diskretisierungsweite des Volumens , wobei diese bestimmte Position für j edes Volumen an der gleichen Stelle der Diskretisierungsweite ist , wobei die Koordinate des Profilpunkts in Höhenrichtung zugewiesen wird als Koordinatenwert des j eweils in dem Volumen vorliegenden höchsten Wertes der dritten Koordinatenrichtung eines Punktes .
Vorteilhaft sieht eine Weiterbildung des Verfahrens vor, dass zur Ermittlung der Enden eines Transportmittels in der ersten hori zontalen Koordinatenrichtung zusätzlich folgende Schritte durchgeführt werden :
- Eingeben der Punktewolke der Oberflächengeometrie als Aus gangs -Punktewolke ,
- Definieren von sich entlang der zweiten hori zontalen Koordinatenrichtungen scheibenartig sich j eweils nebeneinander erstreckender Volumina der Ausgangs-Punktewolke mit einer zweiten Diskretisierungsweite von mindestens 15ft , bevorzugt mindestens 20 ft beträgt ,
- die Schritte gemäß obiger Basisroutine für j edes einzelne der j eweils in den Volumina angeordneten Punktewolken, mit den Vorgaben : a . die zweite hori zontale Koordinatenrichtungen ist die Profilrichtung, so dass ein sich entlang der zweiten hori zontalen Koordinatenrichtung erstreckendes Höhenprofil ergibt , b . wobei die bestimmte Diskretisierungsweite zwischen 1cm - Im bevorzugt 5cm - 15cm, besonders bevorzugt 10cm beträgt ,
- vergleichen der bezüglich der zweiten hori zontalen Koordinatenrichtungen breitesten Länge des Höhenprofils mit einem Mindestwert und verwerfen der in dem j eweiligen Volumen befindlichen Punkte, wenn die breiteste Länge des Höhenprofils unter dem Mindestwert liegt,
- Definieren des nicht verworfenen Anteils der Ausgangs- Punktewolke, als neue Punktewolke, die das Transportmittel umfasst.
Eine zusätzliche vorteilhafte Weiterbildung sieht vor, dass mittels einer Profilerstellung des Transportmittels die Ränder bzw. Enden des Transportmittels identifiziert werden, indem das Verfahren Folgendes umfasst:
- Durchführen der Schritte gemäß obiger Basisroutine für die Punktewolke, mit den Vorgaben: a. die erste horizontale Koordinatenrichtungen ist die Profilrichtung, so dass ein sich entlang der ersten horizontalen Koordinatenrichtung erstreckendes Höhenprofil ergibt, b. wobei die bestimmte Diskretisierungsweite zwischen 1cm - Im bevorzugt 5cm - 15cm, besonders bevorzugt 10cm beträgt,
- Aufteilen des Profils in zweidimensionale Objektprofile, wobei ein Objektprofil sich über einen Bereich der ersten horizontalen Koordinatenrichtung erstreckt, der ausschließlich Profilpunkte mit Höhenwerte des Höhenprofils größer 0 aufweist,
- Zusammenfassen von Objektprofilen, die weniger als 3m, insbesondere weniger als 1,5m in der ersten horizontalen Koordinatenrichtung voneinander entfernt sind zu jeweils einem gemeinsamen Objektprofil, so dass sich in den sich ergebenden Bereichen der ersten horizontalen Koordinatenrichtung der gemeinsamen Objektprofile, jeweils die Transportmittel befinden.
Eine zusätzliche vorteilhafte Weiterbildung sieht vor, dass zur Identifizierung der Ladefläche des Transportmittels, folgende Schritte durchgeführt werden:
- Durchführen der Schritte gemäß obiger Basisroutine für die Punktewolke, mit den Vorgaben: a . die erste hori zontale Koordinatenrichtungen ist die Profilrichtung, so dass ein sich entlang der ersten hori zontalen Koordinatenrichtung erstreckendes Höhenprofil ergibt , b . wobei die bestimmte Diskretisierungsweite zwischen 1cm - Im bevorzugt 5cm - 15cm, besonders bevorzugt 10cm beträgt ,
- Unterteilen des Höhenprofils in Segmente durch Bestimmen eines Segments mittels der Vorgabe , dass bei einer schrittweisen Auswertung von Punkt zu Punkt der vertikale Abstand vom vorherigen Punkt kleiner als 2 hori zontale Diskretisierungsweiten ist ,
- Definieren des längsten derart bestimmten Segments als vorläufige Ladeflächenerstreckungsabschätzung entlang der ersten hori zontalen Koordinatenrichtung .
Weiterhin kann ein Vertikalversatzes der Ladefläche aus dem Wertebereich der dritten vertikalen Koordinatenrichtungen der Ladeflächenerstreckungsabschätzung bevorzugt zumindest vorläufig bestimmt werden .
Zur Ermittlung einer Winkellage der Ladefläche des Transportmittels sieht eine vorteilhafte Weiterbildung der Erfindung weitere Schritte vor :
- Durchführen der Schritte gemäß obiger Basisroutine für die Punktewolke , insbesondere für die Punktewolke ausschließlich im Bereich der vorläufigen Ladeflächenerstreckungsabschätzung nach dem vorhergehenden Anspruch 11 mit den Vorgaben : a . die erste hori zontale Koordinatenrichtungen ist die Profilrichtung, so dass ein sich entlang der ersten hori zontalen Koordinatenrichtung erstreckendes Höhenprofil ergibt , b . wobei die bestimmte Diskretisierungsweite zwischen 1cm - Im bevorzugt 5cm - 15cm, besonders bevorzugt 10cm beträgt ,
- Unterteilen des Höhenprofils in Segmente durch Bestimmen eines Segments mittels der Vorgabe , dass bei einer schrittweisen Auswertung von Punkt zu Punkt der vertikale Abstand vom vorherigen Punkt kleiner als eine halbe horizontale Diskretisierungsweite ist ,
- Definieren des längsten derart bestimmten Segments ,
- Bestimmen eines Neigungswinkels des längsten derart bestimmten Segments als Neigungswinkel der Ladefläche .
Zum Identi fi zieren von Kanten an der bestimmten Ladefläche des Transportmittels sieht eine vorteilhafte Weiterbildung der Erfindung die weiteren Schritte vor :
- Bereitstellen eines Rasters bestehend aus einzelnen Rasterelementen des Bereichs ,
- Selektieren derj enigen Rasterelemente , die Punkte beinhalten,
- Bestimmen von Rasterelemente , die eine Kante des Transportmittels umfassen als Kantenrasterelemente ,
- Sortieren der Kantenrasterelemente nach j eweiliger Kantenorientierung ausgehend von dem Raumkoordinatensystem in Gruppen von Kantenrasterelementen enthaltend Kantenpunkte , wobei die Gruppen umfassen : fallende Kantenpunkte in die erste hori zontale Koordinatenrichtung,
- steigende Kantenpunkte in die erste hori zontale Koordinatenrichtung, fallende Kantenpunkte in die zweite hori zontale Koordinatenrichtung,
- steigende Kantenpunkte in die zweite hori zontale Koordinatenrichtung,
- Erzeugen von Kantenlinien anhand der Kantenpunkte durch mehrfache Liniensegmentierungen für die j eweiligen Gruppen . Bei der Liniensegmentierung werden j eweils eine Linie durch möglichst viele vordefinierte Umgebungsvolumina von Kantenpunkten gelegt und diese Kantenpunkte werden durch die j eweilige Linie ersetzt .
Zur Ermittlung der Schrägstellung von Kantenlinien gegenüber der ersten hori zontale Koordinatenrichtung sieht eine bevorzugte Weiterbildung des Verfahrens die zusätzlichen Schritte vor :
- Zusammenfassen von Kantenlinien zu zusammengefassten Kantenlinien, wobei diej enigen Kantenlinien zusammengefasst werden, die gegenüber der ersten hori zontalen Koordinatenrichtung bis auf einen Winkelabweichungsbereich den gleichen Winkel einschließen,
- Bestimmen eines Gütefaktors für die Kantenlinien und/oder zusammengefassten Kantenlinien, wobei der Gütefaktor ansteigend oder proportional ansteigend ist mit der Anzahl der Kantenpunkte , die von der Kantenlinie oder den Kantenlinien, die der zusammengefassten Kantenlinie zugrunde liegen, ersetzt wurden,
- Festlegen einer Längsachse des Transportmittels , wobei die Richtung derj enigen Kantenlinien und/oder zusammengefassten Kantenlinien als Richtung der Längsachse festgelegt werden, die eine Winkelabweichung zu der ersten hori zontalen Koordinatenrichtung haben, die kleiner als 10 ° ist und deren Gütefaktor gegenüber den anderen am höchsten ist ,
- Ermitteln eines ersten Versatzwinkels zwischen der ersten hori zontalen Koordinatenrichtung und der Längsachse des Transportmittels .
Zum Identi fi zieren und Klassi fi zieren einer bestimmten Ladefläche des Transportmittels ist es nach einer vorteilhaften Variante der Erfindung zweckmäßig, die folgenden weiteren Schritte vorzusehen :
- Ausgehend von dem räumlich festen Koordinatensystem und unter Verwendung des Neigungswinkels und des ersten Versatzwinkels Definieren eines Transportmittelkoordinatensystems mit einer ersten im Wesentlichen hori zontalen Transportmittelkoordinatenrichtung ( in der Regel und bevorzugt die Fahrzeuglängsachse ) entlang der Längsachse des Transportmittels , mit einer zweiten im Wesentlichen hori zontalen Transportmittelkoordinatenrichtung ( in der Regel und bevorzugt die Fahrzeugquerachse ) quer zur ersten hori zontalen Transportmittelkoordinatenrichtung und einer dritten im Wesentlichen vertikalen zu den anderen Transportmittelkoordinatenrichtungen senkrechten dritten Transportmittelkoordinatenrichtung ( in der Regel und bevorzugt die Höhenrichtung) ,
- Definieren einer zweidimensionalen Referenzkontur entsprechend einer Auf Stands fläche eines Ladebehälters bezüglich des Transportmittelkoordinatensystems ,
- Identi fi zieren einer ebenen Ladefläche eines zu beladenden Transportmittels bevorzugt nach einem bereits oben erläuterten Verfahren,
- Definieren einer zweidimensionalen Ladeflächenkontur als Proj ektion in Richtung der dritten Transportmittelkoordinatenrichtungen der ebenen Ladefläche ,
- Wiederholen eines virtuellen Versuchs , die Referenzkontur an einer Referenzkonturposition mit der Ladeflächenkontur derart zu überlagern, dass bestimmte Kriterien erfüllt sind, wobei die bestimmten Kriterien sind :
- keine Kante der Referenzkontur befindet sich außerhalb der Ladeflächenkontur und/oder
- die Referenzkontur ist vollständig in der Ladeflächenkontur angeordnet und/oder
- es befindet sich keine Kante der Ladefläche im Bereich der Überdeckung der Referenzkontur mit der Ladeflächenkontur, wobei die Referenzkonturpositionen, die die bestimmten Kriterien erfüllen, als gültige Referenzkonturpositionen klassi fi ziert werden, wobei bei j eder Wiederholung eine Verlagerung der Referenzkontur an eine andere Referenzkonturpositionen mit einer vorgegebenen Schrittweite zu der Ladeflächenkontur in der ersten Transportmittelkoordinatenrichtungen erfolgt , wobei der Versuch so lange wiederholt wird, bis die Referenzkontur die Versuchskontur entlang aller möglichen Schritte in der ersten Transportmittelkoordinatenrichtungen durchschritten hat , - wobei bei j eder Wiederholung eine Verlagerung der Referenzkontur mit einer vorgegebenen Schrittweite zu der Versuchskontur in der zweiten Transportmittelkoordinatenrichtungen erfolgt , wobei der Versuch so lange wiederholt wird, bis die Referenzkontur die Versuchskontur entlang aller möglichen Schritte entlang der zweiten Transportmittelkoordinatenrichtung durchschritten hat und bis die Referenzkontur die Versuchskontur entlang aller möglichen Schritte entlang der ersten Transportmittelkoordinatenrichtung durchschritten hat ,
- wobei einander überlappende Referenzkonturen an gültigen Referenzkonturpositionen zu einer gemeinsamen gültigen Ladefläche zusammengefügt werden .
Im Grunde wird - vereinfacht in anderen Worten wiedergegeben - hierbei versucht eine 2d-Ref erenzkontur , insbesondere eine ISO Fläche ( zum Beispiel eine ISO 20 ft Fläche - https : / /de . wikipedia . org/wiki/ ISO-Ladebehälter ) virtuell auf der Ladefläche des Transportmittels zu platzieren . Erfüllt hierbei die Schnittfläche zwischen der virtuellen ISO 20 ft- Ladebehälterf läche und der Oberfläche des Ladebehälter-Auf Hegers bestimmte Kriterien (wie z . B . „keine Kante hängt in der Luft" , „es befindet sich kein Hindernis wie Seitenbegrenzungen in dem Rechteck bzw . der Ladebehältergrundfläche" ) , dann wird dieser Versuch als „gültig" bewertet . Dieser Versuch wird schrittweise für alle möglichen Positionen der Ladebehälter-Grundf läche auf der Ladefläche des Transportmittels durchgeführt . Eine Fusion aller gültigen Versuche beschreibt schließlich eine für einen Ladebehälter zur Verfügung stehende durchgehende Ladefläche .
Eine vorteilhafte Weiterbildung des Verfahrens nach der Erfindung sieht vor, dass ein beladenes Transportmittel erkannt wird, indem eine bestimmte bereits identi fi zierte Ladefläche eines Transportmittels als beladene Ladefläche klassi fi ziert wird, wenn die Punkte der Ladefläche in vertikaler Koordinatenrichtung im Bereich einer zu erwartenden Höhe eines Ladebehälterdachs liegen .
Eine zusätzliche vorteilhafte Weiterbildung der Erfindung zum Erkennen von Befestigungselementen umfasst die folgenden Schritte nach der Identi fi zierung einer Ladefläche :
- Selektion derj enigen Punkte der Punktewolke im Hori zontalbereich der identi fi zierten Ladefläche , die bezüglich eines vordefinierten Umgebungsvolumens einen lokalen Maximalwert der dritten Koordinatenrichtung aufweisen als potenzielle Befestigungselementpositionen,
- Definition von vordefinierten Mustern hori zontaler Anordnungen von Befestigungselementen,
- Vergleichen der Muster mit den potenziellen Befestigungselementpositionen zur Bestimmung einer besten Übereinstimmung, wobei diej enigen potenziellen Befestigungselementpositionen ohne Ubereinstinnung mit einem Element eines Musters verworfen werden und diej enigen mit einer Übereinstimmung als Befestigungselementpositionen festgelegt werden .
Bei der Definition von Mustern hori zontaler Anordnungen von Befestigungselementen kann Branchen-Know-How genutzt werden . Ladebehälter bzw . Ladecontainer werden mit vier Befestigungselementen bzw . sogenannten Twistlocks auf einem Trailer befestigt . Es handelt sich um j eweils ein Twistlock an j eder unteren Ecke des Ladebehälters . Daneben ist zu beachten, dass die Breite von Ladebehältern genormt ist (https : / /de . Wikipedia . org/wiki/ ISO-Container ) und bei den gängigsten Ladebehältern sogar immer gleich ist .
Eine alternative Variante der zuvor beschriebenen vorteilhaften Weiterbildung der Erfindung zum Erkennen von Befestigungselementen ist gegeben durch die Abfolge der Schritte nach der Identi fi zierung einer Ladefläche :
1 . Definieren zweidimensionaler Referenzkonturen entsprechend Auf Stands flächen von Ladebehältern,
2 . Definieren von Befestigungsreferenzkonturen entsprechend Befestigungsvorrichtungen von Ladebehältern, 3 . Ermittlung von lokalen Maxima der Oberflächengeometrie in der vertikalen Koordinatenrichtung im Bereich der identi fi zierten Ladefläche ,
4 . Ermitteln von Bereichen der Befestigungsreferenzkonturen in denen durch Befestigungsmittel sich ergebende lokale Maxima der Oberflächengeometrie in der vertikalen Koordinatenrichtung angeordnet sind für j ede Befestigungsreferenzkontur als Musterschablone für lokale Maxima,
5 . Vergleichen der lokalen Maxima der Oberflächengeometrie mit den Musterschablone der Befestigungsreferenzkonturen, wobei diej enige Befestigungsreferenzkontur als vorliegend erkanntes Muster ausgewählt wird, in deren Bereichen für lokale Maxima der Musterschablone alle lokalen Maxima eine Entsprechung eines lokalen Maximums der Oberflächengeometrie aufweisen und bei der eine maximale Anzahl von lokalen Maxima der Musterschablone vorliegt .
Eine vorteilhafte Weiterbildung der Erfindung sieht Schritte zum Identi fi zieren und Klassi fi zieren einer bestimmten Ladefläche des Transportmittels mittels Befestigungsmitteln vor . Im Einzelnen sind folgende Schritte - auch in anderer Reihenfolge , als hier aufgeführt - vorgesehen :
- Identi fi zieren einer Ladefläche gemäß bereits oben beschriebener Verfahrensschritte ,
- Erkennen und Unterscheiden von Elementen an der Ladefläche , insbesondere vorbestimmter Befestigungsmittel ,
- Unterscheiden zwischen Ladeflächen unbeladener Transportmittel und mit Ladebehältern beladenen Ladeflächen von Transportmitteln .
Eine vorteilhafte Verfeinerung dieses Vorgehens sieht zum Erkennen und Unterscheiden bestimmter Befestigungsmittel folgende Schritte vor :
- Identi fi zieren von Punkten vertikal oberhalb der Ladefläche bezüglich der dritten Transportmittelkoordinatenrichtungen, - Ermittlung von lokalen Maxima der Oberflächengeometrie in der vertikalen Koordinatenrichtung im Bereich der identifizierten Ladefläche.
Eine weitere vorteilhafte weiterbildende Variante der Erfindung zum Erkennen und Unterscheiden von Elementen an der Ladefläche ist gegeben durch ein Elemente-Erkennungs-Verf ahren, dass auf eine mittels eines Scans bzw. Laserscans erzeugten Punktewolke eines unbeladenen Transportmittels, insbesondere von einem vorbestimmten Typ angewendet wird, um Elemente (d. h. dreidimensionale Objekte, Befestigungselemente, Hindernisse, Führungselemente) zu finden, die für die Bestimmung des genauen Ladebereichs bzw. der Ladefläche, d. h. für die Bestimmung einer genauen möglichen Position eines Ladebehälters auf der Ladefläche des Transportmittels, relevant sind. Hierzu werden die folgenden Schritte durchgeführt:
1. Identifizieren einer ebenen Ladefläche in der gescannten Punktewolke,
2. Erkennen aller Punkte vertikal oberhalb der Ladefläche,
3. Aufteilen der erkannten Punkte vertikal oberhalb der Ladefläche in unterschiedliche Elemente,
4. Erstellen eines geometrischen Modells für die unterschiedlichen Elemente zur weiteren Bewertung bzw. Klassifizierung der Elemente.
In der Praxis ergeben sich bei dem Identifizieren einer ebenen Ladefläche in der gescannten Punktewolke die folgenden Probleme :
1. die Ebene der Ladefläche ist aus der horizontalen Position eines unbekannten Roll-, Nick- und Gier- Winkels gedreht,
2. die Punktewolke selbst hat eine ungleichmäßige Dichte von Punkten, von denen einige Teil der Struktur unter dem Transportmittel sind.
Eine weitere vorteilhaft weiterbildende Variante der Erfindung löst diese Probleme beim Identifizieren einer ebenen Ladefläche in der gescannten Punktewolke , indem die folgenden Schritte durchgeführt werden : a ) Diskretisierung der Ladefläche , bei der nur der höchste Punkt pro Voxel erhalten bleibt . Das hat zur Folge , dass die Punkte vertikal unter der Ladefläche entfernt werden, die in diesem Zusammenhang nicht relevant sind, b ) Identi fi zieren der Ladefläche als eine Ebene mittels einer Segmentierung auf Basis der RANSAC-Methode (RANSAC ( englisch : random sample consensus ) ist eine in der Literatur grundsätzlich dem Fachmann geläufige Methode ) .
Anschließend erfolgt eine Erkennung der Elemente , die an der Ladefläche auf der Ladefläche angeordnet sind . Dieses Teilverfahren zur Erkennung der Elemente weist die folgenden Schritte auf :
1 . Aufteilen von Punkten der Punktewolke oberhalb der Ladefläche des Transportmittels mittels eines euklidischen Clusterings in Gruppen benachbarter Punkte ,
2 . Durchführen eines weiteren euklidischen Clusterings für diese Gruppen, um zu sehen, ob die j eweilige Gruppe weiter unterteilt werden kann; Dieses zweite Clustering basiert bevorzugt auf einer diskreten Darstellung der Punkte und stützt sich hauptsächlich auf den Z-Abstand ( anstelle des dreidimensionalen Abstands des vorherigen Clusterings ) ; Besonders bevorzugt und wenn möglich, wird der ursprüngliche Cluster durch seine eigenen kleinen Partitionen ersetzt ,
3 . Erstellen des geometrischen Modells mittels Analysierens der erkannten Cluster mittels eines quadratischen Rasters in der hori zontalen Ebene ( die Koordinate der vertikalen Richtung wird ignoriert , vergleichbar mit der Proj ektion in die hori zontale Ebene ) ; Wenn eine oder mehrere Ecken eines Raster-Quadrats mit Punkten eines Clusters leer sind, wird der entsprechende Cluster aufgeteilt und als 2 verschiedene Quader in einer L-Konf iguration dargestellt ; Andernfalls wird der gesamte Cluster als ein Quader dargestellt . Die Liste der Quader ist die Ausgabe diese Verfahrensschritts, das geometrische Modell der Elemente auf der Ladefläche.
Eine vorteilhaft weiterbildende Variante der Erfindung zum Erkennen und Unterscheiden von Elementen an der Ladefläche ist gegeben durch ein Elemente-Erkennungs-Verf ahren zur Analyse von Elementen bzw. dreidimensionalen Objekten in der von dem Scanner (Laserscanner) erzeugten Punktewolke an der bereits identifizierten Ladefläche, wobei die Elemente sich auf bzw. vertikal über der Ladefläche eines Transportmittels befinden (siehe auch „Identifizieren von Punkten vertikal oberhalb der Ladefläche") . Hierdurch werden bevorzugt diejenigen Elemente erkannt, die verwendet werden können, um die genaue Ladefläche des Anhängers zu finden. Elemente, die über der internen Ladefläche des Anhängers liegen, können auf diese Weise bevorzugt in eine der folgenden Klassen eingeordnet werden :
- Führungselemente: diese vertikalen Flügel (Strukturen) sind Teil des Anhängerrahmens und dienen dazu, den Ladebehälter auf den letzten Zentimetern seiner Abwärtsbewegung in die richtige Position zu bringen.
- Flipper: dies sind kleine Leitbleche, die in den Rahmen "geklappt" werden können, wenn der Ladebehälter über sie gestülpt wird.
- Hindernisse: dies sind alle Elemente, die nicht mit dem Ladebehälter in Berührung kommen sollen, z. B. die Kabine des Lastwagens, Teile der Hafenanlage, unerwartete Gegenstände .
Das Elemente-Erkennungs-Verf ahren ist hierbei bevorzugt in 3 Schritte unterteilt.
I. In einem ersten Schritt erhalten alle an der Ladefläche befindlichen Elemente vertikal über der Ladefläche eines Transportmittels eine vorläufige Klassifizierung, die auf der Höhe basiert: Ein Element wird als Führungselement klassifiziert, wenn es zwischen 15-50 cm hoch ist; Elemente die kleiner als 15cm hoch sind, werden als sogenannte Flipper klassifiziert; Elemente die größer als 50cm sind, werden als Hindernis klassifiziert.
II. In einem zweiten Schritt werden die vorderen und hinteren Enden des Anhängers überprüft (Umgebungsbereich: die jeweils einseitig der Längsrichtung angeordneten 3 m oder 2 m oder 1,5 m der Längser- streckung) und die dort angeordneten Elemente gegebenenfalls umklassifiziert.
Wenn ein Hindernis im vorderen oder hinteren Endbereich gefunden wird, werden andere Elemente in dem Umfeld (in dem oben definierten Umgebungsbereich und/oder auch im Bereich quer zu dem Hindernis) dieses Hindernisses zu Hindernissen umklassifiziert. In diesem Schritt werden die zahlreichen Elemente behandelt, die durch ein komplexes Hindernis, z. B. eine Fahrerkabine, entstehen.
III. Der dritte Schritt umfasst eine Analyse und gegebenenfalls eine Umklassifizierung der verbleibenden Leitelemente und Flipper nach den folgenden Regeln anhand der jeweiligen relativen Position:
Im zentralen Bereich der Ladefläche eines Transportmittels werden als Leitelemente eingestufte Elemente als Flipper eingestuft. Während an der Grenze sowohl Leitelemente als auch Flipper vorhanden sind befinden sich im zentralen Bereich keine Leitelemente. Schließlich werden alle vorläufigen Klassifizierungen und die umklassifizierten Elemente als endgültig klassifiziert eingestuft.
Eine vorteilhafte Verfeinerung und Weiterbildung des erfindungsgemäßen Verfahrens besteht in der Unterscheidung zwischen unbeladenen Ladeflächen und beladenen Transportmitteln.
1. Bereits vorläufig mittels schon vorab beschriebener Verfahrensschritte erkannte Ladeflächen werden auf Grundlage des Abstands zum Boden sortiert in einerseits diejenigen, deren Höhenniveau innerhalb eines plausiblen Bereichs für eine beladbare Ladefläche liegen und diejenigen, die außerhalb eines plausiblen Bereichs für eine beladbare Ladefläche liegen. Diejenigen die innerhalb liegen, werden weiteren Verfahrensschritten unterzogen, die anderen werden als solche verworfen. Ein „discretization + growing region clustering" wird verwendet, um zu erkennen, ob eine Fläche in kleinere Teile aufgeteilt werden kann (Die Methode des „growing region clustering" ist grundsätzlich dem Fachmann bekannt und beruht hier auf der Annahme, dass die benachbarten Punkte innerhalb einer Region ähnliche Höhen-Werte haben. Das Verfahren besteht darin, einen Punkt mit seinen Nachbarn bezüglich der dritten Koordinate (COZ) bzw. der Höhe zu vergleichen. Wenn ein Ähnlichkeitskriterium erfüllt ist (Unterschied < Schwellwert) , kann der Punkt dem Cluster zugeordnet werden. Schließlich kann sich aus einem Bereich bzw. einer Fläche, die diesem Clustering unterzogen wird, in Abhängigkeit des Schwellwertes, eine Mehrzahl an kleineren Teilen ergeben) . Alle Flächen, die kleiner als die Auf Standsfläche eines kleinsten möglichen Ladebehälters, insbesondere eines ISO- Ladebehälters , sind, werden aussortiert. Eine Ebenensegmentierung (bevorzugt: RANSAC (englisch: random sample consensus) ) wird verwendet, um die Position der Fläche genau zu bestimmen. Dachkanten eines Ladebehälters in Längsrichtung können bevorzugt mittels eines geeigneten Teilverfahrens identifiziert werden, dieses kann beispielsweise die folgenden Schritte umfassen: a) eine Seite des Ladebehälters wird durch eine Ebenensegmentierung (bevorzugt: RANSAC (englisch: random sample consensus) ) identifiziert, b) eine Dachkante wird als mathematische Schnittlinie dieser Ebene mit der Oberfläche des Ladebehälters erkannt . c) sollten die Schritte a) oder b) nicht zum Erfolg führen (zum Beispiel, weil die Qualität der Punktewolke nicht ausreichend ist) , wird ein weiterer Schritt ausgeführt: c ' ) die Extrempunkte der Oberfläche des Ladebehälter in Richtung der Dachkante (Längsrichtung des Transportmittels oder quer zur Längsrichtung) werden identifiziert; die Kante wird dann als Sekante der Extrempunkte erkannt. d) Die Ausrichtung des Behälters wird anhand der Dachkanten berechnet. e) Mit einem weiteren Teilverfahren wird erkannt, ob es sich um einen Zwillingsladebehälter handelt (siehe unten: Teilverfahren für Zwillingsladebehälter) , und wenn dies der Fall ist, wird der Ladebehälter in zwei kleinere Ladebehälter aufgeteilt entsprechend der erkannten Lücke zwischen den Ladebehältern. f) Die Oberfläche wird auf die ISO-Standardlänge gestreckt oder gestaucht. Dies geschieht auf der Grundlage der lokalen Auflösung der Punktewolke, d. h. eine Kante mit spärlichen Punkten und fehlenden Informationen ist verformbarer als eine, die durch eine Fülle von Punkten gut definiert ist.
Zwillingsladebehälter sind zwei Ladebehälter (in der Regel jeweils 20-Fuß-Ladebehälter) , die mit einem verhältnismäßig (kleiner als 50cm, insbesondere kleiner als 30cm) kleinen Abstand dazwischen hintereinander angeordnet sind. In der Regel sind diese Ladebehälter gleich lang, sodass sich dieser Abstand beziehungsweise diese Lücke in der Mitte dieser Zwillingskombination befindet.
Ein Teilverfahren zur Erkennung von Zwillingsladebehältern oder auch Doppelladebehältern kann bevorzugt die folgenden Schritte umfassen:
1. Identifizieren des Bereichs, in dem die Lücke zu erwarten ist,
2. Diskretisierten des Ladebehälters als ein zweidimensionales Profil (von der Seite gesehen, in 2D-Bins diskretisiert) , 3 . Prüfen, ob in der Mitte ein leeres Feld angeordnet ist , und falls zutref fend klassi fi zieren des Ladebehälters als Zwillingsladebehälter,
4 . Prüfen, ob der analysierte Ladebehälter dargestellt ist mit einer signi fikanten Anzahl von Punkten unterhalb oder oberhalb der durchschnittlichen Oberfläche , und falls zutref fend klassi fi zieren des Ladebehälters als Zwillingsladebehälter,
5 . Wiederholen der Schritte 2-4 mit j eweils einer anderen Diskretisierungsbasis - also eines anderen Startpunkts , an dem die Diskretisierung ansetzt , sodass die Schritte der Diskretisierung j eweils etwas verschoben sind, sodass Artefakte des Scans keinen Einfluss auf die Ergebnisgüte haben .
Im Folgenden ist die Erfindung anhand eines speziellen Ausführungsbeispiels zur Verdeutlichung näher beschrieben . Es zeigen :
Figur 1 eine schematische , dreidimensionale Darstellung eines Umschlagortes ,
Figur 2 ein schematisches Ablauf diagramm des Verfahrens nach der Erfindung,
Figur 3 Punktewolke eines Transportmittels ,
Figur 4 Profil des Transportmittels aus Figur 3 ,
Figur 5 I llustration einer Diskretisierung anhand des Details einer Fahrerkabine des Transportmittels aus den Figuren 3 und 4 ,
Figur 6 Analyse des Profils aus den Figuren 4 und 5 , Figur 7 Ermittlung von Transportmittelgrenzen, Figur 8 Seitenansicht unsymmetrische Kabine , Figur 9 Draufsicht unsymmetrische Kabine , Figur 10 Ausgangslage Punktewolke ,
Figur 11 Gerastertes Fahrzeug,
Figur 12 Fallende Kantenpunkte in X-Richtung,
Figur 13 Steigende Kantenpunkte in X-Richtung, Figur 14 Fallende Kantenpunkte in Y-Richtung, Figur 15 Steigende Kantenpunkte in Y-Richtung, Figur 16 Linien basierend auf fallenden Kantenpunkten in X-Richtung,
Figur 17 Linien basierend auf steigenden Kantenpunkten in X-Richtung,
Figur 18 Linien basierend auf fallenden Kantenpunkten in Y-Richtung,
Figur 19 Linien basierend auf steigenden Kantenpunkten in Y-Richtung,
Figur 20 Linien basierend auf Kantenpunkten in X-Richtung und Y-Richtung,
Figur 21 Verfahren zum Klassi fi zieren einer Ladefläche ,
Figur 22 Verfahren zum Erkennen von Elementen an einer Ladefläche ,
Figur 23 Verfahren zum Erkennen Doppel-Ladebehältern,
Figur 24 Punktewolke eines internen Transportmittels mit markierten Elementen,
Figur 25 Ebene der Ladefläche erkannt ,
Figur 26 Punkte von Elementen oberhalb der Ladefläche ,
Figur 27 Erkannte Elemente an der Ladefläche ,
Figur 28 Diskretisierung von Elementen an der Ladefläche ,
Figur 29 Erkannte Quader von Elementen,
Figur 30 Punktewolke eines halb beladenen Transportmittels ,
Figur 31 Absetzposition mittels Befestigungselementen an der Ladefläche erkannt ,
Figur 32 maximale und minimale Umfangsgeometrie der Be- f estigungselemente ,
Figur 33 Absetzposition erkannt mittels Führungselementen,
Figur 34 Reduktion eines Voxels auf einen vertikalen Maximalwert pro Voxel ,
Figur 35 lokale Maxima der Ladefläche und erkannte Befestigungselemente ,
Figur 36 Transportmittel mit erkannter Absetzposition anhand Befestigungselementen . Figur 1 zeigt einen Umschlagplatz bzw . Umschlagbereich TOA eines Containerterminals bzw . eine Umschlagvorrichtung CTT mit einem Kran CRN . Die Umschlagvorrichtung dient dem Laden von Containern bzw . Ladebehältern CNT mittels eines Krans CRN auf Ladeflächen LDR oder von Ladeflächen LDR . Der gegenwärtige technische Trend bewegt sich in Richtung vollautomatisierter Krane CRN mit mindestens einer Steuereinheit CTU, die weitestgehend autonom arbeiten . Figur 1 zeigt hierbei , dass die Umschlagvorrichtung CTT die Oberflächengeometrie des Transportmittels TRT einschließlich der Ladefläche LDR und/oder des Ladebehälter CNT mittels eines Scanners SCN bzw . eines Scanvorgangs erfasst . Hierbei kommt bevorzugt ein Laserscanner zur Anwendung, der die gewünschte Genauigkeit und Zuverlässigkeit aufweist und eine sogenannte Punktewolke PCL erzeugt , wobei die Punkte EPT j eweils Koordinaten der Oberfläche des gescannten Bereichs definieren .
Figur 2 zeigt ein schematisches Ablauf diagramm des Verfahrens nach der Erfindung . Das Beladen eines Transportmittels TPC mit einem Ladebehälter CNT erfolgt grundsätzlich in den folgenden Schritten : a ) Definieren eines räumlich festen Koordinatensystems MCS ( Figur 1 ) , deren erste und zweite Koordinatenrichtungen COX, COY sich im Wesentlichen in einer hori zontalen Ebene PLN befinden und deren dritte Koordinatenrichtung COZ sich im Wesentlich vertikal in Höhenrichtung HDR erstreckt , b ) Aufnehmen einer Oberflächengeometrie SGT im Bereich des Umschlagbereichs TOA, c ) Identi fi zieren eines Bereichs eines Transportmittels TPT , d) Bestimmen des Ortes einer Ladefläche LDR des Transportmittels TPT , e ) Bestimmen einer räumlichen Winkellage einer Ladefläche des Transportmittels TPT , f ) Identi fi zieren und Klassi fi zieren einer oder mehrerer bestimmter Ladeflächen LDR des Transportmittels TPT , g) Erkennen von Befestigungselementen TWL und/oder von Führungselementen GDE und/oder von Hindernissen OBT und/oder Beladungen LOD an der Ladefläche LDR, h) Auswahl eines Ladebehälter CNT , der zu einer bestimmten Ladefläche LDR und den dazugehörigen Befestigungselementen TWL des Transportmittels TRT passt , i ) Beladen der Ladefläche LDR des Transportmittels TRT mit dem ausgewählten Ladebehälter CNT .
Die Figur 3 zeigt die Aufnahme einer Oberflächengeometrie SGT eines Transportmittels TRT , dessen Ladefläche LDR nicht mit einem Ladebehälter CNT beladen ist . Die mittels eines Laserscanners aufgenommene Aufnahme besteht aus einer Viel zahl von Punkten EPT , die in dem räumlich festen Koordinatensystem MCS j eweils als Werte dreier Koordinatenrichtungen COX, COY, COZ definiert sind, wobei die Viel zahl an Punkten EPT auch als Punktewolke PCL bezeichnet wird .
Figur 4 zeigt als Weiterbildung der Erfindung eine Ausgabe eines Verfahrens , dass ein Höhenprofil HPR entlang einer Profilrichtung DZP bestehend aus Profilpunkten PPT erzeugt .
Figur 5 zeigt hierbei anhand des Details einer Fahrerkabine des Transportmittels TPT aus den Figuren 3 und 4 das aus den Profilpunkten PPT bestehende Höhenprofil HPR .
Bevor die eigentliche Profilbildung erfolgt , sieht eine zweckmäßige Weiterbildung der Erfindung eine Reduktion der Punktewolke PCL der Oberflächengeometrie vor, dass seitliche Bereiche der auf genommenen Punktewolke PCL aus einer Ausgangs-Punktewolke PCI zunächst entfernt . Im Einzelnen ist ein schrittweises Vorgehen vorgesehen, umfassend :
- Eingeben der Punktewolke PCL der Oberflächengeometrie SGT als Ausgangs-Punktewolke PCI ,
- Definieren von sich entlang der ersten hori zontalen Koordinatenrichtungen COX scheibenartig j eweils nebeneinander erstreckender Volumina VLM der Ausgangs-Punktewolke PCI mit einer bestimmten Diskretisierungsweite DCW bezüglich der ersten hori zontalen Koordinatenrichtungen COX, - Reduktion der Ausgangs-Punktewolke PCI um die Punkte einer Anzahl äußerer Volumina VLM ( das Abtrennen der äußerer Volumina VLM ist in Figur 3 mittels der strichpunktierten Linien angedeutet ; diese Linien verlaufen parallel zur ersten Koordinatenrichtung COX ) , so dass von der Gesamtbreite der Volumina VLM 30%- 80% , bevorzugt 45% - 55% , besonders bevorzugt 50% verbleiben,
- Definieren der verbleibenden Volumina VLM als neue Punktewolke PCI .
Weiterhin kann es j e nach Auflösung der Punktewolke PCL zweckmäßig sein, Punkte aus der Punktewolke zu entfernen, die nicht in einem Höhenintervall liegen, das mit Sicherheit nicht im Bereich einer potenziellen Ladefläche LDR liegt . Ein zweckmäßiges Intervall gültiger Höhenwerte für die dritte Koordinatenrichtung COZ liegt hierfür beispielsweise zwischen 20cm - 700cm . Im Einzelnen ist ein schrittweises Vorgehen vorgesehen, umfassend :
- Definition eines Intervalls gültiger Höhenwerte IVH für die dritte Koordinatenrichtung COZ der Ausgangs-Punktewolke PCI ,
- Verwerfen der Punkte EPT in denj enigen Volumina VLM, die ausschließlich Punkte EPT mit Höhenwerten außerhalb des Intervalls gültiger Höhenwerte IVH ( siehe schematisch Figur 3 ) aufweisen,
- Definieren dieser verbleibenden Punkte EPT als neue Punktewolke PCI , die das Transportmittel TPT beinhaltet .
Die Erstellung des eigentlichen Höhenprofils HPR, erfolgt gemäß der hier nachfolgend aufgezeigten Basisroutine und umfasst im Einzelnen die Schritte :
- Eingeben der Punktewolke PCL der Oberflächengeometrie SGT als Ausgangs-Punktewolke PCI ,
- Auswählen einer hori zontalen Koordinatenrichtungen COX, COY als Profilrichtung DZP,
- Definieren von sich entlang der nicht ausgewählten anderenhori zontalen Koordinatenrichtungen COY, COX scheibenartig sich j eweils nebeneinander erstreckender Volumina VLM der Ausgangs-Punktewolke PCI mit einer bestimmten Diskretisierungsweite DCW ( siehe auch Fig . 5 ) bezüglich der Profilrichtung DZP,
- Erzeugen eines Höhenprofils HPR in Profilrichtung DZP aus Profilpunkten, wobei für j edes Volumen ein Profilpunkt PPT definiert wird,
- wobei die Koordinate des Profilpunkts PPT in Profilrichtung DZP zugewiesen wird als Koordinatenwert der Profilrichtung j eweils an einer bestimmten Position der Diskretisierungsweite DCW des Volumens VLM, wobei diese bestimmte Position für j edes Volumen VLM an der gleichen Stelle der Diskretisierungsweite DCW ist ,
- wobei die Koordinate des Profilpunkts PPT in Höhenrichtung HDR zugewiesen wird als Koordinatenwert des j eweils in dem Volumen VLM vorliegenden höchsten Wertes der dritten Koordinatenrichtung COZ eines Punktes EPT .
Diese Basisroutine ermöglicht eine flexible Auswahl der Profilrichtung DZP, sodass Profile sowohl in der 1 . hori zontalen Koordinaten Richtung COX als auch entlang der 2 . hori zontalen Koordinaten Richtung COY erstellt werden können .
Figur 5 zeigt hierbei Details einer Fahrerkabine eines Transportmittels TPT , wobei die einzelnen Profilpunkte PPT j eweils um eine Diskretisierungsweite DCW beanstandet sind . Besonders zweckmäßig ist es hierbei , wenn die Diskretisierungsweite DCW zwischen 1cm - Im bevorzugt 5cm - 15cm, besonders bevorzugt 10cm beträgt , so dass Details der Ladefläche aus dem sich ergebenden Höhenprofil HPR erkennbar sind .
Figur 6 illustriert das Ergebnis zweier Unterverfahren GLB, LCL einer die Erfindung vorteilhaft weiterbilden Methode zur Identi fi zierung einer Ladefläche LDR des Transportmittels TPT . Zunächst erfolgt eine gröbere Analyse des Höhenprofils des Transportmittels TPT , die auch als eine globale Betrachtungsweise , gröbere Betrachtungsweise oder als erstes Unterverfahren GLP bezeichnet werden kann : - Durchführen der oben definierten Basisroutine für die Punktewolke PCL, mit den Vorgaben : a . die erste hori zontale Koordinatenrichtungen COX ist die Profilrichtung DZP, so dass ein sich entlang der ersten hori zontalen Koordinatenrichtung COX erstreckendes Höhenprofil HPR ergibt , b . wobei die bestimmte Diskretisierungsweite DCW zwischen 1cm - Im bevorzugt 5cm - 15cm, besonders bevorzugt 10cm beträgt ,
- Unterteilen des Höhenprofils HPR in Segmente durch Bestimmen eines Segments mittels der Vorgabe , dass bei einer schrittweisen Auswertung von Punkt zu Punkt der vertikale Abstand vom vorherigen Punkt kleiner als 2 hori zontale Diskretisierungsweiten DCW ist ,
- Definieren des längsten derart bestimmten Segments als vorläufige Ladeflächenerstreckungsabschätzung PLE entlang der ersten hori zontalen Koordinatenrichtung COX .
Hierbei ist es zweckmäßig einen Vertikalversatz VFS aus dem Wertebereich der dritten vertikalen Koordinatenrichtungen COZ der Ladeflächenerstreckungsabschätzung PLE zu definieren .
Das zweite Unterverfahren LCL ( Figur 6 ) zur Identi fi zierung einer Ladefläche des Transportmittels TPT erfolgt als eine feinere Analyse des Höhenprofils ( lokale Betrachtungsweise ) des Transportmittels , sodass auch eine Ermittlung der vertikalen Winkellage bzw . Schrägstellung oder auch Verkippung der Ladefläche des Transportmittels TPT ermöglicht wird . Im Einzelnen :
- Durchführen der oben definierten Basisroutine für die Punktewolke PCL, insbesondere für die Punktewolke PCI ausschließlich im Bereich der vorläufigen Ladeflächenerstreckungsabschätzung PLE nach der vorhergehenden globalen Betrachtungsweise mit den Vorgaben : a . die erste hori zontale Koordinatenrichtungen COX ist die Profilrichtung DZP, so dass ein sich entlang der ersten hori zontalen Koordinatenrichtung COX erstreckendes Höhenprofil HPR ergibt , b . wobei die bestimmte Diskretisierungsweite DCW zwischen 1cm - Im bevorzugt 5cm - 15cm, besonders bevorzugt 10cm beträgt ,
- Unterteilen des Höhenprofils HPR in Segmente durch Bestimmen eines Segments mittels der Vorgabe , dass bei einer schrittweisen Auswertung von Punkt zu Punkt der vertikale Abstand vom vorherigen Punkt kleiner als eine halbe hori zontale Diskretisierungsweite DCW ist ,
- Definieren des längsten derart bestimmten Segments ,
- Bestimmen eines Neigungswinkels PTC des längsten derart bestimmten Segments als Neigungswinkel PTC der Ladefläche LDR .
Sofern mehrere Transportmittel TPT hintereinander in einer Reihe stehen, ermöglicht das nachstehend schrittweise definierte Verfahren das Abgrenzen der einzelnen Transportmittel TPT zueinander, wie es in der Figur 7 im Ergebnis dargestellt ist . Die Ermittlung der Enden eines Transportmittels TPT in der ersten hori zontalen Koordinatenrichtung COX, umfasst im Einzelnen :
- Eingeben der Punktewolke PCL der Oberflächengeometrie SGT als Ausgangs-Punktewolke PCI ,
- Definieren von sich entlang der zweiten hori zontalen Koordinatenrichtungen COY scheibenartig sich j eweils nebeneinander erstreckender Volumina VLM der Ausgangs-Punktewolke PCI mit einer zweiten Diskretisierungsweite DCW von mindestens 15ft , bevorzugt mindestens 20 ft beträgt ,
- die Schritte nach der oben definierten Basisroutine für j ede einzelne der j eweils in den Volumina VLM angeordnete Punktewolke PCL, mit den Vorgaben : a . die zweite hori zontale Koordinatenrichtungen COY ist die Profilrichtung DZP, so dass ein sich entlang der zweiten hori zontalen Koordinatenrichtung COY erstreckendes Höhenprofil HPR ergibt , b . wobei die bestimmte Diskretisierungsweite DCW zwischen 1cm - Im bevorzugt 5cm - 15cm, besonders bevorzugt 10cm beträgt . Zu schmale Abschnitte werden aussortiert durch Vergleichen der bezüglich der zweiten hori zontalen Koordinatenrichtungen COY breitesten Länge des Höhenprofils HPR mit einem Mindestwert und verwerfen der in dem j eweiligen Volumen VLM befindlichen Punkte EPT , wenn die breiteste Länge unter dem Mindestwert liegt . Schließlich erfolgt eine Definition des nicht verworfenen Anteils der Ausgangs-Punktewolke PCI , als neue Punktewolke PCL, die das Transportmittel TPT umfasst .
Weiterhin ist vorgesehen, dass die oben definierte Basisroutine für die neu definierte Punktewolke PCL durchgeführt wird, mit den Vorgaben :
- die erste hori zontale Koordinatenrichtungen COX ist die Profilrichtung DZP, so dass ein sich entlang der ersten hori zontalen Koordinatenrichtung COX erstreckendes Höhenprofil HPR ergibt ,
- wobei die bestimmte Diskretisierungsweite DCW zwischen 1cm - Im bevorzugt 5cm - 15cm, besonders bevorzugt 10cm beträgt ,
- Aufteilen des Profils in zweidimensionale Obj ektprofile OBP, wobei ein Obj ektprofil OBP sich über einen Bereich der ersten hori zontalen Koordinatenrichtung COX erstreckt , der ausschließlich Profilpunkte mit Höhenwerte des Höhenprofils HPR größer 0 aufweist ,
- Zusammenfassen von Obj ektprofilen OBP, die weniger als 3m, insbesondere weniger als 1 , 5m in der ersten hori zontalen Koordinatenrichtung COX voneinander entfernt sind zu j eweils einem gemeinsamen Obj ektprofil MOP, so dass sich in den sich ergebenden Bereichen der ersten hori zontalen Koordinatenrichtung COX der gemeinsamen Obj ektprofile MOP, j eweils die Transportmittel befinden .
Figur 8 zeigt eine Seitenansicht eines Transportmittels mit einer Kabine CBN . Die Figur 9 zeigt hierzu eine Draufsicht (Vogelperspektive ) . Die Punktewolke PCL ist in der Praxis nicht immer symmetrisch bezüglich der z . B . ersten Koordinatenrichtung COX bzw . der Fahrtrichtung, wodurch eine z . B . hori zontale Winkelstellung des Transportmittels TPT bzw . der Ladefläche LDR nach konventionellen Ansätzen häufig falsch berechnet wird . Bei einer unsymmetrische Kabine CBN, so sind die als Terminaltraktoren ausgebildeten Transportmittel TPT - wie in den beiden Figuren 8 , 9 häufig gestaltet , scheitern viele Methoden, die zum Beispiel nur eine Profilsicht oder einen Höhenschnitt verwenden .
Eine vorteilhafte Weiterbildung der Erfindung sieht vor, zunächst aus der Punktewolke PCL Kanten der Ladefläche LDR des Transportmittels TPT zu identi fi zieren . Figur 10 zeigt zunächst die Ausgangslage der Punktewolke PCL . Figur 11 zeigt hierbei das Bereitstellen eines Rasters SGS bestehend aus einzelnen Rasterelementen SGM des Bereichs ARA. Anschließend erfolgt das Selektieren derj enigen Rasterelemente SGM, die Punkte EPT beinhalten, und ein Bestimmen von Rasterelemente SGM, die eine Kante des Transportmittels TPT umfassen als Kantenrasterelemente SGE . Im nächsten Schritt erfolgt ein Sortieren der Kantenrasterelemente SGE nach j eweiliger Kantenorientierung ausgehend von dem Raumkoordinatensystem MCS in Gruppen von Kantenrasterelementen SGE enthaltend Kantenpunkte EPT , wobei die Gruppen umfassen :
Figur 12 : fallende Kantenpunkte EPT in die erste horizontale Koordinatenrichtung COX, Figur 13 : steigende Kantenpunkte EPT in die erste horizontale Koordinatenrichtung COX, Figur 14 : fallende Kantenpunkte EPT in die zweite horizontale Koordinatenrichtung COY, Figur 15 : steigende Kantenpunkte EPT in die zweite horizontale Koordinatenrichtung COY .
Die Figuren 16 bis 19 zeigen erkannte Kantenlinien ELN anhand der Kantenpunkte EPT durch mehrfache Liniensegmentierungen für die j eweiligen Gruppen, wobei bei der Liniensegmentierung j eweils eine Linie durch möglichst viele vordefinierte Umgebungsvolumina von Kantenpunkten EPT gelegt wird und diese Kantenpunkte EPT durch die j eweilige Linie ersetzt werden . Im Einzelnen sind in den Figuren folgende Linien dargestellt : Figur 16 zeigt Linien basierend auf fallenden Kantenpunkten in X-Richtung, Figur 17 zeigt Linien basierend auf steigenden Kantenpunkten in X-Richtung, Figur 18 zeigt Linien basierend auf fallenden Kantenpunkten in Y-Richtung, Figur 19 zeigt Linien basierend auf steigenden Kantenpunkten in Y-Richtung . Figur 20 zeigt schließlich die Zusammenschau der erkannten Linien basierend auf Kantenpunkten in X-Richtung und Y-Rich- tung .
Zweckmäßig können die erkannten Kanten der Ladefläche LDR zur Ermittlung einer Schrägstellung der Ladefläche LDR genutzt werden unter Anwendung des folgenden Unterverfahrens mit den Schritten :
- Zusammenfassen von Kantenlinien ELN zu zusammengefassten Kantenlinien ELN, wobei diej enigen Kantenlinien ELN zusammengefasst werden, die gegenüber der ersten hori zontalen Koordinatenrichtung COX bis auf einen Winkelabweichungsbereich den gleichen Winkel einschließen,
- Bestimmen eines Gütefaktors für die Kantenlinien ELN und/oder zusammengefassten Kantenlinien ELN, wobei der Gütefaktor ansteigend oder proportional ansteigend ist mit der Anzahl der Kantenpunkte ERN, die von der Kantenlinie ELN oder den Kantenlinien ELN, die der zusammengefassten Kantenlinie ELN zugrunde liegen, ersetzt wurden,
- Festlegen einer Längsachse LAX des Transportmittels TPT , wobei die Richtung derj enigen Kantenlinien ELN und/oder zusammengefassten Kantenlinien ELN als Richtung der Längsachse LAX festgelegt werden, die eine Winkelabweichung zu der ersten hori zontalen Koordinatenrichtung COX haben, die kleiner als 10 ° ist und deren Gütefaktor gegenüber den anderen am höchsten ist ,
- Ermitteln eines ersten Versatzwinkels OA1 zwischen der ersten hori zontalen Koordinatenrichtung COX und der Längsachse LAX des Transportmittels TPT .
Figur 21 illustriert ein vorteilhaft weiterbildendes Verfahren der Erfindung zum Klassi fi zieren einer Ladefläche LDR, wobei beispielsweise wie folgt verfahren wird :
- Ausgehend von dem räumlich festen Koordinatensystem MCS und unter Verwendung des Neigungswinkels PTC und des ersten Versatzwinkels OA1 definieren eines Transportmittelkoordinatensystems TCS mit einer ersten im Wesentlichen hori zontalen Transportmittelkoordinatenrichtung TCX entlang der Längsachse LAX des Transportmittels TPT , mit einer zweiten im Wesentlichen hori zontalen Transportmittelkoordinatenrichtung TCY quer zur ersten hori zontalen Transportmittelkoordinatenrichtung TCX und einer dritten im Wesentlichen vertikalen zu den anderen Transportmittelkoordinatenrichtungen TCX, TCY senkrechten dritten Transportmittelkoordinatenrichtungen TCZ ,
- Definieren einer zweidimensionalen Referenzkontur ISO entsprechend einer Auf Stands fläche FPT eines Ladebehälters bezüglich des Transportmittelkoordinatensystems TCS ,
- Identi fi zieren einer ebenen Ladefläche LDR eines zu beladenden Transportmittels nach mindestens einem der vorhergehenden Ansprüche 1 bis 14 , insbesondere nach 9 - 14 ,
- Definieren einer zweidimensionalen Ladeflächenkontur als Proj ektion in Richtung der dritten Transportmittelkoordinatenrichtungen TCZ der ebenen Ladefläche LDR,
- Wiederholen ( Figur 21 zeigt hier hintereinander beispielhaft gültige (VLD) und ungültige (NVD) Versuche den ISO-La- debehälter zu positionieren und anschließend werden die gültigen Versuche zusammengefasst ) eines virtuellen Versuchs , die Referenzkontur an einer Referenzkonturposition mit der Ladeflächenkontur derart zu überlagern, dass bestimmte Kriterien erfüllt sind, wobei die bestimmten Kriterien ( andere Referenzkonturposition sind ungültig (NVD) ) sind ( es ist auch möglich, nur eine Auswahl dieser Kriterien zu benutzen) :
- keine Kante der Referenzkontur befindet sich außerhalb der Ladeflächenkontur und
- die Referenzkontur ist vollständig in der Ladeflächenkontur angeordnet und
- es befindet sich keine Kante der Ladefläche im Bereich der Überdeckung der Referenzkontur mit der Ladeflächenkontur, wobei die Referenzkonturpositionen, die die bestimmten Kriterien erfüllen, als gültige Referenzkonturpositionen VLD klassi fi ziert werden, wobei bei j eder Wiederholung eine Verlagerung der Referenzkontur an eine andere Referenzkonturpositionen mit einer vorgegebenen Schrittweite zu der Ladeflächenkontur in der ersten Transportmittelkoordinatenrichtungen TCX erfolgt , wobei der Versuch so lange wiederholt wird, bis die Referenzkontur die Versuchskontur entlang aller möglichen Schritte in der ersten Transportmittelkoordinatenrichtungen TCX durchschritten hat , wobei bei j eder Wiederholung eine Verlagerung der Referenzkontur mit einer vorgegebenen Schrittweite zu der Versuchskontur in der zweiten Transportmittelkoordinatenrichtungen TCY erfolgt , wobei der Versuch so lange wiederholt wird, bis die Referenzkontur die Versuchskontur entlang aller möglichen Schritte entlang der zweiten Transportmittelkoordinatenrichtung TCY durchschritten hat und bis die Referenzkontur die Versuchskontur entlang aller möglichen Schritte entlang der ersten Transportmittelkoordinatenrichtung TCX durchschritten hat , wobei einander überlappende Referenzkonturen an gültigen Referenzkonturpositionen zu einer gemeinsamen gültigen Ladefläche LDR zusammengefügt werden .
Eine vorteilhafte Weiterbildung der Erfindung sieht vor, dass die Ladefläche LDR eines Transportmittels TPT als beladene Ladefläche LDR klassi fi ziert wird, wenn die Punkte der Ladefläche LDR in vertikaler Koordinatenrichtung COZ im Bereich einer zu erwartenden Höhe eines Ladebehälterdachs liegen ( siehe auch : Figur 30 , Punktewolke eines halb beladenen Transportmittels ) .
Figur 22 zeigt das Ergebnis eines Verfahrens zum Erkennen von Elementen (Befestigungselementen TWL und/oder von Führungselementen GDE und/oder von Hindernissen OBT und/oder Beladungen LOD) an einer Ladefläche LDR . Zunächst ist nach einem der oben beschriebenen Verfahren eine Ladefläche LDR identi fiziert worden . Anschließend werden Befestigungselemente TWL erkannt durch :
- Selektion derj enigen Punkte der Punktewolke PCL im Hori zontalbereich der identi fi zierten Ladefläche LDR, die bezüglich eines vordefinierten Umgebungsvolumens einen lokalen Maximalwert der dritten Koordinatenrichtung COZ aufweisen als potenzielle Befestigungselementpositionen TWP ( siehe auch Figuren 34 , 35 ) ,
- Definition von vordefinierten Mustern PTW ( siehe auch Figur 35 ) hori zontaler Anordnungen von Befestigungselementen TWL,
- Vergleichen der Muster PTW mit den potenziellen Befestigungselementpositionen TWP zur Bestimmung einer besten Übereinstimmung, wobei diej enigen potenzielle Befestigungselementpositionen TWP ohne Ubereinstinnung mit einem Element eines Musters PTW verworfen werden und diej enigen mit einer Übereinstimmung als Bef estigungsele- ment-positionen TWP festgelegt werden .
Hinsichtlich der vordefinierten Muster PTW wird Branchen- Know-How benutzt . Ladebehälter CNT bzw . Container werden in der Regel mit vier Befestigungselementen TWL bzw . Twistlocks auf einem Trailer befestigt . Hierbei befindet sich ein Twistlock an j eder unteren Ecke des Containers . Zusätzlich wird genutzt , dass die Breite von Ladebehälter CNT genormt (https : / /de . wikipedia . org/ wiki/ ISO- Container ) ist .
Figur 23 illustriert ein Verfahren, das die Erfindung vorteilhaft weiterbilden kann, zum Erkennen von Doppel-Ladebehältern oder Zwillingsladebehälter DCT . Zwillingsladebehälter DCT sind zwei Ladebehälter CNT ( in der Regel j eweils 20- Fuß-Ladebehälter ) , die mit einem verhältnismäßig kleinen ( z . B . 50cm oder 30cm - also , klein gegenüber dem gewöhnlichen Abstand zwischen Transportmitteln) Abstand dazwischen hintereinander angeordnet sind . In der Regel sind diese Ladebehälter CNT gleich lang, sodass sich dieser Abstand bzw . diese Lücke in der Mitte befindet . Ein Teilverfahren zur Erkennung von Zwillingsladebehältern oder auch Doppelladebehältern kann bevorzugt die folgenden Schritte umfassen:
1. Identifizieren des Bereichs, in dem die Lücke zu erwarten ist (hierbei wird bevorzugt die Mitte der Doppelanordnung analysiert, wobei besonders bevorzugt angenommen wird, dass die Einzel-Ladebehälter jeweils 20ft lang sind) ,
2. Diskretisierten des Ladebehälters als ein zweidimensionales Profil (von der Seite gesehen, in 2D-Bins diskretisiert) ,
3. Prüfen, ob in der Mitte ein leeres Feld angeordnet ist, und falls zutreffend klassifizieren des Ladebehälters als Zwillingsladebehälter.
4. Prüfen, ob der analysierte Ladebehälter dargestellt ist mit einer signifikanten Anzahl von Punkten unterhalb oder oberhalb der durchschnittlichen Oberfläche, und falls zutreffend klassifizieren des Ladebehälters als Zwillingsladebehälter,
5. Wiederholen der Schritte 2-4 mit jeweils einer anderen Diskretisierungsbasis - also eines anderen Startpunkts, an dem die Diskretisierung ansetzt, sodass die Schritte der Diskretisierung jeweils etwas verschoben sind, sodass Artefakte des Scans keinen Einfluss auf die Ergebnisgüte haben.
Figur 24 zeigt eine Punktewolke PCL eines internen Transportmittels TRT mit markierten Elementen ELM an einer Ladefläche LDR. Eine vorteilhafte Verfeinerung dieses Vorgehens sieht zum Erkennen und Unterscheiden bestimmter Befestigungselemente TWL folgende Schritte vor:
- Identifizieren von Punkten vertikal oberhalb der Ladefläche LDR bezüglich der dritten Transportmittelkoordinatenrichtungen TCS (siehe z.B. Figur 25: Erkennen der Ebene der Ladefläche LDR) ,
- Ermittlung von lokalen Maxima der Oberflächengeometrie in der vertikalen Koordinatenrichtung im Bereich der identifizierten Ladefläche LDR (siehe z.B. Figur 26: Isolieren der Punkte von Elementen oberhalb der Ladefläche) .
Eine weitere vorteilhaft weiterbildende Variante der Erfindung zum Erkennen und Unterscheiden von Elementen an der Ladefläche ist gegeben durch ein Elemente-Erkennungs-Verf ahren Verfahren, dass auf eine mittels eines Scans bzw. Laserscans erzeugten Punktewolke PCL eines unbeladenen Transportmittels TPT, insbesondere von einem vorbestimmten Typ angewendet wird, um Elemente (d. h. dreidimensionale Objekte, Befestigungselemente, Hindernisse, Führungselemente) zu finden, die für die Bestimmung des genauen Ladebereichs bzw. der Ladefläche LDR, d. h. für die Bestimmung einer genauen Position eines Ladebehälters CNT auf der Ladefläche LDR des Transportmittels TPT, relevant sind.
Hierzu werden die folgenden Schritte durchgeführt:
1. Identifizieren einer ebenen Ladefläche LDR in der gescannten Punktewolke PCL (siehe Figur 25: Erkennen der Ebene der Ladefläche LDR) ,
2. Erkenne aller Punkte vertikal oberhalb der Ladefläche LDR (siehe Figur 26: Isolieren der Punkte von Elementen ELM oberhalb der Ladefläche LDR) ,
3. Aufteilen der erkannten Punkte vertikal oberhalb der Ladefläche LDR in unterschiedliche Elemente ELM (Figur 27: Erkannte Elemente an der Ladefläche - hier Führungselemente GDE) ,
4. Erstellen eines geometrischen Modells GMD für die unterschiedlichen Elemente zur weiteren Bewertung bzw. Klassifizierung der Elemente (Figur 28: Diskretisierung von Elementen an der Ladefläche, Figur 29: Erkannte Quader von Elementen) .
In der Praxis ergeben sich bei dem Identifizieren einer ebenen Ladefläche LDR in der gescannten Punktewolke PCL die folgenden Probleme:
3. die Ebene der Ladefläche LDR ist aus der horizontalen Position eines unbekannten Roll-, Nick- und Gier- Winkels gedreht, 4 . die Punktewolke selbst hat eine ungleichmäßige Dichte von Punkten, von denen einige Teil der Struktur unter dem Transportmittel sind .
Eine weitere vorteilhaft weiterbildende Variante der Erfindung löst diese Probleme beim Identi fi zieren einer ebenen Ladefläche LDR in der gescannten Punktewolke PCL, indem die folgenden Schritte durchgeführt werden : c ) Diskretisierung der Ladefläche LDR, bei der nur der höchste Punkt HPV pro Voxel VXL erhalten bleibt ( siehe Figur 34 : Reduktion eines Voxels VXL auf einen vertikalen Maximalwert pro Voxel VXL ) . Das hat zur Folge , dass die Punkte vertikal unter der Ladefläche entfernt werden, die in diesem Zusammenhang nicht relevant sind . Ein Ef fekt dieses Schritts ist die Beschleunigung des Verfahrens ohne Genauigkeitsverlust . d) Auf Basis der derart reduzierten Punktewolke PCL erfolgt ein Identi fi zieren der Ladefläche als eine Ebene mittels einer Segmentierung auf Basis der RANSAC-Methode (RANSAC ( englisch : random sample consensus ) ; z . B . : https : / /en . wikipedia . org/ wiki/Random_sample_consensus ) .
Anschließend erfolgt eine Erkennung der Elemente , die an der Ladefläche LDR angeordnet sind . Dieses Teilverfahren zur Erkennung der Elemente ELM weist die folgenden Schritte auf :
1 . Aufteilen von Punkten der Punktewolke oberhalb der Ladefläche LDR des Transportmittels TPT mittels eines euklidischen Clusterings in Gruppen benachbarter Punkte .
2 . Durchführen eines weiteren euklidischen Clusterings ECL für diese Gruppen, um zu sehen, ob die j eweilige Gruppe weiter unterteilt werden kann ( Figur 28 zeigt hier eine Diskretisierung von Elementen an der Ladefläche ) . Dieses zweite Clustering basiert bevorzugt auf einer diskreten Darstellung der Punkte und stützt sich bevorzugt hauptsächlich, besonders bevorzugt ausschließlich auf den Z- Abstand ( anstelle des dreidimensionalen Abstands des vorherigen ersten euklidischen Clusterings ) . Besonders bevorzugt und wenn möglich, wird der ursprüngliche Cluster durch seine eigenen kleinen Partitionen ersetzt .
3 . Erstellen des geometrischen Modells mittels Analysierens der erkannten Cluster mittels eines quadratischen Rasters in der hori zontalen Ebene ( die Koordinate der vertikalen Richtung wird ignoriert , vergleichbar mit der Proj ektion in die hori zontale Ebene ; siehe Figur 29 : Erkannte Quader von Elementen GMD .
Wenn eine oder mehrere Ecken eines Raster-Quadrats mit Punkten eines Clusters leer sind, wird der entsprechende Cluster aufgeteilt und als 2 verschiedene Quader in einer L-Konf iguration LCF dargestellt . Andernfalls wird der gesamte Cluster als ein Quader dargestellt . Die Liste der Quader GMD ist die Ausgabe diese Verfahrensschritts , das geometrische Modell der Elemente auf der Ladefläche . Erkannte Elemente an der Ladefläche sind in der Figur 27 beispielhaft gezeigt .
Eine vorteilhaft weiterbildende Variante der Erfindung zum Erkennen und Unterscheiden von Elementen an der Ladefläche LDR ist gegeben durch ein Elemente-Erkennungs-Verf ahren zur Analyse von Elementen bzw . dreidimensionalen Obj ekten in der von dem Scanner ( Laserscanner ) erzeugten Punktewolke CLD an der bereits identi fi zierten Ladefläche LDR, wobei die Elemente sich auf bzw . vertikal über der Ladefläche LDR eines Transportmittels TPT befinden ( siehe auch „Identi fi zieren von Punkten vertikal oberhalb der Ladefläche" ) . Hierdurch werden bevorzugt diej enigen Elemente erkannt , die verwendet werden können, um die genaue Ladefläche LDR des Anhängers zu finden . Elemente , die über der internen Ladefläche LDR des Anhängers liegen, können auf diese Weise bevorzugt in eine der folgenden Klassen eingeordnet werden :
- Führungselemente : Diese vertikalen Flügel ( Strukturen) sind Teil des Anhängerrahmens und dienen dazu, den Ladebehälter auf den letzten Zentimetern seiner Abwärtsbewegung in die richtige Position zu bringen, - Flipper: Kleine Leitbleche, die in den Rahmen "geklappt" werden können, wenn der Ladebehälter über sie gestülpt wird,
- Hindernisse: Alles, was nicht mit dem Ladebehälter in Berührung kommen soll, z. B. die Kabine des Lastwagens, Teile der Hafenanlage, unerwartete Gegenstände.
Das teilweise in den Figuren 26, 27 ergebnishaft dargestellte Elemente-Erkennungs-Verf ahren ist hierbei bevorzugt in 3 Schritte unterteilt.
IV. In einem ersten Schritt erhalten alle an der Ladefläche LDR befindlichen Elemente (siehe z.B. Figur 26, 27) vertikal über der Ladefläche LDR eines Transportmittels eine vorläufige Klassifizierung, die auf der Höhe basiert: Ein Element wird als Führungselement GDE klassifiziert, wenn es zwischen 15-50 cm hoch ist; Elemente die kleiner als 15cm hoch sind, werden als Flipper FLP klassifiziert; Elemente die größer als 50cm sind, werden als Hindernis OBT klassifiziert.
V. In einem zweiten Schritt werden die vorderen und hinteren Enden des Anhängers überprüft (die jeweils endseitig der Längsrichtung angeordneten 3m oder 2m oder 1,5m der Längserstreckung) und die dort angeordneten Elemente gegebenenfalls umklassifiziert. Wenn ein Hindernis OBT im vorderen oder hinteren Endbereich gefunden wird, werden andere Elemente in dem Umfeld (im Bereich quer zu dem Hindernis OBT) dieses Hindernisses OBT zu Hindernissen OBT umklassifiziert. In diesem Schritt werden die zahlreichen Elemente behandelt, die durch ein komplexes Hindernis OBT, z. B. eine Fahrerkabine, entstehen.
VI. Der dritte Schritt umfasst eine Analyse und gegebenenfalls eine Umklassifizierung der verbleibenden Leitelemente GDE und Flipper FLP nach den folgenden Regeln anhand der jeweiligen relativen Position: Im zentralen Bereich der Ladefläche eines Transportmittels werden als Leitelemente GDE eingestufte Elemente als Flipper ELP eingestuft . Während an der Grenze sowohl Leitelemente als auch Flipper ELP vorhanden sind befinden sich im zentralen Bereich keine Leitelemente . Schließlich werden alle vorläufigen Klassi fi zierungen und die umklassi fi zierten Elemente ELM als endgültig klassi fi ziert eingestuft .
Eine vorteilhafte Weiterbildung der Erfindung sieht vor, dass alle möglichen Positionen, in denen ein Ladebehälter CNT auf ein Transportmittel TPT gestellt oder von ihm entnommen werden kann, auf der Grundlage einer Liste bekannter Merkmale des Transportmittels TPT ermittelt werden .
Zu den Merkmalen können gehören :
- Ladebehälter CNT , die bereits auf demselben Transportmittel TPT geladen wurden,
- Befestigungselemente TWL, insbesondere Twistlocks
- Führungselemente GDE ,
- Flipper ELP,
- sonstige Hindernisse OBT .
Besagte Weiterbildung der Erfindung verwendet drei verschiedene Unterverfahren, um diese Merkmale zum Zwecke des Beladens zu nutzen, und führt die Ergebnisse dieser Unterverfahren dann zusammen .
Das in Figur 30 teilweise illustrierte erste Unterverfahren wertet aus , ob bereits ein Ladebehälter CNT auf einer Ladefläche LDR des Transportmittels TPT platziert ist . Sofern bereits ein Ladebehälter LDR auf dem Transportmittel TRT angeordnet ist , gilt die Position des Ladebehälters CNT als gültige Position, die bereits von einem Ladebehälter CNT belegt ist ( der Ladebehälter CNT kann abgeladen werden ( kann gepickt werden) ) . Das zweite Unterverfahren wertet aus , ob Befestigungselemente TWL, insbesondere Twistlocks paarweise angeordnet sind . Hierbei wird j edes Paar ( eines auf der linken, das andere auf der rechten Seite Transportmittels TPT ) mit j edem anderen Paar abgeglichen, wobei nach einer Konfiguration gesucht wird, die hinsichtlich des Abstands in Längsrichtung ( Längsachse LAX ) des Transportmittels TPT eine plausible Länge für einen Standard-Ladebehälter CNT hat .
Das in den Figuren 31 , 32 , 33 teilweise illustrierte dritte Unterverfahren nutzt vorhandene Führungselemente GDE , um die Position und Neigung der Ladefläche LDR zu schätzen .
Hierbei wird ein virtueller Quader VQD derart positioniert , dass er ausgehend von einer Hori zontallage minimale gedreht alle Führungselemente GDE enthält .
Besonders bevorzugt und aus Gründen der Ef fi zienz wird diese Position des Quaders VQD als Grundlage für ein neues Koordinatensystem ( siehe auch oben : eines Transportmittelkoordinatensystems TCS mit einer ersten im Wesentlichen hori zontalen Transportmittelkoordinatenrichtung TCX entlang der Längsachse LAX des Transportmittels TPT , mit einer zweiten im Wesentlichen hori zontalen Transportmittelkoordinatenrichtung TCY quer zur ersten hori zontalen Transportmittelkoordinatenrichtung TCX und einer dritten im Wesentlichen vertikalen zu den anderen Transportmittelkoordinatenrichtungen TCX, TCY senkrechten dritten Transportmittelkoordinatenrichtungen TCZ ) verwendet , auf das sich in der Folge alle auf das Transportmittel TPT bezogenen Auswertungen, Berechnungen und Positionsangaben beziehen .
In einem nächsten Schritt wird das hinsichtlich der hori zontalen Ausdehnung minimale Rechteck RCT bestimmt , das von den Führungselementen, Befestigungselementen und anderen Elementen an der Ladefläche umschlossen wird .
In einem nächsten Schritt wird das maximale hori zontale Rechteck RCT , das die Merkmale umschließt , die das minimale Rechteck RCT berühren, ermittelt . In einem nächsten Schritt werden die Hindernisse OBT berücksichtigt , indem sowohl das maximale hori zontale Rechteck RCT als auch das minimale Rechteck RCT so weit verkleinert werden, dass sich in dem Hori zontalbereich dieser beiden Rechtecke RCT keine Hindernisse OBT mehr befinden .
In einem nächsten Schritt wird der größte Standard-Ladebehäl- ter CNT ermittelt , der in das maximale hori zontale Rechteck RCT hinsichtlich der Auf Stands fläche passt (vergleichbar mit der Darstellung in Figur 21 ) .
In einem nächsten Schritt wird das minimale hori zontale Rechteck so vergrößert , dass der größte Standard-Ladebehälter CNT von diesem Rechteck umschlossen werden kann .
Schließlich wird noch eine Auswertung durchgeführt , um die möglichen Positionen des Ladebehälters CNT auf der Ladefläche LDR zu ermitteln innerhalb des angepassten minimalen Rechtecks RCT .
Diese 3 Unterverfahren werden parallel betrieben und die entsprechenden Ergebnisse summenartig miteinander kombiniert ; da j ede der 3 Unterverfahren nur die gefundenen gültigen Positionen zurückgibt , ist die Zusammenführung eine einfache Summe der Auf Stands flächen der gültigen Positionen .

Claims

44 Patentansprüche
1. Verfahren (PRC) zum Detektieren einer Ladefläche (LDR) eines Transportmittels (TPT) zum automatisierten Beladen mit einem Ladebehälter (CNT) , gekennzeichnet, durch: j ) Definieren eines räumlich festen Koordinatensystems (MCS) , deren erste und zweite Koordinatenrichtungen (COX, COY) sich im Wesentlichen in einer horizontalen Ebene (PLN) befinden und deren dritte Koordinatenrichtung (COZ) sich im Wesentlich vertikal in Höhenrichtung (HDR) erstreckt, k) Aufnehmen einer Oberflächengeometrie (SGT) im Bereich eines Umschlagbereichs (TOA) , l) Identifizieren eines Bereichs eines Transportmittels (TPT) , m) Bestimmen des Ortes einer Ladefläche des Transportmittels (TPT) , n) Bestimmen einer räumlichen Winkellage einer Ladefläche des Transportmittels (TPT) , o) Identifizieren und Klassifizieren einer oder mehrerer bestimmter Ladeflächen (LDR) des Transportmittels (TPT) , p) Erkennen von Befestigungselementen (TWL) und/oder von Führungselementen (GDE) und/oder von Hindernissen (OBT) und/oder Beladungen (LOD) an der Ladefläche (LDR)
2. Verfahren (PRC) nach Anspruch 1, wobei die Oberflächengeometrie (SGT) im Bereich eines Umschlagbereichs (TOA) als Punktewolke (PCL) aufgenommen ist.
3. Verfahren (PRC) nach Anspruch 2, wobei zum Identifizieren eines Bereichs eines Transportmittels (TPT) das Verfahren (PRC) umfasst:
- Eingeben der Punktewolke (PCL) der Oberflächengeometrie (SGT) als Ausgangs-Punktewolke (PCI) ,
- Definieren von sich entlang der ersten horizontalen Koordinatenrichtungen (COX) scheibenartig jeweils nebeneinander erstreckender Volumina (VLM) der Ausgangs-Punktewolke (PCL) 45 mit einer bestimmten Diskretisierungsweite (DCW) bezüglich der ersten horizontalen Koordinatenrichtungen (COX) ,
- Reduktion der Ausgangs-Punktewolke (PCI) um die Punkte einer Anzahl äußerer Volumina (VLM) , so dass von der Gesamtbreite der Volumina (VLM) 30%-80%, bevorzugt 45% - 55%, besonders bevorzugt 50% verbleiben,
- Definieren der verbleibenden Volumina (VLM) als neue Punktewolke ( PCI ) .
4. Verfahren (PRC) nach Anspruch 2 oder 3, wobei zum Identifizieren eines Bereichs eines Transportmittels (TPT) das Verfahren (PRC) umfasst:
- Definition eines Intervalls gültiger Höhenwerte (IVH) für die dritte Koordinatenrichtung (COZ) der Ausgangs-Punktewolke ( PCI ) ,
- Verwerfen der Punkte (EPT) in denjenigen Volumina (VLM) , die ausschließlich Punkte (EPT) mit Höhenwerten außerhalb des Intervalls gültiger Höhenwerte (IVH) aufweisen,
- Definieren dieser verbleibenden Punkte (EPT) als neue Punktewolke (PCI) , die das Transportmittel (TPT) beinhaltet.
5. Verfahren (PRC) nach Anspruch 2, 3 oder 4, umfassend:
- Eingeben der Punktewolke (PCL) der Oberflächengeometrie (SGT) als Ausgangs-Punktewolke (PCI) ,
- Auswählen einer horizontalen Koordinatenrichtungen (COX, COY) als Profilrichtung (DZP) ,
- Definieren von sich entlang der nicht ausgewählten anderen horizontalen Koordinatenrichtungen (COX, COY) scheibenartig sich jeweils nebeneinander erstreckender Volumina (VLM) der Ausgangs-Punktewolke (PCI) mit einer bestimmten Diskretisierungsweite (DCW) bezüglich der Profilrichtung (DZP) ,
- Erzeugen eines Höhenprofils (HPR) in Profilrichtung (DZP) aus Profilpunkten, wobei für jedes Volumen ein Profilpunkt (PPT) definiert wird,
- wobei die Koordinate des Profilpunkts (PPT) in Profilrichtung (DZP) zugewiesen wird als Koordinatenwert der Profilrichtung jeweils an einer bestimmten Position der Diskretisierungsweite (DCW) des Volumens (VLM) , 46 wobei diese bestimmte Position für jedes Volumen (VLM) an der gleichen Stelle der Diskretisierungsweite (DCW) ist, - wobei die Koordinate des Profilpunkts (PPT) in Höhenrichtung (HDR) zugewiesen wird als Koordinatenwert des jeweils in dem Volumen (VLM) vorliegenden höchsten Wertes der dritten Koordinatenrichtung (COZ) eines Punktes (EPT) .
6. Verfahren (PRC) nach Anspruch 3 und/oder 5, wobei die bestimmte Diskretisierungsweite (DCW) zwischen 1cm - Im bevorzugt 5cm - 15cm, besonders bevorzugt 10cm beträgt, so dass Details der Ladefläche erkennbar sind.
7. Verfahren (PRC) nach Anspruch 4 oder 5, wobei das Intervall gültiger Höhenwerte für die dritte Koordinatenrichtung (COZ) zwischen 20cm - 700cm ist.
8. Verfahren (PRC) nach mindestens einem der vorhergehenden Ansprüche zur Ermittlung der Enden eines Transportmittels (TPT) in der ersten horizontalen Koordinatenrichtung (COX) , umfassend
- Eingeben der Punktewolke (PCL) der Oberflächengeometrie (SGT) als Ausgangs-Punktewolke (PCI) ,
- Definieren von sich entlang der zweiten horizontalen Koordinatenrichtungen (COY) scheibenartig sich jeweils nebeneinander erstreckender Volumina (VLM) der Ausgangs- Punktewolke (PCI) mit einer zweiten Diskretisierungsweite (DW2) von mindestens 15ft, bevorzugt mindestens 20ft beträgt,
- die Schritte nach Anspruch 5 für jede einzelne der jeweils in den Volumina (VLM) angeordneten Punktewolken (PCI) , mit den Vorgaben: a. die zweite horizontale Koordinatenrichtungen (COY) ist die Profilrichtung (DZP) , so dass ein sich entlang der zweiten horizontalen Koordinatenrichtung (COY) erstreckendes Höhenprofil (HPR) ergibt, b. wobei die bestimmte Diskretisierungsweite (DCW) zwischen 1cm - Im bevorzugt 5cm - 15cm, besonders bevorzugt 10cm beträgt, - vergleichen der bezüglich der zweiten horizontalen Koordinatenrichtungen (COY) breitesten Länge (YMX) des Höhenprofils (HPR) mit einem Mindestwert (YMN) und verwerfen der in dem jeweiligen Volumen (VLM) befindlichen
Punkte (EPT) , wenn die breiteste Länge (YMX) unter dem Mindestwert (YMN) liegt,
- Definieren des nicht verworfenen Anteils der Ausgangs- Punktewolke (PCI) , als neue Punktewolke (PCI) , die das Transportmittel (TPT) umfasst.
9. Verfahren (PRC) nach Anspruch 8, mit den weiteren anschließenden Schritten:
- Durchführen des Verfahrens nach Anspruch 5 für die Punktewolke (PCI) , mit den Vorgaben: a. die erste horizontale Koordinatenrichtungen (COX) ist die Profilrichtung (DZP) , so dass ein sich entlang der ersten horizontalen Koordinatenrichtung (COX) erstreckendes Höhenprofil (HPR) ergibt, b. wobei die bestimmte Diskretisierungsweite (DCW) zwischen 1cm - Im bevorzugt 5cm - 15cm, besonders bevorzugt 10cm beträgt,
- Aufteilen des Profils in zweidimensionale Objektprofile (OBP) , wobei ein Objektprofil (OBP) sich über einen Bereich der ersten horizontalen Koordinatenrichtung (COX) erstreckt, der ausschließlich Profilpunkte mit Höhenwerte des Höhenprofils (HPR) größer 0 aufweist,
- Zusammenfassen von Objektprofilen (OBP) , die weniger als 3m, insbesondere weniger als 1,5m in der ersten horizontalen Koordinatenrichtung (COX) voneinander entfernt sind zu jeweils einem gemeinsamen Objektprofil (MOP) , so dass sich in den sich ergebenden Bereichen der ersten horizontalen Koordinatenrichtung (COX) der gemeinsamen Objektprofile (MOP) , jeweils die Transportmittel befinden.
10. Verfahren (PRC) nach mindestens einem der vorhergehenden Ansprüche zur Identifizierung einer Ladefläche des Transportmittels (TPT) , - Durchführen des Verfahrens nach Anspruch 5 für die Punktewolke (PCI) , mit den Vorgaben: a. die erste horizontale Koordinatenrichtungen (COX) ist die Profilrichtung (DZP) , so dass ein sich entlang der ersten horizontalen Koordinatenrichtung (COX) erstreckendes Höhenprofil (HPR) ergibt, b. wobei die bestimmte Diskretisierungsweite (DCW) zwischen 1cm - Im bevorzugt 5cm - 15cm, besonders bevorzugt 10cm beträgt,
- Unterteilen des Höhenprofils (HPR) in Segmente durch Bestimmen eines Segments mittels der Vorgabe, dass bei einer schrittweisen Auswertung von Punkt zu Punkt der vertikale Abstand vom vorherigen Punkt kleiner als 2 horizontale Diskretisierungsweiten (DCW) ist,
- Definieren des längsten derart bestimmten Segments als vorläufige Ladeflächenerstreckungsabschätzung (PLE) entlang der ersten horizontalen Koordinatenrichtung (COX) .
11. Verfahren (PRC) nach mindestens dem vorhergehenden Anspruch 10,
- Definieren eines Vertikalversatzes (VFS) aus dem Wertebereich der dritten vertikalen Koordinatenrichtungen (COZ) der Ladeflächenerstreckungsabschätzung (PLE) .
12. Verfahren (PRC) nach mindestens einem der vorhergehenden Ansprüche zur Ermittlung einer Winkellage einer Ladefläche des Transportmittels (TPT) ,
- Durchführen des Verfahrens nach Anspruch 5 für die Punktewolke (PCI) , insbesondere für die Punktewolke (PCI) ausschließlich im Bereich der vorläufigen Ladeflächenerstreckungsabschätzung (PLE) nach dem vorhergehenden Anspruch 10 mit den Vorgaben: a. die erste horizontale Koordinatenrichtungen (COX) ist die Profilrichtung (DZP) , so dass ein sich entlang der ersten horizontalen Koordinatenrichtung (COX) erstreckendes Höhenprofil (HPR) ergibt, 49 b. wobei die bestimmte Diskretisierungsweite (DCW) zwischen 1cm - Im bevorzugt 5cm - 15cm, besonders bevorzugt 10cm beträgt,
- Unterteilen des Höhenprofils (HPR) in Segmente durch Bestimmen eines Segments mittels der Vorgabe, dass bei einer schrittweisen Auswertung von Punkt zu Punkt der vertikale Abstand vom vorherigen Punkt kleiner als eine halbe horizontale Diskretisierungsweite (DCW) ist,
- Definieren des längsten derart bestimmten Segments,
- Bestimmen eines Neigungswinkels (PTC) des längsten derart bestimmten Segments als Neigungswinkel (PTC) der Ladefläche (LDR) .
13. Verfahren (PRC) nach mindestens einem der vorhergehenden Ansprüche, zum Identifizieren von Kanten an der bestimmten Ladefläche (LDR) des Transportmittels (TPT) , gekennzeichnet, durch
- Bereitstellen eines Rasters (SGS) bestehend aus einzelnen Rasterelementen (SGM) des Bereichs (ARA)
- Selektieren derjenigen Rasterelemente (SGM) , die Punkte (EPT) beinhalten,
- Bestimmen von Rasterelemente (SGM) , die eine Kante des Transportmittels (TPT) umfassen als Kantenrasterelemente (SGE)
- Sortieren der Kantenrasterelemente (SGE) nach jeweiliger Kantenorientierung ausgehend von dem Raumkoordinatensystem (MGS) in Gruppen von Kantenrasterelementen (SGE) enthaltend Kantenpunkte (EPT) , wobei die Gruppen umfassen: fallende Kantenpunkte (EPT) in die erste horizontale Koordinatenrichtung (COX) ,
- steigende Kantenpunkte (EPT) in die erste horizontale Koordinatenrichtung (COX) , fallende Kantenpunkte (EPT) in die zweite horizontale Koordinatenrichtung (COY) ,
- steigende Kantenpunkte (EPT) in die zweite horizontale Koordinatenrichtung (COY) ,
- Erzeugen von Kantenlinien (ELN) anhand der Kantenpunkte (EPT) durch mehrfache Liniensegmentierungen für 50 die jeweiligen Gruppen, wobei bei der Liniensegmentierung jeweils eine Linie durch möglichst viele vordefinierte Umgebungsvolumina von Kantenpunkten (EPT) gelegt wird und diese Kantenpunkte (EPT) durch die jeweilige Linie ersetzt werden.
14. Verfahren (PRC) nach mindestens dem vorhergehenden Anspruch 13, zum Ermitteln der Schrägstellung von Kantenlinien (ELN) gegenüber der ersten horizontale Koordinatenrichtung (COX) , gekennzeichnet durch
- Zusammenfassen von Kantenlinien (ELN) zu zusammengefassten Kantenlinien (ELN) , wobei diejenigen Kantenlinien (ELN) zusammengefasst werden, die gegenüber der ersten horizontalen Koordinatenrichtung (COX) bis auf einen Winkelabweichungsbereich (DAG) den gleichen Winkel einschließen,
- Bestimmen eines Gütefaktors (QFC) für die Kantenlinien (ELN) und/oder zusammengefassten Kantenlinien (ELN) , wobei der Gütefaktor (QFC) ansteigend oder proportional ansteigend ist mit der Anzahl der Kantenpunkte (EPN) , die von der Kantenlinie (ELN) oder den Kantenlinien (ELN) , die der zusammengefassten Kantenlinie (ELN) zugrunde liegen, ersetzt wurden,
- Festlegen einer Längsachse (LAX) des Transportmittels (TPT) , wobei die Richtung derjenigen Kantenlinien (ELN) und/oder zusammengefassten Kantenlinien (ELN) als Richtung der Längsachse (LAX) festgelegt werden, die eine Winkelabweichung zu der ersten horizontalen Koordinatenrichtung (COX) haben, die kleiner als 10° ist und deren Gütefaktor (QFC) gegenüber den anderen am höchsten ist,
- Ermitteln eines ersten Versatzwinkels (OA1) zwischen der ersten horizontalen Koordinatenrichtung (COX) und der Längsachse (LAX) des Transportmittels (TPT) .
15. Verfahren (PRC) nach mindestens dem vorhergehenden An¬
Spruch 14, zum Identifizieren und Klassifizieren einer 51 bestimmten Ladefläche (LDR) des Transportmittels (TPT) , gekennzeichnet, durch
- Ausgehend von dem räumlich festen Koordinatensystems (MGS) und unter Verwendung des Neigungswinkels (PTC) und des ersten Versatzwinkels (OA1) definieren eines Transportmittelkoordinatensystems (TCS) mit einer ersten im Wesentlichen horizontalen Transportmittelkoordinatenrichtung (TCX) entlang der Längsachse (LAX) des Transportmittels (TPT) , mit einer zweiten im Wesentlichen horizontalen Transportmittelkoordinatenrichtung (TCY) quer zur ersten horizontalen Transportmittelkoordinatenrichtung (TCX) und einer dritten im Wesentlichen vertikalen zu den anderen Transportmittelkoordinatenrichtungen (TCX, TCY) senkrechten dritten Transportmittelkoordinatenrichtungen (TCZ) ,
- Definieren einer zweidimensionalen Referenzkontur (ISO) entsprechend einer Auf Standsfläche (FPT) eines Ladebehälters bezüglich des Transportmittelkoordinatensystems (TCS) ,
- Identifizieren einer ebenen Ladefläche (LDR) eines zu beladenden Transportmittels nach mindestens einem der vorhergehenden Ansprüche 1 bis 14, insbesondere nach 9 - 14,
- Definieren einer zweidimensionalen Ladeflächenkontur als Projektion in Richtung der dritten Transportmittelkoordinatenrichtungen (TCZ) der ebenen Ladefläche (LDR) ,
- Wiederholen eines virtuellen Versuchs, die Referenzkontur an einer Referenzkonturposition mit der Ladeflächenkontur derart zu überlagern, dass bestimmte Kriterien erfüllt sind, wobei die bestimmten Kriterien sind:
- keine Kante der Referenzkontur befindet sich außerhalb der Ladeflächenkontur,
- die Referenzkontur ist vollständig in der Ladeflächenkontur angeordnet,
- es befindet sich keine Kante der Ladefläche im Bereich der Überdeckung der Referenzkontur mit der Ladeflächenkontur, wobei die Referenzkonturpositionen, die die bestimmten Kriterien erfüllen, als gültige Referenzkonturpositionen klassifiziert werden, 52 wobei bei jeder Wiederholung eine Verlagerung der Referenzkontur an eine andere Referenzkonturpositionen mit einer vorgegebenen Schrittweite zu der Ladeflächenkontur in der ersten Transportmittelkoordinatenrichtungen (TCX) erfolgt, wobei der Versuch so lange wiederholt wird, bis die Referenzkontur die Versuchskontur entlang aller möglichen Schritte in der ersten Transportmittelkoordinatenrichtungen (TCX) durchschritten hat, wobei bei jeder Wiederholung eine Verlagerung der Referenzkontur mit einer vorgegebenen Schrittweite zu der Versuchskontur in der zweiten Transportmittelkoordinatenrichtungen (TCY) erfolgt, wobei der Versuch so lange wiederholt wird, bis die Referenzkontur die Versuchskontur entlang aller möglichen Schritte entlang der zweiten Transportmittelkoordinatenrichtung (TCY) durchschritten hat und bis die Referenzkontur die Versuchskontur entlang aller möglichen Schritte entlang der ersten Transportmittelkoordinatenrichtung (TCX) durchschritten hat, wobei einander überlappende Referenzkonturen an gültigen Referenzkonturpositionen zu einer gemeinsamen gültigen Ladefläche zusammengefügt werden.
16. Verfahren (PRC) nach mindestens einem der vorhergehenden Ansprüche, in denen eine Ladefläche (LDR) identifiziert wurde, wobei eine bestimmte Ladefläche (LDR) eines Transportmittels (TPT) als beladene Ladefläche (LDR) klassifiziert wird, wenn die Punkte der Ladefläche (LDR) in vertikaler Koordinatenrichtung (COZ) im Bereich einer zu erwartenden Höhe eines Ladebehälterdachs liegen.
17. Verfahren (PRC) nach mindestens einem der vorhergehenden Ansprüche, in denen eine Ladefläche (LDR) identifiziert wurde, wobei ein Erkennen von Befestigungselementen (TWL) umfasst:
- Selektion derjenigen Punkte der Punktewolke (PCL) im Horizontalbereich der identifizierten Ladefläche (LDR) , die bezüglich eines vordefinierten Umgebungsvolumens einen lokalen 53
Maximalwert der dritte Koordinatenrichtung (COZ) aufweisen als potenzielle Befestigungselementpositionen (TWP) ,
- Definition von vordefinierten Mustern (PTW) horizontaler Anordnungen von Befestigungselementen (TWL) ,
- Vergleichen der Muster (PTW) mit den potenziellen Befestigungselementpositionen (TWP) zur Bestimmung einer besten Übereinstimmung, wobei diejenigen potenzielle Befestigungselementpositionen (TWP) ohne Übereinstinnung mit einem Element eines Musters (PTW) verworfen werden und diejenigen mit einer Übereinstimmung als Befestigungselementpositionen (TWP) festgelegt werden.
18. Verfahren zur Erzeugung von Anweisungen für eine Umschlagvorrichtung (CTT) , insbesondere einen Kran (CRN) , zur Positionierung eines Ladebehälters (CNT) auf der Ladefläche (LDR) eines Transportmittels umfassend das Verfahren (PRC) zum Detektieren einer Ladefläche (LDR) nach mindestens einem der vorhergehenden Ansprüche 1- 17 umfassend den weiteren Schritt: h) Auswahl eines Ladebehälters (CNT) , der zu einer bestimmten Ladefläche (LDR) und den dazugehörigen Befestigungselementen (TWL) des Transportmittels (TRT) passt.
19. Verfahren zum Beladen eines Transportmittels (TPT) mit einem Ladebehälter umfassend das Verfahren zur Erzeugung von Anweisungen für eine Umschlagvorrichtung (CTT) nach mindestens dem vorhergehenden Anspruch 18 umfassend den weiteren Schritt : i) Beladen der Ladefläche (LDR) des Transportmittels (TRT) mit dem ausgewählten Ladebehälter (CNT) .
20. Umschlagvorrichtung (CTT) mit einem Kran (CRN) und einer Steuereinheit (CTU) , mittels derer der Kran (CRN) steuerbar ist, wobei die Steuereinheit (CTU) mindestens einen Prozessor (CPU) umfasst und wobei die Umschlagvorrichtung (CTT) mindestens einen Umschlagbereich zum Abstellen eines Transportmittels (TPT) 54 umfasst und einen Ladebehälterbereich zum Abstellen mindestens eines Ladebehälters (CNT) umfasst, wobei die Umschlagvorrichtung mindestens einen Scanner (SCN) umfasst, mittels dessen der Umschlagbereich punktweise auf- nehmbar ist, wobei die Steuereinheit (CPU) mit dem Scanner (SCN) in Verbindung steht, sodass die Punkte in Form einer Punktewolke (PCL) von dem Scanner (SCN) an die Steuereinheit (CPU) übermittelbar sind, wobei die Steuereinheit (CPU) derart ausgebildet und konfiguriert ist, dass diese das Verfahren nach mindestens einem der vorhergehenden Ansprüche ausführt, um eine zu beladene Ladefläche (LDR) zu identifizieren und deren Position zu bestimmen und den Kran (CRN) anhand dieser Position derart zu steu- ern, einen Ladebehälter (CNT) von dem Ladebehälterbereich auf die zu beladene Ladefläche zu stellen.
PCT/EP2022/059232 2021-12-17 2022-04-07 Verfahren zum beladen eines transportmittels mit einem ladebehälter, umschlagvorrichtung WO2023110165A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21215669.9 2021-12-17
EP21215669 2021-12-17

Publications (1)

Publication Number Publication Date
WO2023110165A1 true WO2023110165A1 (de) 2023-06-22

Family

ID=78957241

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/059232 WO2023110165A1 (de) 2021-12-17 2022-04-07 Verfahren zum beladen eines transportmittels mit einem ladebehälter, umschlagvorrichtung

Country Status (1)

Country Link
WO (1) WO2023110165A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020191813A1 (en) * 2000-10-27 2002-12-19 Kouji Uchida Container position measuring method and device for cargo crane and container landing/stacking method
EP1600351A1 (de) * 2004-04-01 2005-11-30 Heuristics GmbH Methode und System zur Erkennung von Defekten und gefährlichen Eigenschaften von passierenden Eisenbahnfahrzeugen
US20160167932A1 (en) * 2013-08-12 2016-06-16 Abb Technology Ltd Method and system for automatically landing containers on a landing target using a container crane
WO2020098933A1 (en) * 2018-11-14 2020-05-22 Abb Schweiz Ag System and method to load a container on a landing target

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020191813A1 (en) * 2000-10-27 2002-12-19 Kouji Uchida Container position measuring method and device for cargo crane and container landing/stacking method
EP1600351A1 (de) * 2004-04-01 2005-11-30 Heuristics GmbH Methode und System zur Erkennung von Defekten und gefährlichen Eigenschaften von passierenden Eisenbahnfahrzeugen
US20160167932A1 (en) * 2013-08-12 2016-06-16 Abb Technology Ltd Method and system for automatically landing containers on a landing target using a container crane
WO2020098933A1 (en) * 2018-11-14 2020-05-22 Abb Schweiz Ag System and method to load a container on a landing target

Similar Documents

Publication Publication Date Title
EP2767925B1 (de) Verfahren zur Erkennung von Objekten in einem Lager und/oder zur räumlichen Orientierung in einem Lager
DE102015121339B4 (de) Systeme und verfahren zum ermitteln eines zustands einer fahrbahn
EP1987371B1 (de) Verfahren zur detektion von objekten mit einer schwenkbaren sensoreinrichtung
DE102016100101A1 (de) System zum maschinellen sehen und analytisches verfahren zur segmentierung planarer oberflächen
DE102014016032B4 (de) Vorrichtung und Verfahren zum Aufnehmen von wahllos gehäuften Gegenständen mit einem Roboter
DE102020120526A1 (de) Verfahren und computersystem zur objektidentifizierung
WO2015173092A1 (de) Verfahren und vorrichtung zur kalibrierung eines kamerasystems eines kraftfahrzeugs
EP3142913B1 (de) Umfeldkarte für fahrflächen mit beliebigem höhenverlauf
DE102015212932A1 (de) Verfahren zum Steuern eines Roboters und/oder eines autonomen fahrerlosen Transportsystems
EP3123208A1 (de) Detektion von gegenständen in einem objekt
DE102016105238A1 (de) Fahrzeug und fahrzeugparksystem
DE102018123393A1 (de) Erkennung von Parkflächen
DE102019107443A1 (de) Verfahren und Vorrichtung zum Betrieb eines Roboters mit verbesserter Objektdetektion
DE102018006764A1 (de) Verfahren und system(e) für das management von frachtfahrzeugen
DE102008036219A1 (de) Verfahren zur Erkennung von Objekten im Umfeld eines Fahrzeugs
DE102015010514A1 (de) Verfahren zur Ermittlung von Karteninformationen für einen Kartendatensatz einer Navigationsumgebung und Recheneinrichtung
WO2023110165A1 (de) Verfahren zum beladen eines transportmittels mit einem ladebehälter, umschlagvorrichtung
EP3597490B1 (de) Verfahren zur überwachung des beladungszustandes von nutzfahrzeugen oder wechselaufbauten für nutzfahrzeuge
DE102020103770A1 (de) Identifizierung der Aufmerksamkeitsregion zur Verbesserung der sensorgestützten Erkennung in einem Fahrzeug
DE102019208507A1 (de) Verfahren zur Bestimmung eines Überlappungsgrades eines Objektes mit einem Fahrstreifen
DE102022120971A1 (de) Gabelstapler und Verfahren zur Erfassung der Beladungsposition für einen Gabelstapler
DE102018126310B3 (de) Verfahren zum Erstellen eines Objektmodells zum Greifen eines Objekts, computerlesbares Speichermedium und Robotersystem
EP4377892A1 (de) Verfahren zur ermittlung einer zielposition
DE102022106765B3 (de) Verfahren zum Bestimmen einer Lage eines Objekts relativ zu einer Erfassungseinrichtung, Computerprogramm und Datenträger
DE112021007657T5 (de) Bildverarbeitungsvorrichtung und computerlesbares speichermedium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22721333

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2022721333

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022721333

Country of ref document: EP

Effective date: 20240521