DE102021203671B4 - Method for monitoring the condition of a lift truck of a forklift vehicle - Google Patents

Abstract

Verfahren zur Zustandsüberwachung eines Hubwagens (8) eines Staplerfahrzeugs (1), umfassend das kontaktlose Erfassen (II) des Hubwagens (8) mit einer Erfassungseinrichtung (17), das Feststellen (III), dass der mit der Erfassungseinrichtung (17) erfasste Hubwagen (8) einen nicht ordnungsgemäßen Zustand aufweist, und das Ausgeben (IV) einer Warnung zur Kommunikation des nicht ordnungsgemäßen Zustands des Hubwagens (8) des Staplerfahrzeugs (1), dadurch gekennzeichnet, dass das Feststellen (III) des nicht ordnungsgemäßen Zustands das Ermitteln (III.2.1, III.2.3) umfasst, ob eine Gabelzinke (12) an dem Hubwagen angeordnet und an diesem gesichert ist.Method for monitoring the condition of a lift truck (8) of a forklift vehicle (1), comprising the contactless detection (II) of the lift truck (8) with a detection device (17), the determination (III) that the lift truck (8) detected with the detection device (17) 8) is in an improper condition, and the issuance (IV) of a warning to communicate the improper condition of the lift truck (8) of the forklift truck (1), characterized in that the determination (III) of the improper condition means the determination (III .2.1, III.2.3) includes whether a fork (12) is arranged on the truck and secured to it.

Description

Technisches Gebiettechnical field

Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Zustandsüberwachung eines Hubwagens eines Staplerfahrzeugs. Ferner bezieht sich die vorliegende Erfindung auf eine Steuereinrichtung, die eingerichtet ist, um solch ein Verfahren auszuführen, und auf ein Staplerfahrzeug mit solch einer Steuereinrichtung.The present invention relates to a method for monitoring the condition of a lift truck of a forklift vehicle. Furthermore, the present invention relates to a control device that is set up to carry out such a method, and to a forklift truck with such a control device.

Stand der TechnikState of the art

Staplerfahrzeuge weisen ein Hubgerüst mit einem daran verstellbaren Hubwagen auf. An dem Hubwagen können Gabelzinken eingehängt werden, die mit einem Sicherungselement an dem Hubwagen arretierbar sind. DE 10 2017 124 850 A1 bezieht sich auf solch ein Staplerfahrzeug, das eine Gabelzinkenkamera aufweist. JP 2006- 225 091 A A bezieht sich auf einen Gabelstapler, der einen Hubwagen je nach Zustand des Fahrzeugs mit unterschiedlichen Geschwindigkeiten verstellen kann. Die DE 10 2019 202 067 A1 bezieht sich auf eine Zustandserfassungsvorrichtung mit einer Bilderfassungseinrichtung, die an einem Fahrzeug angeordnet ist. Die US 2020 / 0 377 351 A1 bezieht sich auf eine fahrzeugmontierte Einrichtung mit einer Analyseeinheit und einer Steuereinheit.Forklift vehicles have a mast with a lift truck that can be adjusted on it. Forks can be hung on the truck, which can be locked with a securing element on the truck. DE 10 2017 124 850 A1 refers to such a forklift vehicle having a fork camera. JP 2006- 225 091 A A refers to a forklift that can move a pallet truck at different speeds depending on the condition of the vehicle. The DE 10 2019 202 067 A1 relates to a condition detection device having an image capturing device, which is arranged on a vehicle. The U.S. 2020/0 377 351 A1 relates to a vehicle-mounted device having an analysis unit and a control unit.

Darstellung der ErfindungPresentation of the invention

Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Zustandsüberwachung eines Hubwagens eines Staplerfahrzeugs. Bei dem Staplerfahrzeug kann es sich um einen autonom fahrenden Stapler handeln, bei dem kein Fahrer zur Bedienung des Staplers erforderlich ist. Ebenfalls kann es sich um einen automatisiert fahrenden Stapler handeln, bei dem ein Fahrer entweder auf dem Stapler selbst oder an einem entfernten Ort, beispielsweise in einer Leitzentrale, zur Bedienung des Staplers vorgesehen ist. Auch kann es sich um einen Stapler handeln, bei dem ein Fahrer in einer Fahrerkabine des Staplers zur bestimmungsgemäßen Bedienung erforderlich ist. Bei dem Stapler kann es sich um ein Flurförderfahrzeug, beispielsweise um einen Gabelstapler, handeln. Der Stapler kann ein Hubgerüst und einen eigenen Antrieb aufweisen, um Stapel zu bilden oder Lagerregale zu bedienen. An dem Hubgerüst des Staplers kann ein Hubwagen vorgesehen sein, an dem mindestens eine, beispielsweise zwei, Gabelzinken befestigbar sind. Der Hubwagen kann entlang des Hubgerüsts mittels eines Antriebs, beispielsweise eines hydraulischen Antriebs, eines elektrischen Antriebs oder einer Kombination davon, verstellt werden. Der Stapler kann auch als Sondervariante ausgebildet sein, beispielsweise als Geländestapler, Schubmaststapler, Schmalgangstapler, Vier- und Mehrwegestapler oder Seitenstapler.The present invention relates to a method for monitoring the condition of a lift truck of a forklift vehicle. The forklift vehicle can be an autonomously driving forklift that does not require a driver to operate the forklift. It can also be an automated forklift, in which a driver is provided either on the forklift itself or at a remote location, for example in a control center, to operate the forklift. It can also be a forklift that requires a driver in a driver's cab of the forklift to operate it as intended. The truck can be an industrial truck, for example a forklift. The stacker can have a mast and its own drive to form stacks or to serve storage racks. A lift truck can be provided on the mast of the truck, to which at least one, for example two, fork arms can be fastened. The truck can be adjusted along the lifting frame by means of a drive, for example a hydraulic drive, an electric drive or a combination thereof. The forklift can also be designed as a special variant, for example as an all-terrain forklift, reach truck, narrow aisle forklift, four-way and multi-way forklift or sideloader.

Das Verfahren umfasst das kontaktlose Erfassen des Hubwagens mit einer Erfassungseinrichtung. Die Erfassungseinrichtung kann den Hubwagen optisch, kapazitiv, induktiv, mittels elektromagnetischer Wellen oder durch eine Kombination dieser erfassen. Die Erfassungseinrichtung ist derart an dem Staplerfahrzeug angeordnet, dass der Hubwagen in zumindest einer, beispielsweise in allen, seiner bestimmungsgemäßen Positionen an dem Hubgerüst in dem Erfassungsbereich der Erfassungseinrichtung liegt. Die Erfassungseinrichtung kann eine oder mehrere Sub-Einrichtungen, beispielsweise eine oder mehrere Sensorgruppen oder einen oder mehrere einzelne Sensoren, aufweisen. Die Erfassungseinrichtung kann eine Kameraeinrichtung, beispielsweise eine oder mehrere Kameras, ein Radar, einen Lidar oder eine Kombination dieser aufweisen. Im Rahmen einer Ausführungsform weist das Staplerfahrzeug eine einzelne Kamera auf, welche die Erfassungseinrichtung ausbildet. Mit der Erfassungseinrichtung kann ein Abschnitt des Hubwagens, beispielsweise auch ein Abschnitt eines an dem Hubwagen vorgesehenen Anbauteils, erfasst werden. Ebenso kann mit der Erfassungseinrichtung der gesamte Hubwagen, beispielsweise samt aller seiner Anbauteile, vollständig erfasst werden.The method includes the contactless detection of the truck with a detection device. The detection device can detect the truck optically, capacitively, inductively, by means of electromagnetic waves or by a combination of these. The detection device is arranged on the forklift vehicle in such a way that the lift truck lies in the detection range of the detection device in at least one, for example in all, of its intended positions on the mast. The detection device can have one or more sub-devices, for example one or more sensor groups or one or more individual sensors. The detection device can have a camera device, for example one or more cameras, a radar, a lidar or a combination of these. Within the scope of one embodiment, the forklift vehicle has a single camera, which forms the detection device. A section of the lift truck, for example also a section of an add-on part provided on the lift truck, can be detected with the detection device. Likewise, the entire lift truck, for example including all of its attachments, can be completely recorded with the recording device.

Ferner umfasst das Verfahren das Feststellen, dass der mit der Erfassungseinrichtung erfasste Hubwagen einen nicht ordnungsgemäßen Zustand aufweist. Bei dem nicht ordnungsgemäßen Zustand kann es sich um einen beschädigten Zustand des Hubwagens handeln. Alternativ oder zusätzlich kann es sich bei dem nicht ordnungsgemäßen Zustand um einen Zustand handeln, bei dem an dem Hubwagen bestimmte Elemente vorgesehen oder gerade nicht vorgesehen sind. Bei dem nicht ordnungsgemäßen Zustand handelt es sich um einen Zustand, der im bestimmungsgemäßen Betrieb des Staplerfahrzeugs nicht vorliegen sollte. Bei dem nicht ordnungsgemäßen Zustand kann ein Betrieb des Staplers unmöglich sein. Ebenso kann bei dem nicht ordnungsgemäßen Zustand ein Betrieb des Staplers eine Gefährdung für den Stapler selbst oder die Staplerumgebung darstellen. Ferner kann bei dem nicht ordnungsgemäßen Zustand ein Betrieb des Staplers zu einer erhöhten Abnutzung des Staplers führen. Alternativ oder zusätzlich kann bei dem nicht ordnungsgemäßen Zustand ein Betrieb des Staplers zu einer Verschlechterung der Effektivität oder Qualität der durch den Stapler auszuführenden Vorgänge führen. Auch eine Kombination der zuvor genannten Fälle ist möglich.The method also includes determining that the lift truck detected by the detection device is in an improper condition. The improper condition may be a damaged condition of the lift truck. Alternatively or additionally, the improper state can be a state in which certain elements are or are not provided on the lift truck. The improper condition is a condition that should not be present when the forklift truck is operated as intended. If the condition is not correct, it may be impossible to operate the truck. Likewise, if the truck is not in the proper condition, operation of the truck may pose a hazard to the truck itself or the truck environment. Furthermore, if the truck is not in the proper condition, operation of the truck can lead to increased wear and tear on the truck. Alternatively or additionally, when the condition is improper, operation of the truck may result in a degradation in the effectiveness or quality of operations to be performed by the truck. A combination of the aforementioned cases is also possible.

Darüber hinaus umfasst das Verfahren der vorliegenden Erfindung das Ausgeben einer Warnung zur Kommunikation des nicht ordnungsgemäßen Zustands des Hubwagens des Staplerfahrzeugs. Wird in dem vorherigen Schritt also festgestellt, dass der mit der Erfassungseinrichtung erfasste Hubwagen einen nicht ordnungsgemäßen Zustand aufweist, so wird im Rahmen der vorliegenden Erfindung eine Warnung zur Kommunikation dieses Zustands ausgegeben. Die Warnung kann optisch, akustisch oder durch eine Kombination dieser ausgegeben werden. Beispielsweise kann die Warnung auf einer Anzeigevorrichtung ausgegeben werden, die im Fahrerhaus des Staplers angeordnet sein kann. Ebenso kann die Warnung mittels eines Lautsprechers, beispielsweise durch einen schrillen Warnton, an den Fahrzeugführer ausgegeben werden. Im Rahmen einer Ausführungsform wird die Warnung an eine zentrale Leitstelle, die räumlich getrennt vom Staplerfahrzeug vorgesehen ist, ausgegeben. Auch in dieser Leitstelle kann die Warnung optisch oder akustisch gemäß den obigen Ausführungen ausgegeben werden. Die Warnung kann an die zentrale Leitstelle mittels des Internets und/oder eines lokalen Netzwerks übermittelt werden. Hierfür kann das Staplerfahrzeug eine Sendeeinrichtung aufweisen, mittels welcher die Warnung an die Leitstelle übersandt werden kann. Im Rahmen einer Ausführungsform wird die Warnung an die Fahrzeugumgebung, beispielsweise an ein benachbartes Staplerfahrzeug und/oder an eine Person in der unmittelbaren Fahrzeugumgebung, ausgegeben. Die Warnung kann an eine Person ausgegeben werden, die dazu befähigt ist, den ordnungsgemäßen Zustand des Hubwagens des Staplerfahrzeugs wiederherzustellen. Im Rahmen einer Ausführungsform wird die Warnung an eine Fahrzeugsteuerung des Staplers ausgegeben, welche daraufhin den Staplerbetrieb einschränkt oder vollständig unterbindet. So kann durch das Staplerfahrzeug integriert sichergestellt werden, dass beim Vorliegen eines nicht ordnungsgemä-ßen Zustands des Hubwagens keine Gefahr für und von dem Stapler ausgeht.In addition, the method of the present invention includes issuing an alert for communicating the improper cess condition of the lift truck of the forklift vehicle. If it is determined in the previous step that the lift truck detected by the detection device is in an improper condition, then within the scope of the present invention a warning is issued to communicate this condition. The warning can be output optically, acoustically or by a combination of these. For example, the warning can be output on a display device that can be arranged in the driver's cab of the truck. Likewise, the warning can be issued to the driver of the vehicle by means of a loudspeaker, for example by means of a shrill warning tone. As part of one embodiment, the warning is sent to a central control center that is spatially separate from the forklift truck. The warning can also be output optically or acoustically in this control center in accordance with the above statements. The warning can be transmitted to the central control center via the Internet and/or a local area network. For this purpose, the forklift vehicle can have a transmission device, by means of which the warning can be sent to the control center. Within the scope of one specific embodiment, the warning is output to the area surrounding the vehicle, for example to a neighboring forklift truck and/or to a person in the immediate vicinity of the vehicle. The warning can be issued to a person who is competent to restore the forklift truck's lift truck to the proper condition. Within the scope of one embodiment, the warning is output to a vehicle controller of the truck, which then restricts or completely prevents truck operation. In this way, the forklift vehicle can be used to ensure that there is no danger to or from the forklift if the lift truck is not in the correct condition.

Die vorliegende Erfindung erhöht die Betriebssicherheit von Staplerfahrzeugen. So kann mittels der vorliegenden Erfindung ein nicht ordnungsgemäßer Zustand des Hubwagens erkannt werden. Dies ist insbesondere bei autonom fahrenden Staplerfahrzeugen vorteilhaft, bei denen kein Fahrer zur Überwachung des Hubwagens vorhanden ist.The present invention increases the operational safety of forklift vehicles. Thus, by means of the present invention, an improper condition of the lift truck can be detected. This is particularly advantageous in the case of autonomously driving forklift vehicles in which there is no driver to monitor the lift truck.

Im Rahmen einer Ausführungsform wird beim Feststellen, ob der Hubwagen einen nicht ordnungsgemäßen Zustand aufweist, ermittelt, ob sich ein fremder Gegenstand auf dem Hubwagen des Staplers befindet. Bei dem fremden Gegenstand kann es sich beispielsweise um ein auf dem Hubwagen abgelegtes Werkzeug, einen Gegenstand, der aus einer transportierten Palette herausgefallen ist, oder einen sonstigen Gegenstand handeln. Der Gegenstand kann eine Gefahr für den Stapler sowie die Fahrzeugumgebung darstellen, wenn dieser nicht entfernt wird. Ebenso kann es sich bei dem Gegenstand um eine Verschmutzung des Hubwagens handeln, die beispielsweise ein bestimmungsgemäßes Einhängen von Gabelzinken in den Hubwagen nicht mehr ermöglicht. Alternativ oder zusätzlich kann im Rahmen dieser Ausführungsform festgestellt werden, ob der Hubwagen eine Beschädigung, beispielsweise einen Riss oder eine gelockerte/verlorene Schraube, aufweist.In one embodiment, when determining whether the lift truck is in an improper condition, it is determined whether there is a foreign object on the lift truck's lift truck. The foreign object can be, for example, a tool placed on the lift truck, an object that has fallen out of a transported pallet, or some other object. The object can pose a hazard to the truck and the surrounding area if it is not removed. The object can also be soiling of the lift truck, which, for example, no longer allows forks to be hooked into the lift truck as intended. Alternatively or additionally, within the scope of this embodiment, it can be determined whether the lift truck is damaged, for example has a crack or a loosened/lost screw.

Das Feststellen des nicht ordnungsgemäßen Zustands umfasst das Ermitteln, ob eine Gabelzinke an dem Hubwagen angeordnet ist. Im Rahmen von Staplerfahrzeugen, bei denen die Gabelzinken in den Hubwagen eingehängt und von diesem entfernt werden können, kann so sichergestellt werden, dass eine Gabelzinke vorgesehen ist und ein Betrieb des Staplers demnach möglich ist. Gerade bei autonom fahrenden Staplern kann dies vorteilhaft sein, da kein Fahrer zur Überprüfung der Gabelzinken vorhanden ist. Im Rahmen dieser Ausführungsform kann es ferner vorgesehen sein, dass nicht nur das Vorhandensein einer Gabelzinke ermittelt wird, sondern auch ermittelt wird, ob die Gabelzinke ordnungsgemäß ausgerichtet ist, beispielsweise senkrecht zum Hubwagen. Im Rahmen einer Ausführungsform kann ferner ermittelt werden, ob die Gabelzinke an der richtigen Position am Hubwagen angeordnet ist.Determining the improper condition includes determining whether a fork is positioned on the lift truck. In the context of forklift vehicles, in which the forks can be hung in the lift truck and removed from it, it can be ensured that a fork is provided and operation of the forklift is therefore possible. This can be particularly advantageous for forklifts that drive autonomously, since there is no driver to check the forks. In the context of this embodiment, it can also be provided that not only the presence of a fork is determined, but it is also determined whether the fork is properly aligned, for example perpendicular to the truck. In the context of one embodiment, it can also be determined whether the fork is arranged in the correct position on the truck.

Im Rahmen einer Ausführungsform kann ferner ermittelt werden, ob zwei Gabelzinken an dem Hubwagen angeordnet sind. Ist dies der Fall, kann ermittelt werden, ob die zwei Gabelzinken symmetrisch zur Hubwagenmitte, beispielsweise zur Mittelachse des Hubwagens, ausgerichtet sind. So kann sichergestellt werden, dass der Hubwagen beim Heben einer Last symmetrisch belastet wird, um so auf das Staplerfahrzeug aufgebrachte Kippmomente zu verhindern. Die Mittelachse des Hubwagens kann mit der Mittelachse des Staplerfahrzeugs zusammenfallen oder parallel zu dieser vorgesehen sein.In the context of one embodiment, it can also be determined whether two forks are arranged on the truck. If this is the case, it can be determined whether the two forks are aligned symmetrically to the middle of the truck, for example to the central axis of the truck. This ensures that the lifting truck is loaded symmetrically when lifting a load, in order to prevent tilting moments applied to the forklift vehicle. The central axis of the lift truck can coincide with the central axis of the forklift vehicle or can be provided parallel to it.

Das Feststellen des nicht ordnungsgemäßen Zustands umfasst ferner das Ermitteln, ob eine Gabelzinke gesichert ist. Gabelzinken können in den Hubwagen eingehängt und durch separate Sicherungselemente an diesem arretiert werden. Nur im arretierten Zustand ist dabei ein sicherer und ordnungsgemäßer Betrieb möglich. Im Rahmen dieser Ausführungsform kann ermittelt werden, ob ein Sicherungselement an der Gabelzinke vorhanden ist. Ferner kann ermittelt werden, ob sich das Sicherungselement in einem arretierten Zustand befindet. Im Rahmen dieser Ausführungsform kann ermittelt werden, ob alle Gabelzinken ein Sicherungselement aufweisen und sich dieses jeweils im arretierten Zustand befindet. Im Rahmen dieser Ausführungsform kann sichergestellt werden, dass Gabelzinken an dem Hubwagen ordnungsgemäß gesichert sind, um so einen sicheren Betrieb des Staplerfahrzeugs zu gewährleisten. Dies ist vor allem dann von Vorteil, wenn die Sicherungselemente von den Gabelzinken losgelöste Elemente sind, die beim Einhängen der Gabelzinken nicht zwangsläufig montiert werden müssen. In solch einem Fall kann es nämlich vorkommen, dass die Montage des Sicherungselements vergessen wird. Gerade bei autonomen Staplerfahrzeugen kann dies zu Gefahren führen, da kein Fahrer vorhanden ist, der während des Betriebs feststellen kann, dass die Sicherungselemente nicht montiert sind.Determining the improper condition also includes determining whether a fork is secured. Fork tines can be hooked into the lift truck and locked onto it using separate safety elements. Safe and proper operation is only possible when it is locked. Within the scope of this embodiment, it can be determined whether a securing element is present on the fork. Furthermore, it can be determined whether the securing element is in a locked state. Within the scope of this embodiment, it can be determined whether all forks have a securing element and whether this is in the locked state. Within the scope of this embodiment, it can be ensured that forks are properly secured on the lift truck, to ensure safe operation of the forklift truck. This is particularly advantageous when the securing elements are elements that are detached from the fork arms and do not necessarily have to be mounted when the fork arms are attached. In such a case it can happen that the assembly of the security element is forgotten. In the case of autonomous forklift vehicles in particular, this can lead to hazards, since there is no driver who can determine during operation that the safety elements are not installed.

Im Rahmen einer Ausführungsform kann das Feststellen des nicht ordnungsgemäßen Zustands das Verstellen des Hubwagens in eine andere Position, eine Positionsänderung des Staplers oder eine Kombination dieser umfassen. Anschließend kann der Hubwagen erneut mit der Erfassungseinrichtung erfasst werden. Ferner kann anschließend erneut festgestellt werden, ob der mit der Erfassungseinrichtung erfasste Hubwagen einen nicht ordnungsgemäßen Zustand aufweist. Durch das Durchführen dieser Feststellung an unterschiedlichen Positionen des Hubwagens kann die Genauigkeit des Verfahrens gemäß der vorliegenden Erfindung signifikant erhöht werden. Entsprechendes gilt für die Positionsänderung des Staplers. So können durch die mehrfache Messung an verschiedenen Orten/Positionen Umgebungseinflüsse und sonstige Störgrößen effektiv herausgefiltert werden. Die vorliegende Ausführungsform erlaubt demnach eine Zustandsüberwachung eines Hubwagens eines Staplerfahrzeugs mit besonders hoher Genauigkeit.Within the scope of one embodiment, the determination of the improper state can include moving the lift truck to a different position, changing the position of the forklift, or a combination of these. The truck can then be detected again with the detection device. Furthermore, it can then be determined again whether the lift truck detected by the detection device is in an improper condition. By performing this determination at different positions of the lift truck, the accuracy of the method according to the present invention can be increased significantly. The same applies to changing the position of the truck. In this way, environmental influences and other disturbance variables can be effectively filtered out by multiple measurements at different locations/positions. The present embodiment therefore allows status monitoring of a lift truck of a forklift truck with particularly high accuracy.

Im Rahmen einer Ausführungsform erfolgt das Feststellen des nicht ordnungsgemäßen Zustands auf Basis der mit der Erfassungseinrichtung erfassten Daten mittels einer analytischen Bildverarbeitung. Die analytische Bildbearbeitung kann auf unterschiedliche Modelle des Staplers, beispielsweise auf ein Modell des Hubwagens und ein Modell eines Sicherungselement, gestützt sein. Ferner kann das Verfahren im Rahmen dieser analytischen Bildverarbeitung auf hinterlegte Soll-Dimensionen in 3D, beispielsweise Soll-Größen und Soll-Abstände, zurückgreifen und diese aus der bekannten geometrischen Beziehung zwischen Erfassungseinrichtung und Hubwagen in Soll-Beziehungen in den erfassten Bilddaten umrechnen. Die analytische Bildverarbeitung hat den Vorteil, dass umgehend Ergebnisse mit einer sehr guten Genauigkeit erzielt werden können.In the context of one embodiment, the improper state is determined on the basis of the data recorded with the recording device by means of analytical image processing. The analytical image processing can be based on different models of the forklift, for example on a model of the lift truck and a model of a safety element. Furthermore, as part of this analytical image processing, the method can access stored target dimensions in 3D, for example target sizes and target distances, and convert these from the known geometric relationship between the detection device and the lifting truck into target relationships in the captured image data. Analytical image processing has the advantage that results can be achieved immediately with a very high level of accuracy.

Alternativ oder zusätzlich kann das Feststellen des nicht ordnungsgemäßen Zustands auch mit einer auf künstlicher Intelligenz (KI) basierten Bildverarbeitung erfolgen. Die künstliche Intelligenz kann mittels Daten aus einer Vielzahl von Staplerfahrzeugen, beispielsweise aus einer gesamten Flotte, trainiert werden. Die künstliche Intelligenz kann, beispielsweise mittels eines Classifiers, trainiert werden, um verschiedene Elemente in den Daten zu finden. Beispiele dieser Elemente sind der Hubwagen, eine oder mehrere Gabelzinken, ein oder mehrere Sicherungselemente, Risse oder sonstige Beschädigungen an dem Hubwagen, Müll oder fremde Gegenstände auf dem Hubwagen oder auch der Typ des Hubwagens. Mittels der künstlichen Intelligenz können besonders hohe Genauigkeiten in der Feststellung eines nicht ordnungsgemäßen Zustands des Hubwagens erzielt werden.Alternatively or additionally, the improper state can also be determined using image processing based on artificial intelligence (AI). The artificial intelligence can be trained using data from a large number of forklift vehicles, for example from an entire fleet. The artificial intelligence can be trained, for example using a classifier, to find different elements in the data. Examples of these elements are the lift truck, one or more forks, one or more securing elements, cracks or other damage to the lift truck, garbage or foreign objects on the lift truck, or the type of lift truck. Artificial intelligence can be used to achieve particularly high levels of accuracy when determining whether the truck is in an improper condition.

Darüber hinaus bezieht sich die vorliegende Erfindung auf eine Steuereinrichtung mit einer Eingabeschnittstelle zum Einlesen von Daten einer Erfassungseinrichtung gemäß der obigen Ausführungsformen. Die Steuereinrichtung weist eine Rechnereinrichtung auf, die eine oder mehrere Mikrocontroller aufweisen kann. Die Rechnereinrichtung ist eingerichtet, also spezifisch hergerichtet, beispielsweise programmiert, um das Verfahren gemäß einer der vorhergehenden Ausführungsformen auszuführen. Das Verfahren wird durch die Rechnereinrichtung dabei auf Basis der durch die Eingabeschnittstelle eingelesenen Daten der Erfassungseinrichtung ausgeführt. Ferner umfasst die Steuereinrichtung eine Ausgabeschnittstelle zum Ausgeben von Daten, die eine Warnung indizieren. Über die Ausgabeschnittstelle können beispielsweise Daten an die Fahrzeugsteuerung ausgegeben werden, die gemäß obigen Ausführungen in die Fahrdynamik eingreifen kann. Ebenso können über die Ausgabeschnittstelle Daten an einen Warngeber ausgegeben werden, wie oben beschrieben. Im Rahmen einer Ausführungsform werden über die Ausgabeschnittstelle Daten in einer Car2X-Kommunikation, beispielsweise Car2Car-Kommunikation, bereitgestellt, um eine Warnung gemäß obigen Ausführungsformen an die Fahrzeugumgebung auszugeben. Bei den Schnittstellen der vorliegenden Erfindung kann es sich um eine Hardware- und/oder Software-Schnittstelle handeln, die als Eingabe- und/oder Ausgabeschnittstelle ausgebildet sein kann.In addition, the present invention relates to a control device with an input interface for reading in data from a detection device according to the above embodiments. The control device has a computer device, which can have one or more microcontrollers. The computer device is set up, ie specifically prepared, for example programmed, to carry out the method according to one of the preceding embodiments. The method is executed by the computer device on the basis of the data of the detection device read in through the input interface. Furthermore, the control device includes an output interface for outputting data that indicate a warning. For example, data can be output via the output interface to the vehicle controller, which can intervene in the driving dynamics according to the above statements. Likewise, data can be output to a warning device via the output interface, as described above. Within the framework of one specific embodiment, data in a Car2X communication, for example Car2Car communication, is provided via the output interface in order to output a warning to the vehicle environment in accordance with the above specific embodiments. The interfaces of the present invention can be a hardware and/or software interface, which can be embodied as an input and/or output interface.

Darüber hinaus bezieht sich die vorliegende Erfindung auf ein Staplerfahrzeug mit einem Hubgerüst, an dem ein Hubwagen zum Tragen von mindestens einer Gabelzinke verstellbar vorgesehen ist. Das Staplerfahrzeug weist ferner eine Erfassungseinrichtung zum Erfassen eines Zustands des Hubwagens auf. Die Erfassungseinrichtung kann an dem Chassis des Staplerfahrzeugs, an dem Hubgerüst oder an beiden vorgesehen sein. Ferner umfasst das Staplerfahrzeug eine Steuereinrichtung gemäß der obigen Ausführungsform. Hinsichtlich des Verständnisses der einzelnen Merkmale wird auf die obigen Ausführungen verwiesen.In addition, the present invention relates to a forklift vehicle with a lifting frame on which a lifting truck is provided for carrying at least one fork arm in an adjustable manner. The forklift truck also has a detection device for detecting a status of the lift truck. The detection device can be provided on the chassis of the forklift truck, on the mast or on both. Furthermore, the forklift vehicle includes a control device according to the above embodiment. With regard to understanding the individual features, reference is made to the above statements.

Im Rahmen einer Ausführungsform sind die ordnungsgemäß am Hubwagen angebrachten Gabelzinken und die Erfassungseinrichtung jeweils mittig zum Hubwagen ausgerichtet, beispielsweise symmetrisch zu einer Mittelachse des Hubwagens. Die Mittelachse des Hubwagens kann sich mit der Mittelachse des Staplers decken. Diese Ausführungsform führt zu dem Vorteil, dass eine Erfassungseinrichtung, beispielsweise Kamera, verwendet werden kann, die nicht extrinsisch und intrinsisch kalibriert werden braucht. So kann auch ohne diese Kalibrierung eine analytische Bildverarbeitung durchgeführt werden, da im ordnungsgemäßen Zustand beide Gabelzinken und beide Sicherungselemente die gleiche Größe in den erfassten Daten aufweisen müssen, um symmetrisch zur Mittelachse des Hubwagens angeordnet zu sein. Im Rahmen dieser Ausführungsform kann demnach ein besonders einfaches und kosteneffizientes System zum Überwachen eines Zustands des Hubwagens des Staplerfahrzeugs bereitgestellt werden.Within the scope of one embodiment, the fork prongs that are properly attached to the lift truck and the detection device are each aligned in the middle of the lift truck, for example symmetrically to a central axis of the lift truck. The central axis of the pallet truck can coincide with the central axis of the forklift. This embodiment leads to the advantage that a detection device, for example a camera, can be used which does not need to be calibrated extrinsically and intrinsically. Analytical image processing can also be carried out without this calibration, since both forks and both safety elements must have the same size in the recorded data if they are in proper condition in order to be arranged symmetrically to the central axis of the lift truck. A particularly simple and cost-efficient system for monitoring a status of the lift truck of the forklift vehicle can therefore be provided within the scope of this embodiment.

Figurenlistecharacter list

• 1 zeigt einen Gabelstapler gemäß einer Ausführungsform der vorliegenden Erfindung. 1 12 shows a forklift according to an embodiment of the present invention.
• 2 zeigt einen nicht ordnungsgemäßen Zustand des Gabelstaplers aus 1. 2 indicates an improper condition of the forklift 1 .
• 3 zeigt Gabelzinken des Gabelstaplers aus 1. 3 shows the forks of the forklift 1 .
• 4 zeigt schematisch ein Ablaufdiagramm eines Verfahrens zur Zustandsüberwachung eines Hubwagens des Gabelstaplers aus 1 gemäß einer Ausführungsform der vorliegenden Erfindung. 4 shows a schematic flowchart of a method for monitoring the condition of a lift truck of the forklift 1 according to an embodiment of the present invention.

Detaillierte Beschreibung von AusführungsformenDetailed Description of Embodiments

1 zeigt ein Staplerfahrzeug 1, das im vorliegenden Fall als Gabelstapler ausgebildet ist. Der Gabelstapler 1 umfasst einen Fahrzeugrahmen 2, an dem auf der rechten und linken Seite jeweils zwei Räder 3 gelagert sind. Ferner ist auf dem Fahrzeugrahmen 2 ein Führerstand 4 angeordnet. In einer anderen Ausführungsform handelt es sich bei dem Gabelstapler um einen autonom fahrenden Gabelstapler, der kein Führerstand 4 aufweist. Am vorderen Ende des Staplers 1 ist ein Hubgerüst 5 vorgesehen, das über einen Neigezylinder 6 um eine horizontal angeordnete Achse geneigt werden kann. Das Hubgerüst 5 weist einen Hubrahmen 7 auf, entlang dem ein Hubwagen 8 im Wesentlichen vertikal verstellbar vorgesehen ist. Die Verstellung des Hubwagens 8 erfolgt über einen Hubzylinder 9, der mittels einer Hubkette 10 über eine Umlenkrolle 11 mit dem Hubwagen 8 verbunden ist. 1 shows a forklift vehicle 1, which is designed in the present case as a forklift. The forklift 1 comprises a vehicle frame 2 on which two wheels 3 are mounted on the right and left side. Furthermore, a driver's cab 4 is arranged on the vehicle frame 2 . In another embodiment, the forklift truck is an autonomously driving forklift truck that does not have a driver's cab 4 . At the front end of the truck 1, a mast 5 is provided, which can be tilted about a horizontally arranged axis via a tilting cylinder 6. The mast 5 has a lifting frame 7 along which a lifting carriage 8 is provided so that it can be adjusted substantially vertically. The lifting carriage 8 is adjusted via a lifting cylinder 9 which is connected to the lifting carriage 8 by means of a lifting chain 10 via a deflection roller 11 .

Der Hubwagen 8 ist im Detail in 2 gezeigt. An dem Hubwagen 8 können Gabelzinken 12 eingehängt und arretiert werden. Wie in 2 gezeigt, weist der Hubwagen 8 hierfür an seiner Oberseite eine Einhängschiene 13 auf, die sich in der vorliegenden Ausführungsform vom rechten bis zum linken Ende des Hubwagens 8 erstreckt. An unterschiedlichen Orten der Einhängschiene 13 sind Arretierungskerben 14 vorgesehen. Im Rahmen dieser Ausführungsform ist sowohl auf der rechten Seite des Hubwagens 8 als auch auf der linken Seite des Hubwagens 8 ein bestimmtes Muster von Arretierungskerben 14 in der Einhängschiene 13 vorgesehen, welches symmetrisch zur Mitte des Hubwagens 8 ausgebildet ist.The truck 8 is in detail in 2 shown. On the truck 8 forks 12 can be hung and locked. As in 2 shown, the lift truck 8 has a suspension rail 13 on its upper side for this purpose, which in the present embodiment extends from the right to the left end of the lift truck 8 . Locking notches 14 are provided at different locations of the suspension rail 13 . In this embodiment, a specific pattern of locking notches 14 is provided in the suspension rail 13 both on the right side of the truck 8 and on the left side of the truck 8 , which pattern is symmetrical to the center of the truck 8 .

Wie aus 3 ersichtlich, können in die Einhängschiene 13 des Hubwagens 8 Gabelzinken 12 eingehängt werden. Hierfür weisen die Gabelzinken 12 jeweils eine Rille 15 auf, in welche die Einhängschiene 13 des Hubwagens 8 einführbar ist. Sowohl auf der rechten Seite als auch auf der linken Seite des Hubwagens 8 kann eine Gabelzinke 12 mittels der Einhängschiene 13 an dem Hubwagen 8 angebracht werden. Die Gabelzinken 12 weisen jeweils ein Sicherungselement 16 auf, über welches die Gabelzinke 12 an dem Hubwagen 8 arretiert beziehungsweise gesichert werden kann. Das Sicherungselement 16 der Gabelzinke 12 ist dabei in der vorliegenden Ausführungsform jeweils als Federstift ausgebildet, der bei eingehängter Gabelzinke 12 in die Einhängschiene 13 über eine Federkraft in eine Arretierungsnut 14 vorgespannt wird. Durch Aufbringen einer Zugkraft auf das Sicherungselement 16 kann der Federstift entgegen der Federkraft aus der Arretierungsnut 14 herausgezogen werden, um so die Gabelzinke 12 von dem Hubwagen 8 abzunehmen.How out 3 can be seen, 8 forks 12 can be hung in the suspension rail 13 of the lift truck. For this purpose, the forks 12 each have a groove 15 into which the suspension rail 13 of the lift truck 8 can be inserted. A fork tine 12 can be attached to the truck 8 by means of the suspension rail 13 both on the right side and on the left side of the truck 8 . The forks 12 each have a securing element 16 via which the forks 12 can be locked or secured on the truck 8 . In the present embodiment, the securing element 16 of the fork arm 12 is in each case designed as a spring pin which, when the fork arm 12 is suspended in the suspension rail 13 , is pretensioned by a spring force in a locking groove 14 . By applying a tensile force to the securing element 16 , the spring pin can be pulled out of the locking groove 14 counter to the spring force, in order to remove the fork tine 12 from the lift truck 8 .

Ferner weist der Gabelstapler 1 eine Erfassungseinrichtung 17 auf, die in der vorliegenden Ausführungsform als Kamera ausgebildet ist. Die Erfassungseinrichtung 17 ist vorliegend am vorderen Ende des Gabelstaplers 1 angeordnet und so ausgebildet, dass der Hubwagen 8 in ihrem Erfassungsbereich in all seinen bestimmungsgemäßen Betriebszuständen liegt. Genauer gesagt umfasst der Erfassungsbereich der Kamera 17 sowohl den tiefsten als auch den höchsten Punkt des Hubwagens 8 entlang des Hubrahmens 7. Die Erfassungseinrichtung 17 ist über eine Datenleitung 20 mit einer Eingabeschnittstelle 18 einer Steuereinrichtung 21 elektrisch verbunden. Die Steuereinrichtung 21 weist ferner eine Ausgabeschnittstelle 19 auf, über welche Warndaten, beispielsweise ein Warnsignal, an eine nicht gezeigte Anzeigevorrichtung im Führerhaus 4 des Gabelstaplers 1 ausgegeben werden kann. Handelt es sich bei dem Gabelstapler 1 um einen autonom fahrenden Gabelstapler, kann über die Ausgabeschnittstelle 19 ein Warnsignal an eine zentrale Leitstelle einer Gabelstaplerflotte ausgegeben werden. Der Gabelstapler 1 weist einen Warngeber 22 auf, an welchen die Warndaten über die Ausgabeschnittstelle 19 der Steuereinrichtung 21 ausgegeben werden. Weiter kann das Ausgeben von Warndaten auch einen Eingriff in die Fahrdynamik umfassen. Hierunter ist zu verstehen, dass die Ausgabe der Warndaten dezentral (zum Beispiel in einem Steuergerät für autonome Fahrfunktionen) eine Reduzierung der Fahrgeschwindigkeit des Gabelstaplers 1 oder eine Reduzierung einer maximal zugelassenen Fahrgeschwindigkeit zur Folge hat. Auch die autonome Navigation zu einem sicheren bzw. zugelassenen Ort kann hierunter zu verstehen sein. Die zuvor genannten Maßnahme können anstatt dezentral auch durch die Steuereinrichtung 21 selbst ausgeführt werden. Die Steuereinrichtung 21 weist ferner eine nicht gezeigte Rechnereinrichtung auf, die als Mikroprozessor ausgebildet und eingerichtet ist, um das im Folgenden unter Bezugnahme auf 4 beschriebene Verfahren auszuführen.Furthermore, the forklift 1 has a detection device 17, which is designed as a camera in the present embodiment. In the present case, the detection device 17 is arranged at the front end of the forklift truck 1 and is designed in such a way that the lift truck 8 is within its detection range in all of its intended operating states. More precisely, the detection range of the camera 17 includes both the lowest and the highest point of the truck 8 along the lifting frame 7. The detection device 17 is electrically connected via a data line 20 to an input interface 18 of a control device 21. The control device 21 also has an output interface 19 via which warning data, for example a warning signal, can be output to a display device (not shown) in the driver's cab 4 of the forklift truck 1 . If the forklift truck 1 is an autonomously driving forklift truck, a warning signal can be output to a central control center of a forklift truck fleet via the output interface 19 . The forklift 1 has a warning Via 22, to which the warning data are output via the output interface 19 of the control device 21. Furthermore, the output of warning data can also include an intervention in the driving dynamics. This means that the output of the warning data in a decentralized manner (for example in a control unit for autonomous driving functions) results in a reduction in the driving speed of the forklift truck 1 or a reduction in a maximum permitted driving speed. This can also mean autonomous navigation to a safe or approved location. The aforementioned measure can also be carried out by the control device 21 itself instead of in a decentralized manner. The control device 21 also has a computer device, not shown, which is designed and set up as a microprocessor to the following with reference to 4 carry out the procedures described.

In einem ersten Schritt I wird geprüft, ob sich der Gabelstapler 1 in einem Zustand befindet, bei dem der Zustand des Hubwagens 8 überwacht werden soll. Im Rahmen des Schritts I wird in der vorliegenden Ausführungsform geprüft, ob sich der Gabelstapler 1 im Startmodus befindet, also gerade in Betrieb gesetzt wurde. Das Verfahren der vorliegenden Erfindung zum Überwachen des Zustands des Hubwagens 8 wird also ausgeführt, bevor der Stapler 1 bestimmungsgemäß verwendet wird. Ferner wird im Rahmen von Schritt I überprüft, ob das Laden einer Last, beispielsweise einer Palette, unmittelbar bevorsteht oder gerade abgeschlossen wurde. Das Verfahren zum Überwachen des Zustands des Hubwagens 8 wird also auch direkt vor oder direkt nach dem Laden einer Last durch den Stapler 1 ausgeführt. Im Rahmen einer weiteren Ausführungsform kann der Zustand des Hubwagens 8 in Schritt I auch kontinuierlich während des Betriebs überwacht werden. Dabei kann das Verfahren zum Überwachen ausgesetzt werden, wenn der Hubwagen 8 durch eine Last verdeckt wird und demnach durch die Kamera 17 nicht mehr bestimmungsgemäß erfasst werden kann. Kommt die Prüfung in Schritt I zu dem Ergebnis, dass der Zustand des Hubwagens 8 zu überwachen ist, fährt das Verfahren fort mit Schritt II.In a first step I, it is checked whether the forklift truck 1 is in a state in which the state of the lift truck 8 is to be monitored. As part of step I, it is checked in the present embodiment whether the forklift 1 is in start mode, ie has just been put into operation. The method of the present invention for monitoring the status of the lift truck 8 is thus carried out before the truck 1 is used as intended. Furthermore, as part of step I, it is checked whether the loading of a load, for example a pallet, is imminent or has just been completed. The method for monitoring the status of the lift truck 8 is also carried out directly before or directly after the forklift 1 loads a load. As part of a further embodiment, the status of the truck 8 in step I can also be monitored continuously during operation. The method for monitoring can be suspended if the truck 8 is covered by a load and can therefore no longer be detected by the camera 17 as intended. If the check in step I comes to the conclusion that the condition of the lift truck 8 is to be monitored, the method continues with step II.

Im Rahmen eines zweiten Schritts II wird der Hubwagen 8 mittels der Kamera 17 kontaktlos erfasst. Die durch die Kamera 17 erfassten Bilddaten werden über die Datenleitung 20 der Steuereinrichtung 21 zugeführt und durch diese über die Eingabeschnittstelle 18 eingelesen. Im Rahmen einer anderen Ausführungsform sind eine Vielzahl von Kameras vorgesehen, die gemeinsam die Erfassungseinrichtung ausbilden. Im Rahmen dieser Ausführungsform werden die durch die Vielzahl von Kameras erfassten Bilddaten durch die Steuereinrichtung 21 über die Eingangsschnittstelle 18 eingelesen.As part of a second step II, the truck 8 is contactlessly recorded by the camera 17 . The image data recorded by the camera 17 are supplied to the control device 21 via the data line 20 and read in by the latter via the input interface 18 . Within the scope of another embodiment, a large number of cameras are provided, which together form the detection device. Within the scope of this embodiment, the image data captured by the plurality of cameras are read in by the control device 21 via the input interface 18 .

Die Rechnereinrichtung (nicht gezeigt) der Steuereinrichtung 21 ermittelt nun in einem dritten Schritt III auf Basis der über die Eingangsschnittstelle 18 eingelesenen Bilddaten, ob der Hubwagen 8 einen nicht ordnungsgemäßen Zustand aufweist. Hierfür wird zunächst in einem Schritt III.1 eine Erkennung durchgeführt, ob sich auf dem Hubwagen 8 ein fremder Gegenstand 23, beispielsweise ein Werkzeug oder ein aus einer transportierten Palette gefallener Gegenstand, befindet. Der fremde Gegenstand 23 kann sich unmittelbar auf dem Hubwagen 8 oder aber auch im Bereich der Gabelzinken 12 befinden. Bei dem fremden Gegenstand 23 handelt es sich vorliegend um einen Gegenstand, der durch bei Gabelstaplern 1 häufig vorgesehene „Safety-Curtains“ oder horizontal ausgerichteten „Safety-Sensoren“ nicht erfasst wird. Im Rahmen des Schritts III. 1 wird ferner erkannt, ob der Hubwagen 8 Risse oder andere Beschädigungen aufweist. Ebenso wird erkannt, ob der Hubwagen 8 eine Verschmutzung aufweist, beispielsweise derart stark verschmutzt ist, dass ein ordnungsgemäßer Betrieb des Staplers 1 nicht mehr möglich ist.In a third step III, the computing device (not shown) of the control device 21 now determines, on the basis of the image data read in via the input interface 18, whether the lifting truck 8 is in an improper state. For this purpose, in a step III.1, a detection is first carried out as to whether there is a foreign object 23 on the truck 8, for example a tool or an object that has fallen from a transported pallet. The foreign object 23 can be located directly on the truck 8 or else in the area of the forks 12 . In the present case, foreign object 23 is an object that is not detected by “safety curtains” or horizontally aligned “safety sensors” that are often provided in forklift trucks 1 . As part of step III. 1 it is also recognized whether the lift truck 8 has cracks or other damage. It is also detected whether the lift truck 8 is soiled, for example is so heavily soiled that proper operation of the truck 1 is no longer possible.

In einem Schritt III.2.1 wird auf Basis der über die Eingangsschnittstelle 18 eingelesenen Bilddaten der Kamera 17 erkannt, ob beide Gabelzinken, also eine Gabelzinke 12 am rechten Ende des Hubwagens 8 sowie eine Gabelzinke 12 am linken Ende des Hubwagens 8, vorgesehen sind. Wird in Schritt III.2.1 ermittelt, dass beide Gabelzinken 12 an dem Hubwagen 8 vorgesehen sind, wird in einem Folgeschritt III.2.2 ermittelt, ob die beiden Gabelzinken 12 symmetrisch zur Mitte des Hubwagens 8 angeordnet sind. Die Mitte des Hubwagens 8 fluchtet in der vorliegenden Ausführungsform mit der Mitte des Staplers 1. In einem Folgeschritt III.2.3 wird ermittelt, ob beide Gabelzinken mit den Sicherungselementen 16 gesichert sind. Im Rahmen dieses Schritts wird zunächst überprüft, ob jede Gabelzinke 12 ein Sicherungselement 16 aufweist. Anschließend wird überprüft, ob sich die Sicherungselemente 16 in ihrer arretierten Position befinden, also in die Arretierungsnut 14 der Einhängschiene 13 des Hubwagens 8 eingerastet sind, wie oben beschrieben.In a step III.2.1, based on the image data from the camera 17 read in via the input interface 18, it is recognized whether both forks, i.e. a fork 12 at the right end of the lift truck 8 and a fork 12 at the left end of the lift truck 8, are provided. If it is determined in step III.2.1 that both forks 12 are provided on the truck 8 , it is determined in a subsequent step III.2.2 whether the two forks 12 are arranged symmetrically to the center of the truck 8 . In the present embodiment, the center of the lift truck 8 is aligned with the center of the truck 1. In a subsequent step III.2.3, it is determined whether both forks are secured with the securing elements 16. As part of this step, it is first checked whether each fork arm 12 has a securing element 16 . A check is then carried out to determine whether the securing elements 16 are in their locked position, ie whether they have snapped into the locking groove 14 of the suspension rail 13 of the lift truck 8, as described above.

Die zuvor beschriebenen Schritte III.1 sowie III.2.1 bis III.2.3 werden im Rahmen der vorliegenden Ausführungsform auf Basis einer analytischen Bildverarbeitung ausgeführt. Hierfür sind in der Rechnereinrichtung der Steuereinrichtung 21 zumindest ein Modell des Hubwagens 8, beispielsweise ohne Gabelzinken, sowie ein Modell der Sicherungselemente 16 hinterlegt. Ferner ist ein Soll-Abstand der Gabelzinken 12 zur Fahrzeugachse oder zur Außenkante des Hubwagens 8 hinterlegt. Auch die Breite der Gabelzinken 12 und alternativ oder zusätzlich der Soll-Abstand der Gabelzinken 12 zueinander ist in der Steuereinrichtung 21 hinterlegt. Auch weitere Parametrisierungen, beispielsweise weitere Modelle sowie weitere Soll-Maße oder Abstände von Komponenten, können in der Steuereinrichtung 21 hinterlegt sein.Steps III.1 and III.2.1 to III.2.3 described above are carried out within the scope of the present embodiment on the basis of analytical image processing. For this purpose, at least one model of the lift truck 8 , for example without forks, and a model of the securing elements 16 are stored in the computer of the control device 21 . Furthermore, a target distance of the forks 12 to the vehicle axle or to the outer edge of the truck 8 is stored. Also the width of the forks 12 and alternatively or additionally the target distance between the forks 12 and one another is stored in the control device 21 . Further parameterizations, for example further models and further target dimensions or distances between components, can also be stored in the control device 21 .

Die Gabelzinken 12 können durch die Steuereinrichtung 21 mittels Bildreduktion, Farbreduktion und Thresholding sowie auf Basis einer Kantenextraktion in den Bilddaten erkannt werden. Die Kanten werden entsprechend des hinterlegten Modells beziehungsweise der hinterlegten Modelle zusammengesetzt, wobei hierbei die Lage der Kamera 17 zum Hubwagen 8 berücksichtigt wird. Die Prüfung auf das Vorhandensein der Sicherungselemente 16 kann mittels einer Suche nach Kreisen im Bild erfolgen, da die Sicherungselemente 16 in der vorliegenden Ausführungsform kreisförmig ausgebildet sind, wie in 3 ersichtlich. Da ein Modell des Sicherungselements 16 in der Steuereinrichtung 21 hinterlegt und folglich die reale Größe des Sicherungselements 16 bekannt ist (beispielsweise 3 cm Durchmesser), wird durch die Rechnereinrichtung aufgrund der bekannten relativen Lage zwischen Kamera 17 und Hubwagen 18 eine Soll-Abmessung des Sicherungselements 16 in den Bilddaten errechnet. Anschließend sucht die Rechnereinrichtung in den Bilddaten nach Kreisen mit dieser Soll-Abmessung. The fork tines 12 can be recognized by the control device 21 by means of image reduction, color reduction and thresholding as well as on the basis of an edge extraction in the image data. The edges are assembled according to the stored model or models, the position of the camera 17 relative to the lifting truck 8 being taken into account. The check for the presence of the fuse elements 16 can be carried out by searching for circles in the image, since the fuse elements 16 are circular in the present embodiment, as shown in FIG 3 evident. Since a model of the security element 16 is stored in the control device 21 and the actual size of the security element 16 is therefore known (e.g. 3 cm in diameter), the computer device uses the known relative position between the camera 17 and the lifting truck 18 to calculate a target dimension for the security element 16 calculated in the image data. The computer device then looks for circles with this target dimension in the image data.

Ferner kann die Rechnereinrichtung die Position der Elemente in 3D zur akkurateren Prüfung der Einhaltung der Parametrisierung schätzen.Furthermore, the computing device can estimate the position of the elements in 3D for more accurate checking of the compliance with the parameterization.

Die Rechnereinrichtung der Steuereinrichtung 21 ist ferner eingerichtet, um aus den Bilddaten zu erkennen, ob die Sicherungselemente 16 eingerastet sind. So ist die Kamera 17 extrinsisch und intrinsisch kalibriert. Ferner ist die Lage des Hubwagens 8 relativ zur Kamera 17 bekannt. Aus einer genauen Spezifizierung der Modelle des Hubwagens 8 und der Sicherungselemente 16 kann die Rechnereinrichtung der Steuereinrichtung 21 nun einen Soll-Abstand zwischen dem Sicherungselement 16 im arretierten Zustand und der Oberseite des Hubwagens 8 in den Bilddaten berechnen. Neben einer Soll-Größe der Sicherungselemente 16 kann die Rechnereinrichtung demnach auch eine Soll-Position berechnen. Die berechnete Soll-Größe/der berechnete Soll-Abstand werden mit einer tatsächlich im Bild gefundenen Größe/Position verglichen. Wird durch die Rechnereinrichtung festgestellt, dass die Elemente zu groß/zu hoch sind, wird daraus geschlussfolgert, dass die Sicherungselemente 16 nicht eingerastet sind.The computing device of the control device 21 is also set up to recognize from the image data whether the securing elements 16 are engaged. Thus, the camera 17 is extrinsically and intrinsically calibrated. Furthermore, the position of the truck 8 relative to the camera 17 is known. From a precise specification of the models of the lift truck 8 and the safety elements 16, the computer of the control device 21 can now calculate a target distance between the safety element 16 in the locked state and the top of the lift truck 8 in the image data. In addition to a target size of the securing elements 16, the computer device can therefore also calculate a target position. The calculated nominal size/the calculated nominal distance are compared with a size/position actually found in the image. If the computing device determines that the elements are too large/high, it is concluded that the securing elements 16 have not snapped into place.

In einem Folgeschritt III.3 wird der Hubwagen 8 samt der Gabelzinken 12 mittels des Hubzylinders 9 in eine andere vertikale Position am Hubrahmen 7 verstellt. In der vorliegenden Ausführungsform wird der Hubwagen 8 hierzu an eine Position gefahren, bei welcher die Sicherungselemente 16 so nah wie möglich an der Kamera 17 sind, um dadurch in den Bilddaten maximal groß zu sein. Ferner wird der Hubwagen 8 an eine Position gefahren, bei welcher der Ausrichtungswinkel zur Kamera optimal ist. In all diesen unterschiedlichen Lagen des Hubwagens 8 an dem Hubrahmen 7 werden die zuvor beschriebenen Schritte II, III.1 und III.2.1 bis III.2.3 erneut ausgeführt. Ebenso wird der gesamte Gabelstapler 1 in Schritt III.3 an eine andere Position bewegt, um Falschdetektionen, beispielsweise aufgrund von Verschmutzungen am Boden, zu vermeiden. An der neuen Position werden auch hier die Schritte II, III.1 und III.2.1 bis III.2.3 erneut ausgeführt. Hierbei werden Bereiche im Bild, die sich bewegen, ignoriert beziehungsweise ausmarkiert und nur Bereiche, die sich nicht ändern, für die weitere Analyse, beispielsweise das Matching mit dem Modell, berücksichtigt.In a subsequent step III.3, the lift truck 8 together with the forks 12 is adjusted to another vertical position on the lifting frame 7 by means of the lifting cylinder 9 . For this purpose, in the present embodiment, the lift truck 8 is moved to a position in which the securing elements 16 are as close as possible to the camera 17 in order to thereby have the maximum size in the image data. Furthermore, the truck 8 is moved to a position at which the alignment angle to the camera is optimal. In all of these different positions of the truck 8 on the lifting frame 7, steps II, III.1 and III.2.1 to III.2.3 described above are carried out again. Likewise, the entire forklift truck 1 is moved to a different position in step III.3 in order to avoid false detections, for example due to soiling on the floor. Steps II, III.1 and III.2.1 to III.2.3 are carried out again at the new position. Here, areas in the image that move are ignored or marked out and only areas that do not change are considered for further analysis, for example matching with the model.

Mittels der in Verfahrensschritt 111.3 durchgeführten Positionsänderungen von Hubwagen 8 beziehungsweise Fahrzeug 1 wird eine höhere Genauigkeit des Verfahrens zum Überwachen des Zustands des Hubwagens 8 ermöglicht. Lediglich wenn ein nicht ordnungsgemäßer Zustand des Hubwagens 8 in einer Vielzahl von den unterschiedlichen Positionen des Hubwagens 8 beziehungsweise des Fahrzeugs 1 festgestellt wird, wird daraus in Schritt III geschlussfolgert, dass der Hubwagen 8 einen nicht ordnungsgemä-ßen Zustand aufweist.By means of the position changes of lifting truck 8 or vehicle 1 carried out in method step 111.3, a higher accuracy of the method for monitoring the status of the lifting truck 8 is made possible. Only if an improper condition of the truck 8 is determined in a large number of the different positions of the truck 8 or of the vehicle 1 is it concluded in step III that the truck 8 is in an improper condition.

In einem Folgeschritt IV wird dann über die Ausgabeschnittstelle 19 eine Warnung zur Kommunikation des nicht ordnungsgemäßen Zustands des Hubwagens 8 des Gabelstaplers 1 ausgegeben. Hierfür können über die Ausgabeschnittstelle 19 von der Rechnereinrichtung der Steuereinrichtung 21 Daten ausgegeben werden, welche diese Warnung kommunizieren. Die Daten können über eine Datenleitung an den Warngeber 22 übermittelt werden.In a subsequent step IV, a warning is then output via the output interface 19 to communicate the improper status of the truck 8 of the forklift truck 1 . For this purpose, data which communicate this warning can be output by the computer device of the control device 21 via the output interface 19 . The data can be transmitted to the warning device 22 via a data line.

Alternativ oder zusätzlich zu der oben beschriebenen Ausgestaltung auf Basis einer analytischen Bildbearbeitung können Schritte III.1 sowie III.2.1 bis III.2.3 zum Ermitteln, ob der Hubwagen 8 einen nicht ordnungsgemäßen Zustand aufweist, auch mittels künstlicher Intelligenz erfolgen. Bildbasierte Klassifikatoren werden trainiert, um einzelne Elemente im Bild zu finden oder direkt den Zustand zu erkennen, ob der Hubwagen 8 ordnungsgemäß oder nicht ordnungsgemäß ist, ohne weitere Details im Bild zu identifizieren. Hierfür werden einzelne Bilder der Kamera 17 gelabelt, um in der Rechnereinrichtung zu hinterlegen, dass ein Aufsatz, eine Gabelzinke und/oder ein Sicherungselement ordnungsgemäß oder nicht ordnungsgemäß ist. Ebenso wird gelabelt, ob Elemente fehlen, verschmutzt oder beschädigt sind und/oder fremde Körper auf dem Hubwagen 8 angeordnet sind. Daneben kann auch ein Labelling hinsichtlich des Typs des Hubwagens 8 erfolgen. Die Bilder der Kamera 17 können bei unterschiedlichen Szenarien, beispielsweise unterschiedlichen Lichtverhältnissen und unterschiedlichen Untergründen, gelabelt werden.As an alternative or in addition to the configuration described above based on analytical image processing, steps III.1 and III.2.1 to III.2.3 can also be carried out using artificial intelligence to determine whether the lifting truck 8 is in an improper condition. Image-based classifiers are trained to find individual elements in the image or to directly recognize the status of whether the lift truck 8 is in order or not, without identifying further details in the image. For this purpose, individual images of the camera 17 are labeled in order to store in the computer device that an attachment, a fork and/or a safety element is correct or not correct. It is also labeled whether elements are missing, dirty or are damaged and / or foreign bodies are arranged on the truck 8. In addition, labeling with regard to the type of lift truck 8 can also take place. The images from the camera 17 can be labeled in different scenarios, for example different lighting conditions and different backgrounds.

BezugszeichenlisteReference List

11

Gabelstaplerforklift

22

Fahrzeugrahmenvehicle frame

33

RäderWheels

44

Fahrerstanddriver's stand

55

Hubgerüstmast

66

Neigungszylinderpitch cylinder

77

Hubrahmenlifting frame

88th

Hubwagenpallet truck

99

Hubzylinderlifting cylinder

1010

Hubkettelifting chain

1111

Umlenkrollepulley

1212

Gabelzinkefork

1313

Einhängschienesuspension rail

1414

Arretierungsnutlocking groove

1515

Rillegroove

1616

Sicherungselementfuse element

1717

Erfassungseinrichtungdetection device

18, 1918, 19

Schnittstelleinterface

2020

Datenleitungdata line

2121

Steuereinrichtungcontrol device

2222

Warngeberwarning device

2323

fremder Gegenstandforeign object

II

Prüfen FahrzeugzustandCheck vehicle condition

IIII

Erfassen HubwagenCapture pallet trucks

IIIIII

Feststellen nicht ordnungsgemäßer ZustandDetermination of improper condition

III.1III.1

Ermitteln, ob fremder GegenstandDetermine if foreign object

III.2.1III.2.1

Ermitteln, ob Gabelzinke vorhandenDetermine if forks are present

III.2.2III.2.2

Ermitteln, ob Gabelzinken symmetrischDetermine if forks are symmetrical

III.2.3III.2.3

Ermitteln, ob Gabelzinke gesichertDetermine if fork is secured

111.3111.3

Verstellen Hubwagen/Positionsänderung FahrzeugAdjusting the lift truck/change of position of the vehicle

IVIV

Ausgeben Warnungissue warning

Claims (8)

Verfahren zur Zustandsüberwachung eines Hubwagens (8) eines Staplerfahrzeugs (1), umfassend das kontaktlose Erfassen (II) des Hubwagens (8) mit einer Erfassungseinrichtung (17), das Feststellen (III), dass der mit der Erfassungseinrichtung (17) erfasste Hubwagen (8) einen nicht ordnungsgemäßen Zustand aufweist, und das Ausgeben (IV) einer Warnung zur Kommunikation des nicht ordnungsgemäßen Zustands des Hubwagens (8) des Staplerfahrzeugs (1), dadurch gekennzeichnet, dass das Feststellen (III) des nicht ordnungsgemäßen Zustands das Ermitteln (III.2.1, III.2.3) umfasst, ob eine Gabelzinke (12) an dem Hubwagen angeordnet und an diesem gesichert ist.Method for monitoring the condition of a lift truck (8) of a forklift vehicle (1), comprising the contactless detection (II) of the lift truck (8) with a detection device (17), the determination (III) that the lift truck (8) detected with the detection device (17) 8) is in an improper condition, and the outputting (IV) of a warning to communicate the improper condition of the lift truck (8) of the stacker vehicle (1), characterized in that the determination (III) of the improper condition means the determination (III .2.1, III.2.3) includes whether a fork (12) is arranged on the truck and secured to it. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Feststellen (III) des nicht ordnungsgemäßen Zustands das Ermitteln (III.1) umfasst, ob sich ein fremder Gegenstand auf dem Hubwagen (8) des Staplers (1) befindet.procedure after claim 1 , characterized in that the determination (III) of the improper condition includes determining (III.1) whether there is a foreign object on the truck (8) of the truck (1). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Feststellen (III) des nicht ordnungsgemäßen Zustands das Ermitteln (III.2.2) umfasst, ob zwei Gabelzinken (12) an dem Hubwagen (8) symmetrisch zur Hubwagenmitte ausgerichtet sind.Method according to one of the preceding claims, characterized in that the determination (III) of the improper condition includes determining (III.2.2) whether two forks (12) on the lift truck (8) are aligned symmetrically to the center of the lift truck. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Feststellen (III) zumindest eines aus dem Verstellen (III.3) des Hubwagens (8) und der Positionsänderung (III.3) des Staplers (1) umfasst.Method according to one of the preceding claims, characterized in that the fixing (III) comprises at least one of the adjustment (III.3) of the lift truck (8) and the change in position (III.3) of the stacker (1). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Feststellen (III) mit zumindest einer aus einer analytischen Bildverarbeitung und/oder einer KI basierten Bildverarbeitung erfolgt.Method according to one of the preceding claims, characterized in that the determination (III) takes place with at least one of analytical image processing and/or AI-based image processing. Steuereinrichtung (21) mit einer Eingabeschnittstelle (18) zum Einlesen von Daten einer Erfassungseinrichtung (17), einer Rechnereinrichtung, die eingerichtet ist, um das Verfahren nach einem der vorhergehenden Ansprüche auf Basis der über die Eingabeschnittstelle (17) eingelesenen Daten auszuführen, und einer Ausgabeschnittstelle (19) zum Ausgeben von Warndaten.Control device (21) with an input interface (18) for reading in data from a detection device (17), a computer device set up to carry out the method according to one of the preceding claims on the basis of the data read in via the input interface (17), and a Output interface (19) for outputting warning data. Staplerfahrzeug (1) mit einem Hubgerüst (5), an dem ein Hubwagen (8) zum Tragen von mindestens einer Gabelzinke (12) verstellbar vorgesehen ist, einer Erfassungseinrichtung (17) zum Erfassen eines Zustands des Hubwagens (8) und einer Steuereinrichtung (21) nach Anspruch 6.Fork lift truck (1) with a lifting frame (5) on which a lifting truck (8) is adjustable for carrying at least one fork arm (12), a detection device (17) for detecting a status of the lifting truck (8) and a control device (21 ) after claim 6 . Staplerfahrzeug (1) nach Anspruch 7, dadurch gekennzeichnet, dass die ordnungsgemäß angebrachten Gabelzinken (12) und die Erfassungseinrichtung (17) jeweils mittig zum Hubwagen (8) angeordnet sind.Forklift vehicle (1) after claim 7 , characterized in that the properly attached forks (12) and the detection device (17) are each arranged centrally to the lift truck (8).

Images