FR3074761A1 - LOAD HANDLING ASSISTANCE DEVICE FOR VEHICLE AND CORRESPONDING VEHICLE - Google Patents
LOAD HANDLING ASSISTANCE DEVICE FOR VEHICLE AND CORRESPONDING VEHICLE Download PDFInfo
- Publication number
- FR3074761A1 FR3074761A1 FR1761937A FR1761937A FR3074761A1 FR 3074761 A1 FR3074761 A1 FR 3074761A1 FR 1761937 A FR1761937 A FR 1761937A FR 1761937 A FR1761937 A FR 1761937A FR 3074761 A1 FR3074761 A1 FR 3074761A1
- Authority
- FR
- France
- Prior art keywords
- vehicle
- load
- assistance device
- environment
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006870 function Effects 0.000 claims description 11
- 230000007613 environmental effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 18
- 238000005259 measurement Methods 0.000 description 12
- 238000010276 construction Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 5
- 239000003550 marker Substances 0.000 description 4
- 239000003381 stabilizer Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000009435 building construction Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000008187 granular material Substances 0.000 description 1
- 238000009418 renovation Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
- B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/065—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks non-masted
- B66F9/0655—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks non-masted with a telescopic boom
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
- B66F9/0755—Position control; Position detectors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
- B66F9/20—Means for actuating or controlling masts, platforms, or forks
- B66F9/24—Electrical devices or systems
Landscapes
- Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Transportation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geology (AREA)
- Mechanical Engineering (AREA)
- Civil Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
Abstract
L'invention concerne un dispositif d'assistance à la manutention de charge et un véhicule de manutention correspondant. Ledit dispositif d'assistance comporte un dispositif d'acquisition d'images, un dispositif de télémétrie, une mémoire dans laquelle est mémorisé un ensemble de données. L'ensemble de données comprend des informations relatives à la capacité ou non de porter une charge à l'aide du système de support de charge du véhicule en différentes positions dudit système de support. Ledit dispositif est configuré pour acquérir une image (4) de l'environnement du véhicule, déterminer à l'aide du dispositif de télémétrie des coordonnées spatiales d'une zone de l'environnement du véhicule, déterminer au moins une information (141, I42, I43, I44) de capacité, et afficher sur un écran (7) au moins la partie (P41, P42, P43, P44) de l'image (4) acquise qui correspond à la zone de l'environnement du véhicule et la ou chaque information (I41, I42, I43, I44) de capacité déterminée correspondante.The invention relates to a load handling assistance device and a corresponding handling vehicle. Said assistance device comprises an image acquisition device, a telemetry device, a memory in which a set of data is stored. The data set includes information relating to whether or not to load a load using the vehicle load support system at different positions of said support system. Said device is configured to acquire an image (4) of the vehicle environment, determine using the telemetry device the spatial coordinates of an area of the vehicle environment, determine at least one information (141, I42 , I43, I44), and display on a screen (7) at least the part (P41, P42, P43, P44) of the acquired image (4) which corresponds to the vehicle environment zone and the or each piece of information (I41, I42, I43, I44) of corresponding determined capacity.
Description
DOMAINE DE L’INVENTIONFIELD OF THE INVENTION
La présente invention concerne de manière générale les dispositifs, véhicules et procédés de manutention de charge.The present invention relates generally to load handling devices, vehicles and methods.
ART ANTERIEURPRIOR ART
On connaît de l’état de la technique des véhicules de manutention de charge. Ces véhicules comprennent usuellement un châssis roulant et un système de manutention de charge, tel qu’un bras télescopique muni de fourches qui permettent de saisir, déplacer ou déposer une charge.The state of the art of load handling vehicles is known. These vehicles usually include a rolling chassis and a load handling system, such as a telescopic arm provided with forks which allow gripping, moving or depositing a load.
En particulier dans le domaine de la construction ou de la rénovation de bâtiment, la charge est destinée à être saisie, déplacée ou posée à un endroit donné, par exemple en hauteur sur le toit ou à un étage à travers une fenêtre du bâtiment.In particular in the field of building construction or renovation, the load is intended to be picked up, moved or placed at a given location, for example high up on the roof or on a floor through a window of the building.
On observe cependant que la manutention de charge à l’aide des véhicules connus de l’état de la technique est fastidieuse pour l’opérateur et source d’erreurs, avec aussi un risque de basculement du véhicule.However, it is observed that load handling using vehicles known from the prior art is tedious for the operator and a source of errors, with also a risk of the vehicle tipping over.
La présente invention a pour but de palier à tout ou partie des problèmes exposés ci-dessus.The object of the present invention is to overcome all or part of the problems set out above.
RESUME DE L’INVENTIONSUMMARY OF THE INVENTION
A cet effet, l’invention a pour objet un dispositif d’assistance à la manutention de charge pour un véhicule de manutention qui comprend un système de support de charge, tel qu’un système à fourches ou une nacelle, ledit dispositif d’assistance comportant :To this end, the invention relates to a load handling assistance device for a handling vehicle which comprises a load support system, such as a fork system or a nacelle, said assistance device comprising:
- un dispositif d’acquisition d’images, tel qu’une caméra ;- an image acquisition device, such as a camera;
- un dispositif de télémétrie ;- a telemetry device;
- une mémoire dans laquelle est mémorisé un ensemble de données, tel qu’un abaque ; ledit ensemble de données comprenant des informations relatives à la capacité ou non de porter une charge à l’aide du système de support de charge du véhicule en différentes positions dudit système de support ; et- a memory in which a set of data is stored, such as an abacus; said data set comprising information relating to the capacity or not of carrying a load using the vehicle load support system at different positions of said support system; and
- un écran d’affichage ;- a display screen;
ledit dispositif d’assistance est configuré pour, pour au moins une zone de l’environnement du véhicule, exécuter les étapes suivantes :said assistance device is configured to, for at least one area of the vehicle environment, perform the following steps:
-acquérir à l’aide du dispositif d’acquisition d’images une image dont au moins une partie correspond à ladite zone de l’environnement du véhicule ;- acquire using the image acquisition device an image of which at least a part corresponds to said zone of the environment of the vehicle;
-déterminer à l’aide du dispositif de télémétrie, des coordonnées spatiales de ladite zone ;-determine, using the telemetry device, the spatial coordinates of said area;
-déterminer au moins une information dite de capacité, relative à la capacité ou non de porter une charge à l’aide du système de support de charge dans ladite zone de l’environnement du véhicule, en fonction des coordonnées spatiales déterminées de ladite zone de l’environnement du véhicule et dudit ensemble de données ; et-determine at least one so-called capacity information item, relating to the ability or not to carry a load using the load support system in said area of the vehicle environment, according to the determined spatial coordinates of said area the environment of the vehicle and of said data set; and
- afficher à l’écran, au moins la partie de l’image acquise qui correspond à ladite zone de l’environnement du véhicule et la ou chaque information de capacité déterminée correspondante.- display on the screen, at least the part of the acquired image which corresponds to said zone of the environment of the vehicle and the or each corresponding determined capacity information.
Le dispositif d’assistance permet ainsi à l’opérateur de pouvoir identifier si le système de support de charge du véhicule peut atteindre ou non une zone donnée de l’environnement du véhicule pour manutentionner une charge dans ladite zone.The assistance device thus allows the operator to be able to identify whether the vehicle load support system can or cannot reach a given area of the vehicle environment in order to handle a load in said area.
On entend par manutention d’une charge, la saisie, le déplacement et/ou la dépose de la charge. La charge peut être un objet ou une personne. L’objet peut être de type unitaire, tel qu’une palette, ou non unitaire, par exemple des granulés, tels que du gravier.By handling of a load is understood, the entry, movement and / or deposit of the load. The load can be an object or a person. The object can be of unitary type, such as a pallet, or non-unitary, for example granules, such as gravel.
Avantageusement, cette information de capacité est disponible pour l’opérateur à l’aide d’un affichage dynamique sur l’écran qui lui permet d’être informé en temps réel de la possibilité d’atteindre ou non une zone donnée de manière sécurisée. Ainsi, l’opérateur peut, alors qu’il est trop éloigné de la zone à atteindre pour être en capacité de manutentionner la charge dans ladite zone, se rapprocher jusqu’à ce que le dispositif d’assistance indique une information de capacité de manutention dans ladite zone qui est compatible avec la charge que souhaite manutentionner l’opérateur, c'est-à-dire une information qui permet à l’opérateur, qui connaît le poids de la charge à manutentionner, de savoir qu’il peut manutentionner la charge dans la zone souhaitée de manière sécurisée.Advantageously, this capacity information is available to the operator using a dynamic display on the screen which allows him to be informed in real time of the possibility of reaching or not reaching a given area in a secure manner. Thus, the operator can, while he is too far from the zone to be reached to be able to handle the load in said zone, to approach until the assistance device indicates handling capacity information. in said zone which is compatible with the load that the operator wishes to handle, that is to say information which allows the operator, who knows the weight of the load to be handled, to know that he can handle the charge in the desired area securely.
Une telle conception du véhicule permet à l’opérateur de placer si besoin son véhicule à une distance adéquate par rapport à la zone au niveau de laquelle il souhaite placer ou saisir la charge.Such a vehicle design allows the operator to place his vehicle if necessary at an adequate distance from the area at which he wishes to place or enter the load.
Selon un aspect particulier, la capacité ou non de porter une charge par le système de support en une position donnée de manutention de charge dépend, pour une localisation donnée du véhicule, par exemple définie par la position de son châssis, de la capacité du véhicule à amener son système de support de charge à ladite position donnée de manutention, de manière sécurisée, c'est-àdire sans risque de basculement du véhicule. Ainsi, ladite capacité ou non de porter une charge peut dépendre de caractéristiques de construction du véhicule et du poids de la charge. Ces informations peuvent être mémorisées sous forme d’abaques.According to a particular aspect, the ability or not to carry a load by the support system in a given position of load handling depends, for a given location of the vehicle, for example defined by the position of its chassis, on the capacity of the vehicle to bring its load support system to said given handling position, in a secure manner, that is to say without risk of the vehicle tipping over. Thus, said ability or not to carry a load may depend on the construction characteristics of the vehicle and the weight of the load. This information can be stored in the form of abacus.
L’incapacité de manutentionner une charge en une position donnée, peut résulter de la position souhaitée de manutention de la charge que le système de support de charge ne peut pas atteindre du fait des caractéristiques techniques de construction du véhicule.The inability to handle a load at a given position can result from the desired load handling position that the load support system cannot reach due to the technical construction characteristics of the vehicle.
Selon un aspect particulier, le dispositif d’assistance comprend une unité de traitement pour exécuter lesdites étapes. L’unité de traitement peut comprendre un processeur (ou microprocesseur) ou un microcontrôleur et des instructions informatiques mémorisées qui sont destinées à être exécutées pour la mise en oeuvre desdites étapes.According to a particular aspect, the assistance device comprises a processing unit for carrying out said steps. The processing unit may include a processor (or microprocessor) or a microcontroller and stored computer instructions which are intended to be executed for the implementation of said steps.
Selon un aspect particulier, l’écran peut être intégré au véhicule, par exemple dans l’habitacle du véhicule, ou être rapporté dans le véhicule ou encore être déporté. Selon un mode de réalisation, l’écran peut être l’écran d’un appareil mobile, tel qu’un téléphone intelligent ou encore l’écran d’une télécommande de pilotage du véhicule permettant par exemple à un opérateur de piloter le véhicule depuis l’extérieur du véhicule.According to a particular aspect, the screen can be integrated into the vehicle, for example in the passenger compartment of the vehicle, or be attached to the vehicle or even be deported. According to one embodiment, the screen can be the screen of a mobile device, such as a smart phone, or even the screen of a vehicle control remote control allowing, for example, an operator to control the vehicle from outside of the vehicle.
Selon une caractéristique avantageuse de l’invention, ladite ou chaque information de capacité déterminée est superposée à ladite au moins une partie de l’image acquise qui est affichée.According to an advantageous characteristic of the invention, said or each determined capacity information is superimposed on said at least part of the acquired image which is displayed.
Selon une caractéristique avantageuse de l’invention, le dispositif de télémétrie comprend un télémètre à laser ou une caméra temps de vol, appelée caméra TOF (pour Time of Flight en anglais).According to an advantageous characteristic of the invention, the telemetry device comprises a laser rangefinder or a time-of-flight camera, called a TOF camera (for Time of Flight in English).
Selon une caractéristique avantageuse de l’invention, l’image contient plusieurs zones d’environnement, et le dispositif d’assistance est configuré pour exécuter lesdites étapes de détermination de coordonnées spatiales, de détermination d’information de capacité, et d’affichage pour chacune de ces zones.According to an advantageous characteristic of the invention, the image contains several environmental zones, and the assistance device is configured to execute said steps of determining spatial coordinates, of determining capacity information, and of displaying for each of these areas.
Selon une caractéristique avantageuse de l’invention, les informations de capacité, associées aux coordonnées spatiales de la ou de chaque zone de l’environnement du véhicule déterminée à l’aide du dispositif de télémétrie, correspondent à des valeurs de charge maximale pouvant être portées par le système de support de charge, par exemple 200 kg ; 1000 kg et 2000 kg.According to an advantageous characteristic of the invention, the capacity information, associated with the spatial coordinates of the or each zone of the environment of the vehicle determined using the telemetry device, correspond to maximum load values which can be carried. by the load support system, for example 200 kg; 1000 kg and 2000 kg.
Selon une caractéristique avantageuse de l’invention, les informations de capacité, associées aux coordonnées spatiales de la ou de chaque zone de l’environnement du véhicule déterminées à l’aide du dispositif de télémétrie, comprennent aussi une information d’incapacité de port de charge. Cette information d’incapacité est, comme pour les autres informations de capacité qui correspondent à des valeurs de charge maximales données, associée à au moins une partie de la zone de l’environnement du véhicule.According to an advantageous characteristic of the invention, the capacity information, associated with the spatial coordinates of the or each zone of the environment of the vehicle determined using the telemetry device, also includes information on the port incapacity of charge. This incapacity information is, as for the other capacity information which corresponds to given maximum load values, associated with at least part of the area of the vehicle environment.
Selon une caractéristique avantageuse de l’invention, le dispositif de télémétrie étant monté déplaçable, de préférence à rotation, par rapport au châssis du véhicule, le dispositif d’assistance est configuré pour commander le déplacement du dispositif de télémétrie (de manière directe ou indirecte), de manière à déterminer les coordonnées spatiales de plusieurs zones de l’environnement du véhicule couvertes par le champ du dispositif d’acquisition d’images.According to an advantageous characteristic of the invention, the telemetry device being mounted displaceable, preferably in rotation, relative to the chassis of the vehicle, the assistance device is configured to control the movement of the telemetry device (directly or indirectly ), so as to determine the spatial coordinates of several zones of the environment of the vehicle covered by the field of the image acquisition device.
Selon une caractéristique avantageuse de l’invention, le dispositif de télémétrie présente un axe autour duquel il est monté mobile à rotation, et le dispositif de télémétrie est configuré pour tourner autour de son axe, de préférence cycliquement, de manière autonome ou en étant commandé par le dispositif d’assistance, afin de déterminer les coordonnées spatiales de plusieurs zones de l’environnement du véhicule couvertes par le champ du dispositif d’acquisition d’images.According to an advantageous characteristic of the invention, the telemetry device has an axis around which it is mounted mobile in rotation, and the telemetry device is configured to rotate around its axis, preferably cyclically, autonomously or by being controlled by the assistance device, in order to determine the spatial coordinates of several areas of the vehicle environment covered by the field of the image acquisition device.
Le dispositif de télémétrie peut tourner de manière autonome au sens où le dispositif de télémétrie tourne sur lui-même dès sa mise sous tension électrique.The telemetry device can rotate autonomously in the sense that the telemetry device turns on itself as soon as it is powered up.
Selon un aspect particulier, ledit axe est un axe sensiblement vertical, dit axe vertical, lorsque le véhicule est sur un sol horizontal.According to a particular aspect, said axis is a substantially vertical axis, called vertical axis, when the vehicle is on horizontal ground.
Ledit dispositif de télémétrie peut ainsi être en rotation autour de son propre axe, afin de balayer une zone plus large qu’un segment. Le dispositif de télémétrie peut ainsi effectuer un balayage vertical, par exemple de haut en bas, et tourner de manière cyclique autour de son axe vertical pour couvrir plusieurs zones.Said telemetry device can thus be rotated about its own axis, in order to scan a wider area than a segment. The telemetry device can thus perform a vertical scan, for example from top to bottom, and rotate cyclically around its vertical axis to cover several areas.
Selon un aspect particulier, le véhicule comprend une tourelle rotative autour d’un axe sensiblement vertical sur laquelle est monté le dispositif de télémétrie, et le dispositif d’assistance est configuré pour transmettre des instructions de commande à une unité de pilotage du véhicule pour commander la rotation de la tourelle de manière à déterminer, à l’aide du dispositif de télémétrie, les coordonnées spatiales de plusieurs zones de l’environnement du véhicule.According to a particular aspect, the vehicle comprises a rotary turret about a substantially vertical axis on which the telemetry device is mounted, and the assistance device is configured to transmit control instructions to a vehicle control unit for controlling the rotation of the turret so as to determine, using the telemetry device, the spatial coordinates of several zones of the environment of the vehicle.
Selon une caractéristique avantageuse de l’invention, le dispositif d’assistance comprenant des moyens de mesure ou de calcul du poids de la charge à manutentionner, le dispositif d’assistance est configuré pour déterminer si ladite charge peut ou non être manutentionnée dans la zone ou une partie de ladite zone de l’environnement du véhicule en fonction du poids de la charge mesuré et de l’information de capacité déterminée correspondante.According to an advantageous characteristic of the invention, the assistance device comprising means for measuring or calculating the weight of the load to be handled, the assistance device is configured to determine whether or not said load can be handled in the area or part of said area of the environment of the vehicle as a function of the weight of the load measured and of the corresponding determined capacity information.
Selon une caractéristique avantageuse de l’invention, ledit dispositif comprenant un dispositif de pointage d’une zone de l’image affichée à l’écran, telle qu’une couche tactile de l’écran, le dispositif d’assistance est configuré pour :According to an advantageous characteristic of the invention, said device comprising a device for pointing an area of the image displayed on the screen, such as a touch screen layer, the assistance device is configured to:
- détecter un pointage d’une zone de l’image affichée à l’écran, à l’aide du dispositif de pointage ;- detect a pointing of an area of the image displayed on the screen, using the pointing device;
- transmettre des instructions de commande à une unité de pilotage du véhicule pour manutentionner une charge dans la zone réelle de l’environnement du véhicule correspondant à ladite zone de l’image pointée à l’écran.- transmit control instructions to a vehicle control unit to handle a load in the real area of the vehicle environment corresponding to said area of the image shown on the screen.
L'invention concerne également un véhicule de manutention de charge comprenant un dispositif d’assistance tel que décrit ci-dessus.The invention also relates to a load handling vehicle comprising an assistance device as described above.
BREVE DESCRIPTION DES DESSINSBRIEF DESCRIPTION OF THE DRAWINGS
D'autres caractéristiques et avantages de l'invention ressortiront encore de la description qui suit, laquelle est purement illustrative et non limitative et doit être lue en regard des dessins annexés, sur lesquels :Other characteristics and advantages of the invention will emerge from the description which follows, which is purely illustrative and not limiting and should be read with reference to the appended drawings, in which:
- la figure 1 est une vue schématique d’un bâtiment sur lequel est schématisée par une bande en pointillés une partie du bâtiment correspondant à une zone de mesure par le dispositif de télémétrie, et d’un véhicule muni d’un dispositif d’assistance à la manutention de charge conforme à un mode de réalisation de l’invention ;- Figure 1 is a schematic view of a building on which is shown diagrammatically by a dotted strip part of the building corresponding to a measurement area by the telemetry device, and of a vehicle provided with an assistance device load handling in accordance with an embodiment of the invention;
- la figure 1A est une vue d’un écran d’un dispositif d’assistance conformément à un mode de réalisation de l’invention sur lequel est affiché l’image du bâtiment de la figure 1 et, en superposition, des informations de capacité de manutention de charge associées à la zone du bâtiment définie par la bande de mesure ;- Figure 1A is a view of a screen of an assistance device in accordance with an embodiment of the invention on which is displayed the image of the building of Figure 1 and, in superposition, capacity information load handling associated with the building area defined by the measuring tape;
- la figure 2 est une vue schématique du dispositif d’assistance conformément à un mode de réalisation de l’invention ;- Figure 2 is a schematic view of the assistance device according to an embodiment of the invention;
- la figure 3 est une vue d’un abaque dont les données sont utilisables par le dispositif d’assistance conformément à un mode de réalisation de l’invention, à l’état inactif des stabilisateurs du véhicule ;- Figure 3 is a view of an abacus whose data can be used by the assistance device in accordance with an embodiment of the invention, in the inactive state of the vehicle stabilizers;
- la figure 3A est une vue d’un autre abaque dont les données sont utilisables par le dispositif d’assistance conformément à un mode de réalisation de l’invention, lorsque le véhicule est sur stabilisateurs ;- Figure 3A is a view of another abacus whose data can be used by the assistance device in accordance with an embodiment of the invention, when the vehicle is on stabilizers;
- la figure 4 est une vue schématique de côté d’un véhicule comprenant un dispositif d’assistance conformément à un mode de réalisation de l’invention qui comprend une caméra et un télémètre, l’angle de vue de la caméra étant représenté ;- Figure 4 is a schematic side view of a vehicle comprising an assistance device according to an embodiment of the invention which comprises a camera and a rangefinder, the angle of view of the camera being shown;
- la figure 4A est une vue schématique de côté du véhicule de la figure 4, l’angle de mesure du télémètre étant représenté ;- Figure 4A is a schematic side view of the vehicle of Figure 4, the measuring angle of the rangefinder being shown;
- la figure 5 est une vue d’un véhicule de manutention à tourelle conformément à un mode de réalisation de l’invention ;- Figure 5 is a view of a turret handling vehicle according to an embodiment of the invention;
- la figure 5A est une vue d’un écran d’un dispositif d’assistance selon un mode de réalisation l’invention sur lequel est affiché une image d'une façade d’un bâtiment vue par une caméra du véhicule de la figure 5, des informations de capacité de manutention de charge étant associées à différentes zones ou portions juxtaposées de la façade du bâtiment.- Figure 5A is a view of a screen of an assistance device according to an embodiment of the invention on which is displayed an image of a facade of a building seen by a camera of the vehicle of Figure 5 , load handling capacity information being associated with different zones or juxtaposed portions of the building facade.
DESCRIPTION DETAILLEEDETAILED DESCRIPTION
Le concept de l'invention est décrit plus complètement ci-après avec référence aux dessins joints, sur lesquels des modes de réalisation du concept de l'invention sont montrés. Sur les dessins, la taille et les tailles relatives des éléments peuvent être exagérées à des fins de clarté. Des numéros similaires font référence à des éléments similaires sur tous les dessins. Cependant, ce concept de l'invention peut être mis en oeuvre sous de nombreuses formes différentes et ne devrait pas être interprété comme étant limité aux modes de réalisation exposés ici. Au lieu de cela, ces modes de réalisation sont proposés de sorte que cette description soit complète, et communiquent l'étendue du concept de l'invention aux hommes du métier. L'étendue de l'invention est par conséquent définie par les revendications jointes. Les modes de réalisation qui suivent sont examinés, par souci de simplification, en relation avec la terminologie et la structure d'un véhicule de manutention de charge.The concept of the invention is described more fully below with reference to the accompanying drawings, in which embodiments of the concept of the invention are shown. In the drawings, the size and relative sizes of the elements may be exaggerated for the sake of clarity. Similar numbers refer to similar elements in all of the drawings. However, this concept of the invention can be implemented in many different forms and should not be interpreted as being limited to the embodiments set out here. Instead, these embodiments are offered so that this description is complete, and communicates the scope of the concept of the invention to those skilled in the art. The scope of the invention is therefore defined by the appended claims. The following embodiments are examined, for the sake of simplification, in relation to the terminology and structure of a load handling vehicle.
Une référence dans toute la spécification à « un mode de réalisation » signifie qu'une fonctionnalité, une structure, ou une caractéristique particulière décrite en relation avec un mode de réalisation est incluse dans au moins un mode de réalisation de la présente invention. Ainsi, l'apparition de l'expression « dans un mode de réalisation » à divers emplacements dans toute la spécification ne fait pas nécessairement référence au même mode de réalisation. En outre, les fonctionnalités, les structures, ou les caractéristiques particulières peuvent être combinées de n'importe quelle manière appropriée dans un ou plusieurs modes de réalisation.A reference throughout the specification to "an embodiment" means that a particular functionality, structure, or feature described in connection with an embodiment is included in at least one embodiment of the present invention. Thus, the appearance of the phrase "in one embodiment" at various locations throughout the specification does not necessarily refer to the same embodiment. Additionally, the particular features, structures, or characteristics can be combined in any suitable manner in one or more embodiments.
L'invention concerne un dispositif d’assistance à la manutention de charge pour un véhicule 1 de manutention.The invention relates to a load handling assistance device for a handling vehicle 1.
La charge peut être un objet, de type unitaire ou non, ou encore une personne. Selon le mode de réalisation par exemple illustré à la figure 1, ledit véhicule est un chariot télescopique. Bien entendu, l’invention s’applique à d’autres types de véhicules de manutention, tels que des nacelles élévatrices.The load can be an object, of unitary type or not, or a person. According to the embodiment for example illustrated in Figure 1, said vehicle is a telescopic cart. Of course, the invention applies to other types of handling vehicles, such as aerial work platforms.
Ledit véhicule 1 est configuré pour permettre de manutentionner une charge C11. En particulier, le véhicule comprend un système de support de charge, tel que des fourches destinées à porter une charge à manutentionner. La manutention est décrite ci-après plus particulièrement dans le sens d’une dépose de charge à un endroit donné, mais l’invention s’applique aussi à une manutention dans le sens d’un déplacement de charge ou d’une saisie de charge à un endroit donné.Said vehicle 1 is configured to allow handling of a load C11. In particular, the vehicle comprises a load support system, such as forks intended to carry a load to be handled. Handling is described below more particularly in the direction of depositing a load at a given location, but the invention also applies to handling in the direction of moving a load or entering a load. at a given location.
Dans l'exemple illustré à la figure 1, ledit véhicule 1 comprend un bâti 100 muni de moyens de déplacement, par exemple des roues 19. Ledit véhicule peut aussi être muni de stabilisateurs 19’ comme illustré à la figure 5.In the example illustrated in FIG. 1, said vehicle 1 comprises a frame 100 provided with displacement means, for example wheels 19. Said vehicle can also be provided with stabilizers 19 ’as illustrated in FIG. 5.
Selon un aspect particulier, le véhicule comprend un système de manutention 110, tel qu’un bras télescopique, une nacelle élévatrice de personnes, ou un système à fourches.According to a particular aspect, the vehicle comprises a handling system 110, such as a telescopic arm, a lifting platform for people, or a fork system.
Dans l'exemple illustré à la figure 1, le système de manutention 110 comprend un bras, de préférence télescopique, et un système à fourches 11 monté à l’extrémité libre du bras télescopique.In the example illustrated in Figure 1, the handling system 110 comprises an arm, preferably telescopic, and a fork system 11 mounted at the free end of the telescopic arm.
Dans l'exemple illustré à la figure 5, le bâti 100 est muni d’une tourelle 101 qui porte un système de manutention 110’ qui comprend à son extrémité une nacelle 11 ’ (formant système de support de charge). La tourelle 101 est montée rotative autour d’un axe orthogonal A1 par rapport au plan d’appui au sol du véhicule.In the example illustrated in Figure 5, the frame 100 is provided with a turret 101 which carries a handling system 110 ’which comprises at its end a nacelle 11’ (forming a load support system). The turret 101 is rotatably mounted around an axis orthogonal A1 with respect to the ground support plane of the vehicle.
Ledit dispositif d’assistance permet d’aider l’opérateur qui conduit le véhicule, lorsque l’opérateur souhaite pouvoir manutentionner une charge à l’aide du système de support de charge du véhicule dans une zone réelle souhaitée dans l’environnement du véhicule, en l’aidant à déterminer s’il peut ou non manutentionner la charge dans cette zone réelle, de manière sécurisée, par exemple sans risque de basculement du véhicule.Said assistance device makes it possible to assist the operator who drives the vehicle, when the operator wishes to be able to handle a load using the vehicle load support system in a real desired area in the environment of the vehicle, by helping him to determine whether or not he can handle the load in this real area, in a secure manner, for example without risk of the vehicle tipping over.
Comme illustré à la figure 1, le dispositif comprend une caméra 13 qui équipe le véhicule. La caméra 13 permet d’acquérir une image 4 d’une zone 3 de l’espace environnant, de préférence devant le véhicule 1. La suite de la description est réalisée sur la base d’une image acquise par la caméra pour expliquer comment des informations de capacité de charge sont déterminées et associées à ladite image. Bien entendu, la description s’applique à une acquisition d’images en temps réel et à une association en temps réel à différentes zones de l’image des informations de capacité de charge correspondante.As illustrated in FIG. 1, the device comprises a camera 13 which equips the vehicle. The camera 13 makes it possible to acquire an image 4 of an area 3 of the surrounding space, preferably in front of the vehicle 1. The following description is made on the basis of an image acquired by the camera to explain how load capacity information is determined and associated with said image. Of course, the description applies to an acquisition of images in real time and to an association in real time with different areas of the image of the corresponding load capacity information.
Dans l'exemple décrit ci-après, l’image 4 est acquise par la caméra 13, mais la description s’applique bien entendu à tout système permettant de capturer l’image de l’espace qui se présente devant le véhicule.In the example described below, the image 4 is acquired by the camera 13, but the description obviously applies to any system making it possible to capture the image of the space which is presented in front of the vehicle.
La caméra 13 est de préférence située à l’avant du véhicule. Selon un aspect particulier, la caméra 13 est située sur une zone dégagée, telle que l’avant du châssis, un rétroviseur, ou un phare avant du véhicule.The camera 13 is preferably located at the front of the vehicle. In a particular aspect, the camera 13 is located in a clear area, such as the front of the chassis, a rear view mirror, or a headlight of the vehicle.
Le dispositif d’assistance comprend aussi un écran 7 d’affichage pour permettre de donner un retour d’information visuel à l’opérateur sur la capacité ou non du véhicule à manutentionner une charge à au moins un endroit donné de l’environnement dans lequel se situe le véhicule qui correspond à au moins une partie de l’image acquise affichée à l’écran.The assistance device also comprises a display screen 7 to allow visual feedback to be given to the operator on the capacity or not of the vehicle to handle a load at at least one given place in the environment in which is located the vehicle which corresponds to at least part of the acquired image displayed on the screen.
En particulier, l’écran 7 d’affichage permet à l’opérateur de visualiser l’image acquise par la caméra 13 avec, comme détaillé ci-après, des informations de capacité de manutention 141, I42, I43, I44 superposées à des parties P41, P42, P43, P44 de ladite image 4 affichée à l’écran 7 (voir figure 1A) correspondant à des zones réelles de l’environnement du véhicule. Comme détaillé ci-après, ces parties P41, P42, P43, P44 correspondent à des portions de la zone 301 du bâtiment 300 mesurée à l’aide du dispositif de télémétrie 12.In particular, the display screen 7 allows the operator to view the image acquired by the camera 13 with, as detailed below, handling capacity information 141, I42, I43, I44 superimposed on parts P41, P42, P43, P44 of said image 4 displayed on the screen 7 (see FIG. 1A) corresponding to real areas of the environment of the vehicle. As detailed below, these parts P41, P42, P43, P44 correspond to portions of the zone 301 of the building 300 measured using the telemetry device 12.
Selon un mode de réalisation illustré à la figure 2, le dispositif pour l’assistance à la manutention de la charge comprend une unité de traitement 200, telle qu’un processeur ou microcontrôleur, et une mémoire 201 qui contient des données d’abaque (présenté ci-après).According to an embodiment illustrated in FIG. 2, the device for assistance in handling the load comprises a processing unit 200, such as a processor or microcontroller, and a memory 201 which contains chart data ( presented below).
L’unité de traitement 200 est raccordée à la caméra 13, à un dispositif 12 de télémétrie (présenté ci-après) et à l’écran d’affichage 7. On peut prévoir que la mémoire 201 qui contient les données de l’abaque soit incluse ou non dans l’unité de traitement 200.The processing unit 200 is connected to the camera 13, to a telemetry device 12 (presented below) and to the display screen 7. It can be provided that the memory 201 which contains the data of the chart is included or not in the processing unit 200.
L’abaque AB1, dont un exemple est illustré à la figure 3, fournit des informations relatives à des valeurs de charge maximales que le système de support de charge 11 du véhicule peut porter en différentes positions définies dans un repère attaché au véhicule. Selon un aspect particulier, ces positions sont devant le véhicule. Ces positions dans lesquelles le support de charge peut porter différentes valeurs de charge maximales sont fonctions de caractéristique de construction du véhicule, telles que la longueur du bras de manutention. Selon un aspect particulier, la charge maximale associée à une position donnée du système de support de charge, correspond à une charge au-delà de laquelle la sécurité de manutention de la charge n’est plus assurée, par exemple du fait qu’il existe un risque de basculement et/ou de dégradation du véhicule.The chart AB1, an example of which is illustrated in FIG. 3, provides information relating to maximum load values that the load support system 11 of the vehicle can carry in different positions defined in a mark attached to the vehicle. According to a particular aspect, these positions are in front of the vehicle. These positions in which the load support can carry different maximum load values are a function of the construction characteristic of the vehicle, such as the length of the handling arm. According to a particular aspect, the maximum load associated with a given position of the load support system corresponds to a load beyond which the safety of handling the load is no longer ensured, for example because there is a risk of the vehicle tipping and / or degrading.
Selon cet abaque AB1, le véhicule, plus particulièrement un point donné du véhicule, est pris comme centre d’un repère. Ce repère est par exemple le repère R10 dont le centre est pris à la base du bras télescopique 110 comme illustré à la figure 4 ou à la figure 4A. Cet abaque fournit ainsi, dans un repère centré sur le véhicule et pour la zone de balayage que peut parcourir le bras télescopique du véhicule entre sa position rentrée et sa position sortie et avec un angle de débattement donné, des valeurs de charge maximale manutentionnable par le véhicule en chacun des points de cette zone.According to this abacus AB1, the vehicle, more particularly a given point of the vehicle, is taken as the center of a reference point. This reference is for example the reference R10, the center of which is taken at the base of the telescopic arm 110 as illustrated in FIG. 4 or in FIG. 4A. This abacus thus provides, in a reference centered on the vehicle and for the sweeping zone which the telescopic arm of the vehicle can travel between its retracted position and its extended position and with a given deflection angle, maximum load values which can be handled by the vehicle at each point in this area.
Selon un aspect particulier, l’abaque se présente sous la forme d’un ensemble de données numériques enregistrées dans la mémoire 201 et apte à être interprétées par l’unité de traitement 200. L’abaque peut ainsi contenir des informations de performance de stabilité du véhicule (masse, position des fourches), c’est-à-dire la capacité du véhicule à porter une masse à une hauteur et/ou une distance donnée et le poids maximal à ne pas dépasser à l’extrémité du système de manutention pour ne pas risquer un basculement du véhicule.According to a particular aspect, the abacus is in the form of a set of digital data recorded in the memory 201 and capable of being interpreted by the processing unit 200. The abacus can thus contain stability performance information of the vehicle (mass, position of the forks), i.e. the capacity of the vehicle to carry a mass at a given height and / or distance and the maximum weight not to be exceeded at the end of the handling system so as not to risk the vehicle tipping over.
L’ensemble de données comprend un nombre discret de valeurs de charge maximale. La zone de balayage du bras du véhicule se décompose ainsi en plusieurs sous-zones dont le nombre est égal à celui du nombre de valeurs de charge maximale défini. Comme illustré à la figure 3, plus la sous-zone est située à proximité du repère du véhicule plus la valeur de la charge maximale manutentionnable dans cette zone est importante.The dataset includes a discrete number of maximum load values. The sweeping area of the vehicle arm is thus broken down into several sub-areas, the number of which is equal to that of the number of maximum load values defined. As illustrated in Figure 3, the closer the sub-area is to the vehicle mark, the greater the value of the maximum load that can be handled in this area.
Les valeurs maximales de charge sont des valeurs prédéfinies. Les valeurs maximales comprennent par exemple les valeurs suivantes : 300 kg ; 400 kg ; 600 kg ; 900 kg ; 1200 kg ; 1500 kg ; 2000 kg ; 2500 kg ;3000 kg ; 4000 kg. Bien entendu d’autres valeurs, de même que des valeurs intermédiaires peuvent être définies.The maximum load values are predefined values. The maximum values include, for example, the following values: 300 kg; 400 kg; 600 kg; 900 kg; 1200 kg; 1500 kg; 2000 kg; 2500 kg; 3000 kg; 4000 kg. Of course, other values as well as intermediate values can be defined.
Avantageusement, un code couleur est associé à chaque valeur de charge maximale prédéfinie. Préférentiellement, un code couleur est aussi associé à l’information d’état non atteignable.Advantageously, a color code is associated with each predefined maximum charge value. Preferably, a color code is also associated with the unreachable status information.
Comme illustré à la figure 3A, la mémoire 201 peut aussi comprendre un abaque AB1’, similaire à l’abaque AB1, mais correspondant à une configuration dans laquelle le véhicule est sur stabilisateurs.As illustrated in FIG. 3A, the memory 201 may also include an abacus AB1 ’, similar to the abacus AB1, but corresponding to a configuration in which the vehicle is on stabilizers.
Le dispositif d’assistance comprend un dispositif 12 de télémétrie. Dans la suite de la description, ledit dispositif 12 de télémétrie de distance est un télémètre par exemple de type LIDAR ou une caméra TOF, mais bien entendu la description s’applique à tout autre type de dispositif de télémétrie. Dans l'exemple illustré aux figures, le dispositif 12 de télémétrie de distance est embarqué sur le véhicule. Avantageusement, de manière similaire à la caméra 13, le dispositif 12 de télémétrie est de préférence situé à l’avant du véhicule. Selon un aspect particulier, le dispositif 12 de télémétrie est situé sur une zone dégagée, telle que l’avant du châssis, un rétroviseur, ou un phare avant.The assistance device comprises a telemetry device 12. In the following description, said distance telemetry device 12 is a rangefinder, for example of the LIDAR type or a TOF camera, but of course the description applies to any other type of telemetry device. In the example illustrated in the figures, the device 12 for distance ranging is on board the vehicle. Advantageously, similar to the camera 13, the telemetry device 12 is preferably located at the front of the vehicle. According to a particular aspect, the telemetry device 12 is located in an open area, such as the front of the chassis, a rear view mirror, or a headlight.
Le dispositif 12 de télémétrie permet ainsi de mesurer la distance entre le véhicule 1 et un élément, tel qu’une zone réelle donnée d’un bâtiment, situé dans le champ de mesure, c'est-à-dire un élément de l’environnement dans lequel se situe le véhicule.The telemetry device 12 thus makes it possible to measure the distance between the vehicle 1 and an element, such as a given real area of a building, located in the measurement field, that is to say an element of the environment in which the vehicle is located.
Le dispositif d’assistance peut ainsi, à l’aide du dispositif 12 de télémétrie, déterminer des coordonnées spatiales d’une zone réelle donnée de l’environnement du véhicule. Lesdites coordonnées spatiales sont déterminées dans un repère attaché au véhicule. On entend par repère attaché au véhicule un repère associé à un point qui est solidaire en déplacement du véhicule, ainsi le repère R13 de la caméra 13 et le repère R12 du dispositif de télémétrie 13 qui sont portés par le châssis du véhicule sont considérés comme des repères attachés au véhicule.The assistance device can thus, using the telemetry device 12, determine spatial coordinates of a given real area of the environment of the vehicle. Said spatial coordinates are determined in a reference frame attached to the vehicle. The term “marker attached to the vehicle” is understood to mean a marker associated with a point which is integral with the movement of the vehicle, thus the marker R13 of the camera 13 and the marker R12 of the telemetry device 13 which are carried by the chassis of the vehicle are considered to be marks attached to the vehicle.
Selon un mode de réalisation, le dispositif 12 de télémétrie peut être fixe par rapport au châssis du véhicule (comme dans l’exemple des figures 1, 4 et 4A) ou mobile (comme dans l’exemple correspondant aux figures 5 et 5A), par exemple tournant afin de balayer une zone réelle de l’espace autour du véhicule, par rotation autour d’un axe sensiblement vertical, dit axe vertical.According to one embodiment, the telemetry device 12 can be fixed relative to the chassis of the vehicle (as in the example in FIGS. 1, 4 and 4A) or mobile (as in the example corresponding to FIGS. 5 and 5A), for example rotating in order to scan an actual area of space around the vehicle, by rotation about a substantially vertical axis, called vertical axis.
Comme expliqué ci-dessus, le dispositif 12 de télémétrie est par exemple un télémètre de type LIDAR (pour light détection and ranging en anglais). Un tel télémètre comprend un laser qui grâce à son impact sur un objet mesure la distance dont il est éloigné.As explained above, the telemetry device 12 is for example a rangefinder of the LIDAR type (for light detection and ranging in English). Such a rangefinder includes a laser which, thanks to its impact on an object, measures the distance from which it is distant.
En variante, le dispositif 12 de télémétrie peut être une caméra de type TOF (pour time of flight en anglais). Une telle caméra TOF permet de mesurer en 3D, la distance entre la caméra et chaque point devant la caméra correspondant au champ de vision.As a variant, the telemetry device 12 can be a TOF (time of flight in English) type camera. Such a TOF camera makes it possible to measure in 3D the distance between the camera and each point in front of the camera corresponding to the field of vision.
Il est possible de prévoir que le dispositif de télémétrie combine l’utilisation de solutions de télémétrie de type LIDAR et TOF.It is possible to provide for the telemetry device to combine the use of LIDAR and TOF type telemetry solutions.
Selon un aspect particulier, le dispositif de télémétrie peut comprendre plusieurs télémètres configurés pour balayer une région ou surface de l’espace plus étendue.According to a particular aspect, the telemetry device can comprise several rangefinders configured to scan a region or surface of the larger space.
Avantageusement, l’unité de traitement 200 est configurée pour traiter les données mesurées par le dispositif 12 de télémétrie pour recréer sous forme de nuages de points, de coordonnées connues, des zones réelles de l’espace autour du véhicule dont au moins une partie correspond aussi à au moins une partie de l’image 4 acquise par la caméra 13.Advantageously, the processing unit 200 is configured to process the data measured by the telemetry device 12 in order to recreate, in the form of point clouds, of known coordinates, real areas of space around the vehicle of which at least part corresponds also at least part of the image 4 acquired by the camera 13.
L’unité de traitement 200 peut alors associer à chaque zone réelle située dans le champ de mesure du dispositif 12 de télémétrie, des coordonnées de positionnement, dans un repère donné. Ladite zone peut-être définie dans l’espace comme un point ou une multiplicité de points, une ligne, une surface ou un volume.The processing unit 200 can then associate with each real area located in the measurement field of the telemetry device 12, positioning coordinates, in a given coordinate system. Said area can be defined in space as a point or a multiplicity of points, a line, a surface or a volume.
Les coordonnées peuvent être définies dans un système de coordonnées polaire (2D) permettant de définir l’angle et la distance d’un point d’une zone devant le véhicule, ou encore un système de coordonnées sphériques ou cylindriques (3D). Les coordonnées spatiales peuvent aussi être définies dans un système de coordonnées cartésiennes (2D ou 3D).Coordinates can be defined in a polar (2D) coordinate system to define the angle and distance of a point in an area in front of the vehicle, or a spherical or cylindrical (3D) coordinate system. Spatial coordinates can also be defined in a Cartesian coordinate system (2D or 3D).
Comme dans l’exemple illustré à la figure 4, les coordonnés spatiales d’une zone de l’environnement du véhicule déterminées à l’aide du dispositif 12 de télémétrie sont définies dans le repère R12 du dispositif 12 de télémétrie monté sur le véhicule. L’unité de traitement 200 effectue un transfert de repère des coordonnées spatiales, définies dans le repère R12 du dispositif 12 de télémétrie, dans le repère R13 de la caméra 13. Ce transfert de repère est réalisé à l’aide des positions connues de la caméra 13 et du dispositif 12 de télémétrie montés sur le véhicule.As in the example illustrated in FIG. 4, the spatial coordinates of an area of the environment of the vehicle determined using the telemetry device 12 are defined in the reference R12 of the telemetry device 12 mounted on the vehicle. The processing unit 200 performs a reference transfer of the spatial coordinates, defined in the reference R12 of the telemetry device 12, in the reference R13 of the camera 13. This transfer of reference is carried out using the known positions of the camera 13 and telemetry device 12 mounted on the vehicle.
Ce transfert de repère permet ainsi, dans le repère R13 de la caméra 13, d'associer à chaque pixel de l'image 4 renvoyée par la caméra, les coordonnées spatiales correspondantes déterminées à l’aide du dispositif 12 de télémétrie.This reference transfer thus makes it possible, in the reference R13 of the camera 13, to associate with each pixel of the image 4 returned by the camera, the corresponding spatial coordinates determined using the telemetry device 12.
La position du repère de construction de l'abaque est connue par rapport à la position de la caméra 13. Ledit repère de construction est par exemple le repère R10. L’unité de traitement 200 effectue alors un autre transfert de repère entre le repère R13 et le repère R10 pour déterminer, compte tenu des données de l’abaque, les parties de l’image qui correspondent à des zones réelles de l’environnement du véhicule qui sont ou non atteignables par le système de support de charge 11 du système de manutention 110 du véhicule, et, en cas d’atteinte possible, avec quelle charge maximale.The position of the construction mark of the abacus is known with respect to the position of the camera 13. Said construction mark is for example the mark R10. The processing unit 200 then performs another reference transfer between the reference R13 and the reference R10 to determine, taking into account the data in the chart, the parts of the image which correspond to real areas of the environment of the vehicle which may or may not be reachable by the load support system 11 of the vehicle handling system 110, and, if possible, with what maximum load.
L’unité de traitement 200 associe alors à chaque partie de l’image 4 acquise pour laquelle des coordonnées spatiales de la zone de l’environnement réel correspondant ont été déterminées, une information de capacité de manutention de charge.The processing unit 200 then associates with each part of the acquired image 4 for which spatial coordinates of the zone of the corresponding real environment have been determined, information on load handling capacity.
Comme expliqué ci-dessus, l’information de capacité correspond à la charge théorique maximale qu’il est possible de manutentionner dans cette zone réelle de l’environnement au regard de la position et des caractéristiques de construction du véhicule, tel que la longueur de bras pour un véhicule à bras. Cette information peut être affichée sous forme d’un code de couleur, une information de poids, ou une information de distance. La charge (ou poids) théorique maximale correspond à un critère de sécurité permettant par exemple d’éviter le basculement du véhicule.As explained above, the capacity information corresponds to the maximum theoretical load that it is possible to handle in this real area of the environment with regard to the position and the construction characteristics of the vehicle, such as the length of arms for an arm vehicle. This information can be displayed as a color code, weight information, or distance information. The maximum theoretical load (or weight) corresponds to a safety criterion making it possible, for example, to prevent the vehicle from tipping over.
La ou chaque partie de l’image affichée l’écran qui correspond à une zone non atteignable par le véhicule, est munie d’une indication spécifique, par exemple une couleur rouge.The or each part of the image displayed on the screen which corresponds to an area not accessible by the vehicle, is provided with a specific indication, for example a red color.
Selon un mode de réalisation, l’information de capacité de manutention de charge qui est obtenue à l’aide de l’abaque est déterminée en fonction d’un paramètre de position de la zone souhaitée de manutention de charge par rapport au véhicule. Ledit paramètre de position peut comprendre les coordonnées spatiales de ladite zone souhaitée ou la distance entre le véhicule et ladite zone souhaitée. Ledit paramètre de position peut aussi comprendre l’angle que forme une droite passant par un point du véhicule et un point de ladite zone souhaitée avec l’horizontal.According to one embodiment, the load handling capacity information which is obtained using the chart is determined as a function of a position parameter of the desired load handling zone relative to the vehicle. Said position parameter may include the spatial coordinates of said desired area or the distance between the vehicle and said desired area. Said position parameter can also include the angle formed by a straight line passing through a point of the vehicle and a point of said desired area with the horizontal.
Le dispositif d’assistance permet ainsi à l’opérateur d’atteindre intelligemment une zone réelle donnée de l’environnement du véhicule avec un charge donnée à manutentionner dans cette zone en lui permettant d’identifier rapidement et de manière fiable le poids de charge maximal qu’il peut déposer dans ladite zone donnée. Le dispositif peut le cas échéant aussi indiquer qu’aucune charge ne peut être déposée dans une zone donnée, par exemple du fait que ladite zone est non atteignable par le système de support de charge. La zone peut être non atteignable du fait des caractéristiques de construction du véhicule et/ou de la position courante du véhicule par rapport à ladite zone.The assistance device thus allows the operator to intelligently reach a given real area of the vehicle environment with a given load to be handled in this area, allowing him to quickly and reliably identify the maximum load weight. that he can deposit in said given area. The device can, where appropriate, also indicate that no load can be deposited in a given zone, for example because the said zone cannot be reached by the load support system. The area may be unreachable due to the construction characteristics of the vehicle and / or the current position of the vehicle relative to said area.
Selon un mode de réalisation, le dispositif ne comprend pas en donnée d’entrée la valeur de poids de la charge réelle, portée par le véhicule pour sa dépose ou son déplacement, ou à saisir par le véhicule. Comme expliqué ci-dessus, le dispositif attribue des valeurs de charges maximales aux différentes parties de l’image mesurées par le dispositif 12 de télémétrie. L’opérateur connaît l’ordre de grandeur de la charge à manutentionner. L’opérateur sait ainsi s’il va pouvoir manutentionner ou non la charge de manière sécurisée dans la zone réelle souhaitée, compte tenu de la valeur maximale de charge associée à ladite zone par le dispositif d’assistance et de sa connaissance de l’ordre de grandeur du poids de la charge à manutentionner.According to one embodiment, the device does not include as input data the weight value of the actual load, carried by the vehicle for its removal or its movement, or to be entered by the vehicle. As explained above, the device assigns maximum load values to the different parts of the image measured by the telemetry device 12. The operator knows the order of magnitude of the load to be handled. The operator thus knows whether he will be able to handle the load securely in the desired real zone or not, taking into account the maximum load value associated with said zone by the assistance device and his knowledge of the order. of magnitude of the weight of the load to be handled.
Selon un mode de réalisation particulier non illustré, on peut prévoir que l’information de capacité ou non de manutention de charge est aussi déterminée en fonction du poids de la charge à manutentionner lorsque ce paramètre est connu du dispositif par mesure, calcul ou entrée de donnée. L’information de capacité associée à une partie donnée de l’image correspondant à une zone réelle de l’environnement, peut ainsi indiquer si, compte tenu du poids connu de la charge à manutentionner, l’opérateur peut manutentionner ladite charge dans ladite zone réelle.According to a particular embodiment not illustrated, it can be provided that the information on the capacity or not of load handling is also determined as a function of the weight of the load to be handled when this parameter is known to the device by measurement, calculation or input of given. The capacity information associated with a given part of the image corresponding to a real area of the environment, can thus indicate whether, taking into account the known weight of the load to be handled, the operator can handle said load in said area real.
Le dispositif d’assistance tel que décrit ci-dessus permet, pour une zone de l’espace dans l’environnement du véhicule, de préférence devant le véhicule, d’exécuter les étapes décrites ci-après. Bien entendu, les étapes décrites ciaprès peuvent être appliquées à une pluralité de zones distinctes jointes ou disjointes.The assistance device as described above makes it possible, for an area of space in the environment of the vehicle, preferably in front of the vehicle, to carry out the steps described below. Of course, the steps described below can be applied to a plurality of separate joined or disjoint areas.
Dans l'exemple illustré aux figures 1 et 1A, on prend l’exemple d’un bâtiment 300 devant lequel est situé le véhicule à un moment donné. On peut prévoir que le véhicule soit fixe ou en mouvement. Avantageusement, les étapes d’assistance à la manutention de charge sont répétées à une fréquence donnée pour permettre à l’opérateur de connaître en temps réel la possibilité ou non de manutentionner une charge dans une zone donnée.In the example illustrated in Figures 1 and 1A, we take the example of a building 300 in front of which the vehicle is located at a given time. It can be expected that the vehicle is stationary or in motion. Advantageously, the load handling assistance steps are repeated at a given frequency to allow the operator to know in real time whether or not it is possible to handle a load in a given area.
A la figure 1, on a schématisé sur le bâtiment 300 une bande verticale 301 qui correspond à une zone devant le véhicule dans le champ de mesure du dispositif de télémétrie 12 du véhicule. Dans cet exemple le champ de mesure est vertical, mais on peut prévoir, comme dans l'exemple illustré aux figures 5 et 5A, d’obtenir un champ de mesure non seulement vertical mais également sur un secteur angulaire, défini autour d’un axe vertical, obtenu par rotation du dispositif de télémétrie, notamment lorsque le véhicule comprend une tourelle 101 qui porte le dispositif de télémétrie, ou lorsque le dispositif de télémétrie balaye l’espace, en particulier à fréquence rapide, en tournant autour de son axe verticalIn FIG. 1, a vertical strip 301 has been shown diagrammatically on the building 300 which corresponds to an area in front of the vehicle in the measurement field of the telemetry device 12 of the vehicle. In this example the measurement field is vertical, but it is possible, as in the example illustrated in FIGS. 5 and 5A, to obtain a measurement field not only vertical but also on an angular sector, defined around an axis vertical, obtained by rotation of the telemetry device, in particular when the vehicle comprises a turret 101 which carries the telemetry device, or when the telemetry device scans the space, in particular at fast frequency, by turning around its vertical axis
Ainsi, l’exemple décrit ci-après pour une zone correspondant à une bande verticale est aussi applicable à une zone correspondant à une autre surface mesurée.Thus, the example described below for an area corresponding to a vertical strip is also applicable to an area corresponding to another measured surface.
En revenant à la figure 1, l’unité de traitement 200 du dispositif d’assistance calcule les coordonnées spatiales des points de la bande de mesure 301 en fonction des mesures issues du dispositif 12 de télémétrie. L’unité de traitementReturning to FIG. 1, the processing unit 200 of the assistance device calculates the spatial coordinates of the points of the measurement strip 301 as a function of the measurements from the telemetry device 12. The processing unit
200 du dispositif d’assistance applique des opérations de transfert de repère aux coordonnées des points de la bande de mesure 301 pour déterminer à l’aide de l’abaque, par exemple l’abaque AB1, les charges maximales qui peuvent être manutentionnées par le véhicule au niveau de chacun de ces points ou déterminer l’absence de charge manutentionnable le cas échéant.200 of the assistance device applies reference transfer operations to the coordinates of the points of the measurement strip 301 to determine using the chart, for example the chart AB1, the maximum loads which can be handled by the vehicle at each of these points or determine the absence of handling load if necessary.
Le dispositif d’assistance superpose alors aux pixels de l’image 4 qui correspondent aux points de la bande de mesure 301 au moins une information correspondant à la capacité ou non de manutention de charge déterminée à l’aide de l’abaque. Avantageusement, cette information est un code couleur par exemple vert pour une charge maximale de 2000 kg, jaune pour une charge maximale de 1000 kg, orange pour une charge maximale de 200 kg et rouge pour une zone non atteignable.The assistance device then superimposes on the pixels of image 4 which correspond to the points of the measurement strip 301 at least one item of information corresponding to the capacity or not of load handling determined using the chart. Advantageously, this information is a color code, for example green for a maximum load of 2000 kg, yellow for a maximum load of 1000 kg, orange for a maximum load of 200 kg and red for an area that cannot be reached.
On obtient ainsi comme illustré à la figure 1A, une image 4 du bâtiment 300 affichée à l’écran 7. Cette image 4 présente une zone 401, correspondant à la bande de mesure 301 illustrée la figure 1, à laquelle est superposée une bande 410 qui est composée depuis le bas vers le haut d’une première partie P41 de couleur verte 141, d’une deuxième partie P42 de couleur jaune I42, d’une troisième partie P43 de couleur orange I43, et d’une quatrième partie P44 de couleur rouge I44. Bien entendu il est aussi possible d’utiliser des nuances de couleur comme code couleur associé à l’information de capacité.As shown in FIG. 1A, an image 4 of the building 300 displayed on the screen is thus obtained. This image 4 presents an area 401, corresponding to the measurement strip 301 illustrated in FIG. 1, to which a strip 410 is superimposed. which is composed from the bottom upwards of a first part P41 of green color 141, of a second part P42 of yellow color I42, of a third part P43 of orange color I43, and of a fourth part P44 of red color I44. Of course it is also possible to use color shades as a color code associated with the capacity information.
Comme rappelé ci-dessus, l’information de capacité de manutention de charge dans une zone donnée est définie en fonction de paramètres relatifs au risque de basculement du véhicule et/ou à la possibilité ou non d’atteindre physiquement la zone donnée.As recalled above, the information on load handling capacity in a given zone is defined as a function of parameters relating to the risk of the vehicle tipping over and / or whether or not it is possible to physically reach the given zone.
On peut prévoir que la détermination de l’information de capacité associée à une zone de l’environnement soit aussi réalisée en fonction de caractéristiques géométriques de la zone, par exemple en fonction de la présence d’une ouverture telle qu’une fenêtre d’un bâtiment.It can be provided that the determination of the capacity information associated with an area of the environment is also carried out as a function of geometric characteristics of the area, for example as a function of the presence of an opening such as a window of a building.
Selon un mode de réalisation particulier, ledit dispositif d’assistance permet aussi de commander le véhicule, en particulier le système de manutention du véhicule, pour amener automatiquement le système de support de charge dans la zone souhaitée de manutention. A cet effet, le dispositif d’assistance comprend un dispositif de pointage d’une zone de l’image affichée à l’écran, telle qu’une couche tactile de l’écran.According to a particular embodiment, said assistance device also makes it possible to control the vehicle, in particular the vehicle handling system, to automatically bring the load support system to the desired handling area. To this end, the assistance device comprises a device for pointing an area of the image displayed on the screen, such as a touch screen layer.
La détection du pointage peut être effectuée par l’unité de traitement. On peut prévoir que l’unité de traitement soit aussi configurée pour transmettre des instructions de commande à une unité de pilotage du véhicule qui communique avec l’unité de traitement. On peut prévoir que l’unité de traitement et l’unité de pilotage soient distinctes ou comprennent au moins des parties communes.The pointing detection can be carried out by the processing unit. Provision may be made for the processing unit to also be configured to transmit control instructions to a vehicle control unit which communicates with the processing unit. Provision may be made for the processing unit and the control unit to be separate or to comprise at least common parts.
Une fois que l’opérateur a identifié, grâce aux informations de capacité affichées à l’écran, la zone dans laquelle il peut manutentionner sa charge, l’opérateur touche ou appuie sur la zone de l’image correspondant à la zone de manutention souhaitée. Ledit dispositif d’assistance détecte alors le pointage d’une zone de l’écran à l’aide de ladite interface et transmet des instructions de commande à l’unité de pilotage du véhicule pour piloter le système de manutention afin de manutentionner la charge dans la zone réelle correspondant à ladite zone pointée à l’écran. A cet effet, les coordonnées connues de la zone pointée sont transférées dans le repère du véhicule pour définir les mouvements nécessaires à l’atteinte de la zone réelle correspondant à la zone pointée à l’écran.Once the operator has identified, using the capacity information displayed on the screen, the area in which he can handle his load, the operator touches or presses on the area of the image corresponding to the desired handling area . Said assistance device then detects the pointing of an area of the screen using said interface and transmits control instructions to the vehicle control unit to control the handling system in order to handle the load in the real area corresponding to said area pointed to on the screen. For this purpose, the known coordinates of the pointed area are transferred to the vehicle coordinate system to define the movements necessary to reach the real area corresponding to the pointed area on the screen.
Dans le cas d’un véhicule à bras télescopique, le pilotage du système de manutention du véhicule comprend la commande de levage et d’extension du bras télescopique pour amener l’accessoire de manutention formé par le système de support de charge dans la zone réelle correspondant à la zone pointée. En outre, dans le cas d’un véhicule avec tourelle, la commande du bras est combinée avec la commande de la rotation de la tourelle.In the case of a vehicle with telescopic arm, the control of the vehicle handling system includes the lifting and extension control of the telescopic arm to bring the handling accessory formed by the load support system into the real area corresponding to the pointed area. In addition, in the case of a vehicle with a turret, the control of the arm is combined with the control of the rotation of the turret.
Les fonctions du dispositif d’assistance, et en particulier de l’unité de traitement, de même que les fonctions de l’unité de pilotage du véhicule, peuvent être mise en oeuvre sous forme de programme informatique ou via des composants matériels (p. ex. des réseaux de portes programmables).The functions of the assistance device, and in particular of the processing unit, as well as the functions of the vehicle control unit, can be implemented in the form of a computer program or via hardware components (p. e.g. programmable door networks).
Ces programmes d’ordinateur, ou instructions informatiques, peuvent être contenus dans des dispositifs de stockage de programme, par exemple des supports de stockage de données numériques lisibles par ordinateur, ou des programmes exécutables. Les programmes ou instructions peuvent aussi être exécutés à partir de périphériques de stockage de programme.These computer programs, or computer instructions, may be contained in program storage devices, for example computer readable digital data storage media, or executable programs. Programs or instructions can also be executed from program storage devices.
L'invention n’est pas limitée aux modes de réalisation illustrés dans les dessins. En conséquence, il doit être entendu que, lorsque les caractéristiques mentionnées dans les revendications annexées sont suivies par des signes de référence, ces signes sont inclus uniquement dans le but d'améliorer l'intelligibilité des revendications et ne sont nullement limitatifs de la portée des revendications.The invention is not limited to the embodiments illustrated in the drawings. Consequently, it should be understood that, when the features mentioned in the appended claims are followed by reference signs, these signs are included only for the purpose of improving the intelligibility of the claims and are in no way limitative of the scope of the claims.
De plus, le terme « comprenant » n’exclut pas d’autres éléments ou étapes. En outre, des caractéristiques ou étapes qui ont été décrites en référence à l’un des modes de réalisation exposés ci-dessus peuvent également être utilisées en combinaison avec d’autres caractéristiques ou étapes d’autres modes de réalisation exposés ci-dessus.In addition, the term "comprising" does not exclude other elements or steps. In addition, features or steps which have been described with reference to one of the embodiments set out above can also be used in combination with other features or steps of other embodiments set out above.
Claims (12)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1761937A FR3074761B1 (en) | 2017-12-11 | 2017-12-11 | LOAD HANDLING ASSISTANCE DEVICE FOR VEHICLE AND CORRESPONDING VEHICLE |
| EP18211531.1A EP3495316B1 (en) | 2017-12-11 | 2018-12-11 | Vehicle comprising a device to assist the handling of a load and corresponding method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1761937A FR3074761B1 (en) | 2017-12-11 | 2017-12-11 | LOAD HANDLING ASSISTANCE DEVICE FOR VEHICLE AND CORRESPONDING VEHICLE |
| FR1761937 | 2017-12-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3074761A1 true FR3074761A1 (en) | 2019-06-14 |
| FR3074761B1 FR3074761B1 (en) | 2020-11-13 |
Family
ID=61655899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1761937A Active FR3074761B1 (en) | 2017-12-11 | 2017-12-11 | LOAD HANDLING ASSISTANCE DEVICE FOR VEHICLE AND CORRESPONDING VEHICLE |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP3495316B1 (en) |
| FR (1) | FR3074761B1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113292016B (en) * | 2020-02-21 | 2023-06-16 | 林德（中国）叉车有限公司 | Control method and control output device for operating handle |
| CN111825036B (en) * | 2020-07-21 | 2021-08-27 | 湖南航天建筑工程有限公司 | Building hanging basket monitoring early warning and auxiliary assembly of subsidiary computer vision |
| WO2022140285A1 (en) * | 2020-12-21 | 2022-06-30 | Oshkosh Corporation | Range and position determination system and method |
| IT202100023042A1 (en) * | 2021-09-07 | 2023-03-07 | Magni Real Estate S R L | PROCEDURE FOR GENERATION OF LOAD DIAGRAMS FOR TELEHANDLER |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2543622A1 (en) * | 2011-07-08 | 2013-01-09 | Tadano, Ltd. | Performance line display unit |
| US20130345857A1 (en) * | 2010-06-07 | 2013-12-26 | Industry-Academic Cooperation Foundation, Yonsel University | Tower crane navigation system |
| CN105347211A (en) * | 2015-11-17 | 2016-02-24 | 山东聊建集团有限公司 | Panorama-visible and controllable intelligent monitoring and protecting integrated system for tower crane |
| EP3000761A1 (en) * | 2013-05-21 | 2016-03-30 | Tadano, Ltd. | Camera orientation detecting device and work region line displaying device |
| US20170108871A1 (en) * | 2015-04-10 | 2017-04-20 | X Development Llc | Virtual Moving Safety Limits For Vehicles Transporting Objects |
-
2017
- 2017-12-11 FR FR1761937A patent/FR3074761B1/en active Active
-
2018
- 2018-12-11 EP EP18211531.1A patent/EP3495316B1/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130345857A1 (en) * | 2010-06-07 | 2013-12-26 | Industry-Academic Cooperation Foundation, Yonsel University | Tower crane navigation system |
| EP2543622A1 (en) * | 2011-07-08 | 2013-01-09 | Tadano, Ltd. | Performance line display unit |
| EP3000761A1 (en) * | 2013-05-21 | 2016-03-30 | Tadano, Ltd. | Camera orientation detecting device and work region line displaying device |
| US20170108871A1 (en) * | 2015-04-10 | 2017-04-20 | X Development Llc | Virtual Moving Safety Limits For Vehicles Transporting Objects |
| CN105347211A (en) * | 2015-11-17 | 2016-02-24 | 山东聊建集团有限公司 | Panorama-visible and controllable intelligent monitoring and protecting integrated system for tower crane |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3495316A1 (en) | 2019-06-12 |
| EP3495316B1 (en) | 2023-08-16 |
| EP3495316C0 (en) | 2023-08-16 |
| FR3074761B1 (en) | 2020-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3495316B1 (en) | Vehicle comprising a device to assist the handling of a load and corresponding method | |
| CA2275957C (en) | Method for calibrating the initial position and the orientation of one or several mobile cameras | |
| EP2327055B1 (en) | Method of and arrangement for blurring an image | |
| EP3152593B1 (en) | Device for detecting an obstacle by means of intersecting planes and detection method using such a device | |
| EP2506073A1 (en) | Device for monitoring the condition of an engineering structure | |
| EP3152592A1 (en) | Device for detection of obstacles in a horizontal plane and detection method implementing such a device | |
| WO2017025521A1 (en) | Device and method for detecting obstacles suitable for a mobile robot | |
| FR3025918A1 (en) | METHOD AND SYSTEM FOR AUTOMATED MODELING OF A PART | |
| EP3355277A1 (en) | Method for displaying on a screen at least one representation of an object, related computer program, electronic display device and apparatus | |
| EP2732238B1 (en) | Method of representing possible movements of a structure for an apparatus of smartphone type | |
| CN110741625A (en) | Motion estimation method and mobile device | |
| EP2729328B1 (en) | Driver aid device for making available to a driver, in anticipation, a synthetic image representative of a chosen zone around his vehicle | |
| WO2014146884A1 (en) | Method for observing an area by means of a drone | |
| WO2019141929A1 (en) | Mapping method and device for an automatic vehicle | |
| CA2925241C (en) | Operator terminal with display of zones of picture taking quality | |
| EP3427117A1 (en) | Autonomous motorized robot for transporting loads | |
| FR3025025A1 (en) | METHOD FOR DETERMINING THE RELATIVE POSTURE OF A MOBILE MACHINE WITH RESPECT TO AN ART WORK AND ADAPTIVE MOBILE MACHINE | |
| EP4212825B1 (en) | Method for aligning a camera on a road | |
| WO2017103408A2 (en) | Device for the measurement and compliance monitoring of an impact on a structure | |
| WO2023088932A1 (en) | Title: method for determining the relative orientation of two vehicles | |
| WO2022194955A1 (en) | Aerial lift with improved visibility | |
| WO2021105636A1 (en) | Method for determining the relative position of a gripper | |
| FR3113330A1 (en) | Method for aligning at least two images formed from three-dimensional points | |
| FR3143587A1 (en) | Method for controlling the positioning of an autonomous forklift in relation to an annular load to be lifted | |
| FR3022038A1 (en) | DEVICE FOR DETECTING AN OBLIQUE OBLIQUE PLAN AND DETECTION METHOD USING SUCH A DEVICE |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLSC | Publication of the preliminary search report |
Effective date: 20190614 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |