DE10323642A1 - Image and surroundings sensor for an autonomous industrial truck, floor conveyer or forklift truck, can be controlled independently of the movement of the truck or its load - Google Patents
Image and surroundings sensor for an autonomous industrial truck, floor conveyer or forklift truck, can be controlled independently of the movement of the truck or its load Download PDFInfo
- Publication number
- DE10323642A1 DE10323642A1 DE2003123642 DE10323642A DE10323642A1 DE 10323642 A1 DE10323642 A1 DE 10323642A1 DE 2003123642 DE2003123642 DE 2003123642 DE 10323642 A DE10323642 A DE 10323642A DE 10323642 A1 DE10323642 A1 DE 10323642A1
- Authority
- DE
- Germany
- Prior art keywords
- image sensor
- truck
- industrial truck
- load
- alignment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
- B66F9/0755—Position control; Position detectors
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Structural Engineering (AREA)
- Civil Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geology (AREA)
- Mechanical Engineering (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
Die Erfindung betrifft ein Verfahren zum Betrieb eines Bildsensors an einem Flurförderfahrzeug, sowie einen Bildsensor für ein autonomes Flurförderfahrzeug nach den Oberbegriffen der Patentansprüche 1 und 8.The The invention relates to a method for operating an image sensor an industrial truck, as well an image sensor for an autonomous industrial truck according to the preambles of claims 1 and 8.
Im industriellen Bereich werden vermehrt fahrerlose Transportsysteme eingesetzt, jedoch sind die derzeit am Markt angebotenen fahrerlosen Transportsysteme noch relativ unflexibel. Sie können sich nur auf exakt vorgegebenen Fahrspuren fortbewegen und es ist ihnen nicht möglich selbständig einen Weg zu finden. Ebenso wie bei stationären Industrierobotern muss die Arbeitsumgebung den Robotern angepasst werden. Daher können diese Roboter nicht für Aufgaben genutzt werden, bei denen sich die Arbeitsumgebung dynamisch verändert oder die Platzierung von zu transportierenden Lasten nicht exakt gesteuert werden kann. Autonome, frei navigierende und universell einsetzbare Roboter werden aber künftig nicht mehr an fest vorgegebenen Positionen und auf fest vorgegebenen Wegen arbeiten; diese werden zusammen mit dem Menschen in einer sich dynamisch ändernden Umgebung eingesetzt werden. Um die dafür notwendigen und anspruchsvollen Anforderungen erfüllen zu können, benötigen moderne mobile Roboter zusätzliche Sensoren. Beispielsweise ermöglichen handelsübliche Entfernungs-, Bild- oder Ultraschallsensoren die exakte Bestimmung der Fahrzeug- und Lastposition sowie das Erkennen von Hindernissen zur Vermeidung von Kollisionen.in the In the industrial sector, more and more driverless transport systems are being used used, but are currently available on the market driverless Transport systems still relatively inflexible. They can only be set to exactly Moving lanes and it is not possible for them independently a way to find. As with stationary industrial robots must the working environment are adapted to the robots. Therefore, these can Robot not for Tasks are used where the work environment is dynamic changed or the placement of loads to be transported exactly can be controlled. Autonomous, free-navigating and universal However, future robots will no longer be predefined Working positions and on fixed paths; these will together with man in a dynamically changing way Environment are used. To the necessary and demanding meet requirements to be able to need modern mobile robot additional sensors. For example, allow commercial Distance, image or ultrasonic sensors the exact determination the vehicle and load position as well as the detection of obstacles to avoid collisions.
In
der
Der Erfindung liegt daher die Aufgabe zu Grunde, einen Bildsensor für ein autonomes Flurförderfahrzeug sowie ein Verfahren zum Betrieb eines Bildsensors gemäß den Oberbegriffen der Patentansprüche 1 und 8 bereitzustellen, womit es möglich wird einen großen Umgebungsbereich zu erfassen.Of the The invention is therefore based on the object, an image sensor for an autonomous Industrial truck and a method of operating an image sensor according to the preambles of the claims 1 and 8, thus making possible a large surrounding area capture.
Die Aufgabe wird gemäß der Erfindung durch ein Verfahren und eine Vorrichtung mit den Merkmalen der Patentansprüche 1 und 8 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung werden in den Unteransprüchen aufgezeigt.The Task is according to the invention by a method and a device having the features of claims 1 and 8 solved. Advantageous embodiments and further developments of the invention will be in the subclaims demonstrated.
Gemäß der Erfindung wird ein Bildsensor zur Erfassung von Umgebungsinformationen an einem autonomen Flurförderfahrzeug betrieben. Der Bildsensor ist hierbei am Flurförderfahrzeug oder an einem seiner Lastmittel angebracht. Die erfassten Umgebungsinformationen werden sodann mittels einer Rechnereinheit für Navigationszwecke und/oder zur Erkennung und/oder zur Vermessung von Objekten ausgewertet. In einer erfinderischen Weise ist der Bildsensor dabei unabhängig von der Bewegung des Flurförderfahrzeugs oder einem seiner Lastmittel in unterschiedliche Positionen und Orientierungen verfahrbar. Der Vorteil eines derart verfahrbaren Bildsensors ist, dass damit ein Erfassungsbereich von bis zu 360° um das Flurförderfahrzeug realisierbar ist. Beispielsweise eignet sich die erfindungsgemäße Vorrichtung besonders beim Einsatz in Flurförderfahrzeugen im Zusammenhang mit Hochregallagern. Durch geeignetes Schwenken und Neigen des Bildsensors wird zunächst eine Bildübersicht des Hochregallagers generiert und anschließend anhand dieser Bildübersicht eine bestimmte Position innerhalb des Hochregallagers angefahren.According to the invention becomes an image sensor for acquiring environmental information an autonomous industrial truck operated. The image sensor is here on the industrial truck or on a its means of load attached. The captured environmental information are then by means of a computer unit for navigation purposes and / or to Detection and / or evaluated for the measurement of objects. In a inventive way, the image sensor is independent of the movement of the industrial truck or one of its means of load in different positions and Orientations movable. The advantage of such a movable image sensor is that thus a detection range of up to 360 ° to the industrial truck is feasible. For example, the device according to the invention is suitable especially when used in industrial trucks in connection with high-bay warehouses. By suitable pivoting and tilting the image sensor will initially be a picture overview of the high-bay warehouse and then based on this overview approached a certain position within the high-bay warehouse.
Bei einer gewinnbringenden Ausführungsform der Erfindung ist der Bildsensor linear am Flurförderfahrzeug verfahrbar. Wobei zum Verfahren des Bildsensors vor allem handelsübliche Linearantriebe vorteilhafte Eigenschaften aufweisen. Derartige Linearantriebe können grundsätzlich in jeder beliebigen Orientierung am autonomen Flurförderfahrzeug oder an einem seiner Lastmittel angebracht sein. Beispielsweise eignet sich eine vertikale Anordnung des Linearantriebs dazu, den Bildsensor während dem Transport einer Last in vorteilhafter Weise über oder unter das Niveau der Last zu verfahren, um dadurch ein freies Sichtfeld auf die dem Flurförderfahrzeug vorausliegende Umgebung zu erhalten. Selbstverständlich ist auch eine horizontale Anbringung des Linearantriebs denkbar, wodurch es möglich wird mit dem Bildsensor seitlich an der Last vorbei zu schauen. Weitere Vorteile ergeben sich auch bei der Anbringung des Linearantriebs und des Bildsensors in Kombination mit einem der Lastmittel des Flurförderfahrzeugs. Wobei der Bildsensor gemeinsam mit dem Lastmittel bewegt wird und zusätzlich innerhalb eines vorgegebenen Bereichs relativ zum Lastmittel verfahrbar ist. Diese Kombination ist insbesondere beim Be- und Entladen (Docking-Vorgang) im Zusammenhang mit autonomen Flurförderfahrzeugen interessant.In a profitable embodiment of the invention, the image sensor is linearly movable on the industrial truck. For the process of the image sensor especially commercially available linear actuators have advantageous properties. Such linear drives can basically be mounted in any orientation on the autonomous industrial truck or on one of its load means. For example, a vertical arrangement of the linear drive is to move the image sensor during transport of a load advantageously above or below the level of the load, thereby obtaining a clear field of view of the forklift vehicle ahead environment. Of course, a horizontal attachment of the linear drive is conceivable, making it possible with the image sensor side to look past the load. Further advantages also result in the attachment of the linear drive and the image sensor in Combination with one of the load means of the industrial truck. Wherein the image sensor is moved together with the load means and is additionally movable within a predetermined range relative to the load means. This combination is particularly interesting when loading and unloading (docking) in connection with autonomous material handling vehicles.
Bei einer weiteren gewinnbringenden Ausführungsform der Erfindung wird der Bildsensor drehbar am Flurförderfahrzeug angebracht. Wobei zum Drehen des Bildsensors vor allem handelsübliche Drehantriebe vorteilhafte Eigenschaften aufweisen. Beispielsweise lassen sich mit einem drehbar angeordneten Bildsensor auch seitliche Bereiche am Flurförderfahrzeug gut erfassen. Trotz einer Richtungsumkehr des Flurförderfahrzeugs kann beispielsweise derselbe Bildsensor eingesetzt werden, indem dieser dann z.B. um 180 Grad gedreht wird. In vorteilhafter Weise ist es auch denkbar, als Bildsensor lediglich eine Kamerazeile zu verwenden, wobei die zweite Dimension der Bildinformation aufgrund der Drehbewegung durch den Drehantrieb generiert wird. Besonders hat sich im Zusammenhang mit Drehantrieben auch die Kombination mit Laserscannern bewährt. Wobei handelsübliche Laserscanner mittels einem rotierenden Spiegel 2D-Tiefendaten auf einer Fläche erfassen. Indem der Laserscanner zusätzlich in der zur Rotationsachse des Spiegels orthogonalen Richtung auf einer Drehachse gedreht wird, wird mit dem Laserscanner ein kugelförmiger bzw. zylindrischer Erfassungsbereich realisiert. Dadurch wird mit einem einzigen Bildsensor ein Rundblick um das autonome Flurförderfahrzeug herum möglich.at Another profitable embodiment of the invention the image sensor is rotatable on the industrial truck appropriate. Whereby for the rotation of the image sensor mainly commercial rotary actuators have advantageous properties. For example, you can with a rotatably mounted image sensor also lateral areas on the industrial truck capture well. Despite a reversal in the direction of the industrial truck For example, the same image sensor can be used by this then e.g. is rotated 180 degrees. In an advantageous way It is also conceivable, as an image sensor only one camera line use, the second dimension of the image information due the rotational movement is generated by the rotary drive. Especially has in connection with rotary actuators also the combination proven with laser scanners. In which commercial Laser scanner using a rotating mirror 2D depth data on capture a surface. In addition, the laser scanner in the direction orthogonal to the axis of rotation of the mirror a rotation axis is rotated with the laser scanner is a spherical or realized cylindrical detection range. This will with a single Image sensor a panoramic view around the autonomous industrial truck around possible.
Bei einer weiteren vorteilhaften Ausführungsform der Erfindung ist der Bildsensor schwenkbar und/oder neigbar am Flurförderfahrzeug angebracht. Hierzu können vor allem handelsübliche Schwenk-Neige-Einheiten eingesetzt werden. Derartige Schwenk-Neige-Einheiten sowie die zur Bewegung des Bildsensors zuvor vorgeschlagenen Linear- und Drehantriebe sind beispielsweise bei der AMTEC GmbH erhältlich (www.amtecrobotics.de). Durch das Schwenken und Neigen wird es möglich, auch Bildsensoren mit einem kleinen Erfassungsbereich zur Umgebungserfassung an autonomen Flurförderfahrzeugen einzusetzen. Wobei der Bildsensor mittels der Schwenk-Neige-Einheit exakt positioniert und auf den interessierenden Umgebungsausschnitt ausgerichtet werden kann.at a further advantageous embodiment of the invention the image sensor can be swiveled and / or tilted on the industrial truck appropriate. You can do this especially commercial pan-tilt units be used. Such pan-tilt units as well as the Motion of the image sensor previously proposed linear and rotary drives are available for example from AMTEC GmbH (www.amtecrobotics.de). By Panning and tilting will be possible, even with image sensors a small detection area for autonomous environmental detection Industrial trucks use. Wherein the image sensor by means of the pan-tilt unit exactly positioned and be aligned to the environmental section of interest can.
In besonders vorteilhafter Weise erfolgt die Ansteuerung zur Positionierung und Ausrichtung des Bildsensors wahlweise manuell oder automatisch. Damit wird es möglich, den beweglichen Bildsensor sowohl bei einem autonomen Flurförderfahrzeug als auch beispielsweise bei einem halbautomatisch oder manuell betriebenen Flurförderfahrzeug einzusetzen. Hierbei ist ein Mittel vorgesehen, womit zwischen dem manuellen und automatischen Betrieb des beweglichen Bildsensors gewechselt werden kann. Ein geeignetes Mittel ist beispielsweise ein Schalter, welcher am Flurförderfahrzeug und/oder an einer damit in Verbindung stehenden übergeordneten Steuereinheit angebracht ist. Zur Positionierung und Ausrichtung des Bildsensors bei manuellem Betrieb kann beispielsweise ein Joystick eingesetzt werden. Wobei der Joystick direkt am Flurförderfahrzeug und/oder an einer damit in Verbindung stehenden übergeordneten Steuereinheit angebracht sein kann.In Particularly advantageously, the control is for positioning and orientation of the image sensor either manually or automatically. In order to will it be possible the mobile image sensor both in an autonomous industrial truck as well as for example in a semi-automatic or manually operated Industrial truck use. Here, a means is provided, which between the manual and automatic operation of the mobile image sensor can be changed. A suitable means is, for example a switch, which on the industrial truck and / or at a related parent control unit is appropriate. For positioning and alignment of the image sensor in manual operation, for example, a joystick used become. Where the joystick directly on the truck and / or on a related parent Control unit can be attached.
In
vorteilhafter Weise handelt es sich bei dem Bildsensor um einen
auf einer Kamera basierenden Sensor. Wobei unterschiedliche Kamerasensoren
bekannt sind, welche sowohl im sichtbaren als auch im nichtsichtbaren
Wellenlängenbereich
empfindlich sein können.
Hierbei ist es auch denkbar Zeilenkameras einzusetzen, wobei dabei
die zweite Dimension der Bildinformationen aufgrund der Bewegung
des Bildsensors erfolgt. Jedoch liefern Kamerasensoren keine direkten
Tiefeninformationen. Um Tiefeninformationen zu generieren ist es
in diesem Zusammenhang denkbar, dass zwei Kameras in einer Stereoanordnung
eingesetzt werden. Da jedoch die Beleuchtung im Zusammenhang mit
beweglichen Bildsensoren häufig
kritisch ist, sollte eine Beleuchtungseinheit ggf. mit dem Bildsensor
verfahrbar angeordnet werden oder alternativ dazu sollten Bildsensoren
eingesetzt werden, welche weitestgehend unabhängig vom Tageslicht arbeiten.
Besonders vorteilhaft ist deshalb die Verwendung von laserbasierten Bildsensoren.
Beispielsweise sind Laserscanner bekannt, welche direkt 2D-Tiefendaten liefern.
Ein wesentlicher Vorteil ist es hierbei, dass diese unabhängig vom
Tageslicht arbeiten. Auch sind solche laserbasierten Systeme unabhängig von
einer speziellen Beleuchtung, wie diese beispielsweise von dem in der
Claims (14)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE2003123642 DE10323642A1 (en) | 2003-05-26 | 2003-05-26 | Image and surroundings sensor for an autonomous industrial truck, floor conveyer or forklift truck, can be controlled independently of the movement of the truck or its load |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE2003123642 DE10323642A1 (en) | 2003-05-26 | 2003-05-26 | Image and surroundings sensor for an autonomous industrial truck, floor conveyer or forklift truck, can be controlled independently of the movement of the truck or its load |
Publications (1)
Publication Number | Publication Date |
---|---|
DE10323642A1 true DE10323642A1 (en) | 2005-01-05 |
Family
ID=33494750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE2003123642 Ceased DE10323642A1 (en) | 2003-05-26 | 2003-05-26 | Image and surroundings sensor for an autonomous industrial truck, floor conveyer or forklift truck, can be controlled independently of the movement of the truck or its load |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE10323642A1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004001197A1 (en) * | 2004-01-07 | 2005-08-04 | Daimlerchrysler Ag | Automatically controlled fork lift truck in a production plant uses vision system for object recognition followed by automatic handling |
EP2385013A1 (en) * | 2010-05-03 | 2011-11-09 | Siemens Aktiengesellschaft | Industrial truck with a device for monitoring the load during transportation and method for monitoring the load. |
DE102010027280A1 (en) * | 2010-07-16 | 2012-01-19 | Kuka Roboter Gmbh | Robot integrated workplace |
US9932213B2 (en) | 2014-09-15 | 2018-04-03 | Crown Equipment Corporation | Lift truck with optical load sensing structure |
DE102020200896A1 (en) | 2020-01-27 | 2021-09-16 | Zf Friedrichshafen Ag | Forklift truck with image-based checking of load securing |
US11142442B2 (en) | 2017-02-10 | 2021-10-12 | Arrow Acquisition, Llc | System and method for dynamically controlling the stability of an industrial vehicle |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4279328A (en) * | 1978-04-28 | 1981-07-21 | Ab Volvo | Device for orienting a lifting means, for example, in relation to a load |
WO1994005586A1 (en) * | 1992-08-28 | 1994-03-17 | Johann Hipp | Process and device for controlling a portainer |
EP0800129B1 (en) * | 1996-04-03 | 2000-07-19 | FIAT OM CARRELLI ELEVATORI S.p.A. | Industrial truck with manual or automatic mode |
-
2003
- 2003-05-26 DE DE2003123642 patent/DE10323642A1/en not_active Ceased
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4279328A (en) * | 1978-04-28 | 1981-07-21 | Ab Volvo | Device for orienting a lifting means, for example, in relation to a load |
WO1994005586A1 (en) * | 1992-08-28 | 1994-03-17 | Johann Hipp | Process and device for controlling a portainer |
EP0800129B1 (en) * | 1996-04-03 | 2000-07-19 | FIAT OM CARRELLI ELEVATORI S.p.A. | Industrial truck with manual or automatic mode |
Non-Patent Citations (1)
Title |
---|
Werbung der Fa. Cat's Eye im Internet unter www.safetyinfo.com, S. 1 u. 2, copyright 2001 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004001197A1 (en) * | 2004-01-07 | 2005-08-04 | Daimlerchrysler Ag | Automatically controlled fork lift truck in a production plant uses vision system for object recognition followed by automatic handling |
EP2385013A1 (en) * | 2010-05-03 | 2011-11-09 | Siemens Aktiengesellschaft | Industrial truck with a device for monitoring the load during transportation and method for monitoring the load. |
DE102010027280A1 (en) * | 2010-07-16 | 2012-01-19 | Kuka Roboter Gmbh | Robot integrated workplace |
US9932213B2 (en) | 2014-09-15 | 2018-04-03 | Crown Equipment Corporation | Lift truck with optical load sensing structure |
US11142442B2 (en) | 2017-02-10 | 2021-10-12 | Arrow Acquisition, Llc | System and method for dynamically controlling the stability of an industrial vehicle |
DE102020200896A1 (en) | 2020-01-27 | 2021-09-16 | Zf Friedrichshafen Ag | Forklift truck with image-based checking of load securing |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1641704B1 (en) | Movable sensor device on the loading means of a forklift | |
EP1302076B1 (en) | Device and method for monitoring the surroundings of an object | |
DE69804128T2 (en) | CONTACTLESS POSITION AND ORIENTATION MEASUREMENT | |
DE102015010011B4 (en) | Self-propelled construction machine and method for displaying the environment of a self-propelled construction machine | |
EP1834922B1 (en) | Industrial truck with a mast | |
DE60123534T2 (en) | Device for tracking a moving object | |
EP2764812B1 (en) | Cleaning robot | |
EP3510463A1 (en) | Sensor array for an autonomously operated utility vehicle and method for surround-view image acquisition | |
EP3587220A1 (en) | Vehicle with shunting system | |
DE29918341U1 (en) | Device for determining the position of measuring points of a measuring object relative to a reference system | |
DE102016000565A1 (en) | Robot system in which the brightness of the robot installation table is changed | |
DE102015201317A1 (en) | Measuring a dimension on a surface | |
WO2004041707A1 (en) | Container crane | |
WO2006000271A1 (en) | Method for controlling a pipe inspection system and for evaluating the inspection data | |
DE102012022336A1 (en) | Method for carrying out an at least semi-autonomous parking operation of a motor vehicle in a garage, parking assistance system and motor vehicle | |
EP0388618A2 (en) | System for determining the position of an object in space using a video-optical sensor | |
DE102005015463A1 (en) | Vehicle with distance control system | |
DE102010007025A1 (en) | Method for monitoring manipulator area, particularly for robot, involves presetting geometric limit of area to be monitored and monitoring object within predetermined limit by environment sensing unit | |
DE102018205964A1 (en) | Method and control device for navigating an autonomous industrial truck | |
DE102017120996A1 (en) | Method and device for collision avoidance during operation of an industrial truck | |
DE10323643B4 (en) | Sensor system for an autonomous industrial truck | |
DE10323642A1 (en) | Image and surroundings sensor for an autonomous industrial truck, floor conveyer or forklift truck, can be controlled independently of the movement of the truck or its load | |
EP3683183B1 (en) | Method for operating an industrial truck and an industrial truck and intralogistics system | |
DE102017130118B4 (en) | IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD | |
DE10202399A1 (en) | Positioning of transport vehicles in depot handling containers uses laser scanning system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
8127 | New person/name/address of the applicant |
Owner name: DAIMLERCHRYSLER AG, 70327 STUTTGART, DE |
|
8127 | New person/name/address of the applicant |
Owner name: DAIMLER AG, 70327 STUTTGART, DE |
|
8127 | New person/name/address of the applicant |
Owner name: STOPP, ANDREAS, DR., 15366 NEUENHAGEN, DE |
|
8127 | New person/name/address of the applicant |
Owner name: STILL GMBH, 22113 HAMBURG, DE |
|
R016 | Response to examination communication | ||
R082 | Change of representative |
Representative=s name: PATENTSHIP PATENTANWALTSGESELLSCHAFT MBH, DE |
|
R082 | Change of representative |
Representative=s name: PATENTSHIP PATENTANWALTSGESELLSCHAFT MBH, DE |
|
R002 | Refusal decision in examination/registration proceedings | ||
R003 | Refusal decision now final |