JP2024018535A - Cargo handling vehicle, control method of cargo handling vehicle, and control system of cargo handling vehicle - Google Patents
Cargo handling vehicle, control method of cargo handling vehicle, and control system of cargo handling vehicle Download PDFInfo
- Publication number
- JP2024018535A JP2024018535A JP2022121927A JP2022121927A JP2024018535A JP 2024018535 A JP2024018535 A JP 2024018535A JP 2022121927 A JP2022121927 A JP 2022121927A JP 2022121927 A JP2022121927 A JP 2022121927A JP 2024018535 A JP2024018535 A JP 2024018535A
- Authority
- JP
- Japan
- Prior art keywords
- cargo handling
- object detection
- handling vehicle
- space
- forklift
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 85
- 238000010586 diagram Methods 0.000 description 31
- 238000003780 insertion Methods 0.000 description 12
- 230000037431 insertion Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 239000010720 hydraulic oil Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Forklifts And Lifting Vehicles (AREA)
Abstract
Description
本開示は、荷役車両、荷役車両の制御方法、及び荷役車両の制御システムに関する。 The present disclosure relates to a cargo handling vehicle, a cargo handling vehicle control method, and a cargo handling vehicle control system.
荷役車両に係る技術分野において、特許文献1に開示されているような無人フォークリフトが知られている。
In the technical field related to cargo handling vehicles, an unmanned forklift as disclosed in
荷役車両が行う作業には、車両に配置されたフォークで運搬物を取り上げる荷取り作業と、取り上げた運搬物を所定の位置に置く荷置き作業とがある。荷置き作業を自動的に行う場合、取り上げた運搬物を置くことができる荷置きスペースを適切に識別することが望まれる。 Work performed by a cargo handling vehicle includes a load-picking operation in which a fork disposed on the vehicle picks up a transported object, and a loading operation in which the picked-up transported object is placed in a predetermined position. When carrying out cargo storage work automatically, it is desirable to appropriately identify a storage space in which the picked up cargo can be placed.
本開示の態様は、取り上げた運搬物を置くことができる荷置きスペースを適切に識別可能な荷役車両、荷役車両の制御方法、及び荷役車両の制御システムを提供することを目的とする。 An object of the present disclosure is to provide a cargo handling vehicle, a cargo handling vehicle control method, and a cargo handling vehicle control system that can appropriately identify a storage space in which a picked up cargo can be placed.
本開示の態様に従えば、荷役車両に取り付けられ、荷役車両の周辺に存在する物体を検出する物体検出センサと、物体検出センサから物体検出データを取得可能なコントローラと、を備える荷役車両が提供される。コントローラは、物体検出センサからの物体検出データに基づいて、探索範囲内に存在する対象を識別する識別部と、物体検出センサからの物体検出データに基づいて、識別部によって識別された対象から所定範囲内に存在する、所定の大きさの空間を探索する探索部と、探索部によって探索された所定の大きさの空間を荷置きスペースとして決定する決定部と、を備える。 According to an aspect of the present disclosure, a cargo handling vehicle is provided that includes an object detection sensor that is attached to a cargo handling vehicle and detects objects existing around the cargo handling vehicle, and a controller capable of acquiring object detection data from the object detection sensor. be done. The controller includes an identification unit that identifies a target existing within the search range based on object detection data from the object detection sensor, and a predetermined target from the target identified by the identification unit based on the object detection data from the object detection sensor. It includes a search unit that searches for a space of a predetermined size existing within the range, and a determination unit that determines the space of the predetermined size searched by the search unit as a storage space.
本開示の態様に従えば、荷役車両に取り付けられ、荷役車両の周辺に存在する物体を検出する物体検出センサと、物体検出センサから物体検出データを取得可能なコントローラと、を備えた荷役車両の制御方法が提供される。第1のステップは、物体検出センサからの前記物体検出データに基づいて、探索範囲内に存在する対象を識別する。第2のステップは、物体検出センサからの物体検出データに基づいて、識別された対象から所定範囲内に存在する、所定の大きさの空間を探索する。第3のステップは、探索された所定の大きさの空間を荷置きスペースとして決定する。 According to an aspect of the present disclosure, a cargo handling vehicle includes an object detection sensor that is attached to the cargo handling vehicle and detects objects existing around the cargo handling vehicle, and a controller that can acquire object detection data from the object detection sensor. A control method is provided. The first step is to identify an object existing within the search range based on the object detection data from the object detection sensor. The second step is to search a space of a predetermined size that exists within a predetermined range from the identified object based on the object detection data from the object detection sensor. The third step is to determine the searched space of a predetermined size as a storage space.
本開示の態様に従えば、荷役車両に取り付けられ、荷役車両の周辺に存在する物体を検出する物体検出センサと、物体検出センサから物体検出データを取得可能なコントローラと、を備える荷役車両の制御システムが提供される。コントローラは、物体検出センサからの物体検出データに基づいて、探索範囲内に存在する対象を識別する識別部と、物体検出センサからの物体検出データに基づいて、識別部によって識別された対象から所定範囲内に存在する、所定の大きさの空間を探索する探索部と、探索部によって探索された所定の大きさの空間を荷置きスペースとして決定する決定部と、を備える。 According to an aspect of the present disclosure, control of a cargo handling vehicle includes an object detection sensor that is attached to the cargo handling vehicle and detects objects existing around the cargo handling vehicle, and a controller capable of acquiring object detection data from the object detection sensor. system is provided. The controller includes an identification unit that identifies a target existing within the search range based on object detection data from the object detection sensor, and a predetermined target from the target identified by the identification unit based on the object detection data from the object detection sensor. It includes a search unit that searches for a space of a predetermined size existing within the range, and a determination unit that determines the space of the predetermined size searched by the search unit as a storage space.
本開示の態様によれば、荷置きスペースを適切に識別可能な荷役車両、荷役車両の制御方法、及び荷役車両の制御システムが提供される。 According to aspects of the present disclosure, a cargo handling vehicle, a cargo handling vehicle control method, and a cargo handling vehicle control system that can appropriately identify cargo storage spaces are provided.
以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示はこれに限定されない。以下で説明する各実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。 Hereinafter, embodiments according to the present disclosure will be described with reference to the drawings, but the present disclosure is not limited thereto. The components of each embodiment described below can be combined as appropriate. Furthermore, some components may not be used.
実施形態においては、左、右、前、後、上、及び下の用語を用いて各部の位置関係について説明する。これらの用語は、荷役車両に規定された車体座標系の原点を基準とする相対位置又は方向を示す。 In the embodiment, the positional relationship of each part will be described using terms such as left, right, front, rear, upper, and lower. These terms indicate a relative position or direction with respect to the origin of the vehicle body coordinate system defined for the cargo handling vehicle.
<荷役車両>
荷役車両1は、荷役車両1の作業現場において、荷役車両1の周辺に存在する物体から対象を識別する。本実施形態においては、荷役車両1を適宜、フォークリフト1、と称する。なお、荷役車両は特に限定されるものではなく、例えば、フォークアタッチメントを取り付け可能なホイールローダであってもよい。
<Cargo handling vehicle>
The
フォークリフト1は、運搬物の荷取り作業及び荷置き作業等の荷役作業を行う。フォークリフト1は、例えば、地面上に置かれた運搬物を取り上げる荷取り作業を行う。フォークリフト1は、例えば、他の運搬物の上段に積まれた運搬物を取り上げる荷取り作業を行う。フォークリフト1は、例えば、フォーク13で取り上げた運搬物を荷置きスペースに取りおろす荷置き作業を行う。フォークリフト1は、例えば、フォーク13で取り上げた運搬物を貨物車両の荷台に取りおろす荷置き作業を行う。フォークリフト1は、例えば、フォーク13で取り上げた運搬物を地面上に置かれた他の運搬物の上段に取りおろす荷置き作業を行う。
The
対象とは、フォークリフト1の荷役対象である。本実施形態では、対象は、例えば、運搬物、運搬物を載置可能な荷置きスペース、又は、貨物車両の荷台である。
The object is the object to be handled by the
本実施形態では、運搬物は、荷物を積載する荷役台や容器である。運搬物は、例えば、パレットやスキッド、コンテナである。運搬物は、フォーク挿し込み穴を備える。 In this embodiment, the transported object is a loading platform or a container on which cargo is loaded. The conveyed object is, for example, a pallet, a skid, or a container. The conveyed object is equipped with a fork insertion hole.
フォークリフト1は、荷取り作業及び荷置き作業の際に、対象(運搬物、荷置きスペース、又は、貨物車両の荷台)を識別して、フォークリフト1を当該対象に対して自動で正対するように操舵制御が行われる(自動制御機能)。
The
自動制御機能では、フォークリフト1のステアリング操作又は作業機操作の少なくともいずれか一方が自動制御される。本実施形態では、オペレータは、フォークリフト1のアクセル操作を行う。本実施形態では、自動制御開始エリアまで、言い換えると、対象が識別されるまでは、フォークリフト1は、オペレータの操作によりマニュアルで移動する。
In the automatic control function, at least either the steering operation of the
<フォークリフトの全体構成>
図1は、実施形態に係るフォークリフト1を左前方斜め上側から見た斜視図である。フォークリフト1は、車体10と、動力源21と、車体10の前方に配置される作業機2と、車体10を支持する走行装置と、運転室20とを備える。動力源21は、図示しない油圧ポンプを駆動する。動力源21は、例えば、エンジンである。
<Overall configuration of forklift>
FIG. 1 is a perspective view of a
車体10の前方には、運搬物を取り上げるための作業機2が設置されている。作業機2は、マスト14と、支持部131と、フォーク13と、リフトシリンダ15と、チルトシリンダ16と、サイドシフトシリンダ17とを有する。マスト14は、左右軸回りに回転可能に車体10の前方に取り付けられている。マスト14は、車体10に対して前傾姿勢又は後傾姿勢をとることが可能である。支持部131は、マスト14に支持される。支持部131は、マスト14に沿って上下方向に移動可能である。フォーク13は、支持部131を介してマスト14に支持されている。フォーク13は、マスト14に沿って昇降する。
A working
リフトシリンダ15は、車体10に対してフォーク13を上下方向に移動させる。チルトシリンダ16は、車体10に対してマスト14を前後方向に傾斜させる。サイドシフトシリンダ17は、車体10に対してフォーク13を左右方向に移動させる。
The lift cylinder 15 moves the
リフトシリンダ15は、マスト14と支持部131との間に配置される。リフトシリンダ15は、支持部131を上下方向に移動することにより、フォーク13を上下方向に移動させる。支持部131とフォーク13とは、上下方向に一緒に移動する。支持部131とフォーク13とは、マスト14に沿って上下方向に移動する。チルトシリンダ16は、車体10とマスト14との間に配置される。チルトシリンダ16は、マスト14を前後方向に傾斜させることにより、フォーク14を前後方向に傾斜させる。
Lift cylinder 15 is arranged between
走行装置は、フォークリフト1を走行させる。走行装置は、フォークリフト1の進行、制動、及び操舵を行う。進行とは、フォークリフト1が前進又は後進することをいう。制動とは、フォークリフト1が減速又は停止することをいう。操舵とは、フォークリフト1の走行方向が変更されることをいう。走行装置は、前輪11と、後輪12と、走行モータ22と、図示しないブレーキ装置と、ステアリングシリンダ18とを有する。
The traveling device causes the
前輪11及び後輪12のそれぞれは、車体10を支持する。前輪11の少なくとも一部は、車体10よりも下方に配置される。後輪12の少なくとも一部は、車体10よりも下方に配置される。前輪11は、後輪12よりも前方に配置される。前輪11は、車体10の左側及び右側のそれぞれに配置される。後輪12は、車体10の左側及び右側のそれぞれに配置される。前輪11及び後輪12のそれぞれは、回転軸を中心に回転可能である。
Each of the
走行モータ22は、フォークリフト1を進行させるための駆動力を発生する。走行モータ22は、前輪11を回転させることによって、フォークリフト1を前進又は後進させる。走行モータ22は、図示しない油圧ポンプから吐出される作動油によって駆動する。前輪11は、走行モータ22が発生する回転力により回転する駆動輪である。ブレーキ装置は、フォークリフト1を制動させる。
The
ステアリングシリンダ18は、フォークリフト1を操舵する。ステアリングシリンダ18は、後輪12を操舵することによって、フォークリフト1の走行方向を変更させる。後輪12は、ステアリングシリンダ18により操舵される操舵輪である。ステアリングシリンダ18は、ステアリング制御弁24を介して供給される作動油によって動作する。
The steering cylinder 18 steers the
表示装置26は、運転室20に配置されている。表示装置26は、液晶ディスプレイ(LCD:Liquid Crystal Display)又は有機ELディスプレイ(OELD:Organic Electroluminescence Display)のようなフラットパネルディスプレイを含む。表示装置26は、コントローラ60から送信された画像を表示する。
The display device 26 is arranged in the driver's
操作部27は、フォークリフト1のオペレータによって操作される。操作部27は、運転室20の運転席の周辺に配置される。操作部27は、例えば、自動制御機能の開始(有効)及び終了(無効)を切り替える操作を受け付ける。操作部27は、後述する探索部67によって所定の大きさの空間が探索された場合、探索された所定の大きさの空間を荷置きスペースとして決定する操作を受け付ける。操作部27に対して行われた操作は、操作信号(オペレータ指令)としてコントローラ60によって取得される。操作部27は、例えば、複数のボタン、レバー、スイッチ等である。
The operating unit 27 is operated by the operator of the
運転室20の前方には、ステアリングホイール31が配置される。オペレータは、手でステアリングホイール31を操作して、フォークリフト1を操舵する。
A
フォークリフト1は、作業機レバー32、前後進切替レバー33、アクセルペダル34、車速センサ35、ステアリング角センサ36、及び、作業機負荷センサ37を備える。作業機レバー32は、フォークリフト1のフォーク13を操作するための操作用の部材である。前後進切替レバー33は、フォークリフト1の進行方向を前方又は後方のいずれか一方に切り替えるための操作用の部材である。アクセルペダル34は、フォークリフト1の走行速度を変更するための操作用の部材である。
The
車速センサ35は、フォークリフト1の車速を検出する。車速センサ35は、検出した車速データをコントローラ60へ送信する。
Vehicle speed sensor 35 detects the vehicle speed of
ステアリング角センサ36は、フォークリフト1のステアリング角を検出する。ステアリング角センサ36は、検出したステアリング角度データをコントローラ60へ送信する。
The steering angle sensor 36 detects the steering angle of the
作業機負荷センサ37は、作業機2にかかる負荷を検出する。作業機負荷センサ37は、例えば、作業機2の少なくとも一部に配置された歪ゲージやロードセル等の荷重測定デバイスである。作業機負荷センサ37により検出された負荷データは、コントローラ60へ出力される。なお、作業機2にかかる負荷は、例えば、リフトシリンダ15を駆動させる圧油の圧力を検出する油圧センサを用いて検出してもよい。この場合、運搬物がフォーク13によって支持されている状態と支持されていない状態とで、作業機2に掛かる負荷が変化する。作業機負荷センサ37は、作業機2に掛かる負荷の変化を検出する。
The work machine load sensor 37 detects the load on the
<3次元センサ及びカメラ>
フォークリフト1は、3次元センサ51、カメラ52及びコントローラ60を備える。3次元センサ51、カメラ52及びコントローラ60は、無線又は有線によりデータを通信可能に接続されている。
<3D sensor and camera>
The
3次元センサ51及びカメラ52は、1組としてフォークリフト1に取り付けられている。本実施形態では、フォークリフト1には、4組の3次元センサ51及びカメラ52が配置されている。なお、3次元センサ51及びカメラ52の数は特に限定されるものではなく、例えば、フォークリフト1に2つの3次元センサ51が配置されていてもよいし、4つ以上のカメラ52が配置されていてもよい。
The three-dimensional sensor 51 and camera 52 are attached to the
3次元センサ51は、物体の3次元データを取得する。物体の3次元データは、物体の表面に規定される複数の検出点からなる点群を含む。点群は、3次元センサ51と物体の表面に規定される複数の検出点のそれぞれとの相対距離及び相対位置を示す。3次元センサ51として、レーザ光を射出することにより物体を検出するレーザセンサ(LiDAR:Light Detection and Ranging)が例示される。なお、3次元センサ51は、赤外光を射出することにより物体を検出する赤外線センサ又は電波を射出することにより物体を検出するレーダセンサ(RADAR:Radio Detection and Ranging)でもよい。 The three-dimensional sensor 51 acquires three-dimensional data of an object. The three-dimensional data of an object includes a point group consisting of a plurality of detection points defined on the surface of the object. The point group indicates the relative distance and position between the three-dimensional sensor 51 and each of the plurality of detection points defined on the surface of the object. As the three-dimensional sensor 51, a laser sensor (LiDAR: Light Detection and Ranging) that detects an object by emitting laser light is exemplified. Note that the three-dimensional sensor 51 may be an infrared sensor that detects objects by emitting infrared light or a radar sensor (RADAR: Radio Detection and Ranging) that detects objects by emitting radio waves.
3次元センサ51は、フォークリフト1の周辺に存在する物体を検出する物体検出センサである。3次元センサ51は、フォークリフト1の周辺の対象を検出可能である。3次元センサ51は、検出した物体検出データをコントローラ60へ送信する。3次元センサ51は、例えば、数10[m]程度の範囲を検出可能である。3次元センサ51は、フォークリフト1に複数が配置されている。3次元センサ51の少なくとも1つは、運搬物を識別するために運搬物のフォーク挿し込み穴と近い高さに配置されている。3次元センサ51の少なくとも1つは、例えば、地面上又は貨物車両の荷台上に配置された運搬物のフォーク挿し込み穴と近い高さに配置される。本実施形態では、3次元センサ51は、3次元センサ511、3次元センサ512、3次元センサ513、及び3次元センサ514を備える。3次元センサ511、3次元センサ512、3次元センサ513、及び3次元センサ514の区別を特に要しない場合、単に3次元センサ51という。3次元センサ51は、検出した物体検出データをコントローラ60へ送信する。
The three-dimensional sensor 51 is an object detection sensor that detects objects existing around the
3次元センサ511は、フォークリフト1の前方の右側方を検出する。3次元センサ511は、前輪11の上方に位置するフェンダ19Rより上方に配置されている。3次元センサ511は、運転室20の前下方の右側方に配置されている。本実施形態では、3次元センサ511は、カメラ521の下方に配置されている。
The three-dimensional sensor 511 detects the front right side of the
3次元センサ512は、フォークリフト1の前方の左側方を検出する。3次元センサ512は、前輪11の上方に位置するフェンダ19Lより上方に配置されている。3次元センサ512は、運転室20の前下方の左側方に配置されている。本実施形態では、3次元センサ512は、カメラ522の下方に配置されている。
The three-dimensional sensor 512 detects the front left side of the
3次元センサ513は、フォークリフト1の積荷時に、フォークリフト1の前方を検出する。3次元センサ513は、フォークリフト1の積荷時に、フォーク13上の積荷によって前方の検出範囲が遮られない位置に配置されている。3次元センサ513は、前輪11の上方に位置するフェンダ19L上に配置されている。本実施形態では、3次元センサ513は、カメラ523の下方に配置されている。
The three-dimensional sensor 513 detects the front of the
3次元センサ514は、フォークリフト1の空荷時に、フォークリフト1の前方中央の下方を検出する。3次元センサ514は、フォークリフト1の空荷時に、フォーク13によって前方の検出範囲が遮られない位置に配置されている。3次元センサ514は、フォークリフト1の空荷時に、地面等に置かれた運搬物のフォーク挿し込み穴、又は、他の運搬物の上段に積まれた運搬物のフォーク挿し込み穴を検出可能な位置に配置されている。3次元センサ514は、車体10の前方中央部の下方に配置されている。3次元センサ514は、フォーク13の後部に配置され車体10に対してフォーク13を支持する支持部131の中央部の下方に配置されている。3次元センサ514は、フォーク13とともに昇降する。本実施形態では、3次元センサ514は、カメラ524の下方に配置されている。
The three-dimensional sensor 514 detects the lower part of the front center of the
図2-1は、実施形態に係る3次元センサの取付位置及び指向方向を示す概略図である。図2-1に示す例では、フォークリフト1の右側に、フォークリフト1から近い順に運搬物201R、運搬物202R及び運搬物203Rが配置されている。フォークリフト1の左側に、フォークリフト1から近い順に運搬物201L、運搬物202L及び運搬物203Lが配置されている。符号101は、3次元センサ511の指向方向及び検出範囲を模式的に示す。符号102は、3次元センサ512の指向方向及び検出範囲を模式的に示す。符号103は、3次元センサ513の指向方向及び検出範囲を模式的に示す。符号104は、3次元センサ514の指向方向及び検出範囲を模式的に示す。フォークリフト1は、3次元センサ51は、3次元センサ511、3次元センサ512、3次元センサ513、及び3次元センサ514によりフォークリフト1の前方の全方位を検出可能である。
FIG. 2-1 is a schematic diagram showing the mounting position and pointing direction of the three-dimensional sensor according to the embodiment. In the example shown in FIG. 2-1, a transported
図2-2は、実施形態に係るフォークリフトの積荷時の3次元センサの取付位置及び指向方向を示す概略図である。図2-2は、3次元センサ513の取付位置及び指向方向を示す。図2-2に示すように、フォークリフト1の積荷時、3次元センサ513の検出範囲は、運搬物200によって遮られない。フォークリフト1の積荷時、フォークリフト1は、3次元センサ513により前方が検出可能である。
FIG. 2-2 is a schematic diagram showing the mounting position and orientation direction of the three-dimensional sensor when the forklift is loaded according to the embodiment. FIG. 2-2 shows the mounting position and pointing direction of the three-dimensional sensor 513 . As shown in FIG. 2-2, when the
図2-3は、実施形態に係るフォークリフトの空荷時の3次元センサの取付位置及び指向方向を示す概略図である。図2-3は、3次元センサ514の取付位置及び指向方向を示す。図2-3の左側の図に示すように、フォークリフト1の空荷時、フォーク13が下げられている状態では、2段積みの運搬物200の下段の運搬物200の下方が、3次元センサ514の検出範囲に含まれる。図2-3の右側の図に示すように、フォークリフト1の空荷時、フォーク13が持ち上げられた状態では、2段積みの運搬物200の上段の運搬物200の下方が、3次元センサ514の検出範囲に含まれる。フォークリフト1の空荷時、フォークリフト1は、3次元センサ514により前方が検出可能である。
FIG. 2-3 is a schematic diagram showing the mounting position and pointing direction of the three-dimensional sensor when the forklift is unloaded according to the embodiment. FIG. 2-3 shows the mounting position and pointing direction of the three-dimensional sensor 514 . As shown in the diagram on the left side of FIG. 2-3, when the
カメラ52は、フォークリフト1の周辺に存在する物体を撮像する。本実施形態では、カメラ52は、単眼のカメラである。カメラ52は、光学系と、イメージセンサとを有する。イメージセンサは、CCD(Couple Charged Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを含む。カメラ52によって撮像された画像は、フレームレートに応じて、単位時間あたりに複数の画像を含む。
The camera 52 images objects around the
カメラ52は、フォークリフト1の周辺の画像を撮像可能である。カメラ52は、例えば、数10[m]程度の範囲を撮像可能である。カメラ52は、フォークリフト1に複数が配置されている。カメラ52の少なくとも1つは、運搬物を識別するために運搬物のフォーク挿し込み穴と近い高さに配置されている。カメラ52の少なくとも1つは、例えば、地面上又は貨物車両の荷台上に配置された運搬物のフォーク挿し込み穴と近い高さに配置される。本実施形態では、カメラ52は、カメラ521、カメラ522、カメラ523、及びカメラ524を備える。カメラ521、カメラ522、カメラ523、及びカメラ524の区別を特に要しない場合、単にカメラ52という。カメラ52は、撮像した画像データを物体検出データとしてコントローラ60へ送信する。
The camera 52 is capable of capturing images around the
カメラ521は、フォークリフト1の前方の右側方を撮像する。カメラ521は、フェンダ19Rより上方に配置されている。カメラ521は、運転室20の前下方の右側方に配置されている。本実施形態では、カメラ521は、3次元センサ511の上方に配置されている。
The camera 521 images the front right side of the
カメラ522は、フォークリフト1の前方の左側方を撮像する。カメラ522は、フェンダ19Lより上方に配置されている。カメラ522は、運転室20の前下方の左側方に配置されている。本実施形態では、カメラ522は、3次元センサ512の上方に配置されている。
The camera 522 images the front left side of the
カメラ523は、フォークリフト1の積荷時に、フォークリフト1の前方を撮像する。カメラ523は、フォークリフト1の積荷時に、フォーク13上の積荷によって前方の撮像範囲が遮られない位置に配置されている。カメラ523は、フェンダ19L上に配置されている。本実施形態では、カメラ523は、3次元センサ513の上方に配置されている。
The camera 523 images the front of the
カメラ524は、フォークリフト1の空荷時に、フォークリフト1の前方中央の下方を撮像する。カメラ524は、フォークリフト1の空荷時に、フォーク13によって前方の撮像範囲が遮られない位置に配置されている。カメラ524は、フォークリフト1の空荷時に、地面等に置かれた運搬物のフォーク挿し込み穴、又は、他の運搬物の上段に積まれた運搬物のフォーク挿し込み穴を撮像可能な位置に配置されている。カメラ524は、車体10の前方中央部の下方に配置されている。カメラ524は、フォーク13の後部に配置され車体10に対してフォーク13を固定し支持する支持部131の中央部の下方に配置されている。カメラ524は、フォーク13とともに昇降する。本実施形態では、カメラ524は、3次元センサ514の上方に配置されている。
The camera 524 images the lower part of the front center of the
<フォークリフトの制御システム>
図3は、実施形態に係るフォークリフトの構成の一例を示す機能ブロック図である。フォークリフト1の制御システム70は、3次元センサ51と、コントローラ60とを備える。コントローラ60は、フォークリフト1の周辺の探索範囲内に存在する物体から対象を識別する。コントローラ60は、物体検出センサとしての3次元センサ51から物体検出データを取得可能である。コントローラ60は、CPU(Central Processing Unit)のような数値演算装置(プロセッサ)を含む。
<Forklift control system>
FIG. 3 is a functional block diagram showing an example of the configuration of the forklift according to the embodiment. The
図4は、実施形態に係るコンピュータシステムの一例を示すブロック図である。コントローラ60は、コンピュータシステム1000を含む。コンピュータシステム1000は、CPUのようなプロセッサ1001と、ROMのような不揮発性メモリ及びRAMのような揮発性メモリを含むメインメモリ1002と、ストレージ1003と、入出力回路を含むインターフェース1004とを有する。上述のコントローラ60の機能は、プログラムとしてストレージ1003に記憶されている。プロセッサ1001は、プログラムをストレージ1003から読み出してメインメモリ1002に展開し、プログラムに従って上述の処理を実行する。なお、プログラムは、ネットワークを介してコンピュータシステム1000に配信されてもよい。
FIG. 4 is a block diagram illustrating an example of a computer system according to an embodiment.
本実施形態では、コントローラ60は、センサデータ取得部61と、画像取得部62と、記憶部63と、識別部66と、探索部67と、決定部68と、表示制御部69とを備える。
In this embodiment, the
センサデータ取得部61は、3次元センサ51から物体検出データを取得する。センサデータ取得部61が取得した物体検出データは、例えば、複数の検出点からなる点群である。 The sensor data acquisition unit 61 acquires object detection data from the three-dimensional sensor 51. The object detection data acquired by the sensor data acquisition unit 61 is, for example, a point group consisting of a plurality of detection points.
画像取得部62は、カメラ52が撮像した画像の画像データを取得する。画像取得部62が取得した画像データは、フレームごとの画像データである。 The image acquisition unit 62 acquires image data of an image captured by the camera 52. The image data acquired by the image acquisition unit 62 is image data for each frame.
記憶部63は、RAM、ROM、フラッシュメモリ、及びハードディスクドライブの少なくとも一つを含む。記憶部63は、コントローラ60の処理で使用するデータ等を記憶する。
The
記憶部63は、対象を識別するための対象辞書データ、及びフォークリフト1の車体座標系を基準とした探索範囲を記憶する。本実施形態では、記憶部63は、第1探索範囲と、第1探索範囲と異なる第2探索範囲とを記憶する。第1探索範囲と第2探索範囲との区別を特に要しない場合、単に探索範囲という。
The
探索範囲について説明する。フォークリフト1は、対象に正対するための自動操舵制御を行う場合、フォークリフト1の最大曲率等に応じて、切り返しなしで正対できる範囲が限定される。このため、3次元センサ51で検出できる範囲内の全ての対象を識別した場合、切り返しなしで正対ができない対象が含まれることがあり、自動操舵制御を開始しても正対が困難なおそれがある。また、自動制御機能の実行時、複数の対象が識別された場合、オペレータは、複数の対象から正対したい対象を選択する手間が増える。このように、3次元センサ51で検出できる範囲内の対象を全て識別することは、処理負荷の増大だけでなく、利便性の低下を招く。そこで、フォークリフト1が対象に対して切り返しなしで正対可能な範囲に応じて探索範囲を限定する。これにより、自動制御機能の実行時の処理負荷の増加を防ぎ、正対できない対象や複数の対象をオペレータに提示しないようにできる。
The search range will be explained. When the
図5は、実施形態に係る対象を探索する第1探索範囲110を示す模式図である。第1探索範囲110は、フォークリフト1の空荷時に、運搬物200を探索する探索範囲である。第1探索範囲110は、矩形形状である。第1探索範囲110は、前後方向と平行な第1辺110aと、左右方向と平行な第2辺110bを有する。第1探索範囲110の第1辺110aの長さは、Lyである。第1探索範囲110の第2辺110bの長さは、Lxである。
FIG. 5 is a schematic diagram showing a
第1探索範囲110は、フォークリフト1が対象に対して切り返しなしで正対できる位置に設定される。本実施形態では、第1探索範囲110は、フォークリフト1の車体座標の原点を基準にして、左右方向(図5では左方)に距離Rx離間した位置に設定される。第1探索範囲110は、フォークリフト1の車体座標の原点を基準にして、第1辺110aの中点が前方に距離Ry離間した位置に設定される。第1探索範囲110は、フォークリフト1の車体座標の原点から距離Rx及び距離Ry離間した位置と、フォークリフト1近傍側(図5では右側)の第1辺110aと第1辺110aの垂直二等分線との交点の位置とが一致するように設定される。フォークリフト1の車体座標系の原点とは、例えば、前輪11の回転軸と車体10の幅方向中心を通る軸の交点である。フォークリフト1は、車体座標系の原点から左右方向に距離Rx以上、かつ、車体座標の原点から前方に距離Ry以上離間して位置する対象に対して、切り返しなしで正対可能である。
The
本実施形態においては、第1探索範囲110の第1辺110aの長さは、対象である運搬物の正面の幅寸法と等しい。運搬物の正面とは、フォークリフト1が運搬物を取り上げる際に正対する面である。第1探索範囲110の第1辺の長さLyを運搬物の幅と同じとすることで、前後方向に並んだ複数の運搬物のうち1つの運搬物のみが第1探索範囲に入る。このため、複数の運搬物から1つの運搬物のみを識別することができる。本実施形態においては、第1探索範囲110の第2辺110bの長さは、第1辺よりも長く、第1探索範囲110は、長方形状である。
In this embodiment, the length of the
図6は、実施形態に係る対象を探索する第2探索範囲111を示す模式図である。第2探索範囲111は、フォークリフト1の積荷時に、荷置きスペースを探索する探索範囲である。第2探索範囲111は、矩形形状である。第2探索範囲111は、前後方向と平行な第1辺111aと、左右方向と平行な第2辺111bを有する。第2探索範囲111の第1辺111aの長さは、3Ly+2Cyである。第2探索範囲111の第2辺111bの長さは、Lxである。
FIG. 6 is a schematic diagram showing a
第2探索範囲111は、フォークリフト1が対象に対して切り返しなしで正対できる位置に設定される。本実施形態では、第2探索範囲111は、フォークリフト1の車体座標の原点を基準にして、左右方向(図6では左方)に距離Rx離間した位置に設定される。第2探索範囲111は、フォークリフト1の車体座標の原点を基準にして、第1辺111aの中点が前方に距離Ry離間した位置に設定される。第2探索範囲111は、フォークリフト1の車体座標の原点から距離Rx及び距離Ry離間した位置と、フォークリフト1近傍側(図6では右側)の第1辺111aと第1辺111aの垂直二等分線との交点の位置とが一致するように設定される。
The
本実施形態においては、第2探索範囲111の第1辺111aの長さは、第1探索範囲110の第1辺110aの長さよりも長い。図6に示す例では、第2探索範囲111は、領域C、領域F、及び領域Bを含む。領域C、領域F、及び領域Bの前後方向の長さは、Lyである。領域C、領域F、及び領域Bのそれぞれの前後方向の長さは、第1探索範囲110の第1辺110aの長さと等しい。領域Cと領域Fとの間隔、及び領域Fと領域Bとの間隔は、Cyである。Cyは、例えば、運搬物を隣接して載置する場合に必要な間隔である。領域Cは、図6に示す位置のフォークリフト1が切り返しなしで正対可能な範囲である。領域Bは、図6に示す位置のフォークリフト1が切り返しなしで正対可能な範囲よりも前方に位置する。領域Bは、領域Cよりも前方に位置する。領域Fは、図6に示す位置のフォークリフト1が切り返しなしで正対可能な範囲よりも後方に位置する。領域Fは、領域Cよりも後方に位置する。本実施形態においては、第2探索範囲111の第1辺111aの長さは、第2辺111bよりも長く、第2探索範囲111は、長方形状である。
In this embodiment, the length of the
識別部66は、物体検出センサとしての3次元センサ51からの物体検出データに基づいて、探索範囲内に存在する物体から対象を識別する。本実施形態では、識別部66は、物体検出センサとしての3次元センサ51からの物体検出データに基づいて、探索範囲内に存在する物体から運搬物を識別する。
The
図7は、実施形態に係る運搬物を識別する方法の一例を示す概略図である。図7に示す運搬物は、例えば、箱形状のパレットである。(a1)は、運搬物に3次元センサ51からレーザ光を照射して得られた物体検出データである点群を示す。(a2)は、(a1)の点群から推定した平面を網掛けして示す。平面は、点群が示す、3次元センサ51と物体の表面に規定される複数の検出点のそれぞれとの相対位置に基づいて推定される。推定された平面は、フォークリフト1が運搬物を取り上げる際にフォークリフト1と正対する面である。(a3)は、(a2)を上下方向視(平面視)に視点を変換した図である。(a3)において、(a2)で推定した平面を破線で示す。(a3)では、(a2)で推定した平面より左方に点群が表れている。楕円で囲んだ点群は、(a2)で推定した平面を通過した点群を示す。言い換えると、楕円で囲んだ点群は、運搬物のフォーク挿し込み穴を通過した点群を示す。(a4)は、推定した平面と、平面を通過した点群と3次元センサ51の座標系基準とを結ぶ直線との交点を求めた図である。(a5)は、(a4)で求めた交点の位置に点群を補完した図である。(a6)は、推定した平面を正面から見た二値画像に変換した図である。四角で囲んだ部分は、(a5)で補完した点群を示す。識別部66は、記憶部63に記憶された対象辞書データを参照して、補完した点群がフォーク挿し込み穴を示す特徴部であるか否かを判定し、運搬物を識別する。
FIG. 7 is a schematic diagram illustrating an example of a method for identifying a transported object according to an embodiment. The conveyed object shown in FIG. 7 is, for example, a box-shaped pallet. (a1) shows a point group that is object detection data obtained by irradiating a transported object with a laser beam from the three-dimensional sensor 51. (a2) shows the plane estimated from the point group of (a1) by hatching. The plane is estimated based on the relative positions of the three-dimensional sensor 51 and each of the plurality of detection points defined on the surface of the object, which are indicated by the point group. The estimated plane is a plane that directly faces the
例えば、運搬物を一時保管しておく施設では、運搬物が隣接して載置されている。このため、3次元センサ51の物体検出データである点群から、各運搬物を独立した物体として識別することが難しい。しかしながら、各運搬物に設けられたフォーク挿し込み穴を識別することにより、隣接した運搬物群から1つの運搬物を識別することが可能である。 For example, in a facility where transported items are temporarily stored, the transported items are placed adjacent to each other. For this reason, it is difficult to identify each conveyance object as an independent object from the point cloud that is the object detection data of the three-dimensional sensor 51. However, by identifying the fork insertion holes provided in each conveyance, it is possible to identify one conveyance from a group of adjacent conveyances.
本実施形態では、識別部66は、3次元センサ51からの物体検出データを用いて対象の識別を行うが、これに限られない。例えば、他の実施形態においては、識別部66は、カメラ52が撮像した撮像画像から特徴量を抽出し、抽出した特徴量と対象辞書データとに基づいて、撮像画像から対象を識別してもよい。対象の識別方法は、例えば、パターンマッチング、機械学習に基づく識別処理を行ってもよい。
In the present embodiment, the
探索部67は、物体検出センサとしての3次元センサ51からの物体検出データに基づいて、識別部66によって識別された対象を基準として、基準の対象から所定範囲内に存在する所定の大きさの空間を探索する。本実施形態では、探索部67は、物体検出データに基づいて、識別部66によって識別された運搬物を基準として、基準の運搬物から所定範囲内に存在する所定の大きさの空間を探索する。所定の大きさの空間とは、例えば、運搬物の寸法以上の大きさを有する空間である。探索部67は、第2探索範囲111内に存在する所定の大きさの空間を探索する。すなわち、探索部67は、フォークリフト1が切り返しなしで正対できる範囲内に存在する所定の大きさの空間を探索する。
Based on the object detection data from the three-dimensional sensor 51 as an object detection sensor, the search unit 67 uses the object identified by the
探索部67は、識別部66によって識別された対象の周囲に存在する所定の大きさの空間を探索する。探索部67は、識別部66によって識別された対象に正対したときの右側方、左側方、及び前方の少なくともいずれかに存在する所定の大きさの空間を探索する。本実施形態では、識別部66が推定した対象の平面を正面から見たときの右側方、左側方、及び前方の少なくともいずれかに存在する所定の大きさの空間を探索する。対象の正面とは、フォークリフト1が対象を取り上げる際に正対する面である。
The search unit 67 searches a space of a predetermined size that exists around the object identified by the
図8は、実施形態に係る運搬物200の周囲に存在する所定の大きさの空間140を示す模式図である。運搬物の周囲とは、その運搬物に隣接する位置のことである。図8に示す例では、運搬物200の周囲は、運搬物200の前方、運搬物200の後方、運搬物200の右方、及び運搬物200の上方である。探索部67は、識別部66が識別した第2探索範囲111に位置する運搬物200を基準の運搬物として、第2探索範囲111から基準の運搬物の周囲に存在する、他の運搬物を載置可能な大きさの空間140を探索する。図8に示すように、探索部67は、物体検出データに基づいて、例えば、基準の運搬物200の前方、後方、右方、及び上方に存在する、運搬物を載置可能な空間140を探索する。より詳しい探索処理の一例については後述する。
FIG. 8 is a schematic diagram showing a
決定部68は、探索部67によって探索された所定の大きさの空間を荷置きスペースとして決定する。決定部68は、操作部27から探索された所定の大きさの空間を荷置きスペースとして決定する操作信号を取得する。決定部68は、操作部27からの操作信号に基づいて、探索部67によって探索された所定の大きさの空間を荷置きスペースとして決定する。
The determining
本実施形態では、決定部68は、識別部66によって識別された対象である運搬物を基準として、探索部67が探索した基準の運搬物の前方、後方、右方、及び上方に存在する所定の大きさの空間の少なくとも1つを荷置きスペースとして決定する。
In the present embodiment, the
表示制御部69は、表示装置26に画像を表示させる画像信号を出力する。表示制御部69は、カメラ52によって撮像された撮像画像に、決定部68によって決定された荷置きスペースを示す想像線を重畳して表示装置26に表示させる画像信号を出力する。
The display control unit 69 outputs an image signal that causes the display device 26 to display an image. The display control unit 69 outputs an image signal that causes the display device 26 to display the superimposed imaginary line indicating the storage space determined by the
図9-1は、実施形態に係る、所定の大きさの空間を探索した場合における、表示装置26の表示の一例を示す模式図である。図9-2及び図9-3は、実施形態に係る、所定の大きさの空間を探索した場合における、表示装置26の表示の他の例を示す模式図である。図9-1、図9-2及び図9-3に示すように、表示装置26の表示部160には、カメラ52によって撮像された画像が表示される。表示装置26の表示部160には、探索部67によって探索された所定の大きさの空間の位置に想像線161、想像線162、想像線163を重畳させた画像が表示される。枠線161、想像線162、想像線163は、例えば、運搬物の外形を示す枠線であってもよい。
FIG. 9-1 is a schematic diagram showing an example of a display on the display device 26 when a space of a predetermined size is searched according to the embodiment. 9-2 and 9-3 are schematic diagrams showing other examples of the display on the display device 26 when a space of a predetermined size is searched according to the embodiment. As shown in FIGS. 9-1, 9-2, and 9-3, an image captured by the camera 52 is displayed on the
図9-1は、探索部67によって、識別部66が識別した運搬物200Aを基準として、運搬物200Aの後方に所定の大きさの空間が探索された状態を示す。探索された所定の大きさの空間の位置に想像線161を重畳表示させることにより、オペレータは、運搬物200Aの後方に荷置きスペースとなる空間があることを認識できる。
FIG. 9-1 shows a state in which the search unit 67 searches for a space of a predetermined size behind the transported
図9-2は、探索部67によって、識別部66が識別した運搬物200Bを基準として、運搬物200Bの右方に所定の大きさの空間が探索された状態を示す。探索された所定の大きさの空間の位置に想像線162を重畳表示させることにより、オペレータは、運搬物200Bの右方に荷置きスペースとなる空間があることを認識できる。
FIG. 9-2 shows a state in which the searching unit 67 searches for a space of a predetermined size to the right of the transported
図9-3は、探索部67によって、識別部66が識別した運搬物200Cを基準として、運搬物200Cの前方に所定の大きさの空間が探索された状態を示す。探索された所定の大きさの空間の位置に想像線163を重畳表示させることにより、オペレータは、運搬物200Cの前方に荷置きスペースとなる空間があることを認識できる。
FIG. 9-3 shows a state in which the search unit 67 searches for a space of a predetermined size in front of the transported
本実施形態では、表示制御部69は、表示装置26への出力を制御する。表示制御部69は、表示制御部69は、図示しないネットワークを介して、表示装置26へ画像を配信するように制御してもよい。 In this embodiment, the display control unit 69 controls output to the display device 26. The display control unit 69 may control the display control unit 69 to distribute images to the display device 26 via a network (not shown).
<荷置きスペース探索処理>
図10は、実施形態に係るフォークリフトの荷置きスペースを決定する処理の一例を示すフローチャートである。
<Cargo storage space search process>
FIG. 10 is a flowchart illustrating an example of a process for determining a storage space for a forklift according to an embodiment.
コントローラ60は、対象を探索する(ステップST71)。より詳しくは、コントローラ60は、識別部66によって、物体検出センサとしての3次元センサ51からの物体検出データに基づいて、第2探索範囲111内に存在する対象を探索する。本実施形態では、探索範囲内から探索する対象は運搬物である。コントローラ60は、ステップST72へ進む。
The
コントローラ60は、探索範囲内に対象が識別されたか否かを判定する(ステップST72)。より詳しくは、コントローラ60は、識別部66によって、第2探索範囲111内に存在する運搬物が識別されたか否か判定する。コントローラ60は、識別部66によって、探索範囲内に存在する運搬物が識別された場合(ステップST72でYes)、ステップST73へ進む。コントローラ60は、識別部66によって、探索範囲内に存在する運搬物が識別されていない場合(ステップST72でNo)、ステップST71の処理を再度実行する。
The
コントローラ60は、識別した運搬物の周囲から所定の大きさの空間を探索する(ステップST73)。より詳しくは、コントローラ60は、探索部67によって、ステップST72において識別された運搬物を基準として、第2探索範囲111内から基準の運搬物の周囲に存在する、他の運搬物を載置可能な大きさの空間を探索する。コントローラ60は、ステップST74へ進む。
The
コントローラ60は、第2探索範囲111の領域C内に所定の大きさの空間があるか否かを判定する(ステップST74)。より詳しくは、コントローラ60は、探索部67によって、ステップST73の探索結果から、第2探索範囲111の領域C内に他の運搬物を載置可能な大きさの空間があるか否かを判定する。コントローラ60は、第2探索範囲111の領域C内に所定の大きさの空間があると判定した場合(ステップST74でYes)、ステップST75へ進む。コントローラ60は、領域C内に所定の大きさの空間がないと判定した場合(ステップST74でNo)、ステップST73の処理を再度実行する。
The
コントローラ60は、荷置きスペースを決定する(ステップST75)。より詳しくは、コントローラ60は、決定部68によって、操作部27から取得した操作信号に基づいて、探索部67によって探索された所定の大きさの空間を荷置きスペースとして決定する。
The
その後、コントローラ60は、決定した荷置きスペースに対する自動制御に移行する。
Thereafter, the
<効果>
以上説明したように、本実施形態では、識別された対象を基準として、当該基準から所定範囲内に存在する所定の大きさの空間を探索して、荷置きスペースとして決定することができる。本実施形態によれば、地面に引かれた、荷置きスペースを示す白線等を識別せずに荷置きスペースを決定することができる。これにより、本実施形態は、白線の引き方がそれぞれ異なる作業場所において、適切に荷置きスペースを決定することができる。
<Effect>
As described above, in this embodiment, a space of a predetermined size existing within a predetermined range from the identified object can be searched for and determined as a storage space using the identified object as a reference. According to this embodiment, the storage space can be determined without identifying a white line drawn on the ground indicating the storage space. As a result, in this embodiment, it is possible to appropriately determine cargo storage space at work locations where white lines are drawn in different ways.
本実施形態では、フォークリフト1に対する探索範囲の相対的な位置が適切に設定されている。本実施形態によれば、探索範囲から識別された荷置きスペースは、フォークリフト1が切り返しなしで正対することができる。
In this embodiment, the relative position of the search range with respect to the
本実施形態では、識別した運搬物を基準として、基準の運搬物の周囲に存在する所定の大きさの空間の少なくとも1つを荷置きスペースとして決定する。本実施形態は、運搬物に隣接する空間を荷置きスペースとして決定することができる。本実施形態によれば、オペレータが荷置きスペースを目視で探索しなくてもよいので、オペレータの負担を軽減できる。 In this embodiment, with the identified transported object as a reference, at least one of the spaces of a predetermined size existing around the reference transported object is determined as a storage space. In this embodiment, the space adjacent to the transported object can be determined as the storage space. According to this embodiment, the operator does not have to visually search the storage space, so the burden on the operator can be reduced.
本実施形態では、カメラ52によって撮像された撮像画像に、探索された所定の大きさの空間の位置に想像線を重畳して表示させる。本実施形態によれば、オペレータは、荷置きスペースとなる空間があることを認識できるので、オペレータの負担を軽減できる。 In this embodiment, an imaginary line is superimposed and displayed on the captured image captured by the camera 52 at the position of the searched space of a predetermined size. According to this embodiment, the operator can recognize that there is a space that can be used as a cargo storage space, so the burden on the operator can be reduced.
<変形例>
図11は、変形例に係る遠隔で操作されるフォークリフトの構成の一例を示す機能ブロック図である。上述の実施形態においては、表示装置26は、運転室20に配置されているものとして説明したが、これに限定されない。図11に示すように、例えば、フォークリフト1から離れた、遠隔に位置する監視室等に配置された、遠隔操作装置及び遠隔表示装置を備えてもよい。
<Modified example>
FIG. 11 is a functional block diagram showing an example of the configuration of a remotely operated forklift according to a modification. In the above-described embodiment, the display device 26 was described as being disposed in the driver's
1…フォークリフト(荷役車両)、10…車体、11…前輪、12…後輪、13…フォーク、14…マスト、15…リフトシリンダ、16…チルトシリンダ、17…サイドシフトシリンダ、18…ステアリングシリンダ、20…運転室、21…動力源、22…走行モータ、23…作業機制御弁、24…ステアリング制御弁、26…表示装置、27…操作部、31…ステアリングホイール、32…作業機レバー、33…前後進切替レバー、34…アクセルペダル、35…車速センサ、36…ステアリング角センサ、37…積荷検出センサ(積荷検出センサ)、51…3次元センサ(物体検出センサ)、52…カメラ、60…コントローラ、61…センサデータ取得部、62…画像取得部、63…記憶部、66…識別部、67…探索部、68…決定部、69…表示制御部。 1... Forklift (cargo handling vehicle), 10... Vehicle body, 11... Front wheel, 12... Rear wheel, 13... Fork, 14... Mast, 15... Lift cylinder, 16... Tilt cylinder, 17... Side shift cylinder, 18... Steering cylinder, 20... Driver's cab, 21... Power source, 22... Travel motor, 23... Work equipment control valve, 24... Steering control valve, 26... Display device, 27... Operating unit, 31... Steering wheel, 32... Work equipment lever, 33 ... Forward/forward switching lever, 34... Accelerator pedal, 35... Vehicle speed sensor, 36... Steering angle sensor, 37... Load detection sensor (load detection sensor), 51... Three-dimensional sensor (object detection sensor), 52... Camera, 60... Controller, 61...Sensor data acquisition unit, 62...Image acquisition unit, 63...Storage unit, 66...Identification unit, 67...Search unit, 68...Determination unit, 69...Display control unit.
Claims (8)
前記物体検出センサから物体検出データを取得可能なコントローラと、
を備え、
前記コントローラは、
前記物体検出センサからの前記物体検出データに基づいて、探索範囲内に存在する対象を識別する識別部と、
前記物体検出センサからの前記物体検出データに基づいて、前記識別部によって識別された前記対象から所定範囲内に存在する、所定の大きさの空間を探索する探索部と、
前記探索部によって探索された前記所定の大きさの空間を荷置きスペースとして決定する決定部と、
を備える、荷役車両。 an object detection sensor that is attached to a cargo handling vehicle and detects objects existing around the cargo handling vehicle;
a controller capable of acquiring object detection data from the object detection sensor;
Equipped with
The controller includes:
an identification unit that identifies an object existing within a search range based on the object detection data from the object detection sensor;
a search unit that searches a space of a predetermined size that exists within a predetermined range from the object identified by the identification unit, based on the object detection data from the object detection sensor;
a determining unit that determines the space of the predetermined size searched by the searching unit as a storage space;
A cargo handling vehicle equipped with
請求項1に記載の荷役車両。 The search unit searches for a space of the predetermined size that exists on the right side, left side, and front when facing the object identified by the identification unit.
The cargo handling vehicle according to claim 1.
請求項1に記載の荷役車両。 The search unit searches for a space of a predetermined size that exists within a range where the cargo handling vehicle can face directly without turning back.
The cargo handling vehicle according to claim 1.
前記所定の大きさの空間は、前記運搬物を基準とした大きさである、
請求項1に記載の荷役車両。 The object is a transported object,
The space of the predetermined size is a size based on the transported object,
The cargo handling vehicle according to claim 1.
を備え、
前記決定部は、前記操作部からの操作信号に基づいて、前記探索部によって探索された前記所定の大きさの空間を荷置きスペースとして決定する。
請求項1に記載の荷役車両。 a control unit operated by an operator;
Equipped with
The determining section determines the space of the predetermined size searched by the searching section as a storage space based on an operation signal from the operating section.
The cargo handling vehicle according to claim 1.
表示装置と、
を備え、
前記コントローラは、
前記識別部の識別結果に基づいて、前記カメラによって撮像された撮像画像に、前記決定部によって決定された前記荷置きスペースを示す想像線を重畳して前記表示装置に表示させる表示制御部、を備える、
請求項1から5のいずれか一項に記載の荷役車両。 a camera that is attached to the cargo handling vehicle and captures images of objects existing around the cargo handling vehicle;
a display device;
Equipped with
The controller includes:
a display control unit that causes an imaginary line indicating the storage space determined by the determination unit to be superimposed on the captured image captured by the camera and displayed on the display device based on the identification result of the identification unit; prepare,
A cargo handling vehicle according to any one of claims 1 to 5.
前記物体検出センサから物体検出データを取得可能なコントローラと、
を備えた荷役車両の制御方法であって、
前記物体検出センサからの前記物体検出データに基づいて、探索範囲内に存在する対象を識別し、
前記物体検出センサからの前記物体検出データに基づいて、識別された前記対象から所定範囲内に存在する、所定の大きさの空間を探索し、
探索された前記所定の大きさの空間を荷置きスペースとして決定する、
荷役車両の制御方法。 an object detection sensor that is attached to a cargo handling vehicle and detects objects existing around the cargo handling vehicle;
a controller capable of acquiring object detection data from the object detection sensor;
A method for controlling a cargo handling vehicle, comprising:
identifying an object existing within a search range based on the object detection data from the object detection sensor;
searching a space of a predetermined size that exists within a predetermined range from the identified object based on the object detection data from the object detection sensor;
determining the searched space of the predetermined size as a storage space;
How to control cargo handling vehicles.
前記物体検出センサから物体検出データを取得可能なコントローラと、
を備え、
前記コントローラは、
前記物体検出センサからの前記物体検出データに基づいて、探索範囲内に存在する対象を識別する識別部と、
前記物体検出センサからの前記物体検出データに基づいて、前記識別部によって識別された前記対象から所定範囲内に存在する、所定の大きさの空間を探索する探索部と、
前記探索部によって探索された前記所定の大きさの空間を荷置きスペースとして決定する決定部と、
を備える、荷役車両の制御システム。 an object detection sensor that is attached to a cargo handling vehicle and detects objects existing around the cargo handling vehicle;
a controller capable of acquiring object detection data from the object detection sensor;
Equipped with
The controller includes:
an identification unit that identifies a target existing within a search range based on the object detection data from the object detection sensor;
a search unit that searches a space of a predetermined size that exists within a predetermined range from the object identified by the identification unit, based on the object detection data from the object detection sensor;
a determining unit that determines the space of the predetermined size searched by the searching unit as a storage space;
A control system for cargo handling vehicles.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022121927A JP2024018535A (en) | 2022-07-29 | 2022-07-29 | Cargo handling vehicle, control method of cargo handling vehicle, and control system of cargo handling vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022121927A JP2024018535A (en) | 2022-07-29 | 2022-07-29 | Cargo handling vehicle, control method of cargo handling vehicle, and control system of cargo handling vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024018535A true JP2024018535A (en) | 2024-02-08 |
Family
ID=89807863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022121927A Pending JP2024018535A (en) | 2022-07-29 | 2022-07-29 | Cargo handling vehicle, control method of cargo handling vehicle, and control system of cargo handling vehicle |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024018535A (en) |
-
2022
- 2022-07-29 JP JP2022121927A patent/JP2024018535A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9828223B2 (en) | Fork-lift truck and method for operating a fork-lift truck | |
CN110088035B (en) | Crane with a movable crane | |
JP5938222B2 (en) | Transportation vehicle surrounding monitoring device | |
JP6008612B2 (en) | Wirelessly operated vehicle remote control system | |
WO2015163028A1 (en) | Road surface estimation device and road surface estimation system for mine work-vehicle | |
KR20220086689A (en) | industrial vehicle | |
JP7213428B2 (en) | Driving support device for industrial vehicles | |
JP2018116609A (en) | Work vehicle | |
JP7215394B2 (en) | Operation support device for cargo handling vehicle | |
JP7426881B2 (en) | Cargo handling support system | |
JP2024018535A (en) | Cargo handling vehicle, control method of cargo handling vehicle, and control system of cargo handling vehicle | |
JP7287231B2 (en) | Operation support device for cargo handling vehicle | |
CN112978632A (en) | Operator vehicle with auxiliary centering device | |
KR101820894B1 (en) | Crane System and Processing Method | |
JP2024018536A (en) | Cargo handling vehicle, control method of cargo handling vehicle, and control system of cargo handling vehicle | |
JP2024033761A (en) | System and method for controlling cargo handling vehicle and cargo handling vehicle | |
JP2024018510A (en) | Cargo handling vehicle, control method of cargo handling vehicle, and control system of cargo handling vehicle | |
JP7396227B2 (en) | Forklift notification device | |
CN114859768A (en) | System and method for remote operation of a work machine including an implement | |
JP2018178878A (en) | Industrial vehicle | |
EP4317049A1 (en) | Industrial truck autonomous or assisted driving using marker detection | |
JP2024034406A (en) | System and method to control cargo handling vehicle | |
JP2024034407A (en) | System and method to control cargo handling vehicle | |
JP2024033370A (en) | System and method for controlling cargo handling vehicle | |
JP2023176620A (en) | cargo handling vehicle |