JP2024094468A - Cargo handling system, control method for cargo handling system, and control program for cargo handling system - Google Patents

Abstract

【課題】荷役作業の作業効率を向上させる。【解決手段】荷役システム１は、無人で荷を搬送する荷役車両２０と、荷役車両２０の作業エリア５０に配置され、荷役車両２０が荷Ｌを配置する予定の格納棚５２の収納スペース５３に物体が存在するか否かを検出する撮影カメラ１０と、撮影カメラ１０が取得した情報に基づいて、荷役車両２０の動作を制御する制御部３７と、を備えている。これにより、荷役作業の作業効率を向上させることができる。【選択図】図３[Problem] To improve the efficiency of loading and unloading work. [Solution] A loading and unloading system 1 includes a loading and unloading vehicle 20 that transports loads unmanned, a photographing camera 10 that is placed in a work area 50 of the loading and unloading vehicle 20 and detects whether an object is present in a storage space 53 of a storage shelf 52 where the loading and unloading vehicle 20 plans to place the load L, and a control unit 37 that controls the operation of the loading and unloading vehicle 20 based on the information acquired by the photographing camera 10. This makes it possible to improve the efficiency of loading and unloading work. [Selected Figure] Figure 3

Description

本発明は、荷役システム、荷役システムの制御方法及び荷役システムの制御プログラムに関する。 The present invention relates to a loading and unloading system, a control method for the loading and unloading system, and a control program for the loading and unloading system.

無人搬送フォークリフト等の無人車両を運用する荷役システムにおいて、荷が配置される場所に別の荷等が置かれていたりすると、荷が干渉して転倒したり損壊したりする。特に作業員（人間）と無人車両が共同で作業するエリアでは、作業員が荷を一時的に仮置きするなど、予定外の荷の配置が起こり得る。
この点、特許文献１に記載の技術では、入庫時にフォークリフトに設けられた撮影装置（車載カメラ）で撮影を行って、その撮影画像から棚と物品（荷）とを特定している。 In a loading and unloading system that operates unmanned vehicles such as automated guided forklifts, if another load is placed in the location where a load is to be placed, the load may interfere with the other load and cause it to fall over or become damaged. Particularly in areas where workers (humans) and unmanned vehicles work together, unplanned load placement, such as when a worker temporarily places a load, may occur.
In this regard, the technology described in Patent Document 1 photographs an item when it is brought into the warehouse using an imaging device (vehicle-mounted camera) provided on the forklift, and identifies the shelf and the item (cargo) from the photographed image.

特開２０１８－２３３１号公報JP 2018-2331 A

上記特許文献１に記載の技術では、車載カメラにより荷を認識できるため、予定外の荷の配置が起きた場合でもその荷との干渉は避けられる。しかし、車載カメラを用いた処理では、フォークリフトの入庫時に、情報取得のためだけの動作（走行停止、撮影、画像処理等）を都度実行する必要があり、効率的でない。
本発明は、上記事情に鑑みてなされたもので、荷役作業の作業効率を向上させることを目的とする。 In the technology described in the above-mentioned Patent Document 1, since the load can be recognized by the vehicle-mounted camera, interference with the load can be avoided even if an unexpected load is placed. However, in the process using the vehicle-mounted camera, when the forklift enters the warehouse, it is necessary to execute operations (stopping the vehicle, taking pictures, processing images, etc.) just for the purpose of acquiring information, which is inefficient.
The present invention has been made in consideration of the above circumstances, and has an object to improve the work efficiency of loading and unloading operations.

本発明に係る荷役システムは、
無人で荷を搬送する無人車両と、
前記無人車両の作業エリアに配置され、前記無人車両が荷を配置する予定の荷置き領域に物体が存在するか否かを検出する検出部と、
前記検出部が取得した情報に基づいて、前記無人車両の動作を制御する制御部と、
を備える。 The cargo handling system according to the present invention comprises:
An unmanned vehicle that transports cargo without a driver,
a detection unit that is disposed in a work area of the unmanned vehicle and detects whether or not an object is present in a load placement area where the unmanned vehicle is to place a load;
A control unit that controls an operation of the unmanned vehicle based on the information acquired by the detection unit;
Equipped with.

本発明によれば、荷役作業の作業効率を向上させることができる。 The present invention can improve the efficiency of loading and unloading operations.

実施形態に係る荷役システムを示す図である。FIG. 1 is a diagram showing a loading and unloading system according to an embodiment. 実施形態に係る荷役システムの概略の制御構成を示すブロック図である。1 is a block diagram showing a schematic control configuration of a cargo handling system according to an embodiment of the present invention. 実施形態に係る棚置き処理の手順を示すフローチャートである。10 is a flowchart showing the procedure of shelf placement processing according to the embodiment. 実施形態に係る荷役システムの変形例を示す図である。FIG. 13 is a diagram showing a modified example of the cargo handling system according to the embodiment.

以下、本発明の実施形態について、図面を参照して詳細に説明する。 The following describes an embodiment of the present invention in detail with reference to the drawings.

［荷役システムの構成］
図１は、本実施形態に係る荷役システム１を示す図である。
この図に示すように、荷役システム１は、少なくとも１台の荷役車両２０により、作業エリア５０の格納棚５２に荷Ｌを入出庫するシステムである。 [Loading system configuration]
FIG. 1 is a diagram showing a loading and unloading system 1 according to the present embodiment.
As shown in this figure, the cargo handling system 1 is a system in which cargo L is loaded and unloaded from a storage shelf 52 in a work area 50 by at least one cargo handling vehicle 20 .

作業エリア５０は、例えば倉庫などであり、格納棚５２を備える。また、作業エリア５０は、特に限定はされないが、無人機である荷役車両２０専用のエリアではなく、作業員（人間）も作業を行うエリアとなっている。
格納棚５２は、複数の荷Ｌが収納・保管される重量棚である。格納棚５２は、複数列かつ複数段に配列された複数の収納スペース５３を有している。収納スペース５３は、本発明に係る荷置き領域の一例であり、荷Ｌが配置可能なスペースである。
本実施形態の荷Ｌは、特に限定はされないが、パレット（荷役台）７０上に少なくとも１つの積み荷が載置されたものである。ただし、本発明に係る荷は、積み荷が載置されていない空パレット（単独又は段積みされたもの）を含む。 The work area 50 is, for example, a warehouse or the like, and includes a storage shelf 52. In addition, although not particularly limited, the work area 50 is not an area exclusively for the unmanned cargo handling vehicle 20, but is an area where workers (humans) also perform work.
The storage shelf 52 is a heavy-duty shelf on which a plurality of loads L are stored. The storage shelf 52 has a plurality of storage spaces 53 arranged in a plurality of rows and a plurality of stages. The storage spaces 53 are an example of a load placement area according to the present invention, and are spaces in which the loads L can be placed.
Although not particularly limited, the load L in this embodiment is a pallet (loading platform) 70 on which at least one load is placed. However, the load according to the present invention also includes an empty pallet (single or stacked) on which no load is placed.

図２は、荷役システム１の概略の制御構成を示すブロック図である。
この図に示すように、荷役システム１は、撮影カメラ１０と、複数の荷役車両２０と、管理サーバ３０とを備える。 FIG. 2 is a block diagram showing a schematic control configuration of the cargo handling system 1.
As shown in this figure, the loading/unloading system 1 includes a photographing camera 10, a plurality of loading/unloading vehicles 20, and a management server 30.

撮影カメラ１０は、作業エリア５０のうち、格納棚５２周辺の天井に設置されている。撮影カメラ１０は、格納棚５２を前方斜め上方から撮影し、取得した画像（映像）を管理サーバ３０に出力する。より詳しくは、撮影カメラ１０が取得した画像データは、専用の画像処理コントローラ１１で処理され、管理サーバ３０に出力される。画像処理コントローラ１１は、ＡＩ（人工知能）等による画像処理を専用に実行し、例えば少なくとも１秒以下の周期でデータを更新する。なお、画像処理コントローラ１１は、管理サーバ３０に備えられて制御部３７に制御されてもよい。
本実施形態の撮影カメラ１０は、ＲＧＢ画像（二次元画像）を取得可能なＲＧＢカメラである。ただし、撮影カメラ１０は、距離情報を含む画像を取得可能なＴｏＦ（Time Of Flight）センサ等であるのが好ましい。ＴｏＦセンサ等であれば、例えば荷Ｌと床色が同色の場合など、ＲＧＢカメラでは荷Ｌを判別しにくい場合等に、距離情報に基づいて荷Ｌを識別することができる。
なお、撮影カメラ１０は、作業エリア５０（設備側）に設けられて格納棚５２（収納スペース５３）内の物体を認識できるものであれば、特に限定されない。したがって、撮影カメラ１０は、天井でなく壁や扉等に設置されてもよいし、カメラではない各種センサであってもよいし、収納スペース５３の床に配置されるスイッチ等であってもよい。 The photographing camera 10 is installed on the ceiling around the storage shelf 52 in the work area 50. The photographing camera 10 photographs the storage shelf 52 from an obliquely upward forward direction, and outputs the acquired image (video) to the management server 30. More specifically, the image data acquired by the photographing camera 10 is processed by a dedicated image processing controller 11 and output to the management server 30. The image processing controller 11 exclusively executes image processing using AI (artificial intelligence) or the like, and updates data at least at intervals of one second or less, for example. The image processing controller 11 may be provided in the management server 30 and controlled by the control unit 37.
The photographing camera 10 of this embodiment is an RGB camera capable of acquiring an RGB image (two-dimensional image). However, it is preferable that the photographing camera 10 is a ToF (Time Of Flight) sensor or the like capable of acquiring an image including distance information. If it is a ToF sensor or the like, it is possible to identify the load L based on the distance information in cases where it is difficult to distinguish the load L using an RGB camera, such as when the load L and the floor are the same color.
The photographing camera 10 is not particularly limited as long as it is installed in the work area 50 (facility side) and can recognize objects in the storage shelf 52 (storage space 53). Therefore, the photographing camera 10 may be installed on a wall or a door instead of the ceiling, may be various types of sensors other than a camera, or may be a switch or the like placed on the floor of the storage space 53.

荷役車両２０は、荷の搬送、荷の昇降及び荷の受渡し等が可能な車両であり、例えば軌条等を用いずに路上を走行できるフォークリフト等である。また、本実施形態の荷役車両２０は、無人（自動）で動作可能な無人搬送フォークリフト（ＡＧＦ：Automated Guided Forklift）であり、管理サーバ３０からの動作指令等に基づいて所定の荷役作業を行う。荷役車両２０は、本発明に係る無人車両の一例である。
具体的に、各荷役車両２０は、駆動部２１、操作部２２、表示部２３、通信部２４、位置計測装置２５、記憶部２６、制御部２７を備える。 The cargo handling vehicle 20 is a vehicle capable of transporting cargo, lifting and lowering cargo, and handing over cargo, and is, for example, a forklift that can travel on roads without using rails or the like. The cargo handling vehicle 20 of this embodiment is an automated guided forklift (AGF) that can operate unmanned (automatically), and performs a predetermined cargo handling operation based on operation commands from the management server 30. The cargo handling vehicle 20 is an example of an unmanned vehicle according to the present invention.
Specifically, each loading vehicle 20 is equipped with a drive unit 21 , an operation unit 22 , a display unit 23 , a communication unit 24 , a position measurement device 25 , a memory unit 26 , and a control unit 27 .

駆動部２１は、荷役車両２０の各種駆動源である走行モータ、操舵モータ及び荷役モータ（いずれも図示省略）を含む。走行モータは、車輪のうちの駆動輪を駆動する。操舵モータは、車輪のうちの操舵輪を回転（操舵動作）させる。荷役モータは、荷Ｌを保持する保持部（例えばフォーク）に昇降や傾倒等の各動作を行わせる駆動源である。
操作部２２は、例えば有人（手動）運転時に運転者が各種操作を行う操作手段である。操作部２２は、例えばハンドルやペダル、レバー、各種ボタン等を含み、これらの操作内容に応じた操作信号を制御部２７に出力する。 The drive unit 21 includes a travel motor, a steering motor, and a loading motor (all not shown), which are various drive sources of the loading vehicle 20. The travel motor drives the drive wheels among the wheels. The steering motor rotates (steers) the steering wheels among the wheels. The loading motor is a drive source that causes a holding portion (e.g., a fork) that holds the load L to perform various operations such as lifting, lowering, and tilting.
The operation unit 22 is an operation means by which a driver performs various operations during manned (manual) driving, for example. The operation unit 22 includes, for example, a steering wheel, pedals, levers, various buttons, etc., and outputs operation signals according to the contents of these operations to the control unit 27.

表示部２３は、例えば液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイその他のディスプレイであり、制御部２７から入力される表示信号に基づいて各種情報を表示する。なお、表示部２３は、操作部２２の一部を兼ねるタッチパネルであってもよい。また、表示部２３は、音声出力可能な音声出力部を含んでもよいし、ランプ等の表示灯を含んでもよい。
通信部２４は、管理サーバ３０や他の荷役車両２０等との間で各種情報を送受信可能な通信デバイスである。 The display unit 23 is, for example, a liquid crystal display, an organic electroluminescence display, or another display, and displays various information based on a display signal input from the control unit 27. The display unit 23 may be a touch panel that also serves as part of the operation unit 22. The display unit 23 may also include an audio output unit that is capable of outputting audio, or may include an indicator light such as a lamp.
The communication unit 24 is a communication device capable of transmitting and receiving various types of information between the management server 30 and other cargo handling vehicles 20, etc.

位置計測装置２５は、荷役車両２０自身の位置を計測するものである。位置計測装置２５が取得した自己位置の情報は、例えば管理サーバ３０に送信されて荷役車両２０自身の位置確認（モニタリング）に利用される。位置計測装置２５の具体構成は特に限定されず、例えば、ＧＮＳＳ（衛星測位システム）を利用するものでもよい。あるいは、走行方向を計測するセンサ（慣性計測装置等）と走行距離センサとを用い、微少時間に走行した方向と距離とを逐次積算して位置を計測するものでもよいし、作業エリアの各所に配置されたリフレクタ（マーカ）を光学センサで検出して、予め設定されているリフレクタの配置情報と照合することで荷役車両２０の位置を計測するもの等でもよい。 The position measuring device 25 measures the position of the loading vehicle 20 itself. The information on the self-position acquired by the position measuring device 25 is transmitted to the management server 30, for example, and is used to confirm (monitor) the position of the loading vehicle 20 itself. The specific configuration of the position measuring device 25 is not particularly limited, and may be, for example, one that uses GNSS (Global Navigation Satellite System). Alternatively, the position measuring device may use a sensor (such as an inertial measurement device) that measures the traveling direction and a traveling distance sensor to sequentially integrate the direction and distance traveled over a very short period of time to measure the position, or may measure the position of the loading vehicle 20 by detecting reflectors (markers) placed at various locations in the work area with an optical sensor and comparing them with preset reflector placement information.

記憶部２６は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等により構成されるメモリであり、各種のプログラム及びデータを記憶するとともに、制御部２７の作業領域としても機能する。本実施形態の記憶部２６は、後述の棚置き処理（図３参照）を実行するためのプログラムを予め記憶している。
制御部２７は、例えばＣＰＵ（Central Processing Unit）等により構成され、荷役車両２０各部の動作を制御する。具体的に、制御部２７は、記憶部２６に予め記憶されているプログラムを展開し、展開されたプログラムと協働して各種処理を実行したりする。 The storage unit 26 is a memory configured, for example, by a RAM (Random Access Memory) or a ROM (Read Only Memory), and stores various programs and data, and also functions as a work area for the control unit 27. The storage unit 26 in this embodiment stores in advance a program for executing a shelf placement process (see FIG. 3) described below.
The control unit 27 is configured with, for example, a CPU (Central Processing Unit) and controls the operation of each part of the cargo handling vehicle 20. Specifically, the control unit 27 deploys a program pre-stored in the storage unit 26 and executes various processes in cooperation with the deployed program.

管理サーバ３０は、荷役システム１を中央制御するものであり、複数の荷役車両２０の動作を制御可能に構成されている。管理サーバ３０は、端末装置とクラウドサーバで構成されるもの等であってもよい。
具体的に、管理サーバ３０は、操作部３１、表示部３２、通信部３４、記憶部３６、制御部３７を備える。 The management server 30 centrally controls the cargo handling system 1, and is configured to be able to control the operations of the multiple cargo handling vehicles 20. The management server 30 may be configured, for example, from a terminal device and a cloud server.
Specifically, the management server 30 includes an operation unit 31 , a display unit 32 , a communication unit 34 , a storage unit 36 , and a control unit 37 .

操作部３１は、操作者が管理サーバ３０を動作させるための各種操作を行う操作手段であり、例えばマウスやキーボード等のポインティングデバイスを含む。
表示部３２は、例えば液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイその他のディスプレイである。表示部３２は、制御部３７から入力される表示信号に基づいて各種情報を表示する。
通信部３４は、各荷役車両２０との間で各種情報を送受信可能な通信デバイスである。 The operation unit 31 is an operation means through which an operator performs various operations to operate the management server 30, and includes, for example, pointing devices such as a mouse and a keyboard.
The display unit 32 is, for example, a liquid crystal display, an organic electroluminescence display, or another display. The display unit 32 displays various information based on a display signal input from the control unit 37.
The communication unit 34 is a communication device capable of transmitting and receiving various types of information to and from each loading vehicle 20 .

記憶部３６は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等により構成されるメモリであり、各種のプログラム及びデータを記憶するとともに、制御部３７の作業領域としても機能する。本実施形態の記憶部３６は、後述の棚置き処理（図３参照）を実行するためのプログラムを予め記憶している。
また、記憶部３６には荷配置データ３６１が記憶される。荷配置データ３６１は、格納棚５２（収納スペース５３）における荷Ｌ（と認識された物体）の有無を表すデータである。例えば図１に示す２段５列の格納棚５２（収納スペース５３）の場合、その荷Ｌの配置状態を示す荷配置データ３６１は、荷Ｌが無い状態を「０」、荷Ｌがある状態を「１」として、以下のようなシンプルなバイナリデータで表される。
００１１１（上段）
１１００１（下段） The storage unit 36 is a memory configured, for example, by a RAM (Random Access Memory) or a ROM (Read Only Memory), and stores various programs and data, and also functions as a work area for the control unit 37. The storage unit 36 in this embodiment stores in advance a program for executing a shelf placement process (see FIG. 3) described below.
Furthermore, the memory unit 36 stores load placement data 361. The load placement data 361 is data that indicates the presence or absence of loads L (objects recognized as loads) on the storage shelves 52 (storage spaces 53). For example, in the case of the two-tiered, five-column storage shelves 52 (storage spaces 53) shown in Fig. 1, the load placement data 361 that indicates the placement state of the loads L is expressed as simple binary data as shown below, with a state in which there is no load L being "0" and a state in which there is load L being "1".
00111 (top row)
11001 (bottom row)

制御部３７は、例えばＣＰＵ（Central Processing Unit）等により構成され、管理サーバ３０各部の動作を制御する。具体的に、制御部３７は、操作部３１の操作内容等に基づいて、記憶部３６に予め記憶されているプログラムを展開し、展開されたプログラムと協働して各種処理を実行したりする。 The control unit 37 is configured, for example, by a CPU (Central Processing Unit) and controls the operation of each part of the management server 30. Specifically, the control unit 37 deploys a program pre-stored in the memory unit 36 based on the operation content of the operation unit 31, and executes various processes in cooperation with the deployed program.

［荷役システムの動作］
続いて、棚置き処理を実行する場合の荷役システム１の動作について説明する。
図３は、棚置き処理の手順を示すフローチャートである。
棚置き処理は、格納棚５２の荷Ｌの配置（収納）状況を管理サーバ３０に参照し、荷役車両２０が荷Ｌを格納棚５２に棚置きする処理である。この棚置き処理は、荷役車両２０の制御部２７又は管理サーバ３０の制御部３７）が該当するプログラムを実行することで実行される。棚置き処理では、専ら管理サーバ３０の制御部３７が主体的に機能しつつ、荷役車両２０の制御部２７と協働して各処理を実行する。管理サーバ３０が荷役車両２０を動作させる場合、管理サーバ３０の制御部３７が通信部３４を通じて荷役車両２０の制御部２７に制御指令を送信して実行させる。 [Loading system operation]
Next, the operation of the cargo handling system 1 when executing the shelf storage process will be described.
FIG. 3 is a flow chart showing the procedure of shelf placement processing.
The shelf-storage process refers to the placement (storage) status of the load L on the storage shelf 52 by referring to the management server 30, and the loading vehicle 20 shelves the load L on the storage shelf 52. This shelf-storage process is executed by the control unit 27 of the loading vehicle 20 or the control unit 37 of the management server 30 executing a corresponding program. In the shelf-storage process, the control unit 37 of the management server 30 functions primarily and executes each process in cooperation with the control unit 27 of the loading vehicle 20. When the management server 30 operates the loading vehicle 20, the control unit 37 of the management server 30 transmits a control command to the control unit 27 of the loading vehicle 20 via the communication unit 34 to have the control unit 27 execute the command.

図３に示すように、棚置き処理が実行されると、まず荷役車両２０の制御部２７は、管理サーバ３０からの動作指令に基づいて、例えば倉庫内等で特定の場所にある荷Ｌを指定された格納棚５２等に搬送させる荷役作業を開始する（ステップＳ１）。制御部２７は、当該作業のなかで、フォーク上に荷Ｌを保持させ、作業計画に沿って荷役車両２０を適宜走行移動させる（ステップＳ１ａ）。
本荷役作業では、管理サーバ３０が、荷役車両２０に対する作業全体の指令（荷の搬送先の指示と、棚の空き管理及び移動先指示等を含む）と、撮影カメラ１０による画像情報の更新等とを行い、荷役車両２０の位置制御は荷役車両２０自身が行う。 3, when the shelf storage process is executed, the control unit 27 of the cargo handling vehicle 20 first starts a cargo handling operation to transport the cargo L located at a specific location, for example, in a warehouse, to a specified storage shelf 52, etc., based on an operation command from the management server 30 (step S1). During this operation, the control unit 27 holds the cargo L on the forks and appropriately travels and moves the cargo handling vehicle 20 according to the work plan (step S1a).
In this loading and unloading operation, the management server 30 issues instructions for the entire operation to the loading vehicle 20 (including instructions on the destination of the cargo, management of shelf vacancy and instructions on the destination, etc.), updates image information from the photographing camera 10, etc., and the position control of the loading vehicle 20 is performed by the loading vehicle 20 itself.

次に、管理サーバ３０の制御部３７は、荷役車両２０が格納棚５２の所定距離内まで到達したか否かを判定する（ステップＳ２）。
ここでは、制御部３７は、荷役車両２０の位置を荷役車両２０の位置計測装置２５により随時取得し、格納棚５２の位置及びその所定距離内の範囲を地図データ等として予め記憶部３６に保持している。そのため、好適に位置制御できる。
そして、荷役車両２０が格納棚５２の所定距離内まで到達していないと判定した場合（ステップＳ２；Ｎｏ）、制御部３７は、上述のステップＳ１ａへ処理を移行する。 Next, the control unit 37 of the management server 30 determines whether or not the loading vehicle 20 has reached within a predetermined distance of the storage shelf 52 (step S2).
Here, the control unit 37 acquires the position of the cargo handling vehicle 20 from the position measuring device 25 of the cargo handling vehicle 20 at any time, and stores the position of the storage shelf 52 and the range within a predetermined distance therefrom in advance as map data or the like in the memory unit 36. Therefore, position control can be performed preferably.
If it is determined that the loading vehicle 20 has not reached within the predetermined distance of the storage shelf 52 (step S2; No), the control unit 37 shifts the process to the above-mentioned step S1a.

ステップＳ２において、荷役車両２０が格納棚５２の所定距離内まで近づいたと判定した場合（ステップＳ２；Ｙｅｓ）、制御部３７は、撮影カメラ１０により格納棚５２の画像を取得する（ステップＳ３）。
そして、制御部３７は、取得した画像に基づいて、格納棚５２の各収納スペース５３における荷Ｌ（物体）の有無を判定し、荷配置データ３６１を生成（更新）する（ステップＳ４）。
なお、ステップＳ３の画像取得自体は常に行っておき、荷Ｌがあるか否かの判定をこのタイミングで行ってもよい。 In step S2, if it is determined that the loading vehicle 20 has come within a predetermined distance of the storage shelf 52 (step S2; Yes), the control unit 37 acquires an image of the storage shelf 52 by the photographing camera 10 (step S3).
Then, the control unit 37 determines the presence or absence of a load L (object) in each storage space 53 of the storage shelf 52 based on the acquired image, and generates (updates) the load placement data 361 (step S4).
Note that the image acquisition in step S3 may be performed at all times, and the determination as to whether or not a load L is present may be performed at this timing.

次に、制御部３７は、最新の荷配置データ３６１を照会する（ステップＳ５）。
そして、制御部３７は、最新の荷配置データ３６１に基づいて、荷役車両２０が現在保持している荷Ｌを棚置きする予定の収納スペース５３に、すでに別の荷Ｌ（又は荷Ｌと認識された物体）が配置されているか否かを判定する（ステップＳ６）。荷Ｌを棚置きする予定の収納スペース５３は、管理サーバ３０が予め記憶部３６に保持している荷役車両２０の作業計画により特定される。ここでは、制御部３７は、荷Ｌを棚置きする予定の収納スペース５３が、荷配置データ３６１上で「１」なら荷Ｌ（物体）が存在すると判定し、「０」なら空いていると判定する。
なお、収納スペース５３に配置され得る物体とは、荷Ｌの配置の妨げになり得るものを広く含み、例えば段ボールや道具箱等、作業員（人）がついつい置いてしまうようなものも含む。 Next, the control unit 37 checks the latest package placement data 361 (step S5).
Then, the control unit 37 judges, based on the latest cargo placement data 361, whether or not another cargo L (or an object recognized as cargo L) has already been placed in the storage space 53 in which the cargo L currently held by the cargo handling vehicle 20 is to be stored (step S6). The storage space 53 in which the cargo L is to be stored is specified by the work plan of the cargo handling vehicle 20 that the management server 30 has stored in advance in the memory unit 36. Here, the control unit 37 judges that the cargo L (object) exists if the storage space 53 in which the cargo L is to be stored is "1" on the cargo placement data 361, and judges that the storage space 53 is vacant if the storage space is "0".
In addition, objects that may be placed in the storage space 53 broadly include anything that may hinder the placement of the load L, such as cardboard boxes, tool boxes, and other items that workers (people) tend to place there.

ステップＳ６において、棚置きする予定の収納スペース５３に荷Ｌ（物体）は存在しないと判定した場合（ステップＳ６；Ｎｏ）、制御部３７は、荷役車両２０に棚置き作業を続行させて当該収納スペース５３に荷Ｌを棚置きし（ステップＳ１０）、後述のステップＳ１１へ処理を移行する。 If it is determined in step S6 that the load L (object) is not present in the storage space 53 where the load L is to be stored (step S6; No), the control unit 37 causes the loading vehicle 20 to continue the shelf-storing operation and stores the load L in the storage space 53 (step S10), and then proceeds to step S11, which will be described later.

一方、ステップＳ６において、棚置きする予定の収納スペース５３にすでに荷Ｌ（物体）が配置されていると判定した場合（ステップＳ６；Ｙｅｓ）、制御部３７は、荷役車両２０の走行を停止させる（ステップＳ７）。これにより、棚置きする直前に最新の情報を参照できるので、仮に物体が存在した場合でも接触を防止できる。
この場合、制御部３７は、荷役車両２０が（一時）停止中であることを周囲の作業員等に報知する表示（例えば「停止中」のランプを点灯する等）を荷役車両２０の表示部２３に出力させてもよい。これにより、周囲から見て、作業動作を継続しているか一時停止しているだけなのか、何ら作業を行わずに停止しているだけなのかを確認することができ、不用意に近づくことや、必要に応じた応急処置などの適切な対応を周囲の作業者が取ることができる。 On the other hand, in step S6, when it is determined that the load L (object) is already placed in the storage space 53 where the load L is to be placed on the shelf (step S6; Yes), the control unit 37 stops the traveling of the loading vehicle 20 (step S7). This allows the latest information to be referred to immediately before placing the load L on the shelf, so that even if an object is present, contact can be prevented.
In this case, the control unit 37 may cause the display unit 23 of the loading vehicle 20 to output a display (for example, turning on a "stopped" lamp) to inform surrounding workers that the loading vehicle 20 is (temporarily) stopped. This allows those around to confirm whether the vehicle is continuing its work operation, has just temporarily stopped, or has just stopped without performing any work, and allows surrounding workers to take appropriate measures such as not approaching carelessly and providing first aid as necessary.

次に、制御部３７は、ステップＳ７の走行停止（又はその直前のステップＳ６の判定）から所定時間が経過したかを判定する（ステップＳ８）。
ここで、「所定時間」とは、該当の収納スペース５３の状況が変化すると推定される時間であり、例えば作業員が仮置きした物体を移動させるであろう時間（例えば１分）である。つまり、荷置き作業を実行させる場合に、棚に障害物が置かれているケースにおいては、本願発明で、接触を防止しつつ、一時停止している間に、周囲の作業者が、対象となる棚に置かれている各種物体を移動させることで、作業を継続させること意味している。この間の時間を所定時間として設定することができる。
なお、所定時間の始点の一例である「ステップＳ７の走行停止」とは、荷役車両２０が走行状態から停止状態に移行したときを指し、停止状態を維持したときを含まない。 Next, the control unit 37 determines whether a predetermined time has elapsed since the stopping of traveling in step S7 (or the determination in step S6 immediately before that) (step S8).
Here, the "predetermined time" refers to the time when it is estimated that the situation of the storage space 53 will change, and is, for example, the time (e.g., one minute) when a worker is expected to move an object that has been temporarily placed. In other words, in a case where an obstacle is placed on a shelf when a loading operation is to be performed, the present invention means that while the loading operation is temporarily stopped while preventing contact, surrounding workers can continue the operation by moving various objects placed on the target shelf. This time period can be set as the predetermined time.
Note that "stop of traveling in step S7", which is an example of the start point of the predetermined time, refers to the time when the cargo handling vehicle 20 transitions from a traveling state to a stopped state, and does not include the time when the stopped state is maintained.

ステップＳ８において、ステップＳ７（又はその直前のステップＳ６）から所定時間が経過していないと判定した場合（ステップＳ８；Ｎｏ）、制御部３７は、上述のステップＳ３へ処理を移行する。
そのため、ステップＳ３、Ｓ４の画像取得及び荷配置データ生成とステップＳ６の物体の有無判定等とが、収納スペース５３に物体が存在しなくなるか所定時間が経過するまで、継続的に繰り返される。これにより、荷配置データ３６１は随時最新のものに更新され、当該最新の荷配置データ３６１に基づいてステップＳ６の物体の有無判定が行われる。
なお、所定時間経過前に収納スペース５３から荷Ｌ（物体）が無くなったことを確認できた場合（ステップＳ８；Ｎｏの後のステップＳ６；Ｎｏ）、又は、作業員による手動の再開操作があった場合、管理サーバ３０は所定時間の経過前でも荷役車両２０に作業を再開させてもよい。 In step S8, when it is determined that the predetermined time has not elapsed since step S7 (or the immediately preceding step S6) (step S8; No), the control unit 37 transitions the process to the above-mentioned step S3.
Therefore, the image acquisition and load placement data generation in steps S3 and S4, and the presence/absence determination in step S6 are continuously repeated until there are no more objects in the storage space 53 or a predetermined time has elapsed. As a result, the load placement data 361 is updated to the latest one at any time, and the presence/absence determination in step S6 is performed based on the latest load placement data 361.
In addition, if it is confirmed that the cargo L (object) has disappeared from the storage space 53 before the specified time has elapsed (Step S8; No followed by Step S6; No), or if a worker manually resumes operation, the management server 30 may cause the loading vehicle 20 to resume work even before the specified time has elapsed.

一方、ステップＳ８において、ステップＳ７（又はその直前のステップＳ６）から所定時間が経過したと判定した場合（ステップＳ８；Ｙｅｓ）、制御部３７は、収納スペース５３に物体が存在することを警告（報知）する警告出力を行い（ステップＳ９）、棚置き処理を終了させる。
ここでは、制御部３７は、荷役車両２０の表示部２３に警告表示を表示させたり警告音声を出力させたりして、収納スペース５３に予定外の荷Ｌ（物体）が存在することを周辺の作業員等に報知し、荷役車両２０に作業員（人間）による対応を待機させる。この場合の出力（報知）態様は特に限定されない。アラームやライトの点灯等でもよい。
なお、作業継続中だが一時停止している状態を周囲に知らしめる報知態様（つまり解消されると作業を継続する）と、置き先の荷Ｌ（物体）が所定時間たっても解消されないため、作業自体が停止する報知態様（解消されても作業が継続しない）とで、違いが分かるように報知するのが好ましい。これにより、周囲の作業者がこの荷役車両２０の状態を把握しやすくなり便利である。 On the other hand, in step S8, if it is determined that a predetermined time has elapsed since step S7 (or the immediately preceding step S6) (step S8; Yes), the control unit 37 outputs a warning (alerts) that an object is present in the storage space 53 (step S9), and terminates the shelf placement process.
Here, the control unit 37 notifies nearby workers or the like that an unexpected load L (object) is present in the storage space 53 by causing the display unit 23 of the loading vehicle 20 to display a warning display or output a warning sound, and causes the loading vehicle 20 to wait for a worker (human) to respond. The output (notification) mode in this case is not particularly limited. An alarm, the illumination of a light, or the like may be used.
It is preferable to notify the surroundings of a notification mode in which the work is continuing but temporarily stopped (i.e., the work continues when the problem is resolved) and a notification mode in which the work itself stops because the load L (object) at the destination has not been resolved even after a predetermined time has passed (the work does not continue even when the problem is resolved), so that the notification can be easily understood. This is convenient because it makes it easier for surrounding workers to understand the state of the cargo handling vehicle 20.

次に、制御部３７は、棚置き処理を終了させるか否かを判定し（ステップＳ１１）、終了させないと判定した場合には（ステップＳ１１；Ｎｏ）、上述のステップＳ１ａへ処理を移行し、荷役作業を続ける。
そして、例えば荷役作業の終了等により、棚置き処理を終了させると判定した場合には（ステップＳ１１；Ｙｅｓ）、制御部３７は、棚置き処理を終了させる。
なお、一連の棚置き処理が完了した場合、次のタスクの指令があれば、再び別の荷に対して同様の作業を実行するために、所定の荷物の場所に移動しても良いし、タスクが無ければ、所定の待機位置に移動させても良い。 Next, the control unit 37 determines whether or not to end the shelf storage process (step S11), and if it determines not to end it (step S11; No), it transitions to the above-mentioned step S1a and continues the loading and unloading operation.
Then, when it is determined that the shelf storage process should be ended due to, for example, the end of loading and unloading work (step S11; Yes), the control unit 37 ends the shelf storage process.
Furthermore, when a series of shelf placement processes is completed, if there is an instruction for the next task, the robot may be moved to a specified cargo location to perform the same work on another cargo, or if there is no task, the robot may be moved to a specified waiting position.

［本実施形態の技術的効果］
以上のように、本実施形態によれば、格納棚５２（収納スペース５３）に物体が存在するか否かを検出する撮影カメラ１０が荷役車両２０の作業エリア５０に配置され、撮影カメラ１０が取得した情報に基づいて、荷役車両２０の動作が制御される。
これにより、設備側に設けた撮影カメラ１０によって、格納棚５２の荷Ｌの状況を把握しておくことができる。そのため、荷役車両に搭載した車載カメラを用いる場合と異なり、荷役車両の入庫時に、情報取得のためだけの動作（走行停止、撮影、画像処理等）を都度実行する必要がない。したがって、荷役作業の作業効率を向上させることができる。
また、例えば作業員が予定外の物体の配置を行った場合等でも、当該物体との干渉を起こすことなく好適に荷Ｌを配置できる。ひいては、無人機と作業員（人間）が共同で作業を行う作業エリア５０を好適に運用できる。 [Technical effect of the present embodiment]
As described above, according to this embodiment, a photographic camera 10 that detects whether or not an object is present in the storage shelf 52 (storage space 53) is placed in the work area 50 of the loading vehicle 20, and the operation of the loading vehicle 20 is controlled based on the information obtained by the photographic camera 10.
This allows the status of the load L on the storage shelf 52 to be grasped by the photographing camera 10 installed on the facility side. Therefore, unlike the case where an on-board camera mounted on a loading vehicle is used, there is no need to execute operations (stopping travel, photographing, image processing, etc.) just for the purpose of acquiring information each time the loading vehicle enters the warehouse. This improves the efficiency of loading and unloading work.
In addition, even if an operator places an unexpected object, the load L can be appropriately placed without interfering with the object. As a result, the work area 50 where the drone and the operator (human) work together can be appropriately operated.

また、本実施形態によれば、撮影カメラ１０が取得した情報に基づいて、格納棚５２（収納スペース５３）における荷Ｌの有無に関する荷配置データ３６１が生成され、記憶部３６に記憶されるので、格納棚５２の荷Ｌの有無に関する情報が好適に保持される。
また、荷配置データ３６１が定期的に更新されるので、格納棚５２の荷Ｌの有無に関する情報が常に最新に保たれる。 Furthermore, according to this embodiment, cargo placement data 361 regarding the presence or absence of cargo L on the storage shelf 52 (storage space 53) is generated based on the information acquired by the photographing camera 10 and stored in the memory unit 36, so that information regarding the presence or absence of cargo L on the storage shelf 52 is preferably retained.
In addition, since the load placement data 361 is updated periodically, information regarding the presence or absence of load L on the storage shelf 52 is always kept up to date.

また、本実施形態によれば、荷役車両２０が格納棚５２から所定距離内に到達した場合に、荷配置データ３６１が参照されて、荷役車両２０が荷Ｌを配置する予定の格納棚５２（収納スペース５３）に物体が存在するか否かが判定される。
これにより、荷役車両２０が格納棚５２に荷Ｌを配置する直前に荷配置データ３６１を参照することができるので、最新の荷配置データ３６１に基づいて判定を行うことができる。 Furthermore, according to this embodiment, when the loading vehicle 20 arrives within a predetermined distance of the storage shelf 52, the cargo placement data 361 is referenced to determine whether or not an object is present in the storage shelf 52 (storage space 53) where the loading vehicle 20 plans to place the cargo L.
This allows the cargo handling vehicle 20 to refer to the cargo placement data 361 immediately before placing the cargo L on the storage shelf 52, making it possible to make a determination based on the latest cargo placement data 361.

また、本実施形態によれば、荷役車両２０が荷を配置する予定の格納棚５２（収納スペース５３）に物体が存在すると判定された場合に、荷役車両２０の走行が停止（動作が停止）される。そして、荷役車両２０が停止してから所定時間が経過しても、荷Ｌを配置予定の格納棚５２（収納スペース５３）に物体が存在する場合に、格納棚５２に物体が存在することが荷役車両２０の表示部２３により報知される。
これにより、例えば作業員が一時的に仮置きしただけの物体に対しては、作業員（保守要員）の手を煩わすことなく、速やかに作業を再開できる。ひいては、無人機である荷役車両２０を円滑に運用できる。 Furthermore, according to this embodiment, when it is determined that an object is present on the storage shelf 52 (storage space 53) where the cargo handling vehicle 20 is to place the cargo, the traveling of the cargo handling vehicle 20 is stopped (the operation is stopped). Then, when an object is present on the storage shelf 52 (storage space 53) where the cargo L is to be placed even after a predetermined time has elapsed since the cargo handling vehicle 20 stopped, the display unit 23 of the cargo handling vehicle 20 notifies the user that the object is present on the storage shelf 52.
As a result, for example, for an object that has only been temporarily placed by a worker, work can be resumed quickly without bothering the worker (maintenance personnel), and the unmanned cargo handling vehicle 20 can be operated smoothly.

［その他］
以上、本発明の実施形態について説明したが、本発明は上記の実施形態（変形例含む）に限られない。
例えば、上記実施形態では、荷役車両２０が荷Ｌを棚置きする場合について説明した。しかし、本発明は、荷役車両２０が荷Ｌを床に平置きする場合にも好適に適用できる。この場合、図４に示すように、上記実施形態における格納棚５２（収納スペース５３）に代えて、荷Ｌの配置場所である荷置きスペース５３Ａを予め設定しておけばよい。
また、上記実施形態では、荷役車両２０が荷Ｌを置く場合について説明したが、本発明は荷Ｌを取る場合についても同様に適用できる。この場合、ステップＳ６、Ｓ８における荷Ｌがあるか否かの判定を逆転させれば（荷Ｌが無い場合に「Ｙｅｓ」、荷Ｌがある場合に「Ｎｏ」とすれば）よい。 [others]
Although the embodiment of the present invention has been described above, the present invention is not limited to the above embodiment (including the modified examples).
For example, in the above embodiment, the case where the cargo handling vehicle 20 stores the cargo L on a shelf has been described. However, the present invention can also be suitably applied to a case where the cargo handling vehicle 20 stores the cargo L flat on the floor. In this case, as shown in Fig. 4, a cargo placement space 53A, which is a placement location for the cargo L, may be set in advance instead of the storage shelf 52 (storage space 53) in the above embodiment.
In the above embodiment, the case where the cargo handling vehicle 20 places the cargo L has been described, but the present invention can be similarly applied to the case where the cargo handling vehicle 20 picks up the cargo L. In this case, the determination as to whether or not the cargo L is present in steps S6 and S8 may be reversed ("Yes" if the cargo L is not present, and "No" if the cargo L is present).

また、上記実施形態の棚置き処理では、ステップＳ７の走行停止から所定時間経過した後に、ステップＳ９の警告出力を行うこととした。しかし、所定時間の経過を待つことなく、ステップＳ７の走行停止後にステップＳ９の警告出力を行ってもよい。 In addition, in the shelf placement process of the above embodiment, the warning output of step S9 is performed after a predetermined time has elapsed since the travel stops in step S7. However, the warning output of step S9 may be performed after the travel stops in step S7 without waiting for the predetermined time to elapse.

また、上記実施形態では、管理サーバ３０の制御部３７と荷役車両２０の制御部２７が協働して各処理を実行することとした。しかし、管理サーバ３０と荷役車両２０との処理の分担度合いは特に限定されない。ただし、荷役車両２０の制御処理は荷役車両２０自身の制御部２７が行い、それ以外の処理は管理サーバ３０の制御部３７が行うのが好ましい。 In addition, in the above embodiment, the control unit 37 of the management server 30 and the control unit 27 of the loading vehicle 20 cooperate to execute each process. However, the degree of division of the processes between the management server 30 and the loading vehicle 20 is not particularly limited. However, it is preferable that the control process of the loading vehicle 20 is performed by the control unit 27 of the loading vehicle 20 itself, and other processes are performed by the control unit 37 of the management server 30.

また、荷役車両が行う荷役作業とは、フォーク（爪）をパレットに差し込み、リフトで持ち上げ、走行し、置き先の上にパレットを移動させ、リフトを下げて、パレットが置き先に支持され、爪を引き抜き、移動する、の各作業を含み、これら一連の作業の繰り返しで当該荷役作業が行われる。 The loading and unloading work carried out by a loading and unloading vehicle includes inserting the forks (claws) into the pallet, lifting it with a lift, driving it, moving the pallet to the desired location, lowering the lift so that the pallet is supported at the desired location, removing the claws, and moving it. The loading and unloading work is carried out by repeating this series of operations.

また、上記実施形態では、荷役車両２０が無人搬送フォークリフトであることとした。しかし、本発明に係る無人車両は、有人運転と無人運転を切り替え可能なものを含む。また、本発明は有人運転のアシスト機能としても利用可能である。
また、本発明に係る無人車両は、フォーク（又はそれに類するもの）で荷を保持して走行できるものであればフォークリフトに限定されず、例えば無人で走行する無人搬送車（ＡＧＶ：Automated Guided Vehicle）等を含む。
その他、上記実施形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。 In the above embodiment, the cargo handling vehicle 20 is an unmanned transport forklift. However, the unmanned vehicle according to the present invention includes a vehicle that can switch between manned and unmanned operation. The present invention can also be used as an assist function for manned operation.
In addition, the unmanned vehicle according to the present invention is not limited to a forklift as long as it can carry a load using forks (or the like) and can travel on its own, but includes, for example, an automated guided vehicle (AGV) that travels on its own.
In addition, the details shown in the above embodiment can be modified as appropriate without departing from the spirit of the invention.

１ 荷役システム
１０ 撮影カメラ（検出部）
２０ 荷役車両
２３ 表示部（報知部）
２７ 制御部
３０ 管理サーバ
３６ 記憶部
３７ 制御部
５０ 作業エリア
５２ 格納棚
５３ 収納スペース（荷置き領域）
５３Ａ 荷置きスペース（荷置き領域）
３６１ 荷配置データ（荷配置情報）
Ｌ 荷 1 Cargo handling system 10 Photographing camera (detection unit)
20 Cargo handling vehicle 23 Display unit (notification unit)
27 Control unit 30 Management server 36 Memory unit 37 Control unit 50 Work area 52 Storage shelf 53 Storage space (luggage storage area)
53A Cargo space (cargo area)
361 cargo placement data (cargo placement information)
L Load

Claims (8)

無人で荷を搬送する無人車両と、
前記無人車両の作業エリアに配置され、前記無人車両が荷を配置する予定の荷置き領域に物体が存在するか否かを検出する検出部と、
前記検出部が取得した情報に基づいて、前記無人車両の動作を制御する制御部と、
を備える荷役システム。 An unmanned vehicle that transports cargo without a driver,
a detection unit that is disposed in a work area of the unmanned vehicle and detects whether or not an object is present in a load placement area where the unmanned vehicle is to place a load;
A control unit that controls an operation of the unmanned vehicle based on the information acquired by the detection unit;
A loading and unloading system comprising: 前記制御部は、前記検出部が取得した情報に基づいて、前記荷置き領域における荷の有無に関する荷配置情報を生成し、記憶部に記憶させる、
請求項１に記載の荷役システム。 The control unit generates cargo placement information regarding the presence or absence of cargo in the cargo placement area based on the information acquired by the detection unit, and stores the generated cargo placement information in a storage unit.
A cargo handling system according to claim 1. 前記制御部は、前記荷配置情報を定期的に更新する、
請求項２に記載の荷役システム。 The control unit periodically updates the load placement information.
A cargo handling system according to claim 2. 前記制御部は、前記無人車両が前記荷置き領域から所定距離内に到達した場合に、前記荷配置情報を参照して、前記無人車両が荷を配置する予定の前記荷置き領域に物体が存在するか否かを判定する、
請求項２に記載の荷役システム。 when the unmanned vehicle arrives within a predetermined distance from the load placement area, the control unit refers to the load placement information and determines whether or not an object is present in the load placement area where the unmanned vehicle is to place the load.
A cargo handling system according to claim 2. 前記制御部は、前記無人車両が荷を配置する予定の前記荷置き領域に物体が存在すると判定した場合に、前記無人車両の走行を停止させる、
請求項４に記載の荷役システム。 the control unit stops traveling of the unmanned vehicle when it determines that an object is present in the load placement area where the unmanned vehicle is to place a load.
A cargo handling system according to claim 4. 前記制御部は、前記無人車両が停止してから所定時間が経過しても、前記無人車両が荷を配置する予定の前記荷置き領域に物体が存在すると判定した場合に、前記荷置き領域に物体が存在することを前記無人車両の報知部により報知させる、
請求項４に記載の荷役システム。 When the control unit determines that an object exists in the load placement area where the unmanned vehicle is to place a load even after a predetermined time has elapsed since the unmanned vehicle stopped, the control unit causes a notification unit of the unmanned vehicle to notify that an object exists in the load placement area.
A cargo handling system according to claim 4. 無人で荷を搬送する無人車両を備える荷役システムの制御方法であって、
前記無人車両の作業エリアには、前記無人車両が荷を配置する予定の荷置き領域に物体が存在するか否かを検出する検出部が配置され、
制御部が、前記検出部が取得した情報に基づいて、前記無人車両の動作を制御する、
荷役システムの制御方法。 A method for controlling a loading and unloading system including an unmanned vehicle that transports loads in an unmanned manner, comprising:
a detection unit is disposed in a work area of the unmanned vehicle to detect whether or not an object is present in a load placement area in which the unmanned vehicle is to place a load;
A control unit controls an operation of the unmanned vehicle based on the information acquired by the detection unit.
A method for controlling a loading and unloading system. 無人で荷を搬送する無人車両を備える荷役システムの制御プログラムであって、
前記無人車両の作業エリアには、前記無人車両が荷を配置する予定の荷置き領域に物体が存在するか否かを検出する検出部が配置され、
コンピュータに、前記検出部が取得した情報に基づいて、前記無人車両の動作を制御させる、
荷役システムの制御プログラム。 A control program for a loading and unloading system including an unmanned vehicle that transports loads,
a detection unit is disposed in a work area of the unmanned vehicle to detect whether or not an object is present in a load placement area in which the unmanned vehicle is to place a load;
causing a computer to control an operation of the unmanned vehicle based on the information acquired by the detection unit;
Control program for the cargo handling system.

Images