JP2020151773A - Cargo handling device and controller - Google Patents

Abstract

To provide a cargo handling device which can present a label adhered to an article, and to provide a controller.SOLUTION: An according to one embodiment, a cargo handling device includes a holding mechanism, a camera, a first processor, and a storage part. The holding mechanism holds an article to which a label is adhered. The camera captures an image of a contact area where the holding mechanism contacts with the article. The first processor uses the camera to capture a first image and causes the holding mechanism to hold the article after the first image is captured. The storage part stores the first image.SELECTED DRAWING: Figure 1

Description

本発明の実施形態は、荷役装置及びコントローラに関する。 Embodiments of the present invention relate to cargo handling devices and controllers.

荷役装置には、ロボットを用いて荷物などの物品を把持し所定の場所に積載するものがある。物品に宛先伝票などのラベルが貼付されている場合、荷役装置は、吸着部などの把持部で物品を把持するとラベルを破損させてしまうおそれがある。 Some cargo handling devices use a robot to grasp an article such as luggage and load it in a predetermined place. When a label such as a destination slip is attached to an article, the cargo handling device may damage the label when the article is gripped by a gripping portion such as a suction portion.

荷役装置は、ラベルを破損させてしまうことで物品の宛先などを知ることができなくなるおそれがあるという課題がある。 The cargo handling device has a problem that the label may be damaged and the destination of the article may not be known.

特開２０１８−１４９４９７号公報JP-A-2018-149497

上記の課題を解決するため、物品に貼付されたラベルを提示することができる荷役装置及びコントローラを提供する。 In order to solve the above problems, a cargo handling device and a controller capable of presenting a label affixed to an article are provided.

実施形態によれば、荷役装置は、把持機構と、カメラと、第１のプロセッサと、記憶部と、を備える。把持機構は、ラベルを貼付された物品を把持する。カメラは、前記把持機構が前記物品に接触する接触領域を撮影する。第１のプロセッサは、前記カメラを用いて、第１の画像を撮影し、前記第１の画像を撮影した後に、前記把持機構に前記物品を把持させる。記憶部は、前記第１の画像を格納する。 According to an embodiment, the cargo handling device includes a gripping mechanism, a camera, a first processor, and a storage unit. The gripping mechanism grips the labeled article. The camera captures a contact area where the gripping mechanism contacts the article. The first processor uses the camera to capture a first image, captures the first image, and then causes the gripping mechanism to grip the article. The storage unit stores the first image.

図１は、実施形態に係る荷役システムの構成例を示す図である。FIG. 1 is a diagram showing a configuration example of a cargo handling system according to an embodiment. 図２は、実施形態に係るサーバの構成例を示すブロック図である。FIG. 2 is a block diagram showing a configuration example of the server according to the embodiment. 図３は、実施形態に係るロボットコントローラの構成例を示すブロック図である。FIG. 3 is a block diagram showing a configuration example of the robot controller according to the embodiment. 図４は、実施形態に係る表示装置の構成例を示すブロック図である。FIG. 4 is a block diagram showing a configuration example of the display device according to the embodiment. 図５は、実施形態に係るロボットコントローラの動作例を示すフローチャートである。FIG. 5 is a flowchart showing an operation example of the robot controller according to the embodiment.

以下、図面を参照しながら実施形態について説明する。
実施形態に係る荷役システム（荷役装置）は、ロボットを用いて所定の場所に積載される物品を把持し所定の場所（積載場所）に積載する。荷役システムは、ロボットが備える吸着パットで物品を吸着することで物品を把持する。たとえば、荷役システムは、ケースなどの積載された物品をソータ又はコンベアなどに荷降ろしするために用いられる。また、荷役システムは、ソータ又はコンベアなどに積載された物品をケースなどに荷揚げするために用いられる。たとえば、荷役システムは、物流センサ又は倉庫などで用いられる。荷役システムが利用される場所及び用途は、特定の構成に限定されるものではない。 Hereinafter, embodiments will be described with reference to the drawings.
The cargo handling system (loading device) according to the embodiment uses a robot to grasp an article to be loaded at a predetermined location and load the article at a predetermined location (loading location). The cargo handling system grips the article by sucking the article with the suction pad provided by the robot. For example, a cargo handling system is used to unload loaded articles such as cases onto sorters or conveyors. Further, the cargo handling system is used to unload an article loaded on a sorter or a conveyor or the like into a case or the like. For example, a cargo handling system is used in a distribution sensor or a warehouse. The location and use of the cargo handling system is not limited to a specific configuration.

図１は、実施形態に係る荷役システム１の構成例を示す。図１が示すように、荷役システム１は、サーバ１０、ロボット２０、ロボットコントローラ３０及び表示装置４０などを備える。サーバ１０とロボットコントローラ３０及び表示装置４０とは、互いに接続する。また、ロボットコントローラ３０とロボット２０とは、互いに接続する。ここでは、荷役システム１は、物品５０を把持して所定の積載場所に積載する。 FIG. 1 shows a configuration example of the cargo handling system 1 according to the embodiment. As shown in FIG. 1, the cargo handling system 1 includes a server 10, a robot 20, a robot controller 30, a display device 40, and the like. The server 10, the robot controller 30, and the display device 40 are connected to each other. Further, the robot controller 30 and the robot 20 are connected to each other. Here, the cargo handling system 1 grips the article 50 and loads it at a predetermined loading location.

なお、荷役システム１は、図１が示すような構成の他に必要に応じた構成を具備したり、荷役システム１から特定の構成が除外されたりしてもよい。 In addition to the configuration shown in FIG. 1, the cargo handling system 1 may have a configuration as required, or a specific configuration may be excluded from the cargo handling system 1.

物品５０は、ロボット２０に把持され搬送される。物品５０は、所定の場所に積載されている。たとえば、物品５０は、ケース、ソータ又はコンベアなどに積載されている。 The article 50 is gripped and conveyed by the robot 20. The article 50 is loaded in a predetermined place. For example, the article 50 is loaded on a case, sorter, conveyor, or the like.

物品５０には、ラベル（帳票）５１が貼付される。たとえば、ラベル５１は、物品５０の上面に貼付される。ラベル５１は、のり、テープ又はホッチキスなどによって物品５０上に貼付される。また、ラベル５１は、物品５０に直接書き込まれたものであってもよい。 A label (form) 51 is attached to the article 50. For example, the label 51 is affixed to the upper surface of the article 50. The label 51 is affixed onto the article 50 with glue, tape, stapler, or the like. Further, the label 51 may be directly written on the article 50.

ラベル５１は、物品５０に関連する情報を表示する。たとえば、ラベル５１は、物品５０の宛先を示す宛先伝票である。なお、ラベル５１が表示する情報は、特定の構成に限定されるものではない。 Label 51 displays information related to article 50. For example, the label 51 is a destination slip indicating the destination of the article 50. The information displayed by the label 51 is not limited to a specific configuration.

サーバ１０は、ロボット２０が撮影した撮影画像を管理する。サーバ１０は、ロボット２０からの撮影画像を保存する。また、サーバ１０は、保存した撮影画像を表示装置４０に送信する。サーバ１０については、後に詳述する。 The server 10 manages the captured images captured by the robot 20. The server 10 stores the captured image from the robot 20. Further, the server 10 transmits the saved captured image to the display device 40. The server 10 will be described in detail later.

ロボット２０は、ロボットコントローラ３０の制御に従って、物品５０を把持する。ロボット２０は、把持した物品を積載場所に積載する。 The robot 20 grips the article 50 under the control of the robot controller 30. The robot 20 loads the gripped article on the loading location.

ロボット２０は、ロボットアーム２１、把持部２２、吸着パット２３及びカメラ２４などから構成される。 The robot 20 includes a robot arm 21, a grip portion 22, a suction pad 23, a camera 24, and the like.

ロボットアーム２１は、ロボットコントローラ３０の制御によって駆動するマニピュレータである。ロボットアーム２１は、棒状のフレーム及びフレームを駆動するモータなどから構成される。 The robot arm 21 is a manipulator driven by the control of the robot controller 30. The robot arm 21 is composed of a rod-shaped frame, a motor for driving the frame, and the like.

把持部２２は、ロボットアーム２１の先端に設置されている。把持部２２は、ロボットアーム２１の移動に伴って移動される。把持部２２は、ロボットアーム２１が所定の方向に移動することにより、物品５０を把持する位置まで移動する。 The grip portion 22 is installed at the tip of the robot arm 21. The grip portion 22 is moved as the robot arm 21 moves. The grip portion 22 moves to a position where the article 50 is gripped by the robot arm 21 moving in a predetermined direction.

把持部２２は、物品５０を把持する。ここでは、把持部２２は、吸着パット２３（把持機構）を備える。吸着パット２３は、物品５０に吸着する。たとえば、吸着パット２３は、真空吸着により物品５０に吸着する。吸着パット２３は、ロボットコントローラ３０からの制御に基づいて内部を負圧にする。吸着パット２３は、物品５０の表面に接した状態で内部を負圧にすることで物品５０の表面に真空吸着する。吸着パット２３は、内部の負圧を解除すると、物品５０を解放する。
ここでは、把持部２２は、複数の吸着パット２３を備える。 The grip portion 22 grips the article 50. Here, the grip portion 22 includes a suction pad 23 (grip mechanism). The suction pad 23 sticks to the article 50. For example, the suction pad 23 sucks on the article 50 by vacuum suction. The suction pad 23 creates a negative pressure inside based on the control from the robot controller 30. The suction pad 23 vacuum-sucks to the surface of the article 50 by creating a negative pressure inside in contact with the surface of the article 50. When the negative pressure inside is released, the suction pad 23 releases the article 50.
Here, the grip portion 22 includes a plurality of suction pads 23.

なお、把持部２２には、吸着パット以外の種々の把持機構を採用してよい。たとえば、把持部２２は、物品５０を把持するグリッパを含むものであってよい。グリッパは、複数の指と、複数の指を連結している複数の関節機構とを備える。関節機構は、関節機構の動作に連動して指が動作するように構成されてよい。グリッパは、例えば、複数の指による２点以上の接点で、対向する複数の方向から荷物に対して力を加える。これにより、把持部２２は、指と荷物との間に生じる摩擦によって物品５０を把持する。把持部２２の構成は、物品５０を把持可能な種々の把持機構を用いてよく、特定の構成に限定されるものではない。 In addition, various gripping mechanisms other than the suction pad may be adopted for the gripping portion 22. For example, the grip portion 22 may include a gripper that grips the article 50. The gripper comprises a plurality of fingers and a plurality of joint mechanisms connecting the plurality of fingers. The joint mechanism may be configured such that the finger moves in conjunction with the movement of the joint mechanism. The gripper applies force to the load from a plurality of opposing directions, for example, at two or more points of contact with a plurality of fingers. As a result, the grip portion 22 grips the article 50 by the friction generated between the finger and the load. The configuration of the grip portion 22 may use various gripping mechanisms capable of gripping the article 50, and is not limited to a specific configuration.

また、把持部２２は、カメラ２４を備える。カメラ２４は、把持部２２が把持する物品５０を撮影する。カメラ２４は、吸着パット２３が吸着（接触）する領域（接触領域）を撮影する。たとえば、カメラ２４は、吸着パット２３に隣接して設置される。 Further, the grip portion 22 includes a camera 24. The camera 24 photographs the article 50 gripped by the grip portion 22. The camera 24 photographs a region (contact region) where the suction pad 23 is attracted (contacted). For example, the camera 24 is installed adjacent to the suction pad 23.

カメラ２４は、ロボットコントローラ３０からの制御に基づいて画像を撮影する。カメラ２４は、撮影した画像（撮影画像）をロボットコントローラ３０に送信する。たとえば、カメラ２４は、ＣＣＤ（Charge Coupled Device）カメラなどである。 The camera 24 takes an image based on the control from the robot controller 30. The camera 24 transmits the captured image (captured image) to the robot controller 30. For example, the camera 24 is a CCD (Charge Coupled Device) camera or the like.

ロボットコントローラ３０は、ロボット２０を制御する。即ち、ロボットコントローラ３０は、ロボット２０のロボットアーム２１、把持部２２、吸着パット２３及びカメラ２４などを制御する。ロボットコントローラ３０については、後に詳述する。 The robot controller 30 controls the robot 20. That is, the robot controller 30 controls the robot arm 21, the grip portion 22, the suction pad 23, the camera 24, and the like of the robot 20. The robot controller 30 will be described in detail later.

表示装置４０は、サーバ１０が格納する撮影画像をオペレータに表示する。たとえば、表示装置４０は、オペレータからの操作に従ってサーバ１０から撮影画像を取得し表示する。 The display device 40 displays the captured image stored in the server 10 to the operator. For example, the display device 40 acquires and displays a captured image from the server 10 according to an operation from the operator.

たとえば、表示装置４０は、ラベル５１の情報が必要となる場所に設置される。表示装置４０は、物品５０の搬送ルートの分岐点などに設置される。
表示装置４０については、後に詳述する。 For example, the display device 40 is installed at a place where the information of the label 51 is required. The display device 40 is installed at a branch point of the transport route of the article 50 or the like.
The display device 40 will be described in detail later.

次に、サーバ１０について説明する。
図２は、サーバ１０の構成例を示す。図２は、サーバ１０の構成例を示すブロック図である。図２が示すように、サーバ１０は、プロセッサ１１、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、通信部１５、操作部１６及び表示部１７などを備える。 Next, the server 10 will be described.
FIG. 2 shows a configuration example of the server 10. FIG. 2 is a block diagram showing a configuration example of the server 10. As shown in FIG. 2, the server 10 includes a processor 11, a ROM 12, a RAM 13, an NVM 14, a communication unit 15, an operation unit 16, a display unit 17, and the like.

プロセッサ１１と、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、通信部１５、操作部１６及び表示部１７と、は、データバスなどを介して互いに接続する。
なお、サーバ１０は、図２が示すような構成の他に必要に応じた構成を具備したり、サーバ１０から特定の構成が除外されたりしてもよい。 The processor 11, the ROM 12, the RAM 13, the NVM 14, the communication unit 15, the operation unit 16, and the display unit 17 are connected to each other via a data bus or the like.
In addition to the configuration shown in FIG. 2, the server 10 may have a configuration as required, or a specific configuration may be excluded from the server 10.

プロセッサ１１（第２のプロセッサ）は、サーバ１０全体の動作を制御する機能を有する。プロセッサ１１は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ１１は、内部メモリ、ＲＯＭ１２又はＮＶＭ１４が予め記憶するプログラムを実行することにより種々の処理を実現する。 The processor 11 (second processor) has a function of controlling the operation of the entire server 10. The processor 11 may include an internal cache, various interfaces, and the like. The processor 11 realizes various processes by executing a program stored in advance in the internal memory, ROM 12 or NVM 14.

なお、プロセッサ１１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ１１は、ハードウエア回路により実行される機能を制御する。 It should be noted that some of the various functions realized by the processor 11 executing the program may be realized by the hardware circuit. In this case, the processor 11 controls the functions executed by the hardware circuit.

ＲＯＭ１２は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ＲＯＭ１２に記憶される制御プログラム及び制御データは、サーバ１０の仕様に応じて予め組み込まれる。 The ROM 12 is a non-volatile memory in which a control program, control data, and the like are stored in advance. The control program and control data stored in the ROM 12 are preliminarily incorporated according to the specifications of the server 10.

ＲＡＭ１３は、揮発性のメモリである。ＲＡＭ１３は、プロセッサ１１の処理中のデータなどを一時的に格納する。ＲＡＭ１３は、プロセッサ１１からの命令に基づき種々のアプリケーションプログラムを格納する。また、ＲＡＭ１３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。 The RAM 13 is a volatile memory. The RAM 13 temporarily stores data and the like being processed by the processor 11. The RAM 13 stores various application programs based on instructions from the processor 11. Further, the RAM 13 may store data necessary for executing the application program, an execution result of the application program, and the like.

ＮＶＭ１４（記憶部）は、データの書き込み及び書き換えが可能な不揮発性のメモリである。ＮＶＭ１４は、たとえば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）又はフラッシュメモリなどから構成される。ＮＶＭ１４は、サーバ１０の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。 The NVM 14 (storage unit) is a non-volatile memory capable of writing and rewriting data. The NVM 14 is composed of, for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like. The NVM 14 stores a control program, an application, various data, and the like according to the operational use of the server 10.

通信部１５は、ロボットコントローラ３０及び表示装置４０などと通信するためのインターフェースである。たとえば、通信部１５は、インターネットなどの外部ネットワーク又はＬＡＮ（Local Area Network）などの内部ネットワークを通じてロボットコントローラ３０及び表示装置４０などと接続する。たとえば、通信部１５は、ＬＡＮ接続をサポートするインターフェースである。 The communication unit 15 is an interface for communicating with the robot controller 30, the display device 40, and the like. For example, the communication unit 15 connects to the robot controller 30 and the display device 40 through an external network such as the Internet or an internal network such as a LAN (Local Area Network). For example, the communication unit 15 is an interface that supports a LAN connection.

操作部１６は、オペレータから種々の操作の入力を受け付ける。操作部１６は、入力された操作を示す信号をプロセッサ１１へ送信する。操作部１６は、タッチパネルから構成されてもよい。 The operation unit 16 receives inputs for various operations from the operator. The operation unit 16 transmits a signal indicating the input operation to the processor 11. The operation unit 16 may be composed of a touch panel.

表示部１７は、プロセッサ１１からの画像データを表示する。たとえば、表示部１７は、液晶モニタから構成される。操作部１６がタッチパネルから構成される場合、表示部１７は、操作部１６と一体的に形成されてもよい。 The display unit 17 displays the image data from the processor 11. For example, the display unit 17 is composed of a liquid crystal monitor. When the operation unit 16 is composed of a touch panel, the display unit 17 may be formed integrally with the operation unit 16.

次に、ロボットコントローラ３０について説明する。
図３は、ロボットコントローラ３０の構成例を示す。図３は、ロボットコントローラ３０の構成例を示すブロック図である。図３が示すように、ロボットコントローラ３０は、プロセッサ３１、ＲＯＭ３２、ＲＡＭ３３、ＮＶＭ３４、通信部３５、操作部３６、表示部３７及びロボットインターフェース３８などを備える。 Next, the robot controller 30 will be described.
FIG. 3 shows a configuration example of the robot controller 30. FIG. 3 is a block diagram showing a configuration example of the robot controller 30. As shown in FIG. 3, the robot controller 30 includes a processor 31, a ROM 32, a RAM 33, an NVM 34, a communication unit 35, an operation unit 36, a display unit 37, a robot interface 38, and the like.

プロセッサ３１と、ＲＯＭ３２、ＲＡＭ３３、ＮＶＭ３４、通信部３５、操作部３６、表示部３７及びロボットインターフェース３８と、は、データバスなどを介して互いに接続する。
なお、ロボットコントローラ３０は、図３が示すような構成の他に必要に応じた構成を具備したり、ロボットコントローラ３０から特定の構成が除外されたりしてもよい。 The processor 31, the ROM 32, the RAM 33, the NVM 34, the communication unit 35, the operation unit 36, the display unit 37, and the robot interface 38 are connected to each other via a data bus or the like.
The robot controller 30 may have a configuration as required in addition to the configuration shown in FIG. 3, or a specific configuration may be excluded from the robot controller 30.

プロセッサ３１（第１のプロセッサ）は、ロボットコントローラ３０全体の動作を制御する機能を有する。プロセッサ３１は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ３１は、内部メモリ、ＲＯＭ３２又はＮＶＭ３４が予め記憶するプログラムを実行することにより種々の処理を実現する。 The processor 31 (first processor) has a function of controlling the operation of the entire robot controller 30. The processor 31 may include an internal cache, various interfaces, and the like. The processor 31 realizes various processes by executing a program stored in advance in the internal memory, ROM 32, or NVM 34.

なお、プロセッサ３１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ３１は、ハードウエア回路により実行される機能を制御する。 It should be noted that some of the various functions realized by the processor 31 executing the program may be realized by the hardware circuit. In this case, the processor 31 controls the functions performed by the hardware circuit.

ＲＯＭ３２は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ＲＯＭ３２に記憶される制御プログラム及び制御データは、ロボットコントローラ３０の仕様に応じて予め組み込まれる。 The ROM 32 is a non-volatile memory in which a control program, control data, and the like are stored in advance. The control program and control data stored in the ROM 32 are preliminarily incorporated according to the specifications of the robot controller 30.

ＲＡＭ３３は、揮発性のメモリである。ＲＡＭ３３は、プロセッサ３１の処理中のデータなどを一時的に格納する。ＲＡＭ３３は、プロセッサ３１からの命令に基づき種々のアプリケーションプログラムを格納する。また、ＲＡＭ３３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。 The RAM 33 is a volatile memory. The RAM 33 temporarily stores data and the like being processed by the processor 31. The RAM 33 stores various application programs based on instructions from the processor 31. Further, the RAM 33 may store data necessary for executing the application program, an execution result of the application program, and the like.

ＮＶＭ３４は、データの書き込み及び書き換えが可能な不揮発性のメモリである。ＮＶＭ３４は、たとえば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）又はフラッシュメモリなどから構成される。ＮＶＭ３４は、ロボットコントローラ３０の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。 The NVM 34 is a non-volatile memory capable of writing and rewriting data. The NVM 34 is composed of, for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like. The NVM 34 stores a control program, an application, various data, and the like according to the operational use of the robot controller 30.

通信部３５は、サーバ１０などと通信するためのインターフェースである。たとえば、通信部３５は、インターネットなどの外部ネットワーク又はＬＡＮなどの内部ネットワークを通じてサーバ１０などと接続する。たとえば、通信部３５は、ＬＡＮ接続をサポートするインターフェースである。 The communication unit 35 is an interface for communicating with the server 10 and the like. For example, the communication unit 35 connects to the server 10 or the like through an external network such as the Internet or an internal network such as a LAN. For example, the communication unit 35 is an interface that supports a LAN connection.

操作部３６は、オペレータから種々の操作の入力を受け付ける。操作部３６は、入力された操作を示す信号をプロセッサ３１へ送信する。操作部３６は、タッチパネルから構成されてもよい。 The operation unit 36 receives inputs for various operations from the operator. The operation unit 36 transmits a signal indicating the input operation to the processor 31. The operation unit 36 may be composed of a touch panel.

表示部３７は、プロセッサ３１からの画像データを表示する。たとえば、表示部３７は、液晶モニタから構成される。操作部３６がタッチパネルから構成される場合、表示部３７は、操作部３６と一体的に形成されてもよい。 The display unit 37 displays the image data from the processor 31. For example, the display unit 37 is composed of a liquid crystal monitor. When the operation unit 36 is composed of a touch panel, the display unit 37 may be integrally formed with the operation unit 36.

ロボットインターフェース３８は、ロボット２０と通信するためのインターフェースである。即ち、ロボットインターフェース３８は、ロボットアーム２１、把持部２２、吸着パット２３及びカメラ２４などと通信する。また、ロボットインターフェース３８は、ＵＳＢ（Universal Serial Bus）接続をサポートするものであってもよい。 The robot interface 38 is an interface for communicating with the robot 20. That is, the robot interface 38 communicates with the robot arm 21, the grip portion 22, the suction pad 23, the camera 24, and the like. Further, the robot interface 38 may support a USB (Universal Serial Bus) connection.

次に、表示装置４０について説明する。
図４は、表示装置４０の構成例を示す。図４は、表示装置４０の構成例を示すブロック図である。図４が示すように、表示装置４０は、プロセッサ４１、ＲＯＭ４２、ＲＡＭ４３、ＮＶＭ４４、通信部４５、操作部４６及び表示部４７などを備える。 Next, the display device 40 will be described.
FIG. 4 shows a configuration example of the display device 40. FIG. 4 is a block diagram showing a configuration example of the display device 40. As shown in FIG. 4, the display device 40 includes a processor 41, a ROM 42, a RAM 43, an NVM 44, a communication unit 45, an operation unit 46, a display unit 47, and the like.

プロセッサ４１と、ＲＯＭ４２、ＲＡＭ４３、ＮＶＭ４４、通信部４５、操作部４６及び表示部４７と、は、データバスなどを介して互いに接続する。
なお、表示装置４０は、図４が示すような構成の他に必要に応じた構成を具備したり、表示装置４０から特定の構成が除外されたりしてもよい。 The processor 41, the ROM 42, the RAM 43, the NVM 44, the communication unit 45, the operation unit 46, and the display unit 47 are connected to each other via a data bus or the like.
In addition to the configuration shown in FIG. 4, the display device 40 may have a configuration as required, or a specific configuration may be excluded from the display device 40.

プロセッサ４１は、表示装置４０全体の動作を制御する機能を有する。プロセッサ４１は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ４１は、内部メモリ、ＲＯＭ４２又はＮＶＭ４４が予め記憶するプログラムを実行することにより種々の処理を実現する。 The processor 41 has a function of controlling the operation of the entire display device 40. The processor 41 may include an internal cache, various interfaces, and the like. The processor 41 realizes various processes by executing a program stored in advance in the internal memory, ROM 42, or NVM 44.

なお、プロセッサ４１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ４１は、ハードウエア回路により実行される機能を制御する。 It should be noted that some of the various functions realized by the processor 41 executing the program may be realized by the hardware circuit. In this case, the processor 41 controls the functions executed by the hardware circuit.

ＲＯＭ４２は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ＲＯＭ４２に記憶される制御プログラム及び制御データは、表示装置４０の仕様に応じて予め組み込まれる。 The ROM 42 is a non-volatile memory in which a control program, control data, and the like are stored in advance. The control program and control data stored in the ROM 42 are preliminarily incorporated according to the specifications of the display device 40.

ＲＡＭ４３は、揮発性のメモリである。ＲＡＭ４３は、プロセッサ４１の処理中のデータなどを一時的に格納する。ＲＡＭ４３は、プロセッサ４１からの命令に基づき種々のアプリケーションプログラムを格納する。また、ＲＡＭ４３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。 The RAM 43 is a volatile memory. The RAM 43 temporarily stores data and the like being processed by the processor 41. The RAM 43 stores various application programs based on instructions from the processor 41. Further, the RAM 43 may store data necessary for executing the application program, an execution result of the application program, and the like.

ＮＶＭ４４は、データの書き込み及び書き換えが可能な不揮発性のメモリである。ＮＶＭ４４は、たとえば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）又はフラッシュメモリなどから構成される。ＮＶＭ４４は、表示装置４０の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。 The NVM 44 is a non-volatile memory capable of writing and rewriting data. The NVM 44 is composed of, for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like. The NVM 44 stores a control program, an application, various data, and the like according to the operational use of the display device 40.

通信部４５は、サーバ１０などと通信するためのインターフェースである。たとえば、通信部４５は、インターネットなどの外部ネットワーク又はＬＡＮなどの内部ネットワークを通じてサーバ１０などと接続する。たとえば、通信部４５は、ＬＡＮ接続をサポートするインターフェースである。 The communication unit 45 is an interface for communicating with the server 10 and the like. For example, the communication unit 45 connects to the server 10 or the like through an external network such as the Internet or an internal network such as a LAN. For example, the communication unit 45 is an interface that supports a LAN connection.

操作部４６は、オペレータから種々の操作の入力を受け付ける。操作部４６は、入力された操作を示す信号をプロセッサ４１へ送信する。操作部４６は、タッチパネルから構成されてもよい。 The operation unit 46 receives inputs for various operations from the operator. The operation unit 46 transmits a signal indicating the input operation to the processor 41. The operation unit 46 may be composed of a touch panel.

表示部４７は、プロセッサ４１からの画像データを表示する。たとえば、表示部４７は、液晶モニタから構成される。操作部４６がタッチパネルから構成される場合、表示部４７は、操作部４６と一体的に形成されてもよい。 The display unit 47 displays the image data from the processor 41. For example, the display unit 47 is composed of a liquid crystal monitor. When the operation unit 46 is composed of a touch panel, the display unit 47 may be formed integrally with the operation unit 46.

次に、ロボットコントローラ３０が実現する機能について説明する。ロボットコントローラ３０が実現する機能は、プロセッサ３１がＲＯＭ３２又はＮＶＭ３４などに格納されるプログラムを実行することで実現される。 Next, the functions realized by the robot controller 30 will be described. The function realized by the robot controller 30 is realized by the processor 31 executing a program stored in the ROM 32, the NVM 34, or the like.

まず、プロセッサ３１は、物品５０の識別情報を取得する機能を有する。 First, the processor 31 has a function of acquiring identification information of the article 50.

識別情報は、物品５０を特定する情報である。たとえば、識別情報は、数値、文字列又はそれらの組合せなどである。
たとえば、ロボット２０が物品５０をコンベアに積載する場合、識別情報は、物品５０に割り振られる情報である。 The identification information is information that identifies the article 50. For example, the identification information may be a numerical value, a character string, or a combination thereof.
For example, when the robot 20 loads the article 50 on the conveyor, the identification information is information assigned to the article 50.

また、ロボット２０が物品５０をソータに積載する場合、識別情報は、ロボット２０が物品５０を積載するセルを特定する情報（たとえば、セル番号など）などであってもよい。
識別情報の構成は、特定の構成に限定されるものではない。 Further, when the robot 20 loads the article 50 on the sorter, the identification information may be information (for example, cell number or the like) that identifies the cell in which the robot 20 loads the article 50.
The structure of the identification information is not limited to a specific structure.

たとえば、プロセッサ３１は、物品５０を把持する前に識別情報を取得する。
たとえば、プロセッサ３１は、通信部３５などを通じて外部装置から識別情報を取得する。また、プロセッサ３１は、操作部３６などを通じて識別情報の入力を受け付けてもよい。 For example, the processor 31 acquires identification information before gripping the article 50.
For example, the processor 31 acquires identification information from an external device through a communication unit 35 or the like. Further, the processor 31 may accept the input of the identification information through the operation unit 36 or the like.

また、プロセッサ３１は、物品５０において吸着パット２３が接触する領域（接触領域）を設定する機能を有する。
プロセッサ３１は、吸着パット２３が物品５０を安定して吸着することができる領域を接触領域として設定する。たとえば、プロセッサ３１は、物品５０の形状などに基づいて接触領域を設定する。たとえば、プロセッサ３１は、物品５０の上面において重心を含む領域を接触領域として設定する。 Further, the processor 31 has a function of setting a region (contact region) in which the suction pad 23 contacts the article 50.
The processor 31 sets a region in which the suction pad 23 can stably suck the article 50 as a contact region. For example, the processor 31 sets the contact area based on the shape of the article 50 and the like. For example, the processor 31 sets a region including the center of gravity on the upper surface of the article 50 as a contact region.

ここでは、プロセッサ３１は、ラベル５１を少なくとも一部含む領域を接触領域として設定する。
なお、プロセッサ３１が接触領域を設定する方法は、特定の方法に限定されるものではない。 Here, the processor 31 sets a region including at least a part of the label 51 as a contact region.
The method by which the processor 31 sets the contact area is not limited to a specific method.

また、プロセッサ３１は、カメラ２４を用いて接触領域を撮影する機能を有する。
プロセッサ３１は、ロボットアーム２１を用いてカメラ２４が接触領域を撮影可能な位置に把持部２２を移動させる。たとえば、プロセッサ３１は、把持部２２の経路計画を策定し、経路計画に基づいて把持部２２を移動させる。即ち、ロボットコントローラ３０は、ロボットアーム２１を制御して把持部２２を経路計画が示す経路に沿って移動させる。 Further, the processor 31 has a function of photographing a contact area by using the camera 24.
The processor 31 uses the robot arm 21 to move the grip portion 22 to a position where the camera 24 can photograph the contact area. For example, the processor 31 formulates a route plan for the grip portion 22 and moves the grip portion 22 based on the route plan. That is, the robot controller 30 controls the robot arm 21 to move the grip portion 22 along the path indicated by the route plan.

プロセッサ３１は、把持部２２を移動させると、カメラ２４を用いて画像（第１の画像）を撮影する。即ち、プロセッサ３１は、カメラ２４に画像を撮影させる制御信号を送信する。また、プロセッサ３１は、カメラ２４から撮影した画像（第１の画像）を取得する。 When the grip portion 22 is moved, the processor 31 captures an image (first image) using the camera 24. That is, the processor 31 transmits a control signal for causing the camera 24 to take an image. Further, the processor 31 acquires an image (first image) taken from the camera 24.

また、プロセッサ３１は、第１の画像と識別情報とをサーバ１０に送信する機能を有する。
プロセッサ３１は、通信部３５を通じて、取得した第１の画像と取得した識別情報とを対応付けてサーバ１０に送信する。なお、プロセッサ３１は、取得した第１の画像と取得した識別情報とを対応付けてＮＶＭ３４に格納してもよい。 Further, the processor 31 has a function of transmitting the first image and the identification information to the server 10.
The processor 31 associates the acquired first image with the acquired identification information and transmits the acquired identification information to the server 10 through the communication unit 35. The processor 31 may store the acquired first image in the NVM 34 in association with the acquired identification information.

また、プロセッサ３１は、物品５０を把持し積載領域に積載する機能を有する。
プロセッサ３１は、ロボットアーム２１を制御して吸着パット２３が接触領域に接触する位置に把持部２２を移動させる。なお、カメラ２４が接触領域を撮影可能な把持部２２の位置と吸着パット２３が吸着領域に接触する把持部２２の位置とが一致する場合、プロセッサ３１は、把持部２２を移動させなくともよい。 Further, the processor 31 has a function of grasping the article 50 and loading it in the loading area.
The processor 31 controls the robot arm 21 to move the grip portion 22 to a position where the suction pad 23 comes into contact with the contact region. When the position of the grip portion 22 on which the camera 24 can photograph the contact region and the position of the grip portion 22 in which the suction pad 23 contacts the suction region coincide with each other, the processor 31 does not have to move the grip portion 22. ..

プロセッサ３１は、把持部２２を移動させると、吸着パット２３を制御して物品５０の接触領域に吸着させる。プロセッサ３１は、吸着パット２３を物品５０に吸着させることで物品５０を把持する。 When the grip portion 22 is moved, the processor 31 controls the suction pad 23 to suck the grip portion 22 into the contact region of the article 50. The processor 31 grips the article 50 by adsorbing the suction pad 23 to the article 50.

プロセッサ３１は、物品５０を把持すると、物品５０を把持した状態でロボットアーム２１を移動させて物品５０を所定の積載領域まで移動させる。プロセッサ３１は、物品５０を所定の積載領域まで搬送すると、吸着パット２３を制御して物品５０を解放する。プロセッサ３１は、所定の積載領域で物品５０を解放することで、所定の積載領域に物品５０を積載する。 When the processor 31 grips the article 50, the robot arm 21 moves the robot arm 21 while gripping the article 50 to move the article 50 to a predetermined loading area. When the article 50 is conveyed to the predetermined loading area, the processor 31 controls the suction pad 23 to release the article 50. The processor 31 loads the article 50 in the predetermined loading area by releasing the article 50 in the predetermined loading area.

また、プロセッサ３１は、物品５０を積載領域に積載した後にカメラ２４を用いて接触領域を撮影する機能を有する。
プロセッサ３１は、物品５０を積載領域に積載すると、カメラ２４を用いて画像（第２の画像）を撮影する。即ち、プロセッサ３１は、カメラ２４に画像を撮影させる制御信号を送信する。また、プロセッサ３１は、カメラ２４から撮影した画像（第２の画像）を取得する。 Further, the processor 31 has a function of photographing the contact area by using the camera 24 after loading the article 50 in the loading area.
When the article 50 is loaded in the loading area, the processor 31 captures an image (second image) using the camera 24. That is, the processor 31 transmits a control signal for causing the camera 24 to take an image. Further, the processor 31 acquires an image (second image) taken from the camera 24.

なお、プロセッサ３１は、物品５０を積載領域に積載した後に、ロボットアーム２１を用いてカメラ２４が接触領域を撮影可能な位置に把持部２２を移動させてもよい。たとえば、プロセッサ３１は、第１の画像を撮影する場合におけるカメラ２４と物品５０との位置関係と同様の位置関係となるように、把持部２２を移動させる。プロセッサ３１は、カメラ２４を移動させた後に画像（第２の画像）を撮影する。 After the article 50 is loaded on the loading area, the processor 31 may use the robot arm 21 to move the grip portion 22 to a position where the camera 24 can photograph the contact area. For example, the processor 31 moves the grip portion 22 so as to have a positional relationship similar to the positional relationship between the camera 24 and the article 50 in the case of capturing the first image. The processor 31 takes an image (second image) after moving the camera 24.

また、プロセッサ３１は、第１の画像及び第２の画像に基づいてラベル５１が破損したか判定する機能を有する。
プロセッサ３１は、第１の画像と第２の画像とがラベル５１の破損を示すか判定する。たとえば、プロセッサ３１は、第１の画像と第２の画像との差分に基づいてラベル５１が破損したか判定する。たとえば、プロセッサ３１は、第１の画像と第２の画像とが異なる領域の面積が所定の閾値よりも大きい場合に、ラベル５１が破損したと判定する。 Further, the processor 31 has a function of determining whether the label 51 is damaged based on the first image and the second image.
The processor 31 determines whether the first image and the second image indicate damage to the label 51. For example, the processor 31 determines whether the label 51 is damaged based on the difference between the first image and the second image. For example, the processor 31 determines that the label 51 is damaged when the area of the region where the first image and the second image are different is larger than a predetermined threshold value.

また、プロセッサ３１は、ＡＩ（Artificial Intelligence）などを用いた画像処理によってラベル５１が破損したか判定してもよい。
プロセッサ３１がラベル５１の破損の有無を判定する方法は、特定の方法に限定されるものではない。 Further, the processor 31 may determine whether the label 51 is damaged by image processing using AI (Artificial Intelligence) or the like.
The method by which the processor 31 determines whether or not the label 51 is damaged is not limited to a specific method.

また、プロセッサ３１は、ラベル５１が破損したと判定すると、警告を出力する機能を有する。
たとえば、プロセッサ３１は、ラベル５１が破損したと判定すると、ラベル５１が破損したことを示す警告を表示部３７に表示する。 Further, the processor 31 has a function of outputting a warning when it is determined that the label 51 is damaged.
For example, when the processor 31 determines that the label 51 is damaged, the processor 31 displays a warning indicating that the label 51 is damaged on the display unit 37.

また、プロセッサ３１は、スピーカなどを通じて警告音を出力してもよい。
プロセッサ３１が警告を出力する方法は、特定の方法に限定されるものではない。 Further, the processor 31 may output a warning sound through a speaker or the like.
The method by which the processor 31 outputs a warning is not limited to a specific method.

次に、サーバ１０が実現する機能について説明する。サーバ１０が実現する機能は、プロセッサ１１がＲＯＭ１２又はＮＶＭ１４などに格納されるプログラムを実行することで実現される。 Next, the functions realized by the server 10 will be described. The function realized by the server 10 is realized by the processor 11 executing a program stored in the ROM 12 or the NVM 14.

まず、プロセッサ１１は、第１の画像と識別情報とをロボットコントローラ３０から受信する機能を有する。
プロセッサ１１は、通信部１５を通じて対応付けられた第１の画像と識別情報とをロボットコントローラ３０から受信する。たとえば、プロセッサ１１は、ロボットコントローラ３０が所定のタイミングで送信する第１の画像と識別情報とを受信する。なお、プロセッサ１１は、ロボットコントローラ３０にリクエストを送信し、第１の画像と識別情報とを含むレスポンスを受信してもよい。
プロセッサ１１は、受信した第１の画像と識別情報とを対応付けてＮＶＭ１４に格納する。 First, the processor 11 has a function of receiving the first image and the identification information from the robot controller 30.
The processor 11 receives the first image associated with the communication unit 15 and the identification information from the robot controller 30. For example, the processor 11 receives the first image and the identification information transmitted by the robot controller 30 at a predetermined timing. The processor 11 may send a request to the robot controller 30 and receive a response including the first image and the identification information.
The processor 11 stores the received first image and the identification information in association with each other in the NVM 14.

また、プロセッサ１１は、第１の画像からラベル５１を読み取る機能を有する。
たとえば、プロセッサ１１は、第１の画像に対してＯＣＲ（Optical Character Recognition）処理を行って、ラベル５１に記載される文字列を読み取る。たとえば、ラベル５１が宛先伝票である場合、プロセッサ１１は、住所及び氏名などを読み取る。 Further, the processor 11 has a function of reading the label 51 from the first image.
For example, the processor 11 performs OCR (Optical Character Recognition) processing on the first image and reads the character string described on the label 51. For example, when the label 51 is a destination slip, the processor 11 reads an address, a name, and the like.

プロセッサ１１は、ラベル５１から読み取った読取結果を第１の画像と対応付けてＮＶＭ１４に格納する。
なお、プロセッサ１１は、ラベル５１の読み取りに失敗した場合、読取結果をＮＶＭ１４に格納しなくともよい。 The processor 11 stores the reading result read from the label 51 in the NVM 14 in association with the first image.
If the processor 11 fails to read the label 51, the processor 11 does not have to store the reading result in the NVM 14.

また、プロセッサ１１は、第１の画像を表示装置４０に送信する機能を有する。
たとえば、プロセッサ１１は、通信部１５を通じて、第１の画像のリクエストを表示装置４０から受信する。たとえば、リクエストは、識別情報を含む。プロセッサ１１は、リクエストが含む識別情報に対応する第１の画像をＮＶＭ１４から取得する。プロセッサ１１は、通信部１５を通じて、第１の画像を含むレスポンスを表示装置４０に送信する。 Further, the processor 11 has a function of transmitting the first image to the display device 40.
For example, the processor 11 receives the request for the first image from the display device 40 through the communication unit 15. For example, the request contains identification information. The processor 11 acquires a first image corresponding to the identification information included in the request from the NVM 14. The processor 11 transmits a response including the first image to the display device 40 through the communication unit 15.

また、プロセッサ１１は、第１の画像に対応する読取結果がある場合、第１の画像と読取結果とを含むレスポンスを表示装置４０に送信する。
なお、プロセッサ１１は、所定のタイミングで第１の画像を表示装置４０に送信してもよい。たとえば、プロセッサ１１は、通信部１５を通じて、ＮＶＭ１４が格納する第１の画像、識別情報及び読取結果を表示装置４０に送信する。 Further, when there is a reading result corresponding to the first image, the processor 11 transmits a response including the first image and the reading result to the display device 40.
The processor 11 may transmit the first image to the display device 40 at a predetermined timing. For example, the processor 11 transmits the first image, the identification information, and the reading result stored in the NVM 14 to the display device 40 through the communication unit 15.

次に、表示装置４０が実現する機能について説明する。表示装置４０が実現する機能は、プロセッサ４１がＲＯＭ４２又はＮＶＭ４４などに格納されるプログラムを実行することで実現される。 Next, the functions realized by the display device 40 will be described. The function realized by the display device 40 is realized by the processor 41 executing a program stored in the ROM 42, the NVM 44, or the like.

まず、プロセッサ４１は、サーバ１０から第１の画像を取得する機能を有する。
プロセッサ４１は、操作部４６を通じて、オペレータから第１の画像を表示する操作の入力を受け付ける。たとえば、オペレータは、物品５０のラベル５１の情報が必要であるがラベル５１が破損している場合に、物品５０に対応する第１の画像を表示する操作の入力を受け付ける。 First, the processor 41 has a function of acquiring a first image from the server 10.
The processor 41 receives an input of an operation for displaying the first image from the operator through the operation unit 46. For example, the operator accepts input for an operation to display a first image corresponding to the article 50 when the information on the label 51 of the article 50 is required but the label 51 is damaged.

プロセッサ４１は、オペレータから第１の画像に対応する物品５０を特定する情報の入力を受け付ける。プロセッサ４１は、入力された情報に基づいて識別情報を取得する。 The processor 41 accepts input from the operator of information identifying the article 50 corresponding to the first image. The processor 41 acquires the identification information based on the input information.

プロセッサ４１は、識別情報を取得すると、通信部４５を通じて、当該識別情報に対応する第１の画像のリクエストをサーバ１０に送信する。プロセッサ４１は、通信部４５を通じて、第１の画像を含むレスポンスをサーバ１０から受信する。また、プロセッサ４１は、第１の画像と読取結果とを含むレスポンスを受信してもよい。 When the processor 41 acquires the identification information, the processor 41 transmits a request for the first image corresponding to the identification information to the server 10 through the communication unit 45. The processor 41 receives a response including the first image from the server 10 through the communication unit 45. Further, the processor 41 may receive a response including the first image and the reading result.

なお、プロセッサ４１は、サーバ１０が所定のタイミングで送信する第１の画像と識別情報と読取結果とを受信してもよい。この場合、プロセッサ４１は、第１の画像と識別情報と読取結果とを対応付けてＮＶＭ４４に格納する。 The processor 41 may receive the first image, the identification information, and the reading result transmitted by the server 10 at a predetermined timing. In this case, the processor 41 stores the first image, the identification information, and the reading result in the NVM 44 in association with each other.

また、プロセッサ４１は、第１の画像を表示部４７に表示する機能を有する。
プロセッサ４１は、第１の画像を含むレスポンスを受信すると、第１の画像を表示部４７に表示する。また、レスポンスが読取結果を含む場合、プロセッサ４１は、第１の画像と読取結果とを表示する。 Further, the processor 41 has a function of displaying the first image on the display unit 47.
When the processor 41 receives the response including the first image, the processor 41 displays the first image on the display unit 47. Further, when the response includes the reading result, the processor 41 displays the first image and the reading result.

なお、ＮＶＭ４４が第１の画像と識別情報と読取結果とを対応付けて格納する場合、プロセッサ４１は、入力された情報に基づく識別情報に対応する第１の画像と読取結果とをＮＶＭ４４から取得してもよい。プロセッサ４１は、ＮＶＭ４４から取得した第１の画像と読取結果とを表示部４７に表示する。 When the NVM 44 stores the first image, the identification information, and the reading result in association with each other, the processor 41 acquires the first image and the reading result corresponding to the identification information based on the input information from the NVM 44. You may. The processor 41 displays the first image acquired from the NVM 44 and the reading result on the display unit 47.

次に、ロボットコントローラ３０の動作例について説明する。
図５は、ロボットコントローラ３０の動作例について説明するためのフローチャートである。
ここでは、ロボット２０が把持する物品５０が供給されているものとする。 Next, an operation example of the robot controller 30 will be described.
FIG. 5 is a flowchart for explaining an operation example of the robot controller 30.
Here, it is assumed that the article 50 held by the robot 20 is supplied.

まず、ロボットコントローラ３０のプロセッサ３１は、物品５０の識別情報を取得する（Ｓ１１）。識別情報を取得すると、プロセッサ３１は、物品５０上において接触領域を設定する（Ｓ１２）。 First, the processor 31 of the robot controller 30 acquires the identification information of the article 50 (S11). Upon acquiring the identification information, the processor 31 sets the contact area on the article 50 (S12).

接触領域を設定すると、プロセッサ３１は、カメラ２４が接触領域を撮影可能な位置に把持部２２を移動させる（Ｓ１３）。把持部２２を移動させると、プロセッサ３１は、カメラ２４を用いて第１の画像を撮影する（Ｓ１４）。 When the contact area is set, the processor 31 moves the grip portion 22 to a position where the camera 24 can photograph the contact area (S13). When the grip portion 22 is moved, the processor 31 takes a first image using the camera 24 (S14).

第１の画像を撮影すると、プロセッサ３１は、通信部３５を通じて第１の画像と識別情報とを対応付けてサーバ１０に送信する（Ｓ１５）。第１の画像と識別情報とを対応付けてサーバ１０に送信すると、プロセッサ３１は、吸着パット２３を用いて物品５０を把持する（Ｓ１６）。 When the first image is taken, the processor 31 associates the first image with the identification information and transmits the identification information to the server 10 through the communication unit 35 (S15). When the first image and the identification information are associated with each other and transmitted to the server 10, the processor 31 grips the article 50 by using the suction pad 23 (S16).

物品５０を把持すると、プロセッサ３１は、物品５０を積載領域まで移動させる（Ｓ１７）。物品５０を積載領域まで移動させると、プロセッサ３１は、物品５０を解放する（Ｓ１８）。 When the article 50 is gripped, the processor 31 moves the article 50 to the loading area (S17). When the article 50 is moved to the loading area, the processor 31 releases the article 50 (S18).

物品５０を解放すると、プロセッサ３１は、カメラ２４を用いて第２の画像を撮影する（Ｓ１９）。第２の画像を撮影すると、プロセッサ３１は、ラベル５１が破損したか判定する（Ｓ２０）。 When the article 50 is released, the processor 31 takes a second image using the camera 24 (S19). When the second image is taken, the processor 31 determines whether the label 51 is damaged (S20).

ラベル５１が破損したと判定すると（Ｓ２０、ＹＥＳ）、プロセッサ３１は、警告を出力する（Ｓ２１）。
ラベル５１が破損していないと判定した場合（Ｓ２０、ＮＯ）、又は、警告を出力した場合（Ｓ２１）、プロセッサ３１は、動作を終了する。 If it is determined that the label 51 is damaged (S20, YES), the processor 31 outputs a warning (S21).
When it is determined that the label 51 is not damaged (S20, NO) or when a warning is output (S21), the processor 31 ends the operation.

なお、プロセッサ３１は、Ｓ１５をＳ１４以降の任意のタイミングで行ってもよい。たとえば、プロセッサ３１は、複数の物品５０を積載領域に積載した後に、複数の物品５０についてＳ１５を実行してもよい。また、プロセッサ３１は、所定の間隔でＳ１５を実行してもよい。 The processor 31 may perform S15 at any timing after S14. For example, the processor 31 may execute S15 on the plurality of articles 50 after loading the plurality of articles 50 in the loading area. Further, the processor 31 may execute S15 at predetermined intervals.

また、プロセッサ３１は、第１の画像を撮影した時刻を取得してもよい。プロセッサ３１は、第１の画像と識別情報と時刻とを対応付けてサーバ１０に送信してもよい。また、識別情報は、第１の画像を撮影した時刻であってもよい。 Further, the processor 31 may acquire the time when the first image is taken. The processor 31 may transmit the first image, the identification information, and the time in association with each other to the server 10. Further, the identification information may be the time when the first image was taken.

また、カメラ２４は、把持部２２に設置されなくともよい。カメラ２４は、把持前及び解放後において物品５０の接触領域を撮影可能な位置に設置されればよい。また、カメラ２４は、複数のカメラから構成されてもよい。たとえば、カメラ２４は、把持前において物品５０の接触領域を撮影可能な位置に設置されるカメラと、解放後において物品５０の接触領域を撮影可能な位置に設置されるカメラとから構成されてもよい。 Further, the camera 24 does not have to be installed on the grip portion 22. The camera 24 may be installed at a position where the contact area of the article 50 can be photographed before and after the gripping. Further, the camera 24 may be composed of a plurality of cameras. For example, the camera 24 may be composed of a camera installed at a position where the contact area of the article 50 can be photographed before grasping and a camera installed at a position where the contact area of the article 50 can be photographed after the release. Good.

また、ロボットコントローラ３０は、サーバ１０の機能（又は、一部の機能）を実現するものであってもよい。
また、ロボットコントローラ３０は、表示装置４０の機能（又は、一部の機能）を実現するものであってもよい。
また、表示装置４０は、サーバ１０の機能（又は、一部の機能）を実現するものであってもよい。 Further, the robot controller 30 may realize the function (or a part of the functions) of the server 10.
Further, the robot controller 30 may realize the function (or a part of the functions) of the display device 40.
Further, the display device 40 may realize the function (or a part of the functions) of the server 10.

以上のように構成された荷役システムは、吸着パットで物品を吸着する前に、吸着パットが接触する接触領域をカメラで撮影し格納する。また、荷役システムは、格納した撮影画像をオペレータに提示する。そのため、荷役システムは、吸着パットの吸着によって物品に貼付されたラベルが破損した場合であっても、ラベルの画像をオペレータに提示することができる。 The cargo handling system configured as described above captures and stores the contact area in contact with the suction pad with a camera before sucking the article with the suction pad. In addition, the cargo handling system presents the stored captured image to the operator. Therefore, the cargo handling system can present the image of the label to the operator even when the label attached to the article is damaged by the suction of the suction pad.

また、荷役システムは、物品を解放した後に、接触領域を撮影する。荷役システムは、吸着前の撮影画像と解放後の撮影画像とを比較してラベルが破損したか判定する。荷役システムは、ラベルが破損したと判定した場合、警告を出力する。そのため、荷役システムは、ラベルの破損又は紛失などをオペレータに警告することができる。 The cargo handling system also photographs the contact area after releasing the article. The cargo handling system compares the captured image before suction with the captured image after release to determine whether the label is damaged. The cargo handling system outputs a warning if it determines that the label has been damaged. Therefore, the cargo handling system can warn the operator of damage or loss of the label.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.

１…荷役システム、１０…サーバ、１１…プロセッサ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ＮＶＭ、１５…通信部、１６…操作部、１７…表示部、２０…ロボット、２１…ロボットアーム、２２…把持部、２３…吸着パット、２４…カメラ、３０…ロボットコントローラ、３１…プロセッサ、３２…ＲＯＭ、３３…ＲＡＭ、３４…ＮＶＭ、３５…通信部、３６…操作部、３７…表示部、３８…ロボットインターフェース、４０…表示装置、４１…プロセッサ、４２…ＲＯＭ、４３…ＲＡＭ、４４…ＮＶＭ、４５…通信部、４６…操作部、４７…表示部、５０…物品、５１…ラベル。 1 ... Cargo handling system, 10 ... Server, 11 ... Processor, 12 ... ROM, 13 ... RAM, 14 ... NVM, 15 ... Communication unit, 16 ... Operation unit, 17 ... Display unit, 20 ... Robot, 21 ... Robot arm, 22 ... Grip, 23 ... Adsorption pad, 24 ... Camera, 30 ... Robot controller, 31 ... Processor, 32 ... ROM, 33 ... RAM, 34 ... NVM, 35 ... Communication unit, 36 ... Operation unit, 37 ... Display unit, 38 ... Robot interface, 40 ... Display device, 41 ... Processor, 42 ... ROM, 43 ... RAM, 44 ... NVM, 45 ... Communication unit, 46 ... Operation unit, 47 ... Display unit, 50 ... Article, 51 ... Label.

Claims (9)

ラベルを貼付された物品を把持する把持機構と、
前記把持機構が前記物品に接触する接触領域を撮影するカメラと、
前記カメラを用いて、第１の画像を撮影し、
前記第１の画像を撮影した後に、前記把持機構に前記物品を把持させる、
第１のプロセッサと、
前記第１の画像を格納する記憶部と、
を備える荷役装置。 A gripping mechanism that grips the labeled article,
A camera that captures a contact area where the gripping mechanism contacts the article,
The first image was taken using the camera and
After taking the first image, the gripping mechanism is made to grip the article.
With the first processor
A storage unit that stores the first image and
Cargo handling device equipped with. 前記第１のプロセッサは、
前記把持機構が前記物品を解放した後に、前記カメラを用いて第２の画像を撮影する、
請求項１に記載の荷役装置。 The first processor is
After the gripping mechanism releases the article, the camera is used to capture a second image.
The cargo handling device according to claim 1. 前記第１の画像を表示する表示部を備え、
前記第１のプロセッサは、
前記第１の画像と前記第２の画像とが前記ラベルの破損を示す場合、警告を前記表示部に出力する、
請求項２に記載の荷役装置。 A display unit for displaying the first image is provided.
The first processor is
When the first image and the second image indicate damage to the label, a warning is output to the display unit.
The cargo handling device according to claim 2. 前記第１のプロセッサは、前記物品を特定する識別情報を取得し、
前記記憶部は、前記第１の画像と前記識別情報とを対応付けて格納する、
請求項１乃至３の何れか１項に記載の荷役装置。 The first processor acquires identification information that identifies the article and
The storage unit stores the first image and the identification information in association with each other.
The cargo handling device according to any one of claims 1 to 3. 前記把持機構と前記カメラとを移動させるロボットアームを備える、
請求項１乃至４の何れか１項に記載の荷役装置。 A robot arm for moving the gripping mechanism and the camera is provided.
The cargo handling device according to any one of claims 1 to 4. 前記把持機構は、吸着パットである、
請求項１乃至５の何れか１項に記載の荷役装置。 The gripping mechanism is a suction pad.
The cargo handling device according to any one of claims 1 to 5. 前記第１の画像から前記ラベルを読み取る第２のプロセッサを備え、
前記記憶部は、前記第１の画像と前記ラベルの読取結果とを対応付けて格納し、
前記表示部は、前記読取結果を表示する、
請求項３に記載の荷役装置。 A second processor that reads the label from the first image is provided.
The storage unit stores the first image and the reading result of the label in association with each other.
The display unit displays the reading result.
The cargo handling device according to claim 3. 物品を特定するための情報の入力を受け付ける操作部を備え、
前記表示部は、前記情報に基づく識別情報に対応する前記第１の画像を表示する、
請求項３に記載の荷役装置。 Equipped with an operation unit that accepts input of information for identifying an article
The display unit displays the first image corresponding to the identification information based on the information.
The cargo handling device according to claim 3. ラベルを貼付された物品を把持する把持機構と、前記把持機構が前記物品に接触する接触領域を撮影するカメラと、通信するインターフェースと、
前記カメラを用いて、第１の画像を撮影し、
前記第１の画像を撮影した後に、前記把持機構に前記物品を把持させる、
プロセッサと、
前記第１の画像を出力する通信部と
を備えるコントローラ。 An interface that communicates with a gripping mechanism that grips the labeled article, a camera that captures the contact area where the gripping mechanism contacts the article, and
The first image was taken using the camera and
After taking the first image, the gripping mechanism is made to grip the article.
With the processor
A controller including a communication unit that outputs the first image.