JP6586497B1 - Plug-in control device and plug-in control method - Google Patents

Abstract

【課題】パレットの奥側から突出したフォーク先端部が他の対象物に接触することを防止する。【解決手段】差込制御装置（１）は、荷役対象物を載置するパレットの画像と、該パレットの種類または奥行きとの対応関係を教師データとして機械学習させた学習済みモデルを用いて、対象パレットを撮影した画像から当該対象パレットの奥行きを特定する奥行き特定部（１０４）と、奥行き特定部（１０４）が特定した上記奥行きに基づき、上記対象パレットに対して荷役作業を行うフォークリフトのフォークの先端部を、上記対象パレットから所定の長さ以上突出することなく差し込むための所定の処理を行う差込制御部（１０５）と、を備えている。【選択図】図１A fork tip protruding from the back side of a pallet is prevented from coming into contact with another object. An insertion control device (1) uses a learned model in which a correspondence between an image of a pallet on which a cargo handling object is placed and a type or depth of the pallet is machine-learned as teacher data. A depth specifying unit (104) that specifies the depth of the target pallet from an image obtained by photographing the target pallet, and a forklift fork that performs a cargo handling operation on the target pallet based on the depth specified by the depth specifying unit (104) And an insertion control unit (105) for performing a predetermined process for inserting the front end portion of the target pallet without protruding more than a predetermined length from the target pallet. [Selection] Figure 1

Description

本発明は、パレットに対してのフォークリフトのフォークの差し込みを制御する差込制御装置等に関する。   The present invention relates to an insertion control device for controlling insertion of a fork of a forklift into a pallet.

フォークリフトを用いて荷役作業を行う場合、まず、該フォークリフトの運転者（作業者）は、荷物を積載したパレットのフォークポケットにフォークを挿入する（フォーク差込操作）。そして、パレットごと荷物を持ち上げて、その荷物を運搬するという一連の操作を行う。これら一連の操作のうち、フォーク差込操作の難易度が特に高い。このため、運転者によっては、差し込んだフォークの先端がパレットから突出し、突出した先端部が他の対象物（例：他の荷物または壁）に接触する可能性がある。   When performing a cargo handling operation using a forklift, first, the driver (operator) of the forklift inserts a fork into a fork pocket of a pallet loaded with a load (fork insertion operation). Then, a series of operations are performed in which the load is lifted together with the pallet and the load is transported. Of these series of operations, the difficulty level of the fork insertion operation is particularly high. For this reason, depending on the driver, the tip of the inserted fork may protrude from the pallet, and the protruding tip may come into contact with another object (eg, another load or wall).

そこで、フォーク差込操作を容易にするための技術が要求されている。下記特許文献１には、そのような技術の一例が開示されている。具体的には、特許文献１には、フォークの水平部の下面に、フォーク差し込み位置確認用の凹部を設けた構成が開示されている。この構成によれば、高所の荷物を運搬する場合に、フォークポケットへのフォークの差し込み深さを、運転者が視認することができる。   Therefore, a technique for facilitating the fork insertion operation is required. Patent Document 1 below discloses an example of such a technique. Specifically, Patent Document 1 discloses a configuration in which a concave portion for confirming a fork insertion position is provided on the lower surface of the horizontal portion of the fork. According to this configuration, the driver can visually recognize the depth of insertion of the fork into the fork pocket when carrying a load at a high place.

特開２０１８−３９６３７号公報JP 2018-39637 A

但し、特許文献１の技術では、上記凹部をフォークの水平部の下面に設けているため、高所の荷物の運搬時に限って、差し込み深さを運転者に視認させることができるに過ぎない。従って、低所の荷物の運搬時には、依然としてフォークの先端が他の対象物に接触するおそれがある。   However, in the technique of Patent Document 1, since the concave portion is provided on the lower surface of the horizontal portion of the fork, the insertion depth can only be made visible to the driver only when carrying a load at a high place. Therefore, the fork tip may still come into contact with other objects when carrying a low load.

加えて、特許文献１の技術では、上記凹部とフォークポケットの位置関係から、フォークがフォークポケット内にどの程度まで差し込まれているかを、運転者に認識させることができるに過ぎない。従って、運転者がパレットの奥行きがどの程度の長さであるかを認識していなければ、適切な差込量で荷役作業を行うことは難しい。パレットの奥行きは、該パレットの種類によって相違しうるためである。例えば、あるパレットに対してフォークを凹部の位置までパレットに差し込んでもフォークの先端部が突出しないが、他のパレットに対してフォークを凹部の位置まで差し込んだ場合には該先端部が突出することもあり得る。   In addition, the technique of Patent Document 1 can only allow the driver to recognize how far the fork is inserted into the fork pocket from the positional relationship between the recess and the fork pocket. Therefore, if the driver does not recognize how long the pallet is, it is difficult to perform the cargo handling work with an appropriate insertion amount. This is because the depth of the pallet can vary depending on the type of the pallet. For example, the tip of the fork does not protrude even if the fork is inserted into the pallet to the position of the recess for a certain pallet, but the tip protrudes when the fork is inserted to the position of the recess for another pallet. There is also a possibility.

本発明の一態様は、上述の問題点に鑑みてなされたものであり、フォークを差し込む対象のパレットの奥側から突出したフォークの先端部が他の対象物に接触することを防止することができる差込制御装置等を提供することを目的とする。   One aspect of the present invention has been made in view of the above-described problems, and it is possible to prevent a tip portion of a fork protruding from the back side of a pallet into which a fork is inserted from coming into contact with another object. An object of the present invention is to provide an insertion control device and the like that can be used.

上記の課題を解決するために、本発明の一態様に係る差込制御装置は、荷役対象物を載置するパレットの画像と、該パレットの種類または奥行きとの対応関係を教師データとして機械学習させた学習済みモデルを用いて、対象パレットを撮影した画像から当該対象パレットの奥行きを特定する奥行き特定部と、上記奥行き特定部が特定した上記奥行きに基づき、上記対象パレットに対して荷役作業を行うフォークリフトのフォークの先端部を、上記対象パレットから所定の長さ以上突出することなく差し込むための所定の処理を行う差込制御部と、を備えている。   In order to solve the above-described problem, an insertion control device according to an aspect of the present invention provides machine learning using a correspondence relationship between an image of a pallet on which a cargo handling object is placed and the type or depth of the pallet as teacher data. The depth specifying unit that specifies the depth of the target pallet from the image obtained by capturing the target pallet using the learned model, and the cargo handling operation for the target pallet based on the depth specified by the depth specifying unit. An insertion control unit that performs a predetermined process for inserting the tip of the fork of the forklift to be performed without protruding from the target pallet by a predetermined length or more.

また、上記の課題を解決するために、本発明の一態様に係る差込制御方法は、差込制御装置による差込制御方法であって、荷役対象物を載置するパレットの画像と、該パレットの種類または奥行きとの対応関係を教師データとして機械学習させた学習済みモデルを用いて、対象パレットを撮影した画像から当該対象パレットの奥行きを特定する奥行き特定ステップと、上記奥行き特定ステップにおいて特定された上記奥行きに基づき、上記対象パレットに対して荷役作業を行うフォークリフトのフォークの先端部を、上記対象パレットから所定の長さ以上突出することなく差し込むための所定の処理を行う差込制御ステップと、を含んでいる。   In order to solve the above problem, an insertion control method according to an aspect of the present invention is an insertion control method by an insertion control device, and includes an image of a pallet on which a cargo handling object is placed, A depth specifying step for specifying the depth of the target pallet from an image obtained by photographing the target pallet using a learned model in which the correspondence between the type or depth of the pallet is machine-learned as teacher data, and specifying in the depth specifying step An insertion control step of performing a predetermined process for inserting the tip of the fork of a forklift that performs a cargo handling operation with respect to the target pallet without projecting more than a predetermined length from the target pallet based on the depth And.

本発明の一態様によれば、対象パレットの奥側から突出したフォークの先端部が他の対象物に接触することを防止することができる。   According to one aspect of the present invention, it is possible to prevent the tip of the fork protruding from the back side of the target pallet from coming into contact with another object.

本発明の実施形態１に係る差込制御装置の要部構成の一例を示すブロック図である。It is a block diagram which shows an example of a principal part structure of the insertion control apparatus which concerns on Embodiment 1 of this invention. 上記差込制御装置の処理の概要を説明するための図である。It is a figure for demonstrating the outline | summary of a process of the said insertion control apparatus. 上記差込制御装置が実行する処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process which the said insertion control apparatus performs. 本発明の実施形態２に係る差込制御装置の処理の概要を説明するための図である。It is a figure for demonstrating the outline | summary of a process of the plug-in control apparatus which concerns on Embodiment 2 of this invention. 上記差込制御装置の要部構成の一例を示すブロック図である。It is a block diagram which shows an example of the principal part structure of the said insertion control apparatus. 本発明の実施形態３に係る差込制御装置の処理の概要を説明するための図である。It is a figure for demonstrating the outline | summary of a process of the plug-in control apparatus which concerns on Embodiment 3 of this invention. 上記差込制御装置が実行する処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process which the said insertion control apparatus performs.

〔実施形態１〕
（概要）
実施形態１の差込制御装置１による処理の概要を図２に基づいて説明する。図２は、差込制御装置１による処理の概要を説明するための図である。なお、図２において、紙面の縦方向は現実の高さ方向（上下方向、鉛直方向）を、紙面の横方向は現実の水平方向をそれぞれ表す。特に、図２の例では、紙面の横方向はパレット８００の奥行方向でもある。これらの点については、図４、６においても同様である。また、以下の説明において、単に「長さ」と記載した場合、「水平方向の長さ（奥行方向の長さ）」を意味する。 Embodiment 1
(Overview)
An outline of processing by the insertion control device 1 according to the first embodiment will be described with reference to FIG. FIG. 2 is a diagram for explaining an outline of processing by the insertion control device 1. In FIG. 2, the vertical direction of the paper surface represents the actual height direction (vertical direction, vertical direction), and the horizontal direction of the paper surface represents the actual horizontal direction. In particular, in the example of FIG. 2, the horizontal direction of the paper surface is also the depth direction of the pallet 800. The same applies to FIGS. 4 and 6. Further, in the following description, when “length” is simply described, it means “length in the horizontal direction (length in the depth direction)”.

図２の例では、棚上に２つのパレット８００（パレット８００ａと８００ｂ）が載置されており、各パレット８００にはそれぞれ荷物（荷役対象物）９００が載置されている。本明細書では、図２のパレット８００ａのように、フォークリフト６による荷役作業の対象とされているパレットを対象パレットと称する。なお、パレット８００ａと８００ｂを区別する必要のないときには単に「パレット８００」と記載する。   In the example of FIG. 2, two pallets 800 (pallets 800 a and 800 b) are placed on the shelf, and a load (a cargo handling object) 900 is placed on each pallet 800. In the present specification, a pallet that is a target of a cargo handling work by the forklift 6 as in the pallet 800a of FIG. 2 is referred to as a target pallet. When there is no need to distinguish between the pallets 800a and 800b, they are simply described as “pallet 800”.

パレット８００ａの側面のうち、フォークリフト６の前面と対向する面には、フォークリフト６が備える一対のフォーク６１に対応するように、一対のフォークポケットＦＰが開口している。フォークポケットＦＰは、水平方向にパレット８００ａを貫通しているので、フォークポケットＦＰの長さは、パレット８００ａの奥行き（図２の（ａ）の長さＸ）と等しい。   A pair of fork pockets FP is opened on the surface of the pallet 800a facing the front surface of the forklift 6 so as to correspond to the pair of forks 61 provided in the forklift 6. Since the fork pocket FP penetrates the pallet 800a in the horizontal direction, the length of the fork pocket FP is equal to the depth of the pallet 800a (length X in FIG. 2A).

フォークリフト６は、荷役作業を行う作業用車両であり、前面に一対のフォーク６１を備えている。図２では、フォーク６１の長さ、より詳細にはフォーク６１の基部（以下、フォーク基部と呼ぶ）から先端部（以下、フォーク先端部と呼ぶ）までの距離を「Ｙ」としている。   The forklift 6 is a work vehicle that performs a cargo handling operation, and includes a pair of forks 61 on the front surface. In FIG. 2, the length of the fork 61, more specifically, the distance from the base of the fork 61 (hereinafter referred to as “fork base”) to the tip (hereinafter referred to as “fork tip”) is “Y”.

図示のように、実施形態１では、フォークリフト６がリーチ車（リーチ式）である例を説明する。但し、本発明の一態様に係るフォークリフトは、リーチ車に限定されず、カウンタ車（カウンタ式）であってもよい。カウンタ車のフォークの差込制御を行う例については実施形態３で説明する。   As illustrated, in the first embodiment, an example in which the forklift 6 is a reach vehicle (reach type) will be described. However, the forklift according to one aspect of the present invention is not limited to a reach vehicle, and may be a counter vehicle (counter type). An example in which the counter fork insertion control is performed will be described in the third embodiment.

また、フォークリフト６は、フォーク６１を支持するマスト６２を備えている。フォークリフト６は、リーチ車であるので、マスト６２およびこれに支持されるフォーク６１を水平方向前方に移動させることが可能である。以下では、フォークリフト６がマスト６２およびフォーク６１を水平方向前方に移動させる動作を「リーチ動作」と呼び、リーチ動作によりマスト６２およびフォーク６１が水平方向前方に移動した距離をリーチ量と呼ぶ。   Further, the forklift 6 includes a mast 62 that supports the fork 61. Since the forklift 6 is a reach wheel, the mast 62 and the fork 61 supported by the forklift 6 can be moved forward in the horizontal direction. Hereinafter, an operation in which the forklift 6 moves the mast 62 and the fork 61 forward in the horizontal direction is referred to as “reach operation”, and a distance that the mast 62 and fork 61 are moved in the horizontal direction by the reach operation is referred to as a reach amount.

なお、リーチ量は、図２の（ａ）に示すように、マスト６２およびフォーク６１が前出されていないリーチイン状態のフォークリフト６におけるマスト６２およびフォーク６１の位置を基準とした距離である。つまり、リーチイン状態ではリーチ量は０である。これに対し、図２の（ｂ）には、マスト６２およびフォーク６１が前出されたリーチアウト状態のフォークリフト６が示されている。図２の（ｂ）ではリーチ量は「ａ１」である。   As shown in FIG. 2A, the reach amount is a distance based on the positions of the mast 62 and the fork 61 in the forklift 6 in the reach-in state where the mast 62 and the fork 61 are not put forward. That is, the reach amount is 0 in the reach-in state. On the other hand, FIG. 2B shows the forklift 6 in the reach-out state in which the mast 62 and the fork 61 are put forward. In FIG. 2B, the reach amount is “a1”.

差込制御装置１は、フォーク先端部をパレット８００ａから所定の長さ以上突出することなく差し込むための処理を行う装置である。この処理を行うにあたり、差込制御装置１は、パレット８００ａを撮影した画像から、パレット８００ａの奥行きを特定する。   The insertion control device 1 is a device that performs processing for inserting the tip of the fork without protruding from the pallet 800a by a predetermined length or more. In performing this processing, the plug-in control device 1 specifies the depth of the pallet 800a from the image obtained by photographing the pallet 800a.

撮影装置５は、上記画像、すなわちパレット８００ａが写った画像（図２の（ａ）の「ＩＭＧ１」）を撮影する装置である。図２の例では、撮影装置５は、２つのフォーク基部の中間の位置に取り付けられている。つまり、撮影装置５はフォーク６１と同じ高さに取り付けられている。また、撮影装置５は、撮影方向が水平方向となるように取り付けられている。この例のようにフォーク６１の昇降に合わせて昇降する位置に撮影装置５を設置することにより、パレット８００ａを正面あるいは正面に近い方向から撮影することができるので好ましい。   The photographing device 5 is a device that photographs the image, that is, an image in which the palette 800a is captured (“IMG1” in FIG. 2A). In the example of FIG. 2, the photographing device 5 is attached at an intermediate position between the two fork bases. That is, the photographing device 5 is attached at the same height as the fork 61. The photographing device 5 is attached so that the photographing direction is the horizontal direction. By installing the photographing device 5 at a position that moves up and down in accordance with the raising and lowering of the fork 61 as in this example, it is preferable because the pallet 800a can be photographed from the front or a direction close to the front.

なお、撮影装置５はパレット８００ａが撮影できる位置に取り付ければよく、図示の例に限られない。例えば、運転者が荷役作業を行おうとする場合には、該運転者は、パレット８００ａを注視すると考えられる。そこで、運転者の頭部に装着可能なウェアラブルデバイス（例：眼鏡型のウェアラブルデバイス）に、撮影装置５を設けてもよい。   Note that the photographing device 5 may be attached to a position where the pallet 800a can photograph, and is not limited to the illustrated example. For example, when the driver intends to perform a cargo handling operation, the driver is considered to watch the pallet 800a. Therefore, the photographing device 5 may be provided in a wearable device (for example, a glasses-type wearable device) that can be worn on the driver's head.

図２の（ａ）に示されるように、差込制御装置１は、撮影装置５からＩＭＧ１を取得する。そして、差込制御装置１は、ＩＭＧ１からパレット８００ａの奥行き「Ｘ」を特定する。差込制御装置１による奥行きの特定には、後述する学習済みモデル（学習済みモデルＡまたはＢ）が使用される。   As illustrated in FIG. 2A, the insertion control device 1 acquires IMG 1 from the imaging device 5. Then, the insertion control device 1 specifies the depth “X” of the pallet 800a from the IMG1. For the depth specification by the plug-in control device 1, a learned model (learned model A or B) described later is used.

そして、図２の（ｂ）に示されるように、差込制御装置１は、特定した奥行きに基づき、フォーク先端部を、パレット８００ａ（より具体的には、フォークポケットＦＰ）から所定の長さ以上突出することなく差し込むための処理（差込制御処理）を行う。   Then, as shown in FIG. 2B, the insertion control device 1 moves the fork tip from the pallet 800a (more specifically, the fork pocket FP) to a predetermined length based on the specified depth. The process (insertion control process) for inserting without protruding as described above is performed.

差込制御装置１によれば、学習済みモデルを用いることにより、奥行き「Ｘ」を高精度に特定することができる。その上で、差込制御処理により、フォーク先端部がパレット８００ａから所定の長さ以上突出しないようにする。これにより、パレット８００ａから突出したフォーク先端部が、パレット８００ｂ等の他の対象物に接触することを防止することができる。   According to the plug-in control device 1, the depth “X” can be specified with high accuracy by using the learned model. Then, the fork tip is prevented from protruding beyond a predetermined length from the pallet 800a by the insertion control process. Thereby, it can prevent that the front-end | tip part which protruded from the pallet 800a contacts other objects, such as the pallet 800b.

なお、図２では、差込制御装置１が１台のフォークリフト６を制御する例を示しているが、差込制御装置１は複数のフォークリフト６を制御することもできる。この場合、差込制御装置１は、各フォークリフト６の対象パレットを撮影したＩＭＧ１を取得すればよい。また、図２では、差込制御装置１をフォークリフト６の外部に図示しているが、差込制御装置１はフォークリフト６に搭載または内蔵してもよい。   2 shows an example in which the insertion control device 1 controls one forklift 6, but the insertion control device 1 can also control a plurality of forklifts 6. In this case, the plug-in control device 1 may acquire the IMG 1 obtained by photographing the target pallet of each forklift 6. In FIG. 2, the insertion control device 1 is illustrated outside the forklift 6, but the insertion control device 1 may be mounted on or built in the forklift 6.

（差込制御装置の要部構成）
差込制御装置１の要部構成について図１に基づいて説明する。図１は、差込制御装置１の要部構成の一例を示すブロック図である。図示のように、差込制御装置１は、差込制御装置１の各部を統括して制御する制御部１０と、差込制御装置１が使用する各種データを記憶する記憶部２０と、差込制御装置１に対する入力操作を受け付ける入力部３０とを備えている。また、制御部１０には、撮影制御部１０１、入力データ生成部１０２、距離特定部１０３、奥行き特定部１０４、および差込制御部１０５が含まれている。 (Structure of the main part of the plug control device)
The configuration of the main part of the plug-in control device 1 will be described with reference to FIG. FIG. 1 is a block diagram illustrating an example of a main configuration of the insertion control device 1. As shown in the figure, the plug-in control device 1 includes a control unit 10 that controls each unit of the plug-in control device 1, a storage unit 20 that stores various data used by the plug-in control device 1, and a plug-in. And an input unit 30 that receives an input operation on the control device 1. Further, the control unit 10 includes an imaging control unit 101, an input data generation unit 102, a distance specifying unit 103, a depth specifying unit 104, and an insertion control unit 105.

撮影制御部１０１は、撮影装置５を制御して上述のＩＭＧ１の撮影を行わせる。より詳細には、撮影制御部１０１は、フォーク６１の高さをフォークポケットＦＰの高さに合わせる作業（以下、高さ位置合わせ作業と呼ぶ）が開始されたことを検出し、この検出を契機として撮影装置５にＩＭＧ１の撮影を行わせる。本実施形態では、フォークリフト６の運転者がフォーク６１の昇降操作を行ったことが検出されたときに、高さ位置合わせ作業が開始されたとみなして撮影を行わせる例を説明する。フォーク６１の昇降操作が行われたことは、例えばフォークリフト６と通信する等により検出することができる。   The imaging control unit 101 controls the imaging device 5 to perform imaging of the IMG 1 described above. More specifically, the imaging control unit 101 detects that work for adjusting the height of the fork 61 to the height of the fork pocket FP (hereinafter referred to as height alignment work) is started, and this detection is triggered. Then, the imaging device 5 is caused to perform imaging of IMG1. In the present embodiment, an example will be described in which when it is detected that the driver of the forklift 6 has moved up and down the fork 61, it is assumed that the height alignment operation has started and shooting is performed. That the raising / lowering operation of the fork 61 has been performed can be detected by communicating with the forklift 6, for example.

なお、図２の例のように、フォーク６１の昇降に伴って撮影装置５の位置が変わる場合には、撮影制御部１０１は、昇降開始から終了までの期間において、撮影装置５に複数回撮影を行わせてもよい。この場合、差込制御装置１は、時系列で撮影された複数のＩＭＧ１からパレット８００ａの奥行きの特定を試みることになる。また、撮影制御部１０１は、複数回撮影を行う代わりに、撮影装置５に昇降開始から終了までの動画像を撮影させて、その動画像から抽出したフレーム画像をＩＭＧ１としてもよい。   In the case where the position of the imaging device 5 changes as the fork 61 moves up and down as in the example of FIG. 2, the imaging control unit 101 captures the imaging device 5 a plurality of times during the period from the start to the end of the elevation. May be performed. In this case, the plug-in control apparatus 1 tries to specify the depth of the pallet 800a from a plurality of IMGs 1 taken in time series. Further, instead of shooting a plurality of times, the shooting control unit 101 may cause the shooting apparatus 5 to shot a moving image from the start to the end of lifting and lowering, and a frame image extracted from the moving image may be IMG1.

無論、撮影の契機は上記の例に限定されず、例えば、撮影制御部１０１は、高さ位置合わせ作業の直後に行われることの多いフォーク６１のティルト操作が検出されたときに撮影を行わせてもよい。また、例えば、撮影制御部１０１は、フォークリフト６が低速で前進および後退を行いながら、進行方向の微調整を行っている等の荷役作業の開始時に特有の態様でフォークリフト６が運転されていることを検出したときに撮影を行わせてもよい。   Of course, the shooting opportunity is not limited to the above example. For example, the shooting control unit 101 causes the shooting to be performed when the tilt operation of the fork 61 that is often performed immediately after the height alignment operation is detected. May be. In addition, for example, in the imaging control unit 101, the forklift 6 is operated in a specific manner at the start of a cargo handling operation such as performing a fine adjustment in the traveling direction while the forklift 6 moves forward and backward at a low speed. You may make it image | photograph when it detects.

以上の各例のように、適切なタイミングで撮影を行わせることにより、撮影装置５の撮影回数や撮影時間を必要最小限に抑えることができる。そして、これにより、撮影されたＩＭＧ１を用いた差込制御装置１の処理回数や処理時間も必要最小限に抑えることができるので、差込制御装置１の負荷を抑えた効率的な処理が実現される。   As in the above examples, the number of times of photographing and the photographing time of the photographing device 5 can be minimized by causing photographing at an appropriate timing. As a result, the number of processings and processing time of the plug-in control device 1 using the photographed IMG 1 can be minimized, so that efficient processing with reduced load on the plug-in control device 1 is realized. Is done.

（入力データ生成部と入力データについて）
入力データ生成部１０２は、奥行き特定部１０４が使用する学習済みモデルに入力する入力データを生成する。より詳細には、入力データ生成部１０２は、撮影装置５からＩＭＧ１を取得して、ＩＭＧ１から入力データを生成する。本実施形態では、撮影装置５から取得したＩＭＧ１をそのまま入力データとする例を説明する。 (About input data generator and input data)
The input data generation unit 102 generates input data to be input to the learned model used by the depth specifying unit 104. More specifically, the input data generation unit 102 acquires IMG1 from the imaging device 5 and generates input data from IMG1. In the present embodiment, an example will be described in which IMG1 acquired from the imaging device 5 is directly used as input data.

ＩＭＧ１は、後述する機械学習用の教師データに用いた画像と同様の撮影条件で撮影した画像であることが好ましい。上記撮影条件には、例えば、撮影装置５と、被写体（特にパレット８００ａ）との位置関係、被写体の背景、および周囲の明るさ等が含まれる。撮影条件を揃えるため、例えば、教師データに用いた画像が、フォーク基部に固定した撮影装置で撮影された画像であれば、ＩＭＧ１も図２の例のようにフォーク基部に固定した撮影装置５で撮影されたものとすることが好ましい。   The IMG 1 is preferably an image shot under the same shooting conditions as an image used for teacher data for machine learning described later. The imaging conditions include, for example, the positional relationship between the imaging device 5 and the subject (particularly the palette 800a), the background of the subject, the ambient brightness, and the like. In order to make the shooting conditions uniform, for example, if the image used for the teacher data is an image shot by a shooting device fixed to the fork base, the IMG 1 is also a shooting device 5 fixed to the fork base as in the example of FIG. It is preferable that the image is taken.

なお、入力データはパレット８００ａの特徴が表れたデータであればよく、必ずしもＩＭＧ１をそのまま入力データとする必要はない。例えば、入力データ生成部１０２は、ＩＭＧ１に対して所定の処理を施した画像を、入力データとしてもよい。上記所定の処理は、パレット８００ａの特徴を失わせることなく、該特徴と関係のない情報を減らすことができるものであればよい。例えば、ＩＭＧ１がカラー画像である場合、入力データ生成部１０２は、該ＩＭＧ１をグレースケール化したデータを入力データとしてもよい。あるいは、ＩＭＧ１が動画像である場合、入力データ生成部１０２は、該ＩＭＧ１を構成する一部のフレームを抽出し、該一部のフレームを入力データとしてもよい。   Note that the input data may be data in which the characteristics of the palette 800a appear, and it is not always necessary to use the IMG1 as it is. For example, the input data generation unit 102 may use an image obtained by performing a predetermined process on the IMG 1 as input data. The predetermined process may be any process that can reduce information unrelated to the characteristics without losing the characteristics of the pallet 800a. For example, when IMG1 is a color image, the input data generation unit 102 may use data obtained by converting the IMG1 to gray scale as input data. Alternatively, when the IMG1 is a moving image, the input data generation unit 102 may extract a part of the frames constituting the IMG1 and use the part of the frames as input data.

但し、入力データ生成部１０２は、入力データとして、教師データと同じ形式のデータを生成する必要がある。例えば、教師データがグレースケールの静止画像であれば、入力データ生成部１０２も入力データとしてグレースケールの静止画像を生成する必要がある。   However, the input data generation unit 102 needs to generate data in the same format as the teacher data as input data. For example, if the teacher data is a grayscale still image, the input data generation unit 102 also needs to generate a grayscale still image as input data.

（学習済みモデルＡと奥行き特定部について）
奥行き特定部１０４は、機械学習により生成された学習済みモデルＡを用いて、ＩＭＧ１からパレット８００ａの種類を特定する。つまり、学習済みモデルＡは、ＩＭＧ１に写るパレット８００ａの種類を特定するためのモデルである。そして、奥行き特定部１０４は、例えば記憶部２０等に予め記憶されている、パレットの種類毎の奥行きを示すデータ（例えば種類と奥行きとを対応付けたテーブル）に基づいて、パレット８００ａの奥行き（図２の「Ｘ」）を特定する。 (About the learned model A and depth identification part)
The depth specifying unit 104 specifies the type of the palette 800a from the IMG 1 using the learned model A generated by machine learning. That is, the learned model A is a model for specifying the type of the pallet 800a shown in the IMG1. Then, the depth specifying unit 104, for example, based on data indicating the depth for each type of palette (for example, a table in which types and depths are associated with each other) stored in advance in the storage unit 20 or the like. “X” in FIG. 2 is specified.

学習済みモデルＡの生成には、例えば、パレット８００が写った画像から上記の入力データと同様にして生成した入力データと、該画像に写るパレット８００の種類を示す正解データとを対応付けた教師データを用いることができる。機械学習においては、フォークリフト６が荷役作業の対象とする可能性がある、できるだけ多くの種類のパレット８００について生成された教師データを用いることが好ましい。なお、学習済みモデルＡのベースとなるアルゴリズムは特に限定されないが、教師データが静止画像である場合、学習済みモデルＡには、高精度な種類特定が可能になるＣＮＮ（Convolutional Neural Network）を用いることが好ましい。   In order to generate the learned model A, for example, a teacher that associates input data generated in the same manner as the above input data from an image showing the palette 800 with correct data indicating the type of the palette 800 shown in the image. Data can be used. In the machine learning, it is preferable to use teacher data generated for as many kinds of pallets 800 as possible that the forklift 6 may be a target of cargo handling work. The algorithm that is the basis of the learned model A is not particularly limited, but when the teacher data is a still image, a CNN (Convolutional Neural Network) that enables high-precision type identification is used for the learned model A. It is preferable.

以上のようにして生成された学習済みモデルＡに対し、入力データ生成部１０２が生成した入力データを入力すると、学習済みモデルＡは、ＩＭＧ１に写るパレット８００ａが、学習済みの各種類に該当する確率をそれぞれ示す出力データを出力する。奥行き特定部１０４は、この出力データに基づいて、パレット８００ａの種類を特定する。例えば、学習済みモデルＡが、ｐ１、ｐ２、およびｐ３の３種類のパレット８００について学習したものであるとする。この場合、出力データは、ＩＭＧ１に写るパレット８００ａの種類がｐ１である確率、ｐ２である確率、およびｐ３である確率をそれぞれ示すものとなる。この例では、奥行き特定部１０４は、例えばｐ１〜ｐ３のうち最も高い確率の種類を、ＩＭＧ１に写るパレット８００ａの種類として特定してもよい。   When the input data generated by the input data generation unit 102 is input to the learned model A generated as described above, the pallet 800a shown in the IMG 1 corresponds to each learned type in the learned model A. Output data indicating each probability. The depth specifying unit 104 specifies the type of the pallet 800a based on the output data. For example, it is assumed that the learned model A has been learned for three types of palettes 800 of p1, p2, and p3. In this case, the output data indicates the probability that the type of the palette 800a shown in IMG1 is p1, the probability that it is p2, and the probability that it is p3. In this example, the depth specifying unit 104 may specify, for example, the type having the highest probability among p1 to p3 as the type of the pallet 800a that appears in the IMG1.

（距離特定部と差込制御部について）
距離特定部１０３は、フォークリフト６に設定された基準位置からパレット８００ａまでの水平方向距離を特定する。より詳細には、距離特定部１０３は、リーチイン状態のフォーク基部の位置からパレット８００ａまでの距離（図２の（ａ）の「ｚ１」）を特定する。距離の特定の方法は特に限定されず、例えば距離特定部１０３は、ＩＭＧ１を解析することにより上記距離を特定してもよいし、フォークリフト６に距離センサを搭載して該センサの検出値を取得することにより上記距離を特定してもよい。なお、上記基準位置は、フォークリフト６における任意の位置に設定すればよく、リーチイン状態のフォーク基部の位置に限られない。 (Distance identification part and plug-in control part)
The distance specifying unit 103 specifies the horizontal distance from the reference position set for the forklift 6 to the pallet 800a. More specifically, the distance specifying unit 103 specifies the distance (“z1” in FIG. 2A) from the position of the fork base in the reach-in state to the pallet 800a. The method for specifying the distance is not particularly limited. For example, the distance specifying unit 103 may specify the distance by analyzing the IMG 1 or obtain a detection value of the sensor by mounting a distance sensor on the forklift 6. The distance may be specified by doing so. The reference position may be set to an arbitrary position on the forklift 6, and is not limited to the position of the fork base in the reach-in state.

差込制御部１０５は、奥行き特定部１０４が特定したパレット８００ａの奥行きに基づいてフォーク先端部をパレット８００ａから所定の長さ（以下、突出許容量と呼ぶ）以上突出することなく差し込むための処理である差込制御処理を行う。これにより、パレット８００ａから突出したフォーク先端部がパレット８００ｂや壁などに接触することを防ぐことができる。これについて、再度図２を参照して説明する。   The insertion control unit 105 performs a process for inserting the fork tip without protruding beyond the pallet 800a by a predetermined length (hereinafter referred to as a protrusion allowable amount) based on the depth of the pallet 800a specified by the depth specifying unit 104. Insertion control processing is performed. Thereby, it is possible to prevent the fork tip protruding from the pallet 800a from coming into contact with the pallet 800b or the wall. This will be described again with reference to FIG.

図２の（ａ）では、フォークリフト６をリーチイン状態でパレット８００ａの正面に停車している。この状態でフォークリフト６にリーチ動作を行わせて、同図の（ｂ）に示すようにフォークリフト６をリーチアウト状態とする。これにより、フォーク６１は、フォークポケットＦＰに差し込まれる。差込制御部１０５は、このリーチ動作におけるリーチ量の上限を以下のようにして決定する。   In FIG. 2A, the forklift 6 is stopped in front of the pallet 800a in a reach-in state. In this state, the forklift 6 is made to reach to bring the forklift 6 into a reach-out state as shown in FIG. Thereby, the fork 61 is inserted into the fork pocket FP. The insertion control unit 105 determines the upper limit of the reach amount in this reach operation as follows.

図２では、フォーク６１の長さを「Ｙ」としているから、図２の（ａ）の状態からリーチ動作を行った場合、フォーク６１の先端は、上述の基準位置から「Ｙ＋リーチ量」だけ水平方向前方の位置となる。よって、図２の（ｂ）のように、フォーク先端部がフォークポケットＦＰの奥側から突出するまでフォーク６１を挿入した状態において、フォーク６１の突出量が上述の突出許容量を超えないようにするためには、リーチ量「ａ１」が下記の数式（１）を満たすようにすればよい。   In FIG. 2, since the length of the fork 61 is “Y”, when the reach operation is performed from the state of FIG. 2A, the tip of the fork 61 is only “Y + reach amount” from the reference position described above. This is the front position in the horizontal direction. Therefore, as shown in FIG. 2B, in the state where the fork 61 is inserted until the fork tip protrudes from the back side of the fork pocket FP, the protrusion amount of the fork 61 does not exceed the above-described allowable protrusion amount. In order to achieve this, the reach amount “a1” should satisfy the following formula (1).

ａ１≦（ｚ１＋Ｘ＋Ｐ_ｍａｘ）−Ｙ …（１）
数式（１）において、「ｚ１」は、距離特定部１０３が特定した、上記基準位置からパレット８００ａまでの水平方向距離であり、「Ｘ」は、奥行き特定部１０４が特定したパレット８００ａの奥行きであり、「Ｐ_ｍａｘ」は、突出許容量である。なお、突出許容量は０としてもよい（数式（１）において「Ｐ_ｍａｘ」の項を削除してもよい）が、ある程度の突出が許容できる場合には突出許容量を正の値とすることが好ましい。 a1 ≦ (z1 + X + P _max ) −Y (1)
In Equation (1), “z1” is the horizontal distance from the reference position to the pallet 800a specified by the distance specifying unit 103, and “X” is the depth of the pallet 800a specified by the depth specifying unit 104. Yes, “P _max ” is a protrusion allowable amount. The allowable protrusion amount may be 0 (the term “P _max ” may be deleted in Equation (1)), but if a certain amount of protrusion is allowed, the allowable protrusion amount is set to a positive value. Is preferred.

差込制御部１０５は、数式（１）の右辺と左辺の値が等しくなるときの「ａ１」の値を、リーチ量の上限として決定する。そして、差込制御部１０５は、この上限を超えないようにフォークリフト６のリーチ動作を制御する。この制御は、リーチ量が上限を超えないようにすることが可能なものであればよい。本実施形態では、差込制御部１０５が、リーチ量が上限に達した後は、リーチ動作を継続するように運転手による操作がなされていたとしても、リーチ動作を行わないようにフォークリフト６を制御する、つまりリーチ量が上限に達したときにリーチ動作を終了させる例を説明する。   The insertion control unit 105 determines the value of “a1” when the values of the right side and the left side of Equation (1) are equal as the upper limit of the reach amount. Then, the plug-in control unit 105 controls the reach operation of the forklift 6 so as not to exceed the upper limit. This control only needs to be such that the reach amount does not exceed the upper limit. In the present embodiment, after the reach amount reaches the upper limit, the plug-in control unit 105 controls the forklift 6 so as not to perform the reach operation even if the driver operates to continue the reach operation. An example of controlling, that is, ending the reach operation when the reach amount reaches the upper limit will be described.

リーチ量が上記の上限を超えないようにすることにより、パレット８００ａから突出したフォーク先端部がパレット８００ｂ等に接触することを防ぐことができる。なお、上述のとおり、差込制御部１０５の制御は、リーチ量が上限を超えないようにすることが可能なものであればよく、上述の例に限られない。例えば、差込制御部１０５は、リーチ量が上限に近付くにつれて、リーチ操作を行うための操作レバーから運転者の手にかかる反発力を大きくする制御を行ってもよい。このような制御によっても、リーチ量が上限を超えることを防ぐことができる。   By preventing the reach amount from exceeding the upper limit, it is possible to prevent the fork tip protruding from the pallet 800a from coming into contact with the pallet 800b or the like. As described above, the control of the plug-in control unit 105 is not limited to the above-described example as long as it can prevent the reach amount from exceeding the upper limit. For example, the insertion control unit 105 may perform control to increase the repulsive force applied to the driver's hand from the operation lever for performing the reach operation as the reach amount approaches the upper limit. Such control can prevent the reach amount from exceeding the upper limit.

また、差込制御部１０５は、フォークリフト６以外の機器を制御することにより、リーチ量が上限を超えないようにしてもよい。例えば、差込制御部１０５は、音声を出力する音声出力装置を制御して、リーチ量の上限を知らせるメッセージを出力させてもよいし、リーチ量が上限に近付いたときにその旨を知らせるメッセージを出力させてもよい。また、このようなメッセージは、上記のような音声による聴覚的な提示に加えて、あるいは聴覚的な提示の代わりに、表示装置に表示させることによって視覚的に提示してもよい。また、視覚的な提示は、警報ランプの点灯等によるものであってもよい。この他にも、例えばリーチ量が上限に近付いたときに振動体を振動させる等、リーチ量が上限に近付いたことを触覚的に運転者に認識させてもよい。なお、上記の音声出力装置、表示装置、および振動体等の装置は、差込制御装置１が備えていてもよいし、差込制御装置１の外部の装置であってもよい。   Further, the insertion control unit 105 may control the devices other than the forklift 6 so that the reach amount does not exceed the upper limit. For example, the plug-in control unit 105 may control a sound output device that outputs sound to output a message notifying the upper limit of the reach amount, or a message notifying that when the reach amount approaches the upper limit. May be output. Further, such a message may be visually presented by being displayed on a display device in addition to or in place of the auditory presentation by voice. Further, the visual presentation may be by lighting an alarm lamp or the like. In addition, the driver may be tactilely aware that the reach amount has approached the upper limit, for example, when the reach has approached the upper limit, the vibrating body is vibrated. The audio output device, the display device, and the vibration body may be included in the insertion control device 1 or may be a device outside the insertion control device 1.

（処理の流れ）
差込制御装置１が実行する処理の流れを図３に基づいて説明する。図３は、差込制御装置１が実行する処理（差込制御方法）の一例を示すフローチャートである。 (Process flow)
A flow of processing executed by the insertion control device 1 will be described with reference to FIG. FIG. 3 is a flowchart showing an example of processing (insertion control method) executed by the insertion control device 1.

Ｓ１では、撮影制御部１０１は、フォーク６１の高さ位置合わせ作業が開始されたか否かを判定する。ここで高さ位置合わせ作業が開始されたと判定された場合（Ｓ１でＹＥＳ）、Ｓ２に進む。他方、高さ位置合わせ作業が開始されていないと判定された場合（Ｓ１でＮＯ）、Ｓ１に戻り、同様の処理を繰り返す。   In S <b> 1, the imaging control unit 101 determines whether or not the height alignment operation of the fork 61 has been started. If it is determined that the height alignment operation has been started (YES in S1), the process proceeds to S2. On the other hand, when it is determined that the height alignment operation has not been started (NO in S1), the process returns to S1 and the same processing is repeated.

Ｓ２では、撮影制御部１０１は、撮影装置５にＩＭＧ１を撮影させる。そして、入力データ生成部１０２は、撮影装置５からＩＭＧ１を取得し、入力データを生成する。実施形態１では、上述の通り、入力データ生成部１０２は、ＩＭＧ１をそのまま入力データとして用いる。   In S2, the imaging control unit 101 causes the imaging device 5 to image IMG1. Then, the input data generation unit 102 acquires IMG1 from the imaging device 5 and generates input data. In the first embodiment, as described above, the input data generation unit 102 uses the IMG 1 as input data as it is.

Ｓ３では、奥行き特定部１０４は、Ｓ２で生成された入力データを学習済みモデルＡに入力し、その出力データに基づいてパレット８００ａの種類を特定する。そして、Ｓ４（奥行き特定ステップ）では、奥行き特定部１０４は、Ｓ３で特定した種類に基づいてパレット８００ａの奥行き「Ｘ」を特定する。   In S3, the depth specifying unit 104 inputs the input data generated in S2 to the learned model A, and specifies the type of the pallet 800a based on the output data. In S4 (depth specifying step), the depth specifying unit 104 specifies the depth “X” of the pallet 800a based on the type specified in S3.

Ｓ５では、距離特定部１０３は、リーチイン状態のフォークリフト６におけるフォーク基部の位置からパレット８００ａまでの距離「ｚ１」を特定する。そして、Ｓ６では、差込制御部１０５は、Ｓ４で特定された奥行き「Ｘ」と、Ｓ５で特定された距離「ｚ１」と、所定の突出許容量「Ｐ_ｍａｘ」を上述の数式（１）に代入してリーチ量の上限を決定する。 In S5, the distance specifying unit 103 specifies the distance “z1” from the position of the fork base in the reach-fork forklift 6 to the pallet 800a. In S6, the plug-in control unit 105 calculates the depth “X” specified in S4, the distance “z1” specified in S5, and the predetermined protrusion allowable amount “P _max ” from the above formula (1). To determine the upper limit of reach.

最後に、Ｓ７（差込制御ステップ）において、差込制御部１０５は、Ｓ６で決定した上限を超えないようにフォークリフト６のリーチ動作を制御する。これにより、図３の処理は終了する。   Finally, in S7 (insertion control step), the insertion controller 105 controls the reach operation of the forklift 6 so as not to exceed the upper limit determined in S6. Thereby, the process of FIG. 3 is completed.

（実施形態１のまとめ）
以上のように、奥行き特定部１０４は、学習済みモデルＡ（パレットの画像とパレットの種類との対応関係を教師データとして機械学習させた学習済みモデル）を用いて、ＩＭＧ１からパレット８００ａの奥行き「Ｘ」を特定する。そして、差込制御部１０５は、奥行き「Ｘ」に基づき、フォーク先端部を、パレット８００ａから突出許容量「Ｐ_ｍａｘ」以上突出することなく差し込むための差込制御処理を行う。差込制御装置１は、学習済みモデルＡを用いるので、パレット８００ａの種類を高精度に特定して、正確な奥行き「Ｘ」を特定することができる。その上で、差込制御処理により、フォーク先端部の突出長さを突出許容量「Ｐ_ｍａｘ」以下に制限する。このため、フォーク先端部が他の対象物に接触することを防止することができる。 (Summary of Embodiment 1)
As described above, the depth specifying unit 104 uses the learned model A (the learned model in which the correspondence between the palette image and the palette type is machine-learned as teacher data) from the IMG 1 to the depth “ X ”is specified. Based on the depth “X”, the insertion control unit 105 performs an insertion control process for inserting the fork tip without protruding more than the allowable protrusion amount “P _max ” from the pallet 800a. Since the plug-in control apparatus 1 uses the learned model A, it is possible to specify the type of the pallet 800a with high accuracy and to specify the accurate depth “X”. After that, the protrusion length of the fork tip is limited to a protrusion allowable amount “P _max ” or less by the insertion control process. For this reason, it can prevent that a fork tip part contacts other objects.

より具体的には、実施形態１では、差込制御部１０５は、フォークリフト６に設定された基準位置からパレット８００ａまでの水平方向距離「ｚ１」と、奥行き「Ｘ」と、突出許容量「Ｐ_ｍａｘ」との和から、上記基準位置からフォーク先端部までの距離（Ｙ）を引いた値を超えないように、リーチ量「ａ１」を制御する。つまり、実施形態１における上記差込制御処理は、上述の数式（１）を充足するリーチ量「ａ１」の上限を設定する処理である。これにより、リーチ動作によってフォーク先端部が他の対象物に接触することを防止できる。 More specifically, in the first embodiment, the insertion control unit 105 performs the horizontal distance “z1” from the reference position set on the forklift 6 to the pallet 800a, the depth “X”, and the allowable protrusion amount “P”. _The reach amount “a1” is controlled so as not to exceed a value obtained by subtracting the distance (Y) from the reference position to the fork tip from the sum of “ _max ”. That is, the plug-in control process in the first embodiment is a process of setting the upper limit of the reach amount “a1” that satisfies the above-described mathematical expression (1). Thereby, it can prevent that a fork tip part contacts other objects by reach operation.

〔学習済みモデルの他の例〕
上述した学習済みモデルＡ（パレット８００ａの種類を特定するためのモデル）の代わりに、別の学習済モデルを用いることも可能である。例えば、パレットの画像とパレットの奥行きとの対応関係を機械学習させた学習済みモデル（以下、学習済みモデルＢと呼ぶ）を用いてもよい。上記機械学習には、奥行きの異なる複数のパレットについて、そのパレットの画像に対し、そのパレットの奥行きを示す正解データを対応付けた教師データを用いることができる。 [Other examples of trained models]
Instead of the learned model A (a model for specifying the type of the pallet 800a) described above, another learned model can be used. For example, a learned model (hereinafter referred to as a learned model B) obtained by machine learning of the correspondence between the palette image and the palette depth may be used. In the machine learning, for a plurality of palettes having different depths, teacher data in which correct data indicating the depth of the palette is associated with images of the palette can be used.

この場合、奥行き特定部１０４は、入力データ生成部１０２が生成した入力データを学習済みモデルＢに入力することにより、パレット８００ａの奥行き「Ｘ」を直接特定することができる。学習済みモデルＢを用いた場合にも、実施形態１と同様の効果を奏する。   In this case, the depth specifying unit 104 can directly specify the depth “X” of the pallet 800a by inputting the input data generated by the input data generating unit 102 to the learned model B. Even when the learned model B is used, the same effects as those of the first embodiment are obtained.

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。実施形態３以降も同様である。 [Embodiment 2]
Another embodiment of the present invention will be described below. For convenience of explanation, members having the same functions as those described in the first embodiment are given the same reference numerals, and the description thereof will not be repeated. The same applies to the third and subsequent embodiments.

（概要）
図４は、実施形態２の差込制御装置２による処理の概要について説明するための図である。差込制御装置２は、実施形態１の差込制御装置１と同様の機能を備えていると共に、荷役作業において二段取りを行う必要があるか否かを判定する機能を備えている。二段取りとは、荷役作業において、パレットのフォークポケットにフォークを差し込み、パレットをフォークに引っ掛けるようにして手前に引き寄せた後、改めてパレットにフォークを差し込み直して荷役対象物を持ち上げることを指す。二段取りは、荷役対象物が奥まった位置にある等の事情により、フォークをフォークポケットの十分深くまで差し込むことができない場合に行われる。 (Overview)
FIG. 4 is a diagram for explaining an overview of processing performed by the insertion control device 2 according to the second embodiment. The insertion control device 2 has the same function as that of the insertion control device 1 of the first embodiment, and also has a function of determining whether it is necessary to perform two-stage setup in the cargo handling operation. In the two-stage setup, the fork is inserted into the fork pocket of the pallet, pulled to the front as if the pallet is hooked on the fork, and then the fork is reinserted into the pallet to lift the object to be handled. Two-stage setup is performed when the fork cannot be inserted deeply into the fork pocket due to circumstances such as the cargo handling object being in a deep position.

ここで、図４の例では、棚上のやや奥まった位置（棚のフォークリフト６に面した端部から離れた位置）にパレット８００ａが配置されている。図４では、図２と同様に、リーチ式のフォークリフト６を例示している。このフォークリフトのリーチ量の最大値を「ａ_ｍａｘ」とすると、図４に示すリーチイン状態から、フォーク６１は最大で「ａ_ｍａｘ」だけフォークリフト６の前方に向けて水平移動する。 Here, in the example of FIG. 4, the pallet 800a is arranged at a slightly recessed position on the shelf (a position away from the end of the shelf facing the forklift 6). In FIG. 4, a reach type forklift 6 is illustrated as in FIG. If the maximum value of the reach amount of the forklift is “a _max ”, the fork 61 moves horizontally toward the front of the forklift 6 by a maximum of “a _max ” from the reach-in state shown in FIG.

差込制御装置２は、リーチ量を「ａ_ｍａｘ」としても、パレット８００ａへのフォーク６１の差込量が、パレット８００ａおよび荷物９００を持ち上げるのに十分ではない場合に、二段取りが必要であると判定する。二段取りが必要であると判定した差込制御装置２は、その旨をフォークリフト６の運転者に報知して、二段取りが必要であることを認識させることができる。これにより、二段取りが必要な状況において、無理に１回で荷役作業を行おうとして荷崩れを発生させる等の問題の発生を回避することができる。 Even if the reach amount is set to “a _max ”, the insertion control device 2 needs to be set up twice when the insertion amount of the fork 61 into the pallet 800a is not sufficient to lift the pallet 800a and the load 900. Is determined. The plug-in control device 2 that has determined that two-stage setup is necessary can notify the driver of the forklift 6 to that effect and recognize that two-stage setup is necessary. Thereby, in a situation where two setups are necessary, it is possible to avoid the occurrence of a problem such as causing a load collapse when forcibly carrying out the cargo handling operation once.

なお、上記「差込量」とは、フォークリフト６に面するパレット８００ａの側面からフォーク先端部までの距離（フォーク先端部がフォークポケットＦＰに入った時点から水平方向に移動した距離）を指す。例えば、図２の（ａ）のように、フォーク先端部がフォークポケットＦＰ内に位置している場合、差込量「ｙ１」はフォークポケットＦＰ内にあるフォーク６１の長さに等しい。図４の例における差込量は「ｙ３」である。また、図２の（ｂ）のように、フォーク先端部がフォークポケットＦＰの外まで突き出している場合には、差込量「ｙ２」はフォークポケットＦＰの奥行きと、フォークポケットＦＰの奥側に突き出している部分のフォーク６１の長さとの和に等しい。なお、フォークポケットＦＰは、パレット８００ａを貫通しているから、フォークポケットＦＰの奥行き（長さ）は、パレット８００ａの奥行き「Ｘ」に等しい。   The “insertion amount” refers to the distance from the side surface of the pallet 800a facing the forklift 6 to the fork tip (the distance moved in the horizontal direction from when the fork tip enters the fork pocket FP). For example, as shown in FIG. 2A, when the fork tip is located in the fork pocket FP, the insertion amount “y1” is equal to the length of the fork 61 in the fork pocket FP. The insertion amount in the example of FIG. 4 is “y3”. Further, as shown in FIG. 2B, when the fork tip projects out of the fork pocket FP, the insertion amount “y2” is set to the depth of the fork pocket FP and the back side of the fork pocket FP. It is equal to the sum of the length of the fork 61 in the protruding portion. Since the fork pocket FP penetrates the pallet 800a, the depth (length) of the fork pocket FP is equal to the depth “X” of the pallet 800a.

（差込制御装置の要部構成）
図５は、実施形態２の差込制御装置２の制御部１０の構成例を示すブロック図である。制御部１０以外の構成は図１の差込制御装置１と同様である。図５に示されるように、差込制御装置２の制御部１０には、二段取り要否判定部１２１が含まれている。二段取り要否判定部１２１は、奥行き特定部１０４が特定した奥行きに基づき、パレット８００ａに対する荷役作業にて二段取りが必要であるか否かを判定する。以下では、再度図４を参照して、二段取り要否判定部１２１の判定について説明する。 (Structure of the main part of the plug control device)
FIG. 5 is a block diagram illustrating a configuration example of the control unit 10 of the insertion control device 2 according to the second embodiment. The configuration other than the control unit 10 is the same as that of the insertion control device 1 of FIG. As shown in FIG. 5, the control unit 10 of the plug-in control device 2 includes a two-stage setup necessity determination unit 121. Based on the depth specified by the depth specifying unit 104, the two-step setup necessity determination unit 121 determines whether or not two-step setup is necessary in the cargo handling operation for the pallet 800a. Below, with reference to FIG. 4 again, the determination of the two-step setup necessity determination part 121 is demonstrated.

上述のように、二段取りは、パレット８００ａへのフォーク６１の差込量が十分ではないときに必要となるから、二段取り要否判定部１２１は、二段取りの要否を判定するにあたり、まず上述の差込量を算出する。   As described above, since the two-stage setup is necessary when the amount of the fork 61 inserted into the pallet 800a is not sufficient, the two-stage setup necessity determination unit 121 first determines whether the two-stage setup is necessary. The above-mentioned insertion amount is calculated.

パレット８００ａとフォークリフト６との水平方向距離を算出するための、フォークリフト６上の基準位置を上記実施形態と同様にフォーク基部の位置とした場合、図４に示すようなリーチイン状態における差込量は下記の数式（２）で表すことができる。   When the reference position on the forklift 6 for calculating the horizontal distance between the pallet 800a and the forklift 6 is the position of the fork base as in the above embodiment, the insertion amount in the reach-in state as shown in FIG. It can be represented by the following mathematical formula (2).

ｙ３＝Ｙ−ｚ３ …数式（２）
数式（２）において「ｙ３」は差込量、「Ｙ」はフォーク６１の長さ、「ｚ３」はフォーク基部の位置からパレット８００ａまでの水平方向距離である。なお、「Ｙ」は予め測定しておけばよく、「ｚ３」は距離特定部１０３が特定する。 y3 = Y−z3 Formula (2)
In Equation (2), “y3” is the insertion amount, “Y” is the length of the fork 61, and “z3” is the horizontal distance from the position of the fork base to the pallet 800a. “Y” may be measured in advance, and “z3” is specified by the distance specifying unit 103.

よって、リーチ量を最大の「ａ_ｍａｘ」としたときの差込量「ｙ_ｍａｘ」は、下記の数式（３）で表すことができる。 Therefore, the insertion amount “y _max ” when the reach amount is the maximum “a _max ” can be expressed by the following mathematical formula (3).

ｙ_ｍａｘ＝ｙ３＋ａ_ｍａｘ …数式（３）
次に、二段取り要否判定部１２１は、上記のようにして算出した差込量「ｙ_ｍａｘ」が、パレット８００ａの奥行き「Ｘ」に対して十分であるか否か、すなわち二段取りを行う必要があるか否かを判定する。この判定の基準は特に限定されず、例えば、二段取り要否判定部１２１は、奥行き「Ｘ」に対する差込量「ｙ_ｍａｘ」の比が閾値未満であれば、二段取りを行う必要があると判定してもよい。例えば、二段取り要否判定部１２１は、（ｙ_ｍａｘ／Ｘ）の値が０．８未満であれば二段取りを行う必要があると判定し、０．８以上であれば二段取りは不要と判定してもよい。 y _max = y3 + a _max ... Formula (3)
Next, the two-stage setup necessity determination unit 121 performs whether or not the insertion amount “y _max ” calculated as described above is sufficient for the depth “X” of the pallet 800a, that is, two-stage setup. Determine whether it is necessary. The criterion for this determination is not particularly limited. For example, if the ratio of the insertion amount “y _max ” with respect to the depth “X” is less than the threshold, the two-stage setup necessity determination unit 121 needs to perform two-stage setup. You may judge. For example, the two-stage setup necessity determination unit 121 determines that the two-stage setup is necessary if the value of (y _max / X) is less than 0.8. You may judge.

そして、二段取り要否判定部１２１は、二段取りを行う必要があると判定した場合には、その旨をフォークリフト６の運転者に報知する。報知の態様、報知に用いる装置等は特に限定されない。一方、二段取り要否判定部１２１が二段取りを行う必要がないと判定した場合には、実施形態１と同様に、差込制御部１０５による処理が行われる。   Then, when it is determined that it is necessary to perform the two-stage setup, the two-stage setup necessity determination unit 121 notifies the driver of the forklift 6 to that effect. The notification mode, the device used for notification, and the like are not particularly limited. On the other hand, when the two-stage setup necessity determination unit 121 determines that it is not necessary to perform two-stage setup, the process by the insertion control unit 105 is performed as in the first embodiment.

（実施形態２のまとめ）
以上のように、実施形態２の差込制御装置２は、奥行き「Ｘ」に基づき、パレット８００ａに対する荷役作業にて二段取りの要否を判定する二段取り要否判定部１２１を備えている。したがって、二段取り要否の判定結果を用いることにより、二段取りが必要な状況で一段取りがなされることを防止できる。その結果、例えば、無理な一段取りによって荷崩れが発生することを防止できるので、荷役作業の安全性を向上させることが可能となる。 (Summary of Embodiment 2)
As described above, the insertion control device 2 according to the second embodiment includes the two-stage setup necessity determination unit 121 that determines whether two-stage setup is necessary in the cargo handling operation on the pallet 800a based on the depth “X”. Therefore, by using the determination result of whether or not two setups are necessary, it is possible to prevent one setup from being performed in a situation where two setups are necessary. As a result, for example, it is possible to prevent the collapse of the load due to an unreasonable setup, and it is possible to improve the safety of the cargo handling operation.

（参考例）
差込制御装置２の制御部１０から差込制御部１０５を除いて、二段取りの要否を判定する二段取り要否判定装置を構成することもできる。二段取り要否判定装置は、パレット８００ａの奥行きを特定する奥行き特定部１０４と、特定された奥行きに基づき、パレット８００ａに対する荷役作業における二段取りの要否を判定する二段取り要否判定部１２１を少なくとも備えた装置である。この二段取り要否判定装置によれば、無理な一段取りによって荷崩れが発生することを防止できるので、荷役作業の安全性を向上させることが可能となる。 (Reference example)
By removing the insertion control unit 105 from the control unit 10 of the plug-in control device 2, a two-stage setup necessity determination device that determines whether or not two-step setup is required can be configured. The two-stage setup necessity determination device includes a depth specification section 104 that specifies the depth of the pallet 800a, and a two-stage setup necessity determination section 121 that determines the necessity of two-stage setup in the cargo handling operation for the pallet 800a based on the specified depth. It is a device provided at least. According to the two-stage setup necessity determination device, it is possible to prevent the collapse of the load due to an unreasonable one-stage setup, and thus it is possible to improve the safety of the cargo handling work.

〔実施形態３〕
本実施形態では、差込制御装置３により、カウンタ車のフォークリフトの荷役作業における差込制御を行う例を図６および図７に基づいて説明する。図６は、実施形態３における処理の概要について説明するための図である。また、図７は、差込制御装置３が実行する処理（差込制御方法）の一例を示すフローチャートである。なお、差込制御装置３の構成は、実施形態１の差込制御装置１（図１参照）と同様である。 [Embodiment 3]
In the present embodiment, an example in which the insertion control device 3 performs the insertion control in the load handling operation of the counter vehicle forklift will be described with reference to FIGS. 6 and 7. FIG. 6 is a diagram for explaining an overview of processing in the third embodiment. FIG. 7 is a flowchart illustrating an example of processing (insertion control method) executed by the insertion control device 3. In addition, the structure of the insertion control apparatus 3 is the same as that of the insertion control apparatus 1 (refer FIG. 1) of Embodiment 1. FIG.

図６に示すフォークリフト６Ａは、カウンタ式のフォークリフト、すなわちカウンタ車である。フォークリフト６Ａの備えるマスト６２Ａは、図２のフォークリフト６が備えるマスト６２とは異なり、水平方向に非可動である。このため、フォークリフト６Ａによる荷役作業では、フォーク６１をフォークポケットＦＰに正対した状態とした上で、フォークリフト６Ａを前進させることにより、フォーク６１をフォークポケットＦＰに差し込む。   A forklift 6A shown in FIG. 6 is a counter-type forklift, that is, a counter wheel. The mast 62A included in the forklift 6A is not movable in the horizontal direction, unlike the mast 62 included in the forklift 6 shown in FIG. For this reason, in the cargo handling work by the forklift 6A, the fork 61 is inserted into the fork pocket FP by moving the fork lift 6A forward with the fork 61 facing the fork pocket FP.

このため、差込制御装置３は、フォークリフト６Ａを前進させる距離を制御することにより、パレット８００ａから突出したフォーク先端部が他の荷物や壁など（図６の例ではパレット８００ｂ）に接触することを防ぐ。差込制御装置３は、リーチ量ではなく前進距離を制御する点で差込制御装置１と相違しているが、処理の内容は概ね同様である。   For this reason, the insertion control device 3 controls the distance by which the forklift 6A is moved forward, so that the fork tip protruding from the pallet 800a comes into contact with another load or wall (pallet 800b in the example of FIG. 6). prevent. The plug-in control device 3 is different from the plug-in control device 1 in that it controls the advance distance but not the reach amount, but the content of the processing is generally the same.

すなわち、図７に示すように、差込制御装置３においても、高さ位置合わせ開始時にパレット８００ａの画像を取得して入力データを生成する（Ｓ１、Ｓ２）。そして、差込制御装置３においても、上記入力データを学習済みモデルに入力してパレット８００ａの種類を特定すると共にその奥行きを特定し（Ｓ３、Ｓ４）、さらにパレット８００までの距離を特定する（Ｓ５）。なお、図６の（ａ）の例では、Ｓ４で特定される奥行きを「Ｘ」、Ｓ５で特定される距離を「ｚ１」としている。   That is, as shown in FIG. 7, also in the plug-in control device 3, the image of the pallet 800a is acquired at the start of height alignment and input data is generated (S1, S2). Also in the plug-in control device 3, the input data is input to the learned model to specify the type of the pallet 800a, specify its depth (S3, S4), and further specify the distance to the pallet 800 ( S5). In the example of FIG. 6A, the depth specified in S4 is “X”, and the distance specified in S5 is “z1”.

図７のＳ１６では、差込制御部１０５は、Ｓ４で特定された奥行き「Ｘ」と、Ｓ５で特定された距離「ｚ１」と、所定の突出許容量「Ｐ_ｍａｘ」を下記数式（４）に代入して前進距離「ｂ１」の上限を決定する。なお、数式（４）の右辺は数式（１）の右辺と同じであるから、数式（４）を用いて算出した「ｂ１」の上限は、実施形態１におけるリーチ量の上限と同じ値となる。 In S16 of FIG. 7, the insertion control unit 105 sets the depth “X” specified in S4, the distance “z1” specified in S5, and a predetermined protrusion allowable amount “P _max ” according to the following formula (4). And the upper limit of the forward distance “b1” is determined. Since the right side of Equation (4) is the same as the right side of Equation (1), the upper limit of “b1” calculated using Equation (4) is the same value as the upper limit of the reach amount in the first embodiment. .

ｂ１≦（ｚ１＋Ｘ＋Ｐ_ｍａｘ）−Ｙ …（４）
フォークリフト６Ａの前進距離「ｂ１」（図６の（ｂ）参照）が上記の上限を超えなければ、パレット８００ａの奥側からフォーク先端部が突出許容量「Ｐ_ｍａｘ」を超えて突出することはない。よって、パレット８００ａから突出したフォーク先端部がパレット８００ｂ等に接触することを防ぐことができる。 b1 ≦ (z1 + X + P _max ) −Y (4)
If the forward distance “b1” (see FIG. 6B) of the forklift 6A does not exceed the above upper limit, the fork tip protrudes beyond the allowable protrusion amount “P _max ” from the back side of the pallet 800a. Absent. Therefore, it is possible to prevent the fork tip protruding from the pallet 800a from contacting the pallet 800b or the like.

最後に、Ｓ１７（差込制御ステップ）において、差込制御部１０５は、Ｓ１６で決定した上限を超えないようにフォークリフト６の前進動作を制御する。これにより、図７の処理は終了する。   Finally, in S17 (insertion control step), the insertion controller 105 controls the forward movement of the forklift 6 so as not to exceed the upper limit determined in S16. Thereby, the process of FIG. 7 is completed.

Ｓ１７の制御は、前進距離「ｂ１」が上限を超えないようにすることが可能なものであればよい。例えば、差込制御部１０５は、前進距離が上限に達した後は、運転手がフォークリフト６Ａを前進させる操作を継続していたとしても、前進を停止するようにフォークリフト６を制御してもよい。つまり、差込制御部１０５は、前進距離が上限に達した時点でフォークリフト６を停車させてもよい。なお、フォークリフト６Ａの前進距離の特定方法は特に限定されず、例えばフォークリフト６Ａが備える走行距離計から取得してもよいし、距離特定部１０３が特定する距離に基づいて特定してもよい。   The control in S17 may be anything that can prevent the advance distance “b1” from exceeding the upper limit. For example, the insertion control unit 105 may control the forklift 6 so as to stop the forward movement even if the driver continues the operation of moving the forklift 6A forward after the advance distance reaches the upper limit. . That is, the insertion control unit 105 may stop the forklift 6 when the advance distance reaches the upper limit. The method for specifying the forward distance of the forklift 6A is not particularly limited. For example, the forklift 6A may be acquired from an odometer provided in the forklift 6A, or may be specified based on the distance specified by the distance specifying unit 103.

この他にも、例えば、差込制御部１０５は、前進距離「ｂ１」が上限に近付くにつれて、アクセルペダルから運転者の足にかかる反発力を大きくする制御を行ってもよい。このような制御によっても、上限を超えてフォークリフト６Ａが前進することを防ぐことができる。また、実施形態１と同様に、差込制御部１０５は、フォークリフト６Ａ以外の機器を制御することにより、前進距離「ｂ１」が上限を超えないようにしてもよい。   In addition, for example, the plug-in control unit 105 may perform control to increase the repulsive force applied from the accelerator pedal to the driver's foot as the advance distance “b1” approaches the upper limit. Such control can also prevent the forklift 6A from moving forward beyond the upper limit. Similarly to the first embodiment, the plug-in control unit 105 may control the devices other than the forklift 6A so that the advance distance “b1” does not exceed the upper limit.

（実施形態３のまとめ）
以上のように、差込制御装置１は、カウンタ車としてのフォークリフト６Ａに対しても、差込制御処理を行うことができる。より具体的には、実施形態１では、差込制御部１０５は、フォークリフト６に設定された基準位置からパレット８００ａまでの水平方向距離（ｚ１）と、Ｘと、Ｐ_ｍａｘとの和から、上記基準位置からフォーク先端部までの距離（Ｙ）を引いた値を超えないように、前進距離を制御する。つまり、実施形態３の差込制御処理には、上述の数式（４）を充足する前進距離「ｂ１」の上限を設定する処理が含まれる。実施形態３の差込制御処理によっても、フォーク先端部の突出長さをＰ_ｍａｘ以下に制限できるので、実施形態１と同様に、フォーク先端部が他の対象物に接触することを防止できる。 (Summary of Embodiment 3)
As described above, the insertion control device 1 can perform the insertion control process for the forklift 6A as a counter vehicle. More specifically, in the first embodiment, the insertion control unit 105 calculates the horizontal distance (z1) from the reference position set to the forklift 6 to the pallet 800a and the sum of X and P _max from the above. The forward distance is controlled so as not to exceed the value obtained by subtracting the distance (Y) from the reference position to the fork tip. That is, the plug-in control process of the third embodiment includes a process of setting an upper limit of the advance distance “b1” that satisfies the above mathematical formula (4). Also by the insertion control process of the third embodiment, since the protruding length of the fork tip can be limited to P _max or less, it is possible to prevent the fork tip from contacting other objects as in the first embodiment.

なお、リーチ車による荷役作業において、フォークをリーチアウト状態としてから、フォークリフトを前進させて、フォークをフォークポケットに差し込むこともある。このような場合には、本実施形態と同様に、リーチ量ではなく前進距離について制御を行えばよい。また、リーチ量と前進距離の合計が上限を超えないように制御してもよい。   In addition, in a cargo handling operation by a reach vehicle, the fork lift may be advanced after the fork is in a reach-out state, and the fork may be inserted into the fork pocket. In such a case, similarly to the present embodiment, the forward distance may be controlled instead of the reach amount. Moreover, you may control so that the sum total of reach amount and advance distance does not exceed an upper limit.

（二段取りの要否判定について）
カウンタ式のフォークリフトについても、二段取り要否判定部１２１によって、実施形態２と同様にして二段取りの要否判定を行うことができる。以下、カウンタ式のフォークリフトにおける二段取りの要否判定について、再度図６を参照して説明する。 (About determination of necessity of two-stage setup)
For the counter-type forklift, the two-stage setup necessity determination unit 121 can determine whether the two-stage setup is necessary in the same manner as in the second embodiment. Hereinafter, the determination of the necessity of the two-stage setup in the counter type forklift will be described with reference to FIG. 6 again.

カウンタ式のフォークリフト６Ａではリーチ量を考慮する必要はないが、その代わりにフォークリフト６Ａが前進可能な距離を考慮して二段取りの要否判定を行う。具体的には、二段取り要否判定部１２１は、下記数式（５）により、図６の（ａ）の状態（フォークリフト６Ａを前進させる余地のある状態）における、フォーク６１の差込量を算出する。なお、下記数式における「Ｙ」はフォーク６１の長さであるから予め測定しておけばよく、「ｚ１」としては距離特定部１０３が特定した距離を用いればよい。   In the counter-type forklift 6A, it is not necessary to consider the reach amount, but instead, the necessity of the two-stage setup is determined in consideration of the distance that the forklift 6A can advance. Specifically, the two-stage setup necessity determination unit 121 calculates the insertion amount of the fork 61 in the state of FIG. 6A (there is room for the forklift 6A to move forward) by the following formula (5). To do. It should be noted that “Y” in the following equation is the length of the fork 61 and may be measured in advance, and the distance specified by the distance specifying unit 103 may be used as “z1”.

ｙ１＝Ｙ−ｚ１ …数式（５）
よって、上記状態からフォークリフト６Ａを前進させることが可能な距離の最大値を「ｂ_ｍａｘ」とすると、差込量の最大値「ｙ_ｍａｘ」は、下記の数式（６）で表すことができる。なお、「ｂ_ｍａｘ」としては、例えばフォークリフト６Ａからフォークリフト６Ａの前方の障害物（フォークリフト６Ａの前進の妨げとなるもの。図６の例ではパレット８００が載置された棚）までの距離を用いればよい。この距離の特定方法は特に限定されず、例えば距離特定部１０３がパレット８００ａまでの距離を特定する方法と同様の方法で特定してもよい。 y1 = Y−z1 Formula (5)
Therefore, when the maximum value of the distance at which the forklift 6A can be advanced from the above state is “b _max ”, the maximum value “y _max ” of the amount of insertion can be expressed by the following mathematical formula (6). Note that “b _max ” is, for example, the distance from the forklift 6A to an obstacle ahead of the forklift 6A (which obstructs the forward movement of the forklift 6A. In the example of FIG. 6, the shelf on which the pallet 800 is placed). That's fine. The method for specifying this distance is not particularly limited. For example, the distance specifying unit 103 may specify the distance by a method similar to the method for specifying the distance to the pallet 800a.

ｙ_ｍａｘ＝ｙ１＋ｂ_ｍａｘ …数式（６）
この後の処理は実施形態２と同様であり、二段取り要否判定部１２１は、上記のようにして算出した差込量「ｙ_ｍａｘ」が、パレット８００ａの奥行き「Ｘ」に対して十分であるか否か、すなわち二段取りを行う必要があるか否かを判定する。 _ymax = y1 + _bmax ... Formula (6)
The subsequent processing is the same as in the second embodiment, and the two-stage setup necessity determination unit 121 has the insertion amount “y _max ” calculated as described above sufficient for the depth “X” of the pallet 800a. It is determined whether there is, that is, whether it is necessary to perform two setups.

〔変形例：差込量に基づく制御〕
実施形態１では、フォーク先端部がパレット８００ａから突出許容量を超えて突出しないようなリーチ量を算出する例を説明し、実施形態３ではフォーク先端部がパレット８００ａから突出許容量を超えて突出しないような前進距離を算出する例を説明した。ここでは、リーチ量または前進距離の上限を算出する代わりに、フォーク６１の差込量に基づいてフォーク先端部がパレット８００ａから突出許容量を超えて突出しないように制御する例を説明する。 [Modification: Control based on the amount of insertion]
In the first embodiment, an example of calculating the reach amount so that the fork tip does not protrude beyond the allowable protrusion amount from the pallet 800a will be described. In the third embodiment, the fork tip protrudes from the pallet 800a beyond the allowable protrusion amount. The example which calculates the advance distance which does not carry out was demonstrated. Here, an example will be described in which, instead of calculating the upper limit of the reach amount or the advance distance, control is performed so that the fork tip does not protrude beyond the allowable amount of protrusion from the pallet 800a based on the insertion amount of the fork 61.

上述のように、フォーク６１の差込量は、フォーク６１の長さから、フォーク基部からパレット８００ａの側面（フォークリフト６と対向する面）までの距離を引いた値となる（数式（２）、（５）参照）。よって、フォークの差込量を「ｙ」とし、突出許容量を「Ｐ_ｍａｘ」とし、パレット８００ａの奥行きを「Ｘ」としたとき、差込量「ｙ」が、奥行き「Ｘ」と突出許容量「Ｐ_ｍａｘ」との和を超えないようにするためには、差込量「ｙ」を下記の数式（７）を満たす範囲とすればよい。 As described above, the insertion amount of the fork 61 is a value obtained by subtracting the distance from the fork base to the side surface of the pallet 800a (the surface facing the forklift 6) from the length of the fork 61 (formula (2), (See (5)). Therefore, when the fork insertion amount is “y”, the allowable protrusion amount is “P _max ”, and the depth of the pallet 800a is “X”, the insertion amount “y” is the depth “X” and the allowable protrusion amount. In order not to exceed the sum of the capacity “P _max ”, the insertion amount “y” may be set in a range that satisfies the following formula (7).

ｙ≦Ｘ−Ｐ_ｍａｘ …（７）
ここで、フォーク６１の長さを「Ｙ」とし、フォーク基部からパレット８００ａの側面までの距離を「ｚ」とすると、ｙ＝Ｙ−ｚと表される。よって、上記数式（７）は下記数式（８）のように書き換えることができる。 y ≦ X−P _max (7)
Here, when the length of the fork 61 is “Y” and the distance from the fork base to the side surface of the pallet 800a is “z”, y = Y−z. Therefore, the above equation (7) can be rewritten as the following equation (8).

ｚ≧Ｙ＋Ｐ_ｍａｘ−Ｘ …（８）
以上より、差込制御部１０５は、距離「ｚ」が数式（８）の右辺の値を超えないようにフォークリフト６または６Ａを制御することにより、フォーク先端部がパレット８００ａから突出許容量を超えて突出しないようにすることができる。 z ≧ Y + P _max −X (8)
From the above, the insertion control unit 105 controls the forklift 6 or 6A so that the distance “z” does not exceed the value on the right side of Expression (8), so that the fork tip exceeds the allowable amount of protrusion from the pallet 800a. So that it does not protrude.

ここで、距離「ｚ」は、距離特定部１０３が算出する。このため、例えば差込制御部１０５は、距離特定部１０３が逐次算出する「ｚ」の値を監視してもよい。そして、差込制御部１０５は、距離「ｚ」の値が数式（８）の右辺の値と等しくなったときに、それ以上の差し込みが行われないようにフォークリフト６または６Ａを制御してもよい。   Here, the distance specifying unit 103 calculates the distance “z”. For this reason, for example, the insertion control unit 105 may monitor the value of “z” that is sequentially calculated by the distance specifying unit 103. Then, the insertion control unit 105 controls the forklift 6 or 6A so that no further insertion is performed when the value of the distance “z” becomes equal to the value on the right side of Expression (8). Good.

なお、この制御については、実施形態１、３の制御と同様である。また、差込制御部１０５が、フォークリフト６また６Ａ以外の機器を制御することにより、距離「ｚ」の値が数式（８）の右辺の値未満となるような差し込みが行われないようにしてもよいことも実施形態１、３と同様である。   This control is the same as the control in the first and third embodiments. Further, the insertion control unit 105 controls devices other than the forklift 6 or 6A so that the insertion such that the value of the distance “z” is less than the value on the right side of the formula (8) is not performed. The same is true for the first and third embodiments.

また、差込制御部１０５は、実施形態１で挙げた例の他、レーザ光をフォーク６１のブレード表面に照射する等により、フォーク基部から（Ｙ＋Ｐ_ｍａｘ−Ｘ）の距離の位置に、フォーク６１の差し込みの上限を示す目印を投影してもよい。このような態様であっても、フォーク６１を安全に差し込むことができる差込量の範囲を運転者に認識させることができる。 In addition to the example described in the first embodiment, the insertion control unit 105 irradiates the blade surface of the fork 61 with a laser beam or the like, so that the fork 61 is positioned at a distance of (Y + P _max −X) from the fork base. You may project the mark which shows the upper limit of insertion. Even in such an embodiment, the driver can be made aware of the range of the insertion amount in which the fork 61 can be safely inserted.

以上のように、本変形例における差込制御部１０５は、フォーク６１のパレット８００ａへの差込量が、奥行き特定部１０４が特定した奥行き「Ｘ」と突出許容量「Ｐ_ｍａｘ」との和を超えないように、フォーク６１の差し込み動作を制御する。これにより、パレット８００ａから突出したフォーク先端部が他の荷物や壁などに接触することを防ぐことができる。 As described above, the insertion control unit 105 according to the present modification is configured such that the insertion amount of the fork 61 into the pallet 800a is the sum of the depth “X” specified by the depth specification unit 104 and the allowable protrusion amount “P _max ”. So that the fork 61 is inserted. Thereby, it can prevent that the front-end | tip part which protruded from the pallet 800a contacts another load, a wall, etc.

〔自動差し込み〕
上記各実施形態では、運転者が差し込み操作（リーチ動作またはフォークリフトを前進させる操作）を行う例を説明したが、本発明の一態様に係る差込制御装置は、運転者の操作によらず自動で差し込みを行ってもよい。例えば、実施形態１の差込制御装置１は、算出した上限までリーチ動作を行うようにフォークリフト６を制御してもよい。また、実施形態３の差込制御装置３は、算出した上限の距離だけフォークリフト６Ａを前進させてもよい。当該構成によれば、自動でフォークリフトにフォーク差込操作を行わせることができる。 [Automatic insertion]
In each of the above-described embodiments, an example in which the driver performs the insertion operation (reach operation or an operation for moving the forklift forward) has been described. However, the plug-in control device according to one aspect of the present invention is automatic regardless of the driver's operation. You may insert it with. For example, the plug-in control device 1 according to the first embodiment may control the forklift 6 so as to perform the reach operation up to the calculated upper limit. Further, the insertion control device 3 according to the third embodiment may advance the forklift 6A by the calculated upper limit distance. According to the said structure, a fork insertion operation can be automatically performed by a forklift.

〔分散処理について〕
上記各実施形態で説明した差込制御装置１〜３の実行する処理の一部は、差込制御装置１〜３と通信接続された１または複数の装置に実行させてもよい。例えば、奥行き特定部１０４の実行する処理の一部を、差込制御装置１〜３と通信接続されたＡＩサーバに実行させてもよい。この場合、差込制御装置１〜３は、入力データをＡＩサーバに送信し、該ＡＩサーバから出力データを受信して、パレット８００ａの奥行きを特定する。 [About distributed processing]
A part of the processing executed by the insertion control devices 1 to 3 described in the above embodiments may be executed by one or a plurality of devices that are connected to the insertion control devices 1 to 3. For example, a part of the process executed by the depth specifying unit 104 may be executed by the AI server that is connected to the insertion control devices 1 to 3. In this case, the insertion control devices 1 to 3 transmit the input data to the AI server, receive the output data from the AI server, and specify the depth of the pallet 800a.

〔ソフトウェアによる実現例〕
差込制御装置１〜３の制御ブロック（特に制御部１０に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。 [Example of software implementation]
The control blocks (particularly, each unit included in the control unit 10) of the plug-in control devices 1 to 3 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or realized by software. May be.

後者の場合、差込制御装置１〜３は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。   In the latter case, the plug-in control devices 1 to 3 are each provided with a computer that executes instructions of a program that is software for realizing each function. The computer includes, for example, one or more processors and a computer-readable recording medium storing the program. In the computer, the processor reads the program from the recording medium and executes the program, thereby achieving the object of the present invention. For example, a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit) can be used as the processor. As the recording medium, a “non-temporary tangible medium” such as a ROM (Read Only Memory), a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used. Further, a RAM (Random Access Memory) for expanding the program may be further provided. The program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program. Note that one embodiment of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。   The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention.

１〜３ 差込制御装置
６ フォークリフト（リーチ車）
６Ａ フォークリフト（カウンタ車）
６１ フォーク
１０４ 奥行き特定部
１０５ 差込制御部
１２１ 二段取り要否判定部
８００ａ パレット（対象パレット）
９００ 荷物（荷役対象物）
ＩＭＧ１ 画像（対象パレットを撮影した画像） 1-3 Plug control device 6 Forklift (reach car)
6A Forklift (Counter car)
61 Fork 104 Depth specifying unit 105 Insertion control unit 121 Two-stage setup necessity determination unit 800a Pallet (target pallet)
900 Luggage (objects for cargo handling)
IMG1 image (image taken from the target palette)

Claims (6)

荷役対象物を載置するパレットの画像と、該パレットの種類または奥行きとの対応関係を教師データとして機械学習させた学習済みモデルを用いて、対象パレットを撮影した画像から当該対象パレットの奥行きを特定する奥行き特定部と、
上記奥行き特定部が特定した上記奥行きに基づき、上記対象パレットに対して荷役作業を行うフォークリフトのフォークの先端部を、上記対象パレットから所定の長さ以上突出することなく差し込むための所定の処理を行う差込制御部と、を備えていることを特徴とする差込制御装置。 The depth of the target pallet is calculated from the image of the target pallet using a learned model in which the correspondence between the pallet image and the type or depth of the pallet is loaded as teacher data. A depth identification part to be identified;
Based on the depth specified by the depth specifying unit, a predetermined process for inserting the tip of the fork of a forklift that performs a cargo handling operation on the target pallet without protruding more than a predetermined length from the target pallet. An insertion control unit for performing insertion control. 上記所定の処理は、上記フォークリフトに設定された基準位置から上記対象パレットまでの水平方向距離と、上記奥行き特定部が特定した奥行きと、上記所定の長さとの和から、上記基準位置から上記フォークの先端までの水平方向距離を引いた値を超えないように、上記フォークのリーチ量を制御する処理であることを特徴とする請求項１に記載の差込制御装置。   The predetermined processing is based on the sum of the horizontal distance from the reference position set to the forklift to the target pallet, the depth specified by the depth specifying unit, and the predetermined length, and the fork from the reference position. The plug-in control device according to claim 1, wherein the fork reach is controlled so as not to exceed a value obtained by subtracting a horizontal distance to the tip of the fork. 上記所定の処理は、上記フォークリフトに設定された基準位置から上記対象パレットまでの水平方向距離と、上記奥行き特定部が特定した奥行きと、上記所定の長さとの和から、上記基準位置から上記フォークの先端までの水平方向距離を引いた値を超えないように、上記フォークリフトが上記対象パレットに向かって進む距離を制御する処理であることを特徴とする請求項１に記載の差込制御装置。   The predetermined processing is based on the sum of the horizontal distance from the reference position set to the forklift to the target pallet, the depth specified by the depth specifying unit, and the predetermined length, and the fork from the reference position. The plug-in control device according to claim 1, wherein the forklift is a process for controlling a distance that the forklift travels toward the target pallet so as not to exceed a value obtained by subtracting a horizontal distance to the tip of the pallet. 上記所定の処理は、上記フォークの上記対象パレットへの差込量が、上記奥行き特定部が特定した奥行きと上記所定の長さとの和を超えないように、上記フォークリフトによる上記フォークの差し込み動作を制御する処理であることを特徴とする請求項１に記載の差込制御装置。   The predetermined processing includes inserting the fork with the forklift so that the amount of the fork inserted into the target pallet does not exceed the sum of the depth specified by the depth specifying unit and the predetermined length. The plug-in control device according to claim 1, wherein the plug-in control device is a control process. 上記奥行き特定部が特定した奥行きに基づき、上記対象パレットに対する荷役作業にて二段取りの要否を判定する二段取り要否判定部を備えていることを特徴とする請求項１から４の何れか１項に記載の差込制御装置。   5. The apparatus according to claim 1, further comprising: a two-stage setup necessity determination unit that determines whether the two-stage setup is necessary in the cargo handling operation for the target pallet based on the depth specified by the depth specification section. The plug-in control device according to Item 1. 差込制御装置による差込制御方法であって、
荷役対象物を載置するパレットの画像と、該パレットの種類または奥行きとの対応関係を教師データとして機械学習させた学習済みモデルを用いて、対象パレットを撮影した画像から当該対象パレットの奥行きを特定する奥行き特定ステップと、
上記奥行き特定ステップにおいて特定された上記奥行きに基づき、上記対象パレットに対して荷役作業を行うフォークリフトのフォークの先端部を、上記対象パレットから所定の長さ以上突出することなく差し込むための所定の処理を行う差込制御ステップと、を含んでいることを特徴とする差込制御方法。 An insertion control method by an insertion control device,
The depth of the target pallet is calculated from the image of the target pallet using a learned model in which the correspondence between the pallet image and the type or depth of the pallet is loaded as teacher data. A depth identification step to identify;
Predetermined processing for inserting the front end of a fork of a forklift that performs a cargo handling operation on the target pallet without protruding more than a predetermined length from the target pallet based on the depth specified in the depth specifying step An insertion control step for performing the insertion control method.

Images