JP7513366B2 - Shipment and receipt management system - Google Patents
Shipment and receipt management system Download PDFInfo
- Publication number
- JP7513366B2 JP7513366B2 JP2021205793A JP2021205793A JP7513366B2 JP 7513366 B2 JP7513366 B2 JP 7513366B2 JP 2021205793 A JP2021205793 A JP 2021205793A JP 2021205793 A JP2021205793 A JP 2021205793A JP 7513366 B2 JP7513366 B2 JP 7513366B2
- Authority
- JP
- Japan
- Prior art keywords
- package
- information
- location
- shipping
- luggage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000032258 transport Effects 0.000 claims description 94
- 230000006399 behavior Effects 0.000 claims description 56
- 230000009471 action Effects 0.000 claims description 20
- 230000002787 reinforcement Effects 0.000 claims description 13
- 238000007726 management method Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 230000007704 transition Effects 0.000 description 8
- 230000001934 delay Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
Images
Landscapes
- Warehouses Or Storage Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、荷物の搬送手段の行動を決定する入出荷管理システムに関するものである。 The present invention relates to an inbound/outbound management system that determines the behavior of cargo transport means.
一般に、倉庫内に荷物が入荷されてから出荷されるまでの当該倉庫内における荷物の保管場所は、管理装置が所定のプログラムに従って決定するように構成されている(例えば特許文献1参照)。 In general, the storage location of an item in a warehouse from the time the item arrives at the warehouse until it is shipped is determined by a management device in accordance with a specific program (see, for example, Patent Document 1).
特許文献1の商品配置システムは、出荷数量、出荷量パターン、出荷量ピーク位置の変化量を算出し、当該変化量の大きさに基づいて複数の商品を複数の商品群へと分類するグルーピング手段と、過去の出荷実績に基づいて商品の出荷数量を予測する出荷予測手段と、当該出荷予測手段の出荷予測に基づいて、分類された商品群毎の配置場所、および、複数の商品の配置場所を決定する配置場所決定手段とを有している。
The product placement system of
しかしながら、特許文献1では、商品を効率良く出荷するための物流ロボット(搬送手段)の行動は考慮されておらず、例えば荷物の搬送距離が長かったり搬送経路が混雑したりすることで荷物の搬送に遅延が生じるおそれがあり、出荷予定時刻に荷物を出荷場所に搬送することができない場合があった。
However, in
本発明は、上記事情に鑑みてなされたものであって、荷物の搬送の遅延を抑止することで出荷予定時刻に荷物を出荷場所に搬送できる入出荷管理システムを提供することを課題とする。 The present invention was made in consideration of the above circumstances, and aims to provide an incoming/outgoing management system that can transport packages to the shipping location at the scheduled shipping time by preventing delays in package transport.
上記課題を解決するため、本願発明の入出荷管理システムは、倉庫で保管される荷物に係る荷物情報と、当該荷物を搬送するための搬送手段に係る搬送手段情報とを取得する情報取得部と、前記荷物情報と前記搬送手段情報とに基づいて、強化学習を行うことにより前記搬送手段の行動を決定する行動決定部と、を備え、前記情報取得部は、前記荷物情報として、前記倉庫に入荷されている荷物に係る第1荷物情報と、前記倉庫に入荷される予定の荷物に係る第2荷物情報とを取得し、前記第1荷物情報は、荷物の位置を示す情報と、当該荷物が出荷される出荷予定時間に係る情報と、当該荷物が出荷される出荷場所に係る情報とを含み、前記第2荷物情報は、荷物が入荷される入荷予定時間に係る情報と、当該荷物が入荷される入荷場所に係る情報とを含み、前記搬送手段情報は、前記荷役車両の現在地に係る情報を含み、前記行動決定部は、荷物が当該荷物の出荷予定時間に当該荷物の出荷場所に搬送されているときに報酬を得るものとし、かつ、荷物の入荷予定時間に当該荷物の入荷場所に他の荷物が存在するときに報酬が減らされるものとして、当該報酬を最も大きくする前記搬送手段の行動を決定することを特徴とする。
また、本願発明の入出荷管理システムは、倉庫で保管される荷物に係る荷物情報と、当該荷物を搬送するための搬送手段に係る搬送手段情報とを取得する情報取得部と、前記荷物情報と前記搬送手段情報とに基づいて、強化学習を行うことにより前記搬送手段の行動を決定する行動決定部と、を備え、前記荷物情報は、荷物の位置を示す情報と、当該荷物が出荷される出荷予定時間に係る情報と、当該荷物が出荷される出荷場所に係る情報とを含み、前記搬送手段情報は、前記荷役車両の現在地に係る情報と、前記荷役車両の向きに係る情報と、前記荷役車両の荷役揚高に係る情報とを含み、前記行動決定部は、荷物が当該荷物の出荷予定時間に当該荷物の出荷場所に搬送されているときに報酬を得るものとして、当該報酬を最も大きくする前記荷役車両の行動を決定することを特徴とする。
In order to solve the above problems, the present invention provides an incoming/outgoing management system that includes an information acquisition unit that acquires luggage information related to luggage stored in a warehouse and transport means information related to a transport means for transporting the luggage, and a behavior decision unit that determines the behavior of the transport means by performing reinforcement learning based on the luggage information and the transport means information , and the information acquisition unit acquires, as the luggage information, first luggage information related to luggage that has arrived at the warehouse and second luggage information related to luggage that is scheduled to arrive at the warehouse, and the first luggage information includes information indicating a location of the luggage and a shipping schedule when the luggage will be shipped. The second luggage information includes information relating to time and information relating to the shipping location from which the luggage will be shipped, the second luggage information includes information relating to the scheduled arrival time when the luggage will arrive and information relating to the arrival location where the luggage will arrive, and the transportation means information includes information relating to the current location of the loading vehicle, and the behavior decision unit determines the behavior of the transportation means that maximizes the reward , assuming that a reward is obtained when the luggage is transported to the shipping location of the luggage at the scheduled shipping time of the luggage, and that the reward is reduced when other luggage is present at the arrival location of the luggage at the scheduled arrival time of the luggage.
In addition, the incoming/outgoing management system of the present invention comprises an information acquisition unit that acquires luggage information related to luggage stored in a warehouse and transportation means information related to the transportation means for transporting the luggage, and a behavior decision unit that determines the behavior of the transportation means by performing reinforcement learning based on the luggage information and the transportation means information, wherein the luggage information includes information indicating the location of the luggage, information related to the scheduled shipping time at which the luggage will be shipped, and information related to the shipping location at which the luggage will be shipped, and the transportation means information includes information related to the current location of the loading vehicle, information related to the orientation of the loading vehicle, and information related to the loading lift height of the loading vehicle , and the behavior decision unit determines the behavior of the loading vehicle that will maximize the reward, assuming that a reward is obtained when the luggage is transported to the shipping location of the luggage at the scheduled shipping time of the luggage.
また、前記行動決定部は、荷物が当該荷物の出荷予定時間に当該荷物の出荷場所に搬送されていないときに前記報酬が減らされるものとして、当該報酬を最も大きくする前記荷役車両の行動を決定することが好ましい。 In addition, it is preferable that the behavior decision unit decides on the behavior of the loading vehicle that will maximize the reward, assuming that the reward is reduced when the cargo is not transported to the shipping location of the cargo at the scheduled shipping time of the cargo.
また、前記第2荷物情報は、荷物が出荷される出荷予定時間に係る情報と、当該荷物が出荷される出荷場所に係る情報とをさらに含むことが好ましい。 In addition , it is preferable that the second package information further includes information related to a scheduled shipping time when the package will be shipped, and information related to a shipping location when the package will be shipped.
また、前記行動決定部は、荷物の入荷予定時間に当該荷物の入荷場所に他の荷物が存在するときに前記報酬が減らされるものとして、当該報酬を最も大きくする前記荷役車両の行動を決定することが好ましい。 In addition, it is preferable that the behavior decision unit decides on the behavior of the loading/ unloading vehicle that maximizes the reward, assuming that the reward is reduced when other luggage is present at the arrival location of the luggage at the scheduled arrival time of the luggage.
また、前記行動決定部は、前記荷役車両の行動として、前記倉庫における荷物の保管場所と、当該荷物の入荷場所から保管場所への搬送タイミングと、当該荷物の保管場所から出荷場所への搬送タイミングとを決定することが好ましい。 In addition, it is preferable that the behavior decision unit determines, as the behavior of the loading vehicle , the storage location of the luggage in the warehouse, the timing of transporting the luggage from the receiving location to the storage location, and the timing of transporting the luggage from the storage location to the shipping location.
また、前記行動決定部により決定された行動を前記荷役車両に指令する荷役指令部を備え、前記荷役車両は、前記荷役指令部の指令に基づいて荷物を搬送する無人搬送機であることが好ましい。 It is also preferable that the system further comprises a loading/unloading command unit which commands the loading vehicle to carry out the action determined by the action determination unit, and the loading vehicle is an unmanned transport vehicle which transports luggage based on the command of the loading/unloading command unit.
本発明によれば、荷物の搬送の遅延を抑止することで出荷予定時刻に荷物を出荷場所に搬送できる入出荷管理システムを提供することができる。 The present invention provides an incoming/outgoing management system that can prevent delays in the transport of packages and transport packages to the shipping location at the scheduled shipping time.
図1~3を参照して、本発明の一実施形態に係る入出荷管理システム1を説明する。
図1に示すように、入出荷管理システム1は、荷物Nの入出荷を管理する入出荷管理装置10と、荷物Nの搬送手段である無人搬送機20と、荷物Nを保管するためのラック30とを備えている。
A receipt/
As shown in FIG. 1, the receipt/
入出荷管理装置10は、倉庫Sに入荷された荷物Nが倉庫Sから出荷されるまでの間、当該荷物Nを管理する装置である。入出荷管理装置10は、情報取得部11と、記憶部12と、行動決定部13と、荷役指令部14とを備えている。入出荷管理装置10は、外部端末Tおよび無人搬送機20と通信可能に構成されている。
The incoming/
情報取得部11は、搬送手段情報および荷物情報を取得する装置である。具体的には、例えば、情報取得部11は、無人搬送機20から搬送手段情報を取得する通信装置と、外部サーバー等の外部端末Tから荷物情報を取得する通信装置とにより構成されている。搬送手段情報は、倉庫Sで動作する無人搬送機20に係る情報である。荷物情報は、倉庫Sで保管される荷物Nに係る情報である。荷物情報は、倉庫Sに入荷されている荷物Nに係る第1荷物情報と、倉庫Sに入荷される予定の荷物Nに係る第2荷物情報とを含む。搬送手段情報、第1荷物情報、および、第2荷物情報については、図3を参照して後述する。
The
記憶部12は、情報取得部11で取得した情報を記憶する装置である。記憶部12に記憶された搬送手段情報は、無人搬送機20の現在状況に応じて適宜更新される。同様に、記憶部12に記憶された荷物情報は、荷物Nの現在状況に応じて適宜更新される。
The
また、記憶部12は、行動決定部13の強化学習に係る情報を記憶する。具体的には、記憶部12は、例えば、後述する強化学習の過程で得られた状態遷移確率および報酬が得られる確率を記憶する。記憶部12に記憶された状態遷移確率および報酬が得られる確率は、強化学習の過程で適宜更新される。
The
行動決定部13は、荷物情報と搬送手段情報とに基づいて、強化学習を行うことにより無人搬送機20の行動を決定する装置である。行動決定部13は、評価値である報酬が大きくなる無人搬送機20の行動を決定する。具体的には、行動決定部13は、荷物Nが当該荷物Nの出荷予定時間に当該荷物Nの出荷場所に搬送されているときに報酬を得るものとし、かつ、荷物Nが当該荷物Nの出荷予定時間に当該荷物Nの出荷場所に搬送されていないときに報酬が減らされる(すなわち負の報酬(ペナルティ)を得る)ものとし、かつ、荷物Nの入荷予定時間に当該荷物Nの入荷場所に他の荷物Nが存在するときに報酬が減らされるものとして、当該報酬を最も大きくする無人搬送機20の行動を決定する。具体的には、例えば、行動決定部13は、無人搬送機20の行動として、倉庫Sにおける荷物Nの保管場所または一時保管場所と、当該荷物Nの入荷場所から保管場所または一時保管場所への搬送タイミングと、当該荷物Nの一時保管場所から保管場所への搬送タイミングと、当該荷物Nの保管場所から出荷場所への搬送タイミングとを決定する。
The
荷役指令部14は、行動決定部13により決定された行動を無人搬送機20に指令する装置である。荷役指令部14は、無人搬送機20に対して直接的または間接的に荷役の指令を行う。
The loading and unloading
無人搬送機20は、自律移動可能かつ荷物Nを搬送可能な移動体であって、荷役指令部14の指令に基づいて荷物Nを搬送する。本実施形態では、無人搬送機20は、荷物Nを昇降させるためのフォーク21を備えた無人フォークリフトである。
The
ラック30は、荷物Nの保管場所に設けられた架台である。ラック30は、荷物Nを支持するための棚31を備えている。
The
図2を参照して、無人搬送機20が荷役を行う倉庫Sの環境の一例を説明する。
図2に示すように、倉庫Sには、例えば、入荷場所R1~R3と、保管場所K1~K60と、一時保管場所T1~T3と、出荷場所F1~F3とが設けられている。
An example of the environment of a warehouse S in which the automated guided
As shown in FIG. 2, a warehouse S is provided with, for example, receiving locations R1 to R3, storage locations K1 to K60, temporary storage locations T1 to T3, and shipping locations F1 to F3.
入荷場所R1~R3は、倉庫Sに入荷された荷物Nが置かれる場所である。入荷場所R1~R3に置かれた荷物Nは、無人搬送機20により空いている保管場所K1~K60または一時保管場所T1~T3に搬送される。
The receiving locations R1 to R3 are locations where luggage N that arrives at the warehouse S is placed. The luggage N placed at the receiving locations R1 to R3 is transported by the automated guided
保管場所K1~K60は、倉庫S内で荷物Nを保管する場所である。保管場所K1~K60に置かれた荷物Nは、当該荷物Nが出荷される際に、無人搬送機20により出荷場所F1~F3に搬送される。保管場所K1~K60には、ラック30が設けられており、保管場所K1~K60の各々は、ラック30の棚31により区切られた複数段の保管場所S1~S3(図1参照)を含んでいる。
Storage locations K1 to K60 are locations within warehouse S where luggage N is stored. When luggage N placed in storage locations K1 to K60 is shipped, it is transported by automated guided
一時保管場所T1~T3は、荷物Nを一時的に保管する場所である。一時保管場所T1~T3に置かれた荷物Nは、無人搬送機20により空いている保管場所K1~K60に搬送される。入荷場所R1~R3での混雑を解消するためには、一時保管場所T1~T3は、空いている保管場所K1~K60に比べて入荷場所R1~R3の近くに位置することが好ましい。
The temporary storage locations T1 to T3 are locations where luggage N is temporarily stored. The luggage N placed in the temporary storage locations T1 to T3 is transported by the automated guided
出荷場所F1~F3は、倉庫Sから出荷される荷物Nが置かれる場所である。出荷場所F1~F3に置かれた荷物Nは、無人搬送機20と異なる他の搬送手段(図示略)により倉庫S外に搬送される。
Shipping locations F1 to F3 are locations where packages N to be shipped from warehouse S are placed. Packages N placed at shipping locations F1 to F3 are transported outside warehouse S by transport means (not shown) other than automated guided
図3(A)~(C)を参照して、無人搬送機20の行動を決定するための情報について説明する。図3(A)は、無人搬送機20に係る情報である搬送手段情報の一例を示している。図3(B)は、倉庫Sに入荷されている荷物Nに係る情報である第1荷物情報の一例を示している。図3(C)は、倉庫Sに入荷される予定の荷物Nに係る情報である第2荷物情報の一例を示している。
The information for determining the behavior of the
図3(A)に示すように、搬送手段情報は、例えば、無人搬送機20の現在状況、無人搬送機20の現在地、無人搬送機20の向き、および、無人搬送機20の荷役揚高に係る情報を含んでいる。無人搬送機20の現在状況は、無人搬送機20が荷物Nを搬送しているか否かを示す。無人搬送機20の現在地は、倉庫S内における無人搬送機20の位置を示し、無人搬送機20の向きは、基準方向に対する無人搬送機20の姿勢角を示し、無人搬送機20の荷役揚高は、当該無人搬送機20が備えるフォーク21の揚高を示す。
As shown in FIG. 3(A), the transport means information includes, for example, information related to the current status of the
無人搬送機20の現在地(位置)、向き(姿勢角)、および、荷役揚高(フォーク21の揚高)は、それぞれ、マルコフ決定過程の有限な状態集合の要素であり、無人搬送機20の状態を離散的に表している。無人搬送機20の位置は、無人搬送機20の走行可能な複数のルートを所定の走行所要時間tで区切った離散化地点として表されている。無人搬送機20の位置を示し得る離散化地点は、複数のルートの分岐地点を必ず含むように構成されている。具体的には、例えば、図2中の一点鎖線が無人搬送機20の走行可能なルートを示しており、当該一点鎖線を結ぶ黒点が、無人搬送機20の位置を示し得る離散化地点である。また、フォーク21の揚高は、例えば、棚31の高さに応じて離散化されている。
The current location (position), orientation (attitude angle), and loading height (height of the forks 21) of the
図3(B)に示すように、第1荷物情報は、例えば、個々の荷物Nを識別するための識別子、荷物Nの現在状況、荷物Nの入荷場所、荷物Nの一時保管場所、荷物Nの保管場所、荷物Nが出荷される出荷予定時間、および、荷物Nが出荷される出荷場所に係る情報を含んでいる。荷物Nの現在状況は、荷物Nの位置を示す。荷物Nの位置は、荷物Nの現在状況が搬送中である場合は荷物Nを搬送している無人搬送機20の現在地であり、荷物Nの現在状況が未保管である場合は荷物Nの入荷場所であり、荷物Nの現在状況が一時保管中である場合は荷物Nの一時保管場所であり、荷物Nの現在状況が保管中である場合は荷物Nの保管場所である。出荷予定時間は、出荷予定時刻までの残り時間を示す。
As shown in FIG. 3(B), the first parcel information includes, for example, an identifier for identifying each parcel N, the current status of parcel N, the arrival location of parcel N, the temporary storage location of parcel N, the storage location of parcel N, the scheduled shipping time at which parcel N will be shipped, and information related to the shipping location at which parcel N will be shipped. The current status of parcel N indicates the position of parcel N. The position of parcel N is the current location of the
図3(C)に示すように、第2荷物情報は、例えば、個々の荷物Nを識別するための識別子、荷物Nが入荷される入荷予定時間、荷物Nが入荷される入荷場所、荷物Nが出荷される出荷予定時間、および、荷物Nが出荷される出荷場所に係る情報を含んでいる。入荷予定時間は、入荷予定時刻までの残り時間を示し、出荷予定時間は、出荷予定時刻までの残り時間を示す。 As shown in FIG. 3(C), the second parcel information includes, for example, an identifier for identifying each parcel N, the scheduled arrival time of parcel N, the arrival location where parcel N will arrive, the scheduled shipping time of parcel N, and the shipping location where parcel N will be shipped. The scheduled arrival time indicates the time remaining until the scheduled arrival time, and the scheduled shipping time indicates the time remaining until the scheduled shipping time.
荷物Nの位置(すなわち、荷物Nを搬送中の無人搬送機20の現在地、荷物Nの保管場所、荷物の一時保管場所)、荷物Nの入荷場所、荷物Nの出荷場所、荷物Nの入荷予定時間、および、荷物Nの出荷予定時間は、それぞれ、マルコフ決定過程の有限な状態集合の要素であり、荷物Nの状態を離散的に表している。荷物Nの入荷予定時間および出荷予定時間は、それぞれ、無人搬送機20の位置を示し得る離散化地点の間隔に対応する走行所要時間tで離散化されている。
The position of luggage N (i.e., the current location of the
以上のように構成された入出荷管理システム1において、強化学習を行う行動決定部13は、マルコフ決定過程として定式化される環境において、現在の状態s(情報取得部11で取得した情報が示す状態)を観測し、新たな状態s’に遷移させる行動a(すなわち無人搬送機20の行動)を決定する。このとき、状態s’への遷移に対応した報酬が発生し、遷移後の状態s’および報酬は、現在の状態sと行動aに依存する。行動aは、例えば、任意の離散化地点を経由した他の離散化地点への移動(走行)、姿勢角の変更(旋回)、荷役揚高の変更(フォーク21の昇降)、または、これらの組み合わせである。マルコフ決定過程は、価値反復法または方策反復法により解くことができ、強化学習アルゴリズムとしては、例えば、価値反復法の強化学習版であるQ学習アルゴリズム等を採用することができる。
In the thus configured receiving/
報酬を最も大きくするように(すなわち報酬の低下を回避するように)行動aが決定されることで、例えば、無人搬送機20が以下の行動(A)~(C)をとることが期待される。
(A)荷物Nの出荷が多いことに起因して保管場所K1~K30と出荷場所F1~F3との往復の頻度が高くなるとき、出荷場所F1~F3から比較的遠い保管場所K1~K30の荷物Nを、荷物Nの出荷に先立って、出荷場所F1~F3から比較的近い保管場所K31~K60に予め搬送する。
(B)荷物Nの入荷が多いことに起因して入荷場所R1~R3から保管場所K1~K60への荷捌きが遅くなるとき、入荷場所R1~R3から一時保管場所T1~T3に荷物Nを搬送し、その後、荷物Nの入荷が少なくなったときに一時保管場所T1~T3から保管場所K1~K60に荷物Nを搬送する。
(C)荷物Nの入荷が多いことに起因して入荷場所R1~R3から保管場所K31~K60への荷捌きが遅くなるとき、入荷場所R1~R3から比較的近い保管場所K1~K30に荷物Nを搬送し、その後、荷物Nの入荷が少なくなったときに保管場所K1~K30から保管場所K31~K60に荷物Nを搬送する。
By determining the action a so as to maximize the reward (i.e. so as to avoid a decrease in the reward), it is expected that the
(A) When the frequency of trips between storage locations K1-K30 and shipping locations F1-F3 increases due to a large number of shipments of luggage N, luggage N stored in storage locations K1-K30 that are relatively far from the shipping locations F1-F3 is transported in advance to storage locations K31-K60 that are relatively close to the shipping locations F1-F3 prior to the shipment of luggage N.
(B) When the handling of goods from the receiving locations R1 to R3 to the storage locations K1 to K60 becomes slow due to a large amount of incoming goods N, the goods N are transported from the receiving locations R1 to R3 to the temporary storage locations T1 to T3, and then, when the amount of incoming goods N decreases, the goods N are transported from the temporary storage locations T1 to T3 to the storage locations K1 to K60.
(C) When the handling of cargo from the receiving locations R1 to R3 to the storage locations K31 to K60 becomes slow due to a large amount of cargo N arriving, the cargo N is transported to the storage locations K1 to K30 which are relatively close to the receiving locations R1 to R3, and then, when the amount of cargo N arriving decreases, the cargo N is transported from the storage locations K1 to K30 to the storage locations K31 to K60.
本実施形態では以下の効果が得られる。
(1)荷物情報は、荷物Nが出荷される出荷予定時間に係る情報と、当該荷物Nが出荷される出荷場所に係る情報を含み、荷物情報等に基づいて強化学習を行う行動決定部13は、荷物Nが当該荷物Nの出荷予定時間に当該荷物Nの出荷場所に搬送されているときに報酬を得るものとして、当該報酬を最も大きくする無人搬送機20の行動を決定する。この構成によれば、行動決定部13の強化学習により無人搬送機20の行動が決定されるため、商品を効率良く出荷するためのプログラムを環境に合わせて作成する手間を省くことができ、無人搬送機20が、行動決定部13により決定された行動をとることで、出荷場所F1~F3への荷物Nの搬送の遅延を抑止することができ、出荷予定時刻に荷物Nを出荷場所F1~F3に搬送できる。
The present embodiment provides the following effects.
(1) The parcel information includes information on the scheduled shipping time when the parcel N is to be shipped and information on the shipping location from which the parcel N is to be shipped, and the
(2)行動決定部13は、荷物Nが当該荷物Nの出荷予定時間に当該荷物Nの出荷場所に搬送されていないときに報酬が減らされるものとして、当該報酬を最も大きくする無人搬送機20の行動を決定する。この構成によれば、出荷場所F1~F3への荷物Nの搬送の遅延を一層抑止することができる。
(2) The
(3)情報取得部11は、倉庫Sに入荷されている荷物Nに係る第1荷物情報と、倉庫Sに入荷される予定の荷物Nに係る第2荷物情報とを取得する。この構成によれば、行動決定部13は、倉庫Sに入荷される予定の荷物Nに係る情報に基づいて、例えば入荷場所R1~R3での荷捌きを早くなるような無人搬送機20の行動を決定することが可能となる。
(3) The
(4)行動決定部13は、荷物Nの入荷予定時間に当該荷物Nの入荷場所に他の荷物Nが存在するときに報酬が減らされるものとして、当該報酬を最も大きくする無人搬送機20の行動を決定する。すなわち、入荷場所が同じあって入荷予定時間の異なる2つの荷物Nのうち、入荷予定時間の早い方を荷物Aとし、入荷予定時間の遅い方を荷物Bとしたとき、行動決定部13は、荷物Bの入荷予定時間に荷物Aが入荷場所から他の場所に搬送されていないときに報酬が減らされるものとして、当該報酬を最も大きくする無人搬送機20の行動を決定する。この構成によれば、例えば入荷場所R1~R3から保管場所K1~K60または一時保管場所T1~T3への荷物Nの搬送の遅延を抑止することができる。
(4) The
(5)行動決定部13は、無人搬送機20の行動として、倉庫Sにおける荷物Nの保管場所と、当該荷物Nの入荷場所から保管場所への搬送タイミングと、当該荷物Nの保管場所から出荷場所への搬送タイミングとを決定する。この構成によれば、倉庫Sにおける荷物Nの保管場所等を決定するプログラムを作成する必要がなくなる。
(5) The
(6)入出荷管理システム1は、行動決定部13により決定された行動を無人搬送機20に指令する荷役指令部14を備える。この構成によれば、荷役指令部14の指令に基づいて動作する無人搬送機20により、荷物Nが自動的に搬送される。
(6) The incoming/
本発明は、上記実施形態に限定されるものではなく、上記構成を変更することもできる。例えば、以下のように変更して実施することもでき、以下の変更を組み合わせて実施することもできる。 The present invention is not limited to the above embodiment, and the above configuration can be modified. For example, the following modifications can be implemented, or the following modifications can be combined to implement the present invention.
・入出荷管理システム1は、複数の無人搬送機20を備えていてもよい。この場合、搬送手段情報は、個々の無人搬送機20を識別するための識別子に係る情報を含み、荷物情報および搬送手段情報の少なくとも一方は、荷物Nと当該荷物Nを搬送する無人搬送機20とを関連付ける情報を含む。このような構成では、例えば、無人搬送機20が以下の行動(D)をとることが期待される。
(D)荷物Nの入荷が多いことに起因して入荷場所R1~R3が混雑するとき、入荷場所R1~R3から一時保管場所T1~T3に荷物Nを搬送し、その後、荷物Nの入荷が少なくなったときに一時保管場所T1~T3から保管場所K1~K60に荷物Nを搬送する。
The receipt-
(D) When the receiving locations R1 to R3 become congested due to a large amount of incoming luggage N, the luggage N is transported from the receiving locations R1 to R3 to the temporary storage locations T1 to T3, and then, when the amount of incoming luggage N decreases, the luggage N is transported from the temporary storage locations T1 to T3 to the storage locations K1 to K60.
・無人搬送機20は、無人フォークリフト以外の荷役車両であってもよい。また、搬送手段は、無人搬送機20に限定されず、行動決定部13により決定された行動をとる作業者であってもよい。この場合、搬送手段としての作業者は、行動決定部13により決定された行動を提示する装置(例えば映像を出力する表示装置)を参照し、その提示に従って荷物Nの搬送を行う。
- The
・状態sに係る情報(すなわり、無人搬送機20に係る情報、および、荷物Nに係る情報)は、上記実施形態で挙げた情報に限られず、他の情報を含んでいてもよい。すなわち、無人搬送機20に係る状態集合の要素、および、荷物Nに係る状態集合の要素は、上記実施形態に記載の要素のみに限定されない。例えば、無人搬送機20が、フォーク21を前後に移動させるリーチ機構を備えたフォークリフトである場合は、搬送手段情報にフォーク21の前後位置に係る情報を含むことが好ましく、フォーク21を前後に傾斜させるチルト機構を備えたフォークリフトである場合は、搬送手段情報にフォーク21の傾斜角に係る情報を含むことが好ましく、フォーク21を回転させるローテート機構を備えたフォークリフトである場合は、搬送手段情報にフォーク21の回転角に係る情報を含むことが好ましい。また、例えば、無人搬送機20が、昇降可能なステージを備えた無人搬送車(AGV)である場合は、搬送手段情報にステージの揚高に係る情報を含むことが好ましく、ロボットアームを備えた無人搬送車である場合は、搬送手段情報にロボットアームの状態を示す情報を含むことが好ましい。これらの情報により表される無人搬送機20に係る状態は、無人搬送機20の全状態の集合(マルコフ決定過程で扱うことができない連続的な要素を含む)をXとし、Xの部分集合であり要素数が有限の集合をXsubとしたとき、Xsubに含まれる状態から同じくXsubに含まれる状態に遷移し、かつ、遷移後に別の状態に遷移である(すなわち袋小路にならない)ことが要求される。このように、搬送手段情報に荷役装置に係る情報を拡張的に含めることで、マルコフ決定過程における状態sに係る相空間を高次元化することができる。
- Information related to state s (i.e., information related to the unmanned conveying
1 入出荷管理システム
10 入出荷管理装置
11 情報取得部
12 記憶部
13 行動決定部
14 荷役指令部
20 無人搬送機
21 フォーク
30 ラック
31 棚
N 荷物
S 倉庫
T 外部端末
R1~R3 入荷場所
K1~K60,S1~S3 保管場所
T1~T3 一時保管場所
F1~F3 出荷場所
Reference Signs List 1: Incoming/Outgoing Management System 10: Incoming/Outgoing Management Device 11: Information Acquisition Unit 12: Memory Unit 13: Action Decision Unit 14: Loading/Unloading Command Unit 20: Automated Guided Vehicle 21: Fork 30: Rack 31: Shelf N: Baggage S: Warehouse T: External Terminals R1 to R3: Receiving Locations K1 to K60, S1 to S3: Storage Locations T1 to T3: Temporary Storage Locations F1 to F3: Shipping Location
Claims (6)
前記荷物情報と前記搬送手段情報とに基づいて、強化学習を行うことにより前記荷役車両の行動を決定する行動決定部と、を備え、
前記情報取得部は、前記荷物情報として、前記倉庫に入荷されている荷物に係る第1荷物情報と、前記倉庫に入荷される予定の荷物に係る第2荷物情報とを取得し、
前記第1荷物情報は、荷物の位置を示す情報と、当該荷物が出荷される出荷予定時間に係る情報と、当該荷物が出荷される出荷場所に係る情報とを含み、
前記第2荷物情報は、荷物が入荷される入荷予定時間に係る情報と、当該荷物が入荷される入荷場所に係る情報とを含み、
前記搬送手段情報は、前記荷役車両の現在地に係る情報を含み、
前記行動決定部は、荷物が当該荷物の出荷予定時間に当該荷物の出荷場所に搬送されているときに報酬を得るものとし、かつ、荷物の入荷予定時間に当該荷物の入荷場所に他の荷物が存在するときに報酬が減らされるものとして、当該報酬を最も大きくする前記荷役車両の行動を決定する
ことを特徴とする入出荷管理システム。 an information acquisition unit that acquires baggage information related to the baggage stored in the warehouse and transport means information related to a loading vehicle that is a transport means for transporting the baggage;
a behavior determination unit that determines a behavior of the cargo handling vehicle by performing reinforcement learning based on the baggage information and the transportation means information,
The information acquisition unit acquires, as the package information, first package information relating to packages that have arrived at the warehouse and second package information relating to packages that are scheduled to arrive at the warehouse;
The first package information includes information indicating a package location, information related to a scheduled shipping time when the package will be shipped, and information related to a shipping location when the package will be shipped,
The second package information includes information on a scheduled arrival time of the package and information on a place where the package will be delivered,
The transportation means information includes information related to a current location of the cargo handling vehicle,
The behavior decision unit determines the behavior of the loading/unloading vehicle that maximizes the reward when a package is transported to a shipping location of the package at the scheduled shipping time of the package, and when another package is present at the receiving location of the package at the scheduled arrival time of the package, the reward is reduced.
前記荷物情報と前記搬送手段情報とに基づいて、強化学習を行うことにより前記荷役車両の行動を決定する行動決定部と、を備え、
前記荷物情報は、荷物の位置を示す情報と、当該荷物が出荷される出荷予定時間に係る情報と、当該荷物が出荷される出荷場所に係る情報とを含み、
前記搬送手段情報は、前記荷役車両の現在地に係る情報と、前記荷役車両の向きに係る情報と、前記荷役車両の荷役揚高に係る情報とを含み、
前記行動決定部は、荷物が当該荷物の出荷予定時間に当該荷物の出荷場所に搬送されているときに報酬を得るものとして、当該報酬を最も大きくする前記荷役車両の行動を決定する
ことを特徴とする入出庫管理システム。 an information acquisition unit that acquires baggage information related to the baggage stored in the warehouse and transport means information related to a loading vehicle that is a transport means for transporting the baggage;
a behavior determination unit that determines a behavior of the cargo handling vehicle by performing reinforcement learning based on the baggage information and the transportation means information,
The package information includes information indicating a package location, information related to a scheduled shipping time when the package will be shipped, and information related to a shipping location when the package will be shipped,
The transport means information includes information related to a current location of the cargo handling vehicle, information related to a direction of the cargo handling vehicle, and information related to a cargo handling lift height of the cargo handling vehicle,
The behavior decision unit decides the behavior of the loading and unloading vehicle that maximizes the reward, assuming that the reward is obtained when the cargo is transported to the shipping location of the cargo at the scheduled shipping time of the cargo.
A warehouse entry/exit management system characterized by the above .
ことを特徴とする請求項1または2に記載の入出荷管理システム。 The incoming/outgoing management system according to claim 1 or 2, characterized in that the action decision unit decides on an action of the loading/unloading vehicle that maximizes the reward, assuming that the reward is reduced when the cargo is not transported to the shipping location of the cargo at the scheduled shipping time of the cargo.
ことを特徴とする請求項1に記載の入出荷管理システム。 The receiving/shipping management system according to claim 1 , wherein the second package information further includes information on a scheduled shipping time when the package is to be shipped, and information on a shipping location where the package is to be shipped.
ことを特徴とする請求項1~4のいずれか一項に記載の入出荷管理システム。 The incoming/outgoing management system according to any one of claims 1 to 4, characterized in that the behavior decision unit determines, as the behavior of the loading vehicle, a storage location of the luggage in the warehouse, a transport timing of the luggage from the receiving location to the storage location, and a transport timing of the luggage from the storage location to the shipping location.
前記荷役車両は、前記荷役指令部の指令に基づいて荷物を搬送する無人搬送機である
ことを特徴とする請求項1~5のいずれか一項に記載の入出荷管理システム。 a loading command unit that commands the loading vehicle to take the action determined by the action determination unit;
The receiving/shipping management system according to any one of claims 1 to 5, characterized in that the cargo handling vehicle is an unmanned guided vehicle that transports cargo based on instructions from the cargo handling command department.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021205793A JP7513366B2 (en) | 2021-12-20 | 2021-12-20 | Shipment and receipt management system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021205793A JP7513366B2 (en) | 2021-12-20 | 2021-12-20 | Shipment and receipt management system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023091181A JP2023091181A (en) | 2023-06-30 |
JP7513366B2 true JP7513366B2 (en) | 2024-07-09 |
Family
ID=86941180
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021205793A Active JP7513366B2 (en) | 2021-12-20 | 2021-12-20 | Shipment and receipt management system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7513366B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013147301A (en) | 2012-01-17 | 2013-08-01 | Hitachi Plant Technologies Ltd | Fork lift truck, and operation management system for the same |
JP2015138321A (en) | 2014-01-21 | 2015-07-30 | Jfeスチール株式会社 | Operation support system for production/logistics facilities |
JP2016222455A (en) | 2015-06-04 | 2016-12-28 | Jfeスチール株式会社 | Device and method for decision of cargo handling operation |
JP2020050479A (en) | 2018-09-26 | 2020-04-02 | 株式会社日立製作所 | Article transport system |
WO2020225995A1 (en) | 2019-05-08 | 2020-11-12 | 三菱電機株式会社 | Process management device, process management method, process management program, and machine learning device |
JP2021120784A (en) | 2020-01-30 | 2021-08-19 | 三菱重工業株式会社 | Arrangement planning system, arrangement planning method, and program |
-
2021
- 2021-12-20 JP JP2021205793A patent/JP7513366B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013147301A (en) | 2012-01-17 | 2013-08-01 | Hitachi Plant Technologies Ltd | Fork lift truck, and operation management system for the same |
JP2015138321A (en) | 2014-01-21 | 2015-07-30 | Jfeスチール株式会社 | Operation support system for production/logistics facilities |
JP2016222455A (en) | 2015-06-04 | 2016-12-28 | Jfeスチール株式会社 | Device and method for decision of cargo handling operation |
JP2020050479A (en) | 2018-09-26 | 2020-04-02 | 株式会社日立製作所 | Article transport system |
WO2020225995A1 (en) | 2019-05-08 | 2020-11-12 | 三菱電機株式会社 | Process management device, process management method, process management program, and machine learning device |
JP2021120784A (en) | 2020-01-30 | 2021-08-19 | 三菱重工業株式会社 | Arrangement planning system, arrangement planning method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2023091181A (en) | 2023-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11905058B2 (en) | Automated retail supply chain and inventory management system | |
US11498765B2 (en) | Warehousing and order fulfillment systems and methods | |
CN111344726B (en) | Method and system for dynamic truck routing between automated facilities | |
US10087000B2 (en) | Pallet-conveyor system | |
US20220227582A1 (en) | Method and control system for preparing orders of goods stored in an automated storage system | |
US8311902B2 (en) | System and method for filling an order | |
US20160347545A1 (en) | Intermediate holding facility for picking station | |
KR20210008170A (en) | Optimization of warehouse layout based on customizable goals | |
KR20230042147A (en) | Parcel sorter system and method | |
US20210371204A1 (en) | Systems and methods for high-speed warehouse order sortation | |
CN112387603B (en) | Logistics system for sorting mass commodities and sorting method | |
JP7513366B2 (en) | Shipment and receipt management system | |
JP2023522087A (en) | Inventory control method and system | |
JP2005089069A (en) | Article receiving and shipping control system | |
JP2004001944A (en) | Storage/retrieval control method and device and automatic warehouse having the storage/retrieval control device | |
JP2022001534A (en) | Distribution mechanism | |
CN115504140A (en) | Cargo management method and cargo management system | |
JPH1017119A (en) | Stock managing method for merchandise in automatic warehouse | |
JP2000255720A (en) | Automated storage system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240419 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240626 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240626 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7513366 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |