JP6534126B2 - ピッキングシステム及びその制御方法 - Google Patents

ピッキングシステム及びその制御方法 Download PDF

Info

Publication number
JP6534126B2
JP6534126B2 JP2016227189A JP2016227189A JP6534126B2 JP 6534126 B2 JP6534126 B2 JP 6534126B2 JP 2016227189 A JP2016227189 A JP 2016227189A JP 2016227189 A JP2016227189 A JP 2016227189A JP 6534126 B2 JP6534126 B2 JP 6534126B2
Authority
JP
Japan
Prior art keywords
picking
unit
learning
picking robot
remote control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016227189A
Other languages
English (en)
Other versions
JP2018083246A (ja
Inventor
石川 武志
武志 石川
松川 善彦
善彦 松川
水野 修
修 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016227189A priority Critical patent/JP6534126B2/ja
Priority to US16/334,806 priority patent/US11185979B2/en
Priority to PCT/JP2017/039705 priority patent/WO2018096902A1/ja
Priority to CN201780070057.0A priority patent/CN109937118B/zh
Publication of JP2018083246A publication Critical patent/JP2018083246A/ja
Application granted granted Critical
Publication of JP6534126B2 publication Critical patent/JP6534126B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085Force or torque sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Manipulator (AREA)

Description

本発明は、ピッキングシステム及びその制御方法に関する。
従来、ロボットによりピッキングを行う技術が知られている。また、遠隔操作によりピッキングを行う技術も知られている(例えば、特許文献1参照)。
特開2010−89211号公報
このようなピッキングシステムでは、自動化により操作者の手間を減らせることが望まれている。しかしながら、対象物品の種別が少ない場合には、種別毎にティーチングを行うことで自動化を実現できる可能性があるが、対象物品の種別が多い場合には、ティーチングのコストが膨大となるという課題がある。例えば、物流センターでは、数万アイテムのピッキングが行われており、これらの全てに対してティーチングを行うことは現実的ではない。
そこで、本発明は、コストの増加を抑制しつつ、操作者の手間を低減できるピッキングシステム又はその制御方法を提供することを目的とする。
上記目的を達成するために、本発明の一態様に係るピッキングシステムは、対象物を把持するためのピッキングロボットと、前記ピッキングロボットを操作者が遠隔操作するための操作部と、前記遠隔操作により前記対象物が把持された際の前記ピッキングロボットの動きを学習する学習部と、前記学習部の学習結果に基づき、前記遠隔操作を補助する補助部とを備える。
本発明は、コストの増加を抑制しつつ、操作者の手間を低減できるピッキングシステム又はその制御方法を提供できる。
図1は、実施の形態1に係るピッキングシステムの構成を示す図である。 図2は、実施の形態1に係るピッキングロボットの構成を示す図である。 図3は、実施の形態1に係る遠隔操作装置の構成を示す図である。 図4は、実施の形態1に係るピッキング処理のフローチャートである。 図5は、実施の形態1に係るピッキングリストの一例を示す図である。 図6は、実施の形態1に係るピッキングロボットの動作を示す図である。 図7は、実施の形態1に係る学習処理のフローチャートである。 図8は、実施の形態1に係る学習に用いられる動作履歴の構成を示す図である。 図9は、実施の形態1に係る学習結果に基づく制御情報の構成を示す図である。 図10は、実施の形態1に係る学習動作を説明するための図である。 図11は、実施の形態1に係る学習動作を説明するための図である。 図12は、実施の形態2に係る学習処理のフローチャートである。 図13は、実施の形態2に係る表示画面例を示す図である。 図14は、実施の形態3に係る課金システムを説明するための図である。
本発明の一態様に係るピッキングシステムは、対象物を把持するためのピッキングロボットと、前記ピッキングロボットを操作者が遠隔操作するための操作部と、前記遠隔操作により前記対象物が把持された際の前記ピッキングロボットの動きを学習する学習部と、前記学習部の学習結果に基づき、前記遠隔操作を補助する補助部とを備える。
これによれば、学習結果を用いて遠隔操作を補助できるので、操作者の作業効率を向上できる。また、学習を用いることでティーチングが不要となり、対象物品の種別が多い場合におけるコストの増加を抑制できる。このように、当該ピッキングシステムは、コストの増加を抑制しつつ、操作者の手間を低減できる。
例えば、前記ピッキングロボットは、アーム部と、前記アーム部に接続され、前記対象物を把持する把持部とを備え、前記補助部は、前記学習結果に基づき、前記把持部が前記対象物の近傍まで移動するように、前記アーム部を自動操縦してもよい。
これによれば、学習結果を用いてピッキングロボットによるピッキング動作の少なくとも一部を自動化できるので、操作者の作業量を低減できる。
例えば、前記ピッキングロボットは、アーム部と、前記アーム部に接続され、前記対象物を把持する把持部とを備え、前記補助部は、前記学習結果に基づき、前記把持部を前記対象物の近傍に誘導する情報を前記操作者に提示してもよい。
これによれば、学習結果を用いて操作者の作業を補助できるので、操作者の作業時間を短縮できる。
例えば、前記学習部は、前記対象物の種別毎に、当該対象物が把持された際の前記ピッキングロボットの動きを学習してもよい。
これによれば、対象物品の種別が多い場合にも効率的に学習を行うことができる。
例えば、前記ピッキングシステムは、さらに、前記対象物を撮影するカメラを備え、前記学習部は、時系列に得られる、前記カメラで得られた画像と、前記遠隔操作時の前記ピッキングロボットの動作状態とを用いて、前記対象物が把持された際の前記ピッキングロボットの動きを学習してもよい。
例えば、前記ピッキングロボットの前記動作状態は、前記ピッキングロボットの関節のトルク及び角度を含んでもよい。
また、本発明の一態様に係る制御方法は、対象物を把持するためのピッキングロボットと、前記ピッキングロボットを操作者が遠隔操作するための操作部とを含むピッキングシステムの制御方法であって、前記遠隔操作により前記対象物が把持された際の前記ピッキングロボットの動きを学習する学習ステップと、前記学習ステップの学習結果に基づき、前記遠隔操作を補助する補助ステップとを含む。
これによれば、学習結果を用いて遠隔操作を補助できるので、操作者の作業効率を向上できる。また、学習を用いることでティーチングが不要となり、対象物品の種別が多い場合におけるコストの増加を抑制できる。このように、当該制御方法は、コストの増加を抑制しつつ、操作者の手間を低減できる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
まず、本実施の形態に係るピッキングシステム100の構成を説明する。図1は、本実施の形態に係るピッキングシステム100の構成を示す図である。ピッキングシステム100は、例えば、物流センター等において、対象物をピッキングするためのシステムであり、複数のピッキングロボット101と、複数のカメラ102と、複数の遠隔操作装置103と、サーバ104とを備える。これらの装置は、例えば、互いにネットワークを介して接続されている。具体的には、サーバ104は、複数の遠隔操作装置103に接続されており、各遠隔操作装置103は、1又は複数のピッキングロボット101及び1又は複数のカメラ102に接続されている。
複数のピッキングロボット101及び複数のカメラ102は、例えば、物流センター内に配置されている。図2は、ピッキングロボット101の構成例を示す図である。図2に示すように、ピッキングロボット101は、移動部131と、アーム部132と、把持部133と、搬送部134とを含む。
移動部131は、ピッキングロボット101を移動させるための機構である。なお、図2では、物流センター内の上部に設置されているレールに沿って移動を行う構成を示しているが、移動部131の構成はこれに限らない。例えば、床側にレールが設けられていてもよいし、レールを用いず、車輪等で床上を移動する構成が用いられてもよい。
アーム部132は、例えば、多関節のロボットアームであり、所定の距離内において把持部133を任意の位置に移動可能である。
把持部133は、アーム部132の先端に接続されており、対象物を把持する。なお、図2では、把持部133として対象物を挟み込む構成を示しているが、対象物を把持できる構成であればよく、例えば、対象物に吸着する構成であってもよい。
搬送部134は、例えば、物流センター内を移動可能であり、搬送箱135を搬送する。
なお、ここで示すピッキングロボット101の構成は一例であり、本発明は、これに限定されるものではない。
カメラ102は、例えば、物流センター内に設置されており、対象物、又はピッキングロボット101を撮影する。なお、カメラ102の数は任意でよい。また、各カメラ102は、固定カメラであってもよいし、ピッキングロボット101に搭載されていてもよい。
各遠隔操作装置103は、例えば、操作者(ピッカーとも呼ぶ)により操作されるパーソナルコンピュータであり、操作者の自宅等に設置されている。なお、遠隔操作装置103の設置場所は、物流センター内、又は物流センター以外の建物内等、任意の場所でよい。この遠隔操作装置103は、操作部111と、表示部112と、補助部113とを備える。
操作部111は、操作者が用いる入力インタフェースであり、例えば、図3に示すように、複数の操作レバー等を含む。表示部112は、カメラ102で撮影された映像を表示するディスプレイである。補助部113は、後述する学習結果等に基づき、遠隔操作を補助する。具体的には、補助部113は、学習結果等に基づき、ピッキングロボット101を自動操縦する。
サーバ104は、記録部121と、学習部122とを備える。記録部121は、遠隔操作装置103による遠隔操作時のピッキングロボット101の動作を示す動作履歴を蓄積する記録データベースである。学習部122は、蓄積された動作履歴に基づきピッキングロボットの動きを学習する。
以下、このように構成されるピッキングシステム100における動作を説明する。図4は、ピッキングシステム100におけるピッキング処理の流れを示すフローチャートである。
まず、遠隔操作装置103は、ピッキングする物品のリストであるピッキングリストを取得する(S101)。図5は、このピッキングリストの構成例を示す図である。図5に示すように、ピッキングリストは、ピッキング対象の物品を特定するための情報(品名、品番、及びJANコード)と、ピッキングする物品の個数と、物品が存在する場所と、物品のサイズと、物品の重さとを示す。なお、これらの情報の全てがピッキングリストに含まれる必要はなく、一部の情報のみが含まれてもよい。
次に、遠隔操作装置103は、ピッキングリストから一つの物品を対象物として選択する(S102)。例えば、遠隔操作装置103は、ピッキングリストの上から順に物品を選択してもよいし、移動距離が最短となるように順次物品を選択してもよい。
次に、遠隔操作装置103は、移動部131を自動操縦することにより、ピッキングロボット101を対象物が格納されている棚の前まで移動させる(S103:図6(a))。具体的には、遠隔操作装置103は、ピッキングリストを参照し、対象物の保管場所を特定し、当該保管場所にピッキングロボット101を移動させる。
次に、遠隔操作装置103は、把持部133が対象物の近傍まで移動するように、アーム部132を自動操縦する(S104:図6(b))。例えば、ピッキングリストにより、対象物の保管場所として、棚の位置と、その棚における対象物の格納場所(例えば2段目の右側等)が示される。この場合、遠隔操作装置103は、格納場所(例えば2段目の右側等)の近傍まで把持部133を移動させる。
次に、遠隔操作装置103は、ピッキングロボット101の操縦方法を自動操縦から手動操縦に切り替える。そして、遠隔操作装置103は、操作部111に対する操作者の操作に応じて、対象物を把持する(S105:図6(c))。
遠隔操作装置103は、カメラ102で得られた画像、センサ出力結果、又は、操作者からの指示に基づき、対象物が把持されたことを確認すると、把持部133が搬送箱135の近傍まで移動するように、アーム部132を自動操縦する(S106)。
次に、遠隔操作装置103は、ピッキングロボット101の操縦方法を自動操縦から手動操縦に切り替える。そして、遠隔操作装置103は、操作部111に対する操作者の操作に応じて、対象物を搬送箱135内に格納する(詰め込む)(S107)。
なお、対象物の個数が複数の場合には、ステップS104〜S107の処理が繰り返し行われる。
ピッキングリストに含まれる全ての対象物のピッキング終了していない場合には(S108でNo)、次の対象物が選択され(S102)、選択された対象物に対してステップS103以降の処理が行われる。一方、ピッキングリストに含まれる全ての対象物のピッキング終了した場合には(S108でYes)、処理が終了し、搬送部134は物品が格納された搬送箱を所定の位置に搬送する。
なお、上記処理では、遠隔操作装置103において各種処理が行われる例を述べたが、ピッキングリストの取得(S101)及び対象物の選択処理(S102)は、サーバ104等の他の装置で行われてもよい。また、ピッキングロボット101の自動制御(S103、S104、S106)の一部又は全てが、サーバ104又はピッキングロボット101において行われてもよい。
このように、本実施の形態に係るピッキングシステム100では、ピッキングロボット101の棚までの移動、及び、対象物の近傍までのアーム部132の操作を自動化できるので、操作者の作業量を低減できる。また、自動化が困難であるピッキングロボット101による把持操作を遠隔操作により行うことで、ピッキングロボット101の自動制御を実現するためのコストを低減できる。このように、本実施の形態に係るピッキングシステム100は、操作者の作業量の低減と、コストの低減とを両立できる。
次に、本実施の形態に係るピッキングシステム100による学習処理について説明する。本実施の形態に係るピッキングシステム100では、遠隔操作の動作履歴を用いてピッキングロボットの動きを学習することで、上記自動制御の精度を向上できるとともに、自動制御を適用する範囲を拡張できる。
図7は、ピッキングシステム100における学習処理のフローチャートである。まず、サーバ104は、複数の遠隔操作装置103で行われたピッキングロボット101の動作履歴を順次取得し、記録部121に格納する(S111)。例えば、図4に示すステップS105及びS107で得られた動作履歴が複数の遠隔操作装置103から順次送信される。
図8は、取得される動作履歴の一例を示す図である。なお、図8では、各種情報の値は省略している。図8に示すように、各動作履歴は、時系列に得られた、カメラ102で得られたピッキングロボット101のピッキング動作を撮影した画像と、遠隔操作時のピッキングロボット101の動作状態を示す情報とを含む。具体的には、ピッキングロボット101の動作状態は、ピッキングロボット101の各関節のトルク及び角度を含む。より具体的には、ピッキングロボット101の動作状態は、アーム部132の動作状態と、把持部133の動作状態とを含む。アーム部132の動作状態は、アーム部132の各関節のトルク、角度及び角速度、並びに、アーム部132の先端の位置、速度及び姿勢の少なくとも一つを含む。なお、アーム部132の先端の位置、速度及び姿勢は、把持部133の位置、速度及び姿勢ともいえる。また、把持部133の動作状態は、把持部133の各関節のトルク(把持力)、角度及び角速度の少なくとも一つを含む。
また、例えば、カメラ102で撮影された画像のフレームレートが60fpsである場合には、16.6m秒間隔で画像とピッキングロボット101の動作状態を示す情報とが得られる。
次に、サーバ104の学習部122は、記録部121に格納されている複数の動作履歴を入力として機械学習を行うことで、ピッキングロボット101を自動制御するための制御情報を生成する(S112)。具体的には、学習部122は、対象物の種別(例えば、図5に示す品番又はJANコード)毎に学習処理を行う。なお、学習部122は、サイズ及び重さが同一又は類似する種別をグループ化し、グループ毎に学習を行ってもよい。また、グループ化にはサイズ及び重さの一方のみが用いられてもよい。
また、複数の動作履歴のうち有効な動作履歴のみが学習に用いられてもよい。例えば、動作履歴は、ピッキングに要した時間を含み、ピッキングに要した時間が予め定められた基準より短いもののみが学習に用いられてもよい。また、ピッキングに要した時間が短いほど有効度が高い動作履歴であるとして学習が行われてもよい。また、操作者に応じて学習に用いるか否か、又は有効度が設定されてもよい。例えば、操作者の経験が浅いほど、有効度が低く設定されてもよい。
図9は、学習部122の出力である制御情報の一例を示す図である。図9に示すように、制御情報は、時系列の、遠隔操作時のピッキングロボット101の動作状態を示す。つまり、時系列にピッキングロボット101がとるべき状態が得られる。
また、使用される機械学習の手法は特に限定されず、ニューラルネットワーク等の任意の手法を用いることができる。
次に、遠隔操作装置103は、ステップS112で得られた学習結果に基づき、ピッキングロボット101を自動制御する(S113)。具体的には、図4のS104で説明したように、遠隔操作装置103は、学習結果に基づき、把持部133が対象物の近傍まで移動するように、アーム部132を自動操縦する。また、図4のS106で説明したように、遠隔操作装置103は、学習結果に基づき、把持部133が搬送箱135の近傍まで移動するように、アーム部132を自動操縦する。
図10は、この学習の様子を模式的に示す図である。図10に示すように、類似したピッキング作業の複数の動作履歴に基づき機械学習が行われることで、特徴的な軌道及び動作が抽出される。そして、抽出された軌道及び動作となるようにピッキングロボット101の自動操縦が行われる。
また、この学習により、図11に示すように、ピッキングロボット101が自動制御される範囲が更新される。例えば、ピッキング動作において、学習が進むにつれて(より多くの動作履歴が得られるにつれて)、より対象物の近くまで把持部133が移動するように、ピッキングロボット101が自動制御されるようになる。例えば、複数の動作履歴の分布等に基づき動作のばらつき度合いが所定値以下となる領域まで自動制御が行われる。
なお、図4に示す動作では、自動制御(S104又はS106)の後に手動制御(S105又はS107)が行われているが、学習が十分に進んだ状態では、手動制御が行われず、全ての動作が自動制御されてもよい。また、学習が行われていない状態においては、自動制御(S104又はS106)が行われなくてもよい。
また、ここでは、対象物を把持する動作及び把持した対象物を搬送箱135に格納する動作の両方において学習が用いられる例を示したが、いずれか一方のみに学習が用いられてもよい。
以上のように、本実施の形態に係るピッキングシステム100では、ピッキング動作の少なくとも一部の処理を自動制御できるので、操作者の作業量を低減できる。これにより、例えば、一人の操作者で複数のピッキングロボットを遠隔操作できるので、作業効率を向上できる。
また、自動化が困難な動作又は自動制御では不必要に時間がかかってしまう動作に関しては、操作者が遠隔操作を行うことで、全体の作業効率を向上できる。
また、機械学習により、自動制御を行う範囲を増やしていくことができるので、操作者の作業量をさらに低減できる。これにより、一人の操作者が担当できるピッキングロボットの台数をさらに増加させることができるので、生産性を向上できる。
また、機械学習を用いることで、対象物の種別毎にティーチングを行う必要がないので、対象物品の種別が多い場合のコストの増加を抑制できる。
また、操作者が操作したピッキングロボットの動作履歴をネットワーク上に介在させるデータベースサーバーに蓄積することで、ピッキングに成功した把持動作データを複数のピッキングロボットから効率的に収集できる。これにより、機械学習を効率的に行うことができる。
また、機械学習の分野では、良質なデータを効率的に集めることが課題となっている。具体的には、ピッキングロボットに把持動作を機械学習させるためには、膨大な量の把持動作データが必要である。しかしながら、このような膨大な量の把持動作データを自動的に集める手段は世の中に存在しない。これに対して、本実施の形態では、実際のピッキング作業において、人がピッキングロボットの把持動作を遠隔で操作したデータを用いる。これにより、把持に成功した動作データを効率よく収集できる。
(実施の形態2)
上記実施の形態1では、学習結果を用いてピッキングロボットを自動制御する例を述べた。本実施の形態では、学習結果を用いて遠隔操作を補助する情報を提示する例について説明する。なお、以下では、実施の形態1との相違点を主に説明し、重複する説明は省略する。
図12は、本実施の形態に係るピッキングシステム100における学習処理のフローチャートである。なお、図12に示す処理は、図7に示す処理に対して、ステップS113の代わりにステップS113Aを含む。
ステップS113Aでは、遠隔操作装置103の補助部113は、ステップS112の学習結果に基づき、把持部133を対象物の近傍に誘導する情報を操作者に提示する。例えば、図13に示すように、補助部113は、把持部133を対象物の近傍に誘導するための操作方法(レバーの向き等)を表示部112に表示する。また、補助部113は、把持部133を対象物の近傍に誘導するためのアーム部132及び把持部133の軌跡を表示部112に表示する。また、補助部113は、学習結果に基づく動作から操作者の操作が外れた場合に警告を発してもよい。
なお、これらの情報を操作者に提示する方法は、情報の表示に限らず、音声による通知、又は、振動或いは操作感の制御などであってもよい。例えば、補助部113は、操作者の操作が学習結果に基づく動作から外れた場合に振動により警告を発してもよい。または、学習結果に基づく動作から外れる方向に、操作部111を操作しにくく(例えば、レバーを倒すのが固くなる等)してもよい。
以上のように、本実施の形態に係るピッキングシステム100では、機械学習により、操作者の作業を補助できるので、操作者の作業時間を短縮できる。これにより、一人の操作者が担当できるピッキングロボットの台数を増加させることができるので、生産性を向上できる。
(実施の形態3)
本実施の形態では、上記実施の形態に係るピッキングシステム100を用いた課金システム(ビジネスモデル)について説明する。図14は、本実施の形態に係る課金システムを説明するための図である。
図14に示すように、複数の物流センターの各々に、複数のピッキングロボット101が配置される。各物流センター(又は物流センターの運営会社)は、サーバ104を運営するサービス提供会社に、ピッカーの割り当て要求を送る。
また、サービス提供会社には複数の登録ピッカーが登録されている。物流センターからピッカーの割り当て要求を受けたサービス提供会社は、その要求を複数の登録ピッカーに配信する。
各登録ピッカーは、配信された要求を確認し、例えば、自宅に設置されている遠隔操作装置103を用いて、ピッキングロボット101を遠隔操作する。
上記システムにおいて、例えば、サービス提供会社は、人材派遣料を物流センターから徴収する。登録ピッカーは、作業に応じた賃金を、物流センターから直接、又はサービス提供会社を介して、取得する。
以上のシステムにおいて、サービス提供会社は、物流センターから遠隔地に存在する複数の登録ピッカーを、各物流センターにおける作業に割り当てることができる。また、登録ピッカーは、自宅又は所望の勤務地から、任意の時間だけ作業を行うことができるので、ピッカーの自由度を向上できる。さらに、サービス提供会社は、登録された多くのピッカーを、その時の作業量に応じて各物流センターに割り当てることが可能となるので、物流センターにおける人材不足を低減できるとともに、人件費を削減できる。
また、操作者は遠隔操作を離れた場所から行えるので、冷凍庫内又は冷蔵庫内のような過酷な労働環境から操作者を解放できる。
また、ネットワークを介して遠隔操作することできるので、時差のある地域から遠隔操作をすることで深夜のピッキング作業を昼時間の人が遠隔操作できる。
以上、本発明の実施の形態に係るピッキングシステムについて説明したが、本発明は、この実施の形態に限定されるものではない。
例えば、図1等に示す各装置の機能は一例であり、ある装置で行われる処理の一部又は全てが他の装置により行われてもよいし、ある装置で行われる処理が複数の装置で分散処理されてもよい。
また、上記実施の形態に係るピッキングシステム内の各装置に含まれる各処理部は典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、本発明は、ピッキングシステムにより実行される制御方法として実現されてもよい。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、フローチャートにおける各ステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
以上、一つまたは複数の態様に係るピッキングシステムについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本発明は、物流センター等で用いられるピッキングシステムに適用できる。
100 ピッキングシステム
101 ピッキングロボット
102 カメラ
103 遠隔操作装置
104 サーバ
111 操作部
112 表示部
113 補助部
121 記録部
122 学習部
131 移動部
132 アーム部
133 把持部
134 搬送部
135 搬送箱

Claims (6)

  1. アーム部に接続された把持部により対象物を把持するためのピッキングロボットと、
    前記ピッキングロボットを操作者が遠隔操作するための操作部と、
    前記遠隔操作により前記対象物が把持された際の前記ピッキングロボットの動きを学習する学習部と、
    前記学習部の学習結果に基づき、前記遠隔操作を補助する補助部とを備え
    前記補助部は、
    前記把持部が前記対象物の近傍まで移動するように、前記アーム部を自動操縦する
    ピッキングシステム。
  2. 前記補助部は、前記把持部を前記対象物の近傍に誘導する情報を前記操作者に提示する
    請求項1記載のピッキングシステム。
  3. 前記学習部は、前記対象物の種別毎に、当該対象物が把持された際の前記ピッキングロボットの動きを学習する
    請求項1又は2に記載のピッキングシステム。
  4. 前記ピッキングシステムは、さらに、前記対象物を撮影するカメラを備え、
    前記学習部は、時系列に得られる、前記カメラで得られた画像と、前記遠隔操作時の前記ピッキングロボットの動作状態とを用いて、前記対象物が把持された際の前記ピッキングロボットの動きを学習する
    請求項1〜のいずれか1項に記載のピッキングシステム。
  5. 前記ピッキングロボットの前記動作状態は、前記ピッキングロボットの関節のトルク及び角度を含む
    請求項記載のピッキングシステム。
  6. ピッキングロボットのアーム部に接続された把持部により対象物を把持する把持ステップと、
    前記ピッキングロボットを操作者が遠隔操作する操作ステップと、
    前記遠隔操作により前記対象物が把持された際の前記ピッキングロボットの動きを学習する学習ステップと、
    前記学習ステップの学習結果に基づき、前記遠隔操作を補助する補助ステップとを含み、
    前記補助ステップは、前記把持部が前記対象物の近傍まで移動するように、前記アーム部を自動操縦する自動操縦ステップを含む
    制御方法。
JP2016227189A 2016-11-22 2016-11-22 ピッキングシステム及びその制御方法 Active JP6534126B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016227189A JP6534126B2 (ja) 2016-11-22 2016-11-22 ピッキングシステム及びその制御方法
US16/334,806 US11185979B2 (en) 2016-11-22 2017-11-02 Picking system and method for controlling same
PCT/JP2017/039705 WO2018096902A1 (ja) 2016-11-22 2017-11-02 ピッキングシステム及びその制御方法
CN201780070057.0A CN109937118B (zh) 2016-11-22 2017-11-02 拣取***及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016227189A JP6534126B2 (ja) 2016-11-22 2016-11-22 ピッキングシステム及びその制御方法

Publications (2)

Publication Number Publication Date
JP2018083246A JP2018083246A (ja) 2018-05-31
JP6534126B2 true JP6534126B2 (ja) 2019-06-26

Family

ID=62195483

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016227189A Active JP6534126B2 (ja) 2016-11-22 2016-11-22 ピッキングシステム及びその制御方法

Country Status (4)

Country Link
US (1) US11185979B2 (ja)
JP (1) JP6534126B2 (ja)
CN (1) CN109937118B (ja)
WO (1) WO2018096902A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112017007397B4 (de) * 2017-04-04 2021-09-30 Mujin, Inc. Steuervorrichtung, Greifsystem, Verteilersystem, Programm, Steuerverfahren und Herstellungsverfahren
CN110494257B (zh) * 2017-04-04 2020-12-18 牧今科技 控制装置、拾取***、物流***、程序、控制方法以及生产方法
WO2018185861A1 (ja) * 2017-04-04 2018-10-11 株式会社Mujin 制御装置、ピッキングシステム、物流システム、プログラム、及び、制御方法
DE112017007399B4 (de) * 2017-04-04 2021-09-23 Mujin, Inc. Steuervorrichtung, Greifsystem, Verteilersystem, Programm, Steuerverfahren und Herstellungsverfahren
JP6363294B1 (ja) 2017-04-04 2018-07-25 株式会社Mujin 情報処理装置、ピッキングシステム、物流システム、プログラム、及び、情報処理方法
DE102018208126A1 (de) * 2018-05-23 2019-11-28 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Verfahren zum Hantieren eines Werkstücks mit Hilfe eines Entnahmewerkzeugs und Maschine zur Durchführung des Verfahrens
JP6836557B2 (ja) * 2018-08-30 2021-03-03 ファナック株式会社 人間協調ロボットシステム
US11305434B2 (en) * 2018-10-26 2022-04-19 Fanuc Corporation Robot system
JP7246175B2 (ja) * 2018-12-12 2023-03-27 株式会社Preferred Networks 推定装置、訓練装置、推定方法及び訓練方法
WO2020136769A1 (ja) * 2018-12-26 2020-07-02 三菱電機株式会社 ロボット制御装置、ロボット制御学習装置、及びロボット制御方法
JP7271231B2 (ja) * 2019-03-04 2023-05-11 株式会社オカムラ 物品取出システム
WO2020189143A1 (ja) * 2019-03-20 2020-09-24 Telexistence株式会社 制御装置及び制御方法
JP7021158B2 (ja) * 2019-09-04 2022-02-16 株式会社東芝 ロボットシステムおよび駆動方法
JP7352452B2 (ja) * 2019-11-25 2023-09-28 川崎重工業株式会社 外科手術システム及びポジショナの操作方法
JP7276108B2 (ja) * 2019-12-13 2023-05-18 トヨタ自動車株式会社 遠隔操作システム及び遠隔操作方法
JP7342676B2 (ja) * 2019-12-13 2023-09-12 トヨタ自動車株式会社 遠隔操作システム及び遠隔操作方法
EP4079469A4 (en) * 2019-12-16 2023-09-13 FingerVision Co., Ltd. GRIPPER DEVICE, CONTROL METHOD AND PROGRAM
JP7401285B2 (ja) 2019-12-17 2023-12-19 株式会社オカムラ 自動倉庫システム
JP7493876B2 (ja) 2020-06-18 2024-06-03 株式会社オカムラ 自動倉庫システム
CA3202375A1 (en) * 2020-11-17 2022-05-27 Apera Ai Inc. Pick and place systems and methods
US20240042620A1 (en) 2020-12-24 2024-02-08 Kawasaki Jukogyo Kabushiki Kaisha Robot system and robot working method
US20240193955A1 (en) * 2022-12-12 2024-06-13 Honda Motor Co., Ltd. Mobile object control device, mobile object control method, and storage medium
CN116714000B (zh) * 2023-08-10 2023-11-10 博奥生物集团有限公司 实验容器转运***

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5046022A (en) * 1988-03-10 1991-09-03 The Regents Of The University Of Michigan Tele-autonomous system and method employing time/position synchrony/desynchrony
JPH0869313A (ja) * 1994-08-30 1996-03-12 Nishijima Yoshitaro 産業用マニピュレータの軌道計画におけるダイナミックスの同定法
JPH09258814A (ja) * 1996-03-22 1997-10-03 Kayaba Ind Co Ltd 組み立てロボットの位置決め制御装置及び位置決め制御方法
US20060253223A1 (en) * 2003-12-30 2006-11-09 Vanderbilt University Robotic trajectories using behavior superposition
EP1719588A1 (en) * 2005-05-02 2006-11-08 Abb Research Ltd. A robot control system comprising a portable operating device with safety equipment
JP2007182286A (ja) * 2006-01-05 2007-07-19 Nissan Motor Co Ltd ピッキング方法およびピッキングシステム
FR2898824B1 (fr) * 2006-03-27 2009-02-13 Commissariat Energie Atomique Dispositif interface intelligent pour la saisie d'un objet par un robot manipulateur et procede de mise en oeuvre de ce dispositif
WO2007138987A1 (ja) * 2006-05-25 2007-12-06 Takehiro Ishizaki 作業ロボット
JP4508252B2 (ja) * 2008-03-12 2010-07-21 株式会社デンソーウェーブ ロボット教示装置
JP2010089211A (ja) * 2008-10-08 2010-04-22 Panasonic Corp 組立部品供給システム
JP2010264559A (ja) * 2009-05-15 2010-11-25 Seiko Epson Corp ロボットの制御方法
JP5032716B2 (ja) * 2010-08-31 2012-09-26 パナソニック株式会社 マスタースレーブロボットの制御装置及び制御方法、並びに、制御プログラム
US20120130541A1 (en) * 2010-09-07 2012-05-24 Szalek Leszek A Method and apparatus for robot teaching
KR101891138B1 (ko) * 2010-11-11 2018-08-23 더 존스 홉킨스 유니버시티 인간-기계 협력 로봇 시스템
CN103347662A (zh) * 2011-01-27 2013-10-09 松下电器产业株式会社 机器人手臂的控制装置及控制方法、机器人、机器人手臂控制程序以及集成电路
JP5810582B2 (ja) * 2011-03-29 2015-11-11 セイコーエプソン株式会社 ロボットの制御方法、及びロボット
US20150127154A1 (en) * 2011-06-02 2015-05-07 Brain Corporation Reduced degree of freedom robotic controller apparatus and methods
JP2013022705A (ja) * 2011-07-25 2013-02-04 Sony Corp ロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにロボット・システム
US20130041508A1 (en) * 2011-08-12 2013-02-14 Georgia Tech Research Corporation Systems and methods for operating robots using visual servoing
US8843236B2 (en) * 2012-03-15 2014-09-23 GM Global Technology Operations LLC Method and system for training a robot using human-assisted task demonstration
US8996167B2 (en) * 2012-06-21 2015-03-31 Rethink Robotics, Inc. User interfaces for robot training
JP5949611B2 (ja) * 2013-03-21 2016-07-13 トヨタ自動車株式会社 遠隔操作ロボットシステム
US9792546B2 (en) * 2013-06-14 2017-10-17 Brain Corporation Hierarchical robotic controller apparatus and methods
JP2015080836A (ja) * 2013-10-22 2015-04-27 三菱重工業株式会社 自律探索システム、操作端末、移動探索装置及び探索制御方法
TWI530375B (zh) * 2014-02-05 2016-04-21 廣明光電股份有限公司 機器手臂的教導裝置及方法
US9403273B2 (en) * 2014-05-23 2016-08-02 GM Global Technology Operations LLC Rapid robotic imitation learning of force-torque tasks
DE102015204641B4 (de) * 2014-06-03 2021-03-25 ArtiMinds Robotics GmbH Verfahren und System zur Programmierung eines Roboters
US9272417B2 (en) * 2014-07-16 2016-03-01 Google Inc. Real-time determination of object metrics for trajectory planning
US9630318B2 (en) * 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
CN105835074B (zh) * 2015-01-12 2020-07-10 达明机器人股份有限公司 机器手臂取放物件的教导方法
JP6435396B2 (ja) * 2015-02-19 2018-12-05 日揮株式会社 細胞培養加工設備
JP6525637B2 (ja) * 2015-02-26 2019-06-05 キヤノン株式会社 ロボット装置及びロボット装置の制御方法
US9486921B1 (en) * 2015-03-26 2016-11-08 Google Inc. Methods and systems for distributing remote assistance to facilitate robotic object manipulation
US9327397B1 (en) * 2015-04-09 2016-05-03 Codeshelf Telepresence based inventory pick and place operations through robotic arms affixed to each row of a shelf
US9802317B1 (en) * 2015-04-24 2017-10-31 X Development Llc Methods and systems for remote perception assistance to facilitate robotic object manipulation
CN104827474B (zh) * 2015-05-04 2017-06-27 南京理工大学 学习人的虚拟示教机器人智能编程方法及辅助装置
DE102016009030B4 (de) * 2015-07-31 2019-05-09 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
US10166676B1 (en) * 2016-06-08 2019-01-01 X Development Llc Kinesthetic teaching of grasp parameters for grasping of objects by a grasping end effector of a robot
EP3582935A4 (en) * 2017-02-20 2020-12-23 FLIR Detection, Inc. ROBOTIC GRIPPER CAMERA

Also Published As

Publication number Publication date
CN109937118B (zh) 2023-02-03
CN109937118A (zh) 2019-06-25
US11185979B2 (en) 2021-11-30
WO2018096902A1 (ja) 2018-05-31
US20200016742A1 (en) 2020-01-16
JP2018083246A (ja) 2018-05-31

Similar Documents

Publication Publication Date Title
JP6534126B2 (ja) ピッキングシステム及びその制御方法
US10464212B2 (en) Method and system for tele-operated inventory management system
JP6873941B2 (ja) ロボット作業システム、及びロボット作業システムの制御方法
JP2019533570A (ja) 複数の物体から少なくとも1つの物体を分離するための方法、コンピュータ・プログラム、装置およびシステム
JP6333795B2 (ja) 学習による教示作業の簡易化及び動作性能向上機能を備えたロボットシステム
CN114206558A (zh) 基于来自远程客户端设备的输入的高效机器人控制
US20150045955A1 (en) Robot control apparatus and method for controlling robot
CN110520259B (zh) 控制装置、拾取***、物流***、存储介质以及控制方法
CN107315393B (zh) 作业指示***
CN110494258B (zh) 控制装置、拾取***、物流***、程序、控制方法以及生产方法
CN110494259B (zh) 控制装置、拾取***、物流***、程序、控制方法以及生产方法
DE112017007392B4 (de) Steuervorrichtung, Greifsystem, Verteilersystem, Programm, Steuerverfahren und Herstellungsverfahren
CN110621451B (zh) 信息处理装置、拾取***、物流***、程序以及信息处理方法
JP7179971B2 (ja) ロボット装置のための制御装置、ロボット装置、方法、コンピュータプログラム及び機械可読記憶媒体
Zhong et al. Asynchronous cooperation requirement planning with reconfigurable end-effectors
WO2022185773A1 (ja) 工具搬送システム、工具搬送システムの制御方法、および工具搬送システムの制御プログラム
CN110817231B (zh) 一种面向物流场景订单拣选方法、设备和***
JP2020529932A (ja) 少なくとも1つの作業ステップを実行するためのハンドリング装置を有するハンドリングアセンブリ、方法及びコンピュータプログラム
JP6758915B2 (ja) 自律作業制御システムおよび自律作業制御方法
WO2019111413A1 (ja) 制御装置、ワーク作業装置、ワーク作業システム及び制御方法
CN111899629B (zh) 柔性机器人教学***和方法
JP7401285B2 (ja) 自動倉庫システム
CN117377558A (zh) 自动拾取和放置***
CN208392048U (zh) 一种移动机器人
US20230278223A1 (en) Robots, tele-operation systems, computer program products, and methods of operating the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190520

R151 Written notification of patent or utility model registration

Ref document number: 6534126

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151